7.2:k-均值算法原理

假设我们有k个簇：$(c_1,c_2,...,c_k)$

则我们的目的就是使的簇内的每个点到簇的质心的距离最小，即最小化平方误差MSE： $\sum\limits_{i=1}^k\sum\limits_{x\in c_i}(x-u_i)^2$

其中，$u_i$为质心，表达式为：

$\frac{1}{|c_i|}\sum\limits_{x\in c_i}x$

$|c_i|$表示集合内样本个数。

想要直接求得最小值是非常困难的，通常我们使用启发式的迭代方法，过程如下图：

• 图b:假设k=2，我们最开始先随机初始2个质心(红色与蓝色的点)。
• 图c:计算每个样本到两个质心的距离，并将其归为与其距离最近的质心那个簇。
• 图d:更新质心，我们可以看到，红色与蓝色的点位置有了变化。
• 图e:重新计算样本到质心距离，并重新划分样本属于哪个簇。
• 图f:直到质心位置变换小于阈值，停止迭代。