如何使用 Python 实现 kmeans 算法

k-means 算法是基于距离的聚类算法，也称为 k 均值或 k 平均值，也常称为劳 埃 德（劳埃德）算法。 就是将数据集中剩余的点迭代划分为最近的聚类，距离是指从数据点到聚类中心的距离。

k-means算法的思想非常简单，对于给定的采样器场聚类，根据样本之间的距离将样本划分为k个聚类。 保持集群中的数据尽可能紧密地连接，并使集群之间的距离尽可能大。

算法流

1. 选择数据空间中的k个对象作为初始中心，每个对象代表一个聚类中心。

2. 对于样本中的数据对象，根据它们与这些聚类中心的欧几里得距离。

根据最接近的条件，将它们分配给与它们最近的聚类中心（最相似）相对应的类。

3、更新聚类中心：取各类目中所有对象的平均值作为类目聚类中心，计算目标函数的值。

4.判断聚类中心和目标函数的值是否发生了变化，如果没有变化，则输出结果，如果变化，则返回2）。

kmeans 是一种基于距离的无监督湮灭聚类算法，其变体包括 kmeans++。

请注意，某些聚类中心可能不会分配给样本，并且这些聚类将被消除（这意味着最终的类数可能会减少）。

与其他机器学习算法一样，k-means也需要评估和最小化聚类的成本，在介绍k-means的成本函数之前，先介绍一下以下定义：

引入成本函数：

5）对噪声和异常比较的敏感性。

圆形、凸形和聚类在一起的数据在形状上类似于高斯分布，这些数据是 kmeans 喜欢的数据。

聚类分析是一种静态数据分析方法，常用于机器学习、模式识别、数据挖掘等领域。 聚类通常被认为是一种无监督的机器学习方法，其工作原理如下：在未知样本类的情况下，通过计算样本之间的距离（欧几里得距离、马利距离、汉明距离、余弦距离等）来估计样本所属的类。

在结构上，聚类方法分为自上而下和自下而上两种方法，前一种算法是将所有样本视为一个类，然后不断地将子类从这个大类别中分离出来，直到不能再划分为止; 另一方面，后者首先所有样本都属于自己的类别，然后它们不断成对组合，直到它们最终形成几个大类。

常用的聚类方法主要有四种： 复制wiki是懒惰的。

基于连通性的聚类（例如，分层聚类）。

基于质心的聚类（例如 kmeans）。

distribution-based clustering

density-based clustering

KMEANS聚类是一种自下而上的聚类方法，具有简单、快速等优点; 缺点是聚类结果与初始中心的选择有关，必须提供聚类数。 kmeans 的第二个缺点是致命的，因为在某些情况下，我们不知道样本集将被聚类到多少个类中，在这种情况下，kmeans 不合适，建议使用分层或均值移位进行聚类。 第一个缺点可以通过多次聚类来解决，以获得最佳结果。

kmeans的计算过程大致表示如下。

随机选择K个聚类中心。 类别的最终数量 < = k

计算从每个样本到每个中心的距离。

每个样本都聚集在离它最近的中心。

重新计算每个新类的中心。

重复上述步骤，直到满足收敛要求。 （通常中心点不再更改或满足一定次数的迭代）。

k-means 算法是一种基于距离的聚类算法，它结合了简单性和经典性。

距离作为相似度的评价指标，即两个物体之间的距离越近，相似度越大。

该算法认为聚类是由彼此靠近的物体组成的，因此最终目标是获得紧凑且独立的聚类。

核心思想。 一种迭代查找 k 个聚类的划分方案，使使用 k 个聚类的平均值表示相应类型的样本时获得的总误差最小化。

k 个簇具有以下特征：簇本身尽可能紧凑，簇尽可能独立。

k-means算法基于最小误差平方和准则，每个聚类中的样本越相似，它们与类均值之间的误差平方越小，所有类得到的误差平方和可以验证每个聚类划分为k类时是否最优。

上述方程的成本函数不能通过解析方法最小化，只能迭代使用。

3. 算法步骤**。

下图显示了 n 个采样点的 k 均值聚类的影响，其中 k 取为 2。

4.算法实现步骤。

k-means算法是将样本聚类成k个簇，其中k由用户给出，求解过程非常直观简单，具体算法描述如下：

1）随机抽取k个聚类质心点。

2）重复以下过程，直到收敛