住房城乡建设部网站通报,徐州网络推广服务,wordpress 添加用户登录,广州城市职业学院门户网站在之前的文章里#xff0c;介绍了比较传统的K-Means聚类、Affinity Propagation(AP)聚类、比K-Means更快的Mini Batch K-Means聚类以及混合高斯模型Gaussian Mixture Model(GMM)等聚类算法#xff0c;今天介绍一个比较近代的一类算法——Spectral Clustering 中文通常称为“谱…在之前的文章里介绍了比较传统的K-Means聚类、Affinity Propagation(AP)聚类、比K-Means更快的Mini Batch K-Means聚类以及混合高斯模型Gaussian Mixture Model(GMM)等聚类算法今天介绍一个比较近代的一类算法——Spectral Clustering 中文通常称为“谱聚类”。Spectral Clustering(谱聚类有时也简称SC)其实是一类算法的统称。它是一种基于图论的聚类方法(这点上跟AP类似而K-Means是基于点与点的距离计算)它能够识别任意形状的样本空间且收敛于全局最有解其基本思想是利用样本数据的相似矩阵进行特征分解后得到的特征向量进行聚类。为什么上文称谱聚类是“一类”算法广义上来说任何在演算法中用到SVD/特征值分解的都叫Spectral Algorithm。  从传统的PCA/LDA到比较近的Spectral Embedding/Clustering都属于这类。谱聚类和传统的聚类方法(如 K-means)相比有不少优点Spectral Clustering 只需要数据之间的相似度矩阵就可以了而不必像 K-Means 那样要求数据必须是 N 维欧氏空间中的向量。由于抓住了主要矛盾忽略了次要的东西因此比传统的聚类算法更加健壮一些对于不规则的误差数据不是那么敏感而且结果也要好一些。事实上在各种现代聚类算法的比较中K-means 通常都是作为一个基准而存在的。计算复杂度比 K-means 要小特别是在像文本数据或者平凡的图像数据这样维度非常高的数据上运行的时候理论上应该比K-Means更快速。(是这样吗下文实验中有解答)K-Means一直以来都是距离算法中的经典算法尤其通过minibatch“改良”后的K-Means在大数据应用中的效率瓶颈也得到极大改善。谱聚类这个相对的“晚生”是否真的如上述优点接下来看实验数据。实验一 关于准确度的较量在此引用 Document clustering using locality preserving indexing 中关于K-means 和 Spectral Clustering 应用到TDT2 和 Reuters-21578这两组数据的准确率对比结果kTDT2Reuters-21578K-Means谱聚类K-Means谱聚类20.9890.9980.8710.92330.9740.9960.7750.81640.9590.9960.7320.793…90.8520.9840.5530.625100.8350.9790.5450.615从准确率结果可以看出在不同的类别数量下谱聚类的准确率都要高于K-Means。实验二 关于运行时间的较量在此使用Python机器学习库SKlearn中的spectral_clustering进行模拟实验实验数据为随机生成的维度和样本量相同的矩阵分别为10维、20维、30维。40维、50维、60维对应到图中就是从0到5。其实我试着用更大的数据量去实验但增加到70维的时候spectral_clustering已经由于内存错误而崩掉了所以足以看来他对于大数据量的应用还是不适合的。另外对于上文提到的spectral_clustering的计算复杂度要低于K-Means因此理论上的运算时间要快但实验结果却不能证明这个问题。大家可以点击原始程序查看 sc_kemans.py。谱聚类应用以下使用Python机器学习库SKlearn中的spectral_clustering进行聚类目标是从一个图片中区分出人为构造出的图像边缘。#coding:utf-8importnumpy as npimportmatplotlib.pyplot as pltfromsklearn.feature_extractionimportimagefromsklearn.clusterimportspectral_clustering# 生成原始图片信息l  100x, y  np.indices((l, l))center1  (28, 24)center2  (40, 50)center3  (77, 58)radius1, radius2, radius3  16, 14, 15circle1  (x - center1[0]) ** 2  (y - center1[1]) ** 2 circle2  (x - center2[0]) ** 2  (y - center2[1]) ** 2 circle3  (x - center3[0]) ** 2  (y - center3[1]) ** 2 # 生成包括3个圆的图片img  circle1  circle2  circle3mask  img.astype(bool)img  img.astype(float)img  1  0.2 * np.random.randn(*img.shape)graph  image.img_to_graph(img, maskmask)graph.data  np.exp(-graph.data / graph.data.std())# 聚类输出labels  spectral_clustering(graph, n_clusters3)label_im  -np.ones(mask.shape)label_im[mask]  labelsplt.matshow(img)plt.matshow(label_im)plt.show()以下是运行结果左边的图形是人为生成的原始图片右边是识别图形边缘后的处理图片。spectral_clustering可配置的参数如下其中最主要的参数是affinity(数据集), n_clusters(聚类数)和assign_labels(聚类方法可选kmeans[默认], discretize)sklearn.cluster.spectral_clustering(affinity, n_clusters8, n_componentsNone, eigen_solverNone, random_stateNone, n_init10, eigen_tol0.0, assign_labelskmeans)谱聚类的应用场景图像切割数据聚类尾巴谱聚类适用的数据集有几个特点不适合聚类类别数特别多的数据对于特殊数据集具有比较好的适应性例如环形数据、非凸数据、交叉数据等非正常或规则下的数据如下图【好书推荐我为自己代言】《Python数据分析与数据化运营》第二版上市啦50数据流工作知识点14个数据分析与挖掘主题8个综合性运营分析案例涵盖会员、商品、流量、内容4大主题360°把脉运营问题并贴合数据场景落地本书主要基于Python实现其中主要用到的计算库是numpy、pandas和sklearn其他相关库还包括标准库re、time、datetime、json、 base64、os、sys、cPickle、tarfilePython调用R的rpy2统计分析Statsmodels中文处理结巴分词文本挖掘Gensim数据挖掘和算法XGboost、gplearn、TPOT爬虫和解析requests、Beautiful Soup、xml图像处理OpenCV和PIL/Pollow数据读取xlrd、pymongo、pymysql数据预处理imblearn展示美化类Matplotlib、pyecharts、graphviz、prettytable、wordcloud、mpl_toolkits、pydotplus如果你对以下内容感兴趣那么本书将值得一看KMeans聚类的自动K均值的确立方法基于软方法的多分类模型组合评估模型的应用基于自动下探(下钻、细分)的应用基于增量学习的多项式贝叶斯分类pipeline管道技术的应用基于超参数的自动参数值的优化方法特征自动选择文本分类、文本主题挖掘基于自动时间序列ARIMA的P、D、Q的调整python决策树规则输出基于自定义图像的文本标签云非结构化数据例如图像、音频、文本等处理对象持久化处理如何使用Python调用R实现数据挖掘自动化学习增加了对于自动化数据挖掘与机器学习的理论、流程、知识和应用库介绍并基于TPOT做自动化回归和分类学习案例演示有关这本书的写作感受、详细内容介绍、附件(含数据和代)下载、关键知识和方法以及完整书稿目录请访问《Python数据分析与数据化运营》第二版出版了要购买此书可以去京东、当当和天猫等查看。