一种Hadoop平台下的树形聚类算法

摘要 针对现有算法在大数据背景下聚类效果差，以及由于迭代等原因导致处理性能低等问题，提出一种在Hadoop平台高效并行的聚类算法PAClustering.先提出一种基于权重的方法，将整体数据按分布划分成若干数据块，并针对每个数据块将紧凑的数据抽象成一个向量，形成微团，最后通过树形合并进行聚类，在提高聚类准确度的同时有效避免了传统算法在聚类过程中的迭代运算.在不同大小数据集上的实验表明，PAClustering算法不仅具有较高的聚类准确度和稳定性，同时具有良好的处理性能