基于RDDs的分布式聚类集成算法

摘要 在大数据时代，数据规模的不断扩大，数据的多样性愈发突出，提高分布式聚类算法的结果质量逐渐成为关注的焦点.针对多数分布式聚类算法在处理海量数据时采用的并行策略不合理以及聚类结果不理想等缺陷，提出一种基于弹性分布式数据集（Resilient Distributed Datasets,RDDs）的分布式聚类集成算法（DisCE）.该算法首先设计一个基于RDDs的分布式邻接表，解决关联数据在分布式环境中的表示和存储；其次利用分布式的共识函数模型，综合几个海量基聚类结果并用分布式邻接表表示；最后运用改进的分布式近邻传播算法（MDAP），划分分布式邻；接表为最终的聚类结果.实验结果表明，新提出的算法对数据规模有很好的适应性，在有效提高聚类结果质量的同时可大幅减少运行时间