基于mapreduce的气象数据并行pk-means算法
Keywords: 云计算,pk-means,mapreduce,大规模数据
Abstract:
?随着气象信息化程度日益提高,气象数据呈指数级增长。由于数据量的过快增长,k-means算法很难满足实际应用需求,根据气象数据的特征,提出一种基于mapreduce的并行聚类算法pk-means,其中map函数计算数据对象到中心点的距离,并重新标记新的聚类类别,reduce函数根据中间结果计算新的聚类中心,然后迭代计算,中间迭代只计算中心点到所属类的所有点的距离,实验结果显示该算法具有很强的计算能力和可扩展性。
Full-Text