基于hadoop的并行pso-kmeans算法实现web日志挖掘

互联网技术的迅速发展,使得基于单一结点的web日志挖掘变得十分困难,而hadoop云平台的出现,为这类问题提供了新的解决方案。但传统的web日志挖掘聚类k-means算法对初始聚类中心的选择敏感等缺点,容易影响聚类准确率。针对这个问题,提出基于粒子群算法(pso)的k-means算法,使得k-means算法不受初始聚类中心的影响,并且在hadoop平台上实现了算法的mapreduce编程。实验结果证明:提出的改进算法,与传统的k-means算法相比,具有更高的聚类准确率；与串行单机算法相比,运行效率也有很大的提升。