基于storm的海量数据实时聚类

？针对现有平台处理海量数据实时响应能力普遍较差的问题,引入storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于storm框架的dbscan算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。