Storm启发式均衡图划分调度优化方法

摘要 针对现有Storm调度器未考虑通信代价,负载不均、无法动态重调度等缺陷,提出了基于启发式均衡图划分算法的调度策略.通过对Storm建立调度模型,将负载检测作为调度器的输入实现动态并行参数优化和重调度优化,最终减少集群节点间的数据发送率,并且保持节点间负载均衡.实验表明本文算法建立的动态调度器能够有效减少数据处理延时,提升集群吞吐量,实现对集群性能的整体优化