Storm环境下基于权重的任务调度算法

摘要 大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度，未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式，在负载均衡和通信开销方面存在较大的优化空间。针对这一问题，提出一种Storm环境下基于权重的任务调度算法（TSAW-Storm）。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小，分别确定拓扑的点权和边权；并利用最大化边权增益的思想，逐步构建起各工作节点中承载的任务集合，在保证集群负载均衡的同时，尽可能将边权较大的节点间数据流转化为节点内数据流，从而降低网络传输开销。实验结果表明，在包含有8个工作节点的WordCount基准测试中，TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%，且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%；此外，在与在线调度算法的对比实验中，TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%，且算法的执行开销明显降低，有效提高了Storm系统的运行效率