基于负载感知的数据流动态负载均衡策略

摘要 针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题，提出基于负载感知算法的动态负载均衡策略，并将算法应用于Flink数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节点性能的依据，并制定负载均衡策略；然后基于数据分块管理策略实现流式数据的节点间负载迁移技术，通过反馈实现全局和局部的负载调优；最后通过实验评估时空代价论证算法的可行性，并讨论重要参数对算法执行效果的影响。经实验验证算法通过优化流式计算任务的负载分配提高了任务的执行效率，与采用Flink平台现有的负载均衡策略相比，任务执行时间平均缩短6.51%