一种周期性mapreduce作业的负载均衡策略

mapreduce任务负载均衡主要是通过分区函数来实现的，hadoop默认的分区函数并不能很好地保证reducer的负载均衡。针对周期性的业务处理提出了一种基于权重计算的负载均衡策略，周期性任务的数据分布与历史数据相比具有相似性。本策略根据历史数据运行的信息运算出数据权重信息(文中用权重表示每条记录的处理复杂度)，再通过map阶段抽样分析当前这批数据的分布特征来预测待处理数据带权重的整体近似分布情况，从而指导reduce分区，以保证其负载均衡。通过简单的例子仿真了整个策略的运作过程，并且对比了与terasor、思路的不同点。最后通过分析用户访问视频的日志证明了文中提到的策略比默认的策略性能提高了接近1倍。