基于mapreduce模型的排序算法优化研究

mapreduce已经发展成为大数据领域标准的并行计算模型。理想情况下,一个mapreduce系统应该使参与计算的所有节点高度负载均衡,并且最小化空间使用率、cpu和i/o的使用时长以及网络传输开销。传统的算法往往只针对上述指标中的一种进行优化。在保持算法良好并行性基础上,对多个指标同时进行优化,提出了mapreduce优化算法的设计规范。针对数据处理领域最重要的排序算法进行理论分析,给出了多指标约束下的最后算法,并证明了该优化算法满足mapreduce优化算法规范。最后通过实验验证了优化的排序算法的有效性和效率。