一种基于dag的mapreduce任务调度算法

hadoop已成为研究云计算的基础平台,mapreduce是其大数据分布式处理的计算模型。针对异构集群下mapreduce数据分布、数据本地性、作业执行流程等问题,提出一种基于dag的mapreduce调度算法。把集群中的节点按计算能力进行划分,将mapreduce作业转换成dag模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理。综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间。实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率。