%0 Journal Article
%T 一种基于dag的mapreduce任务调度算法
%A 唐一韬？
%A 黄晶？
%A 肖球？
%J 计算机科学
%D 2014
%X hadoop已成为研究云计算的基础平台,mapreduce是其大数据分布式处理的计算模型。针对异构集群下mapreduce数据分布、数据本地性、作业执行流程等问题,提出一种基于dag的mapreduce调度算法。把集群中的节点按计算能力进行划分,将mapreduce作业转换成dag模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理。综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间。实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率。
%K dag
%K 调度算法
%K mapreduce
%K hadoop
%K 异构环境
%K 大数据中图法分类号tp302文献标识码a
%U http://www.jsjkx.com/jsjkx/ch/reader/view_abstract.aspx?file_no=20146A008&flag=1