%0 Journal Article
%T 基于副本分布策略的MapReduce性能优化技术
%A 钱孟远
%A 虞慧群
%J 华东理工大学学报
%P 739-745
%D 2013
%X 集群中的节点由于其硬件配置不同导致其性能不同，使得集群环境成为异构环境。然而，在以Hadoop为代表的MapReduce实现中并没有充分考虑到环境的异构性，致使过多的Map任务需要从其他节点传输输入数据块，从而影响MapReduce在异构环境中的性能。提出了一种基于节点性能的数据块副本分布策略，使副本的分布与节点性能相适应，同时将可靠性、创建的传输开销及数据块间性能的平衡纳入考虑。结果表明：该策略在异构环境中能有效提升输入数据在本地的Map任务比例，并缩短MapReduce任务的完成时间。
%K 分布式文件系统
%K 副本分布策略
%K MapReduce
%K 异构环境
%U http://journal.ecust.edu.cn/ch/reader/view_abstract.aspx?file_no=201306019&flag=1