%0 Journal Article
%T 一种Mapreduce作业内存精确预测方法<br>An Innovative Memory Prediction Approach for Mapreduce Job
%A 罗永刚
%A 陈兴蜀
%A 杨露
%J 电子科技大学学报
%D 2016
%R 10.3969/j.issn.1001-0548.2016.06.019
%X 针对准确预测mapreduce作业内存资源需求困难的问题，根据Java虚拟机（JVM）的分代（JVM将堆内存划分为年轻代和年长代）内存管理特点，该文提出一种分代内存预测方法。建立年轻代大小与垃圾回收时间的模型，将寻找合理年轻代大小的问题转换为一个受约束的非线性优化问题，并设计搜索算法求解该优化问题。建立mapreduce作业的map任务和reduce任务性能与内存的关系模型，求解最佳性能的内存需求，从而获得map任务和reduce任务的年长代内存大小。实验结果表明，本文提出的方法能准确预测作业的内存需求；与默认配置相比，能提供平均6倍的性能提升。<br>
%K 垃圾回收
%K Java虚拟机
%K mapreduce
%K 资源管理&lt
%K br&gt
%U http://manu50.magtech.com.cn/dzkjdx/CN/abstract/abstract55.shtml