基于hadoop框架的mapreduce计算模式的优化设计

对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为hadoop框架下的mapreduce分布式处理模式。mapreduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析hadoop源码的使用,认真研究mapreduce对海量数据处理作业流程分析,提出了mapreduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率。