基于hadoop的高性能海量数据处理平台研究

海量数据高性能计算蕴藏着巨大的应用价值，但是目前云计算体系只具有海量数据处理能力，而不具有足够的高性能计算能力。将具有超强并行计算能力的cpu与云计算相融合，提出了基于cpu/gpu协同的异构高性能云计算体系结构。以开源hadoop为基础，采用注释码的形式对mapreduce函数中需要并行的部分进行标记。通过定制gpu类加载器，将被标记代码转换为cuda代码并动态编译运行。该平台将gpu的计算能力融合到mapreduce框架中，可高效处理海量数据。