|
|
中山大学学报（自然科学版） 2015
基于预散列和索引的MapReduce数据连接处理优化Keywords: 云计算,数据连接,索引,散列,Hadoop Abstract: 摘要 针对现有MapReduce在大规模集群上进行海量数据连接处理操作时的效率问题，提出一种基于预散列和索引技术的MapReduce数据连接处理机制．该机制对Map结果数据先进行预散列处理，建立对应对的索引信息，然后根据索引信息计算相同key值数据的连接及处理复杂度，最后基于连接复杂度为Reducer节点分配任务数据量，实现负载均衡．实验结果显示，本文提出的MapReduce数据连接处理机制能够有效实现Reducer节点负载均衡，提高数据连接处理操作的效率
|
