基于hadoop的高效连接查询处理算法chmj

提出了一种并行连接查询处理算法colocationhashmapjoin(chmj).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了hashmapjoin并行连接查询处理算法,有效地提高了连接查询的处理效率.chmj算法在腾讯公司的数据仓库系统中进行了应用,结果表明,chmj连接查询的处理效率比hive系统提高了近5倍.