基于hdfs开源架构与多级索引表的海量数据检索mdht算法

针对大规模能源数据系统的存储与快速检索需求，提出了一种基于hdfs/hadoop开源平台的云存储架构及多级索引目录体系，以及此架构下的基于多级索引表的mdh"i'算法，并完成了算法的maprcducc编程实现。基于上述算法完成的4800万条数据的仿真实验表明:在数据量达到1200万一4800万条时，采用多级索引表的mdht算法较常规的mssqi.scrvcr实现和hdfs/hiv。方法在检索性能方面有质的飞跃;与单级索引表检索方法比较，在数据查找时间上也有24.500-}-57.8%的显著降低。文中提出的基于多级索引表的dh`i}算法为构建基于云存储架构的海量数据快速搜索引擎提供了一个关键技术。