%0 Journal Article %T 大数据分析的分布式molap技术 %A 宋杰? %A 郭朝鹏? %A 王智? %A 张一川? %A 于戈? %A Jean-Marc %A PIERSON? %J 软件学报 %P 731-752 %D 2014 %R 10.13328/j.cnki.jos.004569 %X 大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和mapreduce编程模型来应对这一挑战.提出了大数据环境中一种基于hadoop分布式文件系统(hdfs)和mapreduce编程模型的分布式molap技术,称为dolap(distributedolap).dolap采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化olap的性能;采用mapreduce编程模型实现olap操作.描述了dolap在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但dolap的性能要优于基于hbase,hive,hadoopdb,olap4cloud等主流非关系数据库系统实现的olap性能. %K 大数据 %K 多维数据模型 %K olap %K mapreduce %U http://www.jos.org.cn/ch/reader/view_abstract.aspx?file_no=4569&flag=1