|
软件学报 2013
集群上一种面向空间连接聚集的并行计算模型, PP. 99-109 Keywords: 云计算,map-reduce,空间连接聚集,空间查询,二次归约 Abstract: 单机运行环境难以满足海量空间数据的连接聚集操作对时空开销的需求,集群上的并行计算是高效处理海量空间数据的连接聚集操作的关键.map-reduce是云计算中一种应用于大规模集群进行大规模数据处理的分布式并行编程模型,分析发现,map-reduce并不直接支持以既高效又自然的方式来处理具有二次归约特征的并行空间连接聚集操作.因此,提出了一种并行计算模型——map-reduce-combine(mrc)来有效地处理大规模空间数据的连接聚集操作.mrc在map-reduce模型上增加一个combine阶段,有效地合并分散在各个reducer的部分聚集结果.针对并行任务划分中空间对象的单分配问题,提出了过滤优化算法,提高了mrc下处理空间连接聚集查询的效率.实验验证所提出的并行计算模型在处理空间连接聚集查询时具有良好的效率、有效性、可扩展性和简单性.
|