|
|
- 2018
云环境下海量空间矢量数据并行划分算法
|
Abstract:
空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足，提出了基于Hilbert空间填充曲线的海量空间矢量数据并行划分算法。在数据划分阶段，充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响因素；通过“合并小编码块，分解大编码块”的划分原则，实现了云环境下海量空间矢量数据的并行划分算法。试验表明，该算法不仅能够提高海量空间矢量数据的索引效率，同时也能够很好地解决空间矢量数据在Hadoop分布式文件系统（Hadoop distributed file system，HDFS）上的数据倾斜问题
| [1] | Zhang Xiaoxiang. Spatial Analysis in the Era of Big Data[J]. <em>Geomatics and Information Science of Wuhan University</em>, 2014, 39(6):655-659(张晓祥. 大数据时代的空间分析[J]. 武汉大学学报·信息科学版, 2014, 39(6):655-659) |
| [2] | Xu Wen,Shao Jun,Yu Wenyong,et al. Land Observing Satellite Data Center:Big Data Challenges and a Potential Solution[J]. <em>Geomatics and Information Science of Wuhan University</em>, 2017,42(1):7-13(徐文,邵俊,喻文勇,等. 陆地观测卫星数据中心:大数据挑战及一种解决方案[J]. 武汉大学学报·信息科学版, 2017,42(1):7-13) |
| [3] | Li Xun. Parallel Spatial Index Algorithm Based on Hilbert Partition[D]. Chengdu:University of Electronic Science and Technology of China, 2013(李勋. 基于Hilbert划分的并行矢量数据索引算法研究[D]. 成都:电子科技大学, 2013) |
| [4] | Lu Feng,Zhou Chenghu. An Algorithm for Hilbert Ordering Code Based on Spatial Hierarchical Decomposition[J]. <em>Journal of Image and Graphics</em>, 2001, 6(5):465-469(陆锋,周成虎. 一种基于空间层次分解的Hilbert码生成算法[J]. 中国图象图形学报, 2001, 6(5):465-469) |
| [5] | Guo Jing,Liu Guangjun,Dong Xurong,et al. 2-Level R-tree Spatial Index Based on Spatial Grids and Hilbert R-tree[J]. <em>Geomatics and Information Science of Wuhan University</em>, 2005, 30(12):1084-1088(郭晶,刘广军,董绪荣,等. 基于空间网格和Hilbert R-tree的二级R-tree空间索引[J]. 武汉大学学报·信息科学版, 2005, 30(12):1084-1088) |
| [6] | Dai Jing,Wu Mingguang,Zheng Peibei,et al. An Improved STR-tree Spatial Index Algorithm Based on Hilbert-curve[J]. <em>Geomatics and Information Science of Wuhan University</em>, 2014, 39(7):777-781(戴晶,吴明光,郑培蓓,等. 基于Hilbert曲线的STR索引改进算法[J]. 武汉大学学报·信息科学版, 2014, 39(7):777-781) |
| [7] | Wang Yongjie,Meng Lingkui,Zhao Chunyu. Spatial Partitioning of Massive Data Based on Hilbert Spatial Ordering Code[J]. <em>Geomatics and Information Science of Wuhan University</em>, 2007, 32(7):650-653(王永杰,孟令奎,赵春宇. 基于Hilbert空间排列码的海量空间数据划分算法研究[J]. 武汉大学学报·信息科学版, 2007, 32(7):650-653) |
| [8] | Zhou Yan,Zhu Qing,Zhang Yeting. A Spatial Data Partitioning Algorithm Based on Spatial Hierarchical Decomposition Method of Hilbert Space-Filling Curve[J]. <em>Geography and Geo-Information Science</em>, 2007, 23(4):13-17(周艳,朱庆,张叶廷. 基于Hilbert曲线层次分解的空间数据划分方法[J]. 地理与地理信息科学, 2007, 23(4):13-17) |
| [9] | Xiong Lian,Xu Zhengquan,Wang Tao,et al. On the Store Strategy of Small Spatio-Temporal Data Files in Cloud Environment[J]. <em>Geomatics and Information Science of Wuhan University</em>, 2014, 39(10):1252-1256(熊炼,徐正全,王涛,等. 云环境下的时空数据小文件存储策略[J]. 武汉大学学报·信息科学版, 2014, 39(10):1252-1256) |
| [10] | He Xiaoyuan,Min Huaqing. Hilbert R-tree Spatial Index Algorithm Based on Clustering[J]. <em>Computer Engineering</em>, 2009, 35(9):40-42(何小苑,闵华清. 基于聚类的Hilbert R-树空间索引算法[J]. 计算机工程, 2009, 35(9):40-42) |
| [11] | Eldawy A, Mokbel M F. Spatial Hadoop:A Map Reduce Framework for Spatial Data[C]. IEEE 31st International Conference on Data Engineering, Seoul, Korea, 2015 |
| [12] | Eldawy A, Alarabi L, Mokbel M F. Spatial Partitioning Techniques in Spatial Hadoop[C]. The International Conference on Very Large Databases, VLDB 2015, Kohala Coast, Hawaii,2015 |
| [13] | Zhao Chunyu,Meng Lingkui,Lin Zhiyong. Spatial Data Partitioning Towards Parallel Spatial Database System[J]. <em>Geomatics and Information Science of Wuhan University</em>, 2006, 31(11):962-965(赵春宇,孟令奎,林志勇. 一种面向并行空间数据库的数据划分算法研究[J]. 武汉大学学报·信息科学版, 2006, 31(11):962-965) |
