基于分布式计算框架的风暴三维追踪方法

摘要 气象数据的增长规模已达到每小时TB级，这使得传统基于关系型数据库和文件存储系统在海量数据存储与管理方面捉襟见肘，进而使得基于大规模异构气象数据的应用无法规模化，同时，也无法满足科研人员对海量气象数据高效探索的需要。为解决这一系列问题，研究者分别基于MapReduce、HBase等分布式框架下的分布式计算和存储技术，尝试为海量气象数据的探索提供有效技术手段，然而，综合性的研究据了解还未开展。因此，利用近年来积累的海量多普勒天气雷达数据，开展了基于MapReduce和HBase相结合的风暴三维追踪方法的研究，并基于传统Rest标准化接口实现了雷达资料的点、线、面、体的多种分布式服务接口，与传统的Rest标准化单机数据存储和访问接口的性能相比，所实现方法在性能方面有100%的效率提升。最后，以2007年至2009年珠江三角洲地区三年雷达数据的风暴追踪回算为例，进一步验证了所提方法在计算和存储管理方面的性能优势