%0 Journal Article
%T Hadoop在气象数据密集型处理领域中的应用
%A 刘立明
%A 杨润芝
%A 林润生
%A 肖卫青
%A 胡开喜
%A 谷军霞
%J 气象科技
%D 2015
%X 气象资料的统计分析计算属于数据密集型计算，目前的处理方式多为单机处理，对大量数据的处理比较慢，难以应对日益增长的数据，对气象资料的研究形成一定的制约。针对数据密集型气象数据的处理，尝试应用Hadoop的MapReduce思想提高计算效率；对Hadoop在处理大量小文件组成的气象数据时的低效率，提出对原始文件进行预处理，将多个小文件整合成能直接用于计算的大文件。试验证明，该方法解决了Hadoop处理大量小文件时的低效率问题，通过与Oracle入库检索的比较，应用Hadoop处理数据密集型气象资料具有实际意义
%K Hadoop HDFS MapReduce 气象数据 数据密集型计算
%U http://www.qxkj.net.cn/ch/reader/view_abstract.aspx?file_no=20150508&flag=1