%0 Journal Article
%T 大数据架构下的热词发现与可视化技术研究
%A 胡瑞娟
%J 软件工程
%D 2018
%X 摘 要: 在大数据背景下，数据膨胀的速度已经远远超出了人工分析的能力范围，因此，如何在大数据时代构建 热词发现与可视化机制尤为紧迫和重要。本文通过研究Hadoop大数据平台下的MapReduce计算框架和TF-IDF算法， 给出了TF-IDF算法在Hadoop分布式并行化计算平台下的具体实现，并以此并行化算法作为大数据架构下热词发现技 术的核心算法，然后利用可视化工具对结果进行分析处理。结果表明，TF-IDF并行化算法可以较好地发现大规模数据 量中的热点词汇；与传统单机下的算法相比，该算法处理效率更高。
%K Hadoop
%K TF-IDF并行化
%K 热词发现
%K 可视化
%U http://www.rjgczz.com/ch/reader/view_abstract.aspx?file_no=20180501&flag=1