%0 Journal Article %T 基于Hadoop与Spark的高校校园大数据平台研究 %A 刘 萍 %J 软件工程 %D 2018 %X 摘 要: 对校园大数据分析是校园信息化发展的新思路。Hadoop是Apache基金会开发的分布式系统基础架构, 它是集分布式计算、存储和管理为一体的生态系统。目前流行的Spark框架是与Hadoop生态系统中的MapReduce类似 的一个分布式计算平台,Spark比MapReduce的速度更快且提供的功能更丰富。本文以数据采集、数据存储、数据分 析、数据展现为主线,结合大数据领域最流行的Hadoop框架与Spark框架提出了高校校园大数据平台架构,详细阐述了 架构各层次的具体功能,并对架构中关系数据库数据的采集存储进行了详细介绍,最后设计校园大数据分析原型系统来 验证架构的可行性。 %K 大数据 %K Hadoop %K Spark %K 校园大数据平台 %U http://www.rjgczz.com/ch/reader/view_abstract.aspx?file_no=20180505&flag=1