基于Hadoop与Spark的高校校园大数据平台研究

摘 要: 对校园大数据分析是校园信息化发展的新思路。Hadoop是Apache基金会开发的分布式系统基础架构， 它是集分布式计算、存储和管理为一体的生态系统。目前流行的Spark框架是与Hadoop生态系统中的MapReduce类似 的一个分布式计算平台，Spark比MapReduce的速度更快且提供的功能更丰富。本文以数据采集、数据存储、数据分 析、数据展现为主线，结合大数据领域最流行的Hadoop框架与Spark框架提出了高校校园大数据平台架构，详细阐述了 架构各层次的具体功能，并对架构中关系数据库数据的采集存储进行了详细介绍，最后设计校园大数据分析原型系统来 验证架构的可行性。