基于Hadoop的Web日志分析系统的设计

摘 要: 在大数据时代，数据成为推动各个行业发展的动力，有效的分析数据不仅对社会经济效应有巨大影响， 而且对政府，企业的管理也有深远影响。于是，怎样高效且快速地从Web日志中挖掘出有用的价值并且转化为分析依据 是系统设计的重点。本文主要采用Hadoop为开源框架，利用HDFS进行数据的存储，Hive为开源数据仓库工具，设计 并实现一个Web日志分析系统。文章主要阐述了系统的结构、设计思想和实现方法。