%0 Journal Article
%T 基于sql-on-hadoop的网络日志分析
%A 章思宇
%A 姜开达
%A 韦建文
%A 罗萱
%A 王海洋
%J 通信学报
%D 2014
%X ？当今网络带宽、设备和应用数量急剧扩张，日志管理面临数据量爆炸式增长的挑战。基于sql-on-hadoop构建网络日志分析平台，实现千亿级日志存储和高效、灵活查询。利用真实tb级数据集对多种hadoop列存储格式及压缩算法进行性能测试，并对比hive和impala引擎日志扫描及统计查询效率，选用gzip压缩的parquet格式可将日志体积压缩80%，且将impala查询性能提升至5倍。基于该平台已开发6种安全事件响应、攻击检测和预警应用并发挥良好效果。
%U http://www.joconline.com.cn/CN/abstract/abstract147920.shtml