基于sql-on-hadoop的网络日志分析

？当今网络带宽、设备和应用数量急剧扩张，日志管理面临数据量爆炸式增长的挑战。基于sql-on-hadoop构建网络日志分析平台，实现千亿级日志存储和高效、灵活查询。利用真实tb级数据集对多种hadoop列存储格式及压缩算法进行性能测试，并对比hive和impala引擎日志扫描及统计查询效率，选用gzip压缩的parquet格式可将日志体积压缩80%，且将impala查询性能提升至5倍。基于该平台已开发6种安全事件响应、攻击检测和预警应用并发挥良好效果。