基于差分压缩的大规模日志压缩系统

？大型信息系统的日志数据规模呈现快速增长趋势，导致线速压缩与存储大规模日志数据成为当今数据管理的一大挑战。对大量的网络系统日志进行了研究，发现日志数据存在冗余的结构模式，在内容上存在时间局部相似性。提出了基于模板的细粒度日志差分压缩架构，针对具体日志数据，可配置与其相适应的细粒度差分策略。实验结果表明，与gzip工具相比，所提日志压缩系统在压缩速度上提高了2~10倍，压缩率比gzip更低，可达到10%。