一种基于源端数据重删的数据备份和恢复系统设计与实现

针对当前源端数据重删技术中,数据重删效率低、计算指纹耗时长以及频繁操作数据库耗时的问题,设计并实现了一种采用基于源端数据重删技术的数据备份与恢复系统. 系统通过在客户端预先将数据流进行分段并采用预处理环形队列进行存储,基于可变分块对数据段进行分块,整个处理过程并发执行,因此该预处理并发计算模块有效缩短了计算时间,而服务端通过用容器存放临近的数据块与索引信息,设计以容器为单位的多级缓存,明显提高缓存命中率. 此外,通过使用布隆过滤器与多级缓存减少了数据库的操作频率. 仿真实验表明该系统能有效提高数据备份与恢复效率