一种面向云存储数据容错的arc缓存淘汰机制

hadoop默认采用副本冗余方式实现数据容错,但这种容错方式存在着空间占用过大、存储效率低等问题。为此,在分析了arc缓存淘汰算法的基础上,提出了一种面向云存储数据容错的arc缓存淘汰机制arcmff。在文件的访问过程中,arcmff通过维护一个lru队列和一个lfu队列统计出访问频率高的文件并将其加入缓存系统中,以提高访问性能；在arcmff中,大部分文件采用的是纠删码方式容错存储,只有缓存中的文件才用副本冗余方式存储。纠删码的编码效率很高,因此系统能够节省大量的存储空间。实验结果表明,在分布式文件系统中,arcmff能够节省文件存储空间,大大地提高hadoop的存储效率,且能够在一定程度上提高文件的写入性能。