基于ge码的hdfs优化方案

？针对hadoop分布式文件系统(hdfs)数据容灾效率和小文件问题,提出了基于纠删码的解决方案。该方案引用了新型纠删码(ge码)的编码和译码模块,对hdfs中的文件进行编码分片,生成很多个slice并随机均匀的分配保存到集群中,代替原来hdfs系统的多副本容灾策略。该方法中引入了slice的新概念,将slice进行分类合保存在block中并然后通过对slice建立二级索引来解决小文件问题;该研究方法中抛弃了三备份机制,而是在集群出现节点失效的情况下,通过收集与失效文件相关的任意70%左右的slice进行原始数据的恢复。通过相关的集群实验结果表明,该方法在容灾效率、小文件问题、存储成本以及安全性上对hdfs作了很大的优化。