基于云平台的电信数据仓库文件备份和分布动态调整算法

hadoop利用统一的备份机制来确保数据的可用性和容错性。然而对于重要的文件块，只能通过修改配置文件来设置副本数量。通过分析电信业数据仓库文件的访问情况，提出文件备份与存放动态调整算法（bpda）来提高数据局部性，以减少数据传输带来的i/o和网络消耗，提高查询效率。运用多副本一致性哈希算法，概率采样和竞争力弱化算法，得到每一个文件的最佳备份数和备份位置。实验结果验证了该算法可以提高查询关联效率。