全部 标题 作者
关键词 摘要

OALib Journal期刊
ISSN: 2333-9721
费用:99美元

查看量下载量

相关文章

更多...

数据密集型计算中负载均衡的数据布局方法

DOI: 10.13190/jbupt.201304.76.songj, PP. 76-80

Keywords: 数据密集型计算,数据布局,负载均衡,MapRedcue,云计算

Full-Text   Cite this paper   Add to My Lib

Abstract:

广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率.

References

[1]  刘仲, 周兴铭. 基于动态区间映射的数据对象布局算法[J]. 软件学报, 2005, 16(11): 1886-1893. Liu Zhong, Zhou Xingming. A data object placement algorithm based on dynamic interval mapping [J]. Journal of Software, 2005, 16(11): 1886-1893.
[2]  郑湃, 崔立真, 王海洋, 等. 云计算环境下面向数据密集型应用的数据布局策略与方法[J]. 计算机学报, 2010, 33(8): 1472-1480. Zheng Pai, Cui Lizhen, Wang Haiyang, et al. A data placement strategy for data-intensive applications in cloud [J]. Chinese Journal of Computers, 2010, 33(8): 1472-1480.
[3]  Song Huaiming, Yin Yanlong, Chen Yong, et al. A cost-intelligent application-specific data layout scheme for parallel file systems[C]//HPDC. San Jose, California: ACM, 2011: 37-48.
[4]  Chen Yong, Sun Xianhe, Thakur R, et al. Improving parallel I/O performance with data layout awareness[C]//CLUSTER. Heraklion, Crete: IEEE, 2010: 302-311.

Full-Text

Contact Us

service@oalib.com

QQ:3279437679

WhatsApp +8615387084133