基于hadoop的大矩阵乘法处理方法
Keywords: 大矩阵,矩阵乘法,矩阵运算,mapreduce,hadoop,并行计算,海量数据
Abstract:
?目前的矩阵乘法算法无法处理大规模和超大规模的矩阵,而随着mapreduce编程框架的提出,并行处理矩阵乘法成为解决大矩阵运算的主要手段。总结了矩阵乘法在mapreduce编程模型上的并行实现方法,并提出了实现高性能大矩阵乘法的策略——折中单个工作节点的计算量和需要网络传输的数据量。实验证明,并行实现算法在大矩阵上明显优于传统的单机算法,而且随着集群中节点数目的增多,并行算法会表现出更好的性能。
Full-Text