基于mapreduce的矩阵分解推荐算法研究

矩阵分解是近几年提出的一种协同过滤推荐技术，但其每项预测评分的计算都要综合大量评分数据，同时在计算时还需要存储庞大的特征矩阵，用单一结点来进行推荐将会遇到计算时间和计算资源瓶颈。结合mapreduce分布式计算框架和矩阵分解推荐算法，设计了一种基于maprcducc的矩阵分解推荐算法来解决该问题，利用hadoop的分布式缓存技术和mapfilc文件结构解决了大特征矩阵在多结点间的高效共享问题并实现了多正则因子的并行处理。通过在netflix数据集上的实验表明，该mapreduce算法及数据存储方案能带来较高的加速比，从而提高了推荐算法的计算效率。