朴素并行lda

并行潜在狄利克雷分配(lda)主题模型在计算与通信两方面的时间消耗较大,导致训练模型的时间过长,因而无法被广泛应用。提出朴素并行lda算法,针对计算和通信分别提出改进方法。一方面通过加入单词影响因子以及设置阈值的方法来降低文本训练的粒度,另一方面通过降低通信频率来减少通信时间。实验结果表明,优化后的并行lda在保证精度损失为1%的前提下,将训练速度提高了36%,有效提高了并行的加速比。