基于lda主题模型的文本相似度计算

lda(latentdirichletallocation)模型是近年来提出的一种具有文本表示能力的非监督学习模型。提出了一种基于lda主题模型的文本相似度计算方法,该方法利用lda为语料库建模,利用mcmc中的gibbs抽样进行推理,间接计算模型参数,挖掘隐藏在文本内的不同主题与词之间的关系,得到文本的主题分布,并以此分布来计算文本之间的相似度,最后对文本相似度矩阵进行聚类实验来评估聚类效果。实验结果表明,该方法能够明显提高文本相似度计算的准确率和文本聚类效果。