大规模网络中基于LDA模型的重叠社区发现

传统的重叠社区发现基于网络的结构信息，具体依靠节点之间的连接关系，由于没有使用节点的内容信息，难以反映网络社区的语义。文中提出了一种大规模网络中基于节点属性的重叠社区发现算法（Overlapping Community Detection algorithm based on LDA，OCD_LDA），该算法使用LDA主题模型对节点内容进行多维属性建模，将网络节点看作文章，节点所携带的多维属性值看作文章中的单词，因此网络中的社区对应了主题模型中的主题，节点的多重社区归属对应于文章的多个主题。算法进一步考虑到网络中节点内容短小在主题建模过程中导致的数据稀疏问题，在LDA主题模型中引入Spike and Slab prior方法辅助实现变量选择和参数估计，有效地解决节点上社区分布的稀疏性和平滑性问题。实验使用DBLP文献数据集对算法进行了验证，结果表明，OCD_LDA算法能够更加有效地发现大规模网络中的重叠社区分布，揭示出复杂数据的内在特性。