Markov逻辑网在重复数据删除中的应用

为了解决和突破现阶段重复数据删除方法大多只能针对特定领域,孤立地解决问题的某个方面所带来的不足和局限,提出了基于Markov逻辑网的统计关系学习方法.该方法可以通过计算一个世界的概率分布来为推理服务,从而可将重复数据删除问题形式化.具体采用了判别式训练的学习算法和MCSAT推理算法,并详细阐述了如何用少量的谓词公式来描述重复数据删除问题中不同方面的本质特征,将Markov逻辑表示的各方面组合起来形成各种模型.实验结果表明基于Markov逻辑网的重复数据删除方法不但可以涵盖经典的FellegiSunte