一种改进的相似重复记录检测方法
, PP. 805-808
Keywords: 相似重复记录,优先队列,聚类,数据清洗,数据预处理
Abstract:
针对当前相似重复记录检测方法中存在的问题,提出一种改进方法.该方法根据关系表的决定属性值划分记录集,并在每个决定属性值类中检测相似重复记录.在决定属性值聚类时,提出了动态优先队列聚类算法和合并逆序算法,尽可能使相似重复的属性值聚为同一类;在记录聚类时提出了类调整算法,以提高类的代表记录的代表性.通过大量的实验分析,验证了该方法的有效性.
Full-Text
