%0 Journal Article
%T web信息整合中的数据去重方法
%A 刘雪琼
%A 武刚
%A 邓厚平
%J 计算机应用
%D 2013
%X ？针对现有数据去重方法中存在的时间效率和检测精度低的问题,结合web信息整合的特点,提出一种逐级聚类的数据去重方法(scde)。首先通过关键属性分割和canopy聚类将数据划分成小记录集,然后精确检测相似重复记录,并提出基于动态权重的模糊实体匹配策略,采用动态权重赋值,降低属性缺失对记录相似度计算带来的影响,并对名称的特殊性进行处理,提高匹配准确率。实验结果显示:该方法在时间效率和检测精度上均优于传统算法,其中准确率提高12.6%。该方法已应用于林业黄页系统中,取得了较好的应用效果。
%K web信息整合
%K 相似重复记录
%K 动态权重
%K 模糊实体匹配
%U http://www.joca.cn/CN/abstract/abstract16663.shtml