海量数据的相似重复记录检测算法

？针对海量数据下相似重复记录检测算法的低查准率和低效率问题，采用综合加权法和基于字符串长度过滤法对数据集进行相似重复检测。综合加权法通过结合用户经验和数理统计法计算各属性的权重。基于字符串长度过滤法在相似检测过程中利用字符串间的长度差异提前结束编辑距离算法的计算，减少待匹配的记录数。实验结果表明，通过综合加权法计算的权重向量更加全面、准确反映出各属性的重要性，基于字符串的长度过滤法减少了记录间的比对时间,能够有效地解决海量数据的相似重复记录检测问题。