%0 Journal Article
%T 基于网页正文结构和特征串的相似网页去重算法
%A 熊忠阳
%A 牙漫
%A 张玉芳
%J 计算机应用
%D 2013
%X ？为了减少重复网页对用户的干扰，提高去重效率，提出一种新的大规模网页去重算法。首先利用预定义网页标签值建立网页正文结构树，实现了层次计算指纹相似度;其次，提取网页中高频标点字符所在句子中的首尾汉字作为特征码;最后，利用bloomfilter算法对获取的特征指纹进行网页相似度判别。实验表明，该算法将召回率提高到了90%以上，时间复杂度降低到了o(n)。
%K 网页去重
%K 网页标签值
%K 高频标点
%K 特征码
%K 网页指纹相似度
%U http://www.joca.cn/CN/abstract/abstract15945.shtml