基于傅立叶变换的网页去重算法

？去除重复网页可以提高搜索引擎的搜索精度，减少数据存储空间。目前文本去重算法以关键词去重、语义指纹去重为主，用上述算法进行网页去重时容易发生误判。通过对字符关系矩阵进行kl展开，将每个字符映射成为一个数值，然后对这个数值序列做离散傅立叶变换，得到每个网页的傅立叶系数向量，通过比较傅立叶系数向量差异实现对网页的相似度判断。实验结果表明该方法可对网页实现较好的去重。