df还是idf?主特征模型在web信息检索中的使用

web信息检索的难点之一就是简短、模糊的用户查询与存在大量冗余和噪声的文档之间的不匹配.对web文档信息特征进行分析,提出web文档主特征词、主特征域和主特征空间的概念,在该空间上使用文档频度df(documentfrequency)信息而非传统意义上的idf(inversedocumentfrequency)信息进行权值计算,并给出一个改进的相似度计算模型.使用该模型在10g和19g的两个大规模web文档集合上进行了3组标准测试.比较实验表明,与传统idf思想相比,在各项评价指标上,df相关的主特征权值计算方法都能始终较大幅度地提高系统性能,最大达到18.6%的性能改善.