一种基于类别描述的tf-idf特征选择方法的改进

？[目的]对特征权重公式进行改进,提高文本分类精度。[方法]引入类内、类间信息并修正tf-idf权重因子,得到基于类别描述的tf-idf-cd方法。将其在偏斜文本集和均衡文本集下分别与nb、knn等分类方法结合进行文本分类实验,比较其与tf-idf、ctd等方法的分类精确度。[结果]tf-idf-cd方法在特征项较少时已有很好分类效果。相比tf-idf,在不同文本集以及不同分类方法下,其平均分类精度均有大幅提高,最低为14%,最高可达30%。与ctd相比,tf-idf-cd与nb、svm及dt结合后的平均分类精度均有1%-13%的提高。而在非均衡文本集下,tf-idf-cd与knn结合时其性能比ctd与knn结合时低2%。[局限]tf-idf-cd与对文本集不均衡性较敏感的knn结合时,其抗数据偏斜能力仍需改善。[结论]实验结果表明,tf-idf-cd特征选择方法有效,对tf-idf的改进具有一定借鉴意义。