基于最小联合互信息亏损的最优特征选择算法

提出了一种基于最小联合互信息亏损的最优特征选择算法。该算法首先通过一种动态渐增策略搜索一个特征全集的无差异特征子集，并基于最小条件互信息原则在保证每一步中联合互信息量亏损都最小的情况下筛选其中的冗余特征，从而得到一个近似最优特征子集。针对现有基于条件互信息的条件独立性测试方法在高维特征域上所面临的效率瓶颈问题，给出了一种用于估计条件互信息的快速实现方法，并将其用于所提算法的实现。分类实验结果表明，所提算法优于经典的特征选择算法。此外，执行效率实验结果表明，所提条件互信息的快速实现方法在执行效率上有着显著的优势。