具有fisher一致性的代价敏感boosting算法

adaboost是一种重要的集成学习元算法,算法最核心的特性“boosting”也是解决代价敏感学习问题的有效方法.然而,各种代价敏感boosting算法,如adacost、adac系列算法、csb系列算法等采用启发式策略,向adaboost算法的加权投票因子计算公式或权值调整策略中加入代价参数,迫使算法聚焦于高代价样本.然而,这些启发式策略没有经过理论分析的验证,对原算法的调整破坏了adaboost算法最重要的boosting特性。adaboost算法收敛于贝叶斯决策,与之相比,这些代价敏感boosting并不能收敛到代价敏感的贝叶斯决策.针对这一问题,研究严格遵循boosting理论框架的代价敏感boosting算法.首先,对分类间隔的指数损失函数以及logit损失函数进行代价敏感改造,可以证明新的损失函数具有代价意义下的fisher一致性,在理想情况下,优化这些损失函数最终收敛到代价敏感贝叶斯决策;其次,在boosting框架下使用函数空间梯度下降方法优化新的损失函数得到算法asyb以及asybl.二维高斯人工数据上的实验结果表明,与现有代价敏感boosting算法相比,asyb和asybl算法能够有效逼近代价敏感贝叶斯决策;uci数据集上的测试结果也进一步验证了asyb以及asybl算法能够生成有更低错分类代价的代价敏感分类器,并且错分类代价随迭代呈指数下降.