一种基于广义KL距离和几何曲率的模型选择准则

模型选择的目标就是识别产生给定数据的模型.通常模型的好坏由模型的泛化能力来度量,而泛化能力包含模型对给定数据的拟合度和模型复杂度两个方面.本文从信息几何的观点使用定义在流形上的广义KL距离来度量模型的拟合度;另一方面从微分几何的观点用曲率的概念来度量模型的内在复杂度;因此,拟合度和复杂度的表示都具有在参数变换下保持不变的特点.通过理论分析,我们证明了用于表示模型预测能力的未来残差与模型固有曲率的关系.由此提出了一种新的基于广义KL距离和曲率的模型选择准则KLCIC.该准则不仅考虑了样本大小、参数个数和函数形式等影响复杂度的因素,而且具有非常清晰直观的几何意义.实验结果表明该方法的有效性.