一种卷积神经网络的稀疏性Dropout正则化方法

摘要 Dropout是卷积神经网络中经典的正则化方法,能有效防止过拟合现象的产生.基于Dropout的卷积神经网络在训练时以完全随机的方式删除部分节点,产生的局部网络缺少对不同样本的区分性.针对上述问题,提出一种稀疏性Dropout正则化方法,该方法在训练时对节点引入稀疏性限制,根据激活值的大小选择节点被删除的概率,使网络以更高的概率删除激活值较低的节点,以保留更多激活值较高的节点,增强模型的特征提取能力.测试时恢复所有被删除的节点并保留训练时的参数,达到组合多个局部网络的目的.在公开数据集上的实验结果表明,将稀疏性与Dropout相结合的方法相较于传统方法具有更好的泛化能力