BN-cluster:基于批归一化的集成算法实例分析

摘要 批归一化训练技术是训练现代神经网络的重要技术之一。它通过归一化各个隐藏层的均值和方差，减缓了梯度爆炸或消失现象的发生。然而批归一化技术统计的均值和方差依赖于每一个mini batch的数据分布，导致训练时稳定性较差。本文提出了BN-cluster算法，基于构建块的思想设计了卷积神经网络框架用于分类图像数据集。分析了批归一化问题，统计了每一个批归一化输出结果均值的方差，并且设计了基于批归一化参数聚类的卷积神经网络集成算法，实验结果证明采用集成学习的方法确定批归一化的参数，网络在各个数据集上的训练波动均有所降低，保证了在不降低原有性能的同时使网络的收敛更加稳定、快速