一种提高受限玻尔兹曼机性能的反正切函数逼近L(0)范数方法

摘要 受限玻尔兹曼机（RBMs）常常作为深度置信网络（DBN）的基本构成模块,通过训练几个RBM,DBN能够快速地被训练好以获得好的工作效果.为了获得更好的数据表示,受稀疏编码理论的启发,本文提出一种新的稀疏RBM,称为AtanRBM.与稀疏RBM（sparse RBM）不同的是,AtanRBM是添加一个arctan正则项（arctan函数逼近L(0)范数）直接地约束隐含单元的概率密度空间来达到隐含单元稀疏的效果,而不是约束隐含单元的平均激活概率期望达到相同的较低稀疏水平.在MNIST数据集的实验表明,AtanRBM比当前相关的模型可以学到更稀疏和更具辨别力的表示形式或表示方法,进而由AtanRBM预训练的深层网络能够获得更好的分类效果