%0 Journal Article
%T 基于注意力模型的混合学习算法
%A 杨博？
%A 苏小红？
%A 王亚东？
%J 软件学报
%P 1073-1080
%D 2005
%X 为了解决传统bp(back-propagation)算法收敛速度慢,训练得到的网络性能较差的问题,在借鉴生理学中"选择性注意力模型"的基础上,将遗传算法与误差放大的bp学习算法进行了有机的融合,提出了基于注意力模型的快速混合学习算法.该算法的核心在于将单独的bp训练过程划分为许多小的切片,并对每个切片进行误差放大的训练和竞争淘汰机制的选择.通过发现收敛速率较快的个体和过滤陷入局部极值的个体,来保证网络训练的成功率和实现快速向全局最优区域逼近的目的.仿真结果表明,该算法有效地解决了传统bp算法中由于初始权值的随机性造成的训练失败问题,并能有效解决饱和区域引起的后期训练缓慢问题,在不增加网络隐层节点数的情况下,显著地提高了网络的收敛精度和泛化能力.这将使神经网络在众多实际的分类问题上具有更广泛的应用前景.
%K bp算法
%K 人工神经网络
%K 注意力模型
%K 遗传算法
%K 饱和区域
%K 局部极值
%U http://www.jos.org.cn/ch/reader/view_abstract.aspx?file_no=20050605&flag=1