%0 Journal Article
%T 一类基于谱方法的强化学习混合迁移算法
%A 朱美强
%A 程玉虎
%A 李明
%A 王雪松
%A 冯涣婷
%J 自动化学报
%P 1765-1776
%D 2012
%R 10.3724/SP.J.1004.2012.01765
%X ？在状态空间比例放大的迁移任务中,原型值函数方法只能有效迁移较小特征值对应的基函数,用于目标任务的值函数逼近时会使部分状态的值函数出现错误.针对该问题,利用拉普拉斯特征映射能保持状态空间局部拓扑结构不变的特点,对基于谱图理论的层次分解技术进行了改进,提出一种基函数与子任务最优策略相结合的混合迁移方法.首先,在源任务中利用谱方法求取基函数,再采用线性插值技术将其扩展为目标任务的基函数;然后,用插值得到的次级基函数(目标任务的近似Fiedler特征向量)实现任务分解,并借助改进的层次分解技术求取相关子任务的最优策略;最后,将扩展的基函数和获取的子任务策略一起用于目标任务学习中.所提的混合迁移方法可直接确定目标任务部分状态空间的最优策略,减少了值函数逼近所需的最少基函数数目,降低了策略迭代次数,适用于状态空间比例放大且具有层次结构的迁移任务.格子世界的仿真结果验证了新方法的有效性.
%K 强化学习
%K 迁移学习
%K 谱图理论
%K 原型值函数
%K 层次分解
%U http://www.aas.net.cn/CN/abstract/abstract17783.shtml