杂合启发式在线pomdp规划

许多不确定环境下的自主机器人规划任务都可以用部分可观察的马氏决策过程(partiallyobservablemarkovdecisionprocess,简称pomdp)建模.尽管研究者们在近似求解技术的设计方面已经取得了显著的进展,开发高效的pomdp规划算法依然是一个具有挑战性的问题.以前的研究结果表明:在线规划方法能够高效地处理大规模的pomdp问题,因而是一类具有研究前景的近似求解方法.这归因于它们采取的是“按需”作决策而不是预前对整个状态空间作决策的方式.旨在通过设计一个新颖的杂合启发式函数来进一步加速pomdp在线规划过程,该函数能够充分利用现有算法里一些被忽略掉的启发式信息.实现了一个新的杂合启发式在线规划(hybridheuristiconlineplanning,简称hhop)算法.在一组pomdp基准问题上,hhop有明显优于现有在线启发式搜索算法的实验性能.