基于点的pomdp算法的预处理方法

基于点的算法是部分可观察马尔可夫决策过程(partiallyobservablemarkovdecisionprocesses,简称pomdp)的一类近似算法.它们只在一个信念点集上进行backup操作,避免了线性规划并使用了更少的中间变量,从而将计算瓶颈由选择向量转向了生成向量.但这类算法在生成向量时含有大量重复和无意义计算,针对于此,提出了基于点的pomdp算法的预处理方法(preprocessingmethodforpoint-basedalgorithms,简称ppba).该方法对每个样本信念点作预处理,并且在生成α-向量之前首先计算出该选取哪个动作和哪些α-向量,从而消除了重复计算.ppba还提出了基向量的概念,利用问题的稀疏性避免了无意义计算.通过在perseus上的实验,表明ppba很大地提高了算法的执行速度.