基于deep Q-network双足机器人非平整地面行走稳定性控制方法

摘要 针对双足机器人在非平整地面行走时容易失去运动稳定性的问题，提出一种基于一种基于价值的深度强化学习算法DQN（Deep Q-Network）的步态控制方法。首先通过机器人步态规划得到针对平整地面环境的离线步态，然后将双足机器人视为一个智能体，建立机器人环境空间、状态空间、动作空间及奖惩机制，该过程与传统控制方法相比无需复杂的动力学建模过程，最后经过多回合训练使双足机器人学会在不平整地面进行姿态调整，保证行走稳定性。在V-Rep仿真环境中进行了算法验证，双足机器人在非平整地面行走过程中，通过DQN步态调整学习算法，姿态角度波动范围在3°以内，结果表明双足机器人行走稳定性得到明显改善，实现了机器人的姿态调整行为学习，证明了该方法的有效性