一种基于粒子滤波的双模态语音提取方法

说话人的唇动信息有助于加强对语音的感知．根据说话人语音的双模态特性，将振动信息引入语音提取问题，提出了一种基于粒子滤波的贝叶斯融合架构的双模态语音提取方法．该方法融合说话人的语音和唇动信息，根据信息论中的最大互信息准则与盲源分离中的高阶统计量准则，将音视频互信息与语音峭度的乘积作为代价函数，利用粒子滤波估计混合矩阵，解决时变瞬时混合情况下的语音提取问题．仿真结果表明，该方法在低信噪比情况下仍然能够实现语音信号的有效提取．