基于人脸表情和语音的双模态情感识别

在未来的人工智能领域中，计算机的情感识别能力将扮演越来越重要的角色。针对人脸表情和语音的双模态情感识别，文中提出了一种基于稀疏典型相关分析的特征融合方法。首先，分别提取人脸表情和语音两个模态的情感特征，然后采用稀疏典型相关分析方法对两个模态的情感特征进行融合，最后采用K近邻分类器进行情感识别。实验结果表明文中提出的基于稀疏典型相关分析的双模态情感识别方法能够比语音单模态和人脸表情单模态情感识别取得更高的识别率。