多文化场景下的多模态情感识别

自动情感识别是一个非常具有挑战性的课题，并且有着广泛的应用价值.探讨了在多文化场景下的多模态情感识别问题.从语音声学和面部表情等模态分别提取了不同的情感特征，包括传统的手工定制特征和基于深度学习的特征，并通过多模态融合方法结合不同的模态，比较不同单模态特征和多模态特征融合的情感识别性能.在CHEAVD中文多模态情感数据集和AFEW英文多模态情感数据集进行实验，通过跨文化情感识别研究，验证了文化因素对于情感识别的重要影响，并提出3种训练策略提高在多文化场景下情感识别的性能，包括：分文化选择模型、多文化联合训练以及基于共同情感空间的多文化联合训练，其中，基于共同情感空间的多文化联合训练通过将文化影响与情感特征分离，在语音和多模态情感识别中均取得最好的识别效果