基于多模态融合的足球视频语义分析

提出一种有效地融合多模态信息来检测足球视频精彩事件的系统算法和框架。首先从视频中抽取音频流，然后基于chmm进行音频分类。接着根据时间对应关系在包含激昂解说音和欢呼声的相部镜头里结合球门和慢镜头检测射门事件，其中慢镜头检测是基于徽标的。对射门事件进一步根据激昂解说音和欢呼声的长短、慢镜头的长短及比分字幕的出现检测进球事件。在哨音出现的相部镜头中结合是否有慢镜头回放及回放长度来检测犯规事件。实验表明，提出的系统算法及框架是高效率的。