基于混合时空特征描述子的人体动作识别

针对基于局部时空特征的行为识别中获取高效兴趣点、合理描述兴趣点及表征运动特征等关键问题，提出一种基于混合时空特征和 SOM 网络的新的行为识别框架。首先，从输入视频中提取出多尺度的 Dollar 时空兴趣点，并由时空兴趣点提取用于描述局部运动区域的视频块。然后，提出多向投影的光流直方图(DPHOF)构造方法，并与 3D 梯度方向直方图(HOG3D)结合描述视频块;利用 SOM 构造全局视频描述子。最后，用 K 最近邻(KNN)进行分类。对该方法在 KTH 和 UCF－YT 数据集上进行了验证，取得了很好的识别效果。实验结果表明，提出的 DPHOF 描述符能高效表示时空兴趣点，并优于HOG3D 和 HOF 的描述性，且由 SOM 构造出的全局视频描述子可以高效地表示视频特征，该方法具有更好的识别结果