基于rgb-d摄像头的实时手指跟踪与手势识别

近些年,基于视觉的手部跟踪与手势识别一直是人机交互和计算机视觉等领域的研究热点。传统方法主要是使用单目或多目rgb摄像头等设备获得手部位置、方向等信息,但rgb摄像头易受到复杂背景、光照变化、纹理的限制,导致其准确性、实时性和鲁棒性都较差。随着可获得场景深度信息的家用rgb-depth(rgb-d)摄像头的发展和上市,可以利用深度信息较好地克服上述环境问题。首先定义了一个基于rgb-d摄像头的3d交互空间,根据深度信息将手部区域从复杂背景、多变的光照条件下进行分割；然后提出了一种基于深度摄像头的手指识别和跟踪方法,该方法基于手部轮廓对人手及手指进行识别和跟踪；最后通过对手指位置和轨迹的跟踪进行手势识别,从而实现人机交互。对提出的方法进行的实验验证了它的准确性、实时性和鲁棒性。