一种面向多模态手术轨迹的快速无监督分割方法

摘要 基于视频和机器人运动学数据的多模态手术轨迹分割是机器人辅助微创手术中的一类基本任务，用于生成低复杂度的子任务进行学习和技能评估等.然而由于手术视频的高维特征空间，传统的特征提取方法存在效率低下、难以提取有效特征的缺陷.此外，传统轨迹分割方法未对运动学轨迹进行去噪处理，分割结果易受噪声影响.为此，本文提出了一种基于手术视频和机器人运动学数据的快速手术轨迹无监督分割方法.一方面，采用堆叠卷积自编码器方法对手术视频进行无监督的低维特征提取，提高特征提取的效率；另一方面，利用小波变换对手术运动学轨迹进行多尺度去噪处理，平滑短程轨迹，减少噪声对分割结果的影响.最后，采用非参混合模型实现手术轨迹的分割.实验表明，本文提出的手术轨迹分割方法能够在保证准确性的前提下，基于视觉和运动学特征的分割速度相较于基于深度学习转移状态聚类（TSC-DL）提高了10倍