一种手术流程的细粒度组分分析建模与辨识方法及设备

本发明属于医疗器械控制，更具体地，涉及一种手术流程的细粒度组分分析建模与辨识方法及设备。

背景技术：

1、由于具有发病率和死亡率低、疼痛少、伤口感染少、住院时间短等优点，微创手术已逐渐取代开放手术，成为许多重要外科手术的主流。在过去的十年里，机器人辅助微创手术(ramis)因其比普通微创手术更灵巧和高效而受到欢迎。大多数ramis系统使用机器人驱动的手术设备，这些设备仍由外科医生远程操作。对如何实现自主ramis的探索已经引起了广泛的关注，这就要求在手术过程中更深入地了解情况，即手术流程分析。在以前的研究中，手术工作流程的粒度从粗到细排列为阶段、步骤和动作。遵循这一概念，最新发表的关于手术流程分析的研究侧重于现有的粒度级别。更细粒度的手术工作流程分析，能提供更有效的临床信息。但是，现有的手术流程研究粒度仅位于动作层面，更细粒度的流程分解仍需进一步探索。

2、另一方面，迄今为止，端到端方法被广泛地应用于手术流程分析中，并取得了显著成效。然而，在临床应用中仍存在以下障碍。一方面，端到端方法在体内场景中表现出有限的准确性和鲁棒性。过程的复杂性、情况的差异性和体内影像的hard-frame特性干扰了深度网络提取有效的特征；由于收集和注释的困难造成可用样本的缺乏，使得端到端训练容易出现过拟合。另一方面，对于粗粒度的成分—阶段和步骤，端到端识别有很好的效果。然而，对于细粒度的组分，任何轻微的扰动都会大大改变深度网络的性能。因此，通过端到端训练来学习隐式的辨识功能是非常具有挑战性的。此外，端到端方法主要关注性能而忽略了可解释性，这导致了算法和外科医生之间的语义差距。

3、综上所述，在真实手术的流程分析中，仍存在以下几点问题：(1)在更细粒度的层面上对手术流程中器械动作的分析尚未进行；(2)手术组分分析的算法可解释性差。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本一种手术流程的细粒度组分分析建模与辨识方法及设备，其针对当前腹腔镜手术的细粒度组分—动作展开进一步拆分，通过分析外科医生动作的行为模式，将动作中连续的器械运动轨迹拆分为离散的运动基元。器械的运动轨迹由外科医生的操作产生，由于不同外科医生的操作习惯不同、多次操作的人体环境相异、多次操作的相机视角难以统一。因此，本发明提取器械在二维图像坐标系中的运动轨迹，并将其转换到二维极坐标系中，以器械运动的起始点作为原点，以实现操作起始点对齐，为挖掘器械轨迹模式提供便利。随后在极坐标系中，分别建立器械的运动距离的和方向的基元模型，以表征复杂的运动轨迹模式。以高斯混合模型建立离线的距离基元模型，以器械姿态辨识确定运动朝向，在线建立方向基元模型。至此，完成对手术操作内更细粒度的基元的分析、建模。在线执行手术操作的过程中，根据器械已产生的后向运动与基元模型的一致度，来更新距离和方向基元的状态变量。自此，完成对器械运动基元模型的在线辨识。由于手术操作的运动基元来源于外科医生行为的拆解，使得整个建模与分析过程与外科医生的行为模式一一对应。从而提升了算法的透明度，增强了算法的可解释性，弥补外科医生与算法间的语义差距，具有更高的临床应用价值。

2、为实现上述目的，本发明提出了一种手术流程的细粒度组分分析建模与辨识方法，包括以下步骤：

3、s1基于视频流，采用模仿外科医生感知过程的分层辨识器实时辨识微创手术中关键操作；

4、s2提取腹腔镜手术过程二维图像坐标系中手术器械的运动轨迹；

5、s3将所述运动轨迹转换至二维极坐标系中，将连续器械运动分解为离散运动基元，并建立运动基元模型；

6、s4根据当前关键操作中，关键操作的实时位置与离线运动基元的一致度，在线更新运动基元的状态变量，从而实现手术操作内部细粒度基元在线辨识。

7、作为进一步优选的，所述分层辨识器包括依次连接的器械位置核密度模型、器械速度核密度模型、器械距离核密度模型、器械尖端状态的隐马尔可夫模型和环境特征检测模型。

8、作为进一步优选的，步骤s1中，对于能量器械，将能量器械作为主操作器械输入至分层辨识器，如果能同时满足分层辨识器中五个模型的辨识，则认为对应图像帧为关键帧，对应能量器械的操作为关键操作；

9、对于非能量器械，将非能量器械作为主操作器械输入至分层辨识器，如果能同时满足器械位置核密度模型、器械速度核密度模型、器械距离核密度模型、器械尖端状态的隐马尔可夫模型四个模型的辨识，则认为对应图像帧为关键帧，对应非能量器械的操作为关键操作。

10、作为进一步优选的，步骤s3具体包括以下步骤：

11、s31将图像坐标系中运动轨迹转换到二维极坐标系，将连续器械运动分解为离散运动基元；

12、s32基于运动基元的执行速度，采用高斯混合模型建立器械操作的距离基元模型，基于运动基元的执行方向，采用器械姿态辨识建立器械操作的方向基元模型。

13、作为进一步优选的，步骤s32中，基于运动基元的执行速度，采用高斯混合模型建立器械操作的距离基元模型包括：

14、将运动基元以高斯混合模型的形式呈现，其高斯核与基元匹配，以编码器械的执行距离，其中，高斯混合模型的密度函数为：

15、

16、

17、fk(rt)＝n(rt|μk，∑k)

18、式中，πk为第k个高斯分量的系数，fk(rt)表示高斯混合模型的kth核，rt为在时间t时刻的运动距离，μk为第k个高斯核的均值。

19、作为进一步优选的，步骤s32中，基于运动基元的执行方向，采用器械姿态辨识建立器械操作的方向基元模型包括：

20、根据器械的姿态推断器械的方向，以器械主体、尖端作为目标，采用目标检测模型yolo_v5得到器械主体与尖端的bounding box，分别以bounding box中心作为器械左端、右端和左右端连接中心在图像帧上的位置，此时，器械方向的适量表示为：

21、

22、在t时，器械方向的估计角度是：

23、

24、式中，为器械方向的矢量，为左右端连接中心到器械右端的矢量，为左右端连接中心到器械左端的矢量。

25、作为进一步优选的，所述在线更新运动基元的状态变量包括：

26、当一个关键动作开始时，关键操作的实时位置rt被存入成后向距离定义代表kth基元的初始起点，对于第一个基元的是pcs的原点，从未知轨迹的spk来看，rback对一个单一的基元的在线辨识与状态参数更新过程表述如下：

27、

28、式中，是kth基元的更新起始点，rt为在时间t时刻的运动距离，为第k个基元的核；

29、融合在线辨识与状态参数更新的距离基元与方向基元，实现手术操作内部细粒度基元辨识。

30、按照本发明的另一个方面，还提供了一种手术流程的细粒度组分分析建模与辨识系统，包括：

31、第一主控模块，用于基于视频流，采用模仿外科医生感知过程的分层辨识器实时辨识微创手术中关键操作；

32、第二主控模块，用于提取腹腔镜手术过程二维图像坐标系中手术器械的运动轨迹；

33、第三主控模块，用于将所述运动轨迹转换至二维极坐标系中，将连续器械运动分解为离散运动基元，并建立运动基元模型；

34、第四主控模块，用于根据当前关键操作中，关键操作的实时位置与离线运动基元的一致度，在线更新运动基元的状态变量，从而实现手术操作内部细粒度基元在线辨识。

35、按照本发明的另一个方面，还提供了一种计算机可读存储介质，所述计算机可读介质上存储有手术流程的细粒度组分分析建模与辨识程序，所述手术流程的细粒度组分分析建模与辨识程序被处理器执行时实现如上所述的手术流程的细粒度组分分析建模与辨识方法的步骤。

36、按照本发明的另一个方面，还提供了一种终端设备所述终端设备包括处存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的手术流程的细粒度组分分析建模与辨识程序，所述手术流程的细粒度组分分析建模与辨识程序配置为实现如上所述的手术流程的细粒度组分分析建模与辨识方法的步骤。

37、总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

38、1.本发明通过腹腔镜手术的手术流程分析，将术中操作进一步分为关键操作和常规操作。通过模仿外科医生区分关键操作和非关键操作的感知过程提出了一个分层辨识框架，实现对术中操作的进行高精度、高鲁棒性、高可解释性的实时辨识。

39、2.本发明将细粒度的手术操作分解为更细粒度的运动基元，并实现术中在线的基元辨识与基元状态更新。一方面为ramis系统的建立提供详细的场景任务信息，另一方面为理解外科医生手术操作的行为模式提供可解释性分析。

40、3.本发明将yolo_v5提取到的二维图像坐标系的器械运动轨迹转换到二维极坐标系，以实现多次手术操作的行为对齐，从而便于挖掘操作行为模式。通过将连续的器械轨迹分解为离散的运动基元，实现手术动作的细粒度分解。通过混合高斯模型建立距离基元模型，通过器械姿态辨识确定器械头部方向，从而建立方向基元模型。

41、4.本发明通过分析外科医生的操作行为模式，设计运动基元建模与辨识算法，一方面该算法无需依赖大批标注数据集、鲁棒性高、泛化能力强，另一方面细粒度操作基元的辨识与机器人自主手术操作技能迁移的相关研究打下基础。