微创手术针三维姿态的建模、计算方法及计算机程序产品

本发明涉及智能医疗，更具体地，涉及一种微创手术针三维姿态的建模、计算方法及计算机程序产品。

背景技术：

1、微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备进行的手术。具有创伤小、疼痛轻、恢复快的优越性。以腹腔镜手术为例，医生需要在病人的身体上做一个小切口孔，之后将管道状工作通道插入躯干，以后一切操作均通过这管道进行，再用特制的加长手术器械在腹腔镜的图像下完成与开放手术同样的步骤，达到同样的手术效果。由于操作空间十分紧凑，使得微创手术的缝合任务难度增大。能否对缝合针进行正确的操作很大程度上取决于反馈观察到的腹腔镜图像的姿态是否准确。同时，随着机器人辅助手术的日益普及，基于针姿态的视觉辅助对于针轨迹规划、针-组织交互和自动缝合等机器人辅助具有重要意义。

2、应用传统方法，即使用三维腹腔镜，结合立体视觉显式计算方法，可以实现确定一个特征点的三维位置。然而，微创手术的图像反馈源最常用的相机类型为传统的单眼腹腔镜，这些算法无法应用。利用单目相机进行三维姿态计算的主要问题是深度信息的损失，除非引入额外的约束，否则二维信息不足以确定三维空间中的位置。

3、由于半圆形手术针只有针尖针尾易于识别，目前的技术主要集中于对针进行额外标记或者对夹持点进行额外标记以获取足够多的特征点。如果可以直接从图像入手不用对针进行额外标记，将大大增加技术的应用性。因此急需开发一种基于单目腹腔镜图像进行缝合针三维姿态计算的算法。

技术实现思路

1、针对现有技术的上述缺陷，本发明提供了一种微创手术针三维姿态的建模、计算方法及计算机程序产品，基于二自由度约束针的六自由度姿态的几何建模方法和基于损失函数进行逼近的反馈算法，仅依赖观察到的针的尖端和针的尾端，解决了基于单目图像实现缝合针图像的三维位姿计算问题，而不需要对针进行额外标记。

2、为实现上述目的，一方面，本发明提供一种微创手术针三维姿态的建模方法，其特征在于，实现对单目相机图像中针的六自由度姿态的参数化表示，包括以下步骤：

3、步骤s101、在光学中心与所述单目相机坐标系的原点重合时，将真实世界坐标转化为像素坐标相机透视投影；

4、步骤s102、根据单目二维图像确定经过针尾端点和尖端点的两条投影射线，并用向量表示；

5、步骤s103、根据针尾端点和尖端点之间连线与两条所述投影射线的其中一条射线之间夹角角度设计第一自由度限制，即将针尾端点和尖端点之间连线作为第一自由度；将针围绕针尾端点和尖端点之间连线旋转的角度作为第二自由度；基于所述第一自由度和第二自由度的约束，完成针三维姿态的建模。

6、进一步地，所述第二自由度的获取方法包括：在固定针尾端点和尖端点的真实三维位置后，通过随机取针上的点计算出针所在平面法向量；基于所述法向量，求得针所在平面与投影平面的夹角；所述夹角即为针尾端点和尖端点之间连线旋转的角度或所述第二自由度。

7、进一步地，所述针的外形为半圆形、条形或其他的规则几何图形。

8、另一方面，本发明提供一种微创手术针三维姿态的计算方法，其特征在于，包括以下步骤：

9、步骤s201、获取微创手术针的单目二维图像；

10、步骤s202、获取相机信息与针的三维信息；

11、步骤s203、采用如权利要求1至3中任一项所述的微创手术针三维姿态的建模方法生成针的二维模型；设定第一自由度和第二自由度的初始角度；

12、步骤s204、建立一种基于所述二维模型的损失函数和逼近算法；根据所述损失函数的误差，更正第一自由度和第二自由度角度的值，使其不断逼近真实值，并最终使得所述二维模型与真实图像拟合。

13、进一步地，所述损失函数的获取方法包括：对原始针图像进行标记，按照某一坐标对针进行均分；对估计得到的二维针图像模型同样依照该坐标进行均分；计算每个对应等分点之间的距离差值，取平均值即为损失函数：

14、

15、其中aix与bix代表了对应点的横坐标，aiy与biy代表了对应点的纵坐标，i的范围为从1到等分数量的整数。

16、进一步地，所述逼近算法根据损失函数的值改变所述第一自由度和第二自由度角度的变化步长；当损失函数值较大时，变化步长增大；当损失函数值较小时，变化步长减小；当损失函数小于某一值时，变化步长不变；当损失函数小于给定阈值时，视为重合，即模拟位姿等于实际位姿。

17、进一步地，所述逼近算法基于插值法、最佳一致逼近、最佳平方逼近或最小二乘逼近。

18、再一方面，本发明提供一种计算机程序产品，其特征在于，所述计算机程序被处理器执行时实现如上述的微创手术针三维姿态的建模方法。

19、最后一方面，本发明提供一种计算机程序产品，其特征在于，所述计算机程序被处理器执行时实现如上述的微创手术针三维姿态的计算方法。

20、与现有技术相比，本发明具有以下技术效果：

21、(1)本发明的建模方法实现了在数学模拟上对针进行二自由度的约束准确地描述针的六自由度位姿，对图像的建模完全依赖观察到的针的尖端和针的尾端，不需要对针进行额外标记；

22、(2)本发明将世界坐标转化为像素坐标相机透视投影，用于进行两坐标系的换算，既可以正向推导解决问题，也可以用来反向验证；

23、(3)本发明的逼近算法使其能够在误差较大时向真实值逼近得更快，而在误差较小时采用固定步长，提高识别效率；

24、(4)本发明的逼近算法基于连续的视频流，可以将上一次的结果作为下一次的起点，有助于提高识别速度。

技术特征：

1.一种微创手术针三维姿态的建模方法，其特征在于，实现对单目相机图像中针的六自由度姿态的参数化表示，包括以下步骤：

2.根据权利要求1所述的一种微创手术针三维姿态的建模方法，其特征在于，所述第二自由度的获取方法包括：在固定针尾端点和尖端点的真实三维位置后，通过随机取针上的点计算出针所在平面法向量；基于所述法向量，求得针所在平面与投影平面的夹角；所述夹角即为针尾端点和尖端点之间连线旋转的角度或所述第二自由度。

3.根据权利要求1或2所述的一种微创手术针三维姿态的建模方法，其特征在于，所述针的外形为半圆形、条形或其他的规则几何图形。

4.一种微创手术针三维姿态的计算方法，其特征在于，包括以下步骤：

5.根据权利要求4所述的一种微创手术针三维姿态的计算方法，其特征在于，所述损失函数的获取方法包括：对原始针图像进行标记，按照某一坐标对针进行均分；对估计得到的二维针图像模型同样依照该坐标进行均分；计算每个对应等分点之间的距离差值，取平均值即为损失函数：

6.根据权利要求4所述的一种微创手术针三维姿态的计算方法，其特征在于，所述逼近算法根据损失函数的值改变所述第一自由度和第二自由度角度的变化步长；当损失函数值较大时，变化步长增大；当损失函数值较小时，变化步长减小；当损失函数小于某一值时，变化步长不变；当损失函数小于给定阈值时，视为重合，即模拟位姿等于实际位姿。

7.根据权利要求6所述的一种微创手术针三维姿态的计算方法，其特征在于，所述逼近算法基于插值法、最佳一致逼近、最佳平方逼近或最小二乘逼近。

8.一种计算机程序产品，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的微创手术针三维姿态的建模方法。

9.一种计算机程序产品，其特征在于，所述计算机程序嵌入有权利要求4至7任一项所述的微创手术针三维姿态的计算方法。

技术总结
本发明公开了一种微创手术针三维姿态的建模、计算方法及计算机程序产品，基于二自由度约束针的六自由度姿态的几何建模方法和基于损失函数进行逼近的反馈算法，仅依赖观察到的针的尖端和针的尾端，解决了基于单目图像实现缝合针图像的三维位姿计算问题，而不需要对针进行额外标记。本专利提出了一种基于图像等分点之间距离差值产生的损失函数的反馈算法，可以根据损失函数大小调整变化步长，使模拟模型逼近真实模型，用于计算三维姿态，提高识别效率和精度；且在连续的视频流中，将上一次的结果作为下一次的起点，提高识别速度。

技术研发人员：齐鹏,沈隆琦
受保护的技术使用者：同济大学
技术研发日：
技术公布日：2024/3/11