膝关节韧带重建手术机器人导航定位系统及方法与流程

本技术属于手术机器人，尤其涉及一种膝关节韧带重建手术机器人导航定位方法、系统、设备及计算机可读存储介质。

背景技术：

1、目前，相关技术中的骨髓道重建方法是医生依靠经验进行骨髓道重建，但是重建的骨隧道不准确。

2、因此，如何更加准确地进行骨髓道重建是本领域技术人员亟需解决的技术问题。

技术实现思路

1、本技术实施例提供一种膝关节韧带重建手术机器人导航定位方法、系统、设备及计算机可读存储介质，能够更加准确地进行骨髓道重建。

2、第一方面，本技术实施例提供一种膝关节韧带重建手术机器人导航定位方法，包括：

3、获取第一膝关节ct图像；

4、基于深度学习的神经网络ct图像分割；其中，在编码层采用2d卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3d卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2d卷积生成的特征转化为3d特征图；

5、根据分割结果进行膝关节3d建模；

6、在膝关节设置术前引导点及规划术前配准点；

7、骨隧道规划与韧带重建；

8、术中根据术前引导点使用探针进行术中配准点的采集；

9、利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；

10、根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；

11、控制机械臂自主运动进行骨隧道重建。

12、可选的，基于深度学习的神经网络ct图像分割；根据分割结果进行膝关节3d建模；骨隧道规划与韧带重建，包括：

13、对第一膝关节ct图像进行图像分割，得到第二膝关节ct图像；其中，第二膝关节ct图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；

14、对第二膝关节ct图像进行关键点识别，得到第三膝关节ct图像；

15、对第三膝关节ct图像进行骨骼矫正，得到第四膝关节ct图像；

16、对第四膝关节ct图像中的关键点进行位置优化，得到第五膝关节ct图像；

17、基于第五膝关节ct图像进行骨隧道规划，得到骨隧道规划结果；

18、基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。

19、可选的，根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立，包括：

20、根据配准结果，确定光学定位跟踪器与膝关节之间的坐标转换关系；

21、确定光学定位跟踪器与机械臂之间的坐标转换关系；

22、基于光学定位跟踪器与膝关节之间的坐标转换关系和光学定位跟踪器与机械臂之间的坐标转换关系，确定膝关节与机械臂之间的坐标转换关系。

23、可选的，控制机械臂自主运动进行骨隧道重建，包括：

24、确定机械臂中各个轴的运动轨迹；

25、基于运动轨迹，控制机械臂进行骨隧道重建。

26、可选的，控制机械臂自主运动进行骨隧道重建之后，方法还包括：

27、计算股骨与胫骨分别在不同角度时，股骨外侧髁内测后上方点a与胫骨髁间隆凸前内测1/3处点c之间的伸缩量；

28、若伸缩量不在允许误差范围内，控制机械臂对骨隧道进行修复。

29、第二方面，本技术实施例提供了一种膝关节韧带重建手术机器人导航定位系统，系统包括：

30、图像获取模块，用于获取第一膝关节ct图像；

31、图像分割模块，用于基于深度学习的神经网络ct图像分割；其中，在编码层采用2d卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3d卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2d卷积生成的特征转化为3d特征图；

32、建模模块，用于根据分割结果进行膝关节3d建模；

33、引导配准点设置模块，用于在膝关节设置术前引导点及规划术前配准点；

34、骨隧道规划模块，用于骨隧道规划与韧带重建；

35、配准点采集模块，用于术中根据术前引导点使用探针进行术中配准点的采集；

36、刚性配准模块，用于利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；

37、坐标系建立模块，用于根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；

38、控制模块，用于控制机械臂自主运动进行骨隧道重建。

39、第三方面，本技术实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；

40、所述处理器执行所述计算机程序指令时实现如第一方面的膝关节韧带重建手术机器人导航定位方法。

41、第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面的膝关节韧带重建手术机器人导航定位方法。

42、本技术实施例提供一种膝关节韧带重建手术机器人导航定位方法、系统、设备及计算机可读存储介质，能够更加准确地进行骨髓道重建。

43、该膝关节韧带重建手术机器人导航定位方法，包括：获取第一膝关节ct图像；基于深度学习的神经网络ct图像分割；其中，在编码层采用2d卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3d卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2d卷积生成的特征转化为3d特征图；根据分割结果进行膝关节3d建模；在膝关节设置术前引导点及规划术前配准点；骨隧道规划与韧带重建；术中根据术前引导点使用探针进行术中配准点的采集；利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；控制机械臂自主运动进行骨隧道重建。