一种手术机器人系统及手术导航方法与流程

本发明涉及医疗器械，尤其涉及一种手术机器人系统及手术导航方法。

背景技术：

1、医生在对患者制定合适的治疗方案时或者对患者执行手术操作时，需要确定一些组织结构的位置，或者确定一些手术规划内容的位置。

2、现有技术中一种普遍做法是直接在屏幕中观察医学影像模型通过比对真实患者确定相关内容的位置。这种方式的缺陷在于：1、医生只能在屏幕中调整医学影像模型进行观察，视野受限，不便于多人讨论；2、屏幕中观察到的医学影像模型与实际空间中的真实患者在视觉效果上存在差异，不够直观；3、医学影像模型并不与真实患者直接对应，医生难以在真实患者身上精确地定位手术相关内容。

3、现有技术也有“计算机+投影仪”的投影系统，医生通过投影仪将医学影像模型中的信息投影到真实空间，但是投影信息与真实空间的匹配精度很差，医生需要反复调试投影仪来优化投影效果。这种方式的缺陷在于：1、投影过程复杂，需要人工反复调试；2、投影精度较低。3、投影仪影响手术空间。

4、对于现有技术的上述缺陷，本发明提出一种手术机器人系统及手术导航方法以解决或至少部分解决现有技术的上述缺陷。

技术实现思路

1、本发明提供一种手术机器人系统及手术导航方法，用以解决现有技术中医生观察三维模型不够直观，需要反复在手术部位和屏幕之间切换视线，容易导致手术操作不连贯缺陷。

2、本发明提供一种手术机器人系统，包括：工作站、机械臂、结构光模块；

3、所述工作站包括计算控制中心、显示装置和输入设备；

4、所述结构光模块包括投影组件和摄像组件，所述结构光模块连接所述机械臂；

5、所述机械臂根据所述工作站的控制指令调整姿态；

6、所述计算控制中心被配置执行如下内容：

7、s11、通过所述结构光模块获取目标对象的三维点云；

8、s12、根据所述三维点云以及医学模型进行注册，并生成对应于所述投影组件当前位姿的投影图像；

9、s13、将所述投影图像发送给所述结构光模块，以使得所述结构光模块通过所述投影组件向目标对象投影。

10、根据本发明提供的一种手术机器人系统，所述结构光模块通过法兰可拆卸地安装到所述机械臂；

11、系统还包括引导模块，在所述结构光模块从所述法兰上卸下后，所述引导模块安装到所述法兰，用于引导手术器械的运动轨迹。

12、根据本发明提供的一种手术机器人系统，系统还包括引导模块，所述引导模块集成或可拆卸地安装到所述机械臂，用于引导手术器械的运动轨迹。

13、根据本发明提供的一种手术机器人系统，所述s11包括：

14、控制所述机械臂运动到第一位姿；

15、控制所述结构光模块在所述第一位姿采集得到所述三维点云。

16、根据本发明提供的一种手术机器人系统，所述s11包括：

17、控制所述机械臂在运动到至少两个位姿；

18、控制所述结构光模块在所述至少两个位姿分别采集点云；

19、根据各位姿对应的机械臂姿态矩阵，将各位姿采集的点云进行融合，得到所述三维点云。

20、根据本发明提供的一种手术机器人系统，所述s12包括：

21、将所述三维点云与所述医学模型配准，得到点云坐标系与模型坐标系的转换关系；

22、根据所述点云坐标系与所述模型坐标系的转换关系，将所述投影组件与所述医学模型统一到同一坐标系；

23、在所述同一坐标系中，生成所述投影组件当前位姿下的对应于待投影模型的所述投影图像；其中，所述医学模型包含所述待投影模型。

24、根据本发明提供的一种手术机器人系统，所述s12包括：

25、将机械臂坐标系下的所述三维点云与所述医学模型配准，得到机械臂坐标系与模型坐标系的转换关系；

26、根据所述机械臂坐标系与所述模型坐标系的转换关系，将所述医学模型转换至同一坐标系；

27、在每次调整所述结构光模块位姿后，根据所述投影组件在所述机械臂坐标系的当前位姿以及所述同一坐标系下的所述医学模型，生成所述投影组件当前位姿下的对应于待投影模型的所述投影图像；其中，所述医学模型包含所述待投影模型。

28、根据本发明提供的一种手术机器人系统，所述生成所述投影组件当前位姿下的对应于待投影模型的所述投影图像，包括：

29、将所述投影组件的当前位姿以及所述待投影模型输入图像拍摄模型，得到所述投影图像；其中，所述待投影模型为面片模型。

30、根据本发明提供的一种手术机器人系统，所述图像拍摄模型是基于三维模型处理框架生成的可调用接口。

31、根据本发明提供的一种手术机器人系统，所述生成所述投影组件当前位姿下的对应于待投影模型的所述投影图像，包括：

32、根据所述投影组件的当前位姿，将所述待投影模型转换至投影组件坐标系；其中，所述待投影模型为点云模型；

33、根据所述投影组件的内参以及所述投影组件坐标系下的待投影模型，生成所述投影图像。

34、根据本发明提供的一种手术机器人系统，所述根据所述投影组件的内参以及所述投影组件坐标系下的待投影模型，生成所述投影图像，包括：

35、对所述投影组件坐标系下的所述待投影模型进行归一化操作，得到第一图像；

36、根据所述投影组件的畸变系数对所述第一图像进行畸变变换，得到第二图像；

37、根据所述投影组件的内参将所述第二图像对应到投影像平面，并处理得到所述投影图像。

38、根据本发明提供的一种手术机器人系统，所述生成所述投影组件当前位姿下的对应于待投影模型的所述投影图像，包括：

39、在所述投影组件当前位姿下获取所述目标对象的结构光点云；其中，所述目标对象的结构光点云是所述结构光模块采集得到的；

40、根据所述医学模型和所述投影组件的位置，生成所述待投影模型在目标对象表面对应的第一落点点云；其中，所述待投影模型为点云模型；

41、根据所述第一落点点云，从所述目标对象的结构光点云中确定出与所述第一落点点云所在区域对应的第二落点点云；

42、根据所述第二落点点云，结合所述目标对象的结构光点云的采集过程，生成所述投影图像。

43、根据本发明提供的一种手术机器人系统，所述根据所述医学模型和所述投影组件的位置，生成所述待投影模型在目标对象表面对应的第一落点点云，包括：

44、在所述待投影模型属于所述目标对象的表面点云的情况下，将所述待投影模型作为所述第一落点点云；

45、在所述待投影模型包含所述目标对象的非表面点的情况下，将所述投影组件抽象为一个点，并与所述待投影模型中的每一点连线，各连线与所述目标对象的表面曲面的交点构成所述第二落点点云。

46、根据本发明提供的一种手术机器人系统，所述根据所述第一落点点云，从所述目标对象的结构光点云中确定出与所述第一落点点云所在区域对应的第二落点点云，包括：

47、对所述目标对象的结构光点云建立搜索树，对于所述第一落点点云中的每一点，在所述搜索树中搜索最邻近点，各最邻近点即构成所述第二落点点云。

48、根据本发明提供的一种手术机器人系统，所述根据所述第二落点点云，结合所述目标对象的结构光点云的采集过程，生成所述待投影图像，包括：

49、生成与所述目标对象的结构光点云采集过程中投影的二维图案等分辨率的空白二维图；

50、对于所述第二落点点云中的每一点，根据所述目标对象的结构光点云采集过程中投影的二维图案中的像素点与生成的三维点之间的对应关系，确定出所述第二落点点云中该点对应的二维点坐标，并添加到所述空白二维图中，最终得到所述待投影图像。

51、根据本发明提供的一种手术机器人系统，所述s12中，在完成注册后，还执行验证步骤：

52、通过所述投影组件向所述目标对象投影预存的图像，以在所述目标对象上显示投影标记；

53、调整所述结构光模块的位姿，使得所述投影标记到达所述目标对象的第一特征位置；

54、通过所述结构光模块再次采集所述目标对象的三维点云；

55、根据所述再次采集的三维点云、所述预存的图像以及注册关系确定出所述投影标记在所述医学模型中对应的位置，并通过显示装置显示。

56、根据本发明提供的一种手术机器人系统，所述根据所述再次采集的三维点云、所述预存的图像以及注册关系确定出所述投影标记在所述医学模型中对应的位置，包括：

57、根据所述再次采集的三维点云的点云采集过程中投影的二维图案中像素点与生成的三维点之间的对应关系，确定出所述预存图像中的标记对应的三维点；

58、根据注册得到的机械臂坐标系与模型坐标系的转换关系以及当前机械臂姿态，将所述三维点转换到模型坐标系中。

59、本发明还提供一种手术导航方法，包括：

60、s11、通过所述结构光模块获取目标对象的三维点云；所述结构光模块包括投影组件和摄像组件；

61、s12、根据所述三维点云以及医学模型，生成投影图像；

62、s13、将所述投影图像发送给所述结构光模块，以使得所述结构光模块通过所述投影组件向目标对象投影。

63、本发明还提供一种手术机器人系统，包括：工作站，第一机械臂，第二机械臂，结构光模块，引导模块；

64、所述结构光模块安装或集成在所述第一机械臂上，用于采集三维点云以及通过所述结构光模块的投影组件向目标对象投影定位辅助信息；

65、所述引导模块安装或集成在所述第二机械臂上，用于引导手术器械的运动轨迹。

66、所述工作站控制所述第一机械臂以及所述第二机械臂的姿态，以及根据所述结构光点云生成包含所述定位辅助信息的投影图像并发送给所述结构光模块。

67、本发明提供的一种手术机器人系统及手术导航方法，至少具有以下有益效果之一：

68、1、能够将需要观察的(内部或表面)信息投影到目标对象表面，提升了信息密度，用户无需在关注部位和屏幕之间切换视线，便于直观地研讨、教学、手术规划、手术导航等，且视野范围更广；

69、2、结构光模块具有采集点云、点云投影的双重作用，处理模块进行数据处理生成投影图像，整个投影系统结构简洁，节约成本；

70、3、基于结构光模块的患者注册，注册精度高，投影也更精确；

71、4、在同一坐标系中结合模型点云以及结构光模块采集的三维点云生成投影图像，无需通过追踪设备检测投影落点是否符合预期，无需耗时调整投影仪角度、修正投影效果，提升了投影效率以及投影精度；

72、5、提供多种方式生成“投影图像”，进一步满足不同的投影精度需求、视觉效果需求；

73、6、可以根据实际空间需求，便捷的移动投影装置的位置；

74、7、在不增加额外设备的情况下，便捷地验证了注册精度。