手术机器人摆位方法、摆位装置、机器人和存储介质与流程

1.本发明涉及医疗器械技术领域，特别涉及一种手术机器人摆位方法、摆位装置、机器人和存储介质。


背景技术：

2.目前手术机器人尤其是多臂型机器人，在术前摆位时通常需要用户拖动机械臂至手术部位，手动拖动过程较为繁琐，待拖动至手术部位与套管针相连后，才可进行后续手术，对用户不够友好便捷；现有技术中也有提出将需要摆位的目标位置以增强现实的方式显示在用户视野内，依照视野内显示的目标位置，将机械臂从臂拖动至目标位置，而基于视觉的全自动定位方法，受限于识别准确性及定位精度，难以实现完全自主摆位，且一般情况下还需在手术部位粘贴额外的标记来辅助实现摆位功能。


技术实现要素：

3.本发明要解决的技术问题是为了克服现有技术中机器人术前摆位的拖动过程较为繁琐的缺陷，提供一种手术机器人摆位方法、摆位装置、机器人和存储介质。
4.本发明是通过下述技术方案来解决上述技术问题：
5.第一方面，提供一种手术机器人摆位方法，所述方法包括：
6.获取用户的手势信息；
7.基于所述手势信息获取手术机器人的运动指令和目标位置信息；
8.基于所述运动指令和所述目标位置信息实现机器人的自动摆位。
9.较佳地，所述获取用户的手势信息，包括：
10.利用识别设备获取用户的手势信息。
11.较佳地，所述基于所述手势信息获取手术机器人的运动指令和目标位置信息，包括：
12.预先构建手势信息与运动指令一一映射关系的数据库；
13.将获取的所述手势信息与数据库中的手势进行匹配，得到与所述手势信息对应的运动指令。
14.较佳地，所述基于所述手势信息获取手术机器人的运动指令和目标位置信息，包括：
15.接收所述识别设备获取的所述手势在识别设备坐标系下的位置信息；
16.将所述识别设备坐标系下的位置信息转换为机器人坐标系下的目标位置信息。
17.较佳地，所述将所述识别设备坐标系下的目标位置转换为机器人坐标系下的目标位置信息，包括：
18.获取机器人坐标系与识别设备坐标系的空间转移矩阵；
19.根据所述空间转移矩阵对所述识别设备坐标系下的位置信息进行转换，得到在机器人坐标系下的所述目标位置信息。
20.较佳地，所述获取机器人坐标系与所述识别设备坐标系的空间转移矩阵，具体包括：
21.在所述手术机器人机械臂的任意可动关节上设置至少一个标记点，并控制机械臂从第一位置状态运动至第二位置状态；
22.获取机械臂末端在机器人坐标系下所述第一位置状态下的第一末端位置信息和所述第二位置状态下的第二末端位置信息；
23.接收所述识别设备获取的标记点在识别设备坐标系下所述第一位置状态下的第一识别位置信息和所述第二位置状态下的第二识别位置信息；
24.根据所述第一末端位置信息、所述第二末端位置信息、所述第一识别位置信息和所述第二识别位置信息计算得到所述机器人坐标系与识别设备坐标系的空间转移矩阵。
25.较佳地，所述识别设备为可穿戴的混合现实设备。
26.第二方面，提供一种用于实现上述的手术机器人摆位方法的摆位装置，包括：
27.手势信息获取模块，用于获取用户的手势信息；
28.运行信息获取模块，用于基于所述手势信息获取手术机器人的运动指令和目标位置信息；
29.摆位模块，用于基于所述运动指令和所述目标位置信息实现机器人的自动摆位。
30.第三方面，提供一种机器人，包括如上所述的摆位装置。
31.第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的手术机器人摆位方法。
32.本发明的积极进步效果在于：
33.本技术采用手势交互的方式作为机器人指定期望的目标位置，利用混合现实设备识别手势得到运动指令并定位目标在其坐标空间下的位置，再结合混合现实设备与机器人之间的坐标系转换关系，机器人的机械臂便可以自主运动至指定位置，实现机械臂的便捷摆位。
附图说明
34.图1为本发明实施例1的手术机器人摆位方法的流程图。
35.图2为本发明实施例1的手术机器人摆位方法中运动指令获取的流程图。
36.图3为本发明实施例1的手术机器人摆位方法中目标位置信息获取的流程图。
37.图4为本发明实施例1的手术机器人摆位方法中步骤122的流程图。
38.图5为本发明实施例1的手术机器人摆位方法中步骤1221的流程图。
39.图6为本发明实施例2的摆位装置的模块示意图。
40.图7为本发明实施例2的摆位装置中运行信息获取模块的模块示意图。
具体实施方式
41.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
42.实施例1
43.手术机器人以其出血少、恢复快等特点已经越来越多的得到了应用，手术机器人
包括手术台车、视觉台车和医生操控台等，在利用手术机器人执行前需要将手术机器人的手术台车运动到合适的手术位置，手术台车可以采用自动或人工指引的方式到达手术床前，然后手术台车上的手术机械臂需要运动到患者的病灶区域进行手术，现有技术中，一般是由操作人员手动拖动机械臂到手术位置，该方法需要人工操作，自主性和灵活性较差；现有技术中也有采用视觉来获取患者病灶区域来实现机械臂的自动摆位，但视觉导航获取空间位置的精度受到视觉定位精度的影响，同时需要提前设置相应的导航标记。为了实现手术机器人准确的自动摆位，本实施例提出一种更准确获取手术位置来实现手术机器人自动摆位的方法。
44.一种手术机器人摆位方法，如图1所示，所述方法包括：
45.步骤10、获取用户的手势信息；
46.其中，步骤10中，利用识别设备获取用户的手势信息。
47.其中，识别设备为可穿戴的混合现实设备，可以为双目相机、ar设备、vr设备、mr设备种的任意一种。其中，本实施例采用的可穿戴混合现实设备，便于用户交互，且对于交互区域限制小，但本实施例并不限制于可穿戴的设备，识别设备主要用来识别手势以及定位手势位置，能够实现这些功能的双目追踪设备等都可以应用于本实施例。
48.步骤11、基于手势信息获取手术机器人的运动指令和目标位置信息；
49.步骤12、基于运动指令和目标位置信息实现机器人的自动摆位。
50.需要说明的是，还可采用其他方式来确定目标的位置信息，比如用语音控制与手势结合的方式，可以直接提取语音信息中的语音指令用作于运动指令，这样可以不用识别特定手势得到对应的运动指令，通过手的位置进行空间目标位置的确定。
51.在一可选的实施方式中，如图2所示，提供步骤11中获取运动指令的一种实现具体方式，具体包括：
52.步骤111、预先构建手势信息与运动指令一一映射关系的数据库；
53.步骤112、将获取的手势信息与数据库中的手势进行匹配，得到与手势信息对应的运动指令。
54.其中，可以通过构建的数据库进行图像匹配找到匹配度最高的图像，进而确定手势对应的运动指令，另外，还可以通过更加智能的识别方式，比如基于多个训练图像及对应的运动指令标签进行训练，训练得到手势识别模型，基于训练好的模型实时识别输出对应的运动指令。
55.在一可选的实施方式中，如图3所示，提供步骤11中获取目标位置信息的具体实现方式，具体包括：
56.步骤121、接收识别设备获取的手势在识别设备坐标系下的位置信息；
57.步骤122、将识别设备坐标系下的位置信息转换为机器人坐标系下的目标位置信息。
58.其中，如图4所示，步骤122具体包括：
59.步骤1221、获取机器人坐标系与识别设备坐标系的空间转移矩阵；
60.步骤1222、根据空间转移矩阵对识别设备坐标系下的位置信息进行转换，得到在机器人坐标系下的目标位置信息。
61.其中，如图5所示，步骤1221具体包括：
62.步骤12211、在手术机器人机械臂的任意可动关节上设置至少一个标记点，并控制机械臂从第一位置状态运动至第二位置状态；
63.步骤12212、获取机械臂末端在机器人坐标系下第一位置状态下的第一末端位置信息和第二位置状态下的第二末端位置信息；
64.步骤12213、接收识别设备获取的标记点在识别设备坐标系下第一位置状态下的第一识别位置信息和第二位置状态下的第二识别位置信息；
65.步骤12214、根据第一末端位置信息、第二末端位置信息、第一识别位置信息和第二识别位置信息计算得到机器人坐标系与识别设备坐标系的空间转移矩阵。
66.具体的，以混合现实设备为例，将混合现实设备先放置不动，在机械臂的可动关节上固定一个混合现实标记，控制机械臂任意移动2次即从第一位置状态运动至第二位置状态，得到前后两个位置状态下机械臂末端在机器人坐标系下的第一末端位置信息和第二末端位置信息进而基于前后两个末端位置信息计算得到机器人坐标系下机械臂末端的变换矩阵此矩阵可通过机械臂控制台计算；然后，通过混合现实设备的相机采集空间中前后两个位置状态下混合现实标记的第一识别位置信息和第二识别位置信息并通过诸如pnp、p3p等姿态求解算法基于前后两个识别位置信息计算得到识别设备坐标系下混合现实标记的变换矩阵再结合机械臂末端与混合标记在不同位置状态的空间转移矩阵是保持不变的原则，可解算出混合现实标记与机械臂末端的空间转移矩阵x，具体通过t_robot_end*x＝x*t_camera_marker进行求解x；完成标定后，识别设备坐标系下的空间位置便可以转换至机器人坐标系下。进一步地，为了提高矩阵解算的精度，机械臂的运动位置状态可以为多个，获取多个机械臂末端的位置信息，并采用冗余计算来提高计算的精度。
67.本示例中，在得到空间转移矩阵之后的实际应用过程中，用户穿戴混合现实设备，混合现实设备负责识别手势，并计算定位手势在混合现实设备空间下的坐标值(可以选择手指顶端作为坐标系原点)，通过混合现实设备提取手的特征，并提取出手势轮廓，通过数据库匹配得到相应的手势信息中的运动指令，在根据空间转移矩阵将混合现实设备坐标系下手势坐标值转换至机械臂坐标系下；机械臂基于目标位置进行反解，并根据结果将机械臂自主运动至目标位置。
68.另外需要说明的是，在机械臂自主运动到位之后，此时如果机械臂末端与目标作业设备或装置之间有位置偏差(通过用户自己判断是否已到达套筒针的位置)，则用户可以在局部小范围内人工拖动机械臂末端，使其与作业设备或装置正确相连。
69.还需要说明的是，本实施例优选的采用具有自定位功能的混合现实设备，当识别设备发生移动时，通过slam(同步定位与建图)还可以确定混合现实设备的相对移动信息，进而也可以得到移动后其与机器人坐标系的新的空间转移矩阵，比如混合现实设备可以采用如hololens之类的具备自定位功能的设备。
70.上述实例中，主要采用了具有自定位功能的混合现实设备，还可采用不具有自定位功能的设备，如普通单目相机，只需要保证用户的手势与混合现实标记同时处于设备成
像范围内，即可计算出手势在机器人坐标系下的位置信息。
71.本实施例中，采用手势交互的方式作为机器人指定期望的目标位置，利用混合现实设备识别手势得到运动指令并定位目标在其坐标空间下的位置，再结合混合现实设备与机器人之间的坐标系转换关系，机器人的机械臂便可以自主运动至指定位置，实现机械臂的便捷摆位。
72.实施例2
73.一种摆位装置，用于实现实施例1所述的手术机器人摆位方法，如图6所示，包括：
74.手势信息获取模块1，用于获取用户的手势信息；
75.其中，识别设备为可穿戴的混合现实设备，可以为双目相机、ar设备、vr设备、mr设备种的任意一种。
76.其中，本实施例采用的可穿戴混合现实设备，便于用户交互，且对于交互区域限制小，但本实施例并不限制于可穿戴的设备，识别设备主要用来识别手势以及定位手势位置，能够实现这些功能的双目追踪设备等都可以应用于本实施例。
77.运行信息获取模块2，用于基于所述手势信息获取手术机器人的运动指令和目标位置信息；
78.摆位模块3，用于基于所述运动指令和所述目标位置信息实现机器人的自动摆位。
79.需要说明的是，还可采用其他方式来确定目标的位置信息，比如用语音控制与手势结合的方式，可以直接提取语音信息中的语音指令用作于运动指令，这样可以不用识别特定手势得到对应的运动指令，通过手的位置进行空间目标位置的确定。
80.在一可选的实施方式中，如图7所示，运行信息获取模块2具体包括：
81.数据库构建单元21，用于预先构建手势信息与运动指令一一映射关系的数据库；
82.匹配单元22，用于将获取的手势信息与数据库中的手势进行匹配，得到与手势信息对应的运动指令。
83.其中，可以通过构建的数据库进行图像匹配找到匹配度最高的图像，进而确定手势对应的运动指令，另外，还可以通过更加智能的识别方式，比如基于多个训练图像及对应的运动指令标签进行训练，训练得到手势识别模型，基于训练好的模型实时识别输出对应的运动指令。
84.在一可选的实施方式中，参见图7，运行信息获取模块2还包括：
85.识别位置获取单元23，用于接收识别设备获取的手势在识别设备坐标系下的位置信息；
86.转换单元24，用于将识别设备坐标系下的位置信息转换为机器人坐标系下的目标位置信息。
87.在一可选的实施方式中，参见图7，运行信息获取模块2还包括：
88.空间转移矩阵获取单元25，用于获取机器人坐标系与识别设备坐标系的空间转移矩阵；
89.转换单元24具体用于根据空间转移矩阵对识别设备坐标系下的位置信息进行转换，得到在机器人坐标系下的目标位置信息。
90.在一可选的实施方式中，空间转移矩阵获取单元25具体通过以下方式获取空间转移矩阵，包括：
91.在手术机器人机械臂的任意可动关节上设置至少一个标记点，并控制机械臂从第一位置状态运动至第二位置状态；
92.获取机械臂末端在机器人坐标系下第一位置状态下的第一末端位置信息和第二位置状态下的第二末端位置信息；
93.接收识别设备获取的标记点在识别设备坐标系下第一位置状态下的第一识别位置信息和第二位置状态下的第二识别位置信息；
94.根据第一末端位置信息、第二末端位置信息、第一识别位置信息和第二识别位置信息计算得到机器人坐标系与识别设备坐标系的空间转移矩阵。
95.具体的，以混合现实设备为例，将混合现实设备先放置不动，在机械臂的可动关节上固定一个混合现实标记，控制机械臂任意移动2次即从第一位置状态运动至第二位置状态，得到前后两个位置状态下机械臂末端在机器人坐标系下的第一末端位置信息和第二末端位置信息进而基于前后两个末端位置信息计算得到机器人坐标系下机械臂末端的变换矩阵此矩阵可通过机械臂控制台计算；然后，通过混合现实设备的相机采集空间中前后两个位置状态下混合现实标记的第一识别位置信息和第二识别位置信息并通过诸如pnp、p3p等姿态求解算法基于前后两个识别位置信息计算得到识别设备坐标系下混合现实标记的变换矩阵再结合机械臂末端与混合标记在不同位置状态的空间转移矩阵是保持不变的原则，可解算出混合现实标记与机械臂末端的空间转移矩阵x，具体通过t_robot_end*x＝x*t_camera_marker进行求解x；完成标定后，识别设备坐标系下的空间位置便可以转换至机器人坐标系下。进一步地，为了提高矩阵解算的精度，机械臂的运动位置状态可以为多个，获取多个机械臂末端的位置信息，并采用冗余计算来提高计算的精度。
96.本示例中，在得到空间转移矩阵之后的实际应用过程中，用户穿戴混合现实设备，混合现实设备负责识别手势，并计算定位手势在混合现实设备空间下的坐标值(可以选择手指顶端作为坐标系原点)，通过混合现实设备提取手的特征，并提取出手势轮廓，通过数据库匹配得到相应的手势信息中的运动指令，在根据空间转移矩阵将混合现实设备坐标系下手势坐标值转换至机械臂坐标系下；机械臂基于目标位置进行反解，并根据结果将机械臂自主运动至目标位置。
97.另外需要说明的是，在机械臂自主运动到位之后，此时如果机械臂末端与目标作业设备或装置之间有位置偏差(通过用户自己判断是否已到达套筒针的位置)，则用户可以在局部小范围内人工拖动机械臂末端，使其与作业设备或装置正确相连。
98.还需要说明的是，本实施例优选的采用具有自定位功能的混合现实设备当识别设备发生移动时，通过slam还可以确定混合现实设备的相对移动信息，进而也可以得到移动后其与机器人坐标系的新的空间转移矩阵，比如混合现实设备可以采用如hololens之类的具备自定位功能的设备。
99.上述实例中，主要采用了具有自定位功能的混合现实设备，还可采用不具有自定
位功能的设备，如普通单目相机，只需要保证用户的手势与混合现实标记同时处于设备成像范围内，即可计算出手势在机器人坐标系下的位置信息。
100.本实施例还提供一种机器人，包括如上所述的摆位装置。
101.本实施例中，采用手势交互的方式作为机器人指定期望的目标位置，利用混合现实设备识别手势得到运动指令并定位目标在其坐标空间下的位置，再结合混合现实设备与机器人之间的坐标系转换关系，机器人的机械臂便可以自主运动至指定位置，实现机械臂的便捷摆位。
102.实施例3
103.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的机器人摆位指引方法。
104.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
105.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所述的手术机器人摆位方法。
106.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
107.实施例4
108.一种识别设备，所述识别设备用于设别用户的手势信息，并将所述手势信息发送至如实施例2所述的摆位装置和机器人或实施例3所述的计算机可读存储介质。
109.识别设备为可穿戴的混合现实设备，可以为双目相机、ar设备、vr设备、mr设备种的任意一种。
110.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。