手术机器人及其引导手术臂移动的方法、控制装置与流程

手术机器人及其引导手术臂移动的方法、控制装置
1.本技术是申请日为2021年1月6日提交中国专利局、申请号为cn202110011216.8、申请名称为“手术机器人及其引导手术臂移动的方法、控制装置”的分案申请，该案的全文以引用的方式并入本技术中。
技术领域
2.本发明涉及医疗器械领域，特别是涉及一种手术机器人及其引导手术臂移动的方法、控制装置。


背景技术：

3.微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备在人体腔体内部施行手术的一种手术方式。相比传统手术方式微创手术具有创伤小、疼痛轻、恢复快等优势。
4.随着科技的进步，微创手术机器人技术逐渐成熟，并被广泛应用。手术机器人包括主操作台及从操作设备，从操作设备包括多个操作臂，这些操作臂包括具有图像末端器械的相机臂及具有操作末端器械的手术臂。主操作台包括显示器及手柄。医生在显示器显示的由相机臂提供的视野下操作手柄控制相机臂或手术臂运动。
5.通常，可以认位相机臂自身的移动、以及手术臂在相机臂的视野下的移动是安全的。然而，一些操作过程中，不可避免的会存在手术臂在相机臂的视野以外移动的情况，例如向患者腹腔内插入手术臂，或者从患者腹腔内撤出手术臂的情况，举例在插入或撤出手术臂时，通常通过医生的经验来进行盲插，由于医生经验不同，以及由于患者身体条件不同，这样凭经验操作容易引起意外情况的发生，因此是不安全的，期待尽量减少甚至避免在相机臂视野以外移动手术臂的操作。


技术实现要素：

6.基于此，有必要提供一种可以减少甚至避免手术臂的操作末端器械在相机臂的图像末端器械提供的视野以外移动的问题，进而可确保手术安全的手术机器人及其引导手术臂移动的方法、控制装置。
7.一方面，本发明提供一种手术机器人中引导手术臂移动的方法，所述手术机器人的远端具有多个操作臂，所述操作臂包括具有图像末端器械的相机臂和具有操作末端器械的手术臂，所述方法包括如下步骤：获取所述操作末端器械的初始位置；获取所述操作末端器械期望到达的目标位置；根据所述图像末端器械的视野生成自所述初始位置向所述目标位置延伸的引导路径；调节所述操作末端器械沿所述引导路径从所述初始位置向所述目标位置移动。
8.其中，获取所述操作末端器械的初始位置的步骤包括：获取至少包括所述手术臂的第一部分中各关节组件的关节变量；结合所述第一部分的运动学模型及各所述关节变量利用正运动学确定所述初始位置。
9.其中，获取所述操作末端器械期望到达的目标位置的步骤包括：获取输入的操作
模式，所述操作模式包括第一操作模式和第二操作模式，所述第一操作模式用于引导所述操作末端器械插入至目标位置，所述第二操作模式用于引导所述操作末端器械撤回至目标位置；根据获取到的所述操作模式确定期望所述操作末端器械到达的目标位置。
10.其中，在获取到的所述操作模式是所述第一操作模式时，根据获取到的所述操作模式确定期望所述操作末端器械到达的目标位置的步骤包括：获取所述图像末端器械的目标视野；根据所述目标视野确定期望所述操作末端器械到达的目标位置。
11.其中，被配置成执行所述第一操作模式的两个以上的所述操作末端器械具有不同的目标位置。
12.其中，被配置成执行所述第一操作模式的两个以上的所述操作末端器械具有不同的目标位置，并且所述不同的目标位置之间具有安全的距离。
13.其中，所述手术机器人包括穿刺器，所述穿刺器近端连接于所述手术机器人的远端、远端用于插入并固定于切口处，所述穿刺器用于引导所述手术臂通过所述切口插入人体，在获取到的所述操作模式是第二操作模式时，根据获取到的所述操作模式确定期望所述操作末端器械到达的目标位置的步骤为：获取与所述穿刺器关联的目标点的位置以作所述目标位置。
14.其中，作为所述目标位置的关联于所述穿刺器的目标点位于所述穿刺器上，或者位于所述穿刺器的轴的延长线上且位于所述穿刺器远端侧。
15.其中，所述图像末端器械与所述目标位置之间具有安全的距离。
16.其中，根据所述图像末端器械的视野生成自所述初始位置向所述目标位置延伸的引导路径的步骤包括：获取输入的引导模式，所述引导模式包括第一引导模式和第二引导模式，所述第一引导模式指所述图像末端器械的视野自动调节的模式，所述第二引导模式指所述图像末端器械的视野人工调节的模式；根据获取到的所述引导模式调节所述图像末端器械的视野生成自所述初始位置向所述目标位置延伸的引导路径。
17.其中，所述图像末端器械是立体视觉的图像末端器械，在获取到的所述引导模式是第一引导模式时，根据获取到的所述引导模式调节所述图像末端器械的视野生成自所述初始位置向所述目标位置延伸的引导路径的步骤包括：调节所述图像末端器械的视野对环境全局进行扫描并利用视差法构建立体环境地图；根据所述立体环境地图生成覆盖所述初始位置及所述目标位置的引导路径。
18.其中，所述图像末端器械是立体视觉的图像末端器械，在获取到的所述引导模式是第一引导模式时，根据获取到的所述引导模式调节所述图像末端器械的视野生成自所述初始位置向所述目标位置延伸的引导路径的步骤包括：获取所述图像末端器械的视野的可达区间；调节所述图像末端器械的视野对所述可达区间的环境进行扫描并利用视差法构建立体环境地图；根据所述立体环境地图生成覆盖所述初始位置及所述目标位置的引导路径。
19.其中，在调节所述图像末端器械的视野对所述可达区间的环境进行扫描并利用视差法构建立体环境地图的步骤之前，所述方法还包括：判断所述初始位置和所述目标位置是否均位于所述可达区间内；在所述初始位置和所述目标位置均位于所述可达区间时，进入调节所述图像末端器械的视野对所述可达区间的环境进行扫描并利用视差法构建立体环境地图的步骤。
20.其中，所述图像末端器械是立体视觉的图像末端器械，在获取到的所述引导模式是第一引导模式时，根据获取到的所述引导模式调节所述图像末端器械的视野生成自所述初始位置向所述目标位置延伸的引导路径的步骤包括：获取所述操作末端器械的可达区间；调节所述图像末端器械的视野至少对所述可达区间中含有所述初始位置和所述目标位置的局部环境进行扫描并利用视差法构建立体环境地图；根据所述立体环境地图生成覆盖所述初始位置及所述目标位置的引导路径。
21.其中，调节所述图像末端器械的视野至少对所述可达区间中含有所述初始位置和所述目标位置的局部环境进行扫描并利用视差法构建立体环境地图的步骤具体为：调节所述图像末端器械的视野对所述可达区间的环境进行扫描并利用视差法构建立体环境地图。
22.其中，在根据所述立体环境地图生成覆盖所述初始位置及所述目标位置的引导路径的步骤之前，所述方法还包括：判断所述初始位置和所述目标位置是否均位于所述操作末端器械的可达区间内；在所述初始位置和所述目标位置均位于所述可达区间时，进入根据所述立体环境地图生成覆盖所述初始位置及所述目标位置的引导路径的步骤。
23.其中，所述引导路径的起点为所述初始位置、终点为所述目标位置。
24.其中，所述手术机器人包括显示器，所述方法还包括：在所述显示器中显示所述立体环境地图；在所述立体环境地图中实时显示所述操作末端器械的位置。
25.其中，所述操作末端器械的位置以图标形式显示于所述立体环境地图中。
26.其中，根据所述立体环境地图生成覆盖所述初始位置及所述目标位置的引导路径具体为：根据所述立体环境地图进行防碰撞路径规划而生成覆盖所述初始位置及所述目标位置的引导路径。
27.其中，构建立体环境地图的步骤包括：识别所述图像末端器械的视野以内的障碍物；获取对所述障碍物的分级标记；构建含有各所述障碍物对应的所述分级标记的所述立体环境地图。
28.其中，获取对所述障碍物的分级标记的步骤具体为：根据识别出的所述障碍物的类型从预设关系表中获取所述障碍物的所述分级标记。
29.其中，获取对所述障碍物的分级标记的步骤具体为：接收输入的对应于所述障碍物的所述分级标记。
30.其中，根据所述立体环境地图生成覆盖所述初始位置及所述目标位置的引导路径的步骤具体为：根据所述立体环境地图及其含有的所述障碍物的所述分级标记进行防碰撞路径规划而生成覆盖所述初始位置及所述目标位置的引导路径。
31.其中，所述方法还包括：在所述引导路径与所述障碍物不具备触碰关系时，控制所述操作末端器械以第一速度移动，而在所述引导路径与所述障碍物具备触碰关系时，控制所述操作末端器械以低于所述第一速度的第二速度移动。
32.其中，所述方法还包括：在所述引导路径与所述障碍物具备触碰关系时，调节所述图像末端器械的视野以使所述操作末端器械及/或相应的所述障碍物落入所述图像末端器械的视野以内。
33.其中，所述方法还包括：从所述引导路径中获取触碰区间，所述触碰区间是所述操作末端器械与相应所述障碍物具有触碰关系的一段区间；调节所述图像末端器械的视野从触碰区间的起点向终点移动，并始终确保所述操作末端器械及/或相应的所述障碍物能够
落入所述图像末端器械的视野以内。
34.其中，所述分级标记包括第一分级标记和第二分级标记两个层级，所述第一分级标记对应的所述障碍物允许触碰，所述第二分级标记对应的所述障碍物不允许触碰。
35.其中，所述分级标记包括第一分级标记、第二分级标记和第三分级标记三个层级，所述第一分级标记对应的所述障碍物允许穿过和触碰，所述第二分级标记对应的所述障碍物仅允许触碰，所述第三分级标记对应的所述障碍物不允许触碰。
36.其中，各所述障碍物还对应被标记有属性信息，所述属性信息包括可破坏的第一属性信息和不可破坏的第二属性信息。
37.其中，所述方法还包括：在所述引导路径与所述障碍物之间存在触碰关系时，根据所述障碍物对应的分级标记、属性信息和所述操作末端器械的类型来控制所述操作末端器械以相应的通过方式通过所述障碍物。。
38.其中，在根据所述障碍物对应的分级标记、属性信息和所述操作末端器械的类型来控制所述操作末端器械以相应的通过方式通过所述障碍物的步骤之前，所述方法还包括：获取所述障碍物的分级标记；获取所述操作末端器械的类型；根据所述障碍物的分级标记、属性信息和所述操作末端器械的类型确定所述操作末端器通过所述障碍物的通过方式。
39.其中，根据所述障碍物的分级标记和所述操作末端器械的类型确定所述操作末端器通过所述障碍物的通过方式的步骤中，在所述障碍物为具有所述第一分级标记并具有所述第一属性信息，且所述操作末端器械是具有可破坏功能的类型的情况下，确定通过所述障碍物的通过方式是可破坏所述障碍物以通过所述障碍物的通过方式。
40.其中，在根据所述障碍物对应的分级标记和所述操作末端器械的类型来控制所述操作末端器械以相应的通过方式通过所述障碍物的步骤中，在所述操作末端器械到达所述障碍物时开启所述操作末端器械的可破坏功能，并在所述操作末端器械离开所述障碍物时关闭所述操作末端器械的可破坏功能。
41.其中，根据所述障碍物的分级标记和所述操作末端器械的类型确定所述操作末端器通过所述障碍物的通过方式的步骤中，在所述障碍物为具有所述第一分级标记、所述第二分级标记及/或具有所述第二属性信息，及/或所述操作末端器械是不具有可破坏功能的类型的情况下，确定通过所述障碍物的通过方式是顶抵所述障碍物以通过所述障碍物的通过方式。
42.其中，在获取到的所述引导模式是第二引导模式时，在根据所述图像末端器械的视野生成自所述初始位置向所述目标位置延伸的引导路径的步骤之前，所述方法还包括：判断所述操作末端器械是否位于所述图像末端器械的视野以内；在所述操作末端器械没有位于所述图像末端器械的视野以内时，调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内；在所述操作末端器械位于所述图像末端器械的视野内时，进入根据所述图像末端器械的视野生成自所述初始位置向所述目标位置延伸的引导路径。
43.其中，判断所述操作末端器械是否位于所述图像末端器械的视野以内的步骤包括：获取所述图像末端器械的视野内的操作图像；通过图像识别所述操作末端器械是否位于所述操作图像内而判断所述操作末端器械是否位于所述图像末端器械的视野内。
44.其中，判断所述操作末端器械是否位于所述图像末端器械的视野以内的步骤包括：获取所述操作末端器械的当前位置；转换所述图像末端器械的视野为位置范围；通过判断所述当前位置是否位于所述位置范围内而判断所述操作末端器械是否位于所述图像末端器械的视野内。
45.其中，调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内的步骤包括：获取所述操作末端器械的当前位置；根据所述操作末端器械的当前位置，通过改变所述图像末端器械的相机参数来调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内，所述相机参数包括视场角及/或景深。
46.其中，调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内的步骤包括：获取所述操作末端器械的当前位置；根据所述操作末端器械的当前位置，通过改变所述图像末端器械的位姿来调节所述图像末端器械的视野以使所述操作末端器械位于所述图像末端器械的视野以内，所述位姿包括位置及/或姿态。
47.其中，根据所述图像末端器械的视野生成自所述初始位置向所述目标位置延伸的引导路径的步骤包括：实时获取所述操作末端器械的当前位置，初始化所述当前位置为所述初始位置；根据所述图像末端器械的视野生成自所述当前位置向所述目标位置延伸的引导路径，且所述引导路径位于所述图像末端器械的视野以内。
48.其中，根据所述图像末端器械的视野生成自所述当前位置向所述目标位置延伸的引导路径的步骤具体为：根据所述图像末端器械的视野进行防碰撞路径规划而生成自所述当前位置向所述目标位置延伸的引导路径。
49.其中，所述方法还包括：约束对所述图像末端器械的视野的调节始终在所述操作末端器械位于所述图像末端器械的视野以内的条件下进行。
50.其中，令各相邻时刻的所述图像末端器械的视野分别为第一视野和第二视野，所述第一视野和所述第二视野之间具有重叠区域，限定所述操作末端器械途经所述重叠区域向所述目标位置移动。
51.其中，所述方法还包括：约束所述图像末端器械的视野只能朝向所述目标位置的方向移动。
52.其中，所述方法还包括：在所述操作末端器械没有位于所述图像末端器械的视野以内时，禁止所述操作末端器械移动。
53.其中，所述方法还包括：检测是否获取到启动指令；在获取到所述启动指令时，判断所述操作末端器械是否位于所述图像末端器械的视野以内。
54.其中，所述手术机器人包括用于安装及驱动所述操作臂的动力机构，所述启动指令由所述手术臂安装至所述动力机构时被触发产生。
55.其中，所述方法还包括：在所述操作末端器械从初始位置基本移动到所述目标位置时，判断所述图像末端器械当前的视野是否为初始视野，所述初始视野指所述图像末端器械初次被调节前一时刻的视野；在所述图像末端器械当前的视野不是所述初始视野时，调节所述图像末端器械当前的视野恢复成初始视野。
56.其中，在调节所述操作末端器械沿所述引导路径从所述初始位置向所述目标位置移动的步骤之前，所述方法还包括：获取并记录所述初始视野所对应的相机参数及位姿；调节所述图像末端器械当前的视野恢复成所述初始视野的步骤包括：根据记录的所述初始视
野所对应的相机参数及位姿直接将所述图像末端器械的视野恢复成所述初始视野。
57.另一方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被配置为由处理器加载并执行实现如上述任一项实施例所述的控制方法的步骤。
58.另一方面，本发明提供了一种手术机器人的控制装置，包括：存储器，用于存储计算机程序；及处理器，用于加载并执行所述计算机程序；其中，所述计算机程序被配置为由所述处理器加载并执行实现如上述任一项实施例所述的控制方法的步骤。
59.另一方面，本发明提供了一种手术机器人，包括：操作臂，所述操作臂包括相机臂及手术臂；以及控制器，所述控制器与所述操作臂耦接，并被配置成执行如上述任一项实施例所述的控制方法的步骤。
60.本发明的手术机器人及其引导手术臂移动的方法、控制装置，具有如下有益效果：
61.通过利用相机臂中图像末端器械提供的视野生成自操作末端器械的初始位置向目标位置延伸的引导路径，进而利用该引导路径引导操作末端器械自动从初始位置向目标位置移动，由于该引导路径是基于视野而生成的，进而可以保证手术的安全性及可靠性。
附图说明
62.图1为本发明手术机器人一实施例的结构示意图；
63.图2为图1所示手术机器人一实施例的局部示意图；
64.图3为手术机器人的控制方法一实施例的流程图；
65.图4为手术机器人中操作臂与动力部的结构示意图；
66.图5～图14分别为手术机器人中引导手术臂移动的方法一实施例的流程图；
67.图15～图16分别为立体环境地图一实施例的示意图；
68.图17～图21分别为手术机器人中引导手术臂移动的方法一实施例的流程图；
69.图22～图27分别为手术臂中操作末端器械的引导状态一实施例的示意图；
70.图28～图29分别为手术机器人中引导手术臂移动的方法一实施例的流程图；
71.图30为本发明一实施例的手术机器人的控制装置的结构示意图。
具体实施方式
72.为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本发明所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
73.需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。当一个元件被认为是“耦接”另一个元件，它可以是直接耦接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。本发明所使用的术语“远端”、“近端”作为方位词，该方位词为介入医疗器械领域惯用术语，其中“远端”表示手术过程中远离操作者的一端，“近端”表示手术过程中靠近操作者的一
端。本发明所使用的术语“第一/第二”等表示一个部件以及一类具有共同特性的两个以上的部件。
74.除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。本发明中所使用的术语“各”包括一个或两个以上。
75.如图1至图2所示，其分别为本发明手术机器人一实施例的结构示意图，及其局部示意图。
76.手术机器人包括主操作台2及由主操作台2控制的从操作设备3。主操作台2具有运动输入设备21及显示器22，医生通过操作运动输入设备21向从操作设备3发送控制命令，以令从操作设备3根据医生操作运动输入设备21的控制命令执行相应操作，并通过显示器22观察手术区域。其中，从操作设备3具有驱动臂，驱动臂具有机械臂30及可拆卸地装设于机械臂30远端的一个以上的操作臂31。机械臂30包括依次连接的基座及连接组件，连接组件具有多个关节组件。操作臂31包括依次连接的连杆32、连接组件33及末端器械34，其中，连接组件33具有多个关节组件，通过调节操作臂31的关节组件调节末端器械34的姿态；末端器械34具有图像末端器械34a及操作末端器械34b。图像末端器械34a用于采集视野内的图像，显示器22用于显示该图像。操作末端器械34b用于执行手术操作如剪切、缝合。本文令具有图像末端器械34a的操作臂为相机臂31a，并令具有操作末端器械34b的操作臂为手术臂31b。
77.图1展示的手术机器人为单孔手术机器人，各操作臂31通过装设于机械臂30远端的同一个穿刺器4插入至患者体内。在单孔手术机器人中，医生一般仅对操作臂31进行控制以完成基本手术操作。此时，单孔手术机器人的操作臂31应当同时具有位置自由度(即定位自由度)和姿态自由度(即定向自由度)，以实现在一定范围内位姿的变化，例如操作臂31具有水平移动自由度x、竖直移动自由度y，自转自由度α、俯仰自由度β及偏航自由度γ，操作臂31还可以在机械臂30远端关节组件即动力机构301的驱动下实现前后移动自由度z(即进给自由度)，此外，一些实施例中，还可以为操作臂31设置冗余自由度以实现更多功能的可能性，例如，在上述可实现6自由度的前提下，额外再设置一个、两个甚至更多个自由度。例如，动力机构301具有导轨和滑动设置于导轨上的动力部，操作臂31可拆卸的装设于动力部上，一方面，动力部在导轨上的滑动提供操作臂31前后移动自由度z，另一方面，动力部为操作臂31的关节组件提供动力实现其余5个自由度(即[x,y,α,β,γ])。
[0078]
手术机器人还包括控制器。控制器可以集成于主操作台2，也可以集成于从操作设备3。当然，控制器也可以独立于主操作台2和从操作设备3，其例如可部署在本地，又例如控制器可以部署在云端。其中，控制器可以由一个以上的处理器构成。
[0079]
手术机器人还包括输入部。输入部可以集成于主操作台2。输入部也可以集成于从操作设备3。当然，输入部也可以独立于主操作台2和从操作设备3。该输入部例如可以是鼠标、键盘、语音输入装置、触摸屏。一实施例中，采用触摸屏作为输入部，触摸屏例如可以设置于主操作台2的扶手上。
[0080]
操作臂31还包括感应关节组件的关节变量的传感器。这些传感器包括感应关节组件转动运动的角度传感器及感应关节组件线性运动的位移传感器，具体可根据关节组件的
类型来配置适应的传感器。
[0081]
控制器与这些传感器耦接，并与输入部及显示器22耦接。
[0082]
示例性的，如图3所示，操作臂31的驱动盒310抵接于动力机构301的动力部302的抵接面装设有存储单元311，相应在动力部302抵接于驱动盒310的抵接面装设有与存储单元311配套的读取单元303，该读取单元303与控制器耦接，操作臂31装设于动力部302时，读取单元303与存储单元311通讯，读取单元303从存储单元311中读取相关信息。该存储单元311例如是存储器、电子标签。存储单元例如存储有操作臂的类型、操作臂可被配置成目标部位的部位、操作臂的运动学模型等。例如，相机臂31a的存储单元311中还额外的存储有相机参数。
[0083]
如图4所示，其为本发明手术机器人一实施例的结构示意图，更具体地，图4所展示的是多孔手术机器人一实施例的结构示意图。图4所示的多孔手术机器人与图1所示的单孔手术机器人之间的区别主要存在于两者的从操作设备之间的区别。图4所示的多孔手术机器人中从操作设备的驱动臂具有依次连接的机械臂110、调整臂120、操纵器130及操作臂150。调整臂120、操纵器130及操作臂150数量相同且均为两个以上，例如四个，机械臂110远端具有定向平台，调整臂120近端均连接于定向平台，操纵器130近端连接于调整臂120远端。操纵器130用于可拆卸地连接操作臂150，操纵器130具有多个关节组件。其中，每个操纵器130均具有一个动力机构，操作臂150安装于该动力机构上并由该动力机构进一步驱动。在多孔手术机器人中，不同操作臂150通过不同的穿刺器插入患者体内，多孔手术机器人的操作臂150相较于单孔手术机器人的操作臂31而言，一般具有较少的自由度，通常，操作臂150仅具有姿态自由度(即定向自由度)，当然其姿态的变化一般也对位置产生影响，但因为影响较小某些场景下可以被忽略。操作臂150的位置的变化通常可以由操纵器130辅助实现，由于操纵器130与操作臂150联动实现位姿变化，可以将这两者认为是操纵器组件，与单孔手术机器人中操作臂31相当。
[0084]
根据配置，运动输入设备21可以输入包括位置指令及姿态指令的位姿指令以控制驱动臂中第一部分远端位姿的变化。该第一部分远端通常指末端器械，此外，该第一部分远端还可以指与末端器械相连接的一个关节组件，末端器械位姿的变化通常与该关节组件位姿的变化是一致的。
[0085]
在图1所示的手术机器人中，驱动臂包括机械臂及操作臂，操作臂近端装设于机械臂远端，末端器械装设于操作臂远端。根据配置，第一部分可被配置成是操作臂；或者，第一部分可被配置成是机械臂和操作臂的整体。
[0086]
而相应在图4所示的手术机器人中，驱动臂包括机械臂、调整臂、操纵器及操作臂，调整臂近端装设于机械臂远端，操纵器近端装设于调整臂远端，操作臂近端装设于操纵器远端，末端器械装设于操作臂远端。根据配置，第一部分可被配置成是操作臂；或者，第一部分可被配置成是操纵器和操作臂的整体；或者，第一部分可被配置成是机械臂、调整臂、操纵器和操作臂的整体。
[0087]
可理解的，无论是图1所示的单孔手术机器人还是图4所示的多孔手术机器人，机械臂通常用于大范围调节末端器械的位姿，操作臂用于精细调节末端器械的位姿，例如，手术前通过机械臂等摆位，手术中主要通过控制操作臂实施手术。当然，一些实施例中，也可以结合机械臂及操作臂等相应臂体结构一起协同运动实现特定功能。根据配置，末端器械
中的一个以上可以被配置成受控末端器械以接受运动输入设备的控制。
[0088]
一实施例中，本发明提供了一种手术机器人中引导手术臂移动的方法，该方法可以由控制器执行，可适用于多种类型的手术机器人使用。如图5所示，该方法包括如下步骤：
[0089]
步骤s11，获取操作末端器械的初始位置。
[0090]
示例性的，可以先获取至少包括手术臂的第一部分中各关节组件的关节变量，然后相应结合至少包括手术臂的第一部分的运动学模型及各关节变量利用正运动学确定该初始位置。例如，在单孔手术机器人的常规控制模式中，操作末端器械的初始位置可以仅由手术臂中各关节组件的关节变量及其运动学模型确定。例如，在单孔手术机器人的常规控制模式中，操作末端器械的初始位置可以由手术臂和操纵器中个关节组件的关节变量及其运动学模型确定。
[0091]
步骤s12，获取操作末端器械期望到达的目标位置。
[0092]
本发明所涉及的不同对象的位置及姿态均基于同一参考坐标系来进行描述，这些不同对象包括但不限于相机臂的图像末端器械及手术臂的操作末端器械。这里的参考坐标系包括但不限于手术机器人的基坐标系，例如，还可以是根据该基坐标系换算得到的其它可作为参考的坐标系，例如主操作台的坐标系。
[0093]
该目标位置既可以是当前位于图像末端器械的视野以内的位置，也可以是当前并没有位于图像末端器械的视野以内的位置，其具体可以根据手术过程中的需求来进行确定。
[0094]
步骤s13，根据图像末端器械的视野生成自初始位置向目标位置延伸的引导路径。
[0095]
根据图像末端器械的视野的覆盖范围，该引导路径可以是初始位置到目标位置的一条完整路径中的全部或者部分。其中，初始位置和目标位置是存在于该引导路径上的两个间隔的点。
[0096]
步骤s14，调节操作末端器械沿引导路径从初始位置向目标位置移动。
[0097]
在上述步骤s11～s14中，关注的操作末端器械的相关位置例如可以是该操作末端器械的局部如其尖端或中端或尾端上的一个或多个点的相关位置，又例如可以是该操作末端器械的整体的相关位置。
[0098]
在引导路径是初始位置到目标位置的一条完整路径中的全部时，操作末端器械可以直接被自动从初始位置引导至目标位置。在引导路径是初始位置到目标位置的一条完整路径中的部分时，操作末端器械可以被自动从初始位置朝向目标位置引导以逼近目标位置。其原理大致如下：
[0099]
将引导路径离散成多个子目标位置，然后通过逆运动学求解出为实现相应的子目标位置包括手术臂的第一部分中各关节组件的关节变量，进而控制包括该手术臂的第一部分中各关节组件运动到相应的关节变量即可引导操作末端器械达到相应的子目标位置。
[0100]
根据上述步骤s11～步骤s14，即通过利用相机臂中图像末端器械提供的视野生成自操作末端器械的初始位置向目标位置延伸的引导路径，进而利用该引导路径引导操作末端器械自动从初始位置向目标位置移动，由于该引导路径是基于视野而生成的，进而可以保证手术的安全性及可靠性。
[0101]
通常，不同的操作需求对应具有不同的操作末端器械的目标位置。一实施例中，如图6所示，上述步骤s12，即获取操作末端器械期望到达的目标位置的步骤包括：
[0102]
步骤s121，获取输入的操作模式。
[0103]
其中，操作模式包括但不限于第一操作模式和第二操作模式，例如，第一操作模式用于引导操作末端器械插入至目标位置，其适用场景包括但不限于手术前将手术臂从患者体外插入体内的场景；第二操作模式用于引导操作末端器械撤回至目标位置，其适用场景包括但不限于手术过程中更换手术臂、手术结束时收回手术臂的场景。
[0104]
步骤s122，根据获取到的操作模式确定期望操作末端器械到达的目标位置。
[0105]
一实施例中，在获取到的操作模式是第一操作模式时，如图7所示，上述步骤s122，即根据获取到的操作模式确定期望操作末端器械到达的目标位置的步骤包括：
[0106]
步骤s1221，获取图像末端器械的目标视野。
[0107]
该目标视野例如可以根据医生对某一时刻对应的视野的确认而将被确认的视野作为目标视野，手术通常在该目标视野下实施。例如，医生在手术前通常先向患者体内插入相机臂，利用相机臂的图像末端器械观察并确定合适于手术实施的视野，在接收到由医生触发的确认指令后，将对应于确认指令产生时刻所对应的视野作为上述的目标视野。
[0108]
步骤s1222，根据目标视野确定期望操作末端器械到达的目标位置。
[0109]
该目标位置是与目标视野具有特定位置关系的一个点。该目标位置举例可以是目标视野的中心，或者，也可以是偏离于目标视野的中心且与手术臂的连杆的延伸方向相交的某一点。
[0110]
一实施例中，被配置成执行第一操作模式的两个以上的操作末端器械具有不同的目标位置，进一步地，不同目标位置之间通常具有安全的距离，以避免操作末端器械之间的碰撞。例如，这些目标位置中，可以允许其中一个为目标视野的中心点，其余为目标视野的中心以外的某个特定点。
[0111]
一实施例中，当需要引导至目标位置的操作末端器械为两个以上时，通常可以逐个进行引导，也即引导完成一个操作末端器械到达目标位置后，再引导另外的一个操作末端器械到达目标位置，直至全部操作末端器械均被引导到目标位置。
[0112]
手术机器人包括穿刺器，穿刺器近端可拆卸地连接于手术机器人的远端、远端插入并固定于切口处，穿刺器用于引导手术臂通过切口插入人体。一实施例中，在获取到的操作模式是第二操作模式时，上述步骤s1222，即根据获取到的操作模式确定期望操作末端器械到达的目标位置的步骤可以为：获取与穿刺器关联的某一点的位置以作目标位置。其中，作为目标位置的关联于穿刺器的点可以位于穿刺器上，也可以位于穿刺器的轴的延长线上且位于穿刺器的远端侧，穿刺器通常具有筒状的插入部，这里的轴通常指该插入部的中心轴。
[0113]
上述实施例中，图像末端器械与目标位置之间具有安全的距离，以防止图像末端器械与操作末端器械之间发生碰撞。
[0114]
通常，根据相机臂的调节方式的不同，该引导路径的生成方式也有所不同。一实施例中，如图8所示，上述步骤s13，即根据图像末端器械的视野生成自初始位置向目标位置延伸的引导路径的步骤包括：
[0115]
步骤s131，获取输入的引导模式。
[0116]
该引导模式包括第一引导模式和第二引导模式，第一引导模式指图像末端器械的视野自动调节的模式，第二引导模式指图像末端器械的视野人工调节的模式。
[0117]
步骤s132，根据获取到的引导模式调节图像末端器械的视野生成自初始位置向目标位置延伸的引导路径。
[0118]
在获取到的引导模式是第一引导模式时，上述步骤s132也可以由多种实施方式来实现。其中，可以借助立体视觉的图像末端器械所获取的视野来生成引导路径，其中，该图像末端器械的视野的变化可以是自动的，也可以是人工的。此外，也可以借助如超声传感器、光传感器等感知的信息来生成引导路径。当然，它们也可以结合使用。以立体视觉的图像末端器械所获取的视野来生成引导路径为例进行示例性说明。在获取到的引导模式是第一引导模式时，例如可以通过如下三种方式来实现上述步骤s132。《方式1》
[0119]
如图9所示，上述步骤s132可以包括：
[0120]
步骤s13211，调节图像末端器械的视野对环境全局进行扫描并利用视差法构建立体环境地图。
[0121]
即，对患者体内环境进行全局扫描。其中，可以不限制相机臂绕着远心不动点运动，以实现全局扫描。
[0122]
步骤s13212，根据立体环境地图生成覆盖初始位置及目标位置的引导路径。
[0123]
其中，覆盖初始位置及目标位置的引导路径意味着构成引导路径的点中包括该初始位置和目标位置。《方式2》
[0124]
如图10所示，上述步骤s132可以包括：
[0125]
步骤s13221，获取图像末端器械的视野的可达区间。
[0126]
其中，图像末端器械的视野的可达区间指其全部视野的空间集合。
[0127]
步骤s13222，调节图像末端器械的视野对可达区间的环境进行扫描并利用视差法构建立体环境地图。
[0128]
其中，该视野的可达区间指的例如是相机臂绕着远心不动点运动时该视野的可达区间。
[0129]
步骤s13223，根据立体环境地图生成覆盖初始位置及目标位置的引导路径。
[0130]
较佳的，在上述步骤s13222之前，也即在调节图像末端器械的视野对可达区间的环境进行扫描并利用视差法构建立体环境地图的步骤之前，包括：判断初始位置和目标位置是否均位于可达区间内。在初始位置和目标位置均位于可达区间时，进入步骤s13222；否则，可以提示医生对图像末端器械及/或操作末端器械进行调节以满足该启动条件。《方式3》
[0131]
如图11所示，上述步骤s132可以包括：
[0132]
步骤s13231，获取操作末端器械的可达区间。
[0133]
其中，操作末端器械的可达区间指其可达到的运动范围。操作末端器械的可达区间指的例如是操作臂绕着远心不动点运动时的可达区间。
[0134]
步骤s13232，调节图像末端器械的视野至少对可达区间中含有初始位置和目标位置的局部环境进行扫描并利用视差法构建立体环境地图。
[0135]
例如，可以调节图像末端器械的视野仅对操作末端器械的可达区间中含有初始位置和目标位置的一部分进行扫描并利用视差法构建该部分的立体环境地图。又例如，可以
调节图像末端器械的视野对操作末端器械的整个可达区间进行扫描并利用视差法构建该整个可达区间的立体环境地图。
[0136]
步骤s13233，根据立体环境地图生成覆盖初始位置及目标位置的引导路径。
[0137]
举例而言，在调节图像末端器械的视野对操作末端器械的整个可达区间进行扫描并利用视差法构建该整个可达区间的立体环境地图的示例中，较佳的，本发明的方法还可以包括：判断操作末端器械的可达区间是否位于图像末端器械的视野的可达区间内。在操作末端器械的可达区间位于图像末端器械的视野的可达区间内时，进入调节图像末端器械的视野对整个可达区间的环境进行扫描并利用视差法构建立体环境地图的步骤；否则，可以提示医生对图像末端器械及/或操作末端器械进行调节以满足该启动条件。
[0138]
上述三种实施方式中，较佳的，在根据立体环境地图规划生成覆盖初始位置及目标位置的引导路径的步骤之前，还可以包括：判断初始位置和目标位置是否均位于操作末端器械的可达区间内。在初始位置和目标位置均位于操作末端器械的可达区间内时，进入构建立体环境地图的步骤或者进入根据该立体环境地图规划生成覆盖初始位置及目标位置的引导路径的步骤，也即该判断步骤可以是在构建立体环境步骤前进行，也可以是在根据该立体环境地图规划生成覆盖初始位置及目标位置的引导路径的步骤前进行；否则，可以提示医生对图像末端器械及/或操作末端器械进行调节以满足该启动条件。其中，执行该判断的目的在于确定操作末端器械是否能够从初始位置达到目标位置，如果不能达到，在一定要实现到达目标位置的需求中，就没有继续执行的必要性。然而事实上，即使操作末端器械不能达到目标位置，也可以根据构建的立体环境地图规划生成从初始位置向目标位置延伸的引导路径，以尽量调节操作末端器械进行趋近于目标位置的移动。
[0139]
示例性的，上述步骤s13212、步骤s13223及步骤s13233中，即根据立体环境地图生成覆盖初始位置及目标位置的引导路径的步骤中，可以使得规划得到的引导路径的起点为该初始位置、终点为该目标位置。
[0140]
一实施例中，如图12所示，本发明的方法还包括：
[0141]
步骤s141，在显示器中显示立体环境地图。
[0142]
步骤s142，在立体环境地图中实时显示操作末端器械的位置。
[0143]
示例性的，该操作末端器械的位置以图标形式显示于立体环境地图中。例如，该图标是操作末端器械的图标，又例如，该图标是一个光点。
[0144]
通过该步骤s141～步骤s142，可以辅助医生获悉操作末端器械与环境的位置关系，例如可以获悉操作末端器械与障碍物的位置关系。
[0145]
上述步骤s13212、步骤s13223及步骤s13233中，即根据立体环境地图生成覆盖初始位置及目标位置的引导路径可以有多种规划方式，例如，规划的引导路径为路径最短，又例如，规划的引导路径为路径最平滑。一实施例中，该步骤具体可以根据立体环境地图进行防碰撞路径规划生成覆盖初始位置及目标位置的引导路径，可以用于进行防碰撞路径规划的方法包括但不限于图搜索法、rrt算法、人工势场法等。较佳的，当满足不碰撞的引导路径存在多个时，可以结合约束条件进行优化选择，例如结合路径最短及/或路径最平滑来择取出最佳的引导路径。
[0146]
由于人体内环境复杂，如果环境内的障碍物完全不可触碰而需要避让的话，这即使是对于医生的人工实施的手术过程也往往是不可行的，因而可以考虑结合实际情况或者
经验对障碍物进行分级，以明辨哪些障碍物事实上是可以触碰的，这样也有助于更加灵活地进行引导路径的规划。
[0147]
一实施例中，如图13所示，上述步骤s13212、步骤s13223及步骤s13233中的构建立体环境地图的步骤还可以包括：
[0148]
步骤s151，识别图像末端器械的视野以内的障碍物。
[0149]
可以借助神经网络如卷积神经网络对视野以内的障碍物进行识别。本发明中，这些障碍物可能是人体的组织、器官，也可能是物体如插入至动物体内的手术臂。
[0150]
步骤s152，获取对障碍物的分级标记。
[0151]
例如，可以根据识别出的障碍物的类型从预设关系表中自动获取障碍物的分级标记，是自动进行的。又例如，可以接收由医生输入的对应于障碍物的分级标记，是人工进行的。当然，很多场景下也可以将两者进行结合来获取该分级标记，有助于快速分级及相互验证。
[0152]
示例性的，这些分级标记可以分为两个层级。例如，分级标记包括第一分级标记和第二分级标记。其中，第一分级标记对应的障碍物可允许被操作末端器械触碰，例如可以在操作末端器械的触碰下改变位置；第二分级标记对应的障碍物不允许被操作末端器械触碰，需要严格避让。举例而言，可以将人体的脂肪组织设置为第一分级标记；可以将人体的重要器官包括但不限于肝、肾、脾、胃、血管、心脏、肠道、胆囊及其它手术臂设置为第二分级标记。
[0153]
示例性的，这些分级标记还可以分为三个层级。例如，分级标记包括第一分级标记、第二分级标记及第三分级标记。其中，第一分级标记对应的障碍物可允许被操作末端器械直接穿过，第二分级标记对应的障碍物可允许被操作末端器械触碰，第三分级标记对应的障碍物不允许被操作末端器械触碰。其中，“直接穿过”包括了“触碰”的含义，也即可以被直接穿过，也可以被触碰；“触碰”不包括其它含义。也即，第一分级标记至第三分级标记是按照障碍物的对路径的影响的从轻到重的等级来划分的。举例而言，可以将人体的脂肪组织设置为第一分级标记；可以将人体的重要器官包括但不限于肝、肾、脾、胃、肠道设置为第二分级标记；可以将人体的重要器官包括但不限于血管、心脏、胆囊及其它手术臂设置为第三分级标记。上述的分级标记只是示例性的，实际可以进行需要的定义。
[0154]
当然，这些分级标记还可以设置成更多层级的划分，以助于灵活的进行防碰撞的引导路径的规划。
[0155]
步骤s153，构建含有各障碍物对应的分级标记的立体环境地图。
[0156]
例如，在立体环境地图中对应的障碍物的图像属性中标记出它们各自的分级标记。
[0157]
因而，可以利用上述的含有各障碍物对应的分级标记的立体环境地图来进行更加合理的引导路径的规划。一实施例中，具体在上述步骤s13212、步骤s13223及步骤s13233中，即根据立体环境地图生成覆盖初始位置及目标位置的引导路径的步骤中：可以根据立体环境地图及其含有的障碍物的分级标记进行防碰撞路径规划生成覆盖初始位置及目标位置的引导路径。
[0158]
相较于障碍物不划分分级标记所造成的在规划防碰撞的引导路径时遇到障碍物无法避让而不能规划出有效的引导路径的情况而言，在相同的立体环境地图的条件下，将
障碍物划分为具备第一分级标记和第二分级标记这两个层级，由于对应于第一分级标记的障碍物可以触碰，因而可能存在有效的引导路径，而更进一步地，将障碍物划分为具备第一分级标记、第二分级标记及第三分级标记这三个层级，由于对应于第一分级标记的障碍物可被直接穿过，且对应于第二分级标记的障碍物可被触碰，因而存在有效的引导路径的概率将会更高。因此，合理的分级标记的层级越高，在大多数情况下，能够防碰撞规划出有效的引导路径的概率也将会更高。
[0159]
在一些实施例中，对于相同的障碍物可以仅具有一种方式的层级的划分。举例而言，推荐先不区分障碍物的分级标记来进行防碰撞的引导路径的规划，如果存在这样的引导路径，对于操作末端器械的引导将是最可靠和安全的。如果不区分障碍物的分级标记来进行防碰撞的引导路径的规划，不存在这样的引导路径，再考虑区分障碍物的分级标记来进行防碰撞的引导路径的规划。例如，仅具有上述的两个层级的划分时，即可以将障碍物区分成第一分级标记(可触碰)和第二分级标记(不可触碰)这两个层级进而进行防碰撞的引导路径的规划，一方面提高了规划出合理的引导路径的概率，另一方面也能够满足对于操作末端器械的引导的可靠和安全的需求。又例如，仅具有上述的三个层级的划分时，即可以将障碍物区分成第一分级标记(可穿过)、第二分级标记(可触碰)及第三分级标记(不可触碰)这三个层级进而进行防碰撞的引导路径的规划，能够进一步提高规划出合理的引导路径的概率，且也能满足对于操作末端器械的引导的可靠和安全的需求。
[0160]
一些实施例中，对于相同的障碍物可以具有多种方式的层级的划分。举例而言，仍然推荐先不区分障碍物的分级标记来进行防碰撞的引导路径的规划，如果存在这样的引导路径，对于操作末端器械的引导将是最可靠和安全的，其中，在该情况下引导路径存在时，可以控制操作末端器械以第一速度移动。如果不区分障碍物的分级标记来进行防碰撞的引导路径的规划，不存在这样的引导路径，再考虑区分障碍物的分级标记来进行防碰撞的引导路径的规划。例如，在同时具有上述的两个层级的划分及上述三个层级的划分时，可以先将障碍物区分成第一分级标记(可触碰)和第二分级标记(不可触碰)这两个层级进而进行防碰撞的引导路径的规划，如果在这样的层级下能够规划出合理的引导路径，则采用该引导路径引导操作末端器械移动，其中，在该情况下引导路径存在时，可以控制操作末端器械以低于第一速度的第二速度移动；而如果在这样的层级下不能规划出合理的引导路径，则进一步将障碍物区分成第一分级标记(可穿过)、第二分级标记(可触碰)及第三分级标记(不可触碰)这三个层级进而进行防碰撞的引导路径的规划，如果在这样的层级下能够规划出合理的引导路径，则采用该引导路径引导操作末端器械移动，其中，在该情况下引导路径存在时，可以控制操作末端器械以低于第一或第二速度的第三速度移动，而如果在这样的层级下不能规划出合理的引导路径，则可以建议或者提示医生进行人工操作以引导操作末端器械的移动。
[0161]
也即换言之，在具有多层分级标记的条件下，也可以优先考虑障碍物完全不发生碰撞的路径规划，再考虑可碰撞、不可穿过的路径规划，最后考虑可碰撞、可穿过的路径规划。
[0162]
一些实施例中，如果进行防碰撞规划出的引导路径不可避免会发生触碰(包括穿过)，可以自动调节图像末端器械的视野以使操作末端器械及/或相应的障碍物能够落入该视野以内，以使医生能够观察操作末端器械与周边环境的碰撞情况。例如，可以通过调节图
像末端器械的相机参数来调节其视野，也可以通过调节图像末端器械的位置及/或姿态来调节其视野。当然，也可以结合图像末端器械的相机参数、以及位置及/或姿态来调节其视野。进一步地，可以从引导路径中获取触碰区间，该触碰区间是操作末端器械与相应障碍物具有触碰关系的一段区间，进而可以在该触碰区间内，调节图像末端器械的视野从触碰区间的起点向终点移动，并始终确保操作末端器械及/或相应的障碍物能够落入该视野以内。
[0163]
一些实施例中，在规划出的引导路径与障碍物之间存在触碰(包括穿过)时，可以根据该障碍物对应的分级标记、属性信息和操作末端器械的类型来控制操作末端器械以相应的通过方式通过该障碍物。
[0164]
一实施例中，如图14所示，据该障碍物对应的分级标记、属性信息和操作末端器械的类型来控制操作末端器械以相应的通过方式通过该障碍物的步骤之前，包括：
[0165]
步骤s161，获取障碍物的分级标记和属性信息。
[0166]
障碍物的属性信息包括可破坏的第一属性信息和不可破坏的第二属性信息，它们都可以存储在关联了障碍物的立体环境地图中。障碍物的属性信息也可以由图像识别结合对应关系表自动设置或称为标记；当然，障碍物的属性信息也可以由医生人工标记，例如获取医生对障碍物标记的属性信息，然后自动将该属性信息添加到相应障碍物。这些属性信息也可以存储于所构建的关联了相应障碍物的立体环境地图中。
[0167]
步骤s162，获取操作末端器械的类型。
[0168]
该操作末端器械的类型可以通过图像识别获取，也可以从操作臂的存储单元中读取获得。例如，操作末端器械的类型包括可破坏类型和非可破坏类型。
[0169]
步骤s163，根据障碍物的分级标记、属性信息和操作末端器械的类型确定操作末端器通过障碍物的通过方式。
[0170]
示例性的，障碍物为具有所述第一分级标记并具有所述第一属性信息(即可穿过且可破坏)，且操作末端器械是具有可破坏功能的类型的操作末端器械，例如水刀、离子刀、超声刀、冷凝刀、电刀等类型的操作末端器械的情况下，该通过障碍物的通过方式可以是可破坏障碍物以通过障碍物的通过方式，这种通过方式主要是依赖烧穿障碍物进而穿过烧穿的通道来克服障碍物的阻挠。在控制操作末端器械以该通过方式通过障碍物时，可以在操作末端器械到达障碍物时开启可破坏功能，并在操作末端器械离开障碍物时关闭可破坏功能。
[0171]
示例性的，障碍物为具有所述第一分级标记、所述第二分级标记及/或具有所述第二属性信息(即可穿过、可触碰及/或不可破坏)，及/或操作末端器械是不具有可破坏功能的类型的情况下，该通过障碍物的通过方式可以是顶抵障碍物以通过障碍物的通过方式，这种通过方式主要是依赖使障碍物变形或移位来克服障碍物的阻挠。
[0172]
示例性的，如图15所示，假设立体环境地图中具有障碍物1～4，假设障碍物1～4分别为脂肪组织、肝、肾、胃。如果障碍物1～4均不可触碰，无法规划出无碰撞的引导路径。因而可以考虑对障碍物1～4进行分级标记。假设划分成两个层级，例如将障碍物1划分为第一分级标记(可触碰)，并将障碍物2～4均划分为第二分级标记(不可触碰)，可能发现即使触碰障碍物1也无法规划出有效的引导路径。在图14所示的实施例中，考虑到操作末端器械的类型是可破坏的操作末端器械，因而可以考虑对这些障碍物1～4重新进行分级标记，例如将障碍物1划分为第一分级标记(可穿过)，并将障碍物2～4均划分为第二分级标记(不可触
碰)。这样可以规划出初始位置到目标位置的合理的引导路径，该引导路径沿途穿过障碍物1，并触碰障碍物2，与此同时可以避让开障碍物3和障碍物4，如图16所示。进而，该电钩类型的操作末端器械在沿着图16所示的引导路径抵达障碍物1时开启可破坏功能，并在穿过障碍物1后关闭可破坏功能，然后顶抵障碍物2并从障碍物2侧旁通过，最后到达目标位置。
[0173]
在第一引导模式下，对应于多个操作末端器械，引导路径通常各自不同。根据配置，可以依次引导操作末端器械按照其对应的引导路径移动到其对应的目标位置，也可以同时引导多个操作末端器械按照其对应的引导路径移动到其对应的目标位置。当然，在规划各操作末端器械对应的引导路径时，可以将这些操作末端器械作为立体环境地图中的障碍物而予以考虑，进而合理规划出引导路径。
[0174]
一实施例中，在获取到的引导模式是第二引导模式时，如图17所示，上述步骤s13之前，即在根据图像末端器械的视野生成自初始位置向目标位置延伸的引导路径的步骤之前，该方法还包括：
[0175]
步骤s171，判断操作末端器械是否位于图像末端器械的视野以内。
[0176]
在操作末端器械没有位于图像末端器械的视野以内时，进入步骤s172；而在操作末端器械位于图像末端器械的视野内时，进入步骤s13。
[0177]
步骤s172，调节图像末端器械的视野以使操作末端器械位于图像末端器械的视野以内。
[0178]
关于上述步骤s171，即判断操作末端器械是否位于图像末端器械的视野以内具有多种方法，本发明示例了两种方法来实现该步骤s171。
[0179]
一实施例中，如图18所示，该步骤s171可以包括：
[0180]
步骤s1711，获取图像末端器械的视野内的操作图像。
[0181]
步骤s1712，通过图像识别操作末端器械是否位于操作图像内而判断操作末端器械是否位于图像末端器械的视野内。
[0182]
在该步骤s1712中，如果识别出操作末端器械存在于操作图像内，则判断出操作末端器械位于图像末端器械的视野内；而如果识别出操作末端器械没有存在于操作图像内，则判断出操作末端器械没有位于图像末端器械的视野内。
[0183]
为了更好地进行图像识别，可以训练神经网络来进行图像识别。例如，所训练的神经网络可以是卷积神经网络。
[0184]
另一实施例中，如图19所示，该步骤s171还可以包括：
[0185]
步骤s1711’，获取操作末端器械的当前位置。
[0186]
该操作末端器械的当前位置例如可以结合手术臂的运动学模型及由手术臂中各关节组件的关节变量以利用正运动学计算获得。这些关节变量可以由相应关节组件处的传感器检测得到。在其它实施方式中，还可以通过调节立体视觉的图像末端器械先扫描并识别出该操作末端器械的当前位置，例如通过识别出该操作末端器械相对于图像末端器械的位置，进而可通过坐标系转换确定该操作末端器械在参考坐标系的当前位置。
[0187]
步骤s1712’，转换图像末端器械的视野为位置范围。
[0188]
视野是一个区域，其实际具有边界，因此可以转换成例如参考坐标系的位置范围。
[0189]
步骤s1713’，通过判断当前位置是否位于位置范围内而判断操作末端器械是否位于图像末端器械的视野内。
[0190]
在该步骤s1713’中，如果操作末端器械的当前位置位于图像末端器械的视野所对应的位置范围内，则判断出操作末端器械位于图像末端器械的视野内；而如果操作末端器械的当前位置没有位于图像末端器械的视野所对应的位置范围内，则判断出操作末端器械没有位于图像末端器械的视野内。
[0191]
一些实施例中，该两种方式可以相互结合以互相印证操作末端器械是否位于图像末端器械的视野内。例如，当通过图像识别判断出的结果和通过位置检测判断出的结果不一致时，为了安全，可以先停止调节图像末端器械的视野，并在获取到医生的确认指令之后才继续调节图像末端器械的视野。该过程也可以用于校准图像识别的神经网络以提高其判断的准确度。
[0192]
上述步骤s172，即调节图像末端器械的视野以使操作末端器械位于图像末端器械的视野以内的步骤也可以通过多种方式来实现。
[0193]
一实施例中，如图20所示，该步骤s172可以包括：
[0194]
步骤s1721，获取操作末端器械的当前位置。
[0195]
步骤s1722，根据操作末端器械的当前位置，通过改变图像末端器械的相机参数来调节图像末端器械的视野以使操作末端器械位于图像末端器械的视野以内。
[0196]
其中，相机参数包括视场角及/或景深。如果预先计算出仅调节相机参数即可同时覆盖操作末端器械的当前位置和目标位置，就可以采用该方式，使得可以保持图像末端器械的位姿。
[0197]
另一实施例中，如图21所示，该步骤s172还可以包括：
[0198]
步骤s1721’，获取操作末端器械的当前位置。
[0199]
步骤s1722’，根据操作末端器械的当前位置，通过改变图像末端器械的位姿来调节图像末端器械的视野以使操作末端器械位于图像末端器械的视野以内。
[0200]
其中，位姿包括位置及/或姿态。如果预先计算出仅调节图像末端器械的位姿即可覆盖操作末端器械的当前位置到目标位置之间的区域，就可以采用该方式，使得可以保持图像末端器械的相机参数。
[0201]
以多孔手术机器人为例，请参阅图22至图24。假设如图22所示，相机臂的图像末端器械的当前位置为b0，手术臂的操作末端器械的当前位置为a0，b0的视野为目标视野，a0位于该目标视野以外。一实施例中，可如图23所示，保持图像末端器械的当前位置b0不变，通过调节图像末端器械的相机参数如视场角以调节视野，使得a0落入调节后的视野以内。一实施例中，可如图24所示，保持图像末端器械的相机参数不变，通过调节图像末端器械的位姿如位置为b1以调节视野，使得a0落入调节后的视野以内。
[0202]
当然，这对于单孔手术机器人也是适用的，请参阅图25至图27。假设如图25所示，相机臂的图像末端器械的当前位置为b0，手术臂的操作末端器械的当前位置为a0，b0的视野为目标视野，a0位于该目标视野以外。一实施例中，如图26所示，保持图像末端器械的相机参数不变，通过调节图像末端器械的位姿如位置为b1以调节视野，使得a0落入调节后的视野以内；如图27所示，同样保持图像末端器械的相机参数不变，通过调节图像末端器械的位姿为b1以调节视野，使得a0落入调节后的视野以内。当然，一些情况下，也可以保持图像末端器械的当前位置b0不变，通过调节图像末端器械的相机参数如视场角以调节视野，使得a0落入调节后的视野以内，图未示意。
[0203]
一些实施例中，该两种方式也可以相互结合来共同调节图像末端器械的视野以更好地向操作末端器械的当前位置及/或目标位置移动以使当前位置及/或目标位置能够落入图像末端器械的视野内。例如，可以优先调节图像末端器械的位姿；又例如，可以优先调节图像末端器械的相机参数。优先调节的对象(即图像末端器械的位姿及相机参数)可以根据医生输入的指令来进行配置。例如，优先调节对象是图像末端器械的位姿时，将会尽量调节图像末端器械的位姿以使其视野向操作末端器械的当前位置及/或目标位置移动，如果移动达到极限时图像末端器械的视野还未覆盖操作末端器械的当前位置及/或目标位置，则辅以调节图像末端器械的相机参数来使得图像末端器械的视野覆盖操作末端器械的当前位置及/或目标位置。优先调节对象是图像末端器械的相机参数时，将会尽量调节图像末端器械的相机参数以使其视野向操作末端器械的当前位置及/或目标位置移动，如果移动达到极限时图像末端器械的视野还未覆盖操作末端器械的当前位置及/或目标位置，则辅以调节图像末端器械的位姿来使得图像末端器械的视野覆盖操作末端器械的当前位置及/或目标位置。
[0204]
一些实施例中，即使仅是调节图像末端器械的位姿，也可以为其设定优先级，例如，可以优先调节姿态；又例如，可以优先调节位置。相似的，即使仅是调节图像末端器械的相机参数，也可以为其设定优先级，例如，可以优先调节视场角；又例如，可以优先调节景深。优先调节的对象(即位姿中的姿态及位置，及/或相机参数中的视场角及景深)同样可以根据医生输入的指令来进行配置。
[0205]
一些实施例中，可以配置多层次优先级来调节图像末端器械的视野，并根据配置的优先级逐级调节图像末端器械的相应参数以对实现视野的调节，直至视野可以覆盖操作末端器械的当前位置及/或目标位置。例如，第一层次的优先级为调节图像末端器械的位姿，第二层次的优先级为调节图像末端器械的位姿中的姿态，第三层次的优先级为调节图像末端器械的相机参数中的视场角。假设结合对图像末端器械的位姿及相机参数的调节可以达到操作末端器械的当前位置及/或目标位置，其整个工作过程大致为：
[0206]
先调节图像末端器械的姿态达到视野可达极限；
[0207]
如果此时视野可覆盖操作末端器械的当前位置及/或目标位置，调节完成；如果此时视野不能覆盖操作末端器械的当前位置及/或目标位置，再调节图像末端器械的位置达到视野可达极限；
[0208]
如果此时视野可覆盖操作末端器械的当前位置及/或目标位置，调节完成；如果仍不能覆盖操作末端器械的当前位置及/或目标位置，进一步调节图像末端器械的视场角达到视野可达极限；
[0209]
如果此时视野可覆盖操作末端器械的当前位置及/或目标位置，调节完成；如果此时视野不能覆盖操作末端器械的当前位置及/或目标位置，再调节图像末端器械的景深达到视野可达极限，此时视野应该能够覆盖操作末端器械的当前位置及/或目标位置。
[0210]
在第二引导模式下，如图28所示，上述步骤s13，即根据图像末端器械的视野生成自初始位置向目标位置延伸的引导路径的步骤包括：
[0211]
步骤s181，实时获取操作末端器械的当前位置，初始化当前位置为初始位置。
[0212]
步骤s182，根据图像末端器械的视野生成自当前位置向目标位置延伸的引导路径，且引导路径位于图像末端器械的视野以内。
[0213]
较佳的，在上述步骤s182中，也可以根据图像末端器械的视野进行防碰撞路径规划生成自当前位置向目标位置延伸的引导路径。这里是在局部视野内的防碰撞路径规划，可以参照前文所述的防碰撞路径规划的方法，此处不再一一赘述。
[0214]
一实施例中，在第二引导模式下，该方法还包括：约束对图像末端器械的视野的调节始终在操作末端器械位于图像末端器械的视野以内的条件下进行。例如，在操作末端器械出图像末端器械的视野时，可以考虑产生阻碍它在相应自由度上移动的阻力。
[0215]
一实施例中，在第二引导模式下，令各相邻时刻的图像末端器械的视野分别为第一视野和第二视野，第一视野和第二视野之间具有重叠区域，限定操作末端器械途经重叠区域向目标位置移动。
[0216]
一实施例中，在第二引导模式下，该方法还包括：约束图像末端器械的视野只能朝向操作末端器械的期望到达的目标位置的方向移动。这样的约束可以避免或防止操作末端器械的视野与向目标位置移动的目的无关的无效调节。
[0217]
一实施例中，在第二引导模式下，该方法还包括：在操作末端器械没有位于图像末端器械的视野以内时，禁止操作末端器械移动。可以防止操作末端器械出图像末端器械外，因而可以进一步确保安全性。
[0218]
一实施例中，在第二引导模式下，方法还包括：检测是否获取到启动指令；在获取到启动指令时，判断操作末端器械是否位于图像末端器械的视野以内。
[0219]
该启动指令包括但不限于由手术臂安装至动力机构时被触发产生，以及在手术臂安装至动力机构之后、由医生输入的确认指令触发。例如，动力机构上装设有传感器例如距离传感器，在手术臂装设于动力机构时，传感器检测出手术臂与动力机构之间的距离，在控制器判断出该距离小于等于预设值时，触发该启动指令的产生。
[0220]
一些实施例中，如图29所示，该方法还包括：
[0221]
步骤s191，在操作末端器械从初始位置基本移动到目标位置时，判断图像末端器械当前的视野是否为初始视野。
[0222]
该初始视野指图像末端器械初次被调节前一时刻的视野。
[0223]
步骤s192，在图像末端器械当前的视野不是初始视野时，调节图像末端器械当前的视野恢复成初始视野。
[0224]
一实施例中，在上述步骤s192之前，也即在调节操作末端器械沿引导路径从初始位置向目标位置移动的步骤之前，该方法还包括：获取并记录图像末端器械被确定的初始视野所对应的相机参数及位姿。进而在上述步骤s192中，即调节图像末端器械当前的视野恢复成初始视野的步骤中：根据记录的图像末端器械被确定的初始视野所对应的相机参数及位姿直接将图像末端器械的视野恢复成初始视野。
[0225]
一实施例中，提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被配置为由处理器加载并执行实现如下步骤：获取操作末端器械的初始位置；获取操作末端器械期望到达的目标位置；根据图像末端器械的视野生成自初始位置向目标位置延伸的引导路径；调节操作末端器械沿引导路径从初始位置向目标位置移动。
[0226]
一实施例中，提供一种手术机器人的控制装置。如图30所示，该控制装置可以包括：处理器(processor)501、通信接口(communications interface)502、存储器(memory)
503、以及通信总线504。
[0227]
处理器501、通信接口502、以及存储器503通过通信总线504完成相互间的通信。
[0228]
通信接口502，用于与其它设备比如各类传感器或电机或电磁阀或其它客户端或服务器等的网元通信。
[0229]
处理器501，用于执行程序505，具体可以执行上述方法实施例中的相关步骤。
[0230]
具体地，程序505可以包括程序代码，该程序代码包括计算机操作指令。
[0231]
处理器505可能是中央处理器cpu，或者是特定集成电路asic(applicationspecific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路，或者是图形处理器gpu(graphics processing unit)。控制装置包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu，或者，一个或多个gpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个gpu。
[0232]
存储器503，用于存放程序505。存储器503可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0233]
程序505具体可以用于使得处理器501执行以下操作：获取操作末端器械的初始位置；获取操作末端器械期望到达的目标位置；根据图像末端器械的视野生成自初始位置向目标位置延伸的引导路径；调节操作末端器械沿引导路径从初始位置向目标位置移动。
[0234]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0235]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。