引导工具改变的制作方法
相关申请的交叉引用
本申请要求根据35us.c.§119(e)的于2019年3月12日提交的美国临时专利申请序列号62/817,370的优先权的权益，其全部内容通过引用合并于本文。
背景技术：
发明领域
本发明总体上提供了改进的机器人和/或医疗(包括外科手术)设备、系统和方法。
概述
机器人设备系统可以用于在工作现场执行任务。例如，机器人系统可以包括机器人操纵器，以操纵用于执行任务的器械。机器人操纵器可包括通过一个或多个关节耦合在一起的两个或多个连杆。关节可以是主动移动和控制的主动关节。关节也可以是遵循主动关节的移动或外部操纵的被动关节。这样的主动关节和被动关节可以是转动关节或棱柱形关节/平移关节(prismaticjoint)。然后，可以通过机器人操纵器的关节的定位和定向，以及通过机器人操纵器的结构(例如机器人操纵器的连杆的设计)，来确定机器人操纵器的配置。
示例机器人系统包括工业机器人系统和娱乐机器人系统。例如，机器人系统还包括用于诊断、非外科手术治疗、外科手术治疗等程序中的医疗机器人系统。作为一个具体示例，机器人系统包括微创机器人远程外科手术系统，在该系统中，外科医生可以在床旁或远程位置对患者进行手术。远程外科手术通常是指使用外科手术系统进行的外科手术，其中外科医生使用某种形式的远程控制(例如伺服机构)来操纵外科手术器械的移动，而不是直接用手握住和移动器械。可用于远程外科手术或其他远程医疗程序的机器人医疗系统可包括远程可控的机器人操纵器。操作员可以远程地控制远程可控的机器人操纵器的运动。操作员还可以手动将机器人医疗系统的各个部分移动到其环境内的定位或定向。
机器人系统可以配备有可互换的工具。可能期望在执行机器人程序的同时以简单的方式有效地更换这些工具。
例如，考虑使用机器人系统执行外科手术的场景。典型的外科手术采用许多不同的外科手术工具或器械。当在外科手术期间需要不同的工具时，通常将外科手术工具从外科手术部位撤回，以便可以将其从其相关联的操纵器臂移除，并用具有所需末端执行器的工具替换。然后将所需的外科手术工具插入外科手术部位。也可以出于替换末端执行器之外的其他原因从外科手术部位撤回外科手术工具。例如，夹子在用于固定组织的施夹器中的加载通常发生在患者体外。每次需要一个新的夹子时，都会从外科手术部位移除施夹器以加载夹子，然后将其重新引入患者体内以应用夹子。
继续描述机器人执行的外科手术的示例，机器人系统的工具更换需要时间。此外，在工具改变操作之后，可能难以手动将新工具带入视野。操作员还可能误判插入深度，并将工具放置在外科手术部位太深，这可能导致工具与患者解剖结构之间的意外接触。为了避免这种接触，操作员可能会非常缓慢地将新工具移入外科手术部位。这些因素使工具改变操作成为一个耗时的过程。
由于这些和其他原因，提供用于机器人应用(包括工业应用、娱乐应用、医疗应用和其他机器人应用)的改进的设备、系统和方法将是有利的。
技术实现要素：
总的来说，在一个方面，一个或多个实施例涉及一种计算机辅助医疗系统，该系统包括：操纵器臂；以及控制器，其包括计算机处理器，并且被配置为确定运动学配置，运动学配置是在将替换工具安装在操纵器臂上之前，并且运动学配置是操纵器臂和附接至操纵器臂的先前工具的运动学配置，并且其中先前工具的末端执行器位于插入位置。控制器进一步被配置为：确定运动学配置中先前工具的参考几何形状，基于参考几何形状确定替换工具的插入轨迹，并且通过根据插入轨迹控制替换工具移动来促进替换工具朝向插入轨迹的目标位置的插入。
总的来说，在一个方面，一个或多个实施例涉及一种计算机辅助医疗系统，该系统包括：操纵器臂；以及控制器，其包括计算机处理器，并被配置为：确定运动学配置，运动学配置在将替换工具安装在操纵器臂上之前，并且运动学配置是操纵器臂和附接至操纵器臂的先前工具的运动学配置，并且其中先前工具的末端执行器位于插入位置。控制器进一步被配置为：确定运动学配置中的先前工具的参考几何形状，检测替换工具在操纵器臂上的安装，替换工具和操纵器臂形成物理操纵器组件，基于参考几何形状确定虚拟操纵器组件的约束轨迹，其中虚拟操纵器组件在运动学上对应于物理操纵器组件。控制器还被配置为通过以下步骤基于插入位置来促进替换工具朝向目标位置的插入：确定虚拟操纵器组件的当前运动学配置，当前运动学配置跟踪物理操纵器组件并在约束轨迹上，以及使用虚拟操纵器组件的当前运动学配置来控制物理操纵器组件。
总的来说，在一个方面，一个或多个实施例涉及一种用于操作医疗系统的方法，该方法包括：确定运动学配置，运动学配置是操纵器臂和附接至操纵器臂的先前工具的运动学配置，并且其中先前工具的末端执行器插入在插入位置。该方法进一步包括：确定运动学配置中的先前工具的参考几何形状；检测先前工具从操纵器臂的移除；检测替换工具在操纵器臂上的安装；基于参考几何形状确定替换工具的插入轨迹；以及通过根据插入轨迹控制替换工具移动来促进替换工具朝向插入轨迹的目标位置的插入。
总的来说，在一个方面，一个或多个实施例涉及一种用于操作医疗系统的方法，该方法包括：确定运动学配置，运动学配置是操纵器臂和附接至操纵器臂的先前工具的运动学配置，并且其中先前工具的末端执行器位于插入位置。该方法进一步包括：确定运动学配置中的先前工具的参考几何形状；检测先前工具从操纵器臂的移除；检测替换工具在操纵器臂上的安装，替换工具和操纵器臂形成物理操纵器组件；基于参考几何形状确定虚拟操纵器组件的约束轨迹，其中虚拟操纵器组件在运动学上对应于物理操纵器组件。另外，该方法包括通过以下步骤基于插入位置来促进替换工具朝向目标位置的插入：确定虚拟操纵器组件的当前运动学配置，当前运动学配置跟踪物理操纵器组件并在约束轨迹上，使用虚拟操纵器组件的当前运动学配置来控制物理操纵器组件。
通过以下描述和所附权利要求，本发明的其他方面将变得显而易见。
附图说明
图1a示出了根据一个或多个实施例的机器人程序场景的俯视图。
图1b概略地示出了根据一个或多个实施例的图1a的机器人程序场景的各种部件。
图2示出了根据一个或多个实施例的透视图，其说明了用于在图1a的机器人组件中输入程序命令的主操作员控制台或工作站。
图3示出了根据一个或多个实施例的图1a的电子推车的透视图。
图4示出了根据一个或多个实施例的具有四个操纵器臂的机器人组件的透视图。
图5示出了根据一个或多个实施例的操纵器臂组件的示例。
图6a示出了根据一个或多个实施例的工具或器械的透视图。
图6b、图6c、图6d和图6e示出了根据一个或多个实施例的图6a所示的工具或器械的腕部和末端执行器的透视图。
图7示出了根据一个或多个实施例的用于控制机器人组件的控制架构。
图8a示意性地示出了根据一个或多个实施例的在工作现场的工具。
图8b示意性地示出了根据一个或多个实施例的先前工具和叠加的替换工具。
图9示出了根据一个或多个实施例的描述用于引导工具改变的方法的流程图。
图10示出了根据一个或多个实施例的描述用于在替换工具的插入期间控制替换工具的运动学配置的方法的流程图。
图11示出了根据一个或多个实施例的描述用于在替换工具的插入期间控制替换工具的运动学配置同时向执行插入的助手提供力反馈的方法的流程图。
图12a、图12b、图12c、图12d和图12e示出了根据一个或多个实施例的使用关于图9、图10和图11所示和所描述的方法的插入替换工具的各种结果。
具体实施方式
现在将参考附图详细描述本公开的具体实施例。为了一致性，各个附图中的相同元件由相同的附图标记表示。
在本公开的实施例的以下详细描述中，阐述了许多具体细节以便提供对本发明的更透彻的理解。然而，对于本领域的普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细描述众所周知的特征，以避免不必要地使说明书复杂化。
在整个申请中，序数(例如，第一、第二、第三等)可以用作元件(即，申请中的任何名词)的形容词。除非明确公开，例如通过使用术语“之前”、“之后”、“单个”和其他此类术语，否则序数的使用并不暗示或创建元件的任何特定顺序，也不将任何元件仅限为单个元件。相反，序数的使用是在元件之间进行区分。举例来说，第一元件不同于第二元件，并且第一元件可以包含一个以上的元件，并且元件的顺序在第二元件之后(或者在第二元件之前)。
尽管本文描述的一些示例涉及外科手术程序或工具，或医疗程序和医疗工具，但是所公开的技术适用于医疗程序和非医疗程序以及医疗工具和非医疗工具。例如，本文所描述的工具、系统和方法可以用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。其他示例应用涉及美容改进、人或动物解剖结构的成像、从人或动物解剖结构收集数据、设置或拆卸系统以及培训医务人员或非医务人员。另外的示例应用包括用于对从人或动物解剖结构移除的组织进行程序(不返回到人或动物解剖结构上)，以及在人或动物尸体上执行程序。此外，这些技术也可以用于包括或不包括外科手术方面的药物治疗或诊断程序。
总的来说，本公开的实施例可在先前使用的工具已从工作现场(例如，医疗程序部位，诸如外科手术部位)移除之后，通过促进替换工具的插入来支持在机器人程序(例如，医疗程序，诸如机器人成像或外科手术)期间的器械或工具的替换。在一个或多个实施例中，当替换工具进入工作现场时，遵循基于由先前使用的工具先前占据的空间和替换工具的运动学配置/运动范围限定的插入轨迹。可以朝向工作现场的目标位置引导替换工具的尖端或末端执行器。可以在插入期间主动地控制替换工具的一个或多个自由度、替换工具附接至的操纵器臂的一个或多个自由度，或者替换工具和操纵器臂的一个或多个自由度。在医疗机器人系统的情况下，当重新进入医疗程序部位时，本公开的实施例因此提供了具有替换工具的能力，通常遵循由先前使用的工具先前占据的体积，以努力改善用于插入替换工具的工作流。
在一个或多个实施例中，替换工具在接近目标位置时采用类似于先前使用的工具在移除之前的运动学配置的运动学配置，从而便于操作员从先前使用的工具转换到替换工具。
在一个或多个实施例中，在助手手动施加驱动力的驱动下，将替换工具插入工作现场。为了确保替换工具保持在插入轨迹上，替换工具和/或操纵器臂可以向助手提供力反馈。与插入轨迹的偏离可导致向助手提供相反的力，从而直观地向助手指示偏离，并将替换工具朝向插入轨迹重定向。
本公开的实施例可以进一步提供附加特征。例如，可以提供随着插入末端执行器视觉监视替换工具的末端执行器的能力、在遇到阻力时防止替换工具进一步插入的力控制方案，以及如下讨论的其他特征。本公开的实施例因此可以使得在机器人程序期间能够直接且有效地替换工具。在机器人手术的示例中，本公开的实施例可以降低与组织的意外相互作用的可能性。另外，本公开的实施例可以使替换工具能够实现类似于先前使用的工具的运动学配置，从而便于操作员无缝且更准确地从先前使用的工具转换到替换工具。在以下描述中讨论了其他特征。
现在参考附图，其中贯穿多个视图，相同的附图标记表示相同的部件，图1a示出了在机器人程序场景中的计算机辅助医疗系统(100)(以下简称为系统(100))的俯视图。虽然在图1a中，微创机器人外科手术系统被示出为计算机辅助医疗系统(100)，但是以下描述适用于其他场景和系统(例如，非外科手术场景或系统、非医疗场景或系统)。在该示例中，对躺在手术台(110)上的患者(190)执行诊断或外科手术程序。该系统可以包括供操作员(192)(例如，临床医生，诸如外科医生)在程序期间使用的用户控制系统(120)。一个或多个助手(194)也可以参与该程序。系统(100)可以进一步包括机器人操纵系统(130)(例如，患者侧机器人设备)和辅助系统(140)。机器人操纵系统(130)可以包括至少一个操纵器臂(150)，每个操纵器臂可以支撑可移除地耦合的工具(160)(也称为器械(160))。在示出的程序中，工具(160)可以通过诸如喉咙或肛门的自然孔口或通过切口进入患者(190)的身体，同时操作员(192)通过用户控制系统(120)观察工作现场(例如，在外科手术场景中的外科手术部位)。可以通过成像设备(例如，内窥镜、光学相机或超声探头)(即，用于对工作现场成像的工具(160))来获得工作现场的图像，成像设备可以由机器人操纵系统(130)来操纵，以定位且定向成像设备。辅助系统(140)可以用于处理工作现场的图像，以通过用户控制系统(120)或位于程序本地或远程的其他显示系统显示给操作员(192)。一次使用的工具(160)的数量通常取决于任务、空间限制等因素。如果适合改变、清洁、检查或重新加载在程序期间正在使用的一个或多个工具(160)，则助手(194)可以从操纵器臂(150)中移除工具(160)，并且用相同的工具(160)或另一个工具(160)(例如，来自托盘(180)或另一类型的工具存储)来替换工具(160)。
图1b概略地示出了系统(100)。系统(100)可以包括一个或多个计算系统(142)。计算系统可以用于处理由用户控制系统(120)从操作员提供的输入。计算系统可以进一步用于向显示器(144)提供输出(例如，视频图像)。一个或多个计算系统(142)可以进一步用于控制机器人操纵系统(130)。
计算系统(142)可以包括一个或多个计算机处理器、非永久性存储器(例如，易失性存储器，诸如随机存取存储器(ram)、高速缓冲存储器)、永久性存储器(例如，硬盘、光驱，诸如光盘(cd)驱动器或数字多功能磁盘(dvd)驱动器、闪存等)、通信接口(例如，蓝牙接口、红外接口、网络接口、光接口等)以及众多其他元件和功能。
计算系统(142)的计算机处理器可以是用于处理指令的集成电路。例如，计算机处理器可以是处理器的一个或多个核心或微核心。计算系统(142)还可包括一个或多个输入设备，例如触摸屏、键盘、鼠标、麦克风、触摸板、电子笔或任何其他类型的输入设备。
计算系统(142)的通信接口可以包括用于将计算系统(142)连接到网络(未示出)(例如，局域网(lan)、广域网(wan)，诸如因特网、移动网络或任何其他类型的网络)和/或连接到另一设备(例如另一计算系统(142))的集成电路。
此外，计算系统(142)可以包括一个或多个输出设备(1308)，例如显示设备(例如，液晶显示器(lcd)、等离子显示器、触摸屏、有机led显示器(oled)、投影仪或其他显示设备)、打印机、扬声器、外部存储器或任何其他输出设备。一个或多个输出设备可以与一个或多个输入设备相同或不同。存在许多不同类型的计算系统，并且前述一个或多个输入和输出设备可以采取其他形式。
用于执行本公开的实施例的计算机可读程序代码形式的软件指令可以全部或部分地临时或永久地存储在非暂时性计算机可读介质上，例如cd、dvd、存储设备、软盘、磁带、闪存、物理存储器或任何其他计算机可读存储介质。具体地，软件指令可以对应于计算机可读程序代码，该计算机可读程序代码在由一个或多个处理器执行时，被配置为执行本发明的一个或多个实施例。
计算系统(142)可以连接到网络或成为网络的一部分。该网络可以包括多个节点。每个节点可以对应于计算系统或一组节点。举例来说，本公开的实施例可以在连接到其他节点的分布式系统的节点上实现。再举一个例子，本发明的实施例可以在具有多个节点的分布式计算系统上实现，其中本公开的每个部分可以位于分布式计算系统内的不同节点上。此外，前述计算系统的一个或多个元件可以位于远程位置并通过网络连接到其他元件。
机器人操纵系统(130)可以使用包括成像设备(例如内窥镜或超声探头)的工具(160)来捕获工作现场的图像并将所捕获的图像输出到辅助系统(140)。辅助系统(140)可以在任何后续显示之前以各种方式处理所捕获的图像。例如，辅助系统(140)可以在经由用户控制系统(120)向操作员显示组合图像之前，将所捕获的图像与虚拟控制界面重叠。机器人操纵系统(130)可以输出所捕获的图像以在辅助系统(140)外部进行处理。一个或多个单独的显示器(144)也可以与计算系统(142)和/或辅助系统(140)耦合，以用于图像(例如程序部位的图像或其他相关图像)的本地和/或远程显示。
图2示出了用户控制系统(120)的透视图。用户控制系统(120)包括左眼显示器(202)和右眼显示器(204)，用于向操作员(192)(图1a所示)呈现能够进行深度感知的工作现场的协调立体图。用户控制系统(120)进一步包括一个或多个输入控制设备(210)，该一个或多个输入控制设备(210)继而使机器人操纵系统(130)(图1a所示)操纵一个或多个工具。输入控制设备(210)可以提供与其相关的工具(160)(图1a所示)相同的自由度，从而为操作员提供远程呈现，或者输入控制设备(210)与工具(160)(图1a所示)是一体的感知，从而使操作员具有直接控制工具(160)的强烈感觉。为此，可以采用定位传感器、力传感器和/或触觉反馈传感器(未示出)来将定位感、受力感和/或触觉通过输入控制设备(210)从工具(160)传回操作员的手。
图3示出了辅助系统(140)的透视图。辅助系统(140)可以与成像设备类型的工具(160)(图1a所示)耦合，并且可以包括处理器(未示出)以处理所捕获的图像以用于随后的显示，例如向在操作员控制台或在位于本地和/或远程的另一个合适的显示器上的操作员显示或显示。例如，在使用立体内窥镜的情况下，辅助系统(140)可以处理所捕获的图像，以便向操作员呈现工作现场的协调的立体图像。这样的协调可以包括相对图像之间的对准，并且可以包括调整立体内窥镜的立体工作距离。作为另一个示例，图像处理可以包括使用先前确定的相机校准参数，以便补偿图像捕获设备的成像误差(例如光学像差)。
图4示出了具有多个操纵器臂(150)的机器人操纵系统(130)，每个操纵器臂(150)在操纵器臂的远端处支撑器械或工具(160)。所示的机器人操纵系统(130)包括四个操纵器臂(150)，其可用于支撑操纵工具(160)或成像工具(160)(例如用于捕获程序部位的图像的立体内窥镜)。下面参考图5提供对操纵器臂150的更详细的描述，并且下面参照图6a、图6b、图6c、图6d和图6e提供对工具(160)的更详细的描述。在微创的场景下，可通过患者中的切口来定位和操纵工具(160)，以便将运动学远程中心保持在切口处，以便最小化切口的大小或施加于切口周围组织的力。当工具(160)定位在作为成像设备操作的工具的视野内时，工作现场的图像可以包括器械或工具(160)的远端的图像。
可以使用不同类型和不同末端执行器的各种工具(160)或器械。在程序期间，至少一些工具(160)可以被移除和替换。在外科手术场景中，末端执行器可以包括但不限于debakey钳、微型钳、potts剪刀、施夹器、手术刀和电灼探针。这些末端执行器中的一些可以具有单个末端执行器元件，而其他末端执行器可以包括多个末端执行器元件(例如可以相对于彼此枢转以限定一对末端执行器钳口的第一末端执行器元件和第二末端执行器元件)。
在外科手术场景中，工具(160)的细长轴允许末端执行器和轴的远端通过微创孔(通常是通过身体壁(例如腹壁))向远侧插入手术工作现场。外科手术工作现场可能被吹气。末端执行器在患者体内的移动通常至少部分地受到通过使工具(160)围绕轴穿过微创孔的位置枢转的影响。因此，操纵器臂(150)可将器械的近侧壳体移动到患者体外，以使轴延伸穿过微创孔，以提供末端执行器的期望移动。因此，操纵器臂150可以在患者体外进行移动。
在图5中示出了根据本公开的实施例的操纵器组件(500)的示例。操纵器组件(500)可以包括操纵器臂(502)和工具(520)(也称为器械(520))(在图5中，仅示出了工具的轴线而不是工具本身)。如上所述，在操作期间，操纵器臂(502)通常支撑远侧器械或工具(520)，并影响工具(520)的移动。由于可以将具有不同末端执行器的许多不同工具(520)依次安装在操纵器臂(502)上，或者由于在程序期间需要移除并重新安装工具(520)，因此远侧工具支架有助于移除和替换已安装的器械或工具。如参照图4可以理解的，操纵器臂(502)在近侧安装到机器人组件的基座。可替代地，操纵器臂(502)可以安装到可以独立移动的单独的基座，例如，通过将操纵器臂(502)安装到单操纵器臂推车上，设置有在各个位置处允许将操纵器臂(502)直接地或间接地安装到手术台(图1a所示)的安装夹具等。通常，操纵器臂(502)包括多个操纵器臂段和在近侧基座和远侧工具支架之间延伸的相关关节。
在诸如图5所示的实施例中，操纵器臂包括多个关节(例如转动关节j1、j2、j3、j4和j5，以及棱柱形关节j6)和连杆或操纵器臂段(504、506、508和510)。操纵器臂的关节在组合中可以有也可以没有冗余的自由度。具有一个或多个冗余自由度的操纵器臂具有多个关节，使得对于操纵器臂的一部分的给定定位和定向，可以将多个关节驱动到一系列不同的配置中。例如，具有一个或多个冗余自由度的操纵器臂可以具有多个关节，这些关节对于操纵器臂的远侧部分或末端执行器的给定定位和定向可以被驱动到一系列不同的配置中。例如，图5的操纵器臂(502)可以被演习(maneuver)为不同的配置，同时支撑在工具支架(510)内的远侧构件(512)保持特定状态并且可包括末端执行器的给定定位或速度。工具支架(510)可以包括插管(516)，工具(520)的工具轴穿过插管(516)延伸，并且工具支架(510)可以包括滑架((514)显示为在梁上平移的箱形结构)，在通过插管(516)朝向工作现场延伸之前，工具附接到该滑架。
通常由操纵器的致动器来提供工具(520)的自由度的致动。这些致动器可以被集成在滑架(514)中。工具的远侧腕部可以允许工具(520)的末端执行器围绕工具腕部处的一个或多个关节的工具关节轴线枢转和/或线性运动。可以独立于末端执行器的位置和定向来控制末端执行器钳口元件之间的角度。下面参考图6a、图6b、图6c、图6d和图6e来提供工具(520)的详细描述。
图6a示出了根据一个或多个实施例的可以用于外科手术的工具(600)(也称为器械(600))的示例。工具(600)包括细长轴(610)和位于轴(610)的工作端的腕部(620)。壳体(630)位于轴(610)的相对端，该壳体630可释放地布置以将工具600耦合至操纵器臂(502)。轴(610)可以可旋转地耦合到壳体(630)，以使轴(610)相对于壳体(630)能够如箭头(692)所指示的进行角位移，从而允许耦合到轴的末端执行器(640)经由腕部(620)旋转。工具(600)的各种实施例具有多自由度腕部(例如俯仰和偏航自由度)、单自由度腕部(例如俯仰或钳口)或没有腕部。
在5图中，当工具(520)耦合或安装在操纵器臂(502)上时，轴(610)延伸穿过插管(516)。工具(520)通常可释放地安装在操纵器臂(502)的工具支架(510)上，该工具支架可以被驱动以沿着由棱柱形关节(j6)形成的线性引导件平移。这也可以被称为“io”，并且提供沿着插入轴线(612)的进/出移动。壳体(630)可包括线轴，如名称为“surgicaltoolsforuseinminimallyinvasivetelesurgicalapplications(用于微创远程外科手术应用的外科手术工具)”的美国专利号6,394,998中所描述的，线轴可旋转以控制电缆以致动末端执行器(640)的连杆。下面参考图6b、图6c、图6d和图6e来提供末端执行器(640)的更详细的描述。操纵器臂(502)的工具支架(510)可以包括用于与线轴耦合以在工具(600)连接到操纵器臂(502)时驱动线轴的磁盘。
转到图6b、图6c、图6d和图6e，示出了根据一个或多个实施例的腕部(620)和工具(诸如图6a中引入的工具(600))的末端执行器(640)。图6b至图6e中所示的每个工具都包括设置在其轴(610)的工作端上的腕部(620)。腕部(620)可以能够使末端执行器(640b、640c、640d和640e)相对于轴(610)枢转。腕部(620)可以具有至少一个自由度。
不同类型的工具(600)可以具有带有不同几何形状、自由度和/或功能的不同末端执行器。例如，图6b中的末端执行器(640b)包括形成烧灼钩的单个构件；图6c中的末端执行器(640c)包括以钳口状布置形成钳子的两个构件；图6d中的末端执行器(640d)包括形成冲洗器或抽吸设备的喷嘴的单个构件；以及图6e中的末端执行器(640e)包括以钳口状布置形成施夹器的两个构件。末端执行器(640c和640e)可以是任何期望的工具的形式，例如，具有相对于彼此枢转的两个构件或指状物，诸如用于锚固夹子的施夹器(如图6e所示)、剪刀、两指状钝性解剖工具、钳子(如图6c所示)、用作针驱动器的镊子等。末端执行器(640c和640e)的两个构件都可以分别在角度上位移，从而不仅允许打开和关闭末端执行器，而且使角位移能够改变末端执行器(640c和640e)作为一个整体相对于腕部(620)的定向。
此外，末端执行器(640b和640d)可以包括单个工作构件，例如手术刀、烧灼电极(如图6b所示)、冲洗设备(如图6d所示)等。在不脱离本公开的情况下，可以存在其他末端执行器配置。成像设备也可以被认为具有末端执行器(640)(即，用于获得图像的一个末端执行器)，并且像其他末端执行器一样，可以在具有或没有腕部的情况下耦合至工具的轴(610)。
当在程序期间需要不同的工具(600)时，将工具(600)从其相关的臂上移除，并替换为具有所需末端执行器(640)的另一工具(600)。也可以将工具(600)移除并重新插入，以便例如清洁工具、检查工具、重新加载工具(例如，通过加载带有夹子的施夹器，加载带有吻合器钉舱的吻合器)等。
末端执行器(640)的自由度可以由适当定位的致动器(例如，电动机)控制，该致动器响应于来自相关联的输入控制设备(例如，图2中的输入控制设备(210))的输入，以将端部执行器(640)驱动到如由输入控制设备(210)的移动或任何其他控制信号指示的期望定向。此外，可以提供适当定位的传感器(例如编码器、电位计等)，以便能够测量关节定位。如图5所示，致动器和传感器可以设置在工具支架(510)的滑架(514)中。
虽然图1a、图1b、图2、图3、图4、图5、图6a、图6b、图6c、图6d和图6e示出了部件的各种配置，但是在不脱离本发明的范围的情况下可以使用其他配置。例如，可以将各种部件组合以创建单个部件。作为另一示例，由单个部件执行的功能可以由两个或多个部件执行。此外，虽然在外科手术场景的上下文中描述了部件，但是本公开的实施例可以同样适用于涉及机器人操纵的其他领域。
转到图7，示出了根据一个或多个实施例的用于控制包括安装在其上的操纵器臂和器械或工具的操纵器组件的控制架构。作为示例，图示出一种控制架构。本领域技术人员将理解，在不脱离本公开的情况下，可以使用其他控制架构。此外，在图示的控制架构中，在控制架构的框之间交换特定的信号(例如，定位)。在不脱离本公开的情况下，可以使用其他信号(例如，速度、加速度、力等)。同样，控制架构可以实现不同的模式(未示出)。例如，如图2所示，在由用户操作的输入控制设备(210)的控制下执行机器人任务期间，可以定位控制机器人操纵器组件的各个关节。但是，在另一种控制模式下(例如，在工具交换期间)，一个或多个关节可能是“浮动的”，从而允许助手轻松地从外部铰接这些一个或多个关节，例如通过向后驱动这些一个或多个关节。浮动关节可以由外部施加的力向后驱动，而无需控制算法或制动力抵消足够的外部施加的力。例如，用户可以将满足一个或多个标准(例如，对于幅度、方向、持续时间、频率)的力施加到浮动关节远侧的连杆上，从而导致向后驱动浮动关节。浮动关节，特别是当在受重力(例如“竖直”关节或在“非水平”方向)影响的自由度上浮动时，可以进一步进行重力补偿。另外，摩擦补偿可以促进向后驱动。附加地或可替代地，还可以控制浮动关节以施加其他特性(例如一定程度的阻尼)。可以在操纵器组件的操作期间组合多种控制模式，例如，可以定位控制某些关节以抵抗或反弹那些关节的外部铰接，而其他关节可以是浮动的并且促进那些其他关节的外部铰接。另外，操纵器组件的一个或多个关节可以是被动的，即，完全不受定位或速度的控制。被动关节可以由助手手动操作。尽管如此，被动关节可以包括关节传感器，使得可以获得操纵器组件的完整运动学。此外，在一些实施例中，被动关节可包含用于提供重力补偿、摩擦补偿或不包括主动驱动被动关节的运动的其他效用的致动器。
在一个或多个实施例中，通过控制器使用操纵器组件的致动器(例如，马达、螺线管等)驱动一个或多个关节来控制操纵器组件的关节移动，该关节移动由控制器的处理器计算。在数学上，控制器可以使用矢量和/或矩阵执行关节命令的至少一些计算，其中一些可以具有与关节的定位、速度和/或力/扭矩相对应的元素。可用于处理器的替代关节配置的范围可以被概念化为关节空间。关节空间可以例如具有与操纵器组件具有的自由度一样多的尺寸，并且操纵器组件的特定配置可以表示关节空间中的特定点，其中每个坐标对应于操纵器组件的相关联关节的关节状态。
如本文所使用的，一个关节或多个关节的术语“状态”分别是指与一个关节或多个关节相关联的控制变量。例如，角关节的状态可以指由该关节在其运动范围内限定的角度，和/或指关节的角速度。类似地，轴向或棱柱形关节的状态可以指关节的轴向定位，和/或其轴向速度。尽管本文描述的一个或多个控制器包括定位控制器，但是它们通常还具有速度控制方面。在不脱离本公开的情况下，替代实施例可以主要或完全依赖于速度控制器、力控制器、加速度控制器等。可以在这种设备中使用的控制系统的许多方面在美国专利号6,699,177中做了更全面的描述，其全部公开内容通过引用并入本文。因此，只要所描述的移动是基于相关联的计算，则可以使用定位控制算法、速度控制算法、两者的组合等来执行本文所描述的关节的移动和末端执行器的移动的计算。
图7的控制架构(700)包括控制器(710)，该控制器(710)基于所命令的移动(720)来驱动操纵器组件的关节致动器(790)。可以驱动任何数量的关节致动器(790)。
所命令的移动(720)可以是在工作空间中在笛卡尔坐标空间(在本文中称为笛卡尔空间)中的一个或多个特征的命令的定位和/或速度。所命令的移动(720)可以是例如从用户控制系统(120)接收的移动命令(例如，以定位和/或速度的形式)，或者是操纵器臂的一个或多个特征的任何其他移动命令。特征可以是物理上在操纵器组件上或物理上不在操纵器组件上的任何特征，其可以用于限定要使用控制输入进行铰接的控制框架。操纵器组件上的特征的示例包括工具(例如，末端执行器尖端、末端执行器上的中心点或末端执行器的u型夹)的特征、操纵器臂的特征(例如，配置为与可移动器械物理耦合的器械支架)。操纵器组件的特征的另一个示例是空的空间中的参考点，该参考点与末端执行器尖端恰好为一定距离和角度。操纵器组件之外的特征的另一个示例是目标组织，其相对于操纵器组件的一部分的定位可以被建立。
控制器(710)可以包括顶级控制器(730)、逆运动学控制器(740)、关节控制器(750)和正向运动学模型(760)。随后描述这些部件中的每一个。
根据一个或多个实施例，顶级控制器(730)包括计算机可读程序代码形式的指令，以接收所命令的移动(720)，并将所命令的移动(720)转换为笛卡尔坐标系中的定位。将所命令的移动(720)转换成笛卡尔定位所执行的步骤取决于提供所命令的移动(720)的格式。例如，如果所命令的移动(720)指定期望的末端执行器定位，则顶级控制器(730)可以使用例如定位-时间(pt)或定位-速度-时间(pvt)插值来执行轨迹规划。可替代地，如果所命令的移动(720)包括速度命令，则顶级控制器(730)可以作为积分器操作。本领域技术人员将理解，顶级控制器(730)可执行获取笛卡尔坐标系中的定位信号所需的任何操作。在一个或多个实施例中，顶级控制器(730)在考虑到所感测的关节状态(754)的情况下从所命令的移动(720)生成笛卡尔定位。所感测的关节状态(754)可以使顶级控制器能够确定要控制的关节的实际状态(例如，包括当前定位和/或速度等)。实际状态可能影响控制任务，因此可能由顶级控制器考虑。例如，对于操纵器组件的特定配置，所命令的移动可能是不希望的，并且可能因此不被执行，或者可替代地可以被转换为可以期望的方式执行的替代的所命令的移动。
根据一个或多个实施例，逆运动学控制器(740)包括计算机可读程序代码形式的指令，以将所命令的笛卡尔定位(732)转换为所命令的关节定位(例如，转动关节的关节角度)(742)。逆运动学控制器(740)的操作可以在速度域中执行。换句话说，逆运动学控制器(740)可以寻求确定或求解关节速度矢量，该关节速度矢量可以用于以末端执行器精确地遵循命令的笛卡尔定位的这种方式驱动操纵器组件的关节。逆运动学控制器(740)可以积分经计算的关节速度以获得所命令的关节定位(742)。
所命令的笛卡尔误差(732)可以是如前所述的由顶级控制器(730)提供的笛卡尔定位和由下文讨论的正向运动学模型(760)提供的笛卡尔定位的组合。更具体地，由正向运动学模型(760)提供的笛卡尔定位可以表示操纵器组件在笛卡尔空间中的(例如，末端执行器的)实际或当前定位的估计。可以从表示所命令的移动的笛卡尔定位减去该估计，以获得要补偿的差，以用作逆运动学控制器(740)的控制输入。
虽然通常可能不存在将期望的笛卡尔空间定位映射到等效关节空间定位的闭合形式关系，但是通常在笛卡尔空间速度和关节空间速度之间存在闭合形式关系。运动学雅可比矩阵是笛卡尔空间定位元素相对于关节空间定位元素的偏导数的矩阵。以此方式，雅可比矩阵捕获例如末端执行器和关节之间的运动学关系。换句话说，雅可比矩阵捕获关节运动对末端执行器的影响。雅可比矩阵(j)可用于将关节空间速度(dq/dt)映射到笛卡尔空间速度(dx/dt)(例如末端执行器速度)。
因此，即使在输入定位和输出定位之间没有闭合形式的映射时，逆运动学控制器(740)也可以迭代地使用速度的映射，以基于所命令的轨迹来实现操纵器组件的移动。随后以简化的术语描述一种这样的实施方式。假设所命令的移动(720)包括以时间步长δt提供的笛卡尔位置。在每个时间步长(δt)，由逆运动学控制器(740)计算笛卡尔速度(dx/dt)，以执行期望的移动并校正与期望的笛卡尔定位的累积偏差(通过减去由正向运动学模型(760)产生的笛卡尔位置获得的)。然后，在速度域中使用雅可比矩阵(j#)的伪逆，将该所命令的笛卡尔定位(或在减去正向运动学模型的输出后的笛卡尔误差(732))转换为所命令的关节定位(q)(742)。所命令的关节定位用于重新计算雅可比矩阵(j)，该雅可比矩阵(j)可用于下一个时间步长执行的计算。可以针对任何数量的关节执行所描述的步骤。
本文描述的一些示例操纵器组件具有比在工作现场内定位和移动末端执行器所需的自由度更多的自由度。例如，在一些实施例中，可以通过微创孔在内部外科手术部位以六个自由度定位的外科手术末端执行器可以具有九个自由度的任务空间(六个末端执行器自由度——三个用于定位和三个用于定向-加上三个自由度以符合访问部位限制)，但可以具有十个或更多自由度。具有比给定的末端执行器定位所需的自由度更多的自由度的高度可配置的操纵器臂组件可以被描述为具有或提供足够的自由度以允许工作空间中的末端执行器定位的一系列关节状态。例如，对于给定的末端执行器定位，操纵器组件可以占据(并且在其间被驱动)一系列可替代的操纵器臂配置中的任何一个。类似地，对于给定的末端执行器速度矢量，操纵器组件可在雅可比矩阵的零空间内针对操纵器组件的各个关节具有一系列不同的关节移动速度。
当以冗余的自由度引导高度可配置的操纵器的移动时，逆雅可比矩阵通常不能完全限定关节矢量解。例如，对于给定的末端执行器状态，从笛卡尔命令(x)到可能占据关节状态范围的系统中的关节定位(q)的映射是一-对-多的映射。换句话说，由于该机制是冗余的，因此存在数学上无数个解，由逆解所在的子空间表示。可以施加额外的限制以获得唯一的解。本领域技术人员将理解，可以使用各种方法来执行逆运动学，包括用于具有冗余自由度的操纵器的逆运动学。
根据一个或多个实施例，关节控制器(750)中的每个包括计算机可读程序代码形式的指令，以将接收的所命令的关节定位(742)转换为所命令的电流(752)以驱动产生关节移动(792)的关节致动器(790)中的一个。每个关节致动器(790)可以使用一个关节控制器(750)。通过操纵器组件的运动学的所有关节致动器的关节移动(792)可以产生反映所命令的移动(720)的操纵器臂移动。在本公开的一个实施例中，关节控制器控制关节定位或角度。可替代地，关节控制器可以控制其他变量，例如关节速度、关节扭矩或关节力(在线性关节的情况下)。关节控制器(750)可以从相关联的关节致动器(790)接收以经感测的关节状态(754)的形式的反馈信号，以启用闭环控制。由关节致动器(790)提供的经感测的关节状态(754)可以包括表示关节移动(792)的关节定位、关节速度和/或关节加速度等。经感测的关节状态可以从由附接到关节的传感器获得的信号中得出。这样的传感器可以是例如关节致动器的增量编码器或霍尔传感器。可以使用状态观察器或估计器(未示出)。在不脱离本公开的情况下，每个关节控制器(750)可以实现比例积分微分(pid)、比例微分(pd)、全状态反馈、滑动模式或各种其他控制方案。
根据一个或多个实施例，正向运动学模型(760)包括计算机可读程序代码形式的指令，如前所描述的，以将经感测的关节状态(754)转换为笛卡尔定位和/或速度。
控制器(710)可以在一个或多个计算系统上实现。这些一个或多个计算系统可以基于数字信号处理器(dsp)、中央处理单元(cpu)等。参考图1b描述示例计算系统。计算系统中的每个可以取决于操作性质的循环时间执行所描述的操作。在一个实施例中，逆运动学控制器(740)和关节控制器(750)的循环时间是相同的。可以使用任何类型的电或光通信网络(包括以太网、光纤、各种总线系统和/或任何其他类型的数字或模拟信号)来执行实现顶级控制器(730)、逆运动学控制器(740)和关节控制器(750)的计算系统之间的通信。
在一个或多个实施例中，控制器(710)进一步被配置为执行图9、图10和图11中描述的步骤中的至少一个。
转到图8a，示意性地示出了根据一个或多个实施例的在工作现场的工具。
图8a示出了工具(800)，其包括轴(802)和具有远端工具尖端(806)的末端执行器(804)。腕部(808)将末端执行器(804)枢转地连接至轴(802)。工具(800)可以基本上类似于图6a、图6b、图6c、图6d和图6e中引入的工具之一，或者是另一类型的工具。如图8a所示，工具(800)经由孔(892)插入到工作现场(890)中。该工具显示在插入位置(820)。插入位置(820)可被限定为例如在移除工具(800)的一部分(例如，工具尖端(806)、末端执行器(804)的中心位置、用于钳口式末端执行器(804)的u形夹或工具(800)的一些其他部分)之前的位置。当将工具(800)插入到工作现场(890)中时，插入位置是工作现场(890)中的位置。在外科手术场景中，工作现场(890)可以是患者身体的腔。轴(802)和末端执行器(804)是从工作现场(890)的外部控制的。类似于图5中引入的具有一个或多个致动器的操纵器臂的操纵器臂可以用于控制安装的工具(800)，例如通过驱动轴(802)或工具(800)的任何关节的运动(包括末端执行器(804)的运动)。图8a进一步示出了包括成像设备的第二工具(870)。第二工具(870)的成像设备可以捕获可以被提供给操作员和/或助手的视野(872)。视野(872)可以覆盖工具(800)的末端执行器(804)的位置，并且可以进一步覆盖围绕末端执行器(804)的区域。尽管示出了具有特定几何形状和自由度的两个特定工具(800、870)，但是本领域技术人员将理解，工具可以具有任何适当的几何形状，并且可以包括柔性的或刚性的任何数量的任何类型的关节(例如，圆柱关节、棱柱形关节等)，或具有任何数量的自由度。工具(800、870)也可以是除图8a所示以外的任何其他类型的器械。如图8a所示，工具(800)可以表示初始或先前安装的工具(以下称为“先前工具”)或在已经移除先前工具之后安装的工具(以下称为“替换工具”)。
转向图8b，示出了先前工具(810)和替换工具(850)与操作配置中的两个工具重叠，例如，插入到工作部位(890)(例如，当考虑外科手术场景时，包括体腔中的外科手术部位)中。用户可以基于先前工具(810)和/或替换工具(850)的程序来命令操作配置。在图8b中，示出了先前工具(810)在其被移除之前的插入位置(820)，并且示出了替换工具(850)在其插入之后的目标位置。先前工具(810)和替换工具(850)可以相似或不同。例如，替换工具(850)的末端执行器可以是与先前工具(810)的末端执行器相同的类型的(例如，两个工具都可以配备有钳型末端执行器)，并且这些末端执行器的长度可以相同或不同。可替代地，替换工具和先前工具(850、810)的末端执行器可以是不同类型的(例如，钳型末端执行器和手术刀或电烙术式末端执行器)。例如，诸如当移除先前工具以进行清洁、重新加载、检查等，然后重新插入时，替换工具(850)也可以是先前工具(810)本身。
图8b还示出了插入轴线(886)。插入轴线(886)指示先前/替换工具沿着操纵器臂的工具支架滑架的棱柱形关节的可能平移移动。在图8b所示的示例中，因为操纵器臂的配置没有改变，所以先前工具(810)和替换工具(850)的插入轴线重合。本领域技术人员将理解，插入轴线也可以由关节的组合(例如转动关节的组合)提供，其可以被致动以产生安装工具的平移运动。
图8b进一步示出了插入轨迹(840)。插入轨迹(840)可以建立替换工具(850)的一个或多个部分所遵循的路径，例如通过尖端或通过替换工具(850)的末端执行器的中心位置，或者通过替换工具(850)的另一个指定部分(850)。插入轨迹(840)例如可以沿着先前工具占据的体积(830)朝向目标位置(880)中心地延伸。可以基于在移除之前的先前工具(810)的几何形状和运动学配置来知道该体积。通过使替换工具(850)的一部分(例如，末端执行器(804)的尖端或中心部分和/或替换工具(850)的另一个指定部分)遵循插入轨迹，可降低与工作现场(890)处存在的其它工具或其它部件的非故意相互作用的可能性。这是因为可以将插入轨迹定义为保留在先前工具(810)先前占据的体积(830)内。
可以基于插入位置(820)来限定目标位置(880)。例如，目标位置(880)可以被限定为沿着连接先前工具的插入位置(820)和远程中心的线段的位置，并且可以位于插入位置(820)或距插入位置(820)一定距离；作为具体示例，目标位置(880)可以沿着这样的线段限定，并且比插入位置(820)更靠近远程中心3mm、4mm、1cm等。作为另一示例，目标位置(880)可以被限定为沿着先前工具(810)的末端执行器的中心轴线的位置，并且可以位于插入位置(820)或距插入位置(820)一定距离；作为另一个具体示例，目标位置(880)可以沿着这样的中心轴线限定，并且比插入位置(820)更靠近工具的近侧部分3mm、4mm、1cm等。以这种方式选择的目标位置(880)将引导替换工具靠近但并非一直到达插入位置(820)。
在一些实施例中，基于替换工具(850)的运动学和/或在控制替换工具(850)中允许的操纵器移动来进一步限定目标位置(880)。因此，目标位置(880)对于具有不同几何形状、运动范围和允许的操纵器移动的替换工具可以是不同的，从而为每个替换工具设置的目标位置可以通过该替换工具到达。
以以下两种场景为例。在两个示例场景中，假设移除之前的先前工具(810)从轴弯曲到末端执行器的尖端，插入位置位于移除之前的先前工具(810)的尖端，限定插入轨迹使得替换工具(850)的尖端遵循先前工具(810)的中心轴线到达目标位置(880)，并且替换工具(850)配备有比先前工具(810)的末端执行器更短的末端执行器。在这两个示例场景中，还假设，如果将先前工具(810)作为替换工具(850)重新插入，则目标位置(880)将设置为移除先前工具(810)之前的沿着先前工具(810)的末端执行器的中心轴线的位置。此外，在移除之前，目标位置将被设置为从插入位置(820)朝向先前工具(810)的近侧部分偏移3mm。
在第一示例(场景(i))中，进一步假设在插入轨迹中不允许插入轴线(886)的枢转。在这种场景(i)中，替换工具(850)的较短的末端执行器将无法到达与重新插入的先前工具(810)相同的目标位置。结果，具有较短末端执行器的替换工具(850)的目标位置(880)可以被限定为比如果先前工具(810)作为替换工具(850)被重新插入时已经设定的目标位置距插入位置(820)更远(并且“短于”这样的重新插入的先前工具目标位置)。在该示例中，目标位置(880)仍可以在沿着先前工具(810)的末端执行器的中心轴线的位置，但是与用于重新插入先前工具(810)的目标位置(880)相比，用于插入替换工具(850)的目标位置可能比插入位置(820)更接近移除之前先前工具(810)的近侧部分的位置。以这种方式，尽管替换工具(850)比先前工具(810)短，但是限定的目标位置(880)在替换工具(850)的末端执行器的可达范围内。下面参考图12c提供说明该场景的示例。
接下来，在第二示例(场景(ii))中，进一步假设在替换工具(850)的插入轨迹中允许插入轴线(886)的枢转。在该场景下，尽管替换工具(850)的轴可能不会沿着插入轨迹停留，但是枢转将允许具有较短的末端执行器的替换工具到达如果先前工具(810)作为替换工具被重新插入时已经设定的目标位置。因此，在该第二场景下，如果先前工具(810)作为替换工具(850)要被重新插入，则可以将具有较短的末端执行器的替换工具(850)的目标位置(880)限定为与目标位置相同。下面参考图12d提供说明该场景的示例。
以上示例可以被模拟为替换工具(850)的一个或多个自由度的运动范围不足以到达如果先前工具(810)作为替换工具被重新插入就已经设定的目标位置的情况。运动范围考虑可以基于物理运动范围约束和/或基于软件施加的运动范围约束。物理运动范围约束的示例包括具有用于匹配先前工具(810)中的关节的更大或更小的关节运动范围的替换工具(850)中的关节设计，并且还包括替换工具(850)缺乏在先前工具(810)中发现的一定自由度的设计。因此，运动范围约束可以进一步基于完全不存在的在先前工具(810)中可用的自由度。因此，在替换工具(850)受到达如果先前工具(810)作为替换工具被重新插入将已经限定的目标位置的运动范围的约束的示例场景中，可以不同的方式限定目标位置(即，偏离将用于重新插入先前工具的目标位置)以允许替换工具(850)以其运动范围到达目标位置。下面参考图12e提供说明该场景的示例。运动范围约束还可以进一步与携带先前工具或替换工具的操纵器臂相关联。例如，假设替换工具(850)比先前工具(810)短得多。因此，为了到达在重新插入先前工具(810)时将使用的目标位置，操纵器臂将必须参与替换工具(850)的插入移动，以便在执行插入时补偿较短的替换工具。然而，例如当操纵器臂本身的关节到达运动范围限制时，或者由于与另一结构的碰撞，操纵器臂的参与并不总是可能达到必要的程度。
代替或除了上面所描述的参数，可以基于其他因素来限定目标位置(880)。示例因素包括替换工具(850)的几何横截面、替换工具(850)的类型以及相关用途(例如，能量工具、成像工具、切割工具、抓握工具等)、将替换工具(850)放置在更靠近其自由度中的一个或多个的运动范围的中心的目标、用户偏爱、其他工具的位置、工件或工作现场的位置、将由替换工具(850)执行的程序的预期位置等。
在不脱离本公开的情况下，可以选择工作现场内的其他位置作为目标位置(880)。因此，目标位置(880)可以是空间中的点。目标位置(880)可以进一步包括公差。该公差可以建立目标区域，当由替换工具(850)的末端执行器尖端到达该目标区域时，可以指示插入的完成。可以基于精度要求来选择公差。如果希望将替换工具精确地引导到特定位置，则可以选择窄公差，而对于其他场景，则可以选择较宽的公差。
如图8b所示，一旦完全插入替换工具(850)，其可具有类似于先前工具(810)的运动学配置。对于相同类型和相同长度的末端执行器，如果替换工具的自由度具有足够的运动范围以实现这种相似的运动学配置，则运动学构造可以基本上相同。相反，如上文所进一步讨论的，并参考图12a、图12b、图12c、图12d和图12e，在替换工具和先前工具的末端执行器的长度不同的情况下，或者在替换工具和先前工具的运动范围或自由度不同的情况下，运动学配置可以相似但不相同。随后参考图9、图10和图11讨论对用替换工具替换先前工具所执行的步骤的详细讨论。
图9、图10和图11示出了根据一个或多个实施例的流程图。图9、图10和图11的流程图描绘了根据一个或多个实施例的用于引导工具改变的方法。可以通过先前参考图1a、图1b、图2、图3、图4、图5、图6a、图6b、图6c、图6d和图6e描述的系统的各种部件来执行图9、图10和图11中的一个或多个步骤。这些附图描述了特定的操纵器臂和特定的工具，该操纵器臂和工具具有一定的自由度。
然而，随后描述的方法不限于操纵器臂、工具和/或自由度的特定配置。相反，这些方法适用于在任何类型的场景中所使用的与任何类型的工具配对的任何类型的操纵器臂。
虽然顺序地呈现和描述了这些流程图中的各个步骤，但是本领域的普通技术人员将理解，一些或所有步骤可以以不同的顺序执行，可以被组合或省略，并且一些或所有步骤可以并行执行。可以进一步执行附加步骤。此外，可以主动地或被动地执行这些步骤。例如，根据本发明的一个或多个实施例，一些步骤可以使用轮询来执行或被中断驱动。举例来说，根据本发明的一个或多个实施例，确定步骤可以不要求处理器处理指令，除非接收到中断以表明条件存在。作为另一示例，根据本发明的一个或多个实施例，可以通过执行测试(诸如检查数据值以测试该值是否与所测试的条件一致)来执行确定步骤。因此，本公开的范围不应被认为限于图9、图10和图11中所示的具体步骤布置。
图9的流程图可以被理解为描述与引导工具改变相关联的步骤的主要流程图。图10和图11描述了引导工具改变的附加方面。这些附加方面中的一些可以或可以不包含在引导工具改变的具体实施方式中。
转向图9的流程图，示出了根据一个或多个实施例的用于引导工具改变的方法。如随后所描述的，可以将当前正在使用的工具(以下称为先前工具)或已经用于机器人程序的工具由另一工具(以下称为替换工具)替换。可以执行替换，以便引导将替换工具插入工作现场；例如，致动替换工具和/或附接有替换工具的操纵器臂的一个或多个自由度(可以与插入自由度不同)以保持替换工具或替换工具的一部分在插入轨迹上。插入期间的引导可以有助于更快插入，或减少插入期间替换工具与周围环境意外相互作用的可能性。这可以使操作员能够在先前工具和替换工具之间进行更快转换。尽管可以执行该方法以促进替换工具的插入，但是不需要连续插入替换工具。例如，插入可以被暂停，或者替换工具甚至可以在重新插入或没有重新插入的情况下撤回，而随后讨论的方法确保在插入、撤回和暂停插入期间控制替换工具以遵循插入轨迹。
在步骤900中，根据本公开的实施例确定是否指示工具改变。用于期望的工具改变的指示可以是例如，操作员或助手按下的物理或虚拟按钮、与操纵器臂分离的先前工具或限定为指示工具改变的任何其他事件。如果发现指示工具改变，则该方法的执行可以进行到步骤902。
在步骤902中，根据本公开的实施例，获得了操纵器臂和先前工具的运动学配置。当先前工具位于插入位置时，所获得的运动学配置可以包括先前工具的关节角度和/或定位。在插入位置处，当被插入工作现场中时，这些关节角度和/或定位能够完全重建先前工具的运动学配置。先前工具的末端执行器(或先前工具的任何其他部件)的定位和/或定向，甚至先前工具上的特定位置(例如末端执行器尖端)都可以使用所获得的运动学配置来重建。
运动学配置的获得可以基于从相关联的致动器返回的经感测的关节状态(例如，从增量编码器信号、霍尔传感器信号等获得的)来执行。随后，所获得的运动学配置可以在获得运动学配置之后立即或者在之后的任何时间(例如，当先前工具仍然在位时，或者在移除先前工具之后)被存储在存储器中。
在步骤904中，根据本公开的实施例，获得先前工具的参考几何形状。基于参考几何形状，稍后可以建立用于替换工具的插入的插入轨迹。参考几何形状可包括三维(3d)空间中的一系列线段，其表示先前工具的已记录的运动学配置。线段可以具有与先前工具的连杆相对应的长度，并且线段之间的角度可以基于先前记录的关节角度。因此，可以基于在步骤902中所获得的运动学配置来建立参考几何形状。参考几何形状可以附加地或可替代地表示由先前工具占据的体积。可通过建立例如围绕这些线段的圆柱形体积来基于线段来计算体积。可以基于先前工具的相应连杆的宽度或直径来确定圆柱形体积的半径。也可以使用非圆柱形的体积，例如以反映连杆的曲率、非圆形横截面等。可替代地，也可以使用先前工具的3d模型以确定体积。如果将体积用于参考几何形状，则还可以基于其他目标(例如，改善的安全性或改善的对齐等)来扩大或减少体积，可以进一步拓宽体积以包括随着先前工具从工作现场撤回由末端执行器扫过的体积。例如，假设在移除时先前工具(例如图6a和图6b所示的工具)的腕部屈曲。随着撤回工具，腕部可以保持屈曲(直到在末端执行器进入插管时，腕部被迫笔直)。被末端执行器扫过的体积对于插入替换工具可以被认为是安全的，因此可以计入用于参考几何形状的体积。
在步骤906中，根据本公开的实施例，检测先前工具的移除。当先前工具与操纵器臂机械地分离时，可以检测可以由助手或操作员执行的移除。更具体地，助手或操作员可以将工具从操纵器臂机械地脱离，并且可以进一步从工作现场手动地撤回脱离的工具。考虑例如图5所示的操纵器臂的配置与图6a和图6b所描述的工具配对。助手或操作员可以通过将工具与操纵器臂的工具支架滑架分离来使工具脱离，并通过操纵器臂的插管撤回工具。在撤回工具时，如图6b所示，如果屈曲的工具腕部在与插管接触时被拉直，从而允许末端执行器穿过插管。作为由助手或操作员从插入位置撤回先前工具的替代，也可以由机器人操纵系统的致动器执行先前工具的撤回。先前工具可以由机器人操纵系统以有监督或无监督的方式从插入位置撤回。在这种情况下，随着腕部到达插管，机器人操纵系统可以控制其拉直。一旦先前工具的撤回已由机器人操纵系统完成，操作员或助手最终就可以将替换工具从操纵器臂上机械地脱离。
在步骤908中，根据本公开的实施例，接收、识别和接合替换工具。接收替换工具可以涉及感测替换工具与操纵器臂的工具支架滑架的耦合。替换工具可以与先前工具不同，或者可以是将被重新插入的先前工具。如果插入与先前工具不同的替换工具，则替换工具的几何形状可能会不同、自由度的类型和/或数量可能会不同、自由度可用的运动范围可能会不同，和/或甚至一个或多个功能可能会不同(例如，先前工具可能配备有用于切割的末端执行器，而替换工具可能配备有钳式末端执行器或单个钩子)。
一旦检测到替换工具安装在操纵器臂上，就可以识别替换工具以获得替换工具的运动学描述。该运动学描述可以包括连杆几何形状(包括轴长度、末端执行器长度、末端执行器的类型、腕部(如果替换工具包括腕部)的描述以及替换工具的自由度)。运动学描述可以允许在3d空间中计算替换工具的配置。识别替换工具可以进一步涉及获得替换工具的附加参数。例如，可以在给定机械输入的情况下获得用于驱动替换工具的关节的齿轮比，以使得能够计算替换工具的关节移动。可以基于伴随替换工具的信息来执行替换工具的识别。例如，替换工具可以包括可读存储器芯片，从该可读存储器芯片中可以获得替换工具的描述和/或规格。可替代地，替换工具的描述和/或规格可以由操作员或助手提供。
接合替换工具可涉及替换工具与操纵器臂的工具支架滑架的机械接合。机械接合可以将替换工具的自由度耦合到由操纵器臂提供的控制输入。对于先前描述的操纵器臂和工具(图5、图6a、图6b、图6c、图6d和图6e)，控制输入可以是提供给可旋转以控制致动替换工具的自由度的电缆的线轴的机械输入。操纵器臂的工具支架滑架可包括用于与线轴耦合的磁盘，以在将替换工具连接到操纵器臂时驱动线轴。一旦替换工具被接合，替换工具的所有关节的定位和/或定向是已知的并且是可控的。在一个或多个实施例中，替换工具的接合可以随着工具支架滑架处于撤回定位发生。因此，替换工具可以通过插管与工具支架滑架接合而没有明显突出到工作现场中。例如，当替换工具的末端执行器没有延伸到超出插管的工作现场时，接合是可能的。随后，如下所描述的，接合的替换工具可以被插入到工作现场，其中替换工具的自由度是可控制的。
在步骤910中，根据本公开的实施例，促进将替换工具朝向目标位置的插入。替换工具(和/或操纵器臂)的关节角度或定位可以在替换工具的插入期间进行调整。根据本公开的实施例，替换工具的插入可以由例如由操作员或助手所施加的外部驱动力来驱动。驱动力可以基本上在替换工具的插入轴线的方向上被施加。但是，驱动力不必与插入轴线精确对准。操纵器臂的自由度(插入自由度除外)可以是定位控制的，从而阻止不沿着插入轴线的移动。如果在与插入轴线不对准的方向上的外部驱动力的分量过多，则可以向操作员或助手提供视觉或听觉反馈，和/或可以阻止替换工具的进一步插入。与插入轴线的偏差的可接受限制可以取决于各种因素，诸如插入轨迹上的当前位置、先前工具、替换工具等。如下面参考图10和图11的流程图所讨论的，不正确地施加的驱动力不会导致不正确地执行替换工具的插入。如前所描述的，因为操纵器组件的一个或多个关节是浮动的，所以通过外力来驱动替换工具是可能的。
在图5的操纵器臂的示例中，能够使工具支架滑架线性移动的棱柱形关节可以是浮动的，从而提供插入自由度，允许通过外部驱动力沿着插入轴线的插入。随着插入替换工具，随着替换工具的末端执行器接近目标位置，替换工具的细长轴穿过插管。尽管关节的浮动可能主要涉及重力补偿，但可能会叠加附加物理特性。例如，可以通过叠加粘性摩擦来施加插入速度的限制。
在一个或多个实施例中，在替换工具的插入期间，控制替换工具的运动学配置以促进插入。更具体地，主动控制替换工具的一个或多个自由度，以使替换工具或替换工具的一部分(例如，末端执行器尖端或替换工具上的任何其他点)遵循朝向目标位置的插入轨迹。在这种场景下，仅致动替换工具的自由度，而不致动操纵器臂的自由度，以引导替换工具根据插入轨迹移动。附加地或可替代地，可以控制操纵器臂的自由度，以使替换工具遵循朝向目标位置的插入轨迹。仅致动操纵器臂的自由度(控制操纵器臂以使替换工具遵循插入轨迹)，或者致动操纵器臂和替换工具的自由度(控制操纵器臂和替换工具以使替换工具遵循插入轨迹)。因此，该方法可以响应于替换工具的外部操纵来控制操纵器组件的一个或多个自由度。被控制的一个或多个自由度可以不同于插入自由度。随后提供控制一个或多个自由度以使替换工具根据插入轨迹移动的详细描述。
转到图10的流程图，根据本公开的实施例，描述了用于促进将替换工具朝向目标位置插入的方法。在插入期间执行图10的方法。
在步骤1000中，根据本公开的实施例确定插入轨迹。在一个或多个实施例中，插入轨迹在替换工具的插入期间提供引导。在插入期间，可以控制替换工具的工具尖端或替换工具的任何其他元件以处于插入轨迹上。
根据本公开的实施例，插入轨迹可以基于先前工具的参考几何形状，并且进一步基于替换工具的运动学和几何形状。如先前参考图9所描述的，假设参考几何形状包括表示先前工具的运动学配置的一系列线段。这些线段可用于构造插入轨迹。虽然参考几何图形的线段可以在关节处具有表示急转弯的弯折，但从这些线段得出的插入轨迹可以包含此类急转弯，或者被修改为在笔直部分之间具有平滑转换，从而提供没有间断的轨迹。结果，插入轨迹可以至少部分地与先前工具的中心轴线对准。插入轨迹可以终止于目标位置。可替代地，如果将先前工具的参考几何形状限定为体积，则可以在该体积内的任何地方建立插入轨迹，例如朝向目标位置集中地跟踪该体积。插入轨迹可以被选择为完全在体积内。如先前参考图8b所讨论的，取决于系统的配置、用户偏好、替换工具的运动学、允许操纵器运动以枢转替换工具、替换工具的一个或多个自由度的运动范围的硬件约束和/或软件约束、本文所述的任何其他因素等，目标位置可以与先前工具的插入位置重合或不与先前工具的插入位置重合。可以相应地限定插入轨迹和目标位置。
根据本公开的实施例，可以在替换工具的插入期间执行随后讨论的步骤。但是，不需要连续插入替换工具。例如，在执行随后讨论的步骤的同时，插入可以被暂停，或者替换工具甚至可以被撤回和重新插入。因此，该方法可以确保替换工具在包括替换工具的插入和撤回在内的各种条件下遵循插入轨迹。
在步骤1002中，根据本公开的实施例确定替换工具的当前定位。更具体地，可以确定替换工具的工具尖端或替换工具的另一元件在插入轨迹上的位置。基于替换工具的运动学描述的正向运动学可以用于确定替换工具在空间中的当前定位。可以在允许将当前定位与插入轨迹相关联的任何坐标系中(例如，在笛卡尔坐标系中)确定当前定位。
在步骤1004中，根据本公开的实施例，确定针对替换工具根据插入轨迹移动的控制命令。如果替换工具偏离插入轨迹，则可以选择控制命令以将替换工具转向插入轨迹。如果替换工具在插入轨迹上，则可以选择控制命令以将替换工具保持在插入轨迹上。控制命令可以针对替换工具和/或操纵器臂的一个或多个自由度。在本公开的一个实施例中，将插入轨迹上的点确定为目标点，替换工具将朝该目标点被驱动。可以基于替换工具和插入轨迹之间的最短距离(该最短距离由垂直于插入轨迹的线限定，并将替换工具相交在要在插入轨迹上的替换工具的元件处)来选择该目标点。使用该目标点，可以生成控制信号以调整替换工具和/或操纵器臂的一个或多个自由度。根据本公开的实施例，可以如先前参考图7所讨论的那样，使用逆运动学来生成控制信号。
取决于操纵器臂和替换工具的自由度，由于操纵器臂和替换工具的运动学配置上的冗余，多个可能的控制信号可能是合适的。为了获得所需的控制信号，可以施加各种运动学约束以获得解：
(i)根据本公开的实施例，可用于控制的自由度是替换工具的自由度。参考图6a、图6b、图6c、图6d和图6e中所提供的工具的示例，这些自由度可以包括在腕部处的一个或多个旋转自由度(例如，腕部俯仰、腕部偏航)。
(ii)根据本公开的实施例，可用于控制的自由度包括操纵器臂的自由度(例如，工具支架滑架的偏航、俯仰和/或工具的滚动)。操纵器臂在移动时实现替换工具的定位改变，从而移动替换工具或替换工具的部件。在工作现场为腔的场景下，可能会约束操纵器的移动以建立操纵器臂的远程中心，其中只能进行枢转，但除了沿替换工具的插入轴线外不允许进行平移。如图8a所示，该远程中心可以与工具进入腔的孔重合。通过工具轴的枢转，当致动操纵器臂的自由度时，可以更新例如替换工具的末端执行器尖端的定位。即使替换工具没有配备有腕部，该方法也可以允许替换工具的受控插入(例如，在内窥镜用作替换工具的情况下)。
(iii)根据本公开的实施例，可以实现(i)和(ii)的组合。在插入具有比先前工具的末端执行器更短的末端执行器的替换工具，或具有小于先前工具的自由度或运动范围的替换工具时，可以应用(i)和(ii)的组合。例如，较短的末端执行器可能无法仅使用腕部移动就足够接近先前工具的插入位置。在所描述的场景中，对替换工具的自由度的最初控制可足以使替换工具遵循插入轨迹。但是，最终，当接近目标位置时，可能需要操纵器臂的一个或多个自由度的移动才能完成插入。类似地，在插入具有比先前工具的末端执行器更长的末端执行器的替换工具时，可以应用(i)和(ii)的组合，同时还要求替换工具的末端执行器具有与先前工具的定向相同的定向。在这种场景下，替换工具的末端执行器的“额外长度”可以通过操纵器臂的一个或多个自由度的移动来容纳。下面参考图12a、图12b、图12c、图12d和图12e讨论各种这样的场景。
尽管以上描述是基于插入轨迹的，但是在不脱离本公开的情况下，可以使用用于引导替换工具的替代方法。例如，由先前工具(810)所占据的体积可用于在该体积内引导替换工具，可用于限定替换工具的插入轨迹等。
在步骤1006中，根据本公开的实施例，基于在步骤1004中确定的控制命令来致动操纵器臂和替换工具的至少一个自由度。
在步骤1008中，根据本公开的实施例，确定替换工具是否已经到达目标位置。如果尚未到达目标位置，则该方法的执行可以返回到步骤1002。可替代地，如果已经到达目标位置，则该方法的执行可以进行到步骤1010。出于执行步骤1008的目的，目标位置可以在空间上扩展以形成具有非零几何范围的目标区域。可以基于安全性和准确性考虑来确定目标区域的大小。目标区域可以是例如中心围绕目标位置的球形区域。
在步骤1010中，根据本公开的实施例，阻止替换工具的进一步插入。具有适当刚度水平的虚拟壁可以阻塞或以其他方式阻碍在被控制为浮动的关节上的进一步插入移动。因此，尽管撤回仍然是可能的，但是除非外力克服提供虚拟壁的致动器的阻力，否则不可能进一步插入。可以进一步提供视觉、听觉和/或触觉提示给操作员。可替代地，可以将浮动关节切换到速度或定位控制模式，从而阻止进一步的移动。
在步骤1010完成之后，替换工具的插入被视为完成。
为了进一步说明图10的方法的步骤，随后参考图8b所示的场景讨论这些步骤。假设先前工具和替换工具的插入轴线(886)重合。工具支架滑架的线性自由度是浮动的，因此外部所施加的力导致将替换工具朝向目标位置插入。最初，替换工具的末端执行器在插入轴线上。假设末端执行器尖端是要被控制在插入轨迹上的替换工具的元件。因此，对于插入轨迹的初始笔直部分，不需要显著地致动替换工具的自由度，并且被插入的替换工具的末端执行器在插入轨迹上笔直地前进。根据本公开的实施例，在到达插入轨迹的弯曲部分时，在步骤1004中，检测末端执行器尖端与插入轨迹的偏离。将末端执行器尖端保持在插入轨迹上的致动被确定为工具腕部的屈曲。不需要其他自由度的致动，因此插入轴线笔直地行进。在步骤1006中，致动腕部关节，并且末端执行器尖端因此保持在插入轨迹上。根据本公开的实施例，步骤1004和步骤1006的重复随着插入的进行而逐渐地调整腕部。最终，一旦末端执行器末尖端到达目标位置，该方法的执行就会终止。
虽然以上场景提供了一个基本示例，但是下面参考图12a、图12b、图12c、图12d和图12e讨论了附加场景。本领域技术人员将理解，所描述的方法可以应用于本文未示出的其他场景。这些附加场景还讨论了根据本公开实施例的改变末端执行器长度、允许插入轴线枢转等的后果。
转到图11的流程图，根据本公开的实施例，描述了一种用于促进将替换工具朝向目标位置插入的方法。可以执行图11的方法作为图10的方法的替代。不同于图10的方法，根据本公开的实施例，以下描述的方法向驱动工具的插入移动的操作员或助手提供直观的力反馈。在插入期间，在涉及操纵器臂关节的关节移动的场景下，此力反馈可能特别有益。为了进一步显示益处，考虑图8a和图8b中所描述的场景，其中，替换工具在腔内的移动对于驱动替换工具的插入移动的助手是不可见的。如果使用操纵器关节的重新配置来将替换工具保持在插入轨迹上，则该操纵器关节移动可能会使助手感到惊讶。此外，随着操纵器臂关节移动，插入移动的方向本身改变，从而在插入期间直接影响助手与操纵器臂的相互作用。特别是当操纵器臂关节运动涉及插入时，所描述的方法可以向助手提供直观的力反馈，从而促进插入。该方法依赖于用于控制物理操纵器组件(包括替换工具和一个或多个操纵器臂段或连杆的物理操纵器组件)的虚拟操纵器组件。根据本公开的实施例，虚拟操纵器组件在被约束到约束轨迹的同时，被配置为遵循物理操纵器组件的移动。由于受到约束轨迹的约束，虚拟操纵器组件可能未完全遵循物理操纵器组件。虚拟操纵器与物理操纵器之间的所得偏差可用于生成呈现给执行插入移动的助手的弹簧状力，该弹簧状力校正物理操纵器组件朝向虚拟操纵器组件的移动的移动。随后所描述的步骤实现了该范例。
在步骤1100中，根据本公开的实施例确定约束轨迹。类似于图10中引入的插入轨迹，约束轨迹可用于在插入替换工具期间提供引导。因此，可以类似于步骤1000来执行步骤1100。
在插入替换工具期间可以执行以下步骤。但是，不需要连续插入替换工具。例如，在执行随后讨论的步骤的同时，插入可以被暂停，或者替换工具甚至可以被撤回和重新插入。因此，该方法可以确保替换工具在包括替换工具的插入和撤回在内的各种条件下遵循插入轨迹。
在步骤1102中，根据本公开的实施例，确定虚拟操纵器组件的当前运动学配置。虚拟操纵器组件的当前运动学配置可以通过更新虚拟操纵器组件的先前(从在先前的时间步骤执行图11的方法获得的)运动学配置来获得。为了最初设置虚拟操纵器组件的运动学配置，例如在接合替换工具时，可以将虚拟操纵器组件的运动学配置设置为匹配物理操纵器组件的运动学配置。虚拟操纵器组件的当前运动学配置可以通过三个步骤来确定。
在第一步骤(步骤1102a)中，根据本公开的实施例，执行能量最小化。能量最小化导致将应用于先前时间步骤的虚拟操纵器组件的运动学欧洲的第一组关节角度校正。第一组关节角度校正可以使虚拟操纵器组件(或更具体地，虚拟操纵器臂组件的元件，例如末端执行器尖端(可以限定为参考点))靠近但不一定位于约束轨迹上。在第二步骤(步骤1102b)中，根据本公开的实施例，获得将应用于先前时间步骤的虚拟操纵器组件的运动学配置的第二组关节角度校正。在第一组关节角度校正驱动虚拟操纵器组件靠近约束轨迹之后，第二组关节角度校正可将虚拟操纵器组件平移到约束轨迹上。在第三步骤(步骤1102c)中，根据本公开的实施例，将第一组关节角度校正和第二组关节角度校正应用于先前时间步骤的虚拟操纵器组件的运动学配置。随后描述这三个步骤。
在步骤1102a中，根据本公开的实施例，随着虚拟操纵器组件和物理操纵器组件的当前配置的偏离，在关节级上执行能量优化。具体地，当虚拟操纵器组件的运动学配置用作关节控制器的控制输入时，能量累积可能与试图最小化虚拟操纵器组件和物理操纵器组件的当前配置之间的误差的关节控制器的比例控制增益有关。通过优化虚拟操纵器组件的关节角度，可以最小化关节中的能量累积。优化可以如下执行。
首先，识别最靠近要保持在约束轨迹上的虚拟操纵器组件的元件的约束轨迹上的点(可以限定为参考点)x虚拟操纵器组件。接下来，在约束轨迹上的识别点处获得切线。这些操作在笛卡尔空间中执行。
随后，使用逆雅可比矩阵将所获得的切线转换为关节空间，这允许优化虚拟操纵器组件的关节角度，以达到最小化能量的目的。因此，可以使用任何类型的优化方法来获得虚拟操纵器组件的第一组关节角度校正dθ能量。基于物理操纵器组件和虚拟操纵器组件的关节角度与相关联的比例控制增益之间的差异，dθ能量可以使考虑中的所有关节的组合的能量最小化。注意，由于使用切线而不是约束轨迹本身来执行优化，因此，dθ能量可能会将虚拟操纵器组件的元件保持在靠近约束轨迹的约束轨迹(参考点)上，但不一定在约束轨迹上。随后执行的步骤1102b识别第二组关节角度校正，第二组关节角度校正将虚拟操纵器组件的元件保持在参考轨迹上的约束轨迹(参考点)上。
在步骤1102b中，根据本公开的实施例，使用以下操作确定将虚拟操纵器组件平移到约束轨迹上的第二组关节角度校正。
首先，在使用dθ能量(转换为笛卡尔坐标系)调整后，识别约束轨迹上最靠近要保持在约束轨迹上的虚拟操纵器组件的元件(可以限定为参考点x虚拟操纵器组件)的约束轨迹上的点x虚拟操纵器组件+。接下来，在笛卡尔空间中获得朝向约束轨迹上的点的校正移动。在使用dθ能量进行调整后，可以通过从最接近要保持在约束轨迹上的虚拟操纵器组件的元件的约束轨迹上的点减去x虚拟操纵器组件+来获得矫正移动。随后将获得的校正移动转换到关节空间，以获得虚拟操纵器组件的第二组关节角度校正dθ平移。
在步骤1102c中，基于：θ虚拟操纵器组件(t+1)＝θ虚拟操纵器组件(t)+βdθ能量+γdθ平移，(其中0<β<1且0<γ<1，以出于稳定性原因限制校正移动的幅度)，更新要保持在约束轨迹上的虚拟操纵器组件的元件(可以限定为参考点)。在完成步骤1102c之后，虚拟操纵器组件在约束轨迹上的运动学配置可用。
在上述步骤1102a和步骤1102b中，执行了多个正向运动学变换和逆运动学变换，以执行笛卡尔空间和关节空间中的步骤。虽然可以针对每个步骤分别计算更新的雅可比矩阵，但可以针对这些步骤使用单个雅可比矩阵。准确性的损失可以忽略不计，而计算效率却可以大大提高。
在步骤1104中，根据本公开的实施例，使用虚拟操纵器组件的当前运动学配置来驱动物理操纵器组件的致动器。假设关节控制器是pd控制器。使用虚拟操纵器组件的关节角度作为相应关节控制器的控制输入可以有效地在这些关节中建立弹簧：虚拟操纵器组件的关节角度与物理操纵器组件的关节角度之间的差异越大，相应的关节致动器所产生的扭矩越强。由物理操纵器组件的关节所产生的扭矩可以由驱动插入移动的助手经受。助手因此以直观的方式获得关于差异的反馈。助手可以允许由致动器中的力累积引起的校正移动发生，因此减少差异。另一方面，如果用户正在阻止发生校正移动(通过产生反作用力)，则如果差异进一步增大，则致动器中力累积可能会持续存在或者甚至会增大。如果差异增加到超过预先设置的水平，则可以发出视觉或听觉警告，和/或可以停止执行图11的方法。
在步骤1106中，确定替换工具是否已经到达目标位置。如果尚未到达目标位置，则该方法的执行可以返回到步骤1102。可替代地，如果已经到达目标位置，则该方法的执行可以进行到步骤1108。出于执行步骤1106的目的，目标位置可以在空间上扩展以形成具有非零几何范围的目标区域。可以基于安全性和准确性考虑来确定目标区域的大小。目标区域可以是例如中心围绕目标位置的球形区域。
在步骤1108中，阻止替换工具的进一步插入。柔软的或硬的虚拟壁可以阻止被控制为浮动的关节上的进一步插入移动。因此，尽管撤回仍然是可能的，但是除非外力克服提供虚拟壁的致动器的阻力，否则不可能进一步插入。可替代地，可以将浮动关节切换到速度或定位控制模式，从而阻止进一步的移动。
在步骤1108完成之后，替换工具的插入被认为已完成。
如前所描述的，当将图11的方法应用于负责与助手相互作用的自由度时，该方法可能特别有用。在图5中引入的操纵器臂的示例中，这些自由度可以包括工具支架滑架的偏航、俯仰和io移动。当在插入期间，物理操纵器组件的这些自由度中的一个或多个偏离虚拟操纵器组件的相应自由度时(例如，由于与操作员施加的插入轴线未对准的过大的力)，尽管如此，基于控制物理操纵器组件以实现虚拟操纵器组件的配置，可以遵循约束轨迹。本领域技术人员将理解，在不脱离本公开的情况下，该方法可应用于任何其他类型的操纵器臂/操纵器臂组件。
当所描述的方法用于控制支撑工具(例如，工具支架滑架)的操纵器臂段的偏航、俯仰和io自由度时，这些自由度需要在考虑一个或多个自由度的情况下移动，以补偿由工具一个或多个自由度的移动引起的平移。因此，可以如下实现先前描述的步骤1102a。
对于工具支架滑架的三个自由度(偏航、俯仰和io)，在执行步骤1102a的能量最小化的准备中，并使用α指示沿约束轨迹的运动(如先前参考图11所描述的)，
可以用来进行笛卡尔空间中的切线到关节空间的转换。此处，v推车是表示笛卡尔空间中约束轨迹的笛卡尔速度，通过将v推车转换到关节空间而获得v关节，并且
其中j平移x工具是将工具自由度映射到平移的j的一部分，并且dθ工具/dα是用于在插入期间引导末端执行器的算法的函数。如前所描述的，然后图11的方法的步骤1102a和所有其他步骤的能量最小化被完成。
可以将附加功能与图9、图10和图11中所描述的方法结合。如随后所描述的，这些特征中的至少一些可以进一步增加插入的安全性。
根据本公开的实施例，可以由助手或操作员使用成像设备至少部分地监视替换工具的插入。考虑图8a和图8b的场景，其中在插入期间的工具的主要移动是(a)线性插入，以及(b)腕部的屈曲以使末端执行器枢转。如由插入轨迹支配的，腕部的屈曲在插入移动即将结束时发生。假设成像设备可用。为了从成像设备的可用性中受益，可以修改图9、图10和图11的方法以合并从成像设备获得的信息。具体地，仅当已知末端执行器在成像设备的视野内时，才可以允许需要腕部屈曲的插入阶段。可以使用支撑成像设备的操纵器臂的运动学和成像设备的光学特性来计算视野。如步骤1010和步骤1112中所描述的，如果器械不在视野内，则可以阻止替换工具的进一步插入。另外，可能需要由助手通过观看从成像设备获得的视频图像来观察插入的手动确认，以允许插入的完成。
根据本公开的实施例，执行插入力的感测以监视插入。过大的插入力可以指示障碍物阻碍进一步的插入。为了防止对障碍物或工具的潜在损坏，当检测到过大的插入力时，如步骤1010和步骤1112中所描述的，可以阻止替换工具的进一步插入。用于力感测的一个或多个力传感器可以被配置为测量在末端执行器的尖端处，或在工具上或在操纵器臂上的任何其他期望区域中的插入力。
根据本公开的实施例，将插入的周期性更新的视觉渲染提供给执行插入的助手。视觉渲染可以可视化否则可能不可见的插入的各个方面，例如替换工具的自由度的移动，包括工具的腕部的屈曲(例如在腔内)。视觉渲染可以包括插入轨迹的渲染和替换工具的随着其沿插入轨迹行进时的渲染。此外，可以渲染先前工具的体积。替换工具的渲染可以基于被插入的替换工具的实际运动学。因此，例如当助手在与插入轴线不对准的方向上对操纵器臂施加过大的力时，在插入替换工具的同时可以可视化与插入轨迹的偏离，从而引起操纵器臂和/或替换工具的未对准。
在一个或多个实施例中，可以施加附加约束在提供插入自由度的一个或多个关节上。尽管先前将一个或多个关节描述为浮动的，但棘轮特性可以叠加。棘轮可通过减小或以其他方式阻止沿相反方向的移动来限制向插入方向的浮动。如果替换工具的插入涉及工具轴的枢转，则棘轮也可以延伸以施加到替换工具的工具轴上。
转到图12a、图12b、图12c、图12d和图12e，使用图9、图10和图11的方法示意性地示出了根据一个或多个实施例的替换工具的插入的各种结果。图12a、图12b、图12c、图12d和图12e中的每个示出了在移除之前的当替换工具完全插入到目标位置时的插入位置处的先前工具，以及先前工具和替换工具的工具尖端或末端执行器。在每种场景下，先前工具的末端执行器都相对于替换工具的轴屈曲(即，不形成轴的笔直延伸)。因此，替换工具的末端执行器也可以需要一定程度的屈曲。这些场景反映了最初在图8a中引入的配置，其中工具通过孔进入工作现场。工具显示的机械特征是细长轴和末端执行器。腕部关节将末端执行器枢转地耦合至细长轴。为了简单起见，在图12a、图12b、图12c、图12d和图12e的描述中，假设在腕部有单个自由度。对随后讨论的每个示例，分别指出简化的假设。本领域的技术人员将认识到，图9、图10和图11中描述的方法不限于图12a、图12b、图12c、图12d和图12e中所示的场景。
在图12a中，替换工具和先前工具包括相同长度的末端执行器。为简单起见，假设先前工具的工具尖端的位置用作目标位置。因此，在完成插入之后，在各种实施例中，当替换工具已经到达目标位置时，替换工具的运动学配置与先前工具的运动学配置相同。先前工具和替换工具的轴的插入深度和插入定向相同或接近相同。此外，替换工具和先前工具的工具尖端的腕部角度和位置重合。
在图12b中，替换工具配备有比先前工具的末端执行器更长的末端执行器。为简单起见，假设先前工具的工具尖端的位置用作目标位置。在各种实施例中，由于替换工具的末端执行器的额外长度，在将替换工具朝向目标位置完成插入之后，替换工具尖端和先前工具尖端的位置仍然重合。但是，运动学配置有所不同。具体地，替换工具的腕部角度小于到达相同的工具尖端位置的先前工具的腕部角度。此外，替换工具的轴的插入深度小于先前工具的轴的插入深度。尽管运动学配置不同，但在整个插入过程中仍进行插入操作，以将替换工具的工具尖端保持在插入轨迹上。因此，在插入期间，替换工具的腕部保持在延伸的配置中，直到工具尖端到达先前工具的腕部位置为止，其中替换工具的腕部开始屈曲以保持替换工具的工具尖端在插入轨迹上。因此，尽管末端执行器长度发生了变化，但提供了简单而有效的插入。
在图12c中，替换工具配备有比先前工具的末端执行器更短的末端执行器。由于末端执行器长度的减少和自由度约束(工具轴的定向保持恒定)，目标位置选择为“短于”先前工具的工具尖端位置。在完成插入之后，在各种实施例中，当替换工具已经到达目标位置时，除了较短的末端执行器之外，替换工具的运动学配置与先前工具的运动学配置相同。
图12a、图12b和图12c的共同点是，在插入期间，只有腕部配置改变，而工具轴的定向保持恒定。
在图12d中，替换工具配备有比先前工具的末端执行器更短的末端执行器，类似于图12c中描述的场景。然而，在图12d中，在插入期间不仅改变了腕部配置，而且改变了工具轴定向。更具体地，在图12d中，允许工具轴围绕操纵器臂与孔重合的远程中心枢转，其中替换工具进入工作现场。尽管末端执行器缩短了，但腕部屈曲和工具轴枢转的结合使替换工具的工具尖端可以到达先前工具的工具尖端的位置。在插入期间，替换工具的腕部保持在延伸的配置中，直到工具尖端到达先前工具的腕部位置为止，其中替换工具的腕部开始屈曲，以将替换工具的工具尖端保持在插入轨迹上。为了到达目标位置，为了简单起见，将目标位置选择为与先前工具的工具尖端的位置重合，最终与腕部屈曲配合执行轴枢转，直到替换工具的工具尖端到达目标位置为止，同时始终保留在插入轨迹上。取决于插入轨迹的几何形状，包括在插入轨迹的直线段之间的转换处的半径，枢转可以逐步移入或逐步退出，以在轴枢转和腕部屈曲之间获得平滑的坐标移动。因此，尽管末端执行器长度发生了变化，但仍提供了简单而有效的插入。
当替换工具配备有比先前工具的末端执行器更长的末端执行器时，也可以使用轴的协调枢转和腕部屈曲，例如在图12b的场景中。在本文中，替换工具的工具尖端可以到达与先前工具的工具尖端重合的目标位置，同时还使替换工具的末端执行器定向与先前工具的末端执行器定向匹配。
在图12a、图12b、图12c和图12d所示的场景中，替换工具的自由度具有足够的运动范围以实现所示的运动学配置。例如，在图12a中，替换工具的腕部的运动范围足以实现先前工具的腕部配置。在其他场景下，替换工具可以具有有限的运动范围，或者例如当带有腕部的先前工具由不带有腕部的替换工具替换时，一个或多个自由度可能完全不可用。在这样的情况下并且对于一些实施例，所描述的方法将依赖于轴枢转来补偿腕部处的有限运动范围。
在图12e中，替换工具配备有长度类似于先前工具的末端执行器的末端执行器。然而，与先前工具的腕部相比，替换工具的腕部具有有限的运动范围。因此，当不允许轴枢转时，替换工具的工具尖端无法到达与替换工具的工具尖端的位置重合的目标位置。因此，目标位置被选择为“短于”先前工具的工具尖端位置。
然而，如前所描述的，当允许轴枢转时，可通过轴的枢转来补偿替换工具的腕部处的有限运动范围，尽管末端执行器缩短了，但是使替换工具的末端执行器能够到达先前工具尖端的位置。
尽管已经针对有限数量的实施例描述了本发明，但是受益于本公开的本领域技术人员将理解，可以设计出不背离本文所公开的本发明的范围的其他实施例。因此，本发明的范围应仅由所附权利要求书限制。
- 还没有人留言评论。精彩留言会获得点赞！