用于减轻机器人系统的碰撞的系统和方法与流程

1.本技术一般涉及机器人外科系统，尤其涉及用于减轻机器人外科系统碰撞的系统和方法。


背景技术：

2.在外科手术期间，内窥镜已经用于对外科手术部位可视化。特别地，在包括机器人外科手术的微创手术中，立体图像传感器已经用于允许外科医生将外科手术部位可视化。
3.操作机器人外科系统的外科医生在患者体内的器官的相对较小部分中从事操作，并且通过显示器而具有有限的视图范围，因此外科医生可能不会看到辅助外科手术的人员的落点。当人紧邻机器人臂时，对这个人来说可以被机器人系统的臂接触或与机器人系统的臂碰撞。此类碰撞会导致安全问题。因此，对开发和改进机器人外科系统的安全性存在持续兴趣。


技术实现要素：

4.本公开的技术通常涉及减轻或减少人与机器人外科系统之间的潜在碰撞。如在本文中更详细地描述的，人握持工具的类型和/或人握持工具的位姿/定向是用于推断持有人握持工具的人的位置的起点。因此，本文公开的用于确定持有非机器人工具的人的位置的技术不基于人的图像。将人的推断位置与机器人外科系统的扫过体积进行比较以识别潜在碰撞。
5.根据本公开的各方面，机器人外科系统包括机器人连杆，所述机器人连杆包括多个接头，联接到所述机器人连杆的远侧部分并且被配置成捕获立体图像的内窥镜，以及与所述内窥镜可操作地通信的控制器。所述控制器被配置成执行指令以使所述控制器分析来自所述内窥镜的立体图像以识别所述立体图像中的人握持工具，并且估计所述人握持工具的类型和/或位姿，基于所述人握持工具的类型和/或位姿来推断持有所述人握持工具的人的位置，基于所述人的推断位置确定所述人与所述机器人连杆之间的空间关系，并且基于所确定的空间关系生成对所述人与所述机器人连杆之间的潜在碰撞的警告。
6.在所述系统的各种实施方案中，所述机器人连杆包括被配置成提供所述多个接头中的每个接头的角度和速度的测量的传感器。
7.在所述系统的各种实施方案中，所述机器人外科系统包括联接到所述机器人连杆的远侧部分的机器人工具。所述控制器被配置成执行指令以使所述控制器分析来自所述内窥镜的立体图像以识别所述立体图像中的机器人工具并估计所述机器人工具的位姿，并且基于所述机器人工具的所述估计位姿确定所述机器人连杆的扫过体积，并且基于所述多个接头中的每个接头的角度和速度而确定所述机器人连杆的扫过体积，其中在不使用所述机器人连杆的任何实时图像的情况下确定所述扫过体积。
8.在所述系统的各种实施方案中，在分析所述立体图像时，所述指令实现人工智能学习机器以确定所述机器人工具的位姿。
9.在所述系统的各种实施方案中，所述扫过体积是所述机器人连杆可基于所述多个接头中的每个接头的速度在特定时间段内移动通过的物理空间。
10.在所述系统的各种实施方案中，在生成对所述潜在碰撞的警告时，所述指令在被执行时使所述控制器基于所述人的推断位置与所述机器人连杆的所述扫过体积之间的重叠来确定所述潜在碰撞。
11.在所述系统的各种实施方案中，在分析所述立体图像时，所述指令实现被配置成确定所述人握持工具的类型和/或位姿的人工智能学习机器。
12.在所述系统的各种实施方案中，在推断持有所述人握持工具的人的位置时，所述控制器执行指令以使所述控制器访问与所述人握持工具在外科手术的特定阶段期间通常如何被握持有关的信息，并且进一步基于与所述握持工具在所述外科手术的所述特定阶段期间通常如何被握持有关的信息来推断持有所述人握持工具的人的位置。
13.在所述系统的各种实施方案中，在推断持有所述人握持工具的人的位置时，所述控制器执行指令以使所述控制器访问持有所述人握持工具的人的物理属性信息，并且进一步基于持有所述人握持工具的人的所述物理属性信息来推断持有所述人握持工具的人的位置，其中在不使用持有所述人握持工具的人的任何实时图像的情况下推断所述持有所述人握持工具的人的所述位置。
14.根据本公开的各个方面，公开了一种用于警告持有人握持工具的人与具有包括多个接头的机器人连杆的机器人外科系统之间的潜在碰撞的方法。所述方法包括访问由连接到所述机器人连杆的远侧部分的内窥镜获得的立体图像，分析来自所述内窥镜的所述立体图像以识别所述立体图像中的所述人握持工具，并且估计所述人握持工具的类型和/或位姿，基于所述人握持工具的所述类型和/或位姿来推断持有所述人握持工具的人的位置，基于所述人的所述推断位置确定所述人与所述机器人连杆之间的空间关系，并且基于所确定的空间关系生成对所述人与所述机器人连杆之间的潜在碰撞的警告。
15.在所述方法的各种实施方案中，所述机器人连杆包括被配置成提供所述多个接头中的每个接头的角度和速度的测量的传感器。
16.在所述方法的各种实施方案中，所述机器人外科系统包括联接到所述机器人连杆的远侧位置的机器人工具，并且所述方法包括分析来自所述内窥镜的所述立体图像以识别所述立体图像中的所述机器人工具并且估计所述机器人工具的位姿，并且基于所述机器人工具的所述估计位姿以及所述多个接头中的每个接头的所述角度和速度确定所述机器人连杆的扫过体积，其中所述扫过体积在不使用所述机器人连杆的任何实时图像的情况下确定。
17.在所述方法的各种实施方案中，分析所述立体图像包括使用人工智能学习机器来确定所述机器人工具的所述位姿。
18.在所述方法的各种实施方案中，所述扫过体积是所述机器人连杆可基于所述多个接头中的每个接头的速度在特定时间段内移动通过的物理空间。
19.在所述方法的各种实施方案中，生成对所述潜在碰撞的所述警告包括基于所述人的所述推断位置与所述机器人连杆的所述扫过体积之间的重叠确定所述潜在碰撞。
20.在所述方法的各种实施方案中，分析所述立体图像包括使用被配置成确定所述人握持工具的类型和/或位姿的人工智能学习机器。
21.在所述方法的各种实施方案中，推断持有所述人握持工具的人的位置包括与所述人握持工具在外科手术的特定阶段期间通常如何被握持有关的信息，并且进一步基于与所述握持工具在所述外科手术的所述特定阶段期间通常如何被握持有关的信息来推断持有所述人握持工具的人的位置。
22.在所述方法的各种实施方案中，推断持有所述人握持工具的人的位置包括访问持有所述人握持工具的人的物理属性信息，并且进一步基于持有所述人握持工具的人的所述物理属性信息来推断持有所述人握持工具的人的位置，其中在不使用持有所述人握持工具的人的任何实时图像的情况下推断所述持有所述人握持工具的人的所述位置。
23.在所述方法的各种实施方案中，非暂态计算机可读介质包括计算机可执行指令，所述计算机可执行指令在由控制器执行时使所述控制器执行用于警告持有人握持工具的人与具有包括多个接头的机器人连杆的机器人外科系统之间的潜在碰撞的方法。所述方法包括访问由连接到所述机器人连杆的远侧部分的内窥镜获得的立体图像，分析来自所述内窥镜的所述立体图像以识别所述立体图像中的所述人握持工具，并且估计所述人握持工具的类型和/或位姿，基于所述人握持工具的所述类型和/或位姿来推断持有所述人握持工具的人的位置，基于所述人的所述推断位置确定所述人与所述机器人连杆之间的空间关系，并且基于所确定的空间关系生成对所述人与所述机器人连杆之间的潜在碰撞的警告。
24.在非暂态计算机可读介质的各种实施方案中，计算机可执行指令在由控制器执行时使控制器进一步执行用于警告潜在碰撞的方法，包括分析来自内窥镜的立体图像以识别所述立体图像中的机器人工具并且估计所述机器人工具的位姿，其中所述机器人工具联接到所述机器人连杆的远侧部分，并且基于所述机器人工具的所述估计位姿以及基于所述多个接头的每个接头的角度和速度来确定所述机器人连杆的扫过体积，其中生成对所述潜在碰撞的所述警告包括基于所述人的所述推断位置与所述机器人连杆的所述扫过体积之间的重叠确定所述潜在碰撞。
25.在附图和以下描述中阐述了本公开的一个或多个方面的细节。根据说明书和附图以及权利要求书，本公开中描述的技术的其他特征、目标和优点将是显而易见的。
附图说明
26.图1a是根据本公开的实施方案的示例性机器人外科系统的示意图；
27.图1b是根据本公开的实施方案的图1a的机器人外科系统的功能框图；
28.图2是根据本公开的实施方案的示例性计算设备的框图；并且
29.图3是根据本公开的实施方案的示出患者体腔内的内窥镜的示例性外科区域的示意图；并且
30.图4是根据本公开的实施方案的用于控制机器人外科系统的示例性操作的流程图。
具体实施方式
31.使用机器人外科系统的外科手术在某些情况下使用非机器人/人握持工具，从而产生机器人外科系统与持有非机器人工具的人之间的潜在碰撞。根据本公开的各方面，可以通过确定人与机器人外科系统之间的空间关系来减轻此类潜在碰撞。可基于来自内窥镜
的立体图像推断人的位置，并且可基于机器人外科系统的接头角度和速度来确定机器人外科系统的扫过体积。基于人的位置与扫过体积之间的重叠，可确定潜在碰撞。可执行适当的控制以减少潜在碰撞。如下文更详细地描述的，人握持工具的类型和/或人握持工具的位姿/定向是用于确定持有人握持工具的人的位置的起点。因此，本文公开的用于确定持有非机器人工具的人的位置的技术不基于人的图像。
32.参考图1a和图1b，示出了与非机器人/人握持工具170结合使用的示例性机器人外科系统100的示意图。机器人外科系统包括外科机器人110、处理器140和用户控制台150。机器人外科系统100可能无法自身完全执行外科手术，并且可通过使用非机器人/人握持工具170来补充。外科机器人110通常包括一个或多个机器人连杆或臂120和支撑对应的机器人连杆120的机器人基座130。每个机器人连杆120可在接头处或周围移动。例如，远侧机器人连杆120具有支撑端部执行器或工具126的端部122，该端部执行器或工具被配置成作用于感兴趣的目标。另外，用于对外科手术部位“s”进行成像的成像设备124可安装在远侧机器人连杆120的端部122处。
33.用户控制台150通过处理器140与机器人基座130通信。另外，每个机器人基座130可包括与处理器140通信的控制器132，以及臂马达134，如图1b所示。机器人连杆120可包括一个或多个臂，以及两个相邻臂之间的接头。臂马达134可被配置成致动机器人连杆120的每个接头，以根据临床医生的控制将端部执行器126移动到预期位置。
34.根据本公开的各方面，机器人连杆120的每个接头可具有一个或多个传感器，这些传感器被配置成感测两个相邻臂之间的角度并感测每个臂的速度或每个接头的角速度。此类感测到的信息可被传输到处理器140，然后执行计算以识别每个机器人连杆120的扫过体积。扫过体积可指示每个机器人连杆120可在一段时间内占据的空间体积。
35.非机器人/人握持工具170可由占据机器人外科系统100旁边的外科手术室中的空间的人来握持。因此，人和机器人外科系统100可能彼此碰撞或干扰。此类碰撞可能导致机器人和非机器人工具的意外移动，从而导致对患者或持有非机器人工具的人的潜在伤害。如本文稍后所述，处理器140可确定人与机器人连杆120之间潜在碰撞的可能性。处理器140可进一步显示用户控制台150的显示设备156上的弹出窗口，以提供对潜在碰撞的警告。警告可包括到输入手柄152的声音或触觉振动。
36.现在参考图1b，处理器140可以是类似于图2的计算设备200的独立计算设备，或者集成到机器人外科系统100的各种部件中的一个或多个部件中(例如，在机器人基座130或用户控制台150中)。处理器140还可以分布到机器人外科系统100的多个部件(例如，在多个机器人基座130中)。机器人外科系统100的处理器140通常包括处理单元142、存储器149、机器人基座接口146、控制台接口144和图像设备接口148。机器人基座接口146、控制台接口144和图像设备接口148通过无线配置(例如，wi-fi、蓝牙、lte和/或有线配置)与机器人基座130、用户控制台150、成像设备124通信。尽管被描绘为单独的模块，但是控制台接口144、机器人基座接口146和图像设备接口148可以是其它实施方案中的单个部件。
37.用户控制台150还包括输入手柄152，该输入手柄支撑在控制臂154上，该控制臂允许临床医生操纵外科机器人110(例如，移动机器人连杆120、机器人连杆120的端部122和/或工具126)。输入手柄152中的每一者与处理器140通信以向其发射控制信号并从其接收反馈信号。附加地或另选地，输入手柄152中的每一者可包括输入设备(未明确示出)，其允许
外科医生操纵(例如，夹持、抓握、击发、打开、关闭、旋转、猛推、切片等)支撑在机器人连杆120的端部122处的工具126。
38.输入手柄152中的每一者可通过预定工作空间移动以移动外科手术部位“s”内的机器人连杆120的端部122，例如工具126。显示设备156上的三维图像被定向成使得输入手柄152的移动在显示设备156上观察时移动机器人连杆120的端部122。三维图像保持静止，而输入手柄152的移动被缩放成在三维图像内的机器人连杆120的端部122的移动。为了维持三维图像的定向，输入手柄152的运动学映射基于相对于机器人连杆120的端部122的定向的相机定向。显示设备156上的三维图像的取向可相对于由成像设备124捕获的视图镜像或旋转。此外，显示设备156上的三维图像的大小可被缩放成大于或小于外科手术部位“s”的实际结构，以允许临床医生更好地查看外科手术部位“s”内的内部结构。当输入手柄152移动时，工具126在外科手术部位“s”内移动，如下所详细描述。工具126的移动还可以包括支撑工具126的机器人连杆120的端部122的移动。
39.用户控制台150还包括计算机158，其包括处理单元或处理器和存储器，该处理单元或处理器和存储器包括与机器人基座130的各种部件、算法和/或操作相关的数据、指令和/或信息，在许多方面类似于图2的计算设备200。用户控制台150可使用任何合适的电子服务、数据库、平台、云等来操作。用户控制台150与输入手柄152和显示设备156通信。每个输入手柄152可在临床医生从事工作时向计算机158提供对应于输入手柄152的移动的输入信号。基于接收到的输入信号，计算机158可处理信号并将信号发射到处理器140，该处理器又将控制信号发射到机器人基座130，以及机器人基座130的设备，以至少部分地基于从计算机158发射的信号来实现运动。输入手柄152可以是手柄、踏板或计算机附件(例如，键盘、操纵杆、鼠标、按钮、触摸屏、开关、轨迹球等)。
40.用户控制台150包括被配置成显示外科手术部位“s”的二维和/或三维图像的显示设备156，二维和/或三维图像可包括由定位在机器人连杆120的端部122上的成像设备124捕获的数据。成像设备124可捕获外科手术部位“s”的视觉图像、红外图像、超声图像、x射线图像、热图像和/或任何其它已知实时图像。成像设备124将捕获的成像数据传输到处理器140，该处理器从成像数据实时创建外科手术部位“s”的三维图像，并且将三维图像传输到显示设备156以用于显示该图像。
41.显示设备156可连接到安装在机器人连杆120的端部122上的内窥镜，使得来自内窥镜的实时视图图像可显示在显示设备156上。进一步，如上所述，可以在实时视图图像上以重叠方式显示潜在警告。内窥镜可捕获非机器人/人握持工具170的图像。非机器人/人握持工具170的此类捕获的图像被传输到处理器140并由该处理器处理，使得可确定非机器人/人握持工具170的位姿和/或类型。此类信息可用于确定由人占据的体积或持有非机器人/人握持工具170的人的位置。可比较人的体积/位置和扫过体积以确定机器人外科系统100与人之间的潜在碰撞。
42.现在参考图2，示出了示例性计算设备的框图，并且通常被指定为计算设备200。尽管在本公开的对应图中未明确示出，但是计算设备200或其一个或多个部件可表示机器人外科系统100的一个或多个组件(例如，处理器140或计算机158)。计算设备200可包括一个或多个处理器210、一个或多个存储器220、输入接口230、输出接口240、网络接口250或其部件的任何期望子集。
43.存储器220包括用于存储数据和/或软件的非暂态计算机可读存储介质，该数据和/或软件包括可由一个或多个处理器210执行的指令。当被执行时，指令可使处理器210控制计算设备200的操作，例如但不限于接收、分析和传输响应于一个或多个输入手柄152的移动和/或致动而接收的传感器信号。存储器220可包括一个或多个固态存储设备，诸如闪存存储器芯片。附加地或另选地，存储器220可包括一个或多个海量存储设备，该一个或多个海量存储设备通过海量存储控制器和通信总线(未示出)与处理器210通信。虽然对本公开描述的计算机可读介质的描述是指固态存储设备，但本领域的技术人员将理解，计算机可读介质可包括可通过处理器210访问的任何可用介质。更特别地，计算机可读存储介质可包括，但不限于以技术的任何方法实现的用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的非暂态、易失性和非易失性、可移动和不可移动介质等，或其他合适的数据访问和管理系统。计算机可读存储介质的示例包括：ram、rom、eprom、eeprom、闪存存储器或其他已知的固态存储器技术、cd-rom、dvd、蓝光或其他光学存储装置、磁带、磁条、磁盘存储装置或其他磁存储设备或可以用于存储信息并可以通过计算设备200访问的任何其他介质。
44.在各实施方案中，存储器220存储数据222和/或应用程序224。数据222可包括关于各种机器人工具和各种人握持工具的信息，例如此类工具的尺寸。此类数据222的用途将结合图3进行更详细的描述。应用程序224可包括在计算设备200的一个或多个处理器210上执行的指令。应用程序224可包括使输入接口230和/或输出接口240分别接收和发射传感器信号和从机器人外科系统100的各种部件发射传感器信号的指令。附加地或另选地，计算设备200可经由输出接口240发射用于分析和/或显示的信号。例如，存储器220可包括指令，该指令在被执行时基于从机器人外科系统100的图像设备接收的实时图像数据生成外科环境内的对象的深度图或点云。深度图或点云可跨多个迭代存储在存储器220中，用于深度图或点云的稍后累积分析。在各种实施方案中，计算设备200可包括实现经训练的学习机器(例如卷积神经网络)的数据222和应用程序224。在各种实施方案中，经训练的学习机器可处理外科手术部位的图像以识别手术工具并确定工具的位姿/定向，如结合图3更详细讨论的。
45.另外，根据本公开的各方面，存储器220可包括指令，这些指令在由处理器210执行时识别人与机器人外科系统100之间的潜在碰撞。本文稍后将描述用于识别潜在碰撞的技术。输出接口240可以将传感器信号发射到显示设备，例如用户控制台150的显示设备156，或位于手术环境中并与计算设备200通信的远程显示器，以显示可能发生碰撞的指示。
46.输出接口240可通过网络接口250经由一个或多个无线配置来进一步发射和/或接收数据，该无线配置为例如无线电频率、光学、收数据，该无线配置为例如无线电频率、光学、(一种开放无线协议，用于使用短长度无线电波从固定和移动设备在短距离上交换数据，从而创建个人区域网络(pan)、(基于用于无线个人区域网络的802.15.4-2003标准(wpan)，使用小型低功率数字无线电的一套高级通信协议规范)。尽管被描绘为单独的部件，但是网络接口250可集成到输入接口230和/或输出接口240中。
47.另外参考图3，示出了示例性外科手术310的示意图，其使用图1a的机器人外科系统100，该机器人外科系统包括内窥镜320，内窥镜通过患者“p”的体腔插入，并且被配置成提供外科手术部位“s”的光学视图或图像并且将光学图像传输到显示设备156。内窥镜320
包括相机322，以在如下文详述的手术期间捕获外科手术部位“s”的图像。外科手术310还包括机器人外科系统的机器人工具326和人握持的非机器人/人握持工具170。
48.在一个方面，相机322可以是立体相机，使得捕获的图像提供可用于确定器官、机器人工具326和/或非机器人/人握持工具170的位置/取向的深度信息。此外，具有深度信息的立体图像可用于识别在其中捕获的非机器人/人握持工具170的位姿和/或类型。
49.内窥镜320通过开口、即自然开口或切口插入，以将相机322定位在邻近外科手术部位“s”的体腔内，以允许摄像机322捕获外科手术部位“s”的图像。相机322将捕获的图像传输到处理器140。处理器140从相机322接收外科手术部位“s”的图像或数据，并且在显示设备156上显示接收到的图像，使得临床医生可以观察外科手术部位“s”。在各种实施方案中，内窥镜320和/或相机322包括传感器325，该传感器指示当捕获外科手术部位“s”的图像时相机322的位姿。传感器325与处理器140通信，使得处理器140从传感器325接收相机322的位姿，并将相机322的位姿与由相机322捕获的图像相关联。在各种实施方案中，传感器325可感测六个自由度，包括x轴、y轴和z轴，以及俯仰、翻滚和偏航。
50.图3的外科图是示例性的，并且在各种实施方案中，可以使用多于一个内窥镜320或多于一个相机322。为了方便起见，下面将描述使用单个内窥镜和单个相机322的手术。然而，应当理解，本文描述的方面和实施方案也适用于涉及多个内窥镜或相机的手术。
51.根据本公开的各方面，相机322可捕获外科手术部位“s”的图像并且可捕获非机器人/人握持工具170和机器人工具326的图像。来自相机322的图像可用于识别非机器人/人握持工具170的位置、位姿和/或类型。如上所述，相机322可以是提供深度信息的立体相机，该深度信息可用于确定外科手术部位s中的非机器人/人握持工具170的位置/定向。在各种实施方案中，并且如上所述，计算设备(例如，200，图2)可实现经训练的学习机器，该经训练的学习机器可处理来自相机322的图像以确定非机器人/人握持工具170的位姿和/或类型。在各种实施方案中，可训练诸如卷积神经网络等学习机器以辨认和识别对象，并且可以应用此类神经网络来识别非机器人/人握持工具170。另外，也可以训练学习机器以识别工具的其它方面，诸如位姿/定向。在各种实施方案中，由相机322捕获的立体图像中的深度信息可由经训练的学习机器处理以识别非机器人/人握持工具170的位姿或定向。在各种实施方案中，来自内窥镜320的传感器325的位姿信息也被输入经训练的学习机器并由其处理，以确定非机器人/人握持工具170的位置/定向。上述学习机器是示例性的，并且设想机器学习的其它类型或实施方案落入本公开的范围内。
52.根据本公开的各方面，可基于非机器人/人握持工具170的类型和/或位姿推断持有非机器人/人握持工具170的人的位置。因此，非机器人/人握持工具170的类型和/或非机器人/人握持工具170的位置/定向是用于推断持有非机器人/人握持工具170的人的位置的起点。因此，用于确定持有非机器人/人握持工具170的人的位置的所公开技术不是基于人的图像。
53.在各种实施方案中，识别非机器人/人握持工具170的类型可能足以推断持有工具的人的位置。例如，如果存在定向和保持所识别的非机器人/人握持工具170的一种特定方式，则识别特定非机器人/人握持工具170将提供关于持有非机器人/人握持工具170的人的位置的推断。
54.在各种实施方案中，当非机器人/人握持工具170可具有各种定向时，可使用经训
练的学习机器从相机322的立体图像确定非机器人/人握持工具170的定向，如上所述。非机器人/人握持工具170的不同定向可对应于持有非机器人/人握持工具170的不同方式，并且对应于持有非机器人/人握持工具170的人的不同位置。在各种实施方案中，对于非机器人/人握持工具170的可能定向中的每一者，此类对应关系可存储在数据库(例如，222，图2)中。在各种实施方案中，经训练的学习机器可基于非机器人/人握持工具170的位置/定向来预测持有非机器人/人握持工具170的人的位置。可以使用与人握持工具的位姿/定向有关的训练数据来训练此类学习机器，并且将其标记有与握持此类工具的人的位置有关的信息。
55.在一个方面，可基于握持工具的人的个人尺寸来推断持有手持式工具的人的位置，诸如高度尺寸和/或臂尺寸，以及其它尺寸。此类个人尺寸信息可存储在此类信息的数据库中(例如，222，图2)。数据库可包括被分配给外科手术并且可负责持有非机器人/人握持工具170的每个人的此类尺寸信息。处理器140可基于个人信息访问数据库并推断持有非机器人/人握持工具170的人的位置。
56.持有非机器人工具的人的位置可以各种方式表示。在各种实施方案中，位置可表示为圆柱形体积或另一个三维体积。在各种实施方案中，位置可由更详细的模型表示，诸如包括对应于附件或其它身体位置的突起的体积。表示人的位置的此类可能方式是示例性的，并且预期其它变化在本公开的范围内。
57.根据本公开的方面并且继续参考图3，上文描述的用于识别人握持工具的类型和/或位姿的技术也应用于识别机器人工具326的类型和/或位姿。联接到机器人工具326的机器人连杆的物理位置(例如，120，图1)可基于机器人工具326的类型和/或位姿来确定。因此，机器人工具326的类型和/或机器人工具326的位姿/定向是用于确定联接到机器人工具326的机器人连杆的位置的起点。因此，所公开的用于确定联接到机器人工具326的机器人连杆的位置的技术既不基于机器人系统(100，图1)的图像，也不基于关于机器人系统在物理空间中的位置的任何信息。相反，如下文所解释的，所公开的技术基于外科手术部位处的机器人工具326的图像，并且基于机器人系统100的关于机器人连杆的每个接头的角度和速度的信息。
58.来自相机322的图像可捕获外科手术部位处的机器人工具326的图像。在各种实施方案中，计算设备(例如，200，图2)可实现经训练的学习机器，该经训练的学习机器可处理来自相机322的图像以确定机器人工具326的位姿和/或类型。在各种实施方案中，可训练诸如卷积神经网络等学习机器以辨认和识别对象，并且可以应用此类神经网络来识别机器人工具326。另外，也可以训练学习机器以识别工具的其它方面，诸如位姿/定向。在各种实施方案中，由相机322捕获的立体图像中的深度信息可由经训练的学习机器处理以识别机器人工具326的位姿或定向。在各种实施方案中，来自内窥镜320的传感器325的位姿信息也可由经训练的学习机器输入和处理，以确定机器人工具326的位姿/定向。上述学习机器是示例性的，并且设想机器学习的其它类型或实施方案落入本公开的范围内。
59.还参考图1a，处理器140访问关于连杆或机器人臂120的每个接头之间的角度和每个接头的角速度的信息。基于来自机器人连杆120的接收到的信息，处理器140能够将此类信息应用于机器人工具326的类型和/或位姿以确定机器人连杆120的每个部分的位置，并确定机器人外科系统100的扫过体积，该扫过体积是机器人外科系统100在某时间段内可占据的空间体积。在各种实施方案中，机器人工具326的尺寸可存储在数据库(例如，222，图2)
中，并且机器人连杆120的尺寸也可存储在数据库中。在识别机器人工具326的类型和/或位姿之后，可从数据库中提取机器人工具326的尺寸，并且可确定机器人工具326的整个位置。使用接头角度和臂尺寸，可确定机器人臂的联接到机器人工具326的每个连杆的位置。然后，每个接头的速度可用于在时间上向前投射机器人连杆120的运动，以确定机器人连杆120和机器人系统100的扫过体积。
60.在各种实施方案中，当机器人外科系统100/机器人连杆120的扫过体积与人的推断位置之间的距离小于或等于阈值距离时，处理器140确定可能发生潜在碰撞。阈值距离可以是例如3英寸或6英寸或另一距离。可使用例如扫过体积的最近部分和人的推断位置来计算距离。在各种实施方案中，当机器人外科系统100/机器人连杆120的扫过体积与持有非机器人/人握持工具170的人的推断位置重叠时，处理器140确定可能发生潜在碰撞。在潜在碰撞的情况下，处理器140可覆盖显示设备156上的警告窗口。在一个方面，警告可以是输入手柄152、音频警告、显示设备156上的红色闪烁或其任何组合的触觉振动反馈。
61.当要从即刻碰撞区分潜在碰撞时，存在两个阈值—一个阈值用于潜在碰撞，并且另一个阈值用于即刻碰撞。例如，即刻碰撞可基于扫过体积和彼此重叠的人的推断位置，而潜在碰撞可基于扫过体积和不彼此重叠但处于彼此阈值距离内的人的推断位置。在即刻碰撞的这种情况下，处理器140可立即停止机器人外科系统100的移动，以减少此类即刻碰撞的机会。在各种实施方案中，当机器人臂120接近即刻碰撞时，处理器140可减小马达134的最大扭矩，或降低可能产生的速度限制、加速限制或最大外部扭矩，其中外部扭矩等于从机器人臂120的动态扭矩减去致动器扭矩和重力扭矩。
62.在一个方面，处理器140可改变在控制机器人臂120的位置或角速度时的阻尼增益，使得控制器132在可能发生即刻/潜在碰撞的方向上变得更平滑。而且，处理器140可增加缩放因子以便减小角速度并且在提供触觉/视觉/音频反馈时提供更多的反应时间。
63.图4是示出根据本公开的实施方案的用于减轻机器人外科手术期间的潜在碰撞的方法400的流程图。当通过患者的切口或孔口插入机器人连杆的端部时，设置在机器人连杆的末端部分处的内窥镜可捕获外科手术部位的图像。方法400通过在步骤405中访问来自内窥镜的图像开始。内窥镜可包括立体成像设备，该立体成像设备捕获立体图像。
64.机器人连杆包括多个臂，接头连接在多个臂之间。联接件可包括一个或多个传感器，该一个或多个传感器感测连接臂与其速度之间的角度。在步骤410中，接收机器人臂的接头角度和速度。此类信息可包括机器人连杆的接头的两个连接臂与每个接头的速度之间的角度。在一个方面，速度可以是每个接头的角速度。
65.在步骤415中，确定是否在图像中捕获到非机器人工具170。当确定未在图像中捕获到非机器人工具170时，方法400返回到步骤405。
66.当确定在步骤415中在图像中捕获到非机器人工具170时，可在步骤420中确定非机器人工具170的类型和/或位姿。立体图像包括深度信息，该深度信息可被处理以识别定位在外科手术部位内的非机器人工具170的位姿。基于非机器人工具170的类型和/或位姿，在步骤425中可推断持有非机器人工具170的人的位置。在人的位置不能基于立体图像确定的情况下，持有非机器人工具170的人的预定或默认位置可用作人的推断位置。例如，当非机器人工具170的类型或位姿在立体图像中不可识别时可发生这种情况。
67.在步骤430中，可确定机器人连杆120的扫过体积。可基于外科手术部位处的机器
人工具326的图像来确定机器人工具326在外科手术部位处的类型和/或位姿。每个接头的角度和每个臂区段(或机器人连杆120)的尺寸可用于通过从机器人工具326的类型和/或位姿开始确定来确定机器人连杆120的位置。每个接头的速度可用于确定机器人连杆120的扫过体积。扫过体积是可在时间框架期间由机器人连杆120占据的空间体积。时间帧可以变化并且可以是例如1秒或3秒或另一个时间段。每个接头的角速度包括方向和角速度。因此，可在方向上计算每个接头和每个臂或连杆的角度行进距离，并且然后可计算对应的扫过体积。基于机器人连杆326的配置(例如，每个接头的连接结构)，可通过组合每个接头的扫过体积来确定机器人连杆326的扫过体积。因此，通过计算每个臂或连杆的扫过体积来确定机器人连杆326的扫过体积。
68.扫过体积与人的推断位置之间的距离或重叠可以是人的位置与扫过体积之间的最短距离。在步骤435，将人的体积与扫过体积之间的距离与第一阈值进行比较。当确定距离小于或等于第一阈值时，在步骤440中生成对潜在碰撞的警告。警告可以是机器人连杆的输入手柄上的触觉振动、覆盖在机器人外科系统的显示器上的视觉警告或声音警告。警告列表并不意味着是限制性的，而是可以包括如本领域普通技术人员容易理解的任何其它合适的方式。
69.在步骤445处，进一步确定距离是否小于或等于第二阈值。在确定距离小于或等于第二阈值的情况下，在步骤450中停止机器人连杆326的移动。第二阈值是指示即刻碰撞的值，这意味着机器人连杆将要与人或另一个机器人连杆326碰撞。因此，在这种情况下，在步骤450中，机器人连杆326停止移动以减少即刻碰撞的机会。然后，方法400结束。在一个方面，在停止机器人连杆326的移动之后，临床医生可调整机器人连杆326的设置或人的位置，并且再次重新启动方法400。
70.当确定距离大于步骤445中的第二阈值时，进一步在步骤455中确定手术是否完成。当手术未完成时，重复步骤405-455直到外科手术完成为止。
71.当在步骤455中确定外科手术完成时，方法400结束。以此方式，可执行使用机器人外科系统和非机器人工具170的外科手术，同时减轻机器人系统100与持有非机器人工具170的人之间的潜在碰撞。
72.应当理解，本文公开的各个方面可以与说明书和附图中具体呈现的组合不同的组合进行组合。还应该理解，取决于示例，本文描述的任何过程或方法的某些动作或事件可以不同的顺序执行，可以完全添加、合并或省略(例如，执行所述技术可能不需要所有描述的动作或事件)。另外，尽管为清楚起见，本公开的某些方面被描述为由单个模块或单元执行，应当理解，本公开的技术可以通过与例如医疗设备相关联的单元或模块的组合来执行。
73.在一个或多个示例中，描述的技术可在硬件、软件、固件或它们的任何组合中实现。如果在软件中实现，则功能可作为一个或多个指令或代码存储在计算机可读介质上并由基于硬件的处理单元执行。计算机可读介质可包括非暂态计算机可读介质，其对应于有形介质，诸如数据存储介质(例如，ram、rom、eeprom、闪存存储器，或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。
74.指令可由一个或多个处理器执行，诸如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)或其他等同的集成或离散逻辑电路。因此，如本文所用的术语“处理器”可指适于实现所描述技术的前述结构或任何其他
物理结构中的任一者。另外，本技术可在一个或多个电路或逻辑元件中完全实现。