使用协同控制的机器人的外科手术系统用户界面的制作方法

本申请要求于2014年9月25日提交的美国非临时专利申请第14/497,178号的优先权，其全部内容通过引用并入本文。

本发明是在美国国立卫生研究院(nih)的健康和人类服务部授予的资助号为第1r01eb007969-01号的政府支持和国家科学基金会授予的资助号为第eec-9731478号的政府支持下完成的。美国政府对本发明具有某些权利。

背景

1.技术领域

本发明当前要求保护的实施方式的领域涉及机器人系统，更具体地涉及使用协同控制机器人系统的外科手术系统用户界面和包括所述用户界面的机器人系统。

2.相关技术的讨论

外科医生和手术室工作人员通过踏板、物理旋钮、触摸面板和偶尔通过语音命令与计算机集成外科设备直接交互。在大多数手术情况下，外科医生手动处理外科手术器械，并且由于无菌要求或因为他们的手被占用，外科医生可能不能直接改变位于远程接口(例如，触摸面板)上的系统参数。相反，他们将必要的设置传递给根据请求调整参数的助理。这种交换增加了操作时间，并且如果发生错误通信，可能会不经意地对患者造成伤害。

另外，为了在操作期间有效地检查手术前外科手术计划或诊断图像，可能需要复杂的控制接口，例如三自由度(dof)或六dof操纵杆。

将复杂的手术装置添加到手术室中引入了竞争有限空间的更多物理接口。最小化这些接口的数量是合乎需要的。

概述

根据本发明的一些实施方式，协同控制的机器人包括机器人致动器组件、适于与该机器人致动器组件和力传感器通信的控制系统、以及与该控制系统通信的输出系统，该机器人致动器组件包括工具架和力传感器。该工具架被配置为接收要由用户操纵的工具。该控制系统被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令。该力传感器被配置为测量施加到该工具的力和扭矩中的至少一个，并且该控制系统被配置为接收对施加到该工具的力和扭矩中的至少一个的指示，并且基于该指示来操纵该输出系统。

根据本发明的一些实施方式，用于协同控制的机器人的外科手术系统用户界面包括适于与机器人致动器组件和力传感器通信的控制系统以及与该控制系统通信的输出系统。该控制系统被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令，并且该控制系统被配置为从力传感器接收对施加到工具的力和扭矩中的至少一个的指示并基于该指示操纵该输出系统。

本申请提供了以下内容：

1).一种协同控制的机器人，所述协同控制的机器人包括：

机器人致动器组件，其包括工具架和力传感器；

控制系统，其适于与所述机器人致动器组件和所述力传感器通信；以及

输出系统，其与所述控制系统通信，

其中所述工具架被配置为接收要由用户操纵的工具，

其中所述控制系统被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令，

其中所述力传感器被配置为测量施加到所述工具的力和扭矩中的至少一个，以及

其中所述控制系统被配置为接收对施加到所述工具的力和扭矩中的所述至少一个的指示，并且基于所述指示来操纵所述输出系统。

2).根据1)所述的协同控制的机器人，还包括：

与所述控制系统通信的麦克风，其中来自用户的从机器人控制模式切换到用户界面控制模式的所述指令包括由所述麦克风检测到的语言信号。

3).根据1)所述的协同控制的机器人，还包括：

与所述控制系统通信的踏板，其中来自用户的从机器人控制模式切换到用户界面控制模式的所述指令包括对所述踏板的推动或释放。

4).根据1)所述的协同控制的机器人，还包括：

与所述控制系统通信的物理按钮，其中来自用户的从机器人控制模式切换到用户界面控制模式的所述指令包括通过所述物理按钮接收的命令。

5).根据1)所述的协同控制的机器人，还包括：

与所述控制系统通信的第二输出系统，其中来自用户的从机器人控制模式切换到用户界面控制模式的所述指令包括通过所述第二输出系统的用户界面接收的命令。

6).根据1)所述的协同控制的机器人，其中所述输出系统是音频系统。

7).根据1)所述的协同控制的机器人，其中所述输出系统是视觉显示系统。

8).根据7)所述的协同控制的机器人，其中所述控制系统被配置为通过基于所述指示改变光标的位置来操纵所述视觉显示系统。

9).根据7)所述的协同控制的机器人，其中所述控制系统被配置为通过基于所述指示改变光标的速度来操纵所述视觉显示系统。

10).根据7)所述的协同控制的机器人，其中所述视觉显示系统被配置为显示图像，并且其中所述控制系统被配置为基于所述指示来操纵所述图像。

11).根据10)所述的协同控制的机器人，其中所述图像是使用来自患者的数据而创建的。

12).根据7)所述的协同控制的机器人，其中所述视觉显示系统被配置为显示图像，并且其中所述控制系统被配置为通过基于所述指示放大或缩小所述图像来操纵所述视觉显示系统。

13).根据1)所述的协同控制的机器人，其中所述输出系统是第二机器人致动器组件。

14).根据1)所述的协同控制的机器人，其中所述输出系统是显微镜。

15).根据1)所述的协同控制的机器人，其中所述输出系统是光源。

16).根据1)所述的协同控制的机器人，其中所述控制系统被配置为通过浏览参数列表并基于所述指示选择参数来操纵所述输出系统。

17).根据1)所述的协同控制的机器人，其中所述控制系统被配置为在所述力沿着预定轴线施加并且超过预定持续时间和幅度中的至少一个的情况下执行按钮按压功能。

18).根据1)所述的协同控制的机器人，其中所述工具是外科手术器械。

19).根据1)所述的协同控制的机器人，其中所述工具是不打算在外科手术期间使用的操纵杆工具。

20).一种用于协同控制的机器人的外科手术系统用户界面，所述外科手术系统用户界面包括：

控制系统，其适于与机器人致动器组件和力传感器通信；以及

输出系统，其与所述控制系统通信，

其中所述控制系统被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令，和

其中所述控制系统被配置为从力传感器接收对施加到工具的力和扭矩中的至少一个的指示，并且基于所述指示来操纵所述输出系统。

附图简述

通过考虑说明书、附图和示例，进一步的目标和优势将变得明显。

图1a是根据本发明的实施方式的协同控制的机器人的示意图；

图1b示出了包括力传感器和工具架的机器人致动器组件；

图1c示出了根据本发明的实施方式的工具的示意图；

图2示出了用户与协同控制的机器人交互；

图3示出了根据本发明的实施方式的用于外科医生控制协同控制的机器人的流程图；

图4示出了商业3d空间导航器(3dconnexion公司)；

图5示出了机器人框架(fr)和外科医生的身体框架(fs)之间的关系；

图6示出了如何通过选项列表围绕工具的z轴施加扭矩以循环；以及

图7示出了根据本发明的实施方式如何将单轴选择器推广用于图形菜单导航。

详细描述

下面详细讨论本发明的一些实施方式。在描述实施方式中，为了清楚起见采用特定术语。然而，本发明不旨在限于所选择的特定术语。相关领域的技术人员将认识到，在不脱离本发明的宽泛概念的情况下，可以采用其他等效组分和开发其他方法。在本说明书中任何地方(包括背景和详细描述部分)引用的所有参考文献，，通过引用并入本文，如同各自已被单独并入一样。

图1a是根据本发明的实施方式的协同控制的机器人的示意图。协同控制的机器人100包括机器人致动器组件102，其包括工具架106和力传感器104，如图1b所示。协同控制的机器人100还包括适于与机器人致动器组件102和力传感器104通信的控制系统108，以及与控制系统108通信的输出系统110。工具架106被配置为接收待由外科医生持有的工具112。图1c示出了工具112的示意图。控制系统108被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令。力传感器104被配置为测量施加到工具112的力和扭矩中的至少一个，并且控制系统108被配置为接收对施加到工具112的力和扭矩中的至少一个的指示并基于该指示来操纵输出系统110。根据本发明的一些实施方式，输出系统是视觉显示系统、音频显示系统、显微镜、光源或第二机器人致动器组件。

术语“协同控制”旨在针对机器人系统，在该机器人系统中用户与机器人致动器组件的至少一部分直接交互，使得机器人有效地辅助用户执行某些操作。在这种情况下，用户位于机器人致动器组件的附近。图2示出了一个可能的例子，其中用户200抓取附加到机器人致动器组件204的工具202。例如，然后工具202的运动是用户200和机器人两者的协同动作的结果。

本文所述的协同控制的机器人和外科手术系统用户界面允许机器人的双重使用。通过停止机器人的运动，外科医生施加在工具手柄上的力可以被解释为工具是基于速度或位置的多轴操纵杆。一般概念类似于集成在ibmthinkpad中的手指操纵杆控制器。然而，本系统中的输入端也是外科器械，并且包括附加的自由度。另外，机器人可以向用户提供触觉反馈，并且系统可以与各种设备和软件应用组合。

在用户界面模式中协同控制的机器人可以包括速度控制模式，其中用于外科外科手术系统用户界面的数字输出(例如x，y速度)与施加到工具的力/扭矩成比例地变化。例如，通过用施加在工具上的2-d力控制光标的x和y速度，可以在2-d平面上操纵2-d鼠标光标。这可以扩展到任何数量的自由度。力/扭矩和数字输出之间的关系可以是线性，非线性(例如，指数)，基于时间的，或基于背景的(例如，当光标位于部件上方时具有低转换因子，以及当它离开部件时具有高转换因子。)

在用户界面模式中协同控制的机器人可以允许位置控制，其中用于外科手术系统用户界面的数字输出(例如x，y位置)与施加到工具的力/扭矩成比例。例如，施加到工具的力/扭矩被转换成输出位置，例如相对于原点的位移。一旦用户释放仪器(力/扭矩＝0)，则位置返回原点。力/扭矩和数字输出之间的关系可以是线性、非线性(例如，指数)、基于时间的、或基于背景的(例如，当光标位于部件上方时具有低转换因子，以及当它离开部件时具有高转换因子。)

在用户界面模式中协同控制的机器人可以用作单轴选择器。在该模式中，可以应用上述位置或速度控制方法以使得工具能够像旋钮那样工作。例如，通过系统选项的列表用户可以将扭矩施加到工具以循环。根据本发明的一些实施方式，用户可以通过向工具施加力/扭矩来选择一个选项来确认系统通知或回答问题。例如，为了回答“我们会继续吗？”的问题，用户可以顺时针转动工具以选择“是”，并且逆时针以选择“否”。

在用户界面模式中的协同控制的机器人可以用于产生按钮按压功能。当用户沿着预定轴以给定的持续时间和/或以给定的力大小在工具上施加力时，产生事件。例如，如果系统处于2-d用户界面模式，则沿着垂直于2-d运动平面的方向在工具上施加力产生按钮按压事件。另一个按钮按压应用是在单轴选择器模式中的项选择确认，其中沿选择轴施加力。

在用户界面模式中协同控制的机器人可以允许用户进行放大和缩小。如果系统处于2-d模式，沿着垂直于2d运动平面的方向按压或拉动将使视图/屏幕放大和缩小。

补充上述功能的附加反馈方法包括图形、触觉和音频反馈。图形反馈可以包括输入光标正在移动或悬停在其上的图形项目的大小和颜色调制。为了提供触觉反馈，当按钮按下被启动时，或者如果指针在可视部件上移动，则机器人可以轻微振动工具(例如，诱导正弦运动)。为了提供音频反馈，用户输入事件可以通过相应的音频信号来补充，例如，用于选择的蜂鸣声。

在用户界面模式中协同控制的机器人可以具有多种模式。例如，可以激活1-d模式，其中协同控制的机器人用作选项选择器。2-d模式可以用于控制平面鼠标运动，或者作为2-d选项选择器。2-d+系统除了可以包括2-d系统的功能，还允许按钮输入。2-d+系统还可以允许围绕z轴的基于扭矩的旋转以及基于沿着z轴施加的力的缩放能力。在3-d模式中，工具上的力可以被转换为三dof中的指针运动，或者可以改变3d模型的视图。这可以包括缩放功能。6-d模式可以采用全六dof操纵杆控制。

协同控制的机器人可以用于各种应用，包括但不限于：在显示屏上控制鼠标指针，控制一组系统选项，应答听觉或视觉提示，确认系统通知，控制致动的显微镜/内窥镜/组织牵开器，检查患者数据/图像，以及控制辅助机器人。

以下示例更详细地描述一些实施方式。本发明的广义概念不旨在限于特定示例。

eyerobot是协同控制的机器人的示例，其中外科医生和机器人共享外科器械的控制(参见图1a和图2)。机器人(通过6-dof力/扭矩传感器)感测由操作者施加在手术器械手柄上的力并且移动器械以符合。通过这种合作关系，外科医生直接控制用于在患者上操作的器械，并且外科医生的生理性手抖动显著减少。该组合提供了机器的精确性和灵敏度，其具有外科医生已经习惯的手持工具的操纵简单性、直接性和自然的手眼协调。

eyerobot上的6-dof力/扭矩(ft)传感器主要用于控制外科器械的运动。当机器人不移动时，实际工具与物理用户输入的偏差是最小的，这是由于致动器的非常僵硬的结构设计和非反向驱动特性。当机器人不被命令移动时，ft传感器也可以在运行中重新使用，以提供用于与外科手术系统的其余部分交互的直观的和即时的用户输入方法。

图3示出了用于外科医生302控制协同控制的机器人的流程图300。外科医生302可以指示协同控制的机器人在机器人控制模式和用户界面控制模式之间切换。通过接合物理按钮或脚踏板，通过麦克风检测到的语音命令，经由诸如护士控制台的第二显示系统上的图形用户界面(gui)按钮，或基于过程的背景或内部系统事件自动地通过外科手术系统，进行切换命令304。切换命令304控制模式306并确定系统将如何响应施加到力传感器的力/扭矩308。当协同控制的机器人处于机器人控制模式310时，施加的力/扭矩308控制机器人的运动312。当外科手术系统处于用户界面控制模式314时，所施加的力/扭矩308用于选择参数316以充当系统输入318。机器人的运动被禁用，并且启用下面描述的模式中的一个或多个。

另一种选择是将特殊的操纵杆工具插入到工具适配器中。该工具没有标准长度的工具轴来防止与解剖结构的意外碰撞。当检测到其插入时(例如，经由接触开关)，启用操纵杆模式。此外，该工具可以约束围绕工具轴的旋转，使得力/扭矩传感器可以检测扭矩，以提供完全的6-dof输入。外科手术工具或特殊操纵杆上的力/扭矩可以解释为6-dof速率控制操纵杆，非常类似于图4中所示的商业3d空间导航器(3dconnexion公司)。

虽然在工具或机器人坐标系中测量的力/扭矩可以直接用于用户界面操作，但是用户并不总是直观地这样做。根据本发明的一些实施方式，力/扭矩测量框架(通常位于机器人框架(fr)中)与外科医生的身体框架(fs)对准。框架fr和fs在图5中示出。该示例性机器人-外科医生布置具有使机器人框架中的手柄力围绕机器人z轴旋转±30°的效果。注意，手柄相对于机器人底座的取向不影响输入的一致性，即，如果手柄滚动到20°的位置，并且外科医生远离他的身体向前按压，则操纵杆模式将产生与手柄滚动到-20°的位置时相同的输出。虚拟操纵杆(速度螺杆)的输出速率计算如下：

v＝c^radsf，(方程1)

其中机器人框架fr中测量的手柄力和扭矩f(6-dof)由伴随变换矩阵^rads变换并乘以对角矩阵c，其对角线表示将力(n)和扭矩(n/mm)转换成mm/s和rad/s的因子。在该示例中，c是线性映射，但是可以扩展为包括力/扭矩到数值位置或速度输出的非线性和基于背景的变换。

然后将输出传输到系统作为用户接口输入，并解释为速率控制操纵杆。注意，xyz操纵杆单元必须从mm转换为像素或mm/s转换为像素/s，并且取决于外科医生的偏好，并且操纵杆框架可能需要围绕水平轴(90°)旋转以对准在典型的眼科手术可视化设置中的观察平面。对于根据本发明的一些实施方式的用户界面，在显示器上驱动鼠标光标时，仅考虑单个平面(x-y或z-x平面)中的速度读数。

在一些情况下，使用虚拟操纵杆作为定位装置是更有利的。这通过连续积分速度以产生在时间t处的当前位置p(扭曲)(6dof)来实现：

其中在这种情况下dt变为力/转矩测量的采样周期。

位置虚拟操纵杆能力为外科医生输入笛卡尔坐标到系统中提供了一种方法。例如，其可以用于远程作为光标输入以在玻璃体视网膜手术可视化系统中的视网膜的表面上虚拟地绘制线。外科医生可以使用虚拟操纵杆来将感兴趣区域上的显示器上的光标进行转变，其中按钮按下事件处于绘制模式并且外科医生通过在期望方向上按压手柄来继续绘制线。

在上述方法中，对于在单个平面或单力轴中产生输出的输入仅考虑力测量。然而，即使当仅需要力的输入时，不精确的手柄操纵通常涉及扭矩和力的组合。为了增强输入的灵敏度并且使得交互更直观，特别是当外科医生将器械保持在与力/扭矩进行处理的位置不同的位置时，扭矩测量也可以被解释为力输入。例如，输出速度(v)通过v＝c*f+d*t计算，其中d是将扭矩(t)转换成mm/s的缩放因子。

通过利用触发按钮按下、按钮上升等事件的阈值监视沿预定轴的力/扭矩来实现点击事件。公共输入轴是主工具(z-)轴。外科医生在给定的时间量内以给定的力沿向下方向(沿着负z轴)按压工具，这启动按钮按下点击事件。可选地，通过在工具上施加向上的力(沿着正z轴)，按钮上升点击事件也是可能的。

该系统可以包括位置控制模式，其中操纵杆控制的输出是与力/扭矩成比例的位置/旋转。可以使用缩放因子c和方向变换矩阵^rads来计算位置：

p＝c^radsf.(方程3)

这使得当外科医生不再处理器械时，输出“弹回”到原点。与速度输出一样，c可以扩展超过线性映射，以包括力/扭矩到数值位置或速度输出的非线性和基于背景的变换。

协同控制的机器人可以具有许多操作模式，外科医生可以在操作期间基于手头任务的要求动态地选择使用。为了便于这些机器人控制模式之间的快速切换，可以使用开关(例如，踏板点击)来启用单轴选择器，在该点处机器人停止其运动并且预定的力/扭矩测量轴被认为是选择旋钮，并用于通过可用选项来回循环。例如，通过用户界面选项(假设z轴被锁定)应用围绕工具的主z轴的扭矩循环。通过该选项，顺时针方向的力可以向前循环，并且通过该选项，逆时针方向的力可以向后循环。一旦再次点击或释放开关，则选择被设置。当力/扭矩输入超过阈值和最小停留时间时，完成通过该选项的循环。虽然可以为该模式选择任意的力/扭矩选择轴，但是参考诸如工具的物理对象以获得更直观的输入方法是自然的。

根据本发明的实施方式，旋钮选择还可以包括混合行为，其中主工具轴(参见图6)是被动的并且被编码。用户围绕主工具轴旋转工具以循环通过这些模式(不考虑力数据)。系统直接解释旋转的位置。为了进行选择，沿着工具轴在工具上施加力，触发按下的按钮按下事件。这种行为也可以通过致动的工具轴来实现，其中通过标准进入(admittance)控制进行旋转。

在机器人可以安全地产生运动(例如，当其不参与关键外科手术任务时，例如在过程的准备阶段期间)的情况下，可以响应于用户界面事件生成物理反馈。例如，机器人可以振动以确认选择、点击、错误、或在菜单项上移动的鼠标指针。在另一示例中，当鼠标光标悬停在可点击的部件上方时，机器人可以轻微地“向上”移动，而当鼠标光标离开部件时，机器人则可以返回到其原始位置。为了进一步增强直观的通信，触觉反馈可以与补充的听觉或视觉反馈组合。机器人的运动可能在力传感器上感应到力，在这种情况下，力/扭矩测量应该在触觉反馈的时段中被忽略。

单轴选择器模式可以被概括用于图7所示的图形菜单导航。通过在y方向上施加力(向上为正，向下为负)，选择以离散转换进行循环。一旦所需选择被激活，应用正交力(沿着x轴)调整与选择相关联的特定参数。可选地，可以使用围绕工具的z轴的扭矩来执行参数调整。

相互作用可以包括最小力输入(公差)，使得沿特定轴的力的不精确施加不会无意地触发基于沿着其它轴的力的动作。此外，用于在选项之间转换的时间延迟可以控制通过选择进行的循环速率。

可选菜单交互包括多层菜单部件，其可以使用操纵杆按钮/按压事件来选择打开另一组菜单的菜单项。为了让这成为有效的交互方法，可能期望视觉或听觉反馈以增强离散菜单项之间的转换。这与bmw的idrive类似，可应用于多层菜单，并可包括按钮按下事件以供选择。

操纵杆输出的取向可以与典型的外科手术情景(表对准，或显示对准)的典型手视图对准，以便于外科医生使用系统。

外科医生经常在使用脚踏板或用他们的手的操作期间调整外科手术显微镜或致动的内窥镜的致动变焦/平移/聚焦。或者，可以以下列方式绘制操纵杆位置控制模式，以在不使用这种踏板或放弃外科手术工具的情况下控制这种显微镜的致动。平移模式可以控制显微镜的x-y平面平移。所做的缩放可以允许z轴输入，其中沿着z轴的力使得显微镜放大或缩小。聚焦模式可以允许外科医生通过施加围绕z轴的扭矩来聚焦显微镜。

类似地，可以使用相同的方法来进行高分辨率视频或图像的检查，而不是物理地控制显微镜，可以纯粹通过软件来操纵视频或图像。平移模式可以控制在高分辨率视频或图像上的观看窗口的x-y平面平移。缩放模式可以允许用户使用沿着z轴使得显微镜放大或缩小的力以放大图像的一部分。响应于围绕z轴的扭矩，选择功能循环通过可用图像的列表。除了视频和图像之外，还可以在用户界面控制模式中使用协同控制的机器人检查和操纵音频数据流。机器人还可以用于检查诸如患者生命体、脑电图(eeg)、心电图(ekg)或使用患者数据创建的其他图像的医疗数据。

3-d模型检查模式允许外科医生使用6-dof操纵杆输入来操纵3-d模型的视图，直接映射到标准3-d视图，类似于3-d空间鼠标交互。

在用于增强现实的3-d模型对准模式中，操纵杆可以用于对叠加在外科手术区域的视图之上的虚拟解剖模型执行姿态调整。这种初始对准步骤通常有助于在增强现实应用中注册具有视觉数据的模型。一个例子是从在导航操作期间使用术前图像导出具有肿瘤的肾的3-d模型。

本文所述的外科手术系统可用于辅助操纵器控制。根据本发明的实施方式，在手术室中使用多于一个机器人操纵器。该系统可以具有双手eyerobot设置，或者可以是eyerobot和致动的内窥镜保持机器人的组合。通过将协同控制的机器人用作操纵杆的能力，可以实现远程操作控制方案，其中一个机器人处于操纵杆模式，其用于定位另一个机器人。这可以提供更精细的控制水平，或者为远程操作的机器人提供必要的控制输入。

上述实施方式公开了协同控制的机器人。可选地，外科手术系统用户界面可以被配置为与协同控制的机器人一起使用。外科手术系统用户界面可以包括适于与协同控制的机器人的机器人致动器组件和力传感器通信的控制系统。外科手术系统用户界面还可以包括与控制系统通信的输出系统，其中控制系统被配置为从用户接收指令以从机器人控制模式切换到用户界面控制模式，并且其中控制系统被配置为从力传感器接收对施加到工具的力和扭矩中的至少一个的指示，并且基于所述指示来操纵所述输出系统。与协同控制的机器人结合的外科手术系统用户界面可以被配置为执行上文关于协同控制的机器人描述的所有功能。

在本说明书中说明和讨论的实施方式仅旨在教导本领域技术人员如何制造和使用本发明。在描述本发明的实施方式时，为了清楚起见，使用了特定的术语。然而，本发明不旨在限于所选择的特定术语。如本领域技术人员根据上述教导所理解的，可以修改或改变本发明的上述实施方式而不脱离本发明。因此，应当理解，在权利要求及其等同物的范围内，本发明可以以与具体描述不同的方式实施。