本方案涉及外科手术领域，具体涉及用于使用医学影像和来自虚拟现实设备的跟踪数据来控制具有刚性近侧部分和柔性远侧部分的机器人的系统、控制器和方法。
背景技术：
外科手术一般依赖于外科医生的个体技能。灵巧度通常受限于外科医生的手和刚性仪器。这些限制在微创外科手术或自然孔口外科手术中是特别明显的，其中，操作的空间被进入点并且被解剖结构限制。在微创外科手术中，视觉反馈通常由内窥镜提供。
外科手术机器人和/或可操控设备可以在微创外科手术中用来改善在患者内部的外科手术部位处的外科医生的灵巧度。外科手术机器人的范例包括多臂系统(例如da
对手持式灵巧设备的控制是具有挑战性的。用户必须组合通常在支点(到身体的进入点)附近的非灵巧近端的运动与身体内部的复杂灵巧运动。这种问题的解决方案是灵巧设备的机器人定位，这增加了手术室中的占用空间并且增加了外科手术的成本和持续时间。如果近端不在成像设备的视场内(例如内窥镜仅在患者的内部上获取图像，并且便携式成像系统(例如c型臂)的视场太小以致于不能获取整个设备的图像，并且能够对操作者造成辐射暴露)，这种问题被放大。此外，一旦位置利用灵巧设备来取得，手部颤动和手部的意外运动能够造成不对准。为了改善外科医生的灵巧度，外科手术机器人可以具有多于六个自由度，使它们不直观并且要不然难以控制。
这种问题被受约束空间中的操作(例如在微创外科手术或自然孔口外科手术期间遇到的那些)并且被超冗余机器人(例如蛇形机器人)的使用所放大。对这些机器人的控制通常使用操作起来复杂并且通常与陡峭的学习曲线相关联的手柄来执行。用户正在使用内窥镜图像来导航外科手术视野，并且利用图像绘制手柄的运动是困难的。
因此，希望提供用于使用实况影像与从虚拟现实设备提供的跟踪信息的组合来控制外科手术机器人的装置、系统、方法和计算机可读存储介质，所述虚拟现实设备实现了使用运动检测的目标选择而一般不依赖于用户的手部的使用或灵巧度。
技术实现要素：
根据说明性实施例，一种用于包括被配置为操作患者的外科手术部位中的至少一个末端执行器的机器人的外科手术机器人系统的控制单元包括处理器。所述处理器被配置为将从至少一图像采集设备接收的患者的采集的实况图像传输到虚拟现实(vr)设备，以用于显示在显示单元上；从所述vr设备接收输入数据，所述输入数据包括基于用户对被显示在所述vr设备的所述显示单元上的所述患者的所述采集的实况图像的响应的、来自所述vr设备的vr跟踪系统的跟踪数据；处理从所述vr设备接收的所述输入数据以确定所述患者中的目标；基于所述采集的实况图像和经处理的输入数据确定能由所述机器人操作的所述至少一个末端执行器到达所述目标的路径；并且传输机器人控制信号，以使所述机器人将所述至少一个末端执行器经由所确定的路径引导到所述目标。
根据另一说明性实施例，一种外科手术机器人系统包括：机器人，其被配置为操作被定位在患者内的外科手术部位处的至少一个末端执行器；至少一个图像采集设备，其被配置为采集所述外科手术部位处的实况图像；虚拟现实(vr)设备，其被配置为显示所采集的实况图像，并且确定通过用户的动作经由所述vr设备提供的跟踪数据；以及控制单元，其包括输入/输出(i/o)电路和处理器。所述输入/输出(i/o)电路被配置为从所述至少一个图像采集设备接收所采集的实况图像，向所述vr设备提供所采集的实况图像以用于显示，从所述vr设备接收所确定的跟踪数据，并且向所述机器人提供机器人控制信号。所述处理器被配置为：将经由所述i/o电路从所述至少一个图像采集设备接收的所采集的实况图像传输到所述vr设备；处理来自所述vr设备的所确定的跟踪数据，以选择所述患者内的所述外科手术部位处的目标；基于所采集的实况图像和经述处理的所确定的跟踪数据确定所述至少一个末端执行器到达所选择的目标的路径；并且将所述机器人控制信号传输到所述机器人，以将所述至少一个仪器经由所确定的路径移动到所选择的目标。
根据另一说明性实施例，提供了一种非瞬态计算机可读存储介质，其存储有能由处理器运行以操作外科手术机器人系统的机器可读指令。所述外科手术机器人系统包括至少一个机器人、至少一个图像采集设备和头戴式显示器(hmd)设备，所述至少一个机器人被配置为操作要被定位在患者内的外科手术部位处的至少一个末端执行器，所述至少一个图像采集设备被配置为采集所述外科手术部位处的实况图像，所述头戴式显示器(hmd)设备由用户穿戴并且被配置为显示所采集的实况图像并且确定所述用户的头部的运动或所述用户的眼睛的移动中的至少一个。所述非瞬态计算机可读介质包括：用于使从所述至少一个图像采集设备接收的所采集的实况图像传输到所述hmd设备的传输代码；用于处理来自所述hmd设备的头部跟踪数据和眼睛跟踪数据中的所处理的至少一个以选择所述患者内的所述外科手术部位处的目标的处理代码；用于基于所采集的实况图像和经处理的所确定的头部跟踪数据和/或眼睛跟踪数据确定包括所述至少一个末端执行器的所述机器人的远侧部分到达所述患者内的所述外科手术部位处的所选择的目标的路径的确定代码；以及用于使机器人控制信号传输到所述机器人以将所述至少一个末端执行器经由所确定的路径移动到所述患者内的所述外科手术部位处的所选择的目标的机器人控制代码。
附图说明
根据在下面呈现的结合如下附图考虑的示范性实施例的详细描述，本发明将会更加容易理解。
图1是示出根据本发明的说明性实施例的外科手术机器人系统的示意方框图。
图2是示出根据本发明的说明性实施例的外科手术机器人系统的示意方框图。
图3是示出作为根据本发明的说明性实施例的外科手术机器人系统的部分的具有头部跟踪能力的头戴式显示器(hmd)设备的示意图。
图4a是示出作为根据本发明的说明性实施例的外科手术机器人系统的部分的hmd设备的示意图。
图4b是示出根据本发明的说明性实施例的用于使用hmd设备穿过自然孔口的蛇形或导管状机器人的部分的示意图。
图5是示出控制根据本发明的说明性实施例的外科手术机器人系统的方法的流程图。
图6是示出作为根据本发明的说明性实施例的外科手术机器人系统的部分的具有眼睛跟踪能力的hmd设备的示意图。
具体实施方式
现在将会在下文中参考示出本发明的实施例的附图来更加完整地描述本发明。然而，本发明可以以不同的形式来实现，并且不应被解释为被限制于在本文中阐述的实施例。相反，这些实施例作为本发明的教导范例而被提供。
一般地，根据各种实施例，提供了一种虚拟现实(vr)设备，用户(例如，外科医生)使用所述虚拟现实(vr)设备通过由外科医生的物理移动(例如，除了操纵常规手动控制的用户的手部的使用外)控制机器人，以基于由vr设备接收的实况图像识别并选择组合针对机器人的目标。实况图像可以是例如通过被安装到内窥镜的远端的相机(其例如可以由专用的内窥镜控制器操作)或通过前视相机(其例如可以由机器人操作)的内窥镜图像。例如，vr设备可以是在由用户穿戴的头戴件中的显示器上显示示出例如患者内部的外科手术部位的内窥镜图像的头戴式显示器(hmd)设备。hmd设备还包括被配置为检测用户的运动(例如头部运动或眼睛移动)的一个或多个传感器，其中，检测到的运动被处理以为机器人选择在显示器上的图像中示出的外科手术部位中的目标。使用实况图像和头部运动和/或眼睛移动的检测通过模拟常规外科手术期间的经历来改善机器人的可用性，其中，外科医生朝向外科医生所聚焦的区域(目标)移动他或她的头部和/或引导眼睛移动，同时保持外科手术机器人的改善的灵巧度。
应理解，本文所使用的术语仅出于描述特定实施例的目的，并不旨在进行限制。任何所定义的术语是对如本教导的技术领域中通常所理解及接受的所限定术语的技术及科技含义的补充。
如说明书及权利要求书中所使用的，术语“一”、“一个”和“所述”包括单数与复数引用两者，除非上下文另外明确指示。因此，例如，“设备”包括一个设备和多个设备。
如在本文中所使用的，两个或更多部分或部件被“耦合”的表述将意味着，只要发生链接，这些部分直接地或者间接地，即通过一个或多个中间部分或部件，接合或共同操作。
方向术语/短语和相对术语/短语可以用来描述各种元件彼此的关系，如在附图中图示的。这些术语/短语旨在涵盖除了在附图中描绘的取向外的设备和/或元件的不同取向。
本文使用的“计算机可读存储介质”涵盖任何可以存储能由计算设备的处理器运行的指令的有形存储介质。可以将计算机可读存储介质称为非瞬态计算机可读存储介质，以与瞬态介质(例如瞬态传播信号)区别开来。也可以将计算机可读存储介质称为有形计算机可读介质。
在一些实施例中，计算机可读存储介质还可以能够存储能够由计算设备的处理器访问的数据。计算机可读存储介质的范例包括但不限于：软盘、磁硬盘驱动器、固态硬盘、闪速存储器、usb拇指驱动器、随机存取存储器(ram)、只读存储器(rom)、光盘、磁光盘以及处理器的寄存器文件。光盘的范例包括压缩盘(cd)和数字通用盘(dvd)，例如，cd-rom、cd-rw、cd-r、dvd-rom、dvd-rw或dvd-r盘。术语计算机可读存储介质还指能够经由网络或通信链路由计算机设备访问的各种类型的记录介质。例如，可以在调制调解器、因特网或局域网上检索数据。对计算机可读存储介质的引用应被解释为可能是多个计算机可读存储介质。一个程序或多个程序的各种可执行部件可以存储在不同的位置。计算机可读存储介质可以例如是同一计算机系统内的多个计算机可读存储介质。计算机可读存储介质还可以是分布在多个计算机系统或计算设备之间的计算机可读存储介质。
“存储器”是计算机可读存储介质的范例。计算机存储器是能由处理器直接访问的任何存储器。计算机存储器的范例包括但不限于：ram存储器、寄存器和寄存器文件。对“计算机存储器”或“存储器”的引用应被解释为可能是多个存储器。存储器可以例如是同一计算机系统内的多个存储器。存储器还可以是分布在多个计算机系统或计算设备之间的多个存储器。
计算机存储设备是任何非易失性计算机可读存储介质。计算机存储设备的范例包括但不限于：硬盘驱动器、usb拇指驱动器、软盘驱动器、智能卡、dvd、cd-rom和固态硬盘驱动器。在一些实施例中，计算机存储设备也可以是计算机存储器，反之亦然。对“计算机存储设备”或“存储设备”的引用应被解释为可能包括多个存储设备或部件。例如，存储设备可以包括在同一计算机系统或计算设备内的多个存储设备。存储设备还可以包括分布在多个计算机系统或计算设备之间的多个存储设备。
如本文使用的“处理器”涵盖能够运行程序或机器可执行指令的电子部件。对包括“处理器”的计算设备的引用应被解释为可能包含多于一个处理器或处理核。处理器可以例如是多核处理器。处理器还可以指单个计算机系统内或分布在多个计算机系统之间的处理器的集合。术语计算设备也应被解释为可能指代均包括一个处理器或多个处理器的计算设备的集合或网络。许多程序具有由可以在同一计算设备内、或甚至可以跨多个计算设备分布的多个处理器执行的指令。
如本文所使用的“用户接口”或“用户接口设备”是允许用户或操作者与计算机或计算机系统交互的接口。用户接口可以向操作者提供信息或数据和/或从操作者接收信息或数据。用户接口可以使来自操作者的输入能够被计算机接收，并且可以从计算机向用户提供输出。换句话说，用户接口可以允许操作者控制或操纵计算机，并且接口可以允许计算机指示用户的控制或操纵的效应。在显示器或图形用户接口上显示数据或信息是向操作者提供信息的范例。通过触摸屏、键盘、鼠标、跟踪球、触摸板、定点杆、图形平板电脑、操纵杆、游戏手柄、网络摄像头、耳机、换挡杆、方向盘、有线手套、无线遥控器和加速度计接收数据都是能够从用户接收信息或数据的用户接口部件的范例。
如本文所使用的“硬件接口”包括使得计算机系统的处理器能够与外部计算设备和/或装置进行交互和/或控制外部计算设备和/或装置的接口。硬件接口可以允许处理器向外部计算设备和/或装置发送控制信号或指令。硬件接口还可以使处理器能够与外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于：通用串行总线、ieee1394端口、并行端口、ieee1284端口、串行端口、rs-232端口、ieee-488端口、蓝牙连接、无线局域网连接、tcp/ip连接、以太网连接、控制电压接口、midi接口、模拟输入接口和数字输入接口。
本文所使用的“显示器”或“显示设备”或“显示单元”包括适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和/或触觉数据。显示器的范例包括但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(crt)、存储管、双稳态显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(vf)、发光二极管(led)显示器、电致发光显示器(eld)、等离子体显示面板(pdp)、液晶显示器(lcd)、有机发光二极管显示器(oled)、投影仪和头戴式显示器。
这些附图中的相似的附图标记是等同的元件或执行相同的功能。如果功能是等同的，那么在后面的附图中将不必讨论先前已经讨论过的元件。
最初，应注意，医学图像可以包括2d或3d图像，例如经由被提供在内窥镜的远端上的内窥镜相机、或经由被提供在机器人的远端(例如作为末端执行器)处的前视相机获得的那些。而且，实况图像可以包括在微创程序期间通过医学成像捕获的静止或视频图像。其他医学成像可以在外科手术过程期间被包含，例如通过x-射线、超声和/或磁共振(例如为了外科手术部位和周围区域的更宽视野)获得的图像。
图1是示出根据本发明的代表性实施例的外科手术机器人系统的示意方框图。图1描绘了外科手术机器人系统100，其可以用于医学程序，通常涉及能由机器人在位于患者的身体内的外科手术部位处操作的外科手术仪器和其他工具的操纵。例如，这些医学程序包括但不限于微创心脏外科手术(例如，冠状动脉旁路搭桥或二尖瓣置换)、微创腹部外科手术(腹腔镜检查)(例如，前列腺切除术或胆囊切除术)和自然孔口经肾内窥镜外科手术。
参考图1，在描绘的实施例中，外科手术机器人系统100包括至少一个机器人101、控制单元106和虚拟现实(vr)设备120。机器人101被配置为操作要被定位在患者p内的外科手术部位s处的一个或多个末端执行器，包括被配置为采集外科手术部位s处的实况图像的至少一个图像采集设备112和至少一个仪器113(例如执行内部外科手术程序的外科手术工具)。内部外科手术程序可以包括例如涉及外科手术部位s内的解剖结构目标t的微创外科手术或自然孔口外科手术，上面提到了其范例。
vr设备120被配置为在要由用户观察的vr显示单元121上显示采集的实况图像，并且使用vr跟踪系统122检测跟踪数据，所述vr跟踪系统122经由通过代表性运动传感器124指示的一个或多个运动感测电路捕获用户的移动(响应于显示的图像)。例如，如在下面进一步讨论的，vr设备120可以是包括由用户穿戴的头戴件的头戴式显示器(hmd)设备，所述头戴式显示器(hmd)设备包括显示单元121和运动传感器124。显示单元121可以是单个显示器，或它可以被分成对应于用户的眼睛的双目显示器(未示出)。当图像采集设备112是立体的时候，双目显示器实现三维观察，或当图像采集设备112是单目的时候，实现伪三维观察，但是双目显示器被配置为部分交叠。运动传感器124可以是例如用于检测用户的头部围绕三个轴的运动的多个加速度计，使得跟踪数据包括对应于用户的头部移动的头部跟踪数据。替代地，运动传感器124可以包括用于检测用户的眼睛的移动的(一个或多个)后向相机，使得跟踪数据包括对应于用户的眼睛移动的眼睛跟踪数据。
vr设备120还可以包括用于从用户接收指令的通过输入设备126指示的一个或多个输入设备(例如用户接口)。如本文中使用的输入设备126是允许用户与vr设备120以及外科手术机器人系统100交互的接口。例如，输入设备126可以包括触摸屏、键盘、鼠标、跟踪球、触控板或语音命令接口中的一个或多个。在本实施例中，用户可以使用输入设备126来输入特定命令，例如向处理器130发送承认信号来确认如由处理器130确定的选择的目标t，或向vr跟踪系统122和/或处理器130发送激活信号来激活包括通过hmd设备对头部运动检测的头部跟踪模式或包括通过hmd设备对眼睛移动的检测的眼睛跟踪模式中的一个。在备选实施例中，输入设备126可以是外部vr设备120。例如，输入设备126可以被集成到控制单元106内，或可以是被配置为经由i/o电路108与vr设备120和处理器130两者通信的单独单元。
控制单元106被配置为控制并且要不然协调外科手术机器人系统100的总体操作。控制单元106包括输入/输出(i/o)电路106和处理器130。处理器130包括用于实现处理的相关联的存储器134和计算机可读介质(crm)136。处理器130一般被配置为经由i/o电路108从图像采集设备112接收采集的实况图像，并且处理采集的实况图像并将采集的实况图像存储在例如存储器134和/或crm136中，使得处理器130能够建立实质上视觉地绘制由图像采集设备112穿过的患者p的内部部分的数据库。一旦目标t已经被选择，该数据库就可以随后用来确定到目标t的路径，如下面讨论的。处理器130经由i/o电路108将采集的实况图像传输到vr设备120以用于显示在显示单元121上。在备选配置中，在由i/o电路108接收到采集的实况图像时，采集的实况图像可以从i/o电路108被传输到vr设备120，而无需由处理器130执行任何成像处理。
处理器130还被配置为经由i/o电路108从vr设备120接收由vr跟踪系统122确定的跟踪数据，并且对所确定的跟踪数据进行处理以选择患者p内的外科手术部位s处的目标(例如，目标t)。处理器130还被配置为基于采集的实况图像和经处理的所确定的跟踪数据确定机器人101的一个或多个末端执行器(例如，包括说明性图像采集设备112和仪器113)到达选择的目标t的路径。处理器130经由i/o电路108将机器人控制信号传输到机器人101，以将一个或多个末端执行器沿着所确定的路径移动到选择的目标t。
因此，i/o电路108从图像采集设备112接收采集的实况图像，并且向处理器130和/或为vr设备120(在图像处理之后从处理器130直接或向前)提供采集的实况图像以用于显示在显示单元121上。i/o电路108也从vr设备120接收输入数据(包括跟踪数据)，它向处理器130提供所述输入数据，并且向机器人101发送由处理器130响应于跟踪数据而被确定的机器人控制信号。
在描绘的实施例中，机器人101具有要被定位在患者p的身体中的进入点e处的刚性近侧部分102(例如，机器人臂或机器人臂的部分)和要被定位在患者p内的外科手术部位s处的柔性远侧部分103。机器人101在本文中被广泛地定义为在结构上配置有一个或多个关节和两个或更多个对应连杆的机动化控制以用于针对具体机器人程序根据需要来操控柔性远侧部分103的任何机器人设备。柔性远侧部分103可以包括一个或多个末端执行器，包括图像采集设备112和仪器113。例如，仪器113可以是夹持器或工具保持器、腹腔镜检查仪器、腹腔镜、用于例如脊柱融合外科手术中的螺钉放置的工具、用于活检或治疗的针、用于组织或肿瘤成像和消融的超声换能器、或其他外科手术或介入工具。
实际上，如本领域技术人员将会意识到的，机器人101可以具有最少三(3)个自由度并且有益地六(6)个或更多个自由度。机器人101可以具有带有两个相交马达轴的远程运动中心(rcm)机构。而且，机器人101可以具有与之相关联的光投射装置(未示出)。可以被包括的可操纵或灵巧外科手术机器人设备的范例是例如由sanchez的美国专利no.7121781(2006年10月17日)描述的七自由度通用腕，其以引用方式被并入本文。通用腕包括在远侧部分处的多个关节和钳口以及在近侧部分处的驱动系统。所述设备能够使用机器人定位器和计算机控制器被进一步定位。机器人定位允许设备运动相对于解剖结构的跟踪。末端执行器可以被耦合到腕，这提供了围绕同一枢转点的两个单独的自由度。末端执行器能够通过销被移动并且被致动，允许紧凑的微创医学仪器。
尽管在图1中描绘了用于操作单个刚性近侧部分102和单个对应远侧部分103的单个机器人101，但是应理解可以包括具有对应的多个刚性近侧部分和/或多个刚性远侧部分的多个机器人而不脱离本教导的范围。即，机器人101可以包括控制外科手术部位s中的不同末端执行器的多个机器人臂(未示出)。例如，一个机器人臂可以包括前视相机(例如用于提供外科手术部位s的实况图像的图像采集设备112)，而另一机器人臂可以包括仪器113以及(一个或多个)额外仪器。
图像采集设备112限定了外科手术机器人系统100的成像系统以及控制单元106的部分，并且可以包括具有前向光学视图或倾斜光学视图的任何类型的相机中的一种或多种，并且可以能够以预定帧率(例如，30帧每秒)采集一系列二维数字视频帧并且能够经由输入/输出电路108向控制单元106提供每个数字视频帧。具体地，图像采集设备112可以是被定位并且被取向为使得在其视场内它能够从机器人101的柔性远侧部分103采集外科手术部位s和解剖目标t(例如器官)的实况图像的前视相机。在实施例中，刚性近侧部分102可以是由机器人101控制的内窥镜类设备，其中，单个近侧部分102包括多个通道，所述多个通道中的一个实现图像采集设备112的控制和/或与图像采集设备112的通信，并且所述多个通道中的至少另一个实现仪器113或其他末端执行器的进入和控制。在备选实施例中，图像采集设备112在对应于刚性近侧部分102的柔性远侧部分103中，而其他末端执行器可以在对应于其他刚性近侧部分(未示出)的柔性远侧部分中，所有末端执行器都经由机器人101来进行控制。在又一实施例中，图像采集设备112在单独内窥镜的柔性远侧部分中，所述单独内窥镜不是机器人101的一部分，而是处于单独内窥镜控制器(配合机器人101操作)的控制下，如在下面参考图2讨论的。而且，图像采集设备112可以是提供能够以三维方式进行感知的图像的立体相机或立体内窥镜。breidenthal等人的美国专利no.6139490(2000年10月31日)描述了立体内窥镜的范例，其以引用方式被并入本文。或者，图像采集设备112可以是单目的，并且显示单元121被分成对应于用户的眼睛的双目显示器，在此情况下，单目图像被分成两个交叠的半部，并且被单独呈现在双目显示器中的每一个上以创建伪立体视图。
还可以包括外部医学影像设备。医学影像设备可以被配置为采集外科手术机器人101的柔性远侧部分103和外科手术部位s处的目标t的一个或多个实况图像，提供更综合的概观。这样的医学影像设备可以包括至少部分地环绕患者p的部分的c型臂(未示出)。c型臂是成像扫描器增强器，由于其c型配置而被如此命名。c型臂具有放射摄影能力，并且可以在外科手术期间用于荧光成像，如本领域技术人员已知的。popovic的美国专利no.9095252(2015年8月4日)描述了实施x-射线系统的c型臂的范例，其以引用方式被并入本文。
图2是示出根据本发明的代表性实施例的外科手术机器人系统的示意方框图，包括单独的成像内窥镜和对应的内窥镜控制器。图2描绘了外科手术机器人系统200，其可以用于医学程序，通常涉及能由机器人在位于患者的身体内的外科手术部位处操作的外科手术仪器和其他工具的操纵。例如，这些医学程序包括但不限于微创心脏外科手术(例如，冠状动脉旁路搭桥或二尖瓣置换)、微创腹部外科手术(腹腔镜检查)(例如，前列腺切除术或胆囊切除术)和自然孔口经肾内窥镜外科手术。
参考图2，在描绘的实施例中，外科手术机器人系统200类似于外科手术机器人系统100，因为它包括至少一个机器人101、控制单元106和vr设备120。机器人101被配置为操作要被定位在患者p内的外科手术部位s处的一个或多个末端执行器，包括至少一个仪器113(例如用于执行内部外科手术程序的外科手术工具)。内部外科手术程序可以包括例如涉及外科手术部位s内的解剖结构目标t的微创外科手术或自然孔口外科手术，上面提到了其范例。
此外，外科手术机器人系统200包括被配置为控制内窥镜142的内窥镜控制器140，所述内窥镜142与机器人101分开。内窥镜142是图像采集设备，在功能上类似于在上面参考图1讨论的至少一个图像采集设备112。内窥镜142被配置为采集外科手术部位s处的实况图像。“内窥镜检查”意指在内部查看，并且通常指的是由于医学原因使用被直接插入到身体和/或器官内的内窥镜(例如内窥镜142)在身体内部查看。vr设备120被配置为在要由用户观察的vr显示单元121上显示由内窥镜142采集的实况图像，并且使用vr跟踪系统122检测跟踪数据，所述vr跟踪系统122经由通过代表性运动传感器124指示的一个或多个运动感测电路捕获用户的移动(响应于显示的图像)，如上面讨论的。
在各种实施例中，内窥镜142可以包括刚性或柔性管、在检查下照亮器官或对象的光递送系统(例如光源通常在身体外部并且光通常经由光纤系统来引导)、从物镜向观察器传输图像的透镜系统(通常在刚性内窥镜的情况下为中继透镜系统或在光纤内窥镜的情况下为一束光纤)。还考虑了没有目镜的视频内窥镜，其中，相机将图像传输到屏幕以用于图像捕获。而且，在各种实施例中，内窥镜142可以是立体内窥镜，例如，该图像数据实现视三维图像例如在vr显示单元121上的显示。
在描绘的实施例中，机器人101具有要被定位在患者p的身体中的第一进入点e1处的刚性近侧部分102和要被定位在患者p内的外科手术部位s处的柔性远侧部分103。内窥镜142包括要被定位在患者p的身体中的第二进入点e2的鞘。在各种实施例中，内窥镜142可以包括多个通道，所述多个通道中的一个提供图像采集，并且所述多个通道中的至少另一个实现要由内窥镜控制器140控制的另一仪器(例如医学仪器或操纵器、和/或用于照亮外科手术部位s的光源)的进入和控制。
控制单元106被配置为控制并且要不然协调外科手术机器人系统200的总体操作，包括机器人101和内窥镜142的控制和协调。控制单元106包括i/o电路208，所述i/o电路208不同于i/o电路108，因为它具有用于与内窥镜控制器140通信的(一个或多个)额外接口。因此，处理器130一般被配置为经由内窥镜控制器140和i/o电路208从内窥镜142接收采集的实况图像，并且处理采集的实况图像并将采集的实况图像存储在例如存储器134和/或crm136中，使得处理器130能够建立实质上视觉地绘制由内窥镜142穿过的患者p的内部部分的数据库。一旦目标t已经被选择，该数据库就可以随后用来确定到目标t的路径，如下面讨论的。处理器130经由i/o电路208将采集的实况图像传输到vr设备120以用于显示在显示单元121上。在备选配置中，在由i/o电路108从内窥镜控制器140接收到采集的实况图像时，采集的实况图像可以从i/o电路208被传输到vr设备120，而无需由处理器130执行任何成像处理。
处理器130还被配置为经由i/o电路208从vr设备120接收由vr跟踪系统122确定的跟踪数据，并且对所确定的跟踪数据进行处理以选择患者p内的外科手术部位s处的目标(例如，目标t)。处理器130还被配置为基于采集的实况图像和经处理的所确定的跟踪数据确定机器人101的一个或多个末端执行器(例如，包括说明性仪器113)到达选择的目标t的路径。处理器130经由i/o电路208将机器人控制信号传输到机器人101，以将一个或多个末端执行器沿着所确定的路径移动到选择的目标t。
因此，i/o电路208经由内窥镜142和内窥镜控制器140从图像采集设备112接收采集的实况图像，并且向处理器130和/或向vr设备120(在图像处理之后从处理器130直接或向前)提供采集的实况图像以用于显示在显示单元121上。i/o电路208也从vr设备120接收输入数据(包括跟踪数据)，它向处理器130提供所述输入数据，并且向机器人101发送由处理器130响应于跟踪数据而被确定的机器人控制信号。
参考(在图1和2中示出的)vr设备120，显示单元121包括可以共同位于用户附近的一个或多个显示器。例如，参考图3和4a，当vr设备120被实施为hmd设备时，显示单元121可以被附接到头戴件220的前面，直接在用户333的眼睛前面，像护目镜一样。显示单元121被配置为显示外科手术部位s的实况图像，如上面讨论的，并且用户移动他或她的头部和/或眼睛，观察被显示在显示单元121上的实况图像并且跟踪目标以用于选择，由此模拟外科医生移动他或她的头部和/或眼睛以观察外科手术部位并且执行程序的实际外科手术程序。当图像采集设备112提供立体图像时，被显示在显示单元121上的实况图像可以看来是三维的。在实施例中，显示单元121还可以显示术前图像。因此，来自至少一个图像采集设备112的图像被捕获，并且被显示在hmd设备中。
参考图3，具体地，图3是示出作为根据本发明的说明性实施例的外科手术机器人系统100或200的部分的具有头部跟踪能力的hmd设备的示意图，hmd设备的vr跟踪系统122被配置为基于用户的头部的运动生成跟踪数据。例如，立体内窥镜采集外科手术部位s的实况图像，并且实况图像被显示在hmd设备上。立体内窥镜可以是由机器人101和控制单元106控制的图像采集设备112、或未被附接到机器人101并且由参考图2讨论的单独的内窥镜控制器140控制的内窥镜142。
用户333可以使用输入设备126(例如，脚踏板、推动按钮或语音命令)激活头部跟踪模式。vr跟踪系统122跟踪用户的头部的运动，并且向处理器130发送跟踪数据来计算运动，以在hmd设备中的显示单元121的背面上的屏幕或观察器(未示出)上选择目标t。例如，运动计算可以使用图像平面中的平面头部运动来执行。在此情况下，至少一个运动传感器124可以包括测量用户333的头部运动的一个或多个加速度计。更具体地，在描绘的实施例中，vr跟踪系统122包括三个加速度计，用于测量围绕y-轴的头部运动(指示偏航)的第一加速度计221、用于测量围绕z-轴的头部运动(指示翻滚)的第二加速度计222、用于测量围绕x-轴的头部运动(指示俯仰)的第三加速度计223。vr跟踪系统122将分别通过第一至第三加速度计221-223检测的轴向运动转变为跟踪数据，所述跟踪数据作为输入数据经由i/o电路108被提供给处理器130。
处理器130然后能够通过处理跟踪数据以确定用户的头部相对于显示单元121(和被显示在其上的实况图像)的角度来识别或选择目标t，其中，头部角度指示实况图像的区域或点，所述实况图像的区域或点构成用户333正在观看的外科手术部位s内的目标t。一旦用户333满意显示单元121上的外科手术视野s中的目标t的位置，承认信号就可以被发送到控制系统106中的处理器130(例如，经由脚踏板、推动按钮或语音命令)。处理器130可以分配(或寻址)对应于选择的目标t的二维或三维中的坐标。知晓患者p的身体中的进入点e的位置和选择的目标t的坐标以及来自图像采集设备112(或内窥镜142)的采集的实况图像的数据库，处理器130能够确定能由机器人101操作的至少一个仪器113到达选择的目标t的路径(或(一个或多个)向量)。确定机器人控制的仪器到达患者的外科手术部位中的目标的这种路径的范例由popovic等人的美国专利no.8934003(2015年1月13日)提供，其以引用方式被并入本文。处理器130然后能够将机器人控制信号传输到机器人101，使机器人101将至少一个仪器113的远端经由所确定的路径引导到目标t。即，控制系统106向机器人101发出移动到选择的目标t的位置的命令。机器人101的每个关节的所需的运动由处理器130使用本领域中已知的方法来实施。例如，机器人101可以利用本领域中已知的视觉伺服方法。
参考图4a，hmd设备的vr跟踪系统122被配置为基于用户的头部的运动生成跟踪数据，如在上面参考图3讨论的。同样，用户333可以使用输入设备126(例如，脚踏板、推动按钮或语音命令)激活头部跟踪模式。至少一个运动传感器124可以包括测量围绕相应轴的用户333的头部运动的一个或多个加速度计(第一至第三加速度计221-223)。vr跟踪系统122将轴向运动转变为跟踪数据，所述跟踪数据作为输入数据经由i/o电路108被提供到处理器130。处理器130然后能够通过处理跟踪数据以确定用户的头部相对于显示单元121(和被显示在其上的实况图像)的角度来识别或选择目标t，如在上面讨论的。
然而，图4a具体地描绘了当图像采集设备112包括作为机器人的部分的前视相机时的操作，所述机器人可以是保持用于微创外科手术的刚性内窥镜的多连杆或同中心弧机器人、或如在图4b中示出的用于穿过自然孔口150(例如，支气管镜检查)的蛇形或导管状机器人1000。在描绘的实施例中，用户333可以执行解剖结构的虚拟走查，并且机器人1000正在遵循该路径。目标选择和运动是连续的。换言之，处理器130被配置为处理来自前视相机的前视图像，以连续行进模式处理来自hmd的所确定的头部跟踪和/或眼睛跟踪数据，并且传输机器人控制信号以使机器人基于前视图像和所确定的头部跟踪或眼睛跟踪数据以连续行进模式在患者中移动前视相机。
如上面提到的，vr设备120的运动传感器124可以是眼睛跟踪系统，包括用于检测用户的眼睛的移动的两个后向相机。例如，当vr设备120是如上面讨论的包括由用户333穿戴的头戴件220的hmd设备时，这可以被实施，所述hmd设备包括显示单元121和两个后向相机，所述两个后向相机邻近显示单元121被安装在头戴件220上或在显示单元121本身的背面上。
图6是示出作为根据本发明的说明性实施例的外科手术机器人系统100或200的部分的具有眼睛跟踪能力的hmd设备的示意图。参考图6，由用户333穿戴的头戴件220上的显示单元121的背面具有包括左目镜331和右目镜332的双目屏幕或观察器，左目镜331和右目镜332分别与用户333的左眼和右眼对准。显示单元121的背面还包括被指示为左眼跟踪器335和右眼跟踪器336的两个后向相机，两个后向相机被具体配置为跟随用户的眼睛的虹膜。目标选择然后使用被集成在hmd设备和/或处理器130中的眼睛跟踪系统来执行。眼睛移动分别被绘制在左和右目镜331和332上、和/或被处理器130绘制到外科手术部位s，并且目标t被相应地移动。因此，vr跟踪系统122的跟踪信号被称为眼睛跟踪信号。在备选配置中，显示单元121的背面可以包括用于显示实况图像的单个(单目)屏幕或观察器。然而，仍然可以存在两个后向相机(左眼跟踪器335和右眼跟踪器336)，以实现眼睛跟踪能力。
再次参考图1，控制单元106可以在本文中被广泛地定义为在结构上被配置为提供一个或多个控制命令以控制外科手术部位s和解剖结构对象或目标t处的与机器人101的柔性远侧部分103有关的实况和术前图像的采集和处理并且利用与来自vr设备130的目标t的选择有关的跟踪信息来确定到目标t的路径并进一步控制柔性远侧部分103的任何控制器。一般地，i/o电路108控制控制单元106外部的元件与设备之间的通信。i/o电路108充当包括解读到/来自处理器130、vr设备120和机器人101的输入和输出信号或数据的必要逻辑的接口。i/o电路108可以包括被配置为从图像采集设备112接收采集的实况图像的第一输入端和被配置为向处理器130和vr设备120中的至少一个提供采集的实况图像最终用于显示的第一输出端。i/o电路108可以还包括被配置为从vr设备120接收所确定的输入数据(包括跟踪数据)的第二输入端、被配置为向处理器130(其作出响应而处理输入数据以识别并选择目标t)提供所确定的输入数据的第二输出端、和被配置为向机器人101提供机器人控制信号的第三输出端。
处理器130可以使用硬件、软件和固件的组合来执行所描述的功能和操作。处理器130被配置为处理与外科手术部位s处的外科手术机器人101的柔性远侧部分103有关的医学影像(例如来自图像采集设备112或外部医学影像设备)，以配准柔性远侧部分103与外科手术部位s处的对应解剖结构。处理器130可以被配置为处理来自位置跟踪系统(未示出)的外科手术机器人101的刚性近侧部分102的额外位置跟踪信息，以确定刚性近侧部分102的运动。与跟踪系统120分开的位置跟踪系统可以是光学跟踪系统、机械跟踪系统和电磁跟踪系统中的一个或多个，如本领域技术人员将会意识到的。传感器或标签(例如发光二极管(led)、被动标记、反射标记等)可以被包括在外科手术机器人101的刚性近侧部分102处，以与位置跟踪系统协作。在实施例中，可以提供位置补偿模式，根据所述位置补偿模式，处理器130被配置为基于刚性近侧部分102的所确定的位置和运动生成用于外科手术机器人101的柔性远侧部分103的运动补偿信号。
额外地参考图2-4，机器人101是灵巧的，并且通过进入点e被插入到患者内。刚性近侧部分102可以是手持的。该刚性近侧部分102围绕进入点e(“枢转点”)枢转。柔性远侧部分103在患者p内部移动而不伤害进入点e。
在位置补偿模式中，与柔性远侧部分103有关的图像使用图像采集设备112或外部医学影像设备(例如如上面讨论的x-射线(或锥束ct、us、内窥镜等))来获取。柔性远侧部分103的形状和姿态和/或外科手术部位s内的配准使用本领域中已知的各种方法来确定，例如外科手术工具相对于术前外科手术计划和涉及基于图像的配准和工具跟踪配准的术中图像的实时跟踪。
即，因为具有或没有内窥镜142的机器人101引入额外的坐标系，机器人101与一些期望参考系的对准(位置和取向)难以保证和维持，因为它利用工作空间和运动约束来进行定位。配准解决了不同坐标系的未对准的问题，使得同一对准不需要由临床医师脑力执行。机器人101的配准实现了诸如术前图像到实况内窥镜供给的配准的能力，这能够帮助解剖结构目标的定位。术前图像可以包括3d图像，例如经由计算机断层摄影(ct)、超声、磁共振成像(mri)、正电子发射断层摄影(pet)、单光子发射计算机断层摄影(spect)等获得的那些。
存在将外科手术机器人101配准到它所在的工作空间的各种方法。配准能够通过匹配在图像采集设备112的实况视图中可见的特征与通过其他方式(例如术前ct)知晓的对应特征来执行。popovic的美国专利no.9095252(2015年8月4日)描述了内窥镜外科手术中的基于图像的配准和工具跟踪配准的范例，其以引用方式被并入本文。柔性远侧部分103的配准可以包括：1)(例如从上面讨论的外部医学影像设备)采集机器人101的柔性远侧部分103和周围解剖结构的术中图像并且执行配准；或2)从机器人101的柔性远侧部分103(例如从图像采集设备112，例如相机或超声换能器)采集周围解剖结构的图像。
实际上，所讨论的控制过程可以由通过被安装在任何平台(例如，通用计算机、专用集成电路(asic)等)上的硬件、软件和/或固件的任意组合体现的模块来实施。此外，过程可以由控制单元106的处理器130来执行。
本发明的实施例还可以涉及已经在其中存储了机器可读指令的非瞬态计算机可读存储介质136，机器可读指令被配置为由处理器130运行以控制包括外科手术机器人101的外科手术机器人系统100，外科手术机器人101具有要被定位在到患者p的身体的入口处的刚性近侧部分102和要被定位在患者p内的外科手术部位s处的柔性远侧部分103。对应的机器可读指令被配置为执行方法500。
图5是示出用于外科手术机器人系统的控制和引导并且可以例如由处理器130实施的方法500的代表性实施例的操作的流程图。为了图示的目的，应假设方法500由在图1中描绘的外科手术机器人系统100的版本来执行，但是该方法可以大体适于备选配置，包括外科手术机器人系统200，而不脱离本教导的范围。
参考图5，在操作s511中从图像采集设备接收采集的实况图像。实况图像可以例如通过机器人的远侧部分上的一个或多个相机来采集。实况图像可以是静止图像或视频，并且示出了外科手术部位。在备选实施例中，图像可以由内窥镜在机器人控制器或单独的内窥镜控制器的控制下进行采集。在操作s512中，实况图像(或实况图像数据)被传输到vr设备(例如hmd设备)，其中，实况图像可以被显示给用户。可以在将实况图像传输到vr设备之前对实况图像执行图像处理。当vr设备是hmd设备时，例如，实况图像可以被显示在hmd头戴件中的显示器屏幕或观察器上。或者，实况图像可以被显示在位于用户的视野内的固定位置处的单独显示单元(例如计算机监视器)。处理器还可以利用视觉指示符(例如运动的方向、目标位置、机器人位置等)来扩充用于传输到vr设备的采集的实况图像。
在操作513中从vr设备接收输入数据，其中，所述输入数据包括指示检测到的用户的运动的跟踪数据。例如，当vr设备是hmd设备时，检测到的运动可以是穿戴hmd头戴件的用户的头部运动或眼睛移动。hmd头戴件可以包括用于检测这样的运动的传感器，如上面讨论的。运动被vr设备中的vr跟踪系统转变为跟踪数据，并且例如被传输到处理器。或者，原始运动数据可以被传输到处理器，所述处理器转而将原始运动数据转变为跟踪数据。其他输入数据可以包括由用户输入的命令，例如用于突出显示器上的被显示的实况图像的特征(例如，识别选择的目标)的光标的移动、确认选择的目标的承认信号和激活其跟踪模式的类型(例如头部跟踪模式或眼睛跟踪模式)的激活信号。
在操作514中，处理从vr设备接收的输入数据以选择患者中的外科手术部位处的目标。一旦目标被选择，就在操作515中基于实况图像和经处理的所确定的输入数据确定能由外科手术机器人操作的末端执行器(或多个末端执行器)到达选择的目标的路径。然后在操作516中传输机器人控制信号，以使机器人引导末端执行器经由所确定的路径到达外科手术部位处的选择的目标。遍及图5的讨论，术语“传输”指的是通过信号通信的任何模式来发送，包括通过线缆或导体和/或通过无线通信。
尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是说明性或示范性的，而非限制性的；本发明不限于所公开的实施例。
本领域技术人员通过研究附图、说明书以及权利要求书，在实践请求保护的本发明时能够理解并实现对所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分提供的光学存储介质或固态介质，但是也可以分布在其他形式中，例如经由互联网或其他有线或无线的电信系统。权利要求中的任何附图标记都不应被解释为对范围的限制。