具有光学形状感测的成像设备的机器人控制的制作方法

具有光学形状感测的成像设备的机器人控制的制作方法
【专利摘要】一种用于跟踪设备图像的系统包括具有被配置为生成区域的图像的探头(146)的术中成像系统(110)。形状感测使能仪器(102)被配置为具有所述形状感测使能仪器中相对于所述区域可定位的部分。形状感测使能仪器具有与术中成像系统的坐标系配准的坐标系。机器人被配置为协调在所述探头与所述形状感测使能仪器之间的移动，使得形状感测使能仪器相对于所述区域的移动使探头被移动以将所述形状感测使能仪器维持在所述图像内。
【专利说明】
具有光学形状感测的成像设备的机器人控制
技术领域
[0001]本公开涉及医学仪器，并且更具体地涉及使用光学形状感测技术的机器人控制系统和方法。
【背景技术】
[0002]实时成像设备(诸如超声成像或任何类型的光学成像)的机器人控制目的在于在外科手术和介入过程期间简化成像设备的定位。操作者被允许执行对设备的远程控制或基于图像的控制。
[0003]使用传统输入设备(例如，控制杆)的远程控制的缺点是，对于操作者来说，未明确知道机器人坐标系和成像设备的坐标系与输出图像的映射。该映射通常在过程期间被学习并且能够导致延长的操作时间。
[0004]图像引导具有其他问题。这些问题可以包括图像引导能够跟踪仅仅在成像设备的视场内的目标，而最具挑战的目标，即不在视场中的那些，仍然无法访问。图像引导也要求使用图像处理方法来跟踪目标，由于遮挡视场或图像质量不佳，所述图像处理方法会失败。例如，在超声成像中，由于导管尖端的不佳的可视化和超声图像中的低信噪比，设备(如导管)难以跟踪。而且，在2D超声中，设备能够移动到观察平面之外。例如，在用内窥镜的光学成像中，视场能够明显小于感兴趣的解剖区域。而且，在腹腔镜手术中，设备能够离开视场，当操作者需要使用操作位点的视觉反馈时，其能够引起对组织的损伤。

【发明内容】

[0005]根据本原理，一种用于跟踪设备图像的系统包括具有被配置为生成针对区域的图像的探头的术中成像系统。形状感测使能仪器被配置为具有所述形状感测使能仪器中相对于所述区域可定位的部分。所述形状感测使能仪器具有与所述术中成像系统的坐标系配准的坐标系。机器人被配置为协调所述探头与所述形状感测使能仪器之间的移动，使得所述形状感测使能仪器相对于所述区域的移动使所述探头被移动以将所述形状感测使能仪器维持在所述图像内。
[0006]用于跟踪设备图像的另一系统包括具有被配置为生成针对区域的图像的探头的超声成像系统。形状感测使能仪器被配置为具有所述形状感测使能仪器中相对于所述区域可定位的至少部分。机器人被配置为协调所述探头与所述形状感测使能仪器之间的移动。机器人控制系统包括嵌套控制回路，其包括第一反馈回路和第二反馈回路，其中，所述第一反馈回路采用来自所述形状感测使能仪器的形状感测反馈，所述第二反馈回路采用机器人编码器信息作为针对所述探头的运动反馈，其中，所述控制系统维持所述形状感测使能仪器与所述探头之间的空间关系，使得所述形状感测使能仪器相对于所述区域的移动使探头被移动以将所述形状感测使能仪器维持在所述图像内。
[0007]—种用于跟踪设备图像的方法包括将形状感测使能仪器定位在将要被成像的内部区域;利用用于术中成像系统的探头对对象的所述内部区域进行成像以生成针对区域的图像;将所述形状感测使能仪器的坐标系与所述术中成像系统的坐标系配准;相对于所述形状感测使能仪器来以机器人方式定位所述探头，使得所述形状感测使能仪器被定位在所述图像内；并且，根据所述形状感测使能仪器的移动来以机器人方式重新定位所述探头。
[0008]通过结合附图阅读的图示性实施例的以下详细描述，本公开的这些和其他目的、特征和优点将变得显而易见。
【附图说明】
[0009]参考以下附图，在优选实施例的以下描述中将详细介绍本公开，其中:
[0010]图1是根据一个实施例示出被配置为使用机器人来跟踪形状感测使能设备或仪器与成像设备的用于图像跟踪的系统的方框/流程图；
[0011]图2是根据一个实施例示出追随形状感测使能设备或仪器以对体积或平面进行成像的内置换能器的对象的横截面视图；
[0012]图3是根据一个实施例示出用于机器人控制系统的嵌套控制回路的示意图；
[0013]图4A是根据本原理示出用于示出探头的可能运动范围的起始图像的示图；
[0014]图4B是根据本原理示出用于示出探头的可能运动范围的目标图像的示图；以及
[0015]图5是根据图示性实施例示出用于使用机器人来物理地跟踪形状感测使能设备或仪器与成像探头的方法的流程图。
【具体实施方式】
[0016]根据本原理，描述了系统、设备和方法，其提供使用光学形状感测技术的机器人的控制。以机器人方式控制的成像设备的图像引导通过允许操作者从最直观的框架(图像框架)中选择目标来解决前述映射问题。根据本原理，提供超声探头的机器人控制，以智能地跟踪光学形状感测(OSS)使能导管或其他设备。一种系统和方法被提供以通过感测设备的形状、将所述形状与机器人坐标框架配准以及引导机器人以将那些设备带入成像设备的视场在医学过程期间对设备进行可视化。本原理允许重新定位成像设备以到达在当前视图中不可见的目标。
[0017]光学形状感测介入设备可以被用于关闭以机器人方式启动的成像探头的反馈控制回路。机器人使用形状感测设备关于超声体积的已知位置来跟踪形状感测设备并且在过程期间将设备维持在视场内。智能跟踪也能够自动选择最佳切片或平面来在图像中示出形状感测设备。而且，跟踪能够考虑如何优化所选平面的图像分辨率。潜在的超声图像源可以包括经食管超声心动图(TEE)探头、儿科TEE、微型TEE、表面成像探头(例如，C5-2)或光学成像探头(内窥镜、支气管镜等)。其他设备和过程也可以从本原理中获益。
[0018]在一个实施例中，光学形状感测被用于创建虚拟超声图像。这可以使用例如超声探头与导管或形状感测使能设备之间的已知变换来进行，以将超声图像重新格式化，使得图像显示出如同换能器孔径在导管或设备上。然后光学形状感测导管能够允许孔径关于导管或相对于导管平移和旋转，只要虚拟孔径仍然在超声数据集内。另外，基于导管在超声体积中的位置，超声传输序列能够适于优化虚拟超声图像。为了将导管维持在超声成像体积内或相对于超声成像体积的位置处，使用来自形状感测导管的已知位置能够以机器人方式控制超声成像探头。通过将成像体积与设备对齐并且允许用于生成虚拟体积的探头的重新定位，机器人控制能够改进虚拟图像的生成。
[0019]潜在的超声图像源可以包括内部超声探头，诸如TEE;经直肠超声(TRUS);单一表面探头(例如，线性、弯曲、扇形、矩阵)；多表面探头(同时或按顺序或两者)等。超声探头(例如，头部位置)与形状感测使能设备(例如，导管)之间的潜在配准可以包括对超声探头的基于形状的感测(在部署之前的形状与形状的配准)；使用例如EchoNav?的超声探头(例如，TEE探头头部)的基于图像的配准、基于模型的途径、形状感测设备的基于X-射线的配准等；使用诸如TEE探头头部的电磁跟踪(在部署之前的EM到形状配准)、手持式探头的光学跟踪、基于超声图像的识别等技术的探头的备选跟踪。
[0020]设备的已知位置和平面能够被用于(通过机器人机械定位)改变超声传输型线。备选地，超声图像能够被用作输入以驱动设备朝向正被可视化/靶向的方向(例如，用于血管内超声(IVUS)撤回)。本原理允许任何形状感测使能设备被转换成具有添加外部超声探头的心腔内超声心动图(ICE)或IVUS设备。为了达到导航目的，已经被使能用于光学形状感测的任何设备能够被重新目的化以执行具有添加标准超声成像探头的虚拟IVUS。
[0021]本原理应用对外部或内部探头(例如超声)的机器人控制来相对于光学形状感测设备的位置移动超声体积，其可以被用于定义针对体积的孔径。光学形状感测设备可以包括导线或导管，但是能够扩展到内窥镜、支气管镜和其他这样的设备或应用。
[0022]应当理解，将在医学仪器方面描述本发明；然而，本发明的教导更广泛并且应用于使用OSS使能设备的任何以机器人方式控制的仪器。在一些实施例中，在跟踪或分析复杂生物或机械系统中采用本原理。具体而言，本原理适用于生物系统的内部跟踪过程和/或身体的所有区域(例如肺部、胃肠道、排泄器官、血管、心脏)中的过程等。附图中描绘的元件可以在硬件和软件的各种组合中实现，并且提供可以在单个元件或多个元件中组合的功能。
[0023]通过使用专用硬件以及能够与适当软件联合执行软件的硬件，能够提供在附图中示出的各个元件的功能。当由处理器提供所述功能时，由单个专用处理器、单个共享处理器、或多个个体处理器(其中一些能够被共享)能够提供所述功能。此外，术语“处理器”或“控制器”的明确使用不应被解读为仅仅指能够执行软件的硬件，并且能够隐含地包括，但不限于，数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储器等。
[0024]此外，本文列举的本发明的原理、方面和实施例，以及其具体范例的全部叙述旨在涵盖其结构和功能等效方案。此外，这样的等效方案旨在包括当前已知的等效方案以及将来开发的等效方案(即，不论结构如何，开发成执行相同功能的任何元件)。因此，例如，本领域技术人员将要认识到，这里给出的方框图表示体现本发明的原理的图示性系统部件和/或电路的概念视图。类似地，将认识到，任何流程表、流程图等表示各种过程，这些过程基本可以在计算机可读存储介质中表示，并由计算机或处理器执行，无论是否明确示出了这样的计算机或处理器。
[0025]而且，本发明的实施例能够采取从计算机可用存储介质或计算机可读存储介质可访问的计算机程序产品的形式，所述计算机可用存储介质或计算机可读存储介质提供由计算机或任何指令执行系统使用的或与其结合使用的程序代码。为了该描述的目的，计算机可用存储介质或计算机可读存储介质能够是任何装置，所述装置可以包括:存储、通信、传播或输送用于由指令执行系统、装置、或设备使用的或与其结合使用的程序。所述介质能够是电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)或传播介质。计算机可读介质的范例包括半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘以及光盘。光盘的当前范例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)、Blu-Ray? 以及 DVD。
[0026]现在参考附图，其中，同样的数字表示相同或类似的元件，并且首先参考图1，根据图示性实施例图示性地示出了使用一个或多个形状感测使能设备的机器人控制的系统100 O系统100可以包括工作站或控制台112，从所述工作站或控制台112监督并管理过程。工作站112优选地包括一个或多个处理器114和用于存储程序和应用的存储器116。存储器116可以存储光学感测模块115，所述光学感测模块被配置为解读来自形状感测设备或系统104的光学反馈信号。光学感测模块115被配置为使用光学信号反馈(和任何其他反馈，例如，电磁(EM)跟踪、超声等)以重建与医学设备或仪器102(也被称为形状感测使能设备或仪器、光学形状感测(OSS)设备、OSS导管、导管等)相关联的变形、偏转和其他改变。在一些实施例中，医学仪器102可以包括导管、导线、探头、内窥镜、机器人、电极、过滤器设备、气囊设备或其他医学部件等。
[0027]在仪器102上的形状感测系统或设备104包括一个或多个光纤(或纤芯或信道)126，其被耦合到处于设置模式或多个模式的仪器102。光纤126通过电缆127连接到工作站112。根据需要，所述电缆127可以包括光纤、电连接、其他仪器等。
[0028]具有光纤的形状感测系统104可以基于光纤布拉格光栅传感器。光纤布拉格光栅(FBG)是反射光的特定波长并且传递全部其他波长的一小段光纤。这通过在纤芯中添加折射率的周期性变化来实现，所述折射率的周期性变化生成波长特异性的介质镜。因此，光纤布拉格光栅能够用作内联光学滤波器，以阻挡某些波长，或作为波长特异性的反射镜。
[0029]纤维布拉格光栅的操作背后的基本原理是在折射率改变的每个界面处的菲涅尔反射。对于一些波长，多个周期的反射光同相，由此存在用于反射的相长干涉并且因此存在用于传输的相消干涉。布拉格波长对应变和温度敏感。这意味着布拉格光栅能够用作光纤传感器中的感测元件(作为沿着纤维的离散或连续元件)。在FBG传感器中，被测变量(例如，应变)引起布拉格波长的位移。
[0030]该技术的一个优点是能够在纤维的长度上分布多个传感器元件。将三个或更多核并入沿着被嵌入结构的纤维的长度上的多个传感器(计量表)，允许要被精确确定的这样结构的三维形式，通常具有优于Imm的精度。在沿着光纤的长度上的多个位置处，能够定位多个FBG传感器(例如，3个或更多纤维感测核)。根据每个FBG的应变测量结果，能够推断在那个位置处的结构的曲率。根据多个测量的位置，确定完整的三维形式。
[0031]作为光纤布拉格光栅的备选，能够利用在常规光纤中的固有的反向散射。一个这样的途径是使用在标准单一模式通信纤维中的瑞利散射。瑞利散射发生作为在纤维核中折射率随机波动的结果。这些随机波动能够被建模作为具有沿着光栅长度的幅度和相位的随机变化的布拉格光栅。通过在多核纤维的单一长度内运转的三个或更多核中使用该效应，能够跟随感兴趣表面的3D形状和动力学。
[0032]光学形状感测(OSS)在外科介入期间使用沿着的多核光纤的光用于设备定位和导航。所涉及的原理利用使用特征瑞利反向散射或受控栅格图案在光纤中的分布式应力测量结果。沿着光纤的形状起始于沿着传感器的具体点，被称为发动区域156或z = 0，后续形状位置和取向相对于所述点。被集成到医学设备(诸如导管和导线)的光学形状感测纤维在微创过程期间提供对设备的实况引导，并且能够提供整个仪器102的位置和取向。
[0033]在一个实施例中，工作站112包括图像生成模块148，其被配置为接收关于感测设备104在哪里或已经在对象160中的来自形状感测设备104的反馈(位置数据)。尽管可以采用其他术中成像系统，使用成像系统110，诸如超声成像系统，在对象160内对图像体积(或数据集)131进行成像。使用一个或多个内部或外部探头或换能器146(也被称为探头、探头头部、超声探头头部、TEE探头头部等)从成像系统110中收集数据集的一幅或多幅图像134以标出图像体积131。在显示设备118上能够显示图像134。图像134可以被覆盖在其他术前或术中图像上，与其融合或以其他方式沿着其进行描绘。
[0034]工作站112包括显示器118，其用于观察对象(患者或其他物体)160或体积131的内部图像。显示器118也可以允许用户与工作站112及其部件和功能或系统100内的任何其他元件交互。通过接口 120更便于完成该过程，所述接口 120可以包括键盘、鼠标、操纵杆、触感设备或任何其他外围设备或控制模态，以允许用户从工作站112反馈并且与工作站112交互。
[0035]根据本原理，形状感测使能仪器102和超声探头或换能器146可以具有使用机器人系统108协调的其移动。超声探头146可以被耦合到超声成像系统110，其可以是控制台112的部分或可以是单独的单元。超声图像131能够根据单个换能器，例如，经食管超声心动图(TEE)换能器、鼻TEE探头或外部表面探头(诸如，C5-2探头等)来生成，并且可以包括体积(3D图像)、平面或切片(2D图像)。超声探头146可以是外部探头或内部探头。尽管本文描述了超声成像，也可以采用其他成像模式。
[0036]在特别有用的实施例中，OSS使能仪器102在对象160内被操控以在外科手术过程期间执行功能。当OSS使能仪器102被定位在对象内时，机器人系统108跟踪仪器102(或多个仪器)的部分。在仪器102的远端部分(或其他部分)上的不同形状或特征可以被用作针对成像探头146的目标。OSS使能仪器102和成像探头146可以被配准，使得OSS使能仪器102的移动使机器人系统108相应地移动探头146。探头146沿着对象160的表面移动，并且需要监测对对象的压力和声耦合，以确保对对象160没有伤害以及适当的成像。可以使用控制系统140来控制机器人系统108。控制系统140也可以允许手动用户控制和/或基于图像的引导。控制系统140可以包括硬件、软件或其组合。
[0037]以多种方式可以实现探头146与OSS使能仪器102之间的配准。配准模块158可以被包括以处理对于系统的配准操作。配准的一个方法可以包括具有对于两个设备的机器人系统108控制运动。其他方法包括将探头146和OSS使能仪器102的坐标框架配准到公共坐标框架等。也可以使用其他配准方法来建立探头146与OSS使能仪器102之间的配准。例如，将超声探头146(头部位置)与OSS使能仪器102(例如，形状感测导管)配准的这样的配准技术可以包括采用:探头头部的EchoNav?配准(形状感测设备的基于X-射线的配准)；探头头部的电磁跟踪(在部署之前EM到形状配准)，探头头部的光学形状感测跟踪(在部署之前的形状到形状配准)等。
[0038]在另一实施例中，可以执行基于荧光镜检查的配准。例如，TEE探头头部146能够被配准到X-射线图像(例如，如在EchoNav?中)，并且OSS导管102也能够被配准到X-射线图像，提供TEE探头头部146与OSS使能仪器102之间的变换。TEE探头头部146将需要经由X-射线(例如，通过机器人系统108)被动态跟踪，而OSS使能仪器102仅仅需要被配准到x-射线图像一次。在又一实施例中，可以采用备选地跟踪换能器146和形状感测导管102。使用其他跟踪技术(例如，针对外部换能器的电磁跟踪或光学跟踪)能够跟踪换能器或探头头部146，并且光学形状感测使能仪器102的发动装置156能够被配准到所述备选跟踪解决方案。其他配准技术和方法也是可能的，并且根据本原理预期其他配准技术和方法。
[0039]在一个实施例中，为了允许在导管或仪器102的正确平面中适当生成视图，机器人控制系统140的控制方案能够被修改，使得通过导管102的近端的形状引导US探头146。在该实施例中，导管102的形状被拟合到平面。平面到探头工作空间中的点的取向被优化，使得物理图像平面中的仪器102最大化。在又一实施例中，机器人108能够移动到最优位置以生成超声体积，并且然后返回到原始位置来将一些其他特征(例如，另一设备或解剖特征)可视化。通过保存在离散时刻处的仪器102的远尖端的位置(或其他位置)在超声体积(以及由此探头坐标系)中能够“标记”这样的特征的位置。甚至当形状感测仪器102已经被导航远离定位时，则能够通过探头146对定位进行重新成像。
[0040]通过仪器102的远部可以确定最优平面，以确定探头146的最优位置。由于该运动根据机器人编码器和机器人工作空间将是已知的，在参考框架中空间关系是已知的并且能够被可视化。根据物理体积能够更新并且在“离线”体积可视化情境中可以示出在新探头位置中可见的体积的那些部分。机器人系统108能够在两个不同位置之间移动以更新整个体积、在图像之间循环等。
[0041]在三维成像中，超声体积131可以被重新采样以仅仅提取包括仪器102的切片(或体积131的子集)。具体地，这能够通过提取最佳地示出仪器102的远部的平面来执行。在二维成像中，当移动机器人系统108时，2D切片能够被调整以最佳地捕捉仪器102的平面。通过采用模式识别或其他图像处理技术(例如，使用图像处理器148)可以执行提取仪器102的图像，以识别图像中的仪器102。使用配准信息也可以确定仪器102位置，并且基于用户偏好可以确定最优切片或位置。也可以采用和预期其他方法。
[0042]在一个实施例中，为了允许在导管102的正确平面中适当生成视图，控制方案能够被修改，使得通过导管102的近端的形状引导US探头146。在该实施例中，导管102的形状被拟合到平面。平面到在探头工作空间中的点的取向被优化，使得平面被对齐到仪器102的期望视图，例如，可以使仪器102的形状的平面与物理图像平面之间的角度最小化。在又一实施例中，机器人系统108能够移动到最优位置以生成超声体积，并且然后返回到原始位置来将一些其他特征(例如，另一设备或解剖特征)可视化。通过仪器102的远部可以确定最优平面，以确定探头头部146的最优位置。由于根据机器人编码器和机器人工作空间该运动将是已知的，在参考框架中空间关系是已知的并且能够被可视化。根据物理体积能够更新并且在“离线”体积可视化情境中示出在新探头位置中可见的体积的那些部分。机器人系统108能够在两个不同位置之间移动以更新目标或整个体积。
[0043]参考图2，横截面示图示出了具有TEE探头206上的TEE换能器204的患者202。换能器204通过患者202的食管并且创建在患者202内的超声成像体积208。成像体积208与在其中形状感测使能仪器214(例如，导管)具有其中的光学形状感测纤维212的一个或多个区域重叠。仪器214可以被提供通过端口或通过在患者中的自然孔口。基于仪器214，成像体积208被定位在所选的位置和取向处。TEE探头206被以机器人方式控制并且被用于将形状感测使能仪器214可视化，其被描绘为血管内导管。基于导管214的远端形状来选择三维成像体积208的最优平面220。导管214的远端形状被用作用于定义观察平面220的机制，在特别有用的实施例中，其包括观察平面220内的工具的可视化。即，根据仪器214的远部的形状，使用具有被配置用于在3D成像体积208内显示的最优切片或平面220的以机器人方式控制的TEE探头206将血管内形状感测导管214可视化。预先弯曲的血管内导管形状的范例，其能够被认为定义观察平面，可以包括，例如，通过例如CobraTM、Berenstein?、SIM2?等提供的仪器的形状。也可以采用自定义形状。
[0044]在临床过程期间，操作者可以需要将仪器214维持在超声视场(FOV)内。在介入过程期间，当操作者在相关临床目标之间导航时，可以不断地或间歇地移动仪器214。在多个定位之间切换的范例可以包括当介入心脏病学家朝心脏的二尖瓣导航导管以部署设备，诸如修剪等。存在将仪器214移入和移出成像平面的心跳或呼吸导致的周期性运动。在一些临床应用中，多个目标可以需要在过程期间被可视化。例如，在瓣膜旁周漏的情况下，介入医师将要在周漏本身与可以被用于关闭周漏的许多导管之间切换视图。由于视场是有限的，超声体积不能够一次将所有区域可视化。
[0045]根据本原理，形状感测系统212被配置为询问在多个位置或区域中的形状。也可以具有在过程期间使用的一个或多个工具或仪器上或与其一起采用的多个形状感测系统212。这些工具或仪器可以包括导管或任何其他设备。形状感测系统212优选地包括嵌入在其中的一个或多个光纤。探头206，例如，超声探头，诸如TEE探头，被配置为采集2D或30图像。机器人系统226被配置为根据来自机器人控制和/或用户交互系统228的命令来移动探头。
[0046]在一个实施例中，TEE探头206被插入患者202以对心脏进行可视化。形状感测使能仪器(导管)214被引入心脏以执行过程。用户选择多个目标(具有在其中集成的形状感测纤维的导管或其他设备)以使其坐标系232被配准到机器人坐标框架230，并且随后带入超声探头206的视场。
[0047]在过程期间，用户能够选择机器人控制的不同模式。这些可以包括由用户选择的连续模式，使得机器人连续跟踪设备214以便使设备214维持在视场中。另一模式包括静态模式，其中用户能够选择该模式，使得机器人移动到明确命令以对具体目标进行可视化，而不连续更新位置。另一模式能够包括切换模式，其中用户能够选择该模式，使得机器人对回路中的所有目标(例如，按顺序显示每个视图)进行可视化。该模式能够用于核对所有设备和解剖结构的位置和状态。也预期其他模式，其可以包括所描述的模式或其他模式。例如，可以采用分区屏幕模式，代替切换模式来同时查看多个目标。
[0048]参考图3，根据一个图示性实施例示出了嵌套闭合回路反馈控制系统300。控制系统300可以被用于控制机器人(108，图1; 226，图2)。在该控制系统300中，更高水平的控制回路302使用导管远尖端(形状感测反馈304)关于超声探头头部306的已知位置作为对较低水平控制器303的输入。该较低水平控制器303监测编码器位置(编码器反馈)308，并且相应地更新电机位置310。图3的控制方案能够被用于任何类型的机器人和成像设备。图示性嵌套控制回路300利用形状感测反馈304来以机器人方式控制超声体积(探头头部306)以维持关于形状感测介入设备(102，图1 ;214，图2)的固定关系。由机器人来调整超声探头位置以将导管带入超声视场内，不论在一些离散时间或在连续回路中。
[0049]再次参考图2，在调整期间，机器人控制228需要同时考虑多个因素作为反馈数据。例如，探头头部206的运动需要导致移动成像体积208或2D切片220，使得设备214在视场内。机器人控制228需要监测探头头部206与组织表面之间的接触力以确保不施加过量的力，同时维持足够的力来确保声耦合。也需要考虑超声探头206的其他物理约束(例如，TEE探头206可以具有可能位置的边界范围)。在以机器人方式控制的TEE探头206的情况下，对机器人226的控制可以包括对两个刻度盘的控制，用于改变探头206的弯曲探头尖端的位置。
[0050]参考图4A和4B并继续参考图2，TEE探头(206)的视场的范例能够被调整以通过从图4A中的起始位置406朝向图4B中的目标位置405操纵探头头部404来对目标402进行成像。在球体410的表面上的纹理区408表示当经由刻度盘控制时的TEE探头(206)的运动的允许范围。球体410上的每个点具有探头头部206的固有取向407，即，对应的图像体积。球体410的点和与那些点相关联的体积取向407是探头206的特征，并且能够被存储在机器人控制系统228中的查找表中或其他数据存储结构。一旦在机器人226的坐标框架230中选择目标402，计算US体积208的理想取向，使得目标402在体积208的中间。该取向被匹配到查找表中的最近取向，所述最近取向被匹配到探头位置。
[0051]机器人226试图通过控制例如两个刻盘同时约束对组织的力来到达所述位置。压力传感器或其他传感器或测量结果(例如，电机电流)可以被用作用于满足这些约束的反馈。如果在运动中未施加过度的力，机器人226将到达最优位置来观察目标402。如果达到力极限，成像设备的视点将是次优的，但将是考虑到约束的最可能视点。
[0052]对成像设备的机器人控制可以具有用于超声探头的控制的许多实施方案。例如，可以采用用于控制在TEE探头的手柄上的刻度盘并且以机器人方式控制可操纵探头尖端的位置的系统，以及其他机器人系统和方法。
[0053]为了减少对临床工作流程的影响，(一个或多个)超声探头能够被以机器人方式控制，以将导管位置维持在超声数据集内。在由于缺少在超声换能器头部与表面之间的耦合或压力(经由图像处理或手动观察探测到)导致超声质量降低或损失的情况下，机器人能够(通过，例如增加对表面的压力或释放凝胶)探测和补偿所述耦合或压力，并且然后继续执行成像。机器人控制能够同时维持成像体积，能够针对图像分辨率优化换能器的物理位置，并且能够在临床应用的物理约束内工作以维持与组织的适当接触以便成像，而将患者上的力最小化。在以机器人方式控制的TEE探头的情况下，机器人的控制可以包括对TEE探头的两个刻度盘的控制，用于改变弯曲探头尖端的位置。
[0054]本原理应用于使用来自形状感测仪器的输入对成像探头(例如，超声)的任何机器人控制。这应用于导线、导管(手动和机器人的)等，并且能够扩展到其他设备和应用，例如，内窥镜、支气管镜和其他这样的应用。
[0055]参考图5，根据图示性实施例示出了一种用于物理地跟踪设备的图像的方法。在方框502中，形状感测使能设备或仪器被定位在要被成像的内部区域内。形状感测使能设备可以包括导管或其他仪器。在方框504中，使用术中成像系统的探头和/或换能器对对象的内部区域进行成像以生成针对区域的图像。探头可以包括超声探头，尽管可以采用其他成像设备。所述图像可以包括二维或三维图像。
[0056]在方框508中，将所述形状感测使能设备的坐标系与所述术中成像系统的坐标系配准。这可以使用多个不同方法来执行。在方框512中，相对于所述形状感测使能设备以机器人方式定位所述探头，使得所述形状感测使能设备被定位在所述图像内。机器人可以被编程以将形状感测使能设备在图像中居中，尽管可以采用其他几何布置或关系。
[0057]在方框518中，根据形状感测使能设备的移动以机器人方式重新定位探头。当形状感测使能设备移动时，探头跟踪该移动以确保形状感测使能设备和/或感兴趣的周围区域仍然在被显示的视场中。在方框520中，来自术中成像系统的图像被优化以提供包括形状感测使能设备或其他优选视图的视场。优化可以包括将图像中的设备的尺寸最大化，将图像中的设备的尺寸最小化，将图像中的设备居中等。
[0058]在方框522中，定位或重新定位探头可以包括根据所述起始位置与所述目标位置之间允许的运动范围在起始位置与目标位置之间操纵探头。在方框524中，运动范围可以被存储在数据结构中，诸如查找表中。在方框526中，探头可以被操纵到最近位置，被存储在对应最靠近目标位置的查找表中。
[0059]在方框528中，机器人移动被约束，例如，以提供在探头与对象之间的声或其他耦合，防止对患者的伤害，约束机器人的运动等。在方框530中，机器人可以被控制，使得所述机器人在多个形状感测使能设备或仪器之间移动探头以在各图像之间进行切换。
[0060]在解读所附权利要求中，应当理解:
[0061]a) “包括”一词不排除在给定权利要求中列举的元件或动作之外存在其他元件或动作；
[0062]b)元件前的“一”或“一个” 一词不排除存在多个这样的元件；
[0063]c)在权利要求中的任何参考标记不限制其范围；
[0064]d)若干“单元”可以由相同的项目或硬件或实施结构或功能的软件来表示；以及
[0065]e)不意为对动作的具体顺序做出要求，除非具体指示。
[0066]已经描述了具有光学形状感测的成像设备的机器人控制的优选实施例(其旨在图示而非限制)，应当注意，按照以上教导，本领域技术人员能够做出修改和变型。因此，应当理解，在本公开的具体实施例中可以做出改变，所述改变在如权利要求书概括的在本文中公开的实施例的范围之内。由此，已经描述了由专利法要求的详情和特征，在附加权利要求中陈述和需要专利特许证保护的权利要求。
【主权项】
1.一种用于跟踪设备图像的系统，包括: 术中成像系统(110)，其具有探头(146)，所述探头被配置为生成针对区域的图像； 形状感测使能仪器(102)，其被配置为具有所述形状感测使能仪器中相对于所述区域能够定位的至少部分，所述形状感测使能仪器具有与所述术中成像系统的坐标系配准的坐标系；以及 机器人(108)，其被配置为协调所述探头与所述形状感测使能仪器之间的移动，使得所述形状感测使能仪器相对于所述区域的移动使所述探头被移动，以将所述形状感测使能仪器维持在所述图像内。2.根据权利要求1所述的系统，其中，所述探头(146)包括超声探头，并且所述图像包括二维图像或三维图像。3.根据权利要求2所述的系统，其中，所述机器人(108)被配置为根据起始位置与目标位置之间允许的运动范围在所述起始位置与所述目标位置之间操纵所述探头。4.根据权利要求3所述的系统，还包括机器人控制系统(140)，所述机器人控制系统被配置为将运动范围信息存储在查找表中，所述机器人控制系统被配置为将所述探头操纵到被存储在所述查找表中的距离所述目标位置的最近位置。5.根据权利要求2所述的系统，其中，所述机器人(108)被约束以提供所述探头的换能器耦合并且被约束以防止对患者的伤害。6.根据权利要求1所述的系统，还包括机器人控制系统(300)，所述机器人控制系统包括嵌套控制回路，所述嵌套控制回路包括第一反馈回路和第二反馈回路，其中，所述第一反馈回路采用来自所述形状感测使能仪器的形状感测反馈，所述第二反馈回路采用机器人编码器信息作为针对所述探头的运动反馈，使得所述控制系统维持所述形状感测使能仪器与所述探头之间的空间关系。7.根据权利要求1所述的系统，还包括多个形状感测使能仪器，并且还包括用于机器人控制的切换模式，使得所述机器人在所述多个形状感测使能仪器之间移动所述探头，以在各图像之间进行切换。8.根据权利要求1所述的系统，其中，来自所述术中成像系统的图像被优化以提供包括所述形状感测使能仪器的视场。9.一种用于跟踪设备图像的系统，包括: 超声成像系统(110)，其具有探头(146)，所述探头(146)被配置为生成针对区域的图像； 形状感测使能仪器(102)，其被配置为具有所述形状感测使能仪器中相对于所述区域能够定位的至少部分； 机器人(108)，其被配置为协调所述探头与所述形状感测使能仪器之间的移动；以及 机器人控制系统(140)，其包括嵌套控制回路，所述嵌套控制回路包括第一反馈回路和第二反馈回路，其中，所述第一反馈回路采用来自所述形状感测使能仪器的形状感测反馈，所述第二反馈回路采用机器人编码器信息作为针对所述探头的运动反馈，其中，所述控制系统维持所述形状感测使能仪器与所述探头之间的空间关系，使得所述形状感测使能仪器相对于所述区域的移动使所述探头被移动，以将所述形状感测使能仪器维持在所述图像内。10.根据权利要求9所述的系统，其中，所述图像包括二维图像或三维图像。11.根据权利要求9所述的系统，其中，所述机器人(108)被配置为根据起始位置与目标位置之间允许的运动范围在所述起始位置与所述目标位置之间操纵所述探头。12.根据权利要求11所述的系统，其中，所述机器人控制系统(140)被配置为将运动范围信息存储在查找表中，所述机器人控制系统被配置为将所述探头操纵到被存储在所述查找表中的距离所述目标位置的最近位置。13.根据权利要求9所述的系统，其中，所述机器人(108)被约束以提供声耦合并且被约束以防止对患者的伤害。14.根据权利要求9所述的系统，还包括多个形状感测使能仪器，并且还包括用于机器人控制的切换模式，使得所述机器人在所述多个形状感测使能仪器之间移动所述探头，以在各图像之间进行切换。15.根据权利要求9所述的系统，其中，来自所述术中成像系统的图像被优化以提供包括所述形状感测使能仪器的视场。16.—种用于跟踪设备图像的方法，包括: 相对于要被成像的内部区域定位(502)形状感测使能仪器； 利用用于术中成像系统的探头对对象的所述内部区域进行成像(502)，以生成针对所述区域的图像； 将所述形状感测使能仪器的坐标系与所述术中成像系统的坐标系进行配准(508); 相对于所述形状感测使能仪器以机器人方式定位(512)所述探头，使得所述形状感测使能仪器被定位在所述图像内；并且 根据所述形状感测使能仪器的移动以机器人方式重新定位(518)所述探头。17.根据权利要求16所述的方法，其中，所述图像包括二维图像或三维图像。18.根据权利要求16所述的方法，还包括优化(520)来自所述术中成像系统的所述图像，以提供包括所述形状感测使能仪器的视场。19.根据权利要求16所述的方法，还包括根据起始位置与目标位置之间允许的运动范围在所述起始位置与所述目标位置之间操纵(524)所述探头。20.根据权利要求19所述的方法，还包括:将运动范围信息存储(526)在查找表中；并且将所述探头操纵到(524)被存储在所述查找表中的距离所述目标位置的最近位置。21.根据权利要求16所述的方法，还包括约束(528)机器人移动以提供能量耦合并且防止对患者的伤害。22.根据权利要求16所述的方法，还包括控制(530)机器人，使得所述机器人在多个形状感测使能仪器之间移动所述探头以在各图像之间进行切换。
【文档编号】A61B34/30GK105934215SQ201480073795
【公开日】2016年9月7日
【申请日】2014年12月11日
【发明人】D·P·努南, M·L·弗莱克斯曼, A·波波维奇
【申请人】皇家飞利浦有限公司