具有光学形状感测设备视角的虚拟图像的制作方法
【专利摘要】一种用于提供针对虚拟图像的视角的系统，包括具有换能器(146)的术中成像系统(110)，所述术中成像系统被配置为生成针对一区域的图像数据集。形状感测使能的设备(102)被配置为使所述形状感测使能的设备的至少一部分相对于所述区域被定位。所述形状感测使能的设备具有与术中成像系统的坐标系相配准的坐标系。图像生成模块(148)被配置为使用图像数据集来绘制所述区域的至少一部分的虚拟图像(152)，其中，所述虚拟图像包括相对于所述形状感测使能的设备上的位置的有利点。
【专利说明】
具有光学形状感测设备视角的虚拟图像
技术领域
[0001]本公开涉及医学器械，并且更具体涉及处于从形状感测使能的器械的有利点定位的图像体积之内的虚拟图像的生成。
【背景技术】
[0002]在血管内医学设备(诸如导管)的顶端处的微型超声换能器能够提供有用的临床信息。例如，心脏内超声心动描记(ICE)图像能够被用于理解诸如心脏的结构的解剖信息。血管内超声(IVUS)提供来自血管内的血柱、内皮以及血小板的图像。IVUS和ICE的当前实施方案存在缺点。例如，IVUS成像系统是非常昂贵的(例如，数万美元)。由于IVUS导管是一次性的，还会引起额外的花费。在流程中使用IVUS会增加的流程的时间和风险。也期望将IVUS技术构建到其他设备(诸如支架部署设备或球囊导管)中，但尺寸和复杂性使得这极具挑占戈。
【发明内容】
[0003]根据本原理，一种用于提供针对虚拟图像的视角的系统，其包括具有换能器的术中成像系统，所述术中成像系统被配置为生成针对一区域的图像数据集。形状感测使能的设备被配置为使所述形状感测使能的设备的至少一部分相对于所述区域被定位。所述形状感测使能的设备具有与所述术中成像系统的坐标系相配准的坐标系。图像生成模块被配置为使用图像数据集来绘制所述区域的至少一部分的虚拟图像，其中，所述虚拟图像包括相对于所述形状感测使能的设备上的位置的有利点。
[0004]另一种用于提供针对虚拟图像的视角的系统，包括具有换能器的术中成像系统，所述术中成像系统被配置为生成针对一区域的图像数据集。形状感测使能的设备被配置为使所述形状感测使能的设备的至少一部分相对于所述区域被定位，所述形状感测使能的设备具有与所述术中成像系统的坐标系相配准的坐标系。图像生成模块被配置为使用图像数据集来绘制所述区域的至少一部分的虚拟图像，其中，所述虚拟图像包括来自所述形状感测使能的设备上的位置的有利点。机器人被配置为协调在术中成像系统与形状感测使能的设备之间的操作，使得所述机器人在流程期间相对于所述区域维持所述形状感测使能的设备。
[0005]—种用于虚拟成像的方法，包括:利用术中成像系统对对象的一区域进行成像，以生成针对所述区域的图像数据集;相对于所述区域对形状感测使能的设备的至少一部分被定位;将所述形状感测使能的设备的坐标系与所述术中成像系统的坐标系进行配准;并且使用所述图像数据集来生成所述区域的至少一部分的虚拟图像，其中，所述虚拟图像包括来自所述形状感测使能的设备上的位置的有利点。
[0006]通过下文结合相应附图对图示实施例的详细描述，本公开的这些和其他特征和优点将变得显而易见。
【附图说明】
[0007]在下文将参考如下附图详细描述优选实施例，在附图中:
[0008]图1是示出了根据一个实施例的提供针对在图像中提供的虚拟图像的有利点的形状感测系统的方框/流程图；
[0009]图2A是根据一个实施例的具有形状感测使能的设备的图像体积的透视图，所述形状感测使能的设备提供用于对面向侧面的体积进行成像的有利点；
[0010]图2B是根据一个实施例的具有形状感测使能的设备的图像体积的透视图，所述形状感测使能的设备提供用于对圆周体积进行成像的有利点；
[0011]图2C是根据一个实施例的具有形状感测使能的设备的图像体积的透视图，所述形状感测使能的设备提供用于对面向前面的体积进行成像的有利点；
[0012]图3是根据一个实施例的具有形状感测使能的设备的图像体积的透视图，所述形状感测使能的设备提供用于回拉成像的有利点；
[0013]图4是示出了根据一个实施例的具有形状感测使能的设备的内部设置的换能器的对象的截面视图，所述形状感测使能的设备提供用于对体积进行成像的有利点；
[0014]图5是示出了根据一个实施例的具有形状感测使能的设备的外部设置的换能器的对象的截面视图，所述形状感测使能的设备提供用于对体积进行成像的有利点；
[0015]图6是示出了根据一个实施例的具有形状感测使能的设备的多个外部设置的换能器的对象的截面视图，所述形状感测使能的设备提供用于对体积进行成像的有利点；
[0016]图7A是示出了开始图像的图表，其用于示出根据本原理的探头的可能运动的范围；
[0017]图7B是示出了目标图像的图表，其用于示出根据本原理的探头的可能运动的范围；
[0018]图8是示出了在根据本原理的导管的正确平面中的虚拟视图的生成的图表;并且
[0019]图9是示出了根据图示性实施例的用于虚拟成像的方法的流程图。
【具体实施方式】
[0020]根据本原理，描述了系统、设备和方法，其提供将换能器(例如，超声)放置到探头的顶端上的备选方法，并且替代地，采用光学形状感测导管或者其他设备连同分离的超声成像探头一起来重新创建类似于在探头上具有超声换能器的情况下看到的图像。通过这种方式，提供了虚拟心脏内超声心动描记(ICE)图像或虚拟血管内超声(IVUS)图像，使得光学形状感测(OSS)导管或其他设备能够被转变为具有额外的超声成像探头的ICE或IVUS导管。这些虚拟图像能够扩展在许多不同的流程中的使用，例如使用由光学形状感测或超声生成的虚拟图像能够将用于经食管超声心动描记(TEE)探头的使用案例扩展到结构性心脏修复的不同领域。
[0021]本原理采用光学形状感测来创建虚拟超声图像。这可以使用在超声探头与导管或形状感测使能的设备之间的已知变换来完成，以对超声图像进行重新格式化，使得所述图像呈现为仿佛换能器孔径处在导管或设备上。所述光学形状感测导之后能够允许关于所述孔径关于所述导管进行平移和旋转，只要虚拟孔径仍在超声数据集之内。同样地，基于超声体积中的导管的位置，所述超声传输序列能够适于优化所述虚拟超声图像。为了将导管保持在超声成像体积之内或者保持在相对于超声成像体积的位置处，所述超声成像探头能够由操作者手动地进行控制，或者使用来自形状感测导管的已知位置来机器人地控制。机器人控制能够通过将所述成像体积与所述设备对齐并且允许对探头进行重新定位以生成虚拟体积来改善所述虚拟图像的生成。
[0022]潜在的超声图像源可以包括内部超声探头，诸如TEE、经直肠超声(TRUS)等；单表面探头(例如，线性、弯曲、扇形、矩阵)；多表面探头(同步或以序列或者这两者)；等等。在超声探头(例如，头部位置)与形状感测使能的设备(例如，导管)之间的潜在配准可以包括对所述超声探头的基于形状的感测(在部署之前的形状到形状的配准)；对超声探头(例如，TEE探头的头)的基于图像的配准，使用例如EchoNav?、基于模型的方法、对形状感测设备的基于X射线的配准，等等;使用诸如以下的技术对于探头的备选跟踪，例如，对TEE探头的头的电磁跟踪(在部署之前的EM到形状的配准)、对手持式探头的光学跟踪、基于超声图像的识另1J，等等。
[0023]所述设备的已知位置和平面能够被用于改变超声发射轮廓(通过手动或机器人机械定位或射束操纵)。备选地，所述超声图像可以被用作输入以驱动设备朝向正在被可视化/瞄准的方向(例如，针对IVUS回拉)。本原理允许任意形状感测使能的设备被变换到具有额外的外部超声探头的ICE或IVUS设备中。已经出于导航目的使能用于光学形状感测的任意设备能够被更改用途来利用额外的标准超声成像探头来执行虚拟IVUS。
[0024]本原理应用于对超声体积或切片的任意重新格式化，以创建具有使用光学形状感测定义的换能器孔径位置的虚拟图像。这主要应用于导丝和导管(手动或机器人)，但可以被扩展到内窥镜、支气管镜以及其他这样的设备或应用。
[0025]应当理解，将关于医学器械来描述本发明；然而，本发明的教导要宽泛得多，并且其能适用于任何光纤器械。在一些实施例中，在跟踪或分析复杂生物或机械系统中采用本原理。具体地，本原理能适用于对生物学系统的内部跟踪流程、在诸如肺、胃肠道、排泄器官、血管、心脏等的身体的所有区域的流程。在附图中描绘的元件可以被实施为硬件和软件的各种组合，并且提供可以在单个元件或多个元件中组合的功能。
[0026]在附图中所示的各种元件的功能能够通过使用专用硬件以及能够执行与合适的软件相关联的软件的硬件来提供。当由处理器提供时，所述功能能够由单个专用处理器来提供、由单个共享处理器来提供、由其中的一些能够被共享的多个个体处理器来提供。此外，不应当将术语“处理器”或“控制器”的明确使用解释为排他性地指代能够执行软件的硬件，并且其能够隐含地包括，但不限于:数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM” )、非易失性存储器等。
[0027]此外，本文中详述本发明的原理、方面和实施例的所有陈述以及其具体范例都旨在既涵盖其结构等同要件，又涵盖其功能等同要件。另外，旨在使这样的等同要件既包括当前已知的等同要件，又包括未来开发的等同要件(即，所开发出的执行相同的功能的元件，而不管其结构如何)。因此，例如，本领域技术人员将意识到，本文中呈现的方框图表示体现本发明的原理的例示性系统部件和/或电路的概念视图。类似地，应当意识到，任意流程图、流程图表等表示各种过程，所述过程可以是实质上在计算机可读存储介质中表示的，并且因此由计算机或处理器来执行，而不管是否明确示出了这样的计算机或处理器。
[0028]此外，本发明的实施例可以采取计算机程序产品的形式，所述计算机程序产品能够从提供程序代码的计算机可用或计算机可读介质访问，以供计算机或者任何指令执行系统使用或者与之结合使用。就本说明书的目的而言，计算机可用或计算机可读介质能够是可以包括、存储、交换、传播或发送程序的任何装置，所述程序供指令执行系统、装置或设备使用或者与之结合使用。所述介质能够是电子、磁、光、电磁、红外或半导体系统(或者装置或设备)或传播介质。计算机可读介质的范例包括半导体或固态存储器、磁带、可移除计算机软盘、随机存取存储器(RAM)、只读存储器(R0M)、刚性磁盘和光盘。光盘的当前范例包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-R/W)、蓝光光碟tMPDVD。
[0029]现在参考附图，在附图中，类似的附图标记表示相同或类似的元件，并且首先参考图1，根据例示性实施例，例示性地示出了用于使用形状感测使能的设备进行虚拟图像生成的系统100。系统100可以包括工作站或控制台112，从所述工作站或控制台，监视和/管理流程。工作站112优选包括一个或多个处理器114以及用于存储程序和应用的存储器116。存储器116可以存储光学感测模块115，光学感测模块115被配置为解读来自形状感测设备或系统104的光学反馈信号。光学感测模块115被配置为使用光学信号反馈(以及任何其他反馈，例如，电磁(EM)跟踪、超声等)来重建与医学设备或器械(形状感测使能的设备或器械)102和/或其周边区域相关联的变形、偏转或其他变化。医学设备102(和/或102’)可以包括导管、导丝、探头、内窥镜、机器人、电极、过滤器设备、球囊设备、或其他医学部件等。
[0030]在设备102(和/或102’)上的形状感测系统104包括一条或多条光纤126，其以一种或多种设定的图案被耦合到设备102。光纤126通过线缆127连接到工作站112。根据需要，线缆127可以包括光纤、电气连接、其他器械等。
[0031 ] 具有光纤的形状感测系统104可以基于光纤布拉格光栅传感器。光纤布拉格光栅(FBG)是光纤的短的段，其反射特定波长的光并透射所有其他的光。这是通过在纤芯中添加周期性变化的折射率来实现的，其生成波长特异性的介质镜。纤维布拉格光栅因此能够被用作线内光纤以阻挡特定的波长，或者被用作波长特异性反射器。
[0032]在纤维布拉格光栅的操作背后的基本原理是在反射率发生变化的每个界面处的菲涅耳反射。对于一些波长，所反射的各种周期的光是同相的，从而针对反射存在相长干涉，并且因此，针对透射存在相消干涉。布拉格波长对应变以及温度是敏感的。这意味着，布拉格光栅能够被用作光纤传感器中的感测元件。在FBG传感器中，被测物理量(例如、应变)引起布拉格波长的位移。
[0033]这种技术的一个优点在于各种传感器元件能够沿着纤维的长度进行分布。将三个或更多个芯与嵌入在结构中的沿纤维的长度的各种传感器(标尺)合并允许这样的要精确确定的结构的三维形式，其通常具有优于Imm的精确度。沿着纤维的长度，能够在各种位置处定位多个FBG传感器(例如3个或者更多个纤维感测芯)。根据对每个FBG的应力测量，能够推测在其位置处的结构的曲率。根据多个所测量的位置，确定总三维形式。
[0034]作为光纤布拉格光栅的备选，能够利用在常规光纤中的固有背散射。一种这样的方法是使用在标准单模式通信纤维中的瑞利散射。瑞利散射由于在纤芯中的折射率的随机波动而发生。这些随机波动能够被建模为具有沿着光栅长度的幅度和相位的随机变化的布拉格光栅。通过使用在多芯纤维的单个长度内延伸的三个或更多个芯中的这种效应，能够跟随感兴趣表面的3D形状和动态。
[0035]光学形状感测(OSS)在手术介入期间使用沿着用于设备定位和导航的多芯光纤的光。所涉及的原理利用在光纤中的分布式应变测量，其使用特征瑞利背散射或者受控的光栅图案。沿所述光纤的形状开始于沿传感器的特定点处，已知为起点区域156或z = 0，并且随后的形状位置和取向，是相对于所述点的。集成到医学设备(诸如导管和导丝)中的光学形状感测光纤提供在微创流程期间对所述设备的实况引导，并且能够提供整个设备102的位置和取向。
[0036]在一个实施例中，工作站112包括图像生成模块148，图像生成模块148被配置为接收来自形状感测设备104的关于感测设备104在或者已经在对象131中的位置反馈(位置数据)。使用成像系统110，诸如超声成像系统，但是也可以采用其他术中成像系统，对对象160内的图像体积(或数据集)131进行成像。根据使用一个或多个内部或外部探头或换能器146的成像系统110收集的数据集的一幅或多幅图像134来映射出图像体积131。图像134能够被显示在显示设备118上。图像134可以被叠加在其他术前或术中图像上、与其他术前或术中图像融合、或者以其他方式与其他术前或术中图像一起描绘。
[0037]工作站112包括用于查看对象(患者或其他对象)160或体积131的内部图像的显示器118。显示器118还可以允许用户与工作站112以及其部件或功能或者在系统100之内的任意其他元件进行交互。这进一步地通过接口 120来促进，接口 120可以包括键盘、鼠标、操纵杆、触觉设备或任何其他外围或控件以允许用于来自工作站112的用户反馈并且允许与工作站112的交互。
[0038]常规的血管内超声(IVUS)使用处在导管的远侧顶端处的小型化超声换能器来执行对脉管系统的超声成像。IVU S成像能够通过不同的方式被集成到导管中以执行对血管的面向侧面(或者同轴)的成像或者面向前面的成像。IVUS最常被用于对血管的内皮进行可视化。这通常被用于确定在给定血管中的斑块的量或者狭窄的程度。IVUS最常用在心脏应用中，例如对冠状动脉进行成像。常规的心脏内超声心动描记(ICE)导管可以被引入到心脏中以进行实时解剖成像。ICE常常被用在电生理学流程中以对解剖结构、设备进行定位，并在消融期间监测射频能量递送。
[0039]根据本原理，虚拟IVUS和/或ICE(和其他操作)能够使用形状感测使能的设备102(和/或102’)和超声探头或换能器146来执行。超声探头146可以被耦合到超声成像系统110，超声成像系统110可以是控制台112的部分或者可以是分离的单元。设备102的光学形状感测被用于对超声数据集进行重新采样以根据虚拟超声体积144创建虚拟超声图像152。这是使用在超声探头146与光学形状感测纤维126(被耦合到设备102或者被耦合在设备102中，诸如导管)之间的已知变换(变换154，被存储在配准模块158中或者在其他位置被存储在存储器116中)来完成的，以对超声图像进行重新格式化，以形成虚拟图像152，从而其看上去好像换能器孔径处在设备102或导管上或者具有与到设备102或导管的已知变换。虚拟图像152从形状感测使能的设备102的已知位置的有利点来生成。形状感测使能的设备102可以处在被用于生成虚拟图像152的图像体积144的内部或外部。形状感测使能的设备102不需要被呈现在虚拟图像体积(切片或平面)144内，但是能够相对于图像体积144进行定位，并且可以处在图像体积144的外部。
[0040]在超声数据集体积131内生成虚拟图像体积144。可以通过多种方式来选择或生成虚拟图像体积144。这些可以包括如下中的一个或多个。虚拟图像体积144能够包括预先设定的配置(例如，形状和尺寸)。所述形状和尺寸可以根据针对IVUS、ICE或其他流程或应用的要求来选择。图像152的属性可以是用户能配置的，包括深度、视场(FOV)、二维(2D)、3D、周长、沿导管的距离等，并且图像体积144被相应地进行配置。虚拟图像体积144可以包括基于形状感测设备102的形状的自动切片选择。
[0041]虚拟图像体积144可以具有基于在图像中检测到的特征(针对心脏应用，例如，心脏腔室等)的自动体积选择。在一个实施例中，交互式体积可以被显示在显示器118上，用户能够将其拖曳到沿设备102的不同位置、绕设备进行旋转、缩放(例如，通过滚动鼠标)，等等。虚拟图像体积14 4可以被定尺寸或优化以捕获体积或切片内的两个(或更多个)设备(102、102 ’)，或者可以被优化为使得，利用两个设备，一个设备102，变为有利点，并且另一设备在虚拟图像体积144内被可视化。设备102和/或102’可以处在图像体积144的内部或外部。
[0042]在一个实施例中，可以采用多个OSS设备102、102’等。设备102、102’可以被采用以创建复合虚拟图像体积144，其中，每个设备对虚拟图像体积144的一部分做出贡献。一个设备102’可以被采用作为针对另一设备的有利点，所述另一设备可以在虚拟图像体积144内被可视化。在另一实施例中，可以提供针对瓣膜或支架放置的成像，其中，形状感测使能的设备102充当硬线，并且瓣膜或支架通过所述硬线被承载。虚拟图像体积144可以选自距离OSS丝线102的已知偏移处，其具有瓣膜。在这种情况下，OSS设备102的部分将不会处在图像体积144内，但相对于虚拟图像体积144内的虚拟切片、平面或体积的已知变换是已知的。
[0043]配准模块158被配置为将成像设备110和/或成像换能器或探头146的坐标系与形状感测使能的设备102或(一条或多条)形状感测纤维126的坐标系进行配准。变换器154提供在这些坐标系之间的坐标变换。变换器154可以由图像生成模块148采用以生成虚拟图像152，正如将在本文中更为详细地描述的。机器人142可以被采用以协调在(一个或多个)探头或换能器146与形状感测使能的设备102之间的操作和配准。
[0044]参考图2A-2C，可能的虚拟成像体积204、206和208被示为从原始超声图像体积202被重新采样为超声图像重新采样以将来自TEE或外部探头的图像转换为虚拟ICE或IVUS图像的范例。成像体积204、206和208能够包括:如在ICE(图2A)中的侧视图像体积、如在IVUS(图2B)中的圆周图像、或者前向查看图像体积(图2C)。前向查看图像(图2C)可以被用于给出腔内视图，并且也可以被从设备102的最顶端拉回，以给出器械102和被成像的解剖结构的超声图像两者的“第一人称”视角。应当理解，替代或者除了上述图像体积之外，也可以采用图像平面或切片(二维)图像。
[0045]在一个实施例中，光学形状感测导管102允许虚拟超声孔径沿着导管102被平移并且关于导管102被旋转，只要虚拟孔径和图像视场保持在超声数据集(例如，体积202)之内。
[0046]参考图3，另一US体积202包括形状感测使能的导管102，其以箭头214的方向被从虚拟图像体积216的第一位置210移动到图像体积216的第二位置212，图3示出了虚拟IVUS回拉，其中，操作者能够沿着导管102或其他设备来滑动虚拟孔径。
[0047]所述超声图像能够从单个换能器，例如经食道超声心动描记(TEE)换能器、鼻TEE探头、或者外部表面探头(诸如，C5-2探头等)来生成。此外，也能够采用多个换能器以在更大的区域上跟踪导管102。这些实施例参考图4-6被示出。可以使用OSS纤维的位置来采用多个换能器/源以选择哪一个探头被选择作为成像源。此外，能够采用多个源来缝合在每个换能器的视场之间的图像。OSS纤维的位置也能够被用于操纵超声探头的射束以增强感兴趣区域(设备的位置)中的图像组合。
[0048]参考图4，截面图示出了具有在TEE探头306上的TEE换能器304的患者302。换能器304通过患者302的食道通过并创建在患者302内的超声成像体积308。成像体积308与一个或多个区域交叠，在所述区域中，形状感测使能的设备314(例如，导管)在其中具有光学形状感测纤维312。设备314可以通过端口或者通过患者内的自然孔口来提供。虚拟图像体积310(例如，虚拟ICE或虚拟IVUS设备)使用成像体积308的数据集的至少部分来获得。虚拟图像体积310被锚定在沿设备314的选定位置和取向处并且处在成像体积308之内。虚拟图像体积310的虚拟图像能够从形状感测使能的设备314上的有利点来提供。
[0049]参考图5，截面图示出了具有单个外部换能器320(探头)的患者302，其用于生成在患者306内的超声成像体积308。成像体积308与一个或多个区域交叠，在所述区域中，形状感测使能的设备314(例如，导管)在其中具有光学形状感测纤维312。虚拟图像体积310(例如，虚拟ICE或虚拟IVUS设备)使用成像体积308的数据集的至少一部分来获得。虚拟图像体积310被锚定在沿设备314的选定位置和取向处并且处在成像体积308之内。
[0050]参考图6，截面图示出了具有多个外部换能器322的患者302，其用于针对患者306内的超声成像体积308来生成多个超声孔径(窗口)318。成像体积308包括组合窗口 318的区域，其与一个或多个区域交叠，在所述区域中，形状感测使能的设备314(例如，导管)在其中具有光学形状感测纤维312。虚拟图像体积310(例如，虚拟ICE或虚拟IVUS设备)使用成像体积308的数据集的至少一部分来获得。虚拟图像体积310被锚定在沿设备314的选定位置和取向处并且处在成像体积308之内。
[0051]为了对超声图像进行重新采样以获得虚拟图像体积310，有必要获知在针对图像体积308的超声换能器孔径与针对虚拟图像体积310的虚拟孔径之间的变换。在特别有用的实施例中，可以采用如下方法来获得该变换。在一个实施例中，可以提供形状感测换能器(内部或外部)和形状感测导管。在这种情况下，将两个形状感测坐标系进行配准的一种方式是，在流程之前，两个形状感测设备的起始固定使用基于点的配准或基于形状的配准被配准在一起。
[0052]在另一实施例中，可以执行基于荧光透视的配准。例如，TEE探头的头能够被配准至IjX射线图像(例如，如在EchoNav?中)，并且OSS导管也能够被配准到X射线图像，提供在TEE探头的头与OSS设备之间的变换。TEE探头的头将需要经由X射线来动态地跟踪，而OSS设备仅需要被配准到X射线图像一次。在又一实施例中，可以采用备选跟踪的换能器和形状感测的导管。换能器的头能够使用其他跟踪技术(例如，针对外部换能器的电磁跟踪或光学跟踪)来跟踪，并且光学形状感测设备的起始固定能够被配准到备选跟踪解决方案。其他配准技术和方法也是可能的，并且能够根据本原理被预期。
[0053]上文所描述的实施例可以包括对虚拟ICE/IVUS导管的机器人控制的超声跟踪。当虚拟图像处在超声视场内时，虚拟ICE/IVUS导管工作。因此，超声操作者需要对超声探头进行定位，使得导管的正确位置处在视场内。为了降低对临床工作流的影响，(一个或多个)超声探头(304、320、322)能够被机器人地控制以维持在超声数据集中的导管位置。在由于缺少在超声换能器的头与表面之间的耦合或压力(经由图像处理或手动观察来检测)而造成的超声质量劣化或者损失的情况中，机器人能够对此进行检测和补偿(通过例如增加压力或者向表面释放凝胶)并且之后能够继续执行成像。机器人控制能够同时维持在超声数据集308内的虚拟成像体积310;能够优化针对虚拟图像分辨率的换能器304、320或322的物理位置;并且能够在临床应用的医师限制条件内工作，以维持与进行成像的组织的适当的接触，同时使在患者302上的力最小化。在机器人控制的TEE探头306的情况中，对机器人的控制可以包括对弯曲探头顶端的两个转盘改变位置的控制。
[0054]参考图7A-7B，示出了实验结果，其展示在利用转盘(未示出)进行控制时TEE探头的运动的范围。控制TEE探头的手柄上的转盘的系统机器人地控制可操纵探头顶端的位置。对于机器人控制的TEE探头，对机器人(142，图1)的控制可以包括对用于改变弯曲的探头顶端510的位置的两个转盘的控制。
[0055]示出了TEE探头的可能运动的范围以及需要从起始图像(图7A)移动到目标图像(图7B)的运动的图示。球体502上的每个点将具有对应的图像体积504的探头的头510的固有取向。球体502的点以及与那些点相关联的体积取向是探头510的特征并且能够以查找表或变换被存储在机器人控制系统中。一旦在机器人的坐标系506中选择了目标514，则计算超声(US)体积的理想取向512，使得目标514处在体积504的中间中。该取向512被匹配到查找表中最接近的取向，其被匹配到探头510的位置。所述机器人试图通过在限制对组织的力的同时控制控制转盘来达到所述位置。如果在运动中没有施加过度的力，机器人将达到最佳的位置以查看目标504。如果达到力极限值，所述成像设备的视角将是次优的但针对给定约束被优化。
[0056]对成像设备的机器人控制可以具有用于控制超声探头的多种实施方案。例如，可以采用控制TEE探头上的转盘并且机器人地控制能操纵的探头顶端的位置的系统，以及其他机器人系统和方法。
[0057]参考图8，为了允许适当地生成导管的正确平面中的虚拟视图，所述控制方案能够被修改，使得US探头510根据导管516的近端末端的形状进行引导。在该实施例中，导管516的形状被适配到平面518。平面518向探头工作空间中的点的取向被优化，使得在虚拟图像平面50与物理图像平面518之间的角度被最小化，并且使得虚拟图像体积520的尺寸被最大化。
[0058]在另一实施例中，所述机器人能够移动到最优位置以生成虚拟超声体积，并且之后返回原始位置从而对一些其他特征(例如，另一设备或瓣膜)进行可视化。所述最优平面可以通过设备516的远端部分来确定，以确定探头的头510的最优位置。由于该运动将从机器人编码器和机器人工作空间获知，在物理体积(518)与虚拟体积(520)之间的关系也能够在相同的参考系中获知并且被可视化。在新的探头位置中可见的虚拟体积的那些部分能够根据物理体积来更新，并且在“离线”体积可视化的上下文中被示出。所述机器人能够在两个不同的位置之间进行移动，来更新整个体积。
[0059]虚拟ICE/IVUS图像将不在与原始超声图像相同取向中被对齐。结果，重新采样的图像的分辨率可能是次优的。可以通过如下项的一个或多个来解决对超声采集的优化。超声换能器的位置能够被物理地调节，从而最高分辨率采样与虚拟图像共平面并且共方向。这可以通过向操作者给出视觉反馈来完成，或者通过利用如上所述的机器人控制来完成。另一种方法包括调整换能器发射分布，使得最高的分辨率方向是与虚拟ICE或虚拟IVUS图像共平面的，或者使用射束形成方案或者组合方案。更好的分辨率也能够通过仅针对必要的3D超声体积减小视野来实现，从而能够增加帧率或者能够使用多射束角度。以上方法的组合也能够被采用以优化分辨率。
[0060]参考图9，用于虚拟成像的方法是根据本原理例示性描绘的。在框602中，利用术中成像系统来对对象的一区域进行成像，以生成针对所述区域的图像数据集。在框606中，形状感测使能的设备的至少一部分被定位为所述区域内或者所述区域外部的有利点。一个或多个形状感测使能的设备可以包括(一条或多条)光纤，并且术中成像系统可以包括超声成像系统。所述超声成像系统可以包括内部地或者外部地设置在要被成像的对象内的一个或多个超声换能器。
[0061]在框610中，将所述形状感测使能的设备的坐标系与所述术中成像系统的坐标系进行配准。所述配准可以包括如下中的至少一个:基于形状(例如，形状到形状)的配准、基于图像的配准和跟踪技术配准。也可以采用其他配准技术。
[0062]在框614中，使用图像数据集来配准所述区域的至少一部分的虚拟图像，其中，所述虚拟图像包括来自所述形状感测使能的设备的位置的有利点。在框618中，所述虚拟图像可以包括具有形状的虚拟图像体积、(一个或多个)平面或切片，其包括如下中的至少一个:侧视图像、圆周图像和前视图像。也可以提供针对虚拟图像体积的其他几何参数。这些可以是用户配置的、预先设置的切片等。
[0063]在框620中，所述虚拟图像可以通过采用一种或多种变换来生成，所述变换被配置为将所述图像数据集(或区域)变换为虚拟图像。在框622中，在术中成像系统与形状感测使能的设备之间的操作可以使用机器人来协调。例如，机器人可以相对于导管或其他设备来移动US换能器，以确保在所述系统之间的协调。所述机器人对所述成像换能器进行定位，从而其跟随OSS设备并维持必要的或者期望的虚拟图像。
[0064]在解释随附的权利要求时，应当理解:
[0065]a) “包括”一词不排除在给定权利要求中所列举的其他元件或动作之外的元件或动作的存在；
[0066]b)在元件之前的词语“一”或“一个”不排除多个这样的元件的存在；
[0067]c)在权利要求中的任何附图标记不限制其范围；
[0068]d)若干“单元”可以由相同的项或硬件或软件实施的结构或动能来表示;并且
[0069]e)并不旨在需要特定序列的动作，除非明确指出。
[0070]已经针对具有光学形状感测设备视角的虚拟图像描述了优选实施例(其旨在例示性的而非限制性的)，应当注意到，本领域技术人员在上述教导的基础上能够实现修改和变型。因此，应当理解，可以在公开的特定实施例中进行变化，其在诸如由随附的权利要求所概括的本文中所公开的实施例的范围内。在已经这样描述了专利法所要求的细节和特性之后，在随附的权利要求中阐述了期望由专利证书保护和所主张的内容。
【主权项】
1.一种用于提供针对虚拟图像的视角的系统，包括: 具有换能器(146)的术中成像系统(110)，其被配置为生成针对一区域图像数据集； 形状感测使能的设备(102)，其被配置为使所述形状感测使能的设备的至少一部分相对于所述区域被定位，所述形状感测使能的设备具有与所述术中成像系统的坐标系相配准的坐标系；以及 图像生成模块(148)，其被配置为使用所述图像数据集来绘制所述区域的至少一部分的虚拟图像(152)，其中，所述虚拟图像包括相对于所述形状感测使能的设备上的位置的有利点。2.根据权利要求1所述的系统，其中，所述虚拟图像(152)包括以下中的至少一种:侧向查看图像、圆周图像和前向查看图像。3.根据权利要求1所述的系统，其中，所述虚拟图像(152)包括一个或多个二维图像切片。4.根据权利要求1所述的系统，其中，所述术中成像系统(110)包括超声成像系统，并且所述换能器(146)包括被设置在要被成像的对象内或者被外部地安装在要被成像的对象上的一个或多个超声换能器。5.根据权利要求1所述的系统，还包括配准模块(158)，所述配准模块用于将所述形状感测使能的设备的坐标系与所述术中成像系统的坐标系进行配准，并且包括变换(154)，所述变换被配置为将所述图像数据集变换为所述虚拟图像。6.根据权利要求1所述的系统，还包括机器人(142)，所述机器人被配置为协调在所述术中成像系统与所述形状感测使能的设备之间的操作，以在流程期间相对于所述形状感测使能的设备来维持图像。7.根据权利要求1所述的系统，其中，在所述术中成像系统与所述形状感测使能的设备之间的配准包括如下中的至少一种:基于形状的配准、基于图像的配准以及跟踪技术配准。8.—种用于提供针对虚拟图像的视角的系统，包括: 具有换能器(146)的术中成像系统(110)，其被配置为生成针对一区域的图像数据集； 形状感测使能的设备(102)，其被配置为使所述形状感测使能的设备的至少一部分相对于所述区域被定位，所述形状感测使能的设备具有与所述术中成像系统的坐标系相配准的坐标系； 图像生成模块(148)，其被配置为使用所述图像数据集来绘制所述区域的至少一部分的虚拟图像，其中，所述虚拟图像包括来自所述形状感测使能的设备上的位置的有利点；以及 机器人(142)，其被配置为协调在所述术中成像系统与所述形状感测使能的设备之间的操作，使得所述机器人在流程期间相对于所述形状感测使能的设备来维持所述图像。9.根据权利要求8所述的系统，其中，所述虚拟图像(152)包括以下中的至少一种:侧向查看的图像、圆周图像和前向查看图像。10.根据权利要求8所述的系统，其中，所述术中成像系统(110)包括超声成像系统，并且所述换能器包括被设置在要被成像的对象内或者被外部地安装在要被成像的对象上的一个或多个超声换能器。11.根据权利要求8所述的系统，还包括配准模块(158)，所述配准模块用于将所述形状感测使能的设备的所述坐标系与所述术中成像系统的所述坐标系进行配准，并且包括变换(154)，所述变换被配置为将所述图像数据集变换为所述虚拟图像。12.根据权利要求8所述的系统，其中，在所述术中成像系统与所述形状感测使能的设备之间的配准包括如下中的至少一种:基于形状的配准、基于图像的配准以及跟踪技术配准。13.根据权利要求8所述的系统，其中，所述虚拟图像包括一个或多个二维图像切片。14.一种用于虚拟成像的方法，包括:利用术中成像系统对对象的一区域进行成像(602)，以生成针对所述区域的图像数据集； 相对于所述区域对形状感测使能的设备的至少一部分进行定位(606); 将所述形状感测使能的设备的坐标系与所述术中成像系统的坐标系进行配准(610);并且 使用所述图像数据集来生成(614)所述区域的至少一部分的虚拟图像，其中，所述虚拟图像包括来自所述形状感测使能的设备上的位置的有利点。15.根据权利要求14所述的方法，其中，生成(614)虚拟图像包括生成所述虚拟图像包括以下中的至少一种:侧向查看的图像、圆周图像和前向查看图像。16.根据权利要求14所述的方法，其中，所述形状感测使能的设备包括光纤并且所述术中成像系统包括超声成像系统，并且所述超声成像系统包括内部地或外部地设置在要被成像的对象内的一个或多个超声换能器。17.根据权利要求14所述的方法，其中，生成虚拟图像包括通过采用变换来生成(620)所述虚拟图像，所述变换被配置为将所述图像数据集变换为所述虚拟图像。18.根据权利要求14所述的方法，还包括使用机器人来协调(622)在所述术中成像系统与所述形状感测使能的设备之间的操作。19.根据权利要求14所述的方法，其中，配准(610)包括如下中的至少一种:基于形状的配准、基于图像的配准以及根据技术配准。20.根据权利要求14所述的方法，其中，所述虚拟图像包括一个或多个二维图像切片。
【文档编号】G06T19/00GK105979879SQ201580005446
【公开日】2016年9月28日
【申请日】2015年1月4日
【发明人】C·S·霍尔, B·拉马钱德兰, M·L·弗莱克斯曼, A·波波维奇
【申请人】皇家飞利浦有限公司