血管的深度和位置的可视化以及血管横截面的机器人引导的可视化的制作方法
【专利摘要】一种用于将解剖结构目标可视化的系统包括成像设备(105)，所述成像设备被配置为收集解剖结构目标的实时图像。三维模型(136)是根据术前图像或术中图像生成的并且包括在解剖结构目标的表面之下、在来自窥镜的图像中不可见的结构的图像。图像处理模块(148)被配置为生成被配准到实时图像的叠加(107)并且被配置为指示在表面之下的结构以及结构在表面之下的深度。显示设备(118)被配置为同时显示所述实时图像和所述叠加。
【专利说明】
血管的深度和位置的可视化以及血管横截面的机器人引导的可视化
技术领域
[0001]本公开涉及医学仪器和方法，并且更具体地涉及用于医学应用中针对内部解剖结构的经改进的可视化和引导的系统和方法。
【背景技术】
[0002]冠状动脉旁路移植术(CABG)是针对阻塞的冠状动脉的血管再形成的手术流程。在常规手术中，患者的胸骨被打开，并且心脏完全暴露。然而，微创(MI)旁路手术是通过肋骨之间的小端口来执行的。CABG流程的一重要部分是从患者的身体移除脉管，所述脉管然后被用于形成冠状动脉中的一个或多个动脉粥样硬化狭窄的旁路。最常被移除和使用的脉管是胸廓内动脉(IMA)，其可以包括被定位于胸腔中的左IMA(LIMA)或右IMA(RIMA)。
[0003]在MI心脏旁路手术期间，对这些頂A脉管的直接访问不可用，并且它们是使用通过肋骨之间的空间中的肋间肌肉插入到端口中的长仪器而被移除的。在MI手术期间，手术助理可以把持内窥镜，或者可以使用机器人引导来把持内窥镜。在机器人引导的情况中，可以使用视觉饲服来将机器人移动到特定位置。视觉饲服包括选择内窥镜图像上的点，其中，机器人以这样的方式移动，即所述点变为被定位在图像的中心处。
[0004]内窥镜图像是针对该类型的流程的仅有可视化，但是内窥镜仅提供对血管的小段的有限视图。对于MI手术，外科医生利用在肋骨之间插入的到达胸骨区域之下的细长仪器来工作。内窥镜图像中对动脉的定位以及对内窥镜的操纵是限制微创冠状旁路移植手术的广泛应用的主要问题之一。动脉中的一些可能被组织覆盖。外科医生在手术中移除组织以访问血管。深度感知的缺乏要求外科医生在移除直接定位在脉管之上或顶部的组织时使用极度的谨慎以确保脉管的安全暴露。这增加了流程时间并且是对于外科医生的重要压力点。在微创CABG中，该问题被放大，这是因为外科医生不能对心脏表面进行触诊。在微创CABG中使用的仪器的长度不允许在工具的远端上的任何触觉反馈。
【发明内容】
[0005]根据本发明的原理，一种用于将解剖结构目标可视化的系统包括成像设备，所述成像设备被配置为收集解剖结构目标的实时图像。三维模型是根据术前图像或术中图像生成的，并且包括在所述解剖结构目标的表面之下、在来自所述成像设备的图像中不可见的结构的图像。图像处理模块被配置为生成被配准到所述实时图像的叠加并且被配置为指示在所述表面之下的所述结构以及所述结构在所述表面之下的深度。显示设备被配置为同时显示所述实时图像和所述叠加。
[0006]一种用于将解剖结构目标可视化的系统包括成像设备，所述成像设备被配置为收集解剖结构目标的实时图像。三维模型是根据术前图像或术中图像生成的，并且包括在所述解剖结构目标的表面之下、在来自所述成像设备的图像中不可见的结构的图像。图像处理模块被配置为生成被配准到所述实时图像并指示所述表面之下的所述结构的叠加。可视化特征被配置为显示所述表面之下的所述结构的至少部分的内部视图。显示设备被配置为同时显示以下中的至少两项:所述实时图像、所述叠加或者所述内部视图。
[0007]—种用于将解剖结构目标可视化的方法包括:使用窥镜来对解剖结构目标进行成像，以收集实时图像;将所述实时图像与所述解剖结构目标的内部体积的三维模型配准;将所述实时图像与被配准到所述实时图像的叠加一起显示;并且在所述叠加上指示在所述解剖结构目标的表面之下的结构以及所述结构在所述表面之下的深度。
[0008]结合附图阅读以下对本公开的说明性实施例的详细描述，本公开的这些和其他目标、特征和优势将变得显而易见。
【附图说明】
[0009]本公开将参考附图来详细呈现对优选实施例的以下说明，其中:
[0010]图1是示出了根据一个实施例的用于将解剖结构目标可视化的系统的方框图/流程图；
[0011]图2是根据本发明的原理的具有叠加的内窥镜图像，所述叠加示出在心脏的表面之下的血管；
[0012]图3是示出了根据本发明的原理的用于定义脉管在表面之下的深度的内窥镜视图方向的示意图；
[0013]图4是示出了根据本发明的原理的用于定义在表面之下的脉管的不同的可能视图的不意图；
[0014]图5是根据本发明的原理的内窥镜图像，所述内窥镜图像具有部分被编码以指示血管在心脏的表面之下的深度的叠加并且具有颜色梯度标尺；
[0015]图6是根据本发明的原理的具有叠加的内窥镜图像，所述叠加示出在心脏的表面之下的血管并且示出光标，所述光标用于指向血管的部分以指示在光标位置处血管在心脏的表面之下的深度；
[0016]图7是根据本发明的原理的具有叠加的内窥镜图像，所述叠加示出心脏的表面之下的血管并且示出血管在工具端部附近的部分，所述叠加指示血管在心脏的表面之下的深度并且还示出具有指示在工具端部附近的深度的箭头的梯度图例；
[0017]图8是根据本发明的原理的具有叠加的内窥镜图像，所述叠加示出心脏的表面之下的血管并且示出围绕工具端部的定形区域，其中，在所述定形区域内指示了血管在心脏的表面之下的深度，并且所述叠加还示出具有指示在所述区域内的深度的箭头的梯度图例；
[0018]图9是根据本发明的原理的具有叠加的内窥镜图像，所述叠加示出心脏的表面之下的血管并且示出沿血管的路径或在所指示的位置处的横截面，其中，使用机器人引导跟随所述路径以使用3D飞掠图像来察看血管的内部结构;并且
[0019]图10是示出了根据说明性实施例的用于将解剖结构目标可视化的方法的流程图。
【具体实施方式】
[0020]根据本发明的原理，提供了系统和方法来计算血管相对于内窥镜视图或相对于手术仪器的深度并将所述深度可视化。用于将叠加在脉管的图像上的深度可视化的备选方法可以包括颜色梯度和其他视觉指示。可以通过沿血管引导机器人操纵的内窥镜，或者将心脏表面的图像可视化并同步地执行虚拟飞掠三维(3D)可视化，来实现对血管(例如冠状动脉)的查验。这将来自术前3D图像的所有诊断和解剖结构信息带入到介入中。在混合血管再形成中，该方法可以被用于对支架将被定位于何处进行可视化并且规划旁路，使得在规划的或存在的支架位点上具有最小影响。
[0021]己经尝试提供关于血管相对于内窥镜视图的位置的信息，这样的尝试未获得脉管相对于器官(例如心脏)的表面的深度的信息和可视化。脉管的深度可以是重要的信息，该信息允许外科医生决定他们将脉管的哪个部分用于旁路位置并决定使用何种手术仪器来移除血管之上的过量组织。
[0022]在一个实施例中，一种系统和方法计算血管相对于器官的表面的深度并将所述深度可视化。这允许对手术流程(例如冠状旁路)的经改进的规划并且因减小通过移除过量组织而损伤脉管的风险而增大了安全性。一种应用包括冠状动脉旁路移植手术，以将收割动脉(LIMA)和目标动脉(冠状动脉)的位置可视化。
[0023]在另一实施例中，在微创心脏旁路流程期间，采用对血管或脉管(例如冠状动脉)的诊断虚拟飞掠可视化以及内窥镜视图来选择旁路的位点。这可能造成对位点的选择以避免可能对手术结果有强影响的病变或其他特征。本发明的原理允许通过以下来查验冠状动脉:沿动脉引导机器人操纵的内窥镜、同时对心脏表面的图像以及虚拟飞掠3D可视化进行可视化。这将来自术前3D图像的所有诊断和解剖结构信息带入到介入中。在诊断阶段期间，用于生成针对分支和狭窄的带查验的动脉的飞掠3D可视化的方法是通过使用来自三维脉管里面的相机视图来生成的。例如可以采用根据电子束计算机断层摄影等来生成飞掠的方法。飞掠改进了 3D成像的诊断值，允许更近地查验动脉和脉管里面的斑块。
[0024]应该理解，将关于用于冠状旁路流程并与其一起使用的医学仪器来描述本发明的原理;然而，本发明的教导要宽泛地多并用适用于需要或期望对目标解剖结构的增强可视化的任何仪器或流程。在一些实施例中，本发明的原理在跟踪或分析复杂生物或机械系统中被采用。特别是本发明的原理适用于生物系统的内部追踪流程，身体的所有区域(例如肺、胃肠道、排泄器官、血管等)中的流程。各附图中描绘的元件可以以硬件和软件的各种组合来实现并且提供可以在单个元件或多个元件中组合的功能。
[0025]可以通过使用专用硬件以及能够与合适的软件相关联地执行软件的硬件来提供附图中示出的各个元件的功能。当由处理器来提供功能时，可以由单个专用处理器、由单个共享处理器或由其中一些能够被共享的多个独立处理器来提供功能。而且，对术语“处理器”或“控制器”的明确的使用不应被解释为排他地指代能够执行软件的硬件，并且能够暗含地包括但不限于，数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM” )、非易失性存储器等。
[0026]而且，本文记载原理、方面和本发明的实施例及其具体范例的所有陈述旨在包括其结构等价方案和功能等价方案两者。此外，旨在使这样的等价方案包括目前已知的等价方案以及将来发展出的等价方案(即发展出的执行相同的功能的任何元件，而不论其结构如何)两者。因此，例如，本领域技术人员应当意识到本文提出的方框图表示说明性系统部件的概念性视图和/或实现本发明的原理的电路图。相似地，应当意识到任何流程图表、流程图等表示各个过程，这些过程可以基本在计算机可读存储媒体中表示并且因此由这样的计算机或处理器执行，不论是否明确示出了计算机或处理器。
[0027]另外，本发明的原理的实施例可以采取能够从计算机可用或计算机可读存储介质访问的计算机程序产品的形式，所述计算机可用或计算机可读存储介质提供由计算机或任何指令执行系统使用或结合计算机或任何指令执行系统使用的程序代码。出于这种说明的目的，计算机可用或计算机可读存储介质能够是可以包括、存储、传送、传播或输送由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何装置。所述介质可以是电子、磁性、光学、电磁、红外线或半导体系统(或装置或设备)或者传播介质。计算机可读介质的范例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前范例包括光盘-只读存储器(⑶-ROM)、光盘-读/写(⑶-R/w)、蓝光盘tMpdvd。
[0028]现在参考附图，在附图中，相同的附图标记表示相同或类似的元件，并且首先参考图1，根据一个实施例，说明性地示出了用于微创手术的系统100。系统100可以包括工作站或控制台112，从所述工作站或控制台监督和/或管理流程。工作站112优选地包括一个或多个处理器114以及用于存储程序和应用的存储器116。存储器116可以存储规划模块104和图像引导模块106，其被用于与医学设备102结合地工作。医学设备102可以包括成像设备105(例如相机、具有透镜的光纤等)，其可以与以下中的一个或多个一起被部署:导管、导丝、探头、内窥镜、柔性内窥镜、机器人、电极、过滤器设备、球囊设备、或其他医学部件等。设备102可以被插入到患者的身体160中。在一个实施例中，要执行的流程可以包括微创冠状手术，并且设备102可以被插入到身体160的胸腔162中以观察、限定和/或隔离解剖结构目标131，例如血管(例如胸廓内动脉(IMA))。
[0029]规划模块104包括以下元件和特征。在例如针对冠状旁路流程的血管取下期间，规划模块104规划要被收获的目标脉管(例如IMA)的可视化的控制，同时允许外科医生操纵其他仪器。规划模块104存储用于操纵机器人或机器人系统108的计划或者在手动流程期间向操作者提供引导。
[0030]图像处理模块148控制可视化、深度指示等以提供综合视场，并且还提供允许使用本领域己知的方法来将术前(或术中)图像叠加在例如内窥镜视频上的图像配准。规划模块104提供对感兴趣目标点的选择，所述感兴趣目标点可以被参考或者索引以与图像引导模块106—起使用。规划模块104也提供对血管或其他解剖结构特征的维度(例如深度等)的计笪并ο
[0031]图像处理模块148可以被用于配准和叠加手术图像135，例如使用成像设备110取得的术前图像或术中图像。可以同时地或者在另一时间和位置采用成像设备110以收集图像。手术图像135可以包括三维术前计算机断层摄影(CT)图像或磁共振图像(MRI)等、或者术中X射线或超声。还预期其他成像模态。手术图像135被用于建立三维模型136，所述三维模型136包括沿着解剖结构目标131的虚拟内部横截面或内部视图图像。
[0032]图像引导模块106提供对设备102(例如内窥镜)的基于图像的控制，优选地通过控制支撑设备102的机器人系统108来提供所述控制。可以使用图像处理模块148和/或规划模块104来生成叠加107。叠加107可以包括具有突出显示区域的当前实况内窥镜图像134，所述突出显示的区域表示在所述当前实况内窥镜图像上可视化的血管图像124。图像124可以被编码、着色或者纹理化以视觉地向用户提供额外的信息，例如血管在表面之下存在的深度等。
[0033]图像引导模块106可以被用于沿目标解剖结构131的长度引导机器人系统108。在一个实施例中，使用感兴趣点来引导设备102，所述感兴趣点是在规划阶段期间被分配的，其被存储在规划中以供规划模块104使用。
[0034]工作站112包括显示器118，其用于察看对象(患者)或体积的内部图像并且可以包括具有在从设备102收集的图像上生成的叠加或其他绘制的图像。显示器118可以还允许用户与工作站112及其部件和功能或系统100内的任何其他元件交互。这是通过接口 120来进一步促进的，接口 120可以包括键盘、鼠标、游戏杆、触觉设备或者任何其他外围设备或控件，以允许来自工作站112的用户反馈以及与工作站112的交互。
[0035]解剖结构目标131的手术图像135可以包括血管(包括冠状动脉等)的3D图像。在患者解剖结构的诊断或术前扫描期间，可以采集3D血管造影扫描。根据所述扫描，可以构建目标131的3D模型136 ο例如，根据经扫描的图像，能够采用可以包括本领域己知的方法的分割方法来生成目标的3D表面，所述3D表面具有其所有的分支和特征。接下来，从脉管里面的相机视点生成或获得虚拟血管造影图像。虚拟图像的生成可以包括对脉管结构的中心线的检测。可以使用骨架化来计算中心线，所述骨架化寻找在脉管的中心中的线同时使从所述线到脉管壁的距离最小化。该方法很适合根据本发明的原理的应用，这是因为一个目的是示出脉管的空间分支。
[0036]然后，执行3D模型136与实时内窥镜图像的配准。在内窥镜102就位并被定位为察看器官(例如心脏)的情况下，外科医生可以开始对内窥镜图像的采集。为此，外科医生或机器人108使用未校准的视觉饲服或其他技术沿着目标131的可见部分移动内窥镜102。外科医生可以选择沿血管或其他路径的点以相应地移动内窥镜102。在仪器移动时外科医生也可以使用手术仪器作为引导，并且内窥镜102可以跟随工具端部。
[0037]为将手术图像135和/或3D模型136配准到内窥镜图像，可以采用存储在图像处理模块148中的匹配算法。也可以采用其他图像处理技术来配准图像/模型并维持图像/模型的配准。
[0038]内窥镜102可以是柔性的并且可以是倾斜察看或前向察看中的一种或两者。内窥镜102的运动可以是预编程的并且由图像处理模块148进行门控。在该实施例中，运动是通过外科医生的命令来生成和门控的。
[0039]根据特别有用的实施例，(术前或术中的)手术图像135和/或(一个或多个)3D模型136可以被用于确定在例如由内窥镜相机105收集的外部相机视图中不可见的器官的内部解剖结构。在一个范例中，心脏可以包括在其表面之下的血管，所述血管可能需要被识别、被形成旁路等。可以生成叠加图像107以包括在图像134中不可见的血管的位置和尺寸。将窥镜图像134与(术前或术中的)手术图像135和/或(一个或多个)3D模型136配准，使得可以在叠加图像107中绘制识别出的血管。叠加107揭示了解剖结构目标131内的内部结构。这可以包括生成在内窥镜102的位置处的、在由操作者选择的点处等的横截面图像。在一个实施例中，叠加107可以包括颜色、纹理或其他视觉信息以指示血管在表面之下的深度或其他信息。例如，基于手术图像135，可以知晓在脉管内积聚的斑块的量并且可以在叠加107中在对应的深度位置处将其显示。
[0040]可以在图像叠加107中选择并指示感兴趣点。一旦在目标131的图像134上被选择，则可以生成并显示所选择的点的横截面视图。感兴趣点可以被存储并在流程期间被参考。备选地，随着点被选择，机器人108(内窥镜把持器)可以将内窥镜102移动到该位置(例如可以存储机器人108的关节位置，因而在流程的图像引导部分期间它们可以被参考)。
[0041 ]对感兴趣解剖结构点上的点的选择可以包括例如起始点、结束点以及其他解剖结构特征或点。叠加107可以包括实时图像134和使用图像处理148生成的映射或所生成的视觉显示，以指示在内窥镜图像中不直接可见的血管和特征(例如分叉)的位置，这是因为它们可以被定位于筋膜或其他组织下方。3D可视化特征125生成在结构上所选定的位置或点处的内部视图(例如脉管的横截面或飞掠图像或视频)。使用3D模型136和/或3D图像135虚拟地再现内部数据。可以单独地或与其他视图一起提供内部视图以向用户/外科医生显示。可以自动地生成或者通过用户命令生成内部视图。例如，横截面可以与内窥镜图像同时地被察看以示出血管内任何钙化或动脉粥状硬化狭窄的存在。
[0042]参考图2，图像200示出了在内窥镜图像134上来自术前/术中3D图像的血管202(例如动脉)的叠加。图像200指示血管202相对于器官204(在该范例中是心脏)的表面的深度。对深度的指示允许针对手术流程的经改进的规划并且通过降低在手术期间移除血管202上的过量组织期间损伤一条或多条脉管的风险而增加了安全性。图像200示出了冠状动脉202的映射。冠状动脉202可以被纹理化、着色、在空间上定向、定尺寸或被标记有字母数字符号，以指示动脉的属性，例如距表面的深度、病变或其他特征的位置、堵塞等。图像200有用的一种应用包括冠状动脉旁路移植术，以将收获动脉(例如左胸腔内动脉(LIMA))的位置以及目标动脉(冠状动脉)的位置可视化。
[0043]如上所述，针对心脏和血管实现内窥镜图像134与术前/术中图像135或3D模型136之间的配准。生成叠加107以指示在显示器上要被视觉地传达给用户的属性。这是根据下文描述的一个说明性实施例来提供的。
[0044]参考图3，示意图示出了光学成像系统302、器官表面(心脏)304以及隐藏的血管306。针对成像系统302的仪器确定察看方向308 2D-3D配准的结果包括内窥镜102相对于术前图像(135)的3D坐标系的位置和取向。确切的“深度”，即内窥镜102与心脏304之间的距离可能是未知的，这是因为内窥镜102未被校准。然而，可以使用本领域己知的数学公式根据2D-3D配准的变换矩阵来计算察看方向308。
[0045]参考图4并继续参考图1，计算并定义了脉管306的深度。一般而言，脉管的深度不是唯一定义的，而是依赖于参考对象(即内窥镜的察看方向308、仪器方向，心脏304的表面等)，根据所述参考对象来计算深度“d”。例如，深度d可以被定义为距器官表面的最近距离，或者沿察看方向308的距离。在一个实施例中，因为内窥镜302提供操作场的仅有的视觉反馈，因而可以根据内窥镜302的察看方向308来测量深度d。在另一实施例中，可以采用被定位于脉管之上或紧邻定位在心脏的表面上的仪器之间的距离d。在一个实施例中，外科医生使用内窥镜图像和手术图像(202)的叠加107来将仪器引导到心脏304上的位置。使用本领域己知的图像识别方法，系统100检测仪器302在图像134中的位置(例如由于仪器302具有与心脏或器官的其他部分显著不同的颜色，或者具有容易识别的良好定义的形状)。可以采用简单的颜色阈值处理方法来识别仪器302，但是可以采用其他方法。使用图像配准，从仪器工具端部识别3D图像的心脏表面上的点。接着深度被定义为该点到血管上的最接近点的距离。也可以计算从该点到脉管结构上的其他点的深度。接着可以在实况内窥镜图像134上将深度信息可视化。
[0046]参考图5，出于说明性目的，假设被定位于图像200的中间的主脉管310在近端处的心肌内并且在图像200中的脉管的远端重新露出，即脉管310的深度在图像200的右端更深。在计算了脉管的每段的距离之后，梯度312可以被应用以基于例如颜色来示出深度。也可以采用例如除了通过梯度的颜色编码之外的其他指示符来表示深度，例如使用血管结构里面的较高或较低密度的线来表示，所述线随着深度越大而越接近在一起，等等。
[0047]参考图6，在另一实施例中，当光标或指针被定位于脉管上的不同点处时，可以使用光标320或叠加信息(例如字母数字符号)322来指示深度。
[0048]参考图7，另一实施例可以将深度指示为在仪器102(或任何指定的仪器)之下的深度。当仪器102被定位于血管306上时，在仪器102的位置处的器官的表面204与血管206之间指示深度324。仪器102不需要是内窥镜或收集图像的成像设备。可以利用或不利用颜色或其他指示符来指示深度。可以利用颜色梯度312以及指示符325(例如箭头等)来指示深度324，其示出在仪器102的工具端部处或附近的具体深度。
[0049]参考图8，在另一实施例中，仪器端部410可以持续地被跟踪，并且可以使用梯度414对从工具端部410到用户定义的区域412(例如端部附件的半径或其他形状的区域)内的所有血管结构的深度进行颜色编码。可以利用颜色梯度414以及另一指示符416(箭头等)来指示深度324，其示出在仪器102的工具端部处或附近的具体深度。
[0050]尽管己经参考心脏相关的手术并且尤其是冠状动脉旁路移植术来描述了本发明的原理，但是应理解，本发明的原理适用于在介入期间在血管(胸腔镜检查或一般的腹腔镜检查)或其他解剖结构上执行的内窥镜手术的其他情形。
[0051]再次参考图1，实施例可以允许通过使用叠加107和/或选定的感兴趣点沿血管(例如动脉)引导机器人操纵的内窥镜102来查验冠状动脉。在一个实施例中，心脏表面的图像被可视化，并且可以同时将(例如血管里面的)内部解剖结构的虚拟飞掠3D可视化或横截面图像可视化。可以基于术前或术中3D图像135或模型136来生成内部解剖结构的虚拟飞掠3D可视化或横截面图像。叠加107采用要在介入期间提供给用户的来自术前或术中3D图像135或模型136的所有诊断和解剖结构信息。
[0052]系统100可以包括机器人108，所述机器人108优选地包括至少两个自由度以允许内窥镜102围绕胸部或身体的其他区域中的插入点以俯仰与偏航方式运动。可以如上所述地建立内窥镜视图与术前/术中3D图像之间的关系。根据机器人动力学和编码器，内窥镜102与机器人坐标系(例如机器人底座)之间的关系是已知的。
[0053]参考图9并且继续参考图1，图像502示出了具有叠加107的内窥镜图像134，所述叠加107基于手术图像135和/或(一个或多个)模型136而被配准在所述内窥镜图像134上。夕卜科医生在内窥镜视图中选择冠状动脉504或其部分。机器人108(图1)使用在机器人108与图像(心脏)坐标系(例如(被用于生成图像135的)3D扫描设备的坐标系)之间的己知空间关系来使内窥镜102沿着选定的动脉504移动。3D可视化特征125(图1)生成脉管在选定的一个或多个位置处的横截面506(或三维飞掠图像)，其可以被提供用于向用户/外科医生显示。例如，横截面506可以示出虚拟图像508，所述虚拟图像508示出任何钙化或动脉粥状硬化狭窄的存在。
[0054]在另一实施例中，可以通过对内窥镜102或其他设备的定位来采用和控制自动可视化。例如，可以针对与内窥镜图像134的中心相对应的位置或者在选定的位置处等绘制脉管横截面506。横截面图像包括能够被自动选择的虚拟图像508。可以由外科医生来生成横截面3D视图506并将其可视化。
[0055]在另一实施例中，沿着路径510或血管对内窥镜的机器人引导可以被提供有对应的横截面506的可视化。在内窥镜图像134的中心处的脉管横截面506可以被自动选择，并且可以由外科医生生成横截面3D视图并将其可视化。基于与图像中的每个位置相关联的机器人编码器的己知值，机器人108可以移动内窥镜102以由用户定义的速度在其长度上跟随路径510。随着内窥镜102移动，内窥镜的图像134以及虚拟图像508重建两者可以同时在显示器118上被示出。图像引导模块106被用于引导内窥镜102。外科医生可以通过使用视觉饲服和/或参考先前选择的点(例如在规划期间选择的点)来自动地将内窥镜定位在位置处。随着外科医生沿路径510(例如动脉)前进，可以同时向外科医生显示当前内窥镜视图(窥镜图像134)、叠加107(具有或不具有计算出的深度数据)和选定的横截面506两者。根据术前图像135和/或模型136来提供内部相机视图或横截面506。由于内窥镜102的运动根据机器人编码器与配准信息的组合是己知的，因此可以紧密并准确地跟随路径510并且随着机器人108沿路径510移动而生成动脉504的内部的飞掠视频。
[0056]本方法也可以在混合血管再生术中被采用以(使用针对邻近动脉的横截面(506))将支架要被定位之处可视化并且规划旁路使得在支撑位点上具有最小的影响。
[0057]针对内窥镜引导的微创手术的其他应用可以包括:心脏手术，例如微创冠状动脉旁路移植术、心房中隔缺损关闭、瓣阀修复/替换等;腹腔镜手术，例如子宫切除、前列腺切除、胆囊手术等；自然孔口经腔手术(NOTES);肺/支气管手术;神经手术介入等。
[0058]参考图10，流程图示出了根据本发明的原理的用于将解剖结构目标可视化的方法。在方框602中，使用成像设备(例如窥镜)对解剖结构目标进行成像以收集实时图像。在方框604中，将实时图像与解剖结构目标的内部体积的三维模型配准。在方框606中，将实时图像与被配准到实时图像的叠加一起显示。在方框608中，指示在解剖结构目标的表面之下的结构。
[0059]在方框610中，在所述叠加上指示所述结构在表面之下的深度。在方框612中，可以通过以下中的一项指示所述深度:绘制在叠加中的结构的颜色、纹理、尺寸等。在方框614中，通过以下中的一个或多个来指示所述深度:颜色梯度，其中，颜色强度与深度成比例;工具在实时图像中的相对位置;或者用来生成指示深度的字母数字标签的、在所述叠加上的光标。在方框616中，在工具端部的定形区域内，例如在圆形或矩形内，指示结构在表面之下的深度。
[0060]在方框618中，可以显示虚拟图像，所述虚拟图像示出了在表面之下的结构的内部视图。在方框620中，内部视图包括在表面之下的结构的横截面视图。可以通过选择结构上的点(例如使用光标、使用工具、使用窥镜图像(其中，图像中心或其他位置选择所述点)等来绘制横截面视图。在方框622中，可以沿着与表面之下的结构中的至少一个相对应的路径来对机器人进行引导，其中，内部视图包括在表面之下的结构的三维飞掠图像。
[0061]在解释随附的权利要求时，应当理解:
[0062]a) “包括”一词不排除在给定权利要求中所列举的其他元件或动作之外的元件或动作的存在；
[0063]b)在元件之前的词语“一”或“一个”不排除多个这样的元件的存在；
[0064]c)在权利要求中的任何附图标记不限制其范围；
[0065]d)若干“单元”可以由相同的项或硬件或软件实施的结构或动能来表示;并且
[0066]e)并不旨在需要特定序列的动作，除非明确指出。
[0067]已经描述了针对血管的位置和深度的可视化以及血管横截面的机器人引导可视化的优选实施例(所述优选实施例旨在是说明性的而不是限制性的)，注意到本领域技术人员鉴于以上教导可以做出修改和变型。因此应当理解，可以在本文中如权利要求书概括的那样公开的实施例的范围内，对所公开的公开内容的特定实施例做出变化。因此已经描述了专利法所要求的细节和特性，在权利要求书中阐述了由专利证书要求并且期望被保护的内容。
【主权项】
1.一种用于将解剖结构目标可视化的系统，包括: 成像设备(105)，其被配置为收集解剖结构目标的实时图像； 三维模型(136)，其是根据术前图像或术中图像生成的，并且包括在所述解剖结构目标的表面之下、在来自所述成像设备的图像中不可见的结构的图像； 图像处理模块(148)，其被配置为生成被配准到所述实时图像并指示在所述表面之下的结构以及所述结构在所述表面之下的深度的叠加(107);以及 显示设备(118)，其被配置为同时显示所述实时图像和所述叠加。2.根据权利要求1所述的系统，其中，所述结构在所述表面之下的所述深度是通过以下中的一项来指示的:在所述叠加(107)中绘制的所述结构的颜色、纹理或尺寸。3.根据权利要求1所述的系统，其中，所述结构在所述表面之下的所述深度是通过颜色梯度(312)来指示的，其中，颜色强度与深度成比例。4.根据权利要求1所述的系统，其中，所述结构在所述表面之下的所述深度是相对于工具(102)在所述实时图像中的位置而被指示的。5.根据权利要求1所述的系统，其中，所述结构在所述表面之下的所述深度是使用在所述叠加上的光标(320)来指示的，以生成指示所述深度的字母数字标签。6.根据权利要求1所述的系统，其中，所述结构在所述表面之下的所述深度在工具端部的附近的定形区域(412)内被指示。7.根据权利要求1所述的系统，还包括图像引导模块(106)，所述图像引导模块被配置为沿着与在所述表面之下的所述结构中的一个或多个相对应的路径来对窥镜进行机器人引导。8.根据权利要求1所述的系统，还包括虚拟图像(506)，所述虚拟图像示出在所述表面之下的结构的内部视图。9.一种用于对解剖结构目标进行可视化的系统，包括: 成像设备(105)，其被配置为收集解剖结构目标的实时图像； 三维模型(136)，其是根据术前图像或术中图像生成的并且包括在所述解剖结构目标的表面之下、在来自所述成像设备的图像中不可见的结构的图像； 图像处理模块(148)，其被配置为生成叠加(107)，所述叠加被配准到所述实时图像并且指示在所述表面之下的所述结构； 可视化特征(125)，其被配置为显示在所述表面之下的所述结构的至少部分的内部视图；以及 显示设备(118)，其被配置为同时显示以下中的至少两项:所述实时图像、所述叠加或所述内部视图。10.根据权利要求9所述的系统，其中，所述结构在所述表面之下的深度是通过以下中的一项来在所述叠加(107)中被指示的:所述结构的颜色、纹理或尺寸。11.根据权利要求9所述的系统，其中，所述结构在所述表面之下的深度是通过以下中的至少一项来指示的:颜色梯度(312)，其中，颜色强度与深度成比例;在所述实时图像中显示的对于工具(102)的相对位置;或者用来生成指示所述深度的字母数字标签的、在所述叠加上的光标(320)。12.根据权利要求9所述的系统，其中，所述结构在所述表面之下的深度在工具端部的附近的定形区域(412)内被指示。13.根据权利要求9所述的系统，还包括图像引导模块(106)，所述图像引导模块被配置为沿着与所述表面之下的所述结构中的一个或多个相对应的路径来对窥镜进行机器人引B寸ο14.根据权利要求9所述的系统，其中，所述内部视图(506)包括在所述表面之下的所述结构的三维飞掠图像或横截面。15.根据权利要求9所述的系统，还包括机器人(108)，所述机器人被配置为沿着与在所述表面之下的所述结构中的至少一个相对应的路径而被引导。16.一种用于将解剖结构目标可视化的方法，包括: 使用窥镜来对解剖结构目标进行成像(602)以收集实时图像； 将所述实时图像与所述解剖结构目标的内部体积的三维模型配准(604); 将所述实时图像与被配准到所述实时图像的叠加一起显示(606);并且在所述叠加上指示(608)在所述解剖结构目标的表面之下的结构以及所述结构在所述表面之下的深度。17.根据权利要求16所述的方法，其中，指示包括通过以下中的一项来指示(610)所述深度:在所述叠加中绘制的所述结构的颜色、纹理或尺寸。18.根据权利要求16所述的方法，其中，指示包括通过以下中的一项或多项来指示(614)所述深度:颜色梯度，其中，颜色强度与深度成比例;工具在所述实时图像中的相对位置;或者用来生成指示所述深度的字母数字标签的、在所述叠加上的光标。19.根据权利要求16所述的方法，其中，所述结构在所述表面之下的所述深度在工具端部的附近的定形区域内被指示(616)。20.根据权利要求16所述的方法，还包括显示(618)示出在所述表面之下的所述结构的内部视图的虚拟图像。21.根据权利要求20所述的方法，其中，所述内部视图包括在所述表面之下的所述结构的横截面视图(620)。22.根据权利要求20所述的方法，还包括沿着与所述表面之下的所述结构中的至少一个相对应的路径对机器人进行引导(622)，其中，所述内部视图包括在所述表面之下的所述结构的三维飞掠图像。
【文档编号】A61B90/00GK105979900SQ201580007188
【公开日】2016年9月28日
【申请日】2015年1月26日
【发明人】A·波波维奇, H·埃尔哈瓦林
【申请人】皇家飞利浦有限公司