专利名称：用于将图像与管状结构融合的基于仪器的图像配准的制作方法
用于将图像与管状结构融合的基于仪器的图像配准本公开涉及成像系统，并且更具体而言涉及用于在医学过程期间的内部对象的图像配准的系统和方法。支气管镜检查是用于检查气道内壁并且引导随后的诊断或者治疗介入的实时图像模态。在过程期间，可以使用X射线成像来实时监测内窥镜的位置。归因于X射线图像的低图像对比度，很难观察到肺部中的软组织结构，例如病变和气道。这妨碍了使用X射线透视作为实时图像引导工具来辅助支气管镜检查介入。一种解决方案是预先采集三维(3D)计算机断层摄影(CT)体积，其清楚地描绘了很多在ニ维(2D)X射线图像中看不到的结构，然后将来自该CT的软组织信息覆盖到X射线图像上。该融合的可视化可以提供术中引导，从而人们可以精确地定位病变并识别其与观察仪器的空间关系，但是其具有配准误差以及其他问题，这是因为在X射线图像中并不容易识别出特征。通常可以将配准方法分类为基于强度的方法和基于特征的方法。基于特征 的方法具有运算上的优势，但是结果取决于图像分割或者分割(一种图像处理过程，其目的在于从图像背景中提取感兴趣特征)的精度以及特征的特性。目前，很多2D-3D配准方法本质上是基于特征的，并且因而，结果高度地依赖于图像内部的特有特征。很多配准算法已经证明了它们在心脏和神经介入中的可行性和鲁棒性；例如，在3D计算机断层摄影血管造影术(CTA)体积数据和2D血管造影术之间的冠状动脉共配准。在用于肺部介入的透视引导中，在2D X射线图像中很少用到血管造影木。在X射线图像中仅呈现气道或者其他软组织的些微迹象。因而，在两种类型图像中包含的唯一可视特征是骨特征，例如脊柱和肋骨。这些特征并不足以用于配准，因为它们在空间上呈现高复制性模式。另ー方面，基于所有強度信息的基于强度的方法具有相对小的捕获范围以及较慢的收敛速率。已知运算量是很大的，因而实时数据融合并不是一直可行的。根据本原理，一种用于将三维图像与ニ维术中图像配准的系统和方法包括在管状结构的器官的三维图像中分割所述器官，以及将所述器官的所述三维图像投影至ニ维空间中以提供投影图像。分割在医疗仪器的ニ维图像中描绘的所述医疗仪器。计算所述投影图像和在所述ニ维图像中描绘的所述医疗仪器的形状之间的相似性得分以确定最佳匹配。基于所述最佳匹配来将所述投影图像与所述ニ维图像配准。用于在医学过程期间配准图像的另一方法包括在管状结构的器官的术前三维图像中分割所述器官，以及将所述器官的所述三维图像投影至ニ维空间中以提供投影图像。针对医疗仪器的位置收集过程中图像数据以获得所述医疗仪器相对于所述器官中感兴趣区域的ニ维图像。分割在所述ニ维图像中描绘的所述医疗仪器。计算相似性得分以确定所述投影图像和在所述ニ维图像中描绘的所述医疗仪器的形状之间的最佳匹配。基于所述最佳匹配来将所述三维图像与所述ニ维图像配准，使得所述医疗仪器的所述位置和所述感兴趣区域同时可见。一种用于在医学过程中配准图像的系统包括具有记忆存储介质的计算机处理单元，其用于存储和运行用于在器官的三维图像中分割管状结构的器官以及将所述三维图像投影至ニ维图像中的程序。过程中成像设备被配置为在感兴趣区域中获得所述医疗仪器的ニ维图像。所述程序被配置为计算所述投影图像和所述医疗仪器的所述ニ维图像中描绘的医疗仪器的分割图像之间的相似性得分以确定最佳匹配。基于所述最佳匹配来将所述投影图像与所述ニ维图像配准，以在显示设备上绘制。通过结合附图来理解图示性实施例的以下详细描述，本公开的这些和其他目的、特征和优点将变得显而易见。參照附图，本公开将详细呈现优选实施例的以下描述，其中图I的方框图/流程图示出了根据ー个实施例的用于针对医学过程配准图像的方法;图2的方框图/流程图示出了根据另ー实施例的用于针对医学过程配准图像的更加详细的方法；
图3是根据本原理被变换至具有中心线的基干图像的经分割的支气管图像；图4示出了根据本原理被投影至ニ维中的支气管三维图像；图5示出了根据本原理与图4投影图像的中心线配准的被插入仪器的图像；图6示出了根据本原理的配准结果连同在同一图像中描绘的病变；以及图7的方框图示出了用于执行根据本原理的过程的示意性系统。本公开描述了用于将图像与管状结构融合的基于仪器的图像配准系统和方法。在透视引导的支气管镜检查介入中，在术前计算机断层摄影(CT)图像和术中X射线图像中唯一的可视特征是骨特征，例如脊柱和肋骨。如上所述，这些特征并不足以用于配准，因为它们在空间上呈现高复制性模式。提供一种新颖的基于仪器的2D/3D配准系统和方法以将来自CT图像的经分割器官例如气道，与在透视图像中显示的仪器(例如，内窥镜)配准。可以在例如其中为了外围病变组织活检而需要X射线透视的支气管镜导航系统中实施实施例。也可以针对其中导管或者探针被插入管状结构从而可以根据人体解剖和术前CT图像来预测仪器的轨迹的其他介入来实施其他实施例。解剖结构与仪器实时图像的融合使得有效的透视引导成为可能。在特别有用的实施例中，基于仪器的2D/3D配准方法将来自CT图像的经分割的气道与在透视图像中显示的仪器(内窥镜)配准。可以在为了外围病变组织活检而需要X射线透视的支气管镜导航系统中实施该方法。该方法可包括(I)获得肺部或者其他器官或结构的术前3D CT数据，以及即时的X射线透视图像；(2)手动地、自动地、或者半自动地分割和识别气道，等等；(3)使用数字放射重建(DRR)或者类似方法以通过将CT数据从3D空间投影至2D空间中来模拟X射线透视图像。(类似的投影方法可包括可替代的DRR方法，等等。在一个实施例中，可采用像素平均来将气道的三角形表面网格从3D体积投影至2D虚拟图像平面。由于三角形网格保留了气道的结构，并且減少了数据组的規模，因此这ー替代方法可能更加鲁棒性并且提供更快的結果。)(4)使用仪器(例如，内窥镜)分割方法来从X射线透视图像中识别整个观察仪器；以及(5)基于经分割的气道和该内窥镜进行2D/3D图像配准和优化。解剖结构与仪器实时图像的融合使得有效的透视引导成为可能。应当理解，将根据结合支气管镜检查而采用的X射线透视图像和CT图像来描述本发明；然而，本发明的教导是更加广泛的，并且可应用于任意过程的任意追踪方法或者针对任意过程的任意追踪方法。也应当理解，将根据内窥镜过程来描述本发明；然而，本发明的教导是更加广泛的，并且可应用于任意的医学过程或者设备。在本文中描述的实施例优选用于定位肺部中或者肺部周围的组织，但是也可以是在其他位置，例如心脏、消化器官、血管、肾脏等中的组织。也应当理解，将根据医疗仪器来描述本发明；然而，本发明的教导是更加广泛的，并且可应用于在追踪或者分析复杂的生物或机械系统中采用的任意仪器。特别是，本原理可应用于生物系统的内部追踪过程，在身体的所有区域例如肺部、胃肠道、排泄器官、血管等等中的过程。在附图中所描绘的元件可以实现为硬件和软件的各种组合，并且提供可在单个元件或者多个元件中被组合的功能。在附图中所示出的各种元件的功能可以通过使用专用硬件以及能够联合适当软件来执行软件的硬件来提供。当由处理器提供时，可以通过单个的专用处理器、通过单个的共享处理器、或者通过其中的一些可以被共享的多个单独的处理器来提供该功能。此 夕卜，术语“处理器”或者“控制器”的明确使用不应当被解释为单指能够执行软件的硬件，并且可以隐含地包括但不限于，数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储器，等等。此外，所有本文中叙述的本发明的原理、方面和实施例及其具体范例的陈述旨在包含其结构上的等价物和功能上的等价物两者。此外，这种等价物意在包括当前已知的等价物以及在将来发展出的等价物(也即，所发展出的执行相同功能的任意元件，无论其结构如何)两者。因而，例如，本领域技术人员将意识到，在本文中呈现的方框图代表体现本发明原理的示意性系统部件和/或电路的概念图。同样，将意识到，任意流程图以及诸如此类代表可在计算机可读存储介质中被基本表示并且被计算机或者处理器如此执行的各种处理，无论这种计算机或者处理器是否被明确地示出。此外，本发明的实施例可以采取可从计算机可用或计算机可读存储介质访问的计算机程序产品的形式，该存储介质提供了由计算机或者任意指令执行系统使用或者与其连接的程序代码。出于本说明书的目的，计算机可用或计算机可读存储介质可以是可包括、存储、通信、传播、或者传送由指令执行系统、装置或者设备使用的或者与其连接的程序的任意装置。该介质可以是电子的、磁的、光学的、电磁的、红外的，或者半导体的系统(或者装置或者设备)，或者传播介质。计算机可读介质的范例包括半导体或者固态存储器、磁带、可移除的计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘以及光盘。光盘的当前范例包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-R/W)和DVD。现在參照附图，其中相似附图标记代表相同或者相似元件，并且首先參照
图1，提供了基于仪器的方法来配准诸如气道的内部器官。从具有内窥镜或者其他设备的图像(例如CT图像)中分割内部器官(例如确定图像的背景并将其移除)，该内窥镜或者其他设备被显示在透视图像中。在方框20，术前3D CT扫描(3D图像)提供了肺部或者其他管状器官的数据。在方框22，捕获包括医疗仪器的术中图像。这可包括身体内感兴趣区域(病变，等等)的透视图像，例如即时的X射线透视图像。在方框24，在3D图像中执行气道或者管状器官的手动的、自动的、或者半自动的分割和识别。在方框26，通过将3D图像投影至2D空间中而构建2D图像。采用数字放射重建(DRR)或者等价方法以通过将CT数据从3D空间投影至2D空间中来模拟2D X射线透视图像。在方框28，仪器(例如，内窥镜)分割方法从2D X射线透视图像中识别出整个观察仪器。在方框30，执行图像配准和优化以将来自3D空间的具有经分割的气道的重建的2D图像与2D的经分割内窥镜相匹配。采集在X射线透视图像中被插入的内窥镜的形状并且该形状能够用作基于特征的配准的參考。一个假设是该内窥镜应当一直被包含于通向目标病变的气道的分割之内。由于内窥镜以及内部器官或者病变的分割可以是相对直观和可靠的，因此可以很快地执行配准。通过将从经分割的气道和从经分割的仪器提取出的中心线或者其他特征相重合，可以实现3D CT和2D X射线之间的实时数据融合。參考图2，流程图示出了根据本原理的更加详细的工作流程。在方框50，在过程(例如，支气管镜检查)之前，从诸如CT扫描图像的3D图像中分割(ー个或多个)管状器官，例如气道、消化器官、血管等等。例如，可以自动进行从气管到例如第4级(外围病变通常位于第4级的更远处)或者更远的气道管的分割。该处理也可手动执行。在方框52，通过例如半自动或者手动分割来执行病变的分割。可通过各种手动或者半自动方法来分割病变或者目标组织。在方框54，为了进一歩的配准步骤而提取出如图3所描绘的器官(气道)的细的基干结构或者边界。仅保留通向病变的气道路径以节约内存并减少复杂性可能是有利的。 可以移除其他经分割的气道。在方框56，肺部专家或者其他医务人员可驱动仪器(例如，观察仪器，如内窥镜或者其他仪器)至第4级气道，但是当观察仪器到达第5级附近以及更远时可能会在空间上感到迷惑。在方框58，获得2D术中图像。这可包括X射线透视图像。在当前的支气管镜检查过程中，X射线透视技术人员通常进行具有相对大视场(FOV)的X射线图像的第一次拍摄以捕获内窥镜的(支气管镜的)位置。因而，可以在X射线图像的第一次拍摄中看到观察仪器的大部分。在方框60，在2D图像(例如，透视图像)中分割该仪器，并且出于进一歩配准的目的而获得观察仪器的基干结构。归因于X射线图像的术中采集，不期望进行手动交互。可以使用自动区域生长方法、水平集方法或者其他方法来分割出该观察仪器。观察仪器图像的分割优选来自2D X射线图像。在方框62，使用DRR方法或者其他适当方法来将3D气道投影至虚拟2D检测器平面。注意到这一重建只需要对从气管通向目标的CT图像的术前经分割的气道进行，因为存在仪器轨迹的气道对应。在方框64，计算被从CT图像空间投影至2D的经分割的气道(图4)与在參考X射线图像中的经分割的仪器之间的相似性度量。该相似性度量可包括确定特征点组(例如，所投影的气道中心线和透视图像中仪器(内窥镜)的描绘的中心线)之间的平均距离。可选地，相似性度量也可包括相似性得分以使用预定义的形状描述符来比较两个曲线(例如，比较曲线的參数，例如b样条參数，等等)。可采用的其他特征包括灰度值、梯度、用于比较图像的其他图像信息，等等。在方框66，可运行优化方法以将被投影至2D的经分割的气道与经分割的观察仪器之间的相似性度量最小化。在方框67，经过几次迭代后，完成第一拍摄图像的配准。在方框68，经分割的感兴趣区域(例如，病变)被叠加并且显示在2D图像上(例如，X射线透视图像)。这提供了用于第一拍摄图像的导航的完整图像(见图6)。在方框70，假设患者不移动并且通过C型臂系统的结构已知C型臂(对于X射线机器)的当前位姿和先前位姿之间的变换矩阵，那么一旦第一次配准成功，针对接下来的X射线拍摄的配准就是很简单的。因此，对于其后的拍摄，观察仪器形状的完整存在不是必需的。通过实施基于仪器的配准，实时病变可视化是可行的。这极大地辅助了 X射线引导的支气管镜检查过程，因为支气管镜检查专家能够同时看到仪器和病变两者。參考图3，示意性的图像90示出了根据分割处理而被分割的支气管92。分割是图像处理术语，其用于描述一种从图像的背景中区分出感兴趣结构的处理。处理图像90以修剪该图像，从而留下细的基干结构94，其中可看到支气管92的边界96并且计算中心线98。结构94将被投影至2D中以与仪器的经分割图像相比较，用于基于仪器的配准。參考图4，示意性地示出了经分割的气道102(支气管)的重建。选择从气管到目标病变(未示出)的支气管102。将来自3D CT扫描图像的经分割的气道102的中心线104投影至图像106。使用例如DRR来将支气管102从3D投影至2D，以生成2D中心线图像106。将采用图像106来对齐医疗仪器(I 10)的图像。參考图5，将来自经分割的气道102的中心线图像106与X射线透视图像112上的 内窥镜110对齐。图6示出了配准結果。X射线透视图像112显示了来自术前CT图像的覆盖的病变114和经分割的气道中心线106。该融合可视化提供了术中引导，使得可以精确地定位病变并且识别其与观察仪器的空间关系。可以在其中为了外围病变组织活检而需要X射线透视的支气管镜导航系统中实施该方法。也可以针对其中导管或者探针被插入管状结构从而可以根据人体解剖和术前CT图像来预测仪器的轨迹的其他介入来实施该方法。解剖结构与仪器实时图像的融合使得有效的透视引导成为可能。參考图7，示意性地示出了用于在医学过程期间配准2D和3D图像的系统200。系统200与被引导的医疗设备、仪器或者工具202，例如内窥镜、导管、钳夹、针等，一起工作。该仪器202在X射线图像中可见。系统200包括一个或多个计算机控制台206，其被采用来收集/显示图像、配准图像，等等。该控制台或者多个控制台206也在该过程期间提供对(ー个或多个)医学设备202的控制和支持。在一个实施例中，采用X射线机器208来提供用于患者的辐射暴露以生成2D图像。用于X射线照射的优选方法包括采用C型臂结构211，但是也可采用其他布置。其他医学仪器或者设备，例如灯、钳夹、针、气囊，等等，可提供于仪器202上(或者独立地提供)以用于执行过程。优选提前(术前)获得CT或者其他图像并且将其存储在存储器210中。可选地，可同时采用CT扫描器214来在该过程之前获得CT图像。存储在存储器210中的术前3D CT图像可包括优选在CT图像中被描绘出的患者201中的(ー个或多个)目标区域203(例如，可疑的癌组织)。控制台206可与包括存储器210和操作系统222的计算机系统220相连接或者是计算机系统220的一部分。存储器210可存储ー个或多个相应的程序224，该程序224可提供分割、中心线确定、DRR方法以及优化功能以提供根据本原理所描述的功能性(例如，图I和2)。程序224从CT图像分割出管状组织(例如，气道)，并且在观察仪器的2D或者X射线图像中分割出仪器202，并且确定图像间的所计算的中心线或者其他特征之间的相似性得分。程序224也被配置为将X射线与被投影的CT图像配准。程序224也可适于执行配准数据的统计学分析或者插值，以预测运动或者提供配准匹配的置信分数。计算机220可是多个计算机之一或者作为单个的计算机被采用。计算机220包括处理器230，处理器实施程序224并且提供多个程序选项和应用。例如，程序224可包括用于图像绘制、分割、中心线可视化等等的软件模块。计算机220可提供用于系统中其他设备的支持或者控制。例如，可采用计算机220来控制X射线的暴露设置、C型臂211的运动、过程步骤(例如，内窥镜消融、气囊膨胀等等，统计或者其他运算，等等)的同歩。输入/输出(I/O)设备或者接ロ 232提供与计算机220、仪器(内窥镜)202以及可视化显示器226的实时交互以比较和示出图像。计算机系统220可包括用于与控制台206和/或仪器202交互的用户接ロ 232。接ロ 232可包括键盘、鼠标、触屏系统，等等。当解释所附权利要求时，应当理解的是a)措辞“包括”不排除未在给定权利要求中列出的其他元件或动作的存在，b)在元件之前的措辞“一”或“一个”不排除多个这种元件的存在； c)权利要求中的任何附图标记不限制它们的范围；d)几个“装置”可由同一项或硬件或者软件实现结构或功能来表示；以及e)除非明确指出，否则不旨在要求动作的特定次序。已经描述了用于将图像与管状结构融合的基于仪器的图像配准系统和方法的优选实施例(其g在为说明性的而非限制性的)，注意到本领域技术人员鉴于以上教导，可以做出修改和变型。因而将理解的是在所掲示公开的特定实施例中可以做出改变而仍处于由所附权利要求给出的在本文中公开实施例的范围之内。因而已经描述了专利法所要求的细节和特性，在所附权利要求中阐明了通过专利证书所主张和期望保护的内容。
权利要求
1.一种用于将三维图像与二维术中图像配准的方法，包括 在管状结构的器官的三维图像中分割(24)所述器官； 将所述器官的所述三维图像投影(26)至二维空间中以提供投影图像； 分割(28)在医疗仪器的二维图像中描绘的所述医疗仪器；以及基于所述器官的所述投影图像和在所述二维图像中描绘的所述医疗仪器的形状之间的最佳匹配来将所述投影图像与所述二维图像配准(30 )。
2.如权利要求I所述的方法，其中，分割(24)管状结构的器官包括确定所述管状结构的器官的中心线。
3.如权利要求2所述的方法，还包括计算相似性得分(64)以确定所述最佳匹配，其中，计算所述相似性得分包括将经分割的医疗仪器的中心线与所述管状结构的器官的所述中心线相比较以确定所述相似性得分。
4.如权利要求I所述的方法，其中，所述管状结构的器官包括肺部的气道，并且所述医疗仪器包括支气管镜。
5.如权利要求I所述的方法，其中，所述三维图像包括术前计算机断层摄影图像。
6.如权利要求I所述的方法，其中，所述二维图像包括过程中X射线图像。
7.如权利要求6所述的方法，其中，所述医疗仪器的所述形状在所述二维图像中可见。
8.如权利要求I所述的方法，其中，投影(26)包括采用数字放射重建(DRR)方法来将三维空间投影至二维空间中。
9.一种用于在医学过程期间配准图像的方法，包括 在管状结构的器官的术前三维图像中分割(50 )所述器官； 将所述器官的所述三维图像投影(62)至二维空间中以提供投影图像； 针对医疗仪器的位置收集(58)过程中图像数据以获得所述医疗仪器相对于所述器官中感兴趣区域的二维图像； 分割(60)在所述二维图像中描绘的所述医疗仪器； 计算(64)相似性得分以确定所述投影图像和在所述二维图像中描绘的所述医疗仪器的形状之间的最佳匹配；以及 基于所述最佳匹配来将所述三维图像与所述二维图像配准(67)，从而所述医疗仪器的所述位置和所述感兴趣区域同时可见。
10.如权利要求9所述的方法，其中，分割(50)管状结构的器官包括确定所述管状结构的器官的中心线。
11.如权利要求10所述的方法，其中，分割(60)医疗仪器包括确定所述医疗仪器的中心线，其中，比较所述管状结构的器官的所述中心线和所述医疗仪器的所述中心线以确定所述相似性得分。
12.如权利要求9所述的方法，其中，所述管状结构的器官包括肺部的气道，并且所述医疗仪器包括支气管镜。
13.如权利要求9所述的方法，其中，所述三维图像包括术前计算机断层摄影图像。
14.如权利要求9所述的方法，其中，所述二维图像包括过程中X射线图像。
15.如权利要求14所述的方法，其中，所述医疗仪器的所述形状在所述二维图像中可见。
16.如权利要求9所述的方法，其中，投影(62)包括采用数字放射重建(DRR)方法来将三维空间投影至二维空间中。
17.一种用于在医学过程中配准图像的系统，包括 具有记忆存储介质(210)的计算机处理单元(220)，其用于存储和执行用于在管状结构的器官的三维图像中分割所述器官以及将所述三维图像投影至二维图像中的程序(224);以及 过程中成像设备(208)，其被配置为获得感兴趣区域中的所述医疗仪器的二维图像； 所述程序被配置为计算所述投影图像和在医疗仪器(202)的所述二维图像中描绘的所述医疗仪器的分割图像之间的相似性得分以确定最佳匹配，以及基于所述最佳匹配来将所述投影图像与所述二维图像配准，以在显示设备上绘制。
18.如权利要求17所述的系统，其中，所述程序(224)确定所述管状结构的器官的中心线，并且确定所述医疗仪器的中心线，其中，比较所述管状结构的器官的所述中心线和所述医疗仪器的所述中心线以确定所述相似性得分。
19.如权利要求17所述的系统，其中，所述管状结构的器官包括肺部，并且所述医疗仪器包括支气管镜。
20.如权利要求17所述的系统，其中，所述三维图像包括术前计算机断层摄影图像。
21.如权利要求17所述的系统，其中，所述过程中成像设备(208)包括X射线机器，并且所述二维图像包括过程中X射线图像。
22.如权利要求17所述的系统，其中，所述程序(224)包括数字放射重建(DRR)方法以将三维空间投影至二维空间中。
全文摘要
一种用于将三维图像与二维术中图像配准的系统和方法包括在器官的三维图像中分割(24)管状结构的所述器官，以及将所述器官的所述三维图像投影(26)至二维空间以提供投影图像。分割(28)在医疗仪器的二维图像中描绘的所述医疗仪器。计算所述投影图像和在所述二维图像中描绘的所述医疗仪器的形状之间的相似性得分以确定最佳匹配。基于所述最佳匹配来将所述投影图像与所述二维图像配准(30)。
文档编号G06T7/00GK102843972SQ201180019034
公开日2012年12月26日 申请日期2011年3月29日 优先权日2010年4月15日
发明者D·徐, X·刘, L·F·古铁雷斯 申请人:皇家飞利浦电子股份有限公司