用于多模态自动配准的反馈的制作方法

本公开内容涉及图像配准，尤其涉及用于配准图像使得能够实现配准品质和精度的即时评估的系统和方法。

背景技术：

多个成像模态的自动配准和融合对于各种诊断和介入操作来说是有益的。具体地说，低成本的实时成像如超声(us)与现有的3d成像如计算机断层扫描(ct)或磁共振成像(mri)的配准是期望的。已引入超声探针的空间跟踪(例如，使用电磁(em)跟踪)以利于例如us-ct配准。然而，现有ct图像与em跟踪坐标系统配准的剩余任务需要在患者身上获得具有em跟踪器或基准标记的新ct扫描，或用户在实时跟踪的us和现有ct中识别公共点、地标或图像平面的耗时的手动配准过程。

用于显示所产生的配准变换的当前方案包括使用配准变换将用于配准的静态图像映射到彼此上(例如，将us图像映射到ct图像上)，和并排地或在单个“融合的”图像中显示映射后的图像。另一种方法包括使操作者在实时超声扫描期间应用配准变换，并同时将另一图像(例如，ct)的对应横截面显示在屏幕上。这些方法具有缺点并且不是有效的。具体地说，操作者不习惯于阅读“融合的”图像或在阅读“融合的”图像上未受训练，并且可能不能辨别融合的图像是否示出“可接受的”配准。融合或并排显示通常仅示出来自us和ct图像的单个2d片段或2个或3个正交片段。这些片段可能不包含将允许操作者评估配准品质的图像信息和地标。如果操作者想要查看另外的片段，则操作者将需要手动地选择不同的片段以供显示。这花费额外的时间。

整个图像(融合的或并排)的3d体积绘制图通常仅绘制图像体积的“外侧”区域。另外，绘制过程将难以手动调整，并且许多相关的地标可能被其它不相关的图像信息模糊。这也花费额外的时间，并且操作者将需要在实时扫描期间找到相关的地标，所述相关的地标将容许操作者评估配准。另外，患者的呼吸运动可能改变扫描期间的配准品质，从而潜在地造成另外的混乱。

可使用用于将点从图像中的一个的坐标系统变换至另一图像的坐标系统上的变换t来提供3d超声与ct结果的自动配准。这能够实现图像在彼此上的映射(或“融合”图像)。自动配准的输出取决于输入，该输入包括两个图像(例如，ct和超声)，以及由操作者提供的可能的附加信息(例如，变换的初始估计)。因为输入的图像内容和操作者输入的品质是高度可变的，所以输出的品质也难以预测，因此需要操作者审核结果并且“接受”结果或“拒绝”结果并重新开始配准过程。

技术实现要素：

根据本原理，一种用于配准反馈的系统，包括分割模块，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割。配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割。显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。

另一种用于配准反馈的系统包括处理器和存储器，所述存储器联接至所述处理器。所述存储器包括：分割模块，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；以及配准模块，所述配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割。显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。用户界面被配置成容许所述用户选择所述联合显示图像的不同视图，以允许探查不同视角中的相对对准。

一种用于配准反馈的方法包括分隔待配准的第一图像中的相关三维结构分割和分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割；以及联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。

通过结合附图阅读下面关于本发明的例示性实施例的详细描述，本发明的这些和其它目的、特征和优点将变得明显。

附图说明

本公开内容将参照以下附图详细地给出优选实施例的以下描述，在附图中：

图1是示出根据一个实施例的用于视觉上确定图像配准品质的系统的框图/流程图；

图2是示出根据一个实施例的从同一患者的ct图像和超声图像提取并且配准至ct扫描上以示出对准情况的血管分割的绘制图；

图3是示出根据另一个实施例的用于计算配准至ct上的从ct提取的完整器官表面分割与从超声提取的部分器官表面分割之间的配准的表面分割的绘制图；

图4是示出根据另一个实施例的基于从ct提取的分割的患者皮肤和肝脏以及在超声图像获取期间的被跟踪的超声探针的模型的绘制图；

图5是示出根据另一个实施例的来自另一图像顶部上的一个图像的轮廓分割的绘制图；并且

图6是示出根据例示性实施例的用于视觉上确定图像配准品质的方法的框图/流程图。

具体实施方式

根据本发明原理，提供用于显示和可视化配准结果的系统和方法。根据尤其有用的实施例，操作者可迅速地、正确地并且有把握地判定配准是否是可接受的。为了克服现有技术的缺点，本发明原理提供在单个视图中向操作者示出所有有关信息的3d分割信息的显示。

若干方案可根据本发明原理实现在用于自动配准应用的用户界面中。一种方案包括在配准期间对超声(us)图像和计算机断层扫描(ct)图像中的脉管结构的分割，和在3d绘制图中以不同颜色可视化两个脉管树(或其它结构)。另一种方案包括在us图像和ct图像中的关注区域中的器官的表面分割，和再次在3d绘制图中以不同颜色可视化两个分割。在两种情况下，所有分割结构的距离和对准可由操作者在单个图像中鉴别，并且可用来评估配准品质。另一种方案包括用于获取3dus图像的超声探针相对于基于ct扫描的患者皮肤表面的绘制图的位置的3d绘制图。快速察看该单个绘制图将告诉操作者配准的整体旋转和平移是否正确。

应理解的是，本发明将在医学图像方面进行描述；然而，本发明的教导是宽泛的并且适用于任何图像。在一些实施例中，将本发明原理使用于跟踪或分析复杂的生物或机械系统中。尤其是，本发明原理适用于生物系统的内部跟踪操作、如肺、胃肠道、排泄器管、血管等的身体的所有区域内的操作。附图中所绘示的元件可实施于硬件和软件的各种组合中，并且提供可组合于单个元件或多个元件中的功能。

附图中所示的各元件的功能可通过使用专用硬件以及能够与适当软件结合来执行软件的硬件来提供。当通过处理器提供时，所述功能可通过单个专用处理器、通过单个共享处理器，或通过其中一些可共享的多个单独的处理器来提供。此外，对术语“处理器”或“控制器”的明确使用不应当被解释为仅指代能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(“dsp”)硬件、用于存储软件的只读存储器(“rom”)、随机存取存储器(“ram”)、非易失性存储装置等。

此外，本文中记载本发明原理、方面和实施例的所有表述及其具体示例意在涵盖其结构和功能的等效方案。另外，意图在于这样的等效方案包括当前已知的等效方案以及未来开发的等效方案(即，所开发的执行相同功能的任何元件，无论其结构如何)。因此，例如，本领域技术人员应理解的是，本文中给出的框图表示体现本发明原理的例示性系统部件和/或电路的概念视图。类似地，应理解的是，任何流程图、流程示意图等都表示可以基本上被表示在计算机可读存储介质中并由计算机或处理器执行的各种过程，无论这样的计算机或处理器是否明确示出。

此外，本发明原理的实施例可采取计算机程序产品的形式，所述计算机程序产品可从计算机可用或计算机可读存储介质存取，所述计算机可用或计算机可读存储介质提供用于由电脑或任何指令执行系统使用或与电脑或任何指令执行系统结合使用的程序代码。出于这种描述的目的，计算机可用或计算机可读存储介质可以是可包括、存储、通信、传播或传送程序以用于由指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的任何设备。所述介质可以是电子的、磁性的、光学的、电磁的、红外的、或半导体系统(或设备或装置)或传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(ram)、只读存储器(rom)、硬磁盘和光盘。光盘的当前示例包括光盘只读存储器(cd-rom)、读/写光盘(cd-r/w)、blu-raytm和dvd。

现在参照附图，其中相同数字表示相同或类似的元件，并且首先参照图1，根据一个实施例例示性地示出用于视觉上确定图像配准品质的系统100。系统100可包括工作站或控制台112，从该工作站或控制台监视和/或管理操作。工作站112优选地包括一个或多个处理器114和用于存储程序和应用的存储器116。

在一个实施例中，存储器116可存储图像处理模块145，该图像处理模块被配置成从不同成像模态142、144接收图像，所述不同成像模态对相同体积131成像或对相同体积131部分地成像(但设想到其它情形)。成像模态可包括如us、ct、磁共振成像(mri)、荧光透视等的两个或两个以上成像模态的任何组合。体积131的图像134、136存储在存储器116中。体积131包括关注点、相关结构、器官132、部分器官等。应注意的是，虽然图1中绘示了成像模态142和144，但是可呈现出没有成像模态、附加的成像模态或仅一个成像模态，因为系统100可对来自任何源的存储图像进行操作。

图像分割模块148提供图像134、136中的器官分割。图像分割优选地包括配准过程中所涉及的相关结构(例如，脉管或器官表面)的3d分割，即基于图像134、136创建分割。图像134、136中的分割器官或关注点使用配准模块152彼此配准。配准模块152包括能够确定图像134、136之间的变换并且对准图像中的关注点或器官的一个或多个配准程序。通过将配准变换t应用至图像中的一个(例如，图像136)的分割，该图像(136)被映射至另一图像(134)的坐标空间上。

图像绘制模块146以三维方式将配准的图像绘制于彼此的顶部上，以用于显示在显示装置118上。工作站112包括用于观察受试者(患者)或体积131的图像134、136的显示器118，并且可包括不同颜色或纹理的图像134、136，以区分成像模态。显示器118也可容许用户与工作站112以及其部件和功能，或系统100内的任何其它元件交互。通过界面120更利于这种交互，该界面可包括键盘、鼠标、操纵杆、触觉装置或用以容许用户从工作站112反馈和与工作站112交互的任何其它外围设备或控制装置。用于界面120的其它选项可包括触摸屏或免触摸传感器(如的kinect^tm)以修改视图视角。免触摸传感器122可用来检测并且解释自由空间中的操作者的手势。其它输入选项可包括用以从操作者接收语音/听觉输入的麦克风124，或使用加速计或可附接至操作者(例如，腕带等)以用于手势检测的其它传感器126。

显示器118提供从自动配准中所涉及的两个图像134、136(例如3dus和ct)获得的3d分割的联合可视化，以利于由操作者进行的配准品质的快速和可靠评估。尤其是，所显示信息的稀疏性(仅分割，与整个图像相反)容许操作者查看所有相关信息(完整的3d视图)，这不是显示下层图像的绘制图时的情况。图像绘制模块146绘制不同视图并且容许操作者使用显示器118和/或界面120从不同视图进行选择。操作者可例如修改分割的视图方向、平移和缩放以允许充分探查分割且配准的结构的相对对准。

在一个实施例中，向操作者提供的反馈也可以是定量的或数值的，例如，分割结构之间的平均距离、中数距离或最大距离，以及分隔结构的数目、长度、表面或体积。绘制图可以是动画的，示出随时间推移的不同视图视角(例如，创建围绕分割结构旋转的绘制图的虚拟“摄影机”)。以此方式，操作者不必提供任何输入来改变视图视角。

根据本发明原理，配准过程中所涉及的相关结构(例如，脉管或器官表面)的3d分割分别基于图像a和b(图像134和136)创建分割sa和sb。将配准变换t应用至来自图像中的一个(a)的分割以将该分割映射至另一图像(b)的坐标空间上(或反之亦然)，例如，创建sa_in_b＝txsa。3d分割sa_in_b和sb联合地显示于3d绘制图中，其中sa_in_b和sb具有不同颜色或纹理。

分割模块148将来自待配准的两个图像134、136的相关结构分割。分割可在使用配准模块152的配准过程之前或在该配准过程期间获得，并且可由配准算法或方法用来确定两个图像134、136之间的最优配准。可使用本领域已知的用于创建分割的任何方法。分割的结构可以是例如器官和身体结构的表面或部分表面；血管；血管或气道的分叉点；可表示为一维(1d)、2d或3d物体的其它常见地标，如在所有成像模态中可见的植入的外科夹钳(1d的点)、植入的导管(2d的线)等。

用于将器官表面分割的一种方法包括例如图像的阈值化或提供图像强度梯度。这包括仅保持示出一定阈值以上或以下的图像强度或强度梯度的点。也可以使用其它分割技术。

图像134和136中的分割结构随后被表示为稀疏的二进制体积(例如，具有用于作为分割的一部分的体素的“1”值和用于不是分割的一部分的所有其它区域的体素的“0”值的体积)；表示为点云(例如，对应于作为分割的一部分的点的3d点坐标的集合)；或表示为表面网格(例如，具有关于哪些点通过边缘连接以形成表面片块的附加信息的点云——整个网格因此表示分割的表面区域)。分割结构随后通过图像绘制模块144使用3d表面绘制方法进行绘制，所述3d表面绘制方法可包括本领域中已知的技术。以此方式，为操作者提供容许对来自图像134、136的分割之间的对准品质进行即时鉴别的图像。

参照图2，从ct图像提取的血管202和从同一患者的超声图像提取的血管204的绘制图被例示性地配准至ct扫描绘制图206上。操作者可看见整个3d分割结构，并且可迅速地鉴别超声脉管与其ct对应物良好地对准。生成ct扫描绘制图206，以用于使用脉管分割来计算配准的配准方法。在一个实施例中，操作者可“点击并拖动”绘制图206以旋转或以其它方式改变视图视角。以此方式，可更容易在当前视图视角中观察当前被脉管元件前面的其它脉管模糊的那些脉管元件。

参照图3，示出生成的结果绘制图300，该图用于使用表面分割来计算配准的算法。该绘制图示出配准至ct上的从ct提取的完整器官表面分割(较亮区302)和来自超声的部分器官表面分割(较暗区304)。整个较暗表面304至较亮表面302上的配合可由操作者迅速地鉴别。

参照图4，绘制图400示出基于从ct提取的分割而配准的患者的皮肤402和肝脏404。另外，在通过计算us-ct配准变换(t)给出的位置中，绘制在3d超声图像获取期间被跟踪的超声探针的模型406。该绘制图还指示被跟踪的超声探针的模型406的另外位置408、410(如在配准过程中的其它步骤期间捕获的)。超声探针相对于患者表面绘制图(皮肤402)的大体位置使操作者迅速地评估配准结果是否合理。

应注意的是，在成像期间使用的探针位置的绘制图并不是图像自身的一部分。而是，探针的位置信息包括例如使用探针的em跟踪或其它跟踪获得的附加信息。

参照图5，另一个实施例使用来自绘制在另一图像504(例如，超声图像)的顶部上的一个图像(例如，ct器官分割表面)的分割502。图5的绘制图是在ct图像(502)的坐标系统中，但是替代地可设于超声坐标系统中。可并行地提供用于穿过图像体积的不同横截面的若干这种绘制图。

本发明原理向用户提供具体的视觉反馈，例如，来自两个或两个以上图像的以区别特性(如不同颜色或纹理)显示的分割结构。本发明原理可应用于使用自动图像配准的所有情形中。具体地说，本实施例例如在超声系统上的特征(用于ct-us配准)中获得应用，但是还可以用于涉及多模态配准(例如，前列腺手术等)的其它系统上。

参照图6，根据例示性实施例示出用于配准反馈的方法。在框602中，分割待配准的第一图像中的相关三维结构，并且分割待配准的第二图像中的同一相关结构，以提供第一图像和第二图像的三维分割。可使用强度或梯度阈值化来执行分割，但是可使用任何数目的分割技术。第一图像和第二图像可利用相同或不同的模态获取。分割从图像提取表面点、分叉点或其它相关的1d、2d或3d地标。

图像可包括正成像的器官/受试者的3d表示、在不同成像模态中的同一患者的相同器官(或器官的一部分)的图像、两个不同患者的相同器官(或器官的一部分)的图像、在不同成像模态中同一患者的器官和器官表面的图像、以在不同成像模态中的体积图像为背景的器官图像的轮廓、用于获取图像的探针相对于基于绘制另一图像的扫描的患者皮肤表面的绘制图的位置的三维绘制图。

在框604中，通过将配准变换应用至三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准第一图像和第二图像的三维分割。配准或坐标变换可以许多方式进行计算，例如，通过在分割期间比较图像或通过比较一系列图像中的可比较图像等。

在框606中，联合地显示第一图像和第二图像的三维分割。三维分割中的每一个包括不同的视觉特性，以容许辨别联合显示图像中的三维分割中的每一个，使得联合显示图像中的三维分割之间的配准向用户提供配准品质的即时指示。视觉特性可包括颜色、纹理或容许辨别体素或像素或每一单独图像的任何其它视觉上的区分特征。显示可包括或提供用于获取图像的探针相对于患者皮肤或其它表面的绘制图的位置的绘制图。以此方式，图像、从图像获得的分割或其它操作特定的信息，比如探针位置/绘制图等，可用来评估配准。

在框608中，可选择联合显示图像的不同视图以容许探查不同视角的相对对准。联合图像可被平移、旋转、缩放等，以分析不同视角来确定配准的品质，从而利用三维方面来确定分割图像之间的重叠和距离。在框610中，在一个实施例中，联合显示图像可随时间推移自动地改变至不同视角。这提供了包括用于相同配准的不同视角的无需动手的方案。

在解释所附的权利要求书中，应当理解的是：

a)词语“包括”不排除给定的权利要求中列出的那些之外的其他元件或动作的存在；

b)元件前面的词语“一”或“一个”不排除存在多个这样的元件；

c)权利要求中的任何附图标记均不限制它们的范围；

d)若干“装置”可以由同一项或硬件或软件实施的结构或功能来表示；以及

e)除非明确地指出，否则不旨在要求动作的具体顺序。

“包括”不排除其它元件或步骤。“一”或“一个”(a或an)不排除多个。单个处理器或其它单元可实现权利要求书中记载的若干装置的功能。

已经描述了用于基于导管的导航的虚拟定向的电磁跟踪线圈的优选实施方式，应当指出的是，本领域技术人员根据上述教导能够做出修改和变型。因此，应当理解的是，可以在所公开的内容的具体实施方式中做出变化，所述变化在如所附权利要求书中概述的所公开的实施方式的范围内。因此，已经描述了专利法要求的细节和特性，主张保护和预期由专利证书保护的内容在所附的权利要求中给出。