免于重建的自动多模态超声配准的制作方法

本发明涉及共配准图像，并且更具体涉及将N维图像配准到具有较小维度的图像的集合。

背景技术：

医学超声(US)和计算机断层摄影(CT)成像的自动配准能够使诊断以及介入流程受益。通常以这两种模态来采集三维(3D)图像。Kadoury等人(“Kadoury”)共同所有的国际公开No.WO2012/117381中的US-CT的方法包含基于空间跟踪的2D US“扫掠”来重建三维(3D)US体积，跟随有自动3DUS-CT配准。

技术实现要素：

下文在本文中提出的内容是对Kadoury方法的进一步的发展。如在Kadoury中，利用US之外的模态(诸如CT或磁共振成像(MRI))的3D已有图像实现配准。然而，省略了根据US 2D帧的重建的准备步骤。尽管仍然使用空间跟踪，但是其被用于将帧对齐为整体单元。如在Kadoury中，执行变换来实现所述共配准。然而，动态、重复并且逐渐地完成US采集和配准，以采集的US帧的稀疏集合开始。因此，针对所述配准的实例的任何准备关于US是免于重建的(reconstruction-free)。所述稀疏起因于基于图像质量和帧间距离的动态选择性。因此，缩短了流程的持续时间。具体地，根据2DUS切片的3DUS的重建花费时间；用户需要回顾3DUS并且需要在图像质量不足够的情况下重做所述扫掠；所述“扫掠”自身进行训练和实践以便创建良好的体积图像质量；并且实际的配准任务仅能够在所述重建完成并且被接受时开始，这引起处理链中的额外的延迟。三维(3D)US探头能够减轻重建问题中的一些问题；然而，3DUS探头是昂贵、非广泛可用的，并且限制待采集的体积的大小。在本文中提出内容解决了这些关心问题以及其他问题。

具体而言，示范性图像共配准设备包括图像采集处理器，其被配置用于发射能量并且响应地和动态地采集图像。所采集的图像具有给定维度。

还包括的是图像选择处理器，其被配置用于利用所述采集从所采集的图像中间重复地并且动态地选择，并且作为所述选择的结果，重复地并且动态地改变该维度的图像集合中的成员资格。

还包括的是图像共配准处理器，其被配置用于与所述改变同步地将所述集合动态地并且迭代地配准到具有比所述给定维度更高的维度的图像。

借助未按比例绘制的如下附图，下文进一步阐述了新颖的、免于重建的自动多模态US配准技术的细节。

附图说明

图1是根据本发明的示范性免于重建的自动多模态US配准设备的示意图；

图2是根据本发明的运行中的渐进图像共配准的概念图；并且

图3是根据本发明的示范性免于重建的自动多模态US配准的流程图。

具体实施方式

整合的架构提供了准确并且实时更新的变换链以将二维(2D)超声(US)图像徒手连接到来自另一模态的预采集的3D参考体积。在本公开中，“实时”意指在没有故意延迟的情况下，给定系统的处理限制和准确地执行功能所要求的时间。

关于在运行中将术前图像体积与术中二维图像的集合(其成员逐渐并且动态地采集以用于选择录入到集合中)，在本文中描述了本实施例；然而，根据本原理的系统和方法能够应用于监测介入流程和/或诊断应用的术前、术中和术后图像中的任意图像之间的配准。

还将关于医学系统和仪器来描述实施例；然而，本发明的教导可以宽泛得多并且适于采用在动态地共配准不同维度的图像的过程中采用的任何仪器。共配准可以动态地并且可见地改善，经受一个或多个停止准则。可以在跟踪或分析复杂的生物或机械系统的过程中采用这样的仪器。具体地，本原理适于生物系统的内部跟踪流程、身体的所有区域(诸如肺、胃肠道、排泄器官、血管等)中的流程。感兴趣区域可以是身体器官，诸如，例如肝或肾。可以对标本以及活的动物或人类对象或患者以及更一般地任何对象执行流程。附图中所描绘的元件可以以硬件和软件的各种组合来实施并且提供可以组合在单个元件或多个元件中的功能。本原理可以应用于引导需要将患者与先验医学图像配准的许多介入或手术流程(例如，活检、消融、栓塞、排水等)。这些原理还可以应用在采用多模态配准的诊断应用中并且可以不包含介入流程。例如，由于超声和CT提供补充的诊断信息，因而对这两种模态进行配准来确保在这两种图像中评估相同的病灶可以是有益的。

附图中所示的各种元件的功能能够通过使用专用硬件以及能够运行与适当软件相关联的软件的硬件来提供的。当由处理器提供时，功能能够是通过单个专用处理器、通过单个共享处理器或者通过其中的一些能够被共享的多个个体处理器来提供的。此外，术语“处理器”或“控制器”的明确使用不应当被解释为排他性地指代能够执行软件的硬件，并且能够隐含地包括，但不限于：数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储等。特别地，并且通过范例的方式，作为计算机的一部分的图像采集处理器或者合并计算机的扫描器，执行计算和对数据的其他操纵，用于发出能量并且响应地采集图像。该处理器可以与其他专用处理器共享电路、其他硬件和/或软件。一个或多个处理器可以被实施为一个或多个集成电路。

此外，记载本发明的原理、方面和实施例以及其特定范例的本文中的所有语句旨在包含其结构和功能等同物二者。另外，预期这样的等同物包括当前已知的等同物以及将来发展的等同物二者(即，不管结构如何，执行相同功能的所发展的任何元件)。因此，例如，本领域的技术人员将意识到，下文在本文中呈现的框图和示意图表示实现本发明的原理的说明性系统部件和/或电路的概念视图。类似地，将意识到，任何流程图、流向图等表示可以基本上表示在计算机可读存储媒介中并且因此由计算机或处理器运行的各种过程，无论这样的计算机或处理器是否被明确示出。

此外，本发明的实施例能够采取由计算机可用或计算机可读存储介质可访问的计算机程序产品的形式，所述介质提供用于由计算机或任何指令运行系统使用或与其结合的程序代码。计算机程序能够被临时、暂时或者更长时间段存储在诸如光学存储介质或固态介质的适合的计算机可读介质上。这样的介质仅在不是瞬态传播信号的意义上是非瞬态的，但是包括诸如寄存器存储器、处理器高速缓存、RAM和其他易失性存储器的其他形式的计算机可读媒介。

图1通过说明性和非限制性范例示出了免于重建的自动多模态US配准设备或“图像共配准设备”100。如上文在本文中所提到的，示例性实施例特征在运行中将术前图像体积与术中二维图像的集合(其成员被逐渐地并且动态地采集以用于选择录入到集合中)配准。

设备100包括图像采集处理器110、图像选择处理器120和图像共配准处理器130。其还可以包括成像探头140、空间跟踪系统150和包括显示器170(其能够包括多个屏幕)的用户接口160以及用户可调节控件180。空间跟踪系统的范例是来自DNI的Aurora^TM电磁(EM)跟踪系统。能够利用各种类型的电磁定位器系统。在一个范例中，(EM)场发生器具有处于不同取向的天线。固定到探头140的跟踪传感器拾取来自各种取向处的天线的信号。从其相对的信号特性(例如，相对信号强度、相对相位等)，来确定传感器相对于天线的位置。在另一实施例中，传感器具有具有不同的取向的接收线圈或天线。在一个实施例中，传感器通过向下通到探头140的手柄的接线与定位器处理器连接。在另一实施例中，使用无线通信路径。设备100的部件110-180通信地连接190，每一个对其他的连接是有线和/或无线的。

图2提供了用作在本文中提出的内容的范例的共配准的概念图。CT系统(未示出)采集3D图像202，示出了其切片204。对经历检查的患者208的感兴趣的身体器官206进行分割。这经由器官206的模型自动地完成。备选地，其能够经由与在显示器170上察看的内容交互地控件180经由对光标的用户操纵来手动地完成。分割的器官206驻留在CT坐标系210C_CT中。器官206的表面上的点被指定以形成点云。为了较大的配准准确度，通过密集地采样器官表面来形成点云。器官的网格模型可以自动地提供表面顶点，或者可以完成其他自动表面采样。或者，能够交互地手动完成采样。

在如通过物理附接或合并的固定空间关系中，探头140是作为跟踪系统150的一部分的跟踪传感器212。跟踪系统150还包括EM场发生器(在附图中未示出)。所生成的场214激励跟踪传感器212，引起指示探头140的位置和取向的信号的产生。位置和取向能通过六个参数表示—针对位置的三个参数和针对取向的三个参数。

在已经准备术前CT成像和CT特异性点云的情况下，US探头140在术中能用于检查现在相同患者208中的相同器官206以经历US检查。针对包含器官206的感兴趣区域(ROI)218的2D US图像216的采集来定位探头140。从经受检查的对象内的对应地不同位置来采集图像或帧216。其是使用探头140的不同旋转、平移和/或角度获得的。该步骤与在诊断检查期间或者在介入流程之前通常执行的ROI 218的常规“手术”扫描非常类似，并且几乎不要求训练。当由用户手动地执行时，其提供相对于常规扫掠的优点，常规扫掠针对有效性要求技能和通常地训练和经验。另外，针对图像采集的开始和停止，不存在对于要求与第二操作者同步(即，其在控制台或工作站处)的需求。备选地，能够自动地完成操纵。范例将是控制探头140的运动的机器臂。共配准被专用于US图像的采集，其中探头140在所述采集期间动态地进行以下中的任意一项或多项：成角、旋转和平移。

图像采集处理器110在存储器(未示出)中存储针对每个所采集的帧216的跟踪传感器位置和跟踪传感器取向值。该存储的成像数据可以被用于导出在成员帧外部的额外像素219；然而，在本文中提出的内容免除进行这样的US重建的需要。不是使用信息重建3DUS图像，而是帧216在针对解剖正确性关于彼此原样保留时被处置作为单一整体，用于仿射变换以匹配到与CT体积图像202相配准。因此，来自帧坐标系的个体帧216F_i的个体变换220特定于对应的存储位置和取向值。变换220T_i进入跟踪坐标系222C_跟踪中。变换220T_i分离地链接到在跟踪坐标系222C_跟踪与CT坐标系210C_CT之间的变换224T_配准，如下文在本文中所描述的能确定的。

通过US帧216的前述重建，节省对于重建需要的时间。因此，增加了能够由扫描合理地覆盖的体积。避免这样的重建的运动和变形伪影特性和图像质量的其他限制。还避免了对于由用户回顾以用于确保足够的图像质量的后重建以及相关联的额外时间延迟的需要。

仅采集的帧216的稀疏集合226被用于与3D图像202共配准。与扫掠的常规完全采样重建相反，这创建3DUS图像空间的稀疏表示。稀疏3D US表示是个体2DUS图像帧216的集合连同跟踪姿态。因此，集合226实际上是已经从到来的所采集的图像的流当中选择的2DUS图像的跟踪的电影回放。

每个个体2D US图像帧216被立即地处理，并且如果其经过基本自动质量测试，则在运行中被添加到配准过程。更具体地，针对其内容检查帧216，并且测量结果由帧216与已经经过(一个或多个)测试并且可以因此已经被添加到集合226的其他帧的空间接近度。设定成员资格选择能够需要下文在本文中讨论的多个阈值的应用，其能通过分析、经验或者二者的某种组合来确定。

该选择过程能够使用用于选择哪些跟踪的图像216具有要被用于配准的足够的信息的算法。一些准则是例如如下。如果在几乎确切相同空间位置中获得若干帧216，则仅保持所述帧中的一个帧。如果图像216的重要部分中的平均图像强度低于阈值，则其可能是在与患者208的皮肤不足接触的情况下获得的，或者被遮蔽劣化，并且将被丢弃。如果熵或最大梯度低于阈值，则图像216可能不包含用于配准目的的足够的信息，并且将被丢弃。低最大梯度例如指示可能不足的“边缘”信息。

一旦帧216已经被选择用于录入到集合226中，则能够删除不在集合中的先前采集的帧来增加可用的存储。

针对集合226稀疏地确定点云，例如，每帧216几个或若干点。在器官206的自动分割的2D表面上自动地选择点。例如，可以根据沿着分割的表面的相等间距来选择点。US点云能够被匹配到CT特异性点云中的对应的点，以使US图像216与CT图像配准。出于该目的，能够使用迭代最近点(ICP)算法或其衍生物之一。在Vik等人(在下文中，“Vik”)的共同所有的美国专利公开No.2012/0027277中描述了示范性算法。

ICP的输出是变换224T_配准。如上文在本文中所提到的，变换224T_配准分离地链接到个体变换220T_i。分离的链对应于相应的帧216。针对每个帧216而言，变换的相关联的链被应用以使帧与3DCT图像202配准。

US采集、针对集合226的选择、变换链的更新和用户反馈全部实时动态地并且重复地发生，直到自动地或由用户停止。如在本文中所描述的，整个流程在不需要用户介入的情况下是可执行的。

可以在与3DCT图像202融合或并排地在显示器170上呈现变换的帧216。能够在一个屏幕或分别在超过一个屏幕上完成并排呈现。备选地，反馈可以是数字量化配准准确度，或者可以是当算法确定配准质量满足或不能进一步改进时的可听的蜂鸣声。

因此，用户例如可以在察看显示器170时交互地输入停止指令，其可以示出图像或上文所提到的数字量化配准准确度的融合。另一方面，如果在合理的时间内未实现可接受的质量，则用户可以停止并且重新启动。

可以存在何时结束迭代共配准的自动确定。测试可以是经由另一迭代的改进是否将不是微不足道的，如在Vik的步骤260中。作为另一范例，准则可以是在US的对应点与CT点云之间的平均距离是否低于阈值。

在备选实施例中，能够检测患者208的当前呼吸或心脏相位(即，自然身体周期相位)。检测能够经由附接到患者208的胸骨的额外的跟踪传感器。所述传感器将随身体周期而周期地运动。因此，集合226中的每个帧216还可以与周期的特定相位相关联。帧216能够通过相位分组(例如，吸气、中间、呼气)。因此，替代单个集合226，针对每个相位存在集合。集合的成员帧216全部与相同的相位相关联。CT与US之间的共配准的每个实例属于那时的当前相位。因此能够计算并且在流程期间随后应用贯穿整个身体周期的准确的配准。

在以上讨论中，集合226的成员具有为二的维度，并且CT体积图像202具有为三的维度。

然而，这不是限制。

作为范例，对于成员维度是一和CT图像维度是二而言，其在本文中所提出的内容的预期范围之内。

同样任选地，替代仅在将新成员添加到集合226之前的共配准的每次迭代，新成员可以替换集合中的现有成员。这样的迭代将用于，在其足够地空间接近并且具有足够地较高的图像质量的情况下，利用当前帧216替换其图像质量是边界线的成员。因此，更一般而言，从所采集的帧216中间选择的结果改变集合226中的成员资格。

在图3中示出了代表图像共配准流程300的版本的流程图。

选择感兴趣器官(步骤S302)。执行ROI 218的CT检查(步骤S304)。

创建器官206的表面上的密集点云(步骤S306)。提供US探头140(步骤S308)。

探头140被放置在患者208的皮肤上，并且如由用户控制180的用户动作开始自动配准(步骤S310)。

发起其中发射超声的子流程A(步骤S311)。响应地，采集帧(步骤S312)。存储跟踪传感器212的位置和取向(步骤S313)。如果所采集的帧将被认为是针对要录入到集合226的选择的候选(步骤S314)，则返回到超声发射步骤S311；否则，停止对用于录入到集合226的所采集的帧的选择，如下文在本文中所描述的。

同时地，通过用户手动地发起或执行探头移动过程B。如果并且在其包含角度时(步骤S318)，则探头140被成角(步骤S320)。如果并且在其包含旋转时(步骤S322)，则探头140被旋转(步骤S324)。如果并且在其包含平移时(步骤S326)，则探头140被平移(步骤S328)。能够同时地执行三种类型的移动的任何组合。

如果没有下一帧216将从所采集的帧中间选择，对于关于录入到集合226中的候选资格而言(步骤S330)，则流程300是完整的。

否则，如果将使下一帧216作为候选(步骤S330)，则针对其内容检查该帧216作为当前帧(步骤S332)。具体地，如果熵将被测量(步骤S334)，则测量熵(步骤S336)。在Ahuja等人的美国专利公开No.2012/0075440的段落[0038]中找到了熵测量结果的范例，段落[0037]和[0038]通过引用并入本文。如果所测量的熵满足用作图像质量度量的预定熵阈值T_E(步骤S338)，则满足针对当前帧216的图像质量准则(步骤S340)。否则，如果所测量的熵不满足T_E(步骤S338)，则不满足针对当前帧216的图像质量准则(步骤S342)。另一方面，如果熵将不被测量(步骤S344)，但是图像梯度将被测量(步骤S344)，则图像梯度计算在当前帧上进行操作(步骤S346)。所述计算需要通过在多个(例如，四个)方向上贯穿帧216的测量结果，以确定最大梯度。在Bruls等人的共同受让的美国专利公开No.2009/0263039的段落[0026]中找到了图像梯度测量结果的范例，段落[0024]-[0026]通过引用并入本文。如果所测量的最大梯度满足用作图像质量度量的预定梯度阈值(步骤S348)，则满足针对当前帧216的图像质量准则(步骤S340)。另一方面，如果所测量的最大梯度不满足梯度阈值(步骤S348)，则不满足针对当前帧216的图像质量准则(步骤S342)。最后，如果熵和最大梯度二者都不将被测量(步骤S334、S344)，计算当前帧216的平均图像强度(S350)。所述平均图像强度能够等于平均像素强度的测量结果。首先，处理指向当前帧216的第一部分(步骤S352)。如果针对当前部分的平均图像强度未满足预定图像强度阈值(步骤S354)，并且该部分的余数超过特定于所测量的平均强度的余数阈值(步骤S356)，则不满足针对当前帧216的图像质量准则(步骤S342)。然而，如果尽管针对当前部分的平均图像强度未满足预定图像强度阈值(步骤S354)，则该部分的余数未超过余数阈值(步骤S356)，做出关于针对当前帧待检查的下一部分是否存在的询问(步骤S358)。如果没有这样的下一部分存在(步骤S358)，则满足针对当前帧的图像质量准则(步骤S340)。否则，如果下一部分存在(步骤S358)，则处理指向该下一部分作为当前部分(步骤S360)并且分支返回到步骤S354。尽管图像质量测试在该范例中是相互排他性的，但是其任何两个或两个以上项能够被组合为多部分测试。

如果确定图像质量准则未被满足(步骤S362)，则处理返回到步骤S330。

如果另一方面图像质量准则被满足(步骤S362)，则找到对当前帧216(即，当前候选帧)的集合226中的空间最近帧216(步骤S364)。接近度的该量度能够是例如正对成员帧而言当前帧216的周长上的点与成员帧的周长上的对应点之间的最大距离。因此，空间最近帧是超过预定图像帧距离阈值T_FD的那些空间最近帧。处理指向来自空间最近中间的第一成员帧(步骤S366)。该成员帧用作当前成员帧。

当前成员帧在给定搜索区域上与当前候选帧互相关(步骤S368)。

如果互相关函数的最大p_max超过相关性阈值T_ρ(步骤S370)，则候选帧关于现有集合226是多余的。具体地，候选帧和当前成员帧具有对于在这样的空间接近度处允许这两个帧在集合226中太类似的相应内容。选择过程在步骤S330处重新开始。

如果另一方面ρ_max不超过T_ρ(步骤S370)，则做出关于从集合226中的所选择的最近帧中间是否存在下一候选帧的询问(步骤S372)。如果下一候选存在(步骤S372)，则使下一候选作为当前候选(步骤S374)并且返回到互相关步骤S368。否则，如果没有下一候选存在(步骤S372)，则候选帧被添加到集合226(步骤S376)。针对现在新近地是集合的成员的帧检索在步骤S313中存储的位置信息(步骤S378)。检索在步骤S313中存储的取向信息(步骤S380)。基于所检索的信息，当前成员帧216F_i通过变换220T_i被变换到跟踪空间中(步骤S382)。对感兴趣器官206进行分割，并且选择器官的表面上的点(步骤S384)。所选择的点被添加到迭代地增长的稀疏US器官表面点云(步骤S386)。如果集合226的候选不超过预定基数阈值T_C，例如20帧(步骤S388)，则选择过程在步骤S330处重新开始。否则，如果基数超过T_C(步骤S388)，则集合226与3DCT图像202共配准。具体而言，跟踪空间222C_跟踪中的成员帧216与3DCT图像202共配准(步骤S390)。显示器170上的US图像被更新以反映最新配准(步骤S392)。如果预定的图像到图像配准完成准则被满足(步骤S394)，则停止选择过程(步骤S396)。还能够通过用户经由用户可调节控件180输入停止指令(即，专用于停止共配准的指令)在任何时间处停止选择过程。另一方面，如果预定的图像到图像配准完成准则未被满足(步骤S394)，则选择过程继续(步骤S398)。

图像共配准需要：发射能量，并且响应地并且动态地采集图像，所采集的图像具有给定维度；利用采集从所采集的图像中间重复地并且动态地选择，并且作为选择的结果，重复地并且动态地改变给定维度的图像的集合中的成员；并且与改变同步地将集合动态地并且迭代地配准到具有比给定维度更高的维度的图像。共配准是能利用用于采集的成像探头和用于跟踪探头的位置和取向的跟踪系统来实现的，配准专用于所述采集，其中所述探头在采集期间动态地进行以下中的任意一项或多项：成角、旋转和平移。配准通过对集合中的成员的个体变换被初始化，但是不需要将集合重建为具有比给定维度更高的维度的图像，其从集合导出在成员外部的额外像素。

尽管在附图和前述描述中已经详细说明和描述了本发明，但是这样的说明和描述将被认为是说明性或示范性而非限制性的；本发明不限于所公开的实施例。

例如，像3D CT图像的那个一样，还可以在创建用于较大的共配准准确度的点云中密集地采样集合226的帧中所描述的器官表面。

通过研究附图、说明书和随附的权利要求书，本领域的技术人员在实践所主张的本发明时可以理解和实现所公开的实施例的其他变型。在权利要求中，词语“包括”不排除其他元件或者步骤，并且不定冠词“一”或“一个”不排除多个。权利要求中的附图标记不得被解释为对范围的限制。

互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的组合。