荧光成像中的鲁棒钙化跟踪的制作方法

背景技术：

本实施例涉及跟踪病人的图像中的解剖结构。在外科手术期间，外科医生经常使用荧光检查作为助视器以执行所述过程。然而，解剖结构的位置可能在荧光图像中并不清楚可见，并且可能由于心脏以及呼吸运动而难以在视觉上进行跟踪。已有方法要求操作人员仔细地标记用于跟踪解剖结构的一组预定义界标。经常地，这些标记必须在所述过程期间被更新。虽然采用离线训练的检测器的基于检测的跟踪器对于跟踪已知结构运行良好，但它们在预先没有已知形状的情况下跟踪某些解剖结构的性能仍然有限。当前用于跟踪例如主动脉根的位置和取向的一个方法是通过将碘化造影剂(血管造影术)注入到病人体内。然而，这种造影剂对病人有害，并且它们的使用应该被最小化。由此，外科医生经常必须仔细地权衡使用造影剂对过程成功的益处与由于造影剂对病人的副作用而导致的病人的安全。替代地，学习物体外观的半监督跟踪器运行良好，但对初始化非常敏感。

技术实现要素：

作为介绍，以下描述的优选实施例包括用于跟踪医学图像(诸如，荧光图像)中的物体的方法、系统、指令和非暂态计算机可读介质。导管被插入到病人体内。导管的结构是预先已知的。这允许检测和跟踪导管。通过知道导管在病人体内看起来如何，导管的移动被跟踪。使用导管也不需要为跟踪算法进行手动初始化。所述系统知道寻找什么，因为预先知道导管成像特性。例如，在经导管主动脉瓣植入(tavi)过程期间，导管位于主动脉根附近。如果外科医生需要跟踪解剖结构(诸如，钙沉着)，则所述系统跟踪导管的移动。导管与主动脉根同步地移动。所述系统检测与导管同步地移动的任何其它解剖结构。这些结构是例如钙沉着。当所述过程进行时，所述系统使用采样策略跟踪检测到的结构。采样策略(诸如，使用离散结构森林)被应用于跟踪检测到的结构。

在第一方面中，提供一种用于跟踪和检测病人体内的结构的方法。随着时间扫描具有插入导管的病人。处理器从扫描图像数据检测病人体内的导管。处理器跟踪导管的移动。处理器还检测在来自扫描的数据中表示的结构，所述结构被检测为导管移动的函数。处理器基于病人体内的结构的前一位置使用采样跟踪结构的移动。处理器可输出结构的图像。

在第二方面，提供一种用于在具有插入导管的病人体内随着时间进行物体检测的系统。所述系统包括扫描器和处理器。扫描器被配置为随着时间对具有插入导管的病人进行成像。处理器被配置为检测和跟踪在来自成像的扫描数据中表示的导管。处理器还被配置为检测和跟踪在来自成像的数据中表示的物体，其中所述物体被检测为导管移动的函数。基于物体的前一位置使用采样跟踪物体。处理器被配置为输出物体的图像。

在第三方面，一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质中已存储表示指令的数据，所述指令可由编程的处理器执行以促进检测病人体内的物体。所述指令包括：随着时间扫描具有插入的猪尾形导管的病人。根据指令，处理器检测猪尾形导管。猪尾形导管的移动被跟踪。根据指令，处理器检测在来自扫描的数据中表示的结构。所述结构被检测为导管移动的函数。处理器跟踪在来自扫描的数据中表示的结构。所述跟踪基于所述结构的前一位置使用采样。处理器可输出结构的图像。

本发明由下面的权利要求定义，并且这个部分中的内容不应该被用作对那些权利要求的限制。以下结合优选实施例讨论本发明的另外方面和优点，并且可稍后独立地或组合地声明本发明的另外方面和优点。

附图说明

各部件和附图不必符合比例，而是重点在于说明本发明的原理。此外，在附图中，相似的标号在不同视图中始终指定对应的部分。

图1图示用于跟踪医学图像中的结构的示例性系统；

图2是用于跟踪医学图像中的解剖结构的流程图的一个实施例；

图3是用于跟踪医学图像中的解剖结构的另一实施例的流程图；

图4是用于跟踪医学图像中的解剖结构的替代实施例的流程图；

图5示出病人体内的插入的猪尾形导管的示例性荧光图像；和

图6示出用于跟踪解剖结构的已有方法与在本申请中详述的用于跟踪解剖结构的方案之间的示例性比较。

具体实施方式

由于物体形状的高可变性和从病人的器官发生的移动，病人体内的物体的手动检测可能繁重并且困难。对于自动检测，通过确定在哪里放置用于使检测算法开始其对物体的检测和跟踪的标记，初始化过程可能是复杂的。通过检测和跟踪已被插入到病人体内的导管，可解决这些问题。导管具有已知形状，并且因此可用作用于使检测和跟踪算法对解剖结构进行定位的初始化标记。

图2是用于检测病人体内的物体的方法的一个实施例的流程图。所述方法由图1的具有扫描器、处理器、存储器的系统或另一系统实现。例如，荧光扫描器对病人进行成像，并且扫描器的处理器和存储器利用所述图像帮助检测病人体内的物体。

所述方法包括：检测和跟踪病人体内的结构。所述结构可以是解剖结构，或者所述结构可以是插入在病人体内的外来物体(诸如，支架)。所述检测和跟踪包括分析来自医学扫描器(诸如，荧光扫描器)的图像。例如，在一过程(诸如，tavi过程)期间，具有插入导管的病人可由荧光扫描器成像。根据成像数据，与插入导管一起移动的附加物体被检测和跟踪。一旦检测到所述物体，所述物体可在所述过程期间始终被跟踪。可使用其它类型的成像，诸如计算机断层扫描、超声或磁共振。可使用除导管之外的其它插入装置，诸如基准或支架。

按照示出的次序(例如，从上到下)或其它次序执行各动作。可提供附加的、不同的或更少的动作。例如，执行所述方法，而不在动作32中输出图像。作为另一示例，动作24和26是替代动作或者根本不被提供(例如，每次在动作24中进行检测或在动作26中随着时间进行跟踪，而没有另外的检测)。

在动作22中，扫描具有插入导管的病人。在替代实施例中，病人具有插入的支架。支架可按照与导管相同的方式被用于检测和/或跟踪目的。插入导管可以是猪尾形导管。在一些实施例中，支架和导管可都被插入并且一起工作以帮助检测和跟踪过程。

扫描可由荧光扫描器或用于医学成像的另一类型的扫描器进行。扫描还可帮助识别病人器官(诸如，例如心脏)的位置和移动。扫描器可被固定到图1的系统，诸如扫描器12。在其它实施例中，可从图1的存储器16产生扫描数据。可在图2中描绘的方法之前进行扫描。在一些实施例中，扫描随着时间被连续地或周期性地执行以用于图2中描绘的方法的操作。扫描器对具有插入导管的病人进行成像。

在一些实施例中，导管被插入在病人的主动脉根处。导管可具有吊钩，所述吊钩允许导管保持固定到病人的主动脉根。在一些实施例中，导管保持插入在病人体内，直至人工瓣膜将要被插入。插入导管可在所述过程期间被去除。在其它实施例中，导管在整个过程期间保持插入。

在动作24中，在通过利用扫描器扫描病人而产生的数据中检测导管。所述检测可由图1中描绘的系统的处理器14进行。在一些实施例中，处理器使用存储在图1中描绘的系统的存储器16中的指令来检测导管。以下关于图3和4描述用于检测导管的示例性方法。在一些实施例中，可包括导管的投影位置作为用于检测导管的输入。导管的形状是预先已知的，并且一旦导管被插入在病人体内，通过用于加快检测导管的过程的离线机器检测训练，可增强检测过程。离线训练的导管检测器可将训练的结果存储在图1中描绘的系统的存储器16中，因此处理器14可访问所述结果，同时尝试在来自对给定病人的扫描的数据中检测导管。所述数据可包括多个荧光图像。在一些实施例中，所述多个荧光图像对应于病人的实时图像流。所述图像可被格式化为显示值(例如，rgb或灰度)，或者可以是在显示映射和显示之前的强度值。

针对一序列图像中的给定图像(诸如，第一图像)执行检测。所述检测依赖于导管的空间指示。对于所述序列中的其它时间或图像，重复所述检测。替代地，使用跟踪。跟踪识别的导管，而非重新应用所述检测。在其它实施例中，重复所述检测以更新跟踪(例如，针对每个心搏周期重复检测)，或者替代于跟踪，提供检测。

在动作26中，可跟踪导管的移动。处理器跟踪导管。所述跟踪可包括使用存储器中存储的导管的图像补充所述跟踪。通过在每个图像中重新检测导管来遍及一序列图像检测导管。当病人被成像时，基于预期形状跟踪(诸如，使用模板匹配或机器训练的分类器进行检测)插入导管的移动。在其它实施例中，在数据的一个图像或帧中检测导管。然后通过确定与最大相似性关联的平移、旋转和/或缩放来跟踪导管。例如，来自一个图像的表示导管的强度被平移、旋转和/或缩放并且使用绝对差之和或与随后的图像的其它相关性被比较。具有最大相似性的平移、旋转和/或缩放指示随后的图像中的导管位置。

通过跟踪导管的移动，公开的实施例不需要手动地在数据中指示用于潜在物体检测和跟踪的标记。与病人被成像的帧速相比，在由病人体内的呼吸和心脏运动引起的快速移动速度情况下，这种方法尤其有用。

在动作28中，处理器可检测在来自扫描的数据中表示的物体或结构。所述物体可以是支撑区域。所述物体可以是解剖结构。在一些情况下，解剖结构在扫描之前没有已知特征或结构。在其它情况下，解剖结构是预先已知的，并且所述结构可能在数据中看起来如何的模板可被用于帮助检测所述结构。在一些实施例中，检测的物体可以是与导管分开的插入物体，诸如小管或支架。

所述物体可作为导管移动的函数被检测。支撑区域被定义为与已知解剖结构(诸如，主动脉根)具有线性运动相关性。图像区域可能更容易检测和跟踪，因为图像区域允许使用合适的非局部外观模型，所述非局部外观模型对图像噪声、光流故障更加鲁棒。已被插入在已知解剖结构附近的导管将会与已知解剖结构(诸如，例如心脏、主动脉根或肺)的移动同步地移动。如此，与插入导管同步移动的任何其它结构必然与主动脉根、心脏或肺同步移动。作为示例，所述结构可以是在对病人进行一过程之前没有已知形状的解剖结构，诸如钙沉着或肿瘤。跟踪的肿瘤可以是肺荧光图像中的肿瘤区域。

在一些实施例中，通过使用局部支撑点来创建支撑区域。标准特征采样技术(诸如，图像分割、图像配准、基于图像的生理建模或统计分析)被用于在构成来自扫描的数据的初始帧或图像中发现局部支撑点。局部支撑点被假设位于同一局部运动空间中。处理器可使用自回归模型在给定时间段中对插入导管和潜在物体之间的点对点线性运动相关性进行建模。所述相关性可被表示为相关性得分。群集算法可被用于基于潜在支撑区域中的空间和运动线索对点轨迹进行分组。使用捕获空间位置和运动的相似性的度量。通常，如果两个轨迹彼此接近并且类似地移动，则所述轨迹可能属于同一区域。轨迹被表示为跨越集合a(例如，从病人扫描的数据)中的帧的一序列点。在任何时刻，在当前帧中，轨迹ta和tb之间的距离是空间距离和运动距离，其中：

(方程1)

并且

(方程2)

和是每个轴线中的运动的标准差，用于对两个距离中的运动的权重进行正则化。是空间距离的正则化参数，能够被调谐以平衡运动和空间距离。δ是运动平滑参数。通过下面方程来计算荧光数据中的跨附近t个帧的距离：

(方程3)

(方程4)

其中是时间t之前的交叠帧的集合。由于与最大和平均距离相比帧距离的中值对轨迹噪声更加鲁棒，所以采用帧距离的中值。通过下面的方程从距离构造当前帧中的所有轨迹的仿射矩阵（affinitymatrix）：

(方程5)。

通过分析点轨迹空间的低维度嵌入来自动地确定群集的数量。这个自动运动补偿方案与例如主动脉根具有强运动相关性，以及通过钙跟踪来提高运动估计的性能。以上叙述的技术可使得不需要造影剂来检测人类解剖结构，诸如病人的主动脉根。

通过使用局部支撑区域的轨迹，所述系统能够通过所述结构随插入导管的关联移动来检测所述结构。当所述结构与导管同步地移动时，所述轨迹被用于检测所述结构。这种检测针对给定帧或图像中的结构，但基于一序列的轨迹。在一些实施例中，基于相关性得分，仅一些结构被选择用于跟踪。具有最高相关性得分的结构可被选择用于跟踪。

在动作30中，数据中所表示的结构可被跟踪。图1中描绘的系统的处理器14可跟踪所述结构。通过基于所述结构的前一位置在图像中对位置进行采样并且使用那些位置预测所述结构在未来图像中的位置，可跟踪所述结构。在一些实施例中，对病人的成像产生多个荧光图像。通过跟踪所述结构的特征，可跟踪所述结构。在一些实施例中，通过使用离散结构森林，可跟踪所述结构。跟踪所述结构可包括：跟踪所述结构的密度、跟踪数据中所述结构和周围区域之间的对比度、对所述结构中以及所述结构外部的点进行随机采样或者上述各项的组合。在一些实施例中，所述跟踪包括：在检测到的结构周围构造边框。边框可由图1中描绘的系统的处理器12自动构造。在其它实施例中，边框由所述系统的操作人员手动构造。边框可被用于描绘用于采样的图像内的开始点的轮廓。

用于跟踪病人的图像中的结构的一个示例性方法是使用离散结构森林。离散结构森林是随机森林分类器。随机森林包括决策树，其中树中的每个节点对应于所述系统做出的决策。在一些实施例中，用作树中的决策点的特征遵循如下几何图案：所述几何图案对正在跟踪的目标的基础结构进行编码。离散结构森林的使用是一种类型的数据挖掘或机器学习，所述数据挖掘或机器学习允许系统在病人的图像中跟踪目标时学习目标的结构。例如，对与插入导管同步地移动的潜在物体的特征进行采样，并且执行特征点比较以捕获图像中的物体的基础结构。采样技术可以是随机采样、数据驱动采样、手动设计模式采样或其它采样。

通过首先建立有向随机特征链来构造离散结构森林。处理器14可单独地或结合扫描器12或存储器16建立离散结构森林以及有向随机特征链。在一个实施例中，采样开始于其中已检测到物体(例如，感兴趣的解剖结构)的图像区域内部的点x0。在一个实施例中，如果使用边框，则点x0可以是边框的中心。另外的特征点x1在x0的附近区域内被采样。所述两个点被用作方向以用于对处于检测到的物体内的点的连续采样。当对xn进行采样时，点xn-1和xn-2被用于避免沿用于连续采样的方向上的任何交叉或交叠。所述方向可以是检测到的物体中的链，表示为：。通过满足下面的约束可对所述链中的下一个点进行采样：

(方程6)

(方程7)

其中并且。处理器12可单独地或结合存储器16执行对于这些方程的计算。

另一方案可使用数据驱动成对特征。数据驱动成对特征尝试对检测到的物体内的梯度变化(诸如，边缘)进行编码。图像与三个或其它数量的像素的标准差的高斯核组合，以抑制图像中的噪声。可使用像素的其它标准差。然后对物体周围的边框执行边缘检测。边框内的点的数量近似为从0到k。所述近似将所述点限制于检测到的物体的附近区域内的点。沿着边缘的点被采样，并且针对每个边缘点xmax，xmax周围的一对点被采样，使得所述一对点与xmax共线，等距并且位于xmax的相对侧。如果xj和xk是在xmax周围采样的两个点，则可使用下面的公式：

(方程8)

这个公式允许识别边框中物体的边缘。

在另一实施例中，可使用数据驱动特征链。数据驱动特征链通过对物体内的最大或最小点进行采样来识别和跟踪物体。物体内的极值点被采样，并且下一个最近的极值点被采样。采样点形成链。另外的点被采样，直至针对采样点的链达到某个预定义长度。在图像被获得时所述链可被用作已知位置并且用作用于在病人的未来图像中跟踪所述结构的位置的输入。数据驱动特征链对图像数据中的强度波动示出显著的鲁棒性，因为所述波动不影响极值之间的次序关系。

可采用手动绘制的特征跟踪器。特定领域知识(例如，钙沉着的典型密度或形状)是预先已知的，可被用于构造手动绘制的特征跟踪器(诸如，几何形状)。手动绘制的特征跟踪器随后被以类似于边框的方式使用。跟踪器被应用于图像，并且然后所述位置被用于投影检测到的结构将会在随后的图像中的位置。在一些实施例中，三角形金字塔形状可被用于对与三角形金字塔的位置对应的物体内部的点进行采样。这个方案可被用于密集钙沉着，所述密集钙沉着未必是像钙沉着一样的细长管。

上述采样方案(随机采样、数据驱动采样和手动设计模式采样)可由处理器12单独地或结合存储器16实现。可结合物体检测过程使用所述采样方案，物体检测过程使用插入导管经由物体与插入导管的同步移动来检测物体。

在动作32中，处理器可输出所述结构的图像。图像可被输出到显示器，所述显示器是图1中描绘的系统的一部分。输出图像可具有所述结构，因为所述结构与导管或导管被固定到的解剖结构一起移动。在其它实施例中，处理器可输出所述结构的静态图像。在再其它实施例中，在对病人的手术期间连续地输出图像。图像可被输出到图1中描绘的系统中所包括的显示器。

使用所述检测和跟踪，感兴趣的解剖结构可被突出显示。在一个实施例中，解剖结构被分割。单独示出的经分割的结构突出显示感兴趣的解剖结构。在其它实施例中，颜色、图形或强度变化被用于相对于图像中的其它解剖结构或背景突出显示所述解剖结构。

图3示出用于使用图1的系统检测和跟踪插入导管(诸如，猪尾形导管)的采样流程图以及这里公开的实施例。猪尾形导管被插入到病人体内。检测猪尾形导管。所述检测可将离线训练的检测器用于猪尾形导管检测。跟踪猪尾形导管，并且发生支撑结构的自动发现。被发现的支撑结构可被用于预测主动脉根的位置。导管运动被用于识别作为感兴趣解剖结构的主动脉根。如果必要，猪尾形导管可被去除。

图4是替代工作流程，包括在病人的图像数据中的背景区域中检测物体。导管由外科医生插入到病人体内。检测和跟踪导管。所述工作流程可使用离线训练的猪尾形导管检测。与猪尾形导管相关的背景区域可被发现。关系是类似运动。跟踪背景区域，而非特定解剖结构。另外的区域可被发现和跟踪。如果必要，则导管可被外科医生抽出。图4中的工作流程是重复的，并且可在过程的持续时间期间始终重复。

图5示出这里公开的检测和跟踪的示例。在50，示出已根据这里公开的方法检测到和跟踪的猪尾形导管的结果。在52，示出钙沉着和检测到的猪尾形导管。钙沉着被检测为与插入导管一起移动。在54，检测到的猪尾形导管上方的钙沉着已根据这里公开的方法被检测到，并且将会被跟踪。

图6示出用于物体检测的已有跟踪方法与在本公开中提出的用于物体检测的跟踪方法的示例性比较。两个图像60和64示出将跟踪学习检测方案用于物体检测和跟踪。跟踪学习检测方案包括使用初始模板跟踪物体，并且然后收集随后图像中的物体的附加样本以更新随后图像中的物体位置。两个图像62和66示出使用离散结构森林和随机森林的物体检测和跟踪。在60中在68处示出的两个框和在62中在70处示出的两个框对应于针对两个不同方案的钙沉着的实际位置(较亮框)和跟踪结果(较暗框)。在图像62中，在框70处，清楚的是，实际位置和离散结构森林方案的跟踪结果非常接近。在图像60中，在框68处，在实际位置和跟踪学习检测方法的跟踪结果之间存在大的差异。类似地，在64中在72处示出的两个框和在66中在74处示出的两个框示出两个方案之间的差异。在72，在实际位置和跟踪学习检测方法的结果之间存在明显的差异。在74，在离散结构森林方案结果和实际位置之间存在较小的差异。

图1示出用于在病人的图像中跟踪结构的系统。所述系统包括扫描器12、存储器16和处理器14。在一些实施例中，显示器附接到所述系统。可提供另外的、不同的或更少的部件。例如，提供诸如用于从扫描器12联网到远程计算机或服务器的网络或网络连接。在另一示例中，提供用户接口。作为另一示例，不提供扫描器12。替代地，计算机或服务器从接收到的病人的图像数据检测和跟踪所述结构。

处理器14、存储器16和扫描器12是所述系统的一部分。替代地，处理器14、存储器16和扫描器12是与图1中描绘的系统分开的服务器、计算机和/或图像处理系统的一部分。在其它实施例中，处理器14、存储器16和显示器是个人计算机(诸如，桌上型计算机或膝上型计算机)、工作站、服务器、网络或上述各项的组合。可提供处理器14、显示器和存储器16，而没有用于检测和跟踪病人的图像数据中的物体的其它部件。

扫描器12可以是荧光图像扫描器。荧光图像扫描器使x射线透射穿过病人。x射线作为强度被检测，所述强度基于x射线穿过的病人体内的组织或结构的密度而变化。也可结合造影剂使用扫描器以帮助照射和识别人类器官。所获得的荧光图像描绘被检测和跟踪的解剖结构。

存储器16可以是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存、硬盘驱动器、光学介质、磁介质、闪存、缓冲器、数据库、上述各项的组合或者用于存储数据的其它现在已知或以后开发的存储器装置。存储器16是图1中描绘的系统的一部分、与处理器14关联的计算机的一部分、数据库的一部分、另一系统的一部分或独立装置。

存储器16存储图像数据，诸如病人的荧光图像数据。荧光图像数据表示穿过病人的体积的投影。存储器16可替代地或者附加地存储处理期间的数据，诸如存储经过滤的数据、可能的物体位置、提取的特征值、实际物体位置、群集标记、成像数据和/或这里讨论的其它信息。

替代地或者附加地，存储器16或其它存储器是非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储表示指令的数据，所述指令可由编程的处理器14执行以跟踪病人的图像中的解剖结构。用于实现这里讨论的过程、方法和/或技术的指令被提供在非暂态计算机可读存储介质或存储器(诸如，高速缓存、缓冲器、ram、可移动介质、硬盘驱动器或其它计算机可读存储介质)上。非暂态计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或存储在计算机可读存储介质上的一个或多个指令集而执行附图中图示或这里描述的功能、动作或任务。所述功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可由单独或组合操作的软件、硬件、集成电路、固件、微代码等执行。同样地，处理策略可包括多处理、多任务、并行处理等。

在一个实施例中，指令被存储在供本地或远程系统读取的可移动介质装置上。在其它实施例中，指令被存储在远程位置以便通过计算机网络或经电话线传送。在再其它实施例中，指令被存储在给定计算机、cpu、gpu或系统内。

处理器14是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、上述各项的组合或者用于检测和跟踪导管和解剖或其它结构的其它现在已知或以后开发的装置。处理器14是单个装置或串联、并联或分开地操作的多个装置。处理器14可以是计算机(诸如，膝上型计算机或桌上型计算机)的主处理器，或者可以是用于在更大的系统中(诸如，在成像系统中)处理一些任务的处理器。处理器14由指令、设计、硬件和/或软件配置以执行这里讨论的动作。处理器14被配置为执行以上讨论的动作。处理器14可被配置为产生用户接口以用于接收物体的检测和跟踪的校正或核查。

图1中描绘的系统还可包括显示器。所述显示器可以是监视器、lcd、投影仪、等离子体显示器、crt、打印机或用于输出视觉信息的其它现在已知或以后开发的设计。显示器从处理器14、存储器16或扫描器12接收图像、图形、文本、量或其它信息。一个或多个图像被显示。所述图像具有病人体内检测到的物体、插入导管以及病人的解剖结构的移动。所述图像可在过程期间被流传输，或者所述图像可以是静止图像。

尽管以上已通过参照各种实施例描述本发明，但应该理解，在不脱离本发明的范围的情况下能够做出许多变化和修改。因此，意图是，前面的详细描述被视为是说明性的而非限制性的，并且应该理解，下面的权利要求(包括所有等同物)意图定义本发明的精神和范围。