利用外观和形状来检测和匹配解剖结构的系统和方法

专利名称：利用外观和形状来检测和匹配解剖结构的系统和方法
技术领域：
本发明涉及用于利用外观和形状来检测和匹配对象的系统和方法， 并且更具体地涉及用于利用离线训练、在线检测以及外观和形状匹配 来检测并匹配解剖结构的系统和方法。
背景技术：
在医学检查过程中将医学成像系统(例如超声成像系统)用于与解 剖结构(例如，诸如心脏的器官)相关联的异常的检测和诊断是非常 普遍的。常常由经过训练的医学专家(例如医生或医学技师)来评价 图像，以识别图像中的特征，所述特征可以指示与解剖结构相关联的
异常或指示健康的解剖结构。
由于计算机技术的进步，大多数计算机可以容易地处理大量的数据
并执行大规模的计算，所述大规模的计算可以提高所获得的图像的质 量。此外，图像处理可被用作辅助图像的分析的工具。图像中感兴趣 的解剖结构或对象的有效检测在该结构的进一步的分析中是重要的工 具.常常，解剖结构的形状的异常或这种形状的经过时间的变化(例 如，跳动的心脏或进行呼吸的肺)指示肿瘤或各种疾病(例如心肌的扩张或局部缺血).
这种类型的图像处理可以被用于其它应用，诸如图像中人脸的检 测.因为与不同面部特征相关的变量(例如头发颜色和长度，眼睛颜 色，面部形状等)，面部检测不是无足轻重的任务。面部检测可以用 于多种应用、诸如用户识别、监视或安全应用中。
各种类型的方法已经被用于检测感兴趣的对象(例如解剖结构或 脸)。基于部分的对象检测器(眼睛检测器和嘴巴检测器等)可以处 理姿势和照明方面的大的变化，并在遮挡和异方差噪声之下更稳健。 例如，在超声心动图分析中，相同解剖结构(例如隔膜)的局部外观 在病人之间是相似的，而心脏的结构或形状可以由于例如视角或疾病 情况而显著不同。同样地，在脸检测中，面部特征之间的一般空间关 系是相当一致的(例如眼睛相对于鼻子和嘴的一般位置)，而各种面 部特征的结构和形状(例如眼睛的形状、嘴的表情，以及它们之间的 相对距离)可以显著变化。
为了捕获局部外观变化，许多解决方案依靠高斯(Gaussian)假 设。最近，通过诸如支持向量机(Support Vector Machine, SVM)或 提升(boosting)之类的非线性学习机的使用，已经放宽了该假设。 一些最成功的实时对象检测方法基于简单特征的提升的级联。通过组 合所选数量的简单分类器经由提升的响应，所得到的强分类器能够实 现高检测率并能够实时处理图像。然而，在存在遮挡对象的情况下， 现有的方法没有解决检测问题。简单或弱分类器由于遮挡(occlusion) 的错误响应将负面地影响检测结果。
对于大多数视觉跟踪应用来说，测量数据是不确定的并且有时丢 失图像带有噪声和失真，同时遮挡可能使感兴趣对象的一部分变得 不可见。不确定性可以在整体上是均匀的；但在大多数真实世界情况 中，它实际上是异方差的，也就是各向异性和不均匀的.好的例子是 超声心动图(超声心脏数据)。超声倾向于反射伪影，例如镜面反射 器，诸如来自隔膜的那些镜面反射器。由于单个"观察方向"，镜面 结构的垂直表面产生强的回波，但倾斜的或"离轴的"表面可以产生 弱回波，或根本不产生回波(声学"信号失落(drop out)").对 于超声心动图来说，在组织表面平行于超声射束的心脏区域处可能出 现信号失落。由于它的可用性、相对低的成本以及非侵入性，心脏超声图像被广 泛地用于评价心脏功能。具体地，心室运动的分析是用以评估局部缺 血和梗塞形成的程度的有效途径.心内壁的分割或检测是实现左心室 的弹性和收缩性的量化的第一步骤。 一些现有方法的例子包括基于像
素的分割/聚类方法(例如，彩色室壁动态(Color Kinesis))，光 流的变化、可变形的模板和马尔可夫随机过程/场、以及有效轮廓/动 态轮廓(active snake)。在二维、三维或四维(犯+时间)空间中采 用一些方法。
然而，大多数现有的分割或检测方法不尝试恢复心内壁的精确的区 域运动，并且在大多数情况中，忽略沿着壁的运动分量。仅沿着当前 轮廓的法线搜索的轮廓跟踪器也采用该简化的处理。这不适用于区域 壁异常检测，因为异常左心室的区域运动很可能离开轮廓的法线，更 必说全局运动、诸如平移或旋转(由于声谱仪操作者的手运动或病人 的呼吸运动)，也引起轮廓上不正常的局部运动。为了区域壁运动异 常的检测，期望跟踪心内壁的整体形状以及它的局部运动。该信息可 以被用于局部缺血和梗塞形成的进一步的诊断。存在对利用外观和形 状来匹配解剖结构的检测框架的需要。

发明内容
本发明涉及利用外观和形状来匹配解剖结构的检测框架。使用图像 的训练组，在该训练组中在图像中注释对象形状或结构。图像的第二训 练组表示这种形状和结构的负样本，也就是不包括这种对象或结构的图 像。根据该训练组所训练的分类算法被用于检测在它的位置处的结构。匹配。
本发明的另 一个方面涉及一种用于检测包括无效数据区域的图像 中的对象的方法。确定用于该图像的数据掩模(mask)，以指示图像 中的哪些像素是有效的。该数据掩模被表示为积分掩模，在所述积分 掩模中每一像素具有对应于在该像素之上和在该像素左边的图像中的
有效像素的总数的值。将矩形特征应用于该图像，所述矩形特征至少 具有一个正区域和一个负区域。利用积分掩模对矩形特征中那些有效 的像素进行确定。对包括无效像素的区域的平均亮度值求近似。通过计算矩形特征的正和负区域中亮度值的总和之间的加权差，确定矩形 特征的特征值。利用该特征值来确定是否已经检测到对象。
本发明的另一个方面涉及一种用于检测图像中的对象的方法。为图 像的窗中的分类器计算特征值。确定该特征值是否超过预定阈值。如 果该特征值超过阈值，则为图像的窗中的随后的分类器计算随后的特 征值.组合该特征值和随后的特征值的值。确定组合特征值是否超过 当前组合的组合阈值。如果组合特征值超过组合阈值，则计算进一步 的组合特征值，包括进一步的随后的分类器，直至没有随后的分类器 或者组合特征值不超过组合阈值。最后的组合特征值被用于确定是否 已经检测到对象。
本发明的另 一 个方面涉及 一 种用于检测图像中的解剖结构以及使 图像中的解剖结构与图像的训练组中的一个或多个解剖结构相匹配的 系统和方法。接收候选图像，并且从候选图像中提取特征值。应用分 类函数，以检测解剖结构.如果检测到解剖结构，则通过使候选图像 的所提取的特征值与训练组中的配对图像的特征值相匹配来识别图像 的训练组中的一个或多个配对图像。来自训练组的匹配配对图像中的 解剖结构的形状被用于确定候选图像中的解剖结构的形状。
本发明的另 一个方面涉及一种用于使图像中的解剖结构与图像的 训练组中的一个或多个相似成形的解剖结构相匹配的方法。接收候选 解剖结构的图像，并从该图像中提取特征.将与相似成形的解剖结构 相关的特征与候选解剖结构相比较。通过利用来自训练组的至少一个 最近的邻近者的形状来确定候选解剖结构的形状。
本发明的另一个方面涉及一种用于检测和跟踪图像中的候选对象 的可变形形状的系统和方法。通过多个所标记的控制点来表示该形状. 检测图像帧中可变形形状的至少一个控制点。针对与候选对象相关的 每一个控制点，计算位置不确定性矩阵。产生形状模型，以表示随后 的图像帧中可变形形状的动态，其中该形状模型包括来自典型对象的 图像的训练数据组的统计信息。使该形状模型与候选对象的可变形形 状对准。合并该形状模型与可变形形状，并评估候选对象的当前形状。


下面将参考附图更详细地描述本发明的优选实施例，其中相似的参考数字表示相似的元件
图l示出超声心动图系统的示范性体系结构，所述超声心动图系统使 用依据本发明的用于检测和跟踪左心室的心内壁的形状的方法；
图2示出心脏的典型的超声心动像； 图3a-3d示出依据本发明的表示弱分类器的矩形特征的例子； 图4示出依据本发明的用于利用积分图像来确定给定窗的亮度和的 方法；
图5示出依据本发明的被部分遮挡的积分图像中的矩形特征；
图6示出依据本发明的用于图5的积分图像的遮挡掩模；
图7a和7b示出依据本发明的Hi _ i和Hi -,'的关系；
图8示出依据本发明的、利用存储器技术的提升的级联的示意图9示出依据本发明的用于左心室心内膜边界检测的框架；
图10示出依据本发明的用于检测三维数据容积中的肺瘤的框架；
图ll示出依据本发明的用于形状对准的不变流形；
图12a和12b示出依据本发明的形状对准；以及
图13示出依据本发明在形状检测和跟踪过程中的不确定性传播。
具体实施例方式
本发明涉及用于检测和匹配解剖结构的方法。将采用这种方法的一 个例子是通过经由机器学习或分类来检测并分割心室心内膜和心外 膜边界，以及通过识别来自带注释的数据库的相似情况，检测心脏中 的区域壁运动异常。本领域的普通技术人员应理解的是，本发明可以 被用于其它应用，其中形状检测和匹配是有用的，诸如但不局限于识 别人的特征、诸如面部特征或其它身体特征。本发明也可以被用于二 维、三维和四维(3D+时间)数据分析、例如诸如可随时间的过去而演 化的心脏、肺或肿瘤之类的解剖结构的医学分析.
为了描述本发明，将针对检测人心脏的左心室的心内壁来描述例 子。图1示出超声心动图系统的示范性体系结构，其中所述超声心动 图系统使用依据本发明的用于利用形状和外观来检测左心室的心内壁 的方法。诸如超声换能器之类的医学传感器102被用于对病人执行检 查。传感器102被用于获得与具体医学检查一致的医学测量。例如， 经受心脏问题的病人可以具有为帮助诊断具体的心脏疾病而执行的超声心动图。超声系统根据各种透视图提供心脏的二、三和四(3D+时间) 维图像。
通过传感器102获得的信息被传送至处理器104，所述处理器可以 是工作站或个人计算机。处理器104将传感器数据转换成被传送至显 示器108的图像。显示器108也可以传送涉及图像的其它图形信息或 信息的表。依据本发明，也为处理器104提供表示心内壁的初始轮廓 的数据。该数据可以由诸如医生或声谱仪操作者之类的用户人工地提 供，或由处理器104自动地提供。该轮廓包括一系列单独的点，通过 处理器104跟踪这些点的运动并将其示出于显示器108上。
除了来自医学传感器102的数据，处理器104也可以接收其它数据 输入。例如，处理器可以接收来自与处理器104相关联的数据库106 的数据。这种数据可以包括子空间模型，所述子空间模型表示心内壁 的潜在轮廓形状。这些子空间模型可以是表示多个病人的左心室的图 像，或者可以是计算机产生的基于统计信息的轮廓形状模型。利用已 知的方法、诸如贝叶斯核(Bayesian kernel)匹配或基于光流的方法， 处理器104跟踪轮廓形状的单独的点。通过利用多模板自适应匹配框 架来补救在跟踪过程中的误差累积。在每一个点处以协方差矩阵的形 式表示跟踪的不确定性，其中使用非正交投影的子空间形状约束随后 完全采用所述协方差矩阵。
图2示出心脏的典型的超声心动像。用实线椭圆208来标记具 有声学信号失落的左心室的心内壁的部分。用虚线椭圃202、 204来表 示局部壁运动的估计。因为声学信号失落，心内壁不总是在图像中的 最强边缘处。超声心动像的特征是用虚线210、 212表示的图像的
扇形。在扇形外部的区域不包含有用的数据。
许多检测方法利用弱分类器或特征的提升来检测图像中的对象。通 过组合所选数量的弱分类器经由提升的响应，所得到的强分类器能够 实现高检测率。然而，已知的方法不解决在存在其它遮挡对象(例如 扇形之外的数据)时检测对象的问题。弱分类器由于遮挡的错误响应 负面地影响对象的检测。
依据本发明的一个方面，现在将描述用于在对象检测过程中消除已 知遮挡的影响的方法。例如，可以以不考虑扇形之外的图像数据(也 就是无用或无效的数据)的方式来处理超声心动像。换句话说，在扇形外部的数据被作为遮挡处理。
与对象的图像相关联的简单特征被识别为弱分类器。这种特征的例
子是在图3a-3d中示出的矩形特征。每一矩形特征的值是每一矩形的 白色(也被称作正)区域与灰色(也被称作负)区域中的像素亮度的 总和之间的差。对于图3a中所示的矩形特征来说，负区域是302，并 且正区域是304。对于图3b中所示的矩形特征来说，负区域是308， 并且正区域是306。对于图3c中所示的矩形特征来说，负区域是312 和314，并且正区域是310和316。对于图3d中所示的矩形特征来说， 负区域是320，并且正区域是318和322。
矩形特征为基本区域提供过完备基础，例如，如果矩形在尺寸上是 24 x 24像素，则特征的数量是180000。矩形特征的优点之一是计算速 度。通过利用如图4中所示的称为积分图像(II)的中间表示，可以 利用小的固定数量的操作来计算特征值。
在矩形特征的计算之前，预先计算输入图像(例如左心室的超声心 动像)的II。针对II中的每一像素(x，y)，确定亮度值。这些 亮度值被存储在数据库106中(图1). 一旦已经为输入图像计算了 II，就大大简化所有未来的计算。针对输入图像中的位置(x。，y。)处 的每一像素，可以通过确定在位置(x。，y。)之上和在位置(x。，y。)的 左边的所有像素的亮度之和来计算亮度值。换句话说，在II (x。，y。) 处可以如下确定II的子集
<formula>formula see original document page 11</formula> (1)
其中I (x，y)是在位置(x，y)处的像素的亮度。
图3示出如何确定在矩形特征Rf处II的亮度值的计算。计算位置 408处的n，其等于实线410之内的区域。用于限定位置408处的II 的另一方式是矩形(A+B+C+Rf)的亮度值的总和。为了获得Rf的总和， 必须进行附加计算。位置406的II提供通过线412限定的区域的总和， 其等于矩形(A+C)的亮度值的总和。从位置408的II中减去位置406 的II导致矩形(B+Rf)的II'。接着，计算位置404的II，其提供通 过(A+B)限定的区域的总和。从II.中减去位置404的II导致矩形 (-A+Rf)的II''。最后，将位置402的II与II''相加，这提供Rf的总和。
然而，在Rf中的像素包括遮挡的情况中，那些像素的亮度值提供 无效值，这将最终产生对矩形特征的不正确估计。图5示出包括遮挡 504的积分图像502的例子。矩形特征506被置于包括遮挡504的一部 分的位置处。
依据本发明，遮挡掩模被用于消除包括在矩形特征中的被遮挡的像 素的作用。在图6中示出了用于图5的II的遮挡掩模的例子。当在受 控制的环境中获得图像时可以使用遮挡掩模，或者可以从数据中推断 出遮挡掩模。例如，在监视应用中，已知静态背景(例如门、墙壁、 家具等的位置)。可以确定引起遮挡的背景中的对象的似然性，并将 其用于创建遮挡掩模.另一例子是超声图像。在超声图像中，通过超 声机器来给出扇形位置，或可以计算扇形位置，例如时间变化的分析 可以产生静态无效区域。 一旦识别出扇形，就可以创建遮挡掩模，以 在II计算中有效地排除或取消扇形的存在。
通过将被遮挡的或否则无效的像素的亮度值设为零，矩形的亮度值 的总和将不再受不正确的值影响.然而，因为现在存在"丢失"数据， 所以总和将是不平衡的。当不存在丢失值时，矩形总和与矩形的平均 亮度值成比例。因此，为了补偿丢失值，当存在遮挡时，通过利用具 有有效亮度值的像素的数量来近似平均值。可以通过首先计算等效图 或遮挡掩模来得到有效像素的数量。
遮挡掩模M包括布尔值，其中有效像素被赋予值l，并且无效或被 遮挡的像素被赋予值0。可以如下利用在当前位置(x。，y。)之上和在当 前位置(x。，y。)的左边的有效像素的数量来计算积分掩模
篇(，〉=E : M一 . (2)
类似于方程U)的II，可以以如上所述的相同数量的操作根据积分掩 模来计算矩形中有效像素的数量。
将为矩形特征506的等效特征值提供正和负图像区域中的亮度的 总和之间的加权差。如果&表示像素亮度以正值作出贡献的区域并且 凡表示像素亮度以负值作出贡献的区域，则特征值/如下<formula>formula see original document page 13</formula>(3)
其中/7-,/7+分别表示负和正区域的有效像素的数量，每一个区域包括N
个像素。如果n.和rv都非零，则通过N/(n-n+)将最终的特征值标准化.通 过利用遮挡掩模来计算矩形特征的积分图像，获得更精确的结果，其 导致更好的对象检测。
特别是在诸如脸或解剖结构的复杂对象的情况下，由于为了对象的 检测而需要被计算的大量特征或部分，工具被用于减小所需要的计算 量，同时仍产生精确的结果。普遍使用的一种这样的工具是提升。一 般，提升识别多个弱分类器或特征。针对每一个弱分类器，可以计算 一个值，所述值然后与预定阈值进行比较。如果弱分类器的值超过阈 值，则保留该分类器。如果弱分类器的值低于阈值，则拒绝该分类器。 通过对超过阈值的、弱分类器的所有值求加权和，可以产生强分类器， 其可以被用于对象检测中，
提升的变型是提升的级联。在该技术中，把分类器区分优先次序。 针对窗计算第一分类器，并且如果它不满足阈值，那么窗被移动至另 一位置。仅仅保留所计算的分类器超过阈值的那些位置。阈值典型地 被设置在适度的水平处，以允许宽大的误差裕度。通过减小执行计算 的位置的数量，该方法是有效的。然而，这些方法丢弃来自之前的分 类器的输出。下一阶段的训练以对新的样本组的均一加权开始。
依据本发明，保留每一个所计算的分类器的值，并将其用于未来分 类器的计算，以便加强在之后阶段的分类器计算。通过在如图7a和7b 中所示的当前阶段的新训练组之上设置新的阈值1V以及相关的奇偶性 Pi'，从级联的之前阶段直接使用中间强分类器Hw。然后，在基于原始 特征进行训练之前，用新的分类器H卜/的误差对训练样本进行加权。当 前阶段的强分类器是Hi-r和所选择的单特征分类器的加权和。在检测过 程中，代替扔掉来自之前阶段的分类器输出，它被利用TV和相关的奇 偶性Pi'来设置阈值，并依据其误差被加权，并被加到来自当前阶段的 单特征弱分类器的输出的加权和中。
可以如下来描述一般的"利用存储器的提升的级联"(BCM)训练 算法-存储器中的初始级联分类器H。'-mjLL;其中误差s-oo。
P-正样本组，N-负样本组； .i-0;
通过级联的阶段i的循环
使用P和N，以使用AdaBoost利用H卜r和确定数量的附加特征来
训练分类器Hi，以便满足所要求的错误正数和错误检测率； 通过将Hi的错误正数用作负样本并且必要时调节正组来重构训
练组，P —P'以及N —N'; 重新训练Hi:修改Hi (例如通过选择最佳阈值TV和奇偶性)，
以根据新的训练数据P'和N'最小化它的分类误差。将所得到
的Hi'和它的输出放入存储器中。
在上面的算法中，假定如果使用H卜r，则它将是第一个，H卜r也可
以被用在其它单特征弱分类器的中间。所有需要改变的是，代替在之 前阶段的结束时，而是在当前阶段的训练过程中，学习新的阈值和奇 偶性。
可以利用当前训练组或完全有代表性的验证组来进行Hi的评估。 在前一情况中，仅使用Hi,并且目标是满足当前阶段的性能目标(即， 每阶段9M);而在后一情况中，应使用总级联分类器，并且目标是直 至当前阶段i的综合性能目标(即，O邻、。
下面示出利用存储器的提升的级联算法的另一个例子。
-用户选择f、即每层最大可接受的错误正率以及d、即每层最小
可接受的检测率的值。
用户选择目标总错误正率Ftarget。 .P-正样本组，N-负样本组 F0=l, 0; D =l. 0; i=0; 存储器中的初始级联分类器Ho'-NULL; 当Ftarget时 i++n产0; F产Fw 当F,f xF卜，时
o使用P和N，以使用AdaBoost利用Hh'和rii个附加特征来 训练分类器仏(当i>l时，已经利用存储于存储器中的结果 训练了H卜r;如果它比特征强，则选择Hi-r作为阶段i的弱
分类器。利用H卜r的误差来更新关于训练样本的权重，以便
基于特征选择剩余的弱分类器。) o评估关于验证组的当前级联分类器Hi,以确定Fi和Di o减小第i个分类器Hi的阈值(Tj),直到当前级联分类器具
有至少d x D卜，的检测率(这也影响Fi)
N-0
如果F々Ftarg"，那么评估关于非脸图像组的当前级联检测器Hi， 并把任何错误检测放进组N中。
重新训练Hi':为Hi选择第二最佳阈值Ti'和奇偶性pi',以根据 新的训练数据P和N使它的分类误差最小化；将所得到的H,和 它的输出放进存储器。
在BCM框架中，检测过程将以下中间强分类器用于级联的每一阶
段
阶段1- Hr. CC1 hi + 02 h2十…On1 hni
阶段2_ H2: 01+1 Pi (Hi - Tl ) + ((Xn1+1 + 0Cn1+2 hni+2十…Onl+n2 hm+n2)
因为在之前阶段中已经评估了 Hi,附加的计算仅是针对每一附加 阶段的减法和乘法，其中如图8中所示当前测试样品将通过所述附加
阶段。对于所考虑的每一附加分类器来说，考虑与先前计算的分类器 相关的值，并将其与针对附加值的值结合。所得到的值然后与阈值进 行比较，最终结果是提供对象检测的更精确指示的值。
一旦已经潜在地检测到对象，就可以利用进一步的处理技术来获得 关于图像的附加信息。依据本发明的另一个方面，可以基于一组训练图像应用外观和形状的共同使用，以匹配和检测测试图像中的对象形
状或解剖结构。外观被用于测试图像中的对象或结构的定位。然后采
用匹配技术，以从正训练数据集中找到相似情况并为所检测的候选物
提供形状或结构细节。可以以分级方式进行检测、定位和匹配，以实
现更精确的结果。匹配技术利用在检测过程中所学习的特征，以节约 计算时间和改进匹配性能。
依据本发明，用于对象或解剖结构检测和形状恢复的一般框架包括
三个阶段离线训练阶段、在线检测阶段和匹配阶段。
在离线训练阶段，正训练样本作为训练数据组被存储。例如，在超 声心动图的情况下，训练组将包括人心脏的左心室的图像。训练组将 包括不同成形的左心室的样本以及异常左心室的样本的全面的组。优 选地，在最佳条件(例如左心室居于图像中间；图像被标准化以消除 尺寸和旋转的影响等)下示出训练组中的图像。在训练阶段过程中， 将提升算法应用于图像。从这些应用所获得的数据与训练数据一起被 存储，并且可以包括指示弱分类器输出的特征向量。
处理所有正训练样本，以保持不变特性.例如，整体平移、旋转和 缩放是对人心脏的左心室的不变变换(invariant transform)。正数 据的对准直接影响检测器的设计，即，在检测过程中每一对准轴需要 被扩展。换句话说，例如，如果在训练数据中取消旋转，则在检测过 程中检测器不得不搜索多个旋转。利用被对准的训练数据，学习算法 输出所选择的特征和用于正/负分类的相应的判定函数。依据本发明， 可以变换(例如缩放和旋转)所有训练数据，以训练所变换的检测器。
训练数据(包括被变换的训练数据)的所有特征被存储于数据库 106中(图1)。此外，为每一正数据图像计算特征向量，所述正数据 图像包括弱分类器输出和它们的相关权重。每一弱分类器表示与对象 相关的部分。正数据的特征向量随后可与为测试图像所计算的特征向 量相比较，以帮助识别具有相似特征的正数据。每一正数据图像的对 应于沿着对象轮廓的点的位置点也被存储，并被用于形状匹配阶段。
在在线检测阶段中，通过对测试图像或数据容积内的窗或立方体进 行平移、旋转和/或缩放，采用用于图像或数据容积的扫描方案，以产 生候选数据补片(patch)。针对每一候选物，在整个扫描过程期间或 之后达到对象位置、缩放和/或旋转。在一些情况中，应用多个被变换的检测器比变换候选物快。基于提升的检测器可以被用于指示图像中 的对象或候选物位置。
在形状匹配阶段中，识别看来似乎包括对象的那些候选物(得胜的 候选物)。将相似性匹配算法应用于这些候选物，以从相应的训练数 据组中检索最近的邻近者，并将它们的相关形状应用于候选物。特征
向量被用于形状匹配，所述形状匹配基于弱分类器输出h/s和它们的 相关权重ot/s。利用以下空间中的距离度量进行匹配(oc,h" ot2h2，...， ocKhK}，其中K是弱分类器特征的数量。也可以使用其它特征空间。形 状匹配算法搜索与训练数据中的一个或多个图像相关联的"配对 (counterpart)"特征向量。 一旦已经获得匹配，来自训练组中的相 关匹配图像的数据可以被用于提供关于对象形状和结构的细节。
现在将利用二维(2D)数据来描述例子.本领域的技术人员应理 解的是，本发明也可以处理三维(3D)数据和四维(3D+时间)数据。 图9示出利用原始图像和所跟踪的心内边界、使用LV帧的带注释的数 据组、基于学习和匹配的左心室(LV)心内边界检测的示范性框架。
该框架首先构造例如界标或控制点的有序组形式的、被对准的LV 补片(模数平移、缩放和旋转)的数据库，其中它的边界带注释.利 用该组样本和其它负补片来设计和训练检测算法。例如，可以使用基
于提升的特征选择和分类器构造算法。为所有样本计算特征向量。
然后，该框架为LV的定位采用学习的检测算法。所检测的候选物 是包括LV的、具有其正确的尺寸和旋转的局部补片。(通过以多个可 能的缩放和旋转扫描图像来确定该尺寸和旋转。)
最后，从所检测的候选物中提取特征向量，并与数据库相比较，以 找到一个或多个最近的邻近者.然后例如利用加权和来组合它们的轮 廓，以形成所检测的候选补片的轮廓，其中权重与它们至所检测的补 片的匹配距离成比例。 一个可能的特征类型将是补片内的图像亮度(具 有或不具有二次采样)。其它特征包括弱分类器输出(具有或不具有 加权因子)。也可以利用主成分分析(Principal Component Analysis )， 以选择这种特征的子集。
图IO示出三维数据容积中的胂瘤检测的例子。该方法类似于上面 所述的方法，除了 3D邻域、3D特征和3D扫描被用于检测匹配。
一旦已经在形状和外观方面检测到并匹配了对象，然后就可以随着时间的过去而跟踪对象的形状。由于心肌的有节律的运动，这种跟踪 在超声心动图中是重要的。在形状跟踪过程中，测量不确定性起重要 的作用.依据本发明，将单独训练的部分检测器应用于图像，以开发 相对稳定的局部外观，同时利用整体形状模型来约束部分合并过程。 现在将描述用于在自动形状检测和跟踪过程中最佳地合并来自局部检 测、运动动态和子空间形状建模的不确定性的统一框架。提升的部分 检测器被用于超声心动图序列中的左心室边界定位。
假设用n (x，a)、即具有平均值x和协方差"的多维高斯分布表 示的候选之前形状的检测，第一步骤是在最佳不变变换的情况下下在
样本之前形状x。之中找到具有通过N (x，Cx)、形状模型N (m，C )和 来自前一时间步骤的预测形状N (x-，Cx-)共同产生的最大似然性的样 本之前形状。等效公式是找到x'，以最小化之前形状空间和所变换的 形状空间中的Mahalanobis距离的总和，也就是，
<formula>formula see original document page 18</formula> (5)
其中x。'-T(x"，其中T是不变变换。
在多个候选之前形状的情况下，产生最高似然性的、也考虑检测图 中的似然性值的候选之前形状在判定时间获胜。方程(5)需要在位置 和变换上的同时最佳化，并且甚至对于简单的变换、诸如仅允许平移、 旋转和缩放的相似性变换来说也不具有封闭形式的解。可以通过迭代 在数值上寻找整体最佳，但是计算可能太昂贵。
困难源于以下事实，即由任意的之前形状经所有可能的变换所跨越
的流形(也就是形状) 一般、特别是当子空间维数相对小时不与形状 子空间相交。在本发明中，形状子空间具有从6至12的维数，而全欧 几里德(Euclidean)空间具有>34的维数。图11示出用于概念地示 出该关系的形状对准的不变流形，其中粗曲线1102描绘之前形状向量 X、以及倾斜轴1104和表示子空间模型的一维高斯分布1106所跨越的 流形。 一般，流形将不与形状模型子空间相交(也就是倾斜轴1104包括模型质心M)。在此省略预测，或者可以把X看作检测和预测的合并 结果。本发明涉及作为整体解决方案的两步骤最佳化方案，具有针对 两个步骤的封闭形式的解。可以参照图11容易地解释该方案第一步 骤是利用"中的信息从X转至X'，或换句话说，找到从X至M的最佳 变换。第二步骤是利用来自(T的附加信息从X'转至XM。第一步骤被称 作对准步骤，而第二步骤被称作约束步骤。
对准步骤的目标是考虑在之前形状和它的协方差矩阵朝模型变换 的过程中分量不确定性.首先如下最小化d、
、 、, (6)
其中x'=T (x)，并且C、=T (Cx) (V)已经被合并成N (x， Cx)。 当T是相似性变换时，具有
.= f(jC + t，
并且R是块对角矩阵，其中
(8)
利用纯代数(straight algebra)，可以如下重写方程(6): (i2 —ET1(111" t) — 3c)rCx—"RT、m -1) 一 x)
:—r,) V) - x) (9)
通过对R和t中的四个自由参数取导数，可以获得封闭形式的解。 图12a和12b示出在考虑和没有考虑点位置的不确定性的情况下的形 状对准。图12a示出在没有考虑定位的不确定性的情况下的形状对准。 图12b示出利用异方差不确定性的形状对准。椭圆1202-1212描绘关 于点位置的协方差，表示块对角Cx中的信息。直觉是更相信具有更高 置信度的点。
一旦之前形状与模型对准，对由两个竟争信息源(也就是，对准的
。为了简化符号，假定预测N(x—， (7)
其中t是具有两个自由参数的平移向量: 每一块是
i 一 , a 一&检测/预测与(子空间)模型相对)所产生的具有最大似然性的形状进
行确定。在全空间模型的情况下，公式直接涉及利用高斯源或BLUE(最 佳线性无偏估计量(Best Linear Unbiased Estimator))的信息合 并。
假定相同的n维变量x的两个有噪声的测量，每一个测量的特征在 于多维高斯分布，即N (x,，d)和N (x2，C2) ， x的最大似然估计是具 有修订的Mahalanobis距离D2 ( x， x2， C2)的最小总和的点。不失一般 性地假定C2是奇异的。利用C2=U AUT的奇异值分解，其中 U-[i^，U2，…，uJ，同时Ui是标准正交的，并且A-diag(入"入2，…， 入p， 0， ...， 0},至X2的Mahalanobis多巨离如下
(10)
当入i趋于0时，D2 (Xl，x2，C2)趋向无穷大，除非UT。x-0，其中 U。-[up+1，up+2，...，un]。在这里不失一般性地假定子空间通过原始空间的 原点。由于X2居于子空间中，所以U/x产0。
因为仏、=0,所以(12现在变成
.- xfC^HUpy - (11)
其中y是lxp向量。
对y取导数，产生子空间的合并估计量 y举- Cy《《brlxi +争a)，
(12)
(13)
利用原始空间中的等效表达式<formula>formula see original document page 21</formula>
可以示出Cx'和Cy是x'和y'的相应的协方差矩阵。
替代地，可以如下来写方程(12)和方程
<formula>formula see original document page 21</formula>
在这里，y2是x2在由Up所跨越的子空间中的变换坐标，并且Ap-diag U" 、， ...， Ap}。方程(16)可被看作两个高斯分布的子空间中的BLUE 合并，其中一个高斯分布是N (y2， Ap)，并且另一个高斯分布是子空 间中的N (Xi，d) 、 N((lJTpd-Wpd， 0JTpC「X)—')的交集。
上述子空间合并为(子空间)模型约束、将(具有异方差不确定性 的)形状测量和主成分分析(PCA)形状模型视为两个信息源提供一般 公式。下面，添加第三个源，其表示根据跟踪的动态预测。除检测之 外从跟踪获得的至关重要的好处是来自支配预测的系统动态的附加信 息以及信息在时间上的合并。基于上面的分析，方程(4)的解具有下 面的形式
<formula>formula see original document page 21</formula>
该解将来自检测、形状模型和动态预测的信息放在统一的框架中。 当也在子空间中限定预测形状时，上面所述的子空间BLUE公式可以以 嵌套方式被应用于变换T内。预测N(x—,CX—)包括来自系统动态的信 息。该信息被用于对全局运动趋势、诸如扩张和收缩以及緩慢的平移 和旋转进行编码。利用传统的方法、诸如Kalman设置中的预测滤波器， 可以获得N (X—，"-):
<formula>formula see original document page 21</formula>其中系统动态方程是
X一 = Sjc+,p柳+ q, (20)
并且Q是q的协方差，并且"prev"表示来自前一时间步猓的信息。
图13示出分析步骤的示意图，其中通过所有步骤传播检测的不确 定性。在每一帧处，通过比较在两个形状模型的上下文中多个检测候 选物的似然性以及基于系统动态根据前 一 帧的预测，对多个检测候选 物进行评估。诸如1302-1316的椭圆示出位置不确定性。在对准过程 中利用形状对不确定性进行变换，在似然估计与跟踪过程中利用模型 和预测的先验信息来合并不确定性。
已经描述了用于利用外观和形状来检测和匹配解剖结构的方法的 实施例，但需要指出，根据上面的教导，本领域的技术人员可以进行 修改和改变。因此应理解的是，可以在如所附的权利要求所限定的本 发明的范围和精神中公开的本发明的具体实施例中进行改变。已经因 此描述了具有专利法所要求的细节和特性的本发明，在所附的权利要 求中阐述了由专利特许证要求保护和期望保护的内容。
2权利要求
1、一种用于检测和跟踪图像中的候选对象的可变形形状的方法，所述形状通过多个所标记的控制点来表示，该方法包括以下步骤检测图像帧中可变形形状的至少一个控制点；针对与候选对象相关的每一个控制点，计算位置不确定性矩阵；产生形状模型，以表示在随后的图像帧中可变形形状的动态，所述形状模型包括来自典型对象的图像的训练数据组的统计信息；将形状模型与候选对象的可变形形状对准；合并形状模型与可变形形状；以及评估候选对象的当前形状。
2、 权利要求l的方法，其中 可变形的形状。
3、 权利要求l的方法，其中 的定位不确定性。
4、 权利要求l的方法，其中 个标准高斯分布的混合物。
5、 权利要求1的方法，其中 变换位置不确定性矩阵。
6、 权利要求1的方法，其中 坐标所产生的空间中的高斯模型。
7、 权利要求l的方法，其中，所述对准步骤进一步包括以下步驟 使候选解剖结构的控制点与训练组的平均形状的相应控制点匹配。
8、 权利要求7的方法，其中，匹配控制点的步骤进一步包括以下 步骤将候选解剖结构的定向变换至平均形状的相同定向。
9、 权利要求8的方法，其中，所述变换包括候选解剖结构的图像 的平移。
10、 权利要求8的方法，其中，所述变换包括候选解剖结构的图像 的旋转。
11、 权利要求8的方法，其中，所述变换包括候选解剖结构的图像 的缩放。，所述形状模型描绘随着时间的过去 ，通过协方差矩阵来表示多个控制点 ，所述形状模型被表示为单模式或多 ，在对准步骤过程中利用候选对象来 ,所述形状模型是通过连接控制点的
12、 权利要求l的方法，其中，所述对准步骤考虑位置不确定性矩阵。
13、 权利要求12的方法，其中，使用加权的最小平方公式，其中 通过位置不确定性矩阵来确定加权矩阵。
14、 一种用于检测和跟踪图像中的候选对象的可变形形状的系统， 所述形状通过多个所标记的控制点来表示，该方法包括步骤用于检测图像帧中可变形形状的至少一个控制点的装置；用于针对与候选对象相关的每一个控制点而计算位置不确定性矩阵的装置；用于产生形状模型以表示在随后的图像帧中可变形形状的动态的 装置，所迷形状模型包括来自典型对象的图像的训练数据组的统计信 息；用于使形状模型与候选对象的可变形形状对准的装置； 用于合并形状模型与可变形形状的装置；以及 用于评估候选对象的当前形状的装置。
15、 权利要求14的系统，其中，所述形状模型描绘随着时间的过 去可变形的形状。
16、 权利要求14的系统，其中，通过协方差矩阵来表示多个控制 点的定位不确定性。
17、 权利要求14的系统，其中，所述形状模型被表示为单模式或多个标准高斯分布的混合物。
18、 权利要求14的系统，其中，在对准步骤过程中利用候选对象 来变换位置不确定性矩阵。
19、 权利要求14的系统，其中，所述形状模型是通过连接控制点 的坐标所产生的空间中的高斯模型。
20、 权利要求14的系统，其中，所述用于对准的装置进一步包括 用于使候选解剖结构的控制点与训练组的平均形状的相应控制点匹配的装置。
21、 权利要求20的系统，其中，用于匹配控制点的装置进一步包括用于将候选解剖结构的定向变换至平均形状的相同定向的装置。
22、 权利要求21的系统，其中，所述变换包括候选解剖结构的图像的平移。
23、 权利要求21的系统，其中，所述变换包括候选解剖结构的图 像的旋转。
24、 权利要求21的系统，其中，所述变换包括候选解剖结构的图 像的缩放。
25、 权利要求14的系统，其中，所述用于对准的装置考虑位置不 确定性矩阵。
26、 权利要求25的系统，其中，使用加权的最小平方公式，其中 通过位置不确定性矩阵来确定加权矩阵。
全文摘要
公开了一种利用外观和形状来匹配解剖结构的系统和方法。本发明还涉及一种用于检测和跟踪图像中的候选对象的可变形形状的方法，所述形状通过多个所标记的控制点来表示，该方法包括以下步骤检测图像帧中可变形形状的至少一个控制点；针对与候选对象相关的每一个控制点，计算位置不确定性矩阵；产生形状模型，以表示在随后的图像帧中可变形形状的动态，所述形状模型包括来自典型对象的图像的训练数据组的统计信息；将形状模型与候选对象的可变形形状对准；合并形状模型与可变形形状；以及评估候选对象的当前形状。
文档编号G06T7/00GK101551908SQ20091014086
公开日2009年10月7日 申请日期2004年11月19日 优先权日2003年11月19日
发明者A·古普塔, B·戈格斯库, D·科马尼丘, R·B·劳, X·S·周 申请人:美国西门子医疗解决公司