专利名称：进行局部可变形运动分析的系统和方法
相关申请的交叉引用
本申请要求于2003年10月3日提交的序列号为No.60/508,367的美国临时申请、于2003年10月13日提交的序列号为No.60/510,856的美国临时申请、于2003年10月2日提交的序列号为No.60/508,210的美国临时申请和于2004年4月30日提交的序列号为No.60/566,833的美国临时申请的权益，这些申请全文引入作为参考。
发明领域 本发明涉及用于进行局部可变形运动分析的系统和方法，并且更特别地涉及用于准确跟踪将对象的局部运动与对象的全局运动隔离的对象的运动的系统和方法。
背景技术：
对象跟踪是在许多成像软件应用中使用的重要工具。在跟踪对象的运动中经常出现的一个问题是从移动的背景中区分出对象的运动。场景的实例是识别人的特征的运动，诸如识别头部运动、面部特征、手部运动或其它身体运动。在对目标图像进行成像的过程中，很明显在图像中背景景物也正在移动(例如，树木、车辆和人)。这就使得跟踪对象、例如跟踪面部特征变得困难。成像软件必须能够恰当区分目标(也就是，特定面部特征)和其它图像数据。
在诸如超声心动描记术这样的医疗成像应用中，对象跟踪也是十分重要的。正确分析心脏超声波图像中的心肌壁运动对于心脏功能的评价是至关重要的。跟踪心肌壁功能的困难之一是要补偿由呼吸、身体运动或超声波探头引起的附加运动。在图像采集期间通过阻止患者运动(屏气、谨慎放置探头)或者在后处理阶段中通过基于图像的校正技术减小由这些运动造成的影响。但是，在没有补偿外部运动的情况下，真正的心脏运动不能被获得。
心脏运动能够被分解成局部运动和全局运动。局部运动是指心脏的内部运动。换句话说，局部运动是心肌在心脏收缩和心脏舒张期间的运动。全局运动是除局部运动之外的外部运动。如上所述，全局运动能够源自多种起因，这些起因诸如成像时患者轻微的身体运动或呼吸、或者成像装置或放射科医师手部的运动。
如果没有对全局运动进行补偿，则可能发生误诊。例如，在没有补偿的情况下，患者可能被诊断为左心室右侧局部缺血，因为右侧段的收缩看起来比其它段小很多。这有可能发生，因为向右侧的全局运动抵消了右侧壁的运动，并且增强了左侧壁的运动。在补偿之后，每段中的收缩是相同的，这表示心脏的正常运动。同样，患者可能被诊断为心脏正常，但患者患有局部缺血。如果全局运动存在，则局部缺血的左心室可能被认为是正常的。在许多情况下，不管是由医生还是由智能机器进行诊断，全局运动的存在都可能影响诊断的准确性。
以前用于对全局运动进行补偿的方法包括长轴和主轴方法。主轴被定义为空间中的线，该线距所有给定横截面的质心具有加权的最小二乘距离。心脏收缩结束时的左心室质心和主轴一起被用于确定平移和旋转因子。针对两个连续的图像帧，图像数据和主轴被获得。质心由某个预定的帧(例如，心脏收缩末期)决定。然后，两帧被叠加，以便通过质心的运动来决定平移。在平移之后，旋转角度能够被决定，并且能够通过平移和旋转因子实现补偿。因为主轴并没有恰当识别心脏的局部缺血区域或进行类似分析，所以主轴没有被广泛用于全局运动补偿。主轴会受到异常区域运动的影响，并且不能被用于确定真正的运动。
另一种方法假设，正常心脏的形状在心脏收缩期间基本保持不变。在局部缺血的心脏的情况下，在导致运动机能减退、运动不能或运动功能障碍(dyskiniesia)的梗塞区中或其周围的运动被明显改变。在心搏周期期间，全局形状和曲线分布以及针对多个数据点(例如，顶点、前部(anterior)和凹点(pit))的局部形状被观测。全局和局部形状以及每个数据点的曲线分布被组合到一起，以便与正常的心脏数据进行比较，并然后能够确定异常区域。在局部区域跟踪中，主轴被用于补偿全局运动。利用这种方法在识别异常区域中的问题在于所做的初始假设。如上所述，假设正常心脏的形状在心脏收缩期间保持不变。但是，心脏自身具有局部旋转或扭转，并且在许多情况下，正常心脏的形状在心脏收缩期间非常不同。需要恰当地补偿全局运动，以便提高医疗诊断的准确性。
发明内容
本发明涉及一种用于进行局部可变形运动分析的系统和方法。在本发明的第一实施方案中，对象在图像序列中被观察。图像区域被取样，以识别对象图像区域和背景图像区域。所识别出的背景图像区域中的至少一个背景图像区域的运动被估计，以识别那些受到全局运动影响的背景图像区域。来自多个背景图像区域的运动被组合，以测量该图像帧中的全局运动。对象图像区域中的所测量的全局运动被补偿，以测量对象的局部运动，并且对象的局部运动被跟踪。光流技术和信息融合技术被用于估计对象的运动。
在本发明的第二实施方案中，通过识别被包括在背景图像区域中的多个控制点，对象图像的局部运动变形被测量。包括所识别出的多个控制点的不确定性的局部运动向量被测量。随后的图像帧中的每个控制点被独立跟踪。控制点的位置及其不确定性用协方差矩阵来表示。位置和协方差矩阵被用于估计全局运动。全局运动被用作参考，以获得真正的局部对象变形。
根据本发明的第三实施方案，通过识别表示对象的外轮廓的第一组多个点来测量对象图像的局部运动变形。表示对象的内轮廓的第二组多个点被识别出。第一组多个点的运动和第二组多个点的运动通过图像帧被跟踪，使得每个图像帧表示预定的时间周期。
根据本发明的第四实施方案，通过识别表示对象的轮廓的多个控制点来测量对象图像的局部变形。随后的图像帧中的控制点的运动被跟踪。二元直方图被用于表示所跟踪的控制点附近的强度的分布。
根据本发明的第五实施方案，公开了一种方法，用于确定图像中的包括超声波信号的区域。图像的静态和动态区域被识别出。动态区域的边界点被确定。参数形状模型被拟合到边界点。
附图简述 参考附图，下面将更详细地描述本发明的优选实施方案，其中相同的参考编号表示相同元件
图1是示例性系统的框图，所述系统用于实施一种根据本发明的、用于跟踪对象的局部可变形运动的方法； 图2图解说明了在心脏收缩期间的短轴视图中的左心室的四种不同状态； 图3是超声心动图在短轴视图和心尖四腔视图(apical fout-chamber view)中的超声波图像和根据本发明的被用于补偿全局运动的各个样本区域； 图4是描绘左心室面积大小随时间变化的曲线图； 图5a-5d图解说明了针对左心室及其对应的PCA模型的两个视图的主特征形状； 图6a-6c图解说明了在轮廓点的金字塔底部处所计算的不确定性； 图7a和7b图解说明了左心室的心内膜壁的轮廓的第一帧初始状态； 图8图解说明了一对直方图，所述直方解说明根据本发明的超声心动描记术图像的强度和空间分布； 图9图解说明了一种根据本发明的、分割感兴趣窗口以确定轮廓的内侧和外侧的方法；以及 图10a-10e图解说明了一种根据本发明的、用于自动检测超声波图像中的扇形区域的方法。
详细说明 本发明涉及一种用于跟踪对象的局部可变形运动的方法。其中利用这样一种方法的实例用于跟踪心肌壁的局部运动，以检测心脏中的区域性壁运动异常。该方法也可被用于跟踪心脏的心内膜壁或心外膜壁。本领域技术人员应当理解，本发明可被用在其中运动跟踪有用的其它应用中，这些其它应用诸如(但不限于)识别诸如头部运动、面部特征、手部运动或其它身体运动的人的特征的运动。本发明也能够在随时间发展的解剖学结构(诸如心脏、肺或肿瘤)的二维、三维和四维(3D+时间)医学分析中被使用。
为了描述本发明，将描述用于跟踪左心室的心内膜壁的实例。图1图解说明了超声心动描记术系统的示例性结构，该系统使用了根据本发明的、用于跟踪左心室的心内膜壁的局部运动的方法。诸如超声换能器的医用传感器102被用于执行对患者的检查。传感器102被用于获得与特定的医学检查相一致的医学测量结果。例如，可以对经历心脏问题的患者执行超声心动图，以帮助诊断特定的心脏疾病。超声波系统从各种透视角度来提供心脏的二维、三维和四维(3D+时间)图像。
由传感器102所获得的信息被传送到处理器104，该处理器104可以是工作站或个人计算机。处理器104将传感器数据转换成图像，所述图像被传送给显示器108。显示器108也可以传送其它图形信息或涉及图像的信息的表格。根据本发明，也可以向处理器104提供表示心内膜壁的初始轮廓的数据。所述数据可以由用户(诸如医生或超声波检查医师)人工提供，或由处理器104自动提供。所述轮廓包括一系列单独的点，这些点的运动由处理器104跟踪并被显示在显示器108上。下文将更详细地描述关于这些单独的点如何被跟踪的详细说明。
除了来自医用传感器102的数据以外，处理器104也可以接收其它数据输入。例如，处理器可以从与处理器104相关联的数据库106中接收数据。这样的数据可以包括表示心内膜壁的可能的轮廓形状的子空间模型。这些子空间模型可以是代表多个患者的左心室的图像，或者是以统计学信息为基础的轮廓形状的、由计算机所生成的模型。处理器104使用诸如贝叶斯核匹配(Bayesian kernel matching)或者基于光流的方法的公知方法来跟踪轮廓形状的单独的点。跟踪期间的误差累积通过使用多模板自适应匹配框架来补救。跟踪的不确定性在每点以协方差矩阵的形式来表示，该协方差矩阵基本上完全由使用非正交投影的子空间形状约束来利用。
在本发明的实施方案中，心内膜壁的局部运动以及全局运动被跟踪。全局运动可以由于多种原因而出现。例如，患者的呼吸或由技术人员引起的传感器运动可以导致全局运动。为了准确跟踪心内膜壁的局部运动，全局运动必须被测量并在心脏图像中被补偿。在心脏图像中补偿全局运动的困难在于区分全局运动和局部运动。确定运动是否是外部的(也就是，全局的)运动而不是内部的(也就是，局部的)运动是十分困难的。当由于心脏病的存在而导致左心室的局部运动不规则时，所述确定甚至可能变得更加困难。
如图2中所示，不同类型的心脏病可能不同地影响心内膜壁的运动。这样的心脏病的实例包括运动功能障碍、运动不能和运动机能减退。正常心壁由实线202、204示出。运动机能减退对应于壁的运动幅度沿如虚线206所示的段减小。运动不能对应于如由虚线208所示的没有运动。当如虚线210所示的那样心肌不能抵抗心脏收缩压力时，运动功能障碍可能发生。因为与患者的运动相比内部运动非常小，所以数据对全局运动十分敏感。患者很小的运动会导致非常不同的结果。例如，正常左心室会看起来像局部缺血。通常，医生凭经验或人眼的机理消除这种类型的全局运动。但是，全局运动的自动消除会使诊断变得更容易并且更准确。
根据本发明，全局运动能够使用基于光流的方法被补偿。这些方法基于下述事实局部运动和全局运动之间的大部分表观差别是左心室周围的组织的运动。如果没有全局运动，那么周围组织并不会像左心室那样收缩或扩大。但是，如果存在全局运动，那么整个图像收到全局运动的影响，即在每个像素中产生一定的平移和/或旋转。为了补偿全局运动，左心室周围的组织区域中的运动被测量，以实现补偿测量。
现在描述根据本发明的光流方法的实例，这种光流方法能够被用于补偿全局运动。这种方法包括四个部分取样、光流估计、对准(align)和补偿。第一部分致力于对那些仅受全局运动影响的像点进行取样。
图3是心脏的超声波图像，该超声波图像被用于图解说明根据本发明的被用于在顶面视图(apical view)和短轴视图中计算全局运动的区域。如图3中所示的典型的超声波图像形成了其中图像被显示的扇形302、304。图像302描绘了短轴视图中的心脏的超声心动图，而图像304描绘了心尖四腔视图中的心脏的超声心动图。如果在左心室边界上有N个点被取样(标记为P1、P2、...、PN)，则质心点C被计算为∑Pi/N，其中Pf表示在Pi(i∈{1，N})中距离C最远的点，而r表示C和Pf之间的距离。以C为圆心、半径为1.3×r的圆形区域被裁减掉。常数1.3被选择，但是该常数可以是任何合适的常数。所述圆形区域被选择，以裁减掉随左心室收缩和扩大的心肌的部分。这种方法安全地去掉了心外膜之内的区域306、310，并且留下了周围区域308、312，用于测量全局运动。
该方法的下一个部分是测量所选区域308、312内的运动。光流估计和融合技术被用于测量超声心动图中的每个像素的运动。D.Comaniciu在CVPR 2003上发表的文章“Nonpatametric InformationFusion for Motion Estimation(用于运动估计的非参数信息融合)”描述了这些技术的实例，该文章全文引入作为参考。在所选区域中，多个点被取样。对于每两个连续帧，每个样本点的运动利用不确定性来计算。然后，所述点被形状匹配，以得到全局旋转和平移。一旦全局旋转和平移被获得，就能够实现补偿。
在这一点上，对于每两个连续图像帧，存在相应的一组样本点。由于2D超声心动图的物理特性，全局运动只能够包括平移和旋转。为了得到平移向量t和旋转θ，形状对准技术被应用。对于两个连续帧中的两组n个点xi和xi’和变换x’＝Tt(x)，执行最小二乘匹配，以找到参数t来最小化 其中Wi是对每个点进行加权并反映点对应不确定性的加权矩阵。
如果只允许平移，那么其中t＝(tx，ty)T。
通过令成立来求解，并且通过下述方程获得(tx，ty) 如果允许平移、旋转和按比例缩放，那么其中t＝(a，b，tx，ty)T 再次通过应用能够获得(a，b，tx，ty)。
尽管当平移、旋转和按比例缩放全部被允许时能够求出类似方程(3)中的解，但是，当如在本发明中那样只有平移和旋转被允许时，则求出所述解是不重要的。这是因为，当只有平移和旋转被允许时，问题是 但是现在有非线性约束a2+b2＝1。
为了解决上述问题，全局旋转θ不能超出一定范围。在大多数情况下，θ在-5°与5°之间。为了对于-10°与10°之间所有度数是稳定的，变换(tx，ty)由方程(2)计算，并然后找到最小化方程(1)中的E的t。
其中E在(1)中被定义。
一旦针对所有图像帧找到t，就能够获得补偿结果。通过下述公式，能够针对任意特定图像帧m获得补偿结果 其中f0、...、fn表示n个连续帧； ti表示从帧i到帧i+1的平移向量； Ri表示从帧I到帧i+1的平移矩阵。
通过光流的全局运动(GMCOF，Global Motion by Optical Flow)算法如下所述 1.Framef0←特定帧 2.Framef1←下一帧 3.Point F0-points[n]＝Random-sample(f0)；//在帧f0中随机取样n个点 4.float W[n][n]；//不确定性矩阵 5.Point F1-points[n]＝Optical-Flow-Bstimation(F0-points，W)； 6.float Tv，Th，θ；//垂直平移、水平平移和旋转 7.Least-Square-Shape-Matching(F0-points，F1-points，n，W，&Tv，&Th，&θ)； 8.Framef←R×f0+T； 9.T←[Tv，Th]’ 10.//fc表示补偿结果 其它方法能够被用于补偿全局运动。由于心脏运动是周期性的，所以对周期P做出下述假设在没有全局运动的情况下，某个帧I和任意帧(i±nP)的特征(也就是，形状)应当几乎相同，其中n是正整数。换句话说，如果存在使左心室轮廓平移或旋转某一角度的全局运动，那么关于帧I和帧(i±nP)之间的差别能做出确定，以识别出全局平移和旋转。
为了计算心脏运动的周期，根据左心室壁轮廓上的点来计算每个帧中的左心室的面积。图4图解说明了描绘在心脏运动期间左心室的面积大小随时间变化的曲线图。该曲线图的纵轴是左心室面积的大小，而横轴是时间。自相关分析被用于识别P。自相关分析的目的是在数据集内搜索周期性。在自相关分析中，一组相等的时间“区间(bin)”被定义。每个区间的大小为(总时间)/(区间的#)。这些区间对应于数据集中各对点之间的时间差。对于数据集中的每对点，其时间值之间的差值的绝对值被用于识别与其对应的特定区间。然后，这对点的幅度值之间的差值的绝对值被加到所述区间上。最后，在每对点均被考虑之后，通过将在该区间中的幅度的总和除以对应于该区间的点对的数目，对每个区间中的值求平均。
利用P，第一帧0和帧0+P处的左心室轮廓能够被匹配，以得到全局平移和旋转。点在轮廓上被匹配，而不是在样本区域中被匹配。帧0与P之间的多个帧处的旋转和平移能够通过内插技术获得。通过周期的全局运动补偿(GMCP)算法如下所述 1.Framef0←特定帧 2.FramefI←下一帧 3.Point F0-point s[m]＝GetContour(f0)；//在帧f0处的LV轮廓上得到m个点 4.Point FP-points[m]＝GetContour(fP)；//在帧fP处的LV轮廓上得到m个点 5.float Tv，Th，θ；//垂直平移、水平平移和旋转 6.Least-Square-Shape-Matching(F0-points，FP-points，n，&Tv，&Th，&θ)； 7.Compensation(f0，fP，W，Tv，Th，θ) 8.Frameft←Ri×f0+Tis； 9.Ti←(i/m)[Tv，Th]’ 10.//fc表示补偿结果 根据本发明的另一个实施方案，描述了一种将具有多外观模型的稳定的光流计算与稳定的全局运动参数的估计整合在一起的自动方法。首先，在所选择数量的控制点上计算带有其不确定性的局部运动向量。所述控制点的位置必须仔细加以选择，使得这些控制点在超声波扇形区域(图3)之内但不对应于包扩左心室的心肌壁的图像区域。与有用的超声波信号相关联的图像区域根据以下事实被自动检测，即由于运动和斑点噪声，相对应的像素具有随时间的高的强度变化。给定参考图像和心肌壁轮廓的对应位置，建立所述控制点的候选位置的掩膜(mask)。在掩膜内的带(band)中，相对于超声波扇形区域的尖端径向地放置所述控制点。通过针对以扇形区域的尖端作为中心的每条半径建立所述数量的允许位置(给定掩膜)的直方图来确定所述带。在直方图中具有最高密度的区域将对应于该带的位置。
然后，在随后的帧中，使用具有多个外观模型的稳定的光流技术来对所述控制点进行独立地跟踪。所述跟踪方法能够处理超声波成像中遇到的困难信号遗失、信噪比很低或外观改变。作为这种估计过程的结果，控制点位置及其不确定性能通过协方差矩阵来表示。
对于全局运动，使用二维旋转模型，其中超声波扇形区域的尖端是坐标系统的原点。所述模型对应于超声波探头相对于心脏的平面旋转并且也接近小的平移。针对每个控制点确定相对于参考帧的角度参数。最终的估计是加权的最小二乘法的结果，其中所述权重由协方差矩阵的逆矩阵给出。所述结果是在给定测量结果及其由协方差矩阵表征的不确定性的情况下的最大似然估计。
在本发明的另一个实施方案中，系统动态和静态形状约束中的不确定性被解耦，以提供用于将具有系统动态特性的子空间形状模型与具有有异方差噪声的测量值相融合的统一的框架。针对所耦合的双轮廓建立模型，使得特别是对于噪声数据能够整合更多的信息。所述双轮廓方法也更好地保持拓扑结构。为了适应单独的形状特征，使用关于当前情况所给出的信息来对通用的形状模型进行很大程度地修改。子空间模型能够采用特定子空间分布的形式(例如高斯分布)或采用简单的子空间约束的形式(例如本征空间模型)。在2004年3月5日提交的序列号为10/794,476的、发明名称为“System and Method forTracking a Global Shape of an Object in Motion(跟踪运动对象的全局形状的系统和方法)”的共同未决的专利申请中公开了形状跟踪方法，该申请全文引入作为参考。
如上面所描述的那样，在形状跟踪应用中，噪声是个严重的问题。尤其是在医疗成像应用中，超声波是在诸如磁共振成像(MRI)或计算机断层扫描(CT)的普通医疗成像形式中噪声最大的。由于心肌的快速运动和呼吸干扰，超声心动图像(即超声波心脏图像)在噪声方面甚至更差。
根据本发明，在超声心动描记术图像中，左心室边界被跟踪。左心室的各种视图可以被跟踪，这些视图诸如但不限于心尖二腔或四腔视图和胸骨旁的(parasternal)长轴和短轴视图。标志点(Landmarkpoint)可根据解剖学特征(诸如顶点、乳头肌和隔膜)来分配。标志点位置的某些变化性可以由于应用强适应-主成分分析(StronglyAdapted-Principal Component Ahalysis)SA-PCA而被容许。所述轮廓被对准，以抵消全局变换、旋转和按比例缩放。然后，执行PCA，并且原始尺寸被减小来保留80-97％的能量，针对每个模型独立地调谐。
图5a-5d针对左心室的两幅视图以及其单和双轮廓的模型图解说明了没有进行样条化(splining)的主特征形状。图5a图解说明了左心室的心内膜壁的顶面视图的单轮廓的主特征形状。图5b图解说明了左心室的心内膜壁的短轴视图的单轮廓的主特征形状。图5c图解说明了左心室的心内膜壁的顶面视图的双轮廓的主特征形状。图5d图解说明了左心室的心内膜壁的短轴视图的双轮廓的主特征形状。在图5a-5d中的每幅图中，短划线表示该模型均值。在高维空间中，双轮廓被视为单个点。
为了测量每个控制点的运动，使用帧到帧运动估计算法的修改算法，所述算法在由Comaniciu，D.在IEEE Conf.中在“ComputerVision and Pattern Recognition(计算机视觉和模式识别)”(Madison，Wisconsin，Volume 1，(2003))上发表的、标题为“Nonparametric Information Fusion for Motion Estimation(用于运动估计的非参数信息融合)”的文章中被描述，该文章全文引入作为参考。该算法假设，某一邻域中的运动能够被稳定地估计为(用平均向量和相关联的协方差矩阵来表示的)某些初始运动估计的最显著的模式。所述最显著的模式由跨尺度(across scales)的模式跟踪来限定，而用于模式检测的根本机制取决于可变的带宽平均移位。
对于每个控制点，初始估计使用17×17个窗口来计算，并且结果在n＝5×5个相邻点上被融合。利用三级(level)的金字塔和跨级的协方差传播。图6a-6c图解说明了针对所述轮廓点在金字塔底部处所计算的不确定性。图6a图解说明了心内膜的单轮廓。图6b和6c图解说明了心内膜和心外膜的耦合的双轮廓。
为了避免从图像帧到图像帧的误差累积，参考在所述序列的前面几帧的控制点的邻域来计算所述运动(即，当前帧总是与几个从前面帧提取的外观模型相比较)。由于该模型的位置在每帧处被更新，所以所述运动估计过程总是以好的初始化开始，由此消除了误差累积。双轮廓方法是有益的，因为该方法整合了更多的空间信息。因此，可以提供两个边界的更稳定的跟踪。在许多情况下，心外膜比心内膜更不可见。双轮廓图像能够传播来自心内膜的信息，以引导心外膜的定位(或反之亦然，即双轮廓图像能够传播来自心外膜的信息，以引导心内膜的定位)。而且，双轮廓图像能够更好地保持拓扑结构和减少交叉的机会。
根据本发明的另一实施方案，轮廓跟踪可通过估计局部强度分布来执行，而不需要假设预定的结构、诸如边缘。这种方法的优点在于，强度分布倾向于更少地受到噪声的影响。而且，这种方法能够跟踪任意的强度结构，因为所述结构倾向于在帧与帧之间保持一致。根据本发明，可以使用直方图来表示强度分布。控制点被用于表示轮廓。针对第一帧的轮廓能够人工绘制或者自动生成。从第二帧开始跟踪。
帧初始化的例子在图7a和7b中进行图解说明。图7a图解说明了左心室的心内膜壁的胸骨旁的视图。图7b图解说明了左心室的心内膜壁的顶面视图。在每种情况下，在心内膜壁周围的轮廓被人工绘制。在跟踪期间，所述查找位置随着前面的假设为第0级动态模型的轮廓来更新。可替代地，可采用更复杂的动态模型来整合关于心脏的周期运动的信息。从初始帧获得的分布被维持为参考模板。可替代地，如果对误差累加进行了补偿，那么能够使用来自前面帧的分布。
为了实现控制点邻域的全局和局部表示之间的折衷，使用了二元直方图方法。为了跟踪轮廓，感兴趣区域被划分为两个矩形，以便获得两个直方图。计算一个直方图用于捕获轮廓之内的分布，而计算第二直方图用于捕获轮廓之外的分布。图8图解说明了根据本发明的这两个直方图的例子。
接着，针对每个感兴趣窗口，必须针对窗口中的每个点确定，每个点是在轮廓之内还是在轮廓之外。由于关于特定图像帧的轮廓的特定情况未知，所以做出这样的确定是困难的。关于轮廓的假设能够被做出以简化计算。例如，如果图像是胸骨旁的短轴视图，那么可以假设，轮廓是圆形的并且圆形分割能够被用于帧中的所有控制点。根据本发明，两个相邻的控制点被用于找到位置轮廓定向。曲率由半径d控制，该半径d通过使用领域知识根据左心室腔的大小和形状凭经验来确定。
图9图解说明了如何使用窗口分割方法。虚线902表示轮廓的边界。元素P(i，t)表示帧t的第i个控制点。元素O(i，t)是第i个控制点的对应的重心。元素P(i+1，t+1)是相邻控制点。主成分分析被用于利用先前的模型来调整轮廓。为了获得更快并且更准确的跟踪，三级金字塔被使用。第一级是1/4大小的图像。第二级是1/2大小的图像，并且第三级是实际大小的图像。从一级到下一级的位置被繁殖。使用多尺度级在计算上是高效的，并且顶级提供了较少受到局部噪声干扰的平滑的较小的图像。
根据本发明的另一个实施方案，所述超声波信号(扇形区域)的识别在输入图像中被自动地确定。只有在该扇形区域之内的信息才应被用于图像分析算法(诸如心肌壁运动跟踪、检测或全局运动补偿)中。扇形区域的自动检测基于下述事实由于对象运动和噪声斑点，相对应的像素具有随时间的高的强度变化。
图10a-10e图解说明了根据本发明的、用于检测超声波图象中的扇形区域的示例性方法。图10a图解说明了超声心动描记术图像序列，其中与有用的超声波信号相关联的图像区域自动被检测。通过计算随时间变化的帧间强度，得到的图象被显示在图10b中。使用扇形边界的可能的位置的现有知识，通过分别在所述变型图像的左侧和右侧应用以±45°定向的阶梯滤波器来搜索和保持边界点。所得到的被保持的点被显示在图10c中。
对每个扇形侧，应用稳定的回归来对所保持的边界点上的线进行拟合。该解决方案由总体最小二乘(TLS，Total Least Squares)估计给出。因为TLS估计相对于离群值(即在真正的扇形边界之内或之外的错误点)不稳定，所以使用双权重M-估计器。因此，通过由双权重损失函数置入最小化的误差，所述估计过程的稳定特性能够被实现。通过加权的总体最小二乘来迭代地求得所述解。为了起动迭代，通过将候选点投影到多个预定的方向上(参见图10c)并找到点直方图的模式和标准偏差，找到对所述线位置和误差尺度的最初的估计。使用可能的扇形定向的现有知识来确定投影方向。从时间强度变化图像的径向直方图中找到扇形的底部。扇形的半径与径向直方图中的突然下降相关联。图10d示出了该直方图，而图10e图解说明了被自动检测的扇形。
在已经描述了用于对象的局部可变形运动的方法的实施方案的情况下，应当注意，本领域技术人员根据上面的教导可以做出修改和变型。因此，应当理解，可改变所公开的本发明的特定实施方案，这些实施方案在如由所附权利要求所限定的本发明的精神和范围内。因此，在已由专利法所要求详细地和特定地对本发明进行了说明的情况下，专利证书所要求和希望保护的内容在后附的权利要求书中被阐述。
权利要求
1.一种用于跟踪对象的局部可变形运动的方法，所述对象在图像序列中被观察，所述方法包括以下步骤
对图像区域进行取样，以识别对象图像区域和背景图像区域；
估计所识别的背景图像区域中的至少一个背景图像区域的运动，以识别那些受到全局运动的影响的背景图像区域；
组合来自多个背景图像区域的运动，以测量该图像帧中的全局运动；
补偿对象图像区域中的所测量的全局运动，以测量对象的局部运动；以及
跟踪对象的局部运动。
2.根据权利要求1所述的方法，其中，使用光流估计技术来执行所述估计运动步骤。
3.根据权利要求2所述的方法，其中，使用信息融合技术来执行所述估计运动步骤。
4.根据权利要求1所述的方法，其中，通过测量给定的背景图像区域的旋转和平移来测量所述全局运动。
5.根据权利要求4所述的方法，其中，最小二乘匹配被用于测量背景图像区域的旋转和平移。
6.根据权利要求1所述的方法，其中，所述对象是心脏的左心室。
7.根据权利要求6所述的方法，其中，所述补偿步骤进一步包括以下步骤
计算左心室的心脏运动的周期。
8.根据权利要求7所述的方法，其中，所述计算心脏运动的周期的步骤进一步包括以下步骤
识别左心室的壁上的点；
通过跟踪所识别的点的运动，测量左心室的大小随时间的变化；以及
使用对所测量的点的自相关分析来识别所述周期。
9.根据权利要求1所述的方法，其中，所述图像是超声波图像。
10.根据权利要求1所述的方法，其中，所述图像是对象的3D容积。
11.根据权利要求1所述的方法，其中，所述对象是人体中的器官。
12.一种用于测量对象图像的局部运动变形的方法，所述图像包括对象图像区域和背景图像区域，所述方法包括以下步骤
识别被包括在背景图像区域中的多个控制点；
测量局部运动向量，所述局部运动向量包括所识别的多个控制点的不确定性；
独立跟踪随后的图像帧中的每个控制点；
使用协方差矩阵来表示控制点的位置及其不确定性；以及
使用所述位置和协方差矩阵来估计全局运动；并且
使用全局运动作为参考以获得真正的局部对象变形。
13.根据权利要求12所述的方法，其中，使用具有多个外观模型的稳定的光流技术来执行跟踪步骤。
14.根据权利要求12所述的方法，其中，所述对象是心脏的左心室。
15.根据权利要求12所述的方法，其中，所述图像是超声波图像。
16.根据权利要求12所述的方法，其中，所述图像是对象的3D容积。
17.根据权利要求12所述的方法，其中，所述对象是人体中的器官。
18.一种用于测量对象图像的局部运动变形的方法，其包括以下步骤
识别表示对象的外轮廓的第一组多个点；
识别表示对象的内轮廓的第二组多个点；
通过图像帧跟踪第一组多个点和第二组多个点的运动，其中每个图像帧表示一预定的时间周期；以及
使用两组多个点来测量相对的局部运动和局部变形。
19.根据权利要求18所述的方法，其中，所述对象是心脏的左心室。
20.根据权利要求19所述的方法，其中，所述第一组多个点代表心室的心外膜壁。
21.根据权利要求19所述的方法，其中，所述第二组多个点代表心室的心内膜壁。
22.根据权利要求18所述的方法，其中，所述图像是超声波图像。
23.根据权利要求18所述的方法，其中，所述跟踪运动的步骤进一步包括以下步骤
将当前图像帧中的第一组点和第二组点与从前面的图像帧中所获得的相应点进行比较。
24.根据权利要求18所述的方法，其中，所述图像是对象的3D容积。
25.根据权利要求18所述的方法，其中，所述对象是人体中的器官。
26.一种用于测量对象图像的局部变形的方法，其包括以下步骤
识别表示对象的轮廓的多个控制点；
跟踪随后的图像帧中的所述控制点的运动；以及
使用二元直方图来表示所跟踪的控制点附近的强度的分布。
27.根据权利要求26所述的方法，其中，所述创建二元直方图的步骤进一步包括以下步骤
创建第一直方图，以表示所述对象的轮廓之内的所跟踪的控制点的邻近强度的分布。
28.根据权利要求26所述的方法，其中，所述创建二元直方图的步骤进一步包括以下步骤
创建第二直方图，以表示所述对象的轮廓之外的所跟踪的控制点的邻近强度的分布。
29.根据权利要求26所述的方法，其进一步包括以下步骤
在所述二元直方图中识别感兴趣窗口；以及
对于每个感兴趣窗口，针对给定的感兴趣窗口中的每个点确定该点是在所述对象的轮廓之内还是在所述对象的轮廓之外。
30.根据权利要求29所述的方法，其中，所述确定步骤进一步包括以下步骤
使用相邻控制点来找到局部轮廓定向。
31.根据权利要求26所述的方法，其中，所述图像是对象的3D容积。
32.根据权利要求26所述的方法，其中，所述对象是人体中的器官。
33.一种用于在图像中确定包括超声波信号的区域的方法，其包括以下步骤
识别图像的静态和动态区域；
确定动态区域的边界点；以及
将参数形状模型拟合到边界点上。
34.根据权利要求33所述的方法，其中，使用随时间变化的帧间差值来计算所述识别静态和动态区域的步骤。
35.根据权利要求33所述的方法，其中，使用阶梯滤波器来计算所述确定动态区域的边界点的步骤。
36.根据权利要求33所述的方法，其中，所述拟合参数形状模型的步骤通过稳定的回归来完成，所述稳定的回归使用了具有稳定的损失函数的总体最小二乘。
37.根据权利要求33所述的方法，其中，所述图像是3D容积。
38.一种用于跟踪对象的局部可变形运动的系统，所述对象在图像序列中被观察，所述系统包括
用于对图像区域进行取样以识别对象图像区域和背景图像区域的装置；
用于估计所识别的背景图像区域中的至少一个背景图像区域的运动以识别那些受到全局运动的影响的背景图像区域的装置；
用于组合来自多个背景图像区域的运动以测量该图像帧中的全局运动的装置；
用于补偿对象图像区域中的所测量的全局运动以测量对象的局部运动的装置；和
用于跟踪对象的局部运动的装置。
39.根据权利要求38所述的系统，其中，使用光流估计技术来估计所述运动。
40.根据权利要求39所述的系统，其中，使用信息融合技术来估计所述运动。
41.根据权利要求38所述的系统，其中，通过测量给定的背景图像区域的旋转和平移来测量所述全局运动。
42.根据权利要求41所述的系统，其中，最小二乘匹配被用于测量背景图像区域的旋转和平移。
43.根据权利要求38所述的系统，其中，所述对象是心脏的左心室。
44.根据权利要求38所述的系统，其中，所述图像是超声波图像。
45.根据权利要求38所述的系统，其中，所述图像是对象的3D容积。
46.根据权利要求38所述的系统，其中，所述对象是人体中的器官。
47.一种用于测量对象图像的局部运动变形的系统，所述图像包括对象图像区域和背景图像区域，所述方法包括以下步骤
用于识别被包括在背景图像区域中的多个控制点的装置；
用于测量包括所识别的多个控制点的不确定性的局部运动向量的装置；
用于独立跟踪随后的图像帧中的每个控制点的装置；
用于使用协方差矩阵来表示控制点的位置及其不确定性的装置；
用于使用所述位置和协方差矩阵来估计全局运动的装置；和
用于使用全局运动作为参考以获得真正的局部对象变形的装置。
48.根据权利要求47所述的系统，其中，使用具有多个外观模型的稳定的光流技术来执行跟踪。
49.根据权利要求47所述的系统，其中，所述对象是心脏的左心室。
50.根据权利要求47所述的系统，其中，所述图像是超声波图像。
51.根据权利要求47所述的系统，其中，所述图像是对象的3D容积。
52.根据权利要求47所述的系统，其中，所述对象是人体中的器官。
53.一种用于测量对象图像的局部运动变形的系统，其包括以下步骤
用于识别表示对象的外轮廓的第一组多个点的装置；
用于识别表示对象的内轮廓的第二组多个点的装置；
用于通过图像帧跟踪第一组多个点和第二组多个点的运动的装置，其中每个图像帧表示一预定的时间周期；和
用于使用两组多个点来测量相对的局部运动和局部变形的装置。
54.根据权利要求53所述的系统，其中，所述对象是心脏的左心室。
55.根据权利要求54所述的系统，其中，所述第一组多个点代表心室的心外膜壁。
56.根据权利要求54所述的系统，其中，所述第二组多个点代表心室的心内膜壁。
57.根据权利要求53所述的系统，其中，所述图像是超声波图像。
58.根据权利要求5 3所述的系统，其中，所述图像是对象的3D容积。
59.根据权利要求53所述的系统，其中，所述对象是人体中的器官。
60.一种用于测量对象图像的局部变形的系统，其包括以下步骤
用于识别表示对象轮廓的多个控制点的装置；
用于跟踪随后的图像帧中的所述控制点的运动的装置；和
用于使用二元直方图来表示所跟踪的控制点附近的强度的分布的装置。
61.根据权利要求60所述的系统，进一步包括第一直方图，以表示所述对象轮廓之内的所跟踪的控制点的邻近强度的分布。
62.根据权利要求60所述的系统，进一步包括第二直方图，以表示所述对象轮廓之外的所跟踪的控制点的邻近强度的分布。
63.根据权利要求60所述的系统，其中，所述图像是所述对象的3D容积。
64.根据权利要求60所述的系统，其中，所述对象是人体中的器官。
65.一种用于计算对象的全局运动的方法，所述对象在图像序列中被观察，所述方法包括以下步骤
识别对象图像区域和背景图像区域；以及；
估计对象图像区域相对于背景区域的运动。
66.根据权利要求65所述的方法，其中，所述对象是器官。
67.根据权利要求65所述的方法，进一步包括以下步骤使用所估计的对象图像的运动来补偿对象图像中的全局运动，以测量对象的局部运动。
68.根据权利要求65所述的方法，其中，使用光流估计技术来执行所述估计运动步骤。
69.根据权利要求68所述的方法，其中，使用信息融合技术来执行所述估计运动步骤。
70.根据权利要求65所述的方法，其中，通过测量给定的背景图像区域的旋转和平移来测量所述全局运动。
71.根据权利要求70所述的方法，其中，最小二乘匹配被用于测量背景图像区域的旋转和平移。
72.根据权利要求65所述的方法，其中，所述对象是心脏的左心室。
73.根据权利要求65所述的方法，其中，所述图像是超声波图像。
74.根据权利要求65所述的方法，其中，所述图像是对象的3D容积。
75.根据权利要求65所述的方法，其中，所述对象是人体中的器官。
全文摘要
公开了一种用于进行局部可变形运动分析并且用于准确跟踪将对象局部运动与对象的全局运动隔离的对象运动的系统和方法。所述对象在图像序列中被观察，并且图像区域被取样，以识别对象图像区域和背景图像区域。所识别的背景图像区域中的至少一个背景图像区域的运动被估计，以识别那些受到全局运动的影响的背景图像区域。来自多个背景图像区域的运动被组合，以测量该图像帧中的全局运动。对象图像区域中的所测量的全局运动被补偿以测量对象的局部运动，并且对象的局部运动被跟踪。公开了一种用于将对象的局部可变形运动准确测量为两个控制点集之间的相对运动的系统和方法。所述点集被定义为对象的内轮廓和外轮廓。估计控制点集的运动，并且用相对运动来表征对象的局部变形和局部运动。
文档编号G06K9/00GK101103377SQ200480035928
公开日2008年1月9日 申请日期2004年10月4日 优先权日2003年10月2日
发明者B·格奥尔格斯库, X·S·周, D·科马尼秋, S·克里什南 申请人:美国西门子医疗解决公司