专利名称：先验知识、水平集表示和可视分组的制作方法
本申请要求根据于2004年1月29日提交的、序号为60/540129的美国临时申请的优先权，该申请的内容通过引用全部结合于本文中。
背景技术：
1.技术领域本公开涉及图像内的对象检测，更具体地来说涉及用于基于知识的形状驱动对象检测的变分水平集系统和方法。
2.现有技术说明从图像中恢复符合一些预定义特征的感兴趣特定结构对基于模型的图像分割有用。这些特征可以是视觉特征或几何特征。视觉特征可以通过构建全局分布以描述感兴趣结构的亮度特征或通过建立局部外观模型来捕获。这种模型在受约束的照明场景中可能有效，此类场景中变化最小，可以通过模型来捕获。
基于知识的形状驱动图像分割是视觉驱动技术的一个替代方案。此类方法目的在于恢复与先验模型相比具有一致几何形式的结构。平滑是施加先验约束的一个例子。在定义此类先验模型时可以使用局部几何特征(例如曲率、局部平滑度约束)，或以更为全局性的方式定义先验模型，从而得到捕获感兴趣全部结构的变化的更具体的表示。虽然局部模型效率很高，但全局表示则是适合于处理对象姿态上的遮挡、噪声和变化的方法。
在引入全局形状驱动的约束之前需要建模。此任务等效于从训练实例集中抽取感兴趣结构的紧凑表示。表示的选择涉及要引入的且受训练集的大小约束的先验形式。构建复杂的模型需要相当大量的地面真值(ground truth)。将所有实例与一个公共姿态配准是建模阶段的重要部分。为实现高效建模，需要恢复训练样本基本元素的对应关系。
基于知识的形状驱动图像分割涉及范围广泛的模型。过去尝试采用几何部件，如直线段和椭圆来创建建模面孔的紧凑表示。虽然在对简单的几何结构建模时此类模型在性能和低复杂性方面是高效的，但它们无法说明感兴趣对象的局部信息和重要可变性。给定此类模型，然后通过将局部几何部件朝期望的图像特征调整来执行分割。
其它技术还包括变形模板、活动形状和外观模型以及蛇状模型。
水平集方法在机器视觉方面的应用领域非常广泛，不限于图像分割、图像恢复、跟踪、明暗整形、3D重建、医学图像分割等。这些技术经创立、研究，被应用于其它科学领域如几何学、机器人学、流体学、半导体设计等领域。所提到的大多数应用都涉及一个公共问题即跟踪移动界面。水平集表示是较适合于执行这种任务的计算方法。它们可以用于任何维(如曲线、面、超面等)，它们无需参数，可以自然地改变演化界面的拓朴。而且，它们提供了一种用于确定和估计演化界面的几何特征的自然方式。
这些技术还可以处理非刚性对象和运动，因为它们涉及非常局部的特征并可以按像素使界面变形。但是，当考虑固体/刚性运动和对象时，它们可表现出比参数模型差的性能。局部延展(localpropagation)很敏感，无法充分利用某些事先确定好的物理约束，如固体形状模型。
因此，需要一种用于基于知识的形状驱动对象检测的可变水平集系统和方法。
发明概述建模对于形状驱动的分割技术来说是很重要的。根据本公开的实施例，提出了一种随机水平集公式表示法，用于描述可变水平集方法中用于基于知识的形状驱动对象抽取的先验知识。为此，利用反映置信度的随机距离函数以隐含形式表示对象。对分割处理过程施加约束，以在图像平面中寻找一个属于先验模型根据相似性运动变换生成的形状簇的几何结构。将演化轮廓线与模型之间的不稳定量度最小化，得到使此轮廓线朝期望的图像特征演化并更新与先验模型之间的配准参数的运动公式。收敛时，恢复属于合格解流形(manifold of eligible solutions)和对应变换的结构。
根据本公开的一个实施例，检测图像中的对象的方法包括根据对齐的训练实例确定形状模型，并将所述形状模型实现为水平集框架内的先验，以确定所述图像中的对象，其中所述水平集框架确定所述对象在所述图像中的投影，并确定沿所述投影的部分的置信度度量，所述水平集框架受所述先验约束。
这些训练实例与一个公共姿态对齐。
确定形状模型还包括确定所述对象在所述图像中的水平集表示，确定作为图像中最突出形状的投影，并沿所述最突出形状确定置信度度量。该方法还包括通过交替确定对象的水平集表示和投影以及置信度度量来确定稳态形状模型。
投影和置信度测量按图像像素级定义。将置信度度量确定为对象的置信度映射图，其中将对象分解成部分，并确定每个部分对应的平滑项。
水平集框架包括确定图像中对象和背景的亮度特征，并根据分割映射图估计对象和背景的平均值和方差。
投影在零水平上进行演化，并沿朝内和朝外的方向延展到对象边界。
先验是随机先验。随机先验在水平集框架内引入偏离随机先验的误差，所述误差在置信度降低的区域内减少。
根据本发明实施例，提供了一种机器可读的程序存储装置，其中包含可由机器执行以执行用于检测图像中对象的方法步骤的指令程序。该方法包括根据对齐的训练实例确定形状模型，并将所述形状模型实现为水平集框架内的先验以确定所述图像中的对象，其中所述水平集框架确定所述对象在所述图像中的投影，并确定沿所述投影的部分的置信度度量，所述水平集框架受所述先验约束。
附图简介参考附图对本发明的优选实施例予以详细说明。
图1是根据本发明实施例的方法的流程图；图2是根据本发明实施例的系统的示意图；图3是根据本发明实施例的用于确定形状模型的方法的流程图；图4是根据本发明实施例的用于确定先验的方法的流程图；以及图5是根据本发明实施例的实现先验的水平集确定方法的流程图。
优选实施例的详细说明根据本发明公开的一个实施例，对水平集表示法进行约束，以遵循形状的全局一致性，同时保持能够捕获局部变形。然后恢复对象的全局和局部形状特征。
利用样本集合，直接在水平集空间上构建形状模型。参考图1，利用变分框架来构造形状模型，变分框架创建描述形状可变性的基于像素的不稳定水平集表示101。将该形状模型用作基础，以能量形式引入形状先验102。形状先验将演化界面和根据相似变换变形的形状模型之间的不稳定距离降至最小，以确定对象103。
根据本发明实施例的系统和方法可以实施为一个模块并与现有数据驱动的变分方法集成，以执行图像分割，得到实际上已破坏且不完整的数据。
要理解，本发明可以硬件、软件、固件、专用处理器或它们的组合的各种形式实现。在一个实施例中，本发明可以用软件实现，例如实现为包含于程序存储装置中的应用程序。应用程序可以上载到包含任何合适体系结构的机器并由该机器执行。
参考图2，根据本发明的一个实施例，用于实施本发明的计算机系统201包括中央处理单元(CPU)202、存储器203和输入/输出(I/O)接口204等。计算机系统201一般通过I/O接口204连接到显示器205和各种输入设备206(如鼠标和键盘)。支持电路包括诸如高速缓存、电源、时钟电路和通信总线之类的电路。存储器203可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁盘驱动器、磁带驱动器等或它们的组合。本发明可以实施为存储在存储器203中由CPU202执行，以处理来自信号源208的信号的例行程序。因此，计算机系统201是一个在执行本发明的例行程序207时成为专用计算机系统的通用计算机系统。
计算机平台201还包括操作系统和微指令代码。此处所述的各种过程和功能可以是通过操作系统执行的微指令代码或应用程序(或它们的组合)的一部分。此外，各种其他外围设备，如附加数据存储装置和打印设备可以连接到该计算机平台。
还要理解的是，因为附图中所示的一些系统组件和方法步骤可以用软件实现，所以系统组件(或程序步骤)之间的实际连接可能会因本发明的编程方式不同而有所不同。根据本说明书提供的本发明原理，相关领域的技术人员能够想到本发明的这些及其它类似的隐含表示可以根据流利用演化界面(例如曲线)来完成分割。控制曲线延展的流可以通过将目标函数最小化来恢复，或者可以根据具体的应用环境(例如几何流)来定义。基于蛇形的分割方法(snake-basedsegmentation)指曲线从初始位置向期望的图像特征延展。这种流包括内部项和外部项。
为了引入水平集表示，考虑根据给定运动公式沿法线方向N1演化的参数曲线_R(p)
→R×R 公式1给定运动公式ddτ∂R(p)=F(∂R(p))N]]>公式2其中F是关于曲线局部特征(例如曲率)的标量函数。此流可以利用拉格朗日方法来实现。轮廓线通过选择控制点而以离散形式表示。曲线位置可以通过对每个控制点求解公式1和公式2而进行更新。此技术在多数常见情况下不会改变演化曲线的拓朴，可能需要将演化曲线重新参数化。
水平集方法首先引入流体动力学领域，它是处理成像、视觉和图形方面的各种应用的新兴技术。水平集方法用表面_[x，y，_(x，y)]的零水平来表示演化的曲线φ(_R(p))＝0 公式3这种表示法是隐含的、本征的、无参数的。表面可以以零水平始终弯曲成演化曲线的方式演化。求φ对时间的导数得到ddτφ+F|▿φ|=0]]>公式4由此，建立演化曲线_R簇和演化表面φ簇之间的联系。这种延展方案可以描述拓朴变化，并且可以对曲线局部几何特征的估计提供支持。
可以采用能量最小化技术，从而可以在水平集空间中获得并实现流。
为分组目的在水平集空间中定义目标函数促成成像和视觉方面的水平集技术的建立。为此，将距离变换式D(s，_R)视为_R的嵌入函数φ(x,y)=D(s,∂R),s∈R0,s∈∂R-D(s,∂R),s∈Ω-R]]>公式5以及狄拉克(Dirac)和海维西特(Heaviside)分布δα(φ)=0,|φ|>α12α(1+cos(πφα)),|φ|<α]]>Hα(φ)=1,φ>α0,|φ|<-α12(1+φα+1πsin(πφα))|φ|>α]]>公式6并利用它们引入图像分区目标函数。现在就可以直接在水平集空间φ上引入平滑度、约束、边界驱动的对象检测以及一般区域一致性分组项(general region-consistency grouping term)。长度最小化(lengthminimization)是熟知的几何平滑项，它可以简单方式利用如下公式引入Esmoothness(φ)=∫∫Ωδα(φ)|▿φ|dΩ]]>公式7可以利用如下短程线活动轮廓(公式8)根据某个任意度量函数bR+→
来恢复最小长度曲线Egeodesic(φ)=∫∫Ωδα(φ)b′(;)|▿φ|dΩ]]>公式8该度量函数单调递减，并在具有期望特征(如高梯度)的图像位置取最小值。变分演算可以得到几何流，以将界面位置朝期望图像特征更新∂∂τφ=δα(φ)div(b(;)▿φ|▿φ|)]]>公式9在某种初始条件下，此流可以导致精确的边界提取。起始点需要基本上环绕感兴趣对象或基本上被感兴趣对象包围。再者，需要关于延展方向的先验知识。
可以利用自适应气球力(adaptive ballon force)，采用区域/全局信息模块将图像中的对象与图像的背景中分离，以便克服满足初始条件的需要。区域/全局信息模块采用演化界面定义相对于某个分组标准而言为最优的图像分区。这种标准可以根据属于单调减函数的某些全局描述rOR+→
，rBR+→
从海维西特分布导出 公式10这种描述子测量观察图像与感兴趣结构的期望区域特征和背景之间的匹配质量。此项可以提高分割性能并使所述方法对初始条件的依赖更少。变分演算可得如下有关φ的演化的流∂∂τφ=δα(φ)(rB(;)-rO(;))]]>公式11它是自适应气球力。此力基于相对测量值，并根据相对于期望对象亮度特征和背景类的局部数据拟合扩展或压缩曲线。
采用隐含表示的曲线延展是有效的分割工具。这种方法的长处在于可提取精确的边界，可以处理多分量对象(multi-componentobject)和集成不同性质的分区模块。分割常常与恢复感兴趣的特定结构等效。有关该处理过程的先验知识可能涉及对象的可视特征或其几何形式。
引入形状驱动模块对于分割处理过程是非常重要的单元。分割操作包括定义/恢复表示先验知识的结构并引入引导分割过程得到遵守先验知识(prior knowledge)或先验(prior)的解的约束。该先验可以定义解的流形(manifold of solutions)，分割操作根据图像数据确定此流形内最可能的解。
构建隐含形状模型(图1，101)在引入这些约束时，选择先验知识的表示是非常重要的步骤。在一般情况下，意欲由N个训练实例[C1，C2，...，CN]组成的集合恢复一个表示该先验知识的紧凑结构。训练实例可以是感兴趣的代表对象的图像。该结构应该能够描述训练实例的可变性。此处理过程中需要执行配准操作。参考图4，提供了多个训练实例401。将这些训练实例与公共姿态[C^1,C^2,...,C^N]]]>对齐402，并搜索这些实例的可以将特定姿态的先验知识编码的有意义的紧凑表示。形状对齐是成像和视觉方面许多潜在应用的一个问题。
隐含表示和距离变换可以视为表示更高维的形状。可以在此空间上执行配准操作，以搜索将源形状隐含表示与目标形状表示对齐的变换。可以利用全局误差计量(如平方差之和)并充分利用隐含表示空间中的相互信息来恢复描述源形状和目标形状之间的位移的参数模型。可以利用光流约束或免变形(free-from-deformation)来说明隐含表示空间中的局部变形。
在水平集方法中引入先验知识需要定义模型。点的云图(Cloud ofpoints)是以简单方式表示这种知识的技术的一个示例。在训练集的实例上构建平均形状足以表示先验。这种技术也许不能捕获可变性，而且如果演化界面不用点表示时在水平集框架内也许不方便。在这种框架内，可以考虑在水平集空间内定义先验。延展技术/最优化框架和先验形式之间的一致性是非常重要的。其目标是从一个[φ1，φ2，...，φN]实例集恢复一个紧凑表示，以将先验编码，其中φi是 的水平集表示。可以应用主分量分析(principal component analysis-PCA)来捕获对应元素在训练实例上的统计信息。PCA指一种变量的线性变换，对于给定数量n个算子，它保持训练数据内的最大变化量。此技术需要训练集内的大量样本。
考虑创建一个结合平均形状结构和捕获学习集可变性的能力的模型。根据本发明的一个实施例，模型确定最突出的形状以及沿形状部分的置信度(参见图3)。当对象的特定部分的训练实例之间相一致时，置信度应该很高，并且图像中对象的恢复应该充分遵守先验。当情况并非如此时，先验约束应该放松，且图像信息应该更重要。所述模型根据下式实现了随机水平集表示(参见图1，101)，其中包括均在像素级上定义的代表形状φm及置信度映射图Ps(φ)=12πσm(S)e-(φ-φm(S))22σm(S)2]]>公式12代表形状应该是一个其中距离变换视为导致约束|_φm|＝1的嵌入函数水平集。可以放松此约束，并可寻求以最佳方式描述训练样本[φ1，φ2，...，φN](例如平均值)|φm|=1N[Σi=1Nφi]]]>的形状。这种建模假定像素间是不相关的。为了构造水平集先验表示，考虑解决像素级的推论问题。给定一个值集[φ1(s)，φ2(s)，...，φN(s)]，恢复分布φm(s)，φm(s)以较好的方式表示该数据。
沿训练样本的分布的最大后验等效于将如下函数最小化E(φm(s),σm(s))=-logΣi=1NPs(φi(s))=Σi=1N[log(σm(s))+(φi-φm(s))22σm(s)2]]]>公式13其中省略了一些常数项.可以在图像平面上定义这种准则，并通过寻求如下函数的最低势能而恢复先验E(φm,σm)=Σi=1N∫∫Ω[log(σm)+(φi-φm)22σm2]dΩ]]>公式14自然对象由局部片断和关节联结构成。这些项(关节联结)在构建所考虑的模型时可能会导致低置信度片断。虽然在局部级(locallevel)上这些分量的运动是无序的，但期望模型的置信度是平滑的。对象可以分解成实心段，并且σm沿这些片断或在图像平面中的小相邻系统内是平滑的。
考虑最优化问题时可以采用平滑项。目标函数不是凸函数，它表现出大量局部最小值。再者，这种问题可能是不适定的，因为约束数量少于未知变量数量。克服此限制的技术包括对要恢复的场的空间导数(σm)设置处罚
E(φm,σm)=αΣi=1N∫∫Ω[log(σm)+(φi-φm)22σm2]dΩ+∫∫Ωψ(▿σm)dΩ]]>公式15其中Ψ(u，v)是正则化函数。对Ψ的简单选择涉及两个误差范数的变体E(φm,σm)=αΣi=1N∫∫Ω[log(σm)+(φi-φm)22σm2]dΩ]]>+∫∫Ω((∂∂xσm)2+(∂∂yσm)2)dΩ]]>公式16可以采用变分法和梯度下降法(gradient descent method)来恢复先验模型(φm，σm)的解。要说明的最后一个约束涉及φm。给定训练实例的形式(具有嵌入函数形式的距离变换的水平集表示)，可以在此流形中确定模型φm。可以采用拉格朗日乘法和梯度下降法来执行此函数的约束优化。给定约束形式，也许不会取得保证满足拉格朗日定理有效性的条件。再者，系统的未知变量数太多，导致系统不稳定。这类限制可通过使用增广的拉格朗日函数加以克服。
参考图3，要说明距离函数约束，可以将问题分解成几个阶段可以恢复可以解释训练集的最优数据驱动解301；以及可以找到此解到距离变换流形的最接近投影302。交替执行步骤框301和302，直到系统达到稳态解为止303。目标函数E(φm，σm)的变分演算可提供一个流，此流使初始水平集函数朝代表模型(φm)变形并恢复模型的置信度度量(σm)104。
ddτφm=αΣi=1N(φi-φm)2σm2]]>ddτσm=αΣi=1N[-1σm+(φi-φm)2σm3]-[∂2∂x∂xσm+∂2∂y∂yσm]]]>公式17此流将导致得到水平集模型φs，此模型接近数据但不遵守将距离变换作为嵌入函数的约束。可以考虑φs的当前状态到距离变换空间的最接近的投影。完成此操作的现有技术有若干种。其中一些需要提取水平集，而另一些可以直接在隐含表示空间上执行相同的任务。为了恢复这种投影可以考虑PDEddτφm=sgn(φm0)(1-|▿φm|)]]>公式18φm0是从要投影到距离函数空间的数据驱动分量中恢复的表示。
考虑恢复最佳模型并以顺序方式投影到距离变换的流形的迭代技术。有关步长之间交替的决定可根据模型的平均距离[d=1|Ω|∫∫Ω|▿φm|dΩ]]]>(一个理想的距离变换)作出。为了避免稳定性问题，可变性估计可以替换为 代替，并可以求得约束为在像素级严格为正的 这种先验模型的优点包括在隐含表示内以自然形式将先验知识编码，提供估计几何特征的直接技术，处理多分量对象以及根据小训练实例集确定先验。这种编码方法可以支持演化界面和模型之间有意义的比较。先验模型(φm)和演化界面φ之间的最小差对应于遵守先验的解。
引入先验知识(图1，102)在模型构造过程中已经考虑了所有训练实例都配准在公共姿态中(参见图4)的假设。恢复有意义的模型需要这种假设。基于知识的分割需要解决相同的问题。较之先验模型，图像中的对象可以具有不同的比例、方向等。这两个元素之间的变换参数是未知的，但其形式可以是已知的。
对于相似性不变的情况，其中要检测的对象是结合了一些局部变形的模型相似变换，将可接受解的流形定义为先验模型变换的参数集的集合。考虑相似的情况，因为可以预测这些变换对距离变换式的影响。
对于静态先验，在抽象级上引入一个强制所有实例中的演化界面属于该流形的约束。此操作导致恢复与所述先验具有相同几何特征的图像结构。这种约束应该基于先验(φm)和演化隐含表示φ(；τ)之间有意义的比较。此约束的一般形式可写为φ(；τ)＝g(φm(A(；τ))) 公式19其中g是要定义的变形函数，而A(；τ)＝(S，Θ，T)是一个相似变换簇，它包括转换矢量T、旋转角度Θ以及比例因子S。距离函数对平移和旋转而言是不变的。因此，考虑刚性变换的附属情况，可以将上述条件简化为φ(；τ)＝φm(A(；τ)) 公式20现在可以考虑将模型的演化表示和刚性变体之间的误差范数最小化来施加约束E(φ,A)=∫∫ΩHα(φ)(φ-φm(A))2dΩ]]>公式21其中寻求恢复类似平移和旋转之后的先验模型的水平集。这种基于知识的项说明内部对象部分。所选的先验表示还在外部部分将这种知识编码。具体地说，当先验项定义为接近平均形状时更为精确。在水平集表示中使用嵌入函数形式的距离变换，将使先验信息保持在与平均形状的某个距离内。但是，当移离零水平集时，此信息会变得越来越不具有区别性。修改海维西特函数可以说明在对象外部的形状知识E(φ,A)=∫∫ΩHα(φ+ϵ)(φ-φm(A))2dΩ]]>公式22其中ε是使先验项贡献(prior term contribution)移动到等照度线(iso-phote)ε的常数。先验项的准确度是与零水平集的距离的函数。可以假定，在此等照度线附近估计先验更有意义。曲线延展在此等照度线上进行，并因此可以如下形式考虑静态先验E(φ,A)=∫∫Ωδδ(φ)(φ-φm(A))2dΩ]]>公式23其中ε＞＞α。可以考虑变分法和梯度下降法来恢复未知的变换A，并提取遵守先验的形状特征的图像结构(根据φ)。
距离变换对比例变化不是不变的。为了说明此特征，可以重新定义先验表示与演化表示之间的变形函数。对轮廓线应用比例运算子将会相应地缩放距离变换嵌入函数。假定演化轮廓线_R1及应用比例算子S[_R2＝S_R1]之后恢复的一条轮廓线，可以证明如下关系式对它们的水平集距离变换表示适用[Sφ1＝φ2]。此条件可以与平移和旋转的效果相结合，从而得到先验轮廓和演化轮廓的水平集之间的相似不变条件Sφ(；τ)＝φm(A(；τ)) 公式24可以考虑将实际界面φ与变形后模型φm之间的平方差之和作为目标函数E(φ,A)=∫∫Ωδϵ(φ)(Sφ-φm(A))2dΩ]]>公式25此准则使水平集函数朝模型的刚性变换演化。为此，变分法和梯度下降法是恢复φ的主要方法 公式26此流包括形状一致性力(shape consistency force)和区域力(areaforce)，形状一致性力主要利用先验知识使界面朝更好的局部更新，而区域力则旨在更新水平集值，以使计算目标函数值的区域(-ε，ε)在图像平面中越来越小。
为了理解此区域力的影响，可考虑(-ε，ε)范围内的负φ值φ<0→-∂∂φδ∈(φ)=π2ϵ2sin(πφϵ)<0→-[∂∂φδϵ(φ)](Sφ-φm(A))2<0]]>→|φτ|<|φτ+1|→δϵ(φτ)>δϵ(φτ+1)→E(φτ,A)>E(φτ+1,A)]]>公式27因此，此力不会改变界面的位置，因为每个像素上的隐含表示的符号不变。它只影响隐含函数的形式，以使计算目标函数的区域减少。可以忽略此力，因为它在利用先验知识的过程中并不具有有意义的解释。
ddτθ=-2∫∫Ωδϵ(φ)(Sφ-φm(A))(-▿φm(A)·∂∂θA)dΩ]]>ddτS=-2∫∫Ωδϵ(φ)(Sφ-φm(A))(-φ-▿φm(A)·∂∂SA)dΩ]]>ddτTxTy=-2∫∫Ωδϵ(φ)(Sφ-φm(A))(-▿φm(A)·∂∂TxTyA)dΩ]]>公式28考虑对变换A的参数应用变分法，得到其中Tx，Ty是平移矢量的两个分量。演化界面和模型之间的配准参数利用区域信息以全局方式恢复。
最小二乘法可能对噪声和边际值较敏感。可以在恢复演化界面和先验之间的配准时考虑采用鲁棒(robust)估计器来克服这些约束E(φ,A)=∫∫Ωδϵ(φ)ρ(Sφ-φm(A))dΩ]]>公式29其中ρ是鲁棒误差范数。可以考虑采用附加的视觉驱动项，包括引向边界和根据对象与背景的亮度特征分离对象与背景。
对于基于知识的分割，框架可以将软约束(使用随机水平集的先验表示)转换为硬约束。先验项包括置信度映射图(σm)。可以预见，应精确地恢复图像中具有较强先验知识的区域。在模型置信度可疑的区域中，在分割过程中图像信息起比先验知识更主导的作用。
使用概率密度函数，可将随机先验知识用于对演化界面及其到先验模型的变换的联合空间建模。令[p(φ，A|φm]是给定模型φm的变换的先验分布。这种分布是未知的，并且随不同的对象变化，在更一般的情况下无法恢复。但是，当经验证据可用时，可以采用蒙特卡罗抽样或其它技术来恢复此分布。对此密度函数应用贝叶公式p(A,φ|φm)=p(φm|A,φ)p(φm)p(φ,A)=p(φm(A)|φ)p(φm)p(φ,A)]]>公式30
可以忽略常数项φm，并且可以假定界面及其变换的联合空间是均匀的。但是，这种假定是在不知道要恢复对象的特征(包括对象的姿态、比例变化等)的情况下才予以考虑。恢复最优界面和变换等效于求最大后验分布p(φm(A)|φ)，即相当于求如下极值p(φm(A)|φ)=Πω∈Ωp(φm(A(ω))|φ(ω))]]>公式31其中ω是图像位置，p(φm(A(ω))|φ(ω))是该位置中的随机先验分布，并且已将像素间的无关性纳入考虑。还考虑了将演化界面φ转换为与先验模型φm中记录的姿态类似的姿态。为此，要将比例因子S纳入考虑，从而得到后验分布的如下形式p(φm(A)|φ)=ΠωϵΩp(φm(A(ω))|Sφ(ω))]]>公式32如前所述，比例变化引起距离变换水平集表示中的可预测改变。像素定义的先验分布[pω()]由建模阶段已知，并且解决推论问题等效于E(φ,A)=-log[ΠωϵΩp(φm(A(ω))|Sφ(ω))]=-∫∫Ωlog(pω(Sφ(ω)))dΩ]]>公式33求-log函数的最低势能，即利用像素定义的先验分布的已知高斯特性，可以恢复目标函数的如下分析表达式E(φ,A)=∫∫Ω(log(σm(A))+(Sφ-φm(A))22σm(A)2)dΩ]]>公式34其中省略了常数项。此目标函数包括阻止恢复将演化界面投影到低置信度[σm(A)大]的模型区域的变换A的项，以及将局部延展和估计与如下目标结合的项(i)恢复将演化界面与先验对齐的变换以及(ii)使界面演化，使得在给定变换情况下界面变得象先验。此项具有与用于引入静态先验的项类似的概念解释，同时能够说明模型置信度。根据模型置信度σm(A)对投影误差(Sφ-φm(A))2加权。
在此最优化框架内，在低置信度(高σm(A))区域中偏离模型的误差下降(根据σm(A))。
因此，这种区域在利用先验知识和恢复变换的过程中变得更加不重要。再者，模型在分割过程内的形状增强过程中，以隐含方式处理边际值(outlier)。
虽然所得准则是在整个图像平面中定义的，先验的定义主要在对象区域周围是一致的，需要将目标函数约束在感兴趣的结构内。
E(φ,A)=∫∫Ωδϵ(φ)(log(σm(A))+(Sφ-φm(A))22σm(A)2)dΩ]]>公式35梯度下降法中的变分演算可提供成本函数的最低势能。要恢复两个未知的变量，对象位置(函数φ的形式) 公式36并且对象与先验之间的变换ddτθ=-∫∫Ωδϵ(φ)]]>(Sφ-φm(A))(φ-∂∂Sφm(A))σm(A)+(σm(A)2-(Sφ-φm(A))2)∂∂Sσm(A)σm(A)3dΩ]]>ddτS=-∫∫Ωδϵ(φ)]]>(Sφ-φm(A))(φ-∂∂Sφm(A))σm(A)2-(Sφ-φm(A))2∂∂Sσm(A)σm(A)3dΩ]]>ddτTxTy=-∫∫Ωδϵ(φ)(Sφ-φm(A))(-∂∂TxTyφm(A))σm(A)σm(A)3dΩ]]>
-∫∫Ωδϵ(φ)(σm(A)2-(Sφ-φm(A))2)∂∂TxTyσm(A)σm(A)3dΩ]]>公式37其中可以如静态先验的情况那样，采用链式规则恢复φ(A)相对于变换参数的的偏导数σm(A)。区域力具有静态先验情况中给出的相同的解释，因此可以予以忽略。此随机先验可用于以优雅的随机方式恢复说明先验的置信度的感兴趣结构。
两项均涉及便于在分割中应用先验知识的附加分量，并且都不说明对象的可视特征。
为了引入先验(参见图5)，考虑涉及感兴趣对象和背景的双模型分区。短程线活动区域模型可以说明这种分区。假定图像中有可见的不连续部分(例如粗边缘)，即期望分区的边界。不失一般性，可以采用高斯分布来捕获对象和背景的亮度特征501。利用经验平均值和方差，根据最新的分割映射图来估计对象和背景的参数(如平均值和方差) 公式38其中g是单调正减函数(monotonically positive decreasing function)。还可以推导高斯分布来恢复可视区域定义分量的更方便的形式。变分演算可得到引导轮廓线向对象边界沿展同时遵守先验的几何流(参见图1，103)。还可以考虑将混和模型或非参数技术用于捕获对象可视特征(object visual property)和背景可视特征(background visualproperty)。
为了快速实施框架，考虑采用窄带方法，即在轮廓线的最新位置附近演化水平集表示。演化轮廓线上的变化将在零水平上发生，然后沿朝内和朝外的方向沿展。这种选择还将提高形状先验项的性能。此项在平均形状周围是精确的，并随着它离开先验的零水平而变得越来越不精确。因此，可以在[-ε，ε]等照度线内更新水平集表示。
根据本发明的一个实施例，在水平集框架内实施了基于知识的分割技术。构造并引入先验模型。为了构造先验模型以便与所考虑的选择的最优化框架一致，实现了随机水平集表示。这种模型包括距离变换嵌入函数(水平集)和置信度分量。此函数通过受约束的优化方法恢复。利用嵌入函数形式的距离变换，考虑水平集空间中的训练实例集。然后建模相当于恢复像素级的代表水平集距离函数和置信度平滑度量。这些度量旨在量化此特定位置上训练集一致性。为了恢复这种模型，系统和方法交替执行如下两个步骤恢复接近数据的水平集函数与确定此函数到可接受解的流形的最突出投影，直到收敛为止。先验知识以渐进方式引入。首先考虑强制分割解为先验模型的相似变换的静态硬约束。定义说明变换以及对象在图像中的位置的目标函数，并将其用于恢复投影和置信度。
将概率原理纳入考虑，导致结合模型局部变化的最大后验问题。
已经描述了用于基于知识的形状驱动对象检测的可变水平集系统和方法的实施例，但要注意的是，本领域技术人员可以根据上述原理进行各种修改和变更。因此应理解，可以在所附权利要求限定的本发明精神和范围内，对所公开的本发明特定实施例加以更改。至此已用专利法要求的具体细节对本发明进行了描述，要求权利且期望受专利证书保护的内容由所附权利要求书给出。
权利要求
1.一种检测图像中的对象的方法，它包括根据对齐的训练实例确定形状模型；并且将所述形状模型实现为水平集框架内的先验以确定所述图像中的所述对象，其中所述水平集框架确定所述对象在所述图像中的投影以及沿所述投影的部分的置信度度量，所述水平集框架受所述先验约束。
2.如权利要求1所述的方法，其特征在于所述训练实例与一个公共姿态对齐。
3.如权利要求1所述的方法，其特征在于确定所述形状模型还包括确定所述图像中的所述对象的水平集表示；确定所述投影为所述图像中最突出的形状；以及确定沿所述最突出形状的部分的置信度度量。
4.如权利要求3所述的方法，其特征在于还包括通过交替确定所述对象的水平集表示与所述投影及置信度度量来确定稳态形状模型。
5.如权利要求1所述的方法，其特征在于所述投影和置信度度量是在所述图像的像素级上定义的。
6.如权利要求1所述的方法，其特征在于将所述置信度度量确定为所述对象的置信度映射图，其中，将对象分解成部分，并确定每个部分的平滑项。
7.如权利要求1所述的方法，其特征在于所述水平集框架包括确定所述图像中所述对象和背景的亮度特征；以及根据分割映射图估计所述对象和所述背景的平均值和方差。
8.如权利要求1所述的方法，其特征在于所述投影在零水平上进行演化，并沿朝内和朝外的方向延展到所述对象的边界。
9.如权利要求1所述的方法，其特征在于所述先验是随机先验。
10.如权利要求9所述的方法，其特征在于所述随机先验在所述水平集框架内引入偏离所述随机先验的误差，所述误差在置信度降低的区域内减少。
11.一种机器可读的程序存储装置，其中包含可由所述机器执行以执行用于检测图像中对象的方法步骤的指令程序，所述方法步骤包括根据对齐的训练实例确定形状模型；并且将所述形状模型实现为水平集框架内的先验，以确定所述图像中的对象，其中所述水平集框架确定所述对象在所述图像中的投影以及沿所述投影的部分的置信度度量，所述水平集框架受所述先验约束。
12.如权利要求11所述的方法，其特征在于所述训练实例与一个公共姿态对齐。
13.如权利要求11所述的方法，其特征在于确定所述形状模型还包括确定所述对象在图像中的水平集表示；确定所述投影为所述图像中最突出的形状；以及确定沿所述最突出形状的部分的置信度度量。
14.如权利要求13所述的方法，其特征在于还包括通过交替确定所述对象的水平集表示与所述投影及置信度度量来确定稳态形状模型。
15.如权利要求11所述的方法，其特征在于所述投影和置信度度量是在所述图像的像素级上定义的。
16.如权利要求11所述的方法，其特征在于将所述置信度度量确定为所述对象的置信度映射图，其中，将所述对象分解成部分，并确定每个部分的平滑项。
17.如权利要求11所述的方法，其特征在于所述水平集框架包括确定所述图像中所述对象和背景的亮度特征；以及根据分割映射图估计所述对象和所述背景的平均值和方差。
18.如权利要求11所述的方法，其特征在于所述投影在零水平上进行演化，并沿朝内和朝外的方向延展到所述对象的边界。
19.如权利要求11所述的方法，其特征在于所述先验是随机先验。
20.如权利要求10所述的方法，其特征在于所述随机先验将在所述水平集框架内引入偏离所述随机先验的误差，所述误差在置信度降低的区域内减少。
全文摘要
一种检测图像中的对象的方法，它包括根据对齐的训练实例确定形状模型，并将所述形状模型实现为水平集框架内的先验以确定所述图像中的对象；其中所述水平集框架确定所述对象在所述图像中的投影，并确定沿所述投影的部分的置信度度量，所述水平集框架受所述先验约束。
文档编号G06K9/64GK1648936SQ20051000703
公开日2005年8月3日 申请日期2005年1月28日 优先权日2004年1月29日
发明者N·帕拉吉奥斯 申请人:西门子共同研究公司