自动3-d对象检测的制作方法

专利名称：自动3-d对象检测的制作方法
技术领域：
本发明涉及一种优化和形状模型产生技术，用于利用广义Hough变换(GHT)在医学图像中进行对象检测。GHT是一种用于检测图像中的分析曲线的公知技术[3，4]。这个方法在[1]中提出，该方法的广义性用在对象边界点与参考点之间的距离向量来表示所考虑的对象。从而无需参数化表示，这就使该技术能够用于任意形状。
通过使用梯度方向信息，可以识别在目标图像中模型点与边缘点之间可能的对应关系，其可以用于增加定位的精度，并加速处理时间[1]。GHT公知的缺点是其在较高维度问题和较大图像情况下所具有的庞大计算复杂性和存储器要求。因此，为了能够将这个技术用于3-D图像中的对象检测，就必须充分减小其复杂性。
实现该目的的一个方式是限制表示目标对象的形状模型点的数量。本发明提供了一种自动化过程，用于优化模型点的特定权重，其进而又可以用于从给定(初始)的点集中选择最重要的模型点子集。另外，其说明了该技术如何可以用于从无到有地产生新对象的形状模型。
在本发明的优选实施例中，使用已知的边缘检测技术，例如Sobel边缘检测，来产生边缘图像，并且GHT使用已知对象的形状来将这个边缘图像变换为概率函数。在实践中，这导致了模板对象的产生，即广义形状模型，并且将在未知图像中检测到的边缘点与模板对象进行比较，由此能够确认所检测的对象的身份和位置。这是利用在未知图像中的元素与模板对象中对应元素之间的匹配概率来实现的。优选地，这是通过以下实现的推荐一个参考点，例如模板对象中的质心，以便能够利用与该质心相关的向量来表示边界点。
在所检测的图像中，识别所关注的边缘，例如可以借助于Sobel边缘检测，其能够推导出梯度值和方向，以便更好的识别图像中的对象边界。然而，这也会引入噪声和其它伪像，如果它们没有被认为是目标对象的边界的可能部分，则就需要抑制它们。
2.1概述 从目标图像收集一组边缘点，随后在假定目标的质心在与模板中的质心相似的相对位置的情况下，必须尝试定位目标质心的位置。然而，由于不知道在模型点与所检测的边缘点之间的对应关系，因此广义Hough变换通过假设任何给定的所检测的边缘点会对应于模板上多个模型点中的任何一个，来尝试确认质心，并且为每一种可能的情况做出相应数量的质心位置预测。当对所检测的全部边缘点都重复了该处理并且累积了全部预测值时，可以将结果表示为概率函数，其会(希望)在质心实际位置上具有最大值，这是因为这个位置会接收来自每一个正确检测到的边缘点的“投票”。当然，在许多情况下，在由图像中不正确检测到的点得到的其它区域中也会存在投票的累加，但利用相当准确的边缘检测过程，这就不会成为重大的问题。
然而，在通常的医学图像中会有大量所检测的边缘点，因此，如果每一个检测得到的边缘点都被认为是可能对应于模板中任何一个边缘点，则该“投票”过程就会需要相当大的计算量。因此，GHT利用了这样的事实即，每一个模型点还具有其它特性，例如相关的边界方向。这意味着如果能够将边缘的梯度方向与每一个所检测的边缘点相关联，则每一个所检测的边缘点就只能对应于大致具有相应边界方向的较少数量的模型点。由此，且考虑到在检测梯度方向时可能会出现相当重大的错误，只将其边界方向位于一特定范围内的边缘点认为是可能与任何给定模型点相关联。以这种方式，减小了对计算量的要求，并且还通过抑制被判断为不相关的图像部分，来改善结果的精度。
将投票权重分配给每一个模型点，并且根据相应的边缘方向信息以及在所检测的点上的灰度值来调整该投票权重。例如，这可以表示为灰度分布直方图，因为可以由形状模型的相应区域确定在指定区域中的预期直方图。
因此，GHT采用了对象的形状来将特征(例如边缘)图像变换为一组未知的对象变换参数构成的多维函数。该函数在参数空间上的最大值确定了用于将模型与图像匹配的，即用于检测该对象的最佳变换。在我们的架构中，GHT依赖于两个基础知识源 -形状知识(见2.3节)，常常存储为所谓的“R表” -与在对象表面上的灰度值和梯度分布相关的统计知识 GHT常常用于2-D图像中的2-D或3-D对象检测，已知GHT对于局部封闭(occlusion)、轻微变形和噪声是鲁棒的。然而，许多研究人员还指出，该技术的较高的计算复杂性和庞大的存储器需求限制了其对于低维度问题的可用性。因此，当前，在使用刚性变换或甚至仿射变换的充分灵活性的情况下将GHT应用于在3-D图像中的对象检测看起来是行不通的。因此，GHT几乎不用于3-D图像中的对象检测。
本发明设法提供一种方法，通过限制用于表示目标对象形状的形状模型点的集合，来限制GHT的较高复杂性。
为了根据特定模型点重要性而对特定模型点的贡献进行最佳权重，以便用于基于GHT的分类，就希望将来自不同模型区域的信息或者甚至是点合并为单个决策函数。因此，提出了将表示多个模型点(组)的基本模型集合对数线性地(log-linearly)合并到最大熵族的概率分布中。针对预定的误差函数，可以使用最小分类误差训练来优化基本模型权重。随后可以通过使用扩展Hough模型来执行对未知数据的分类，该扩展Hough模型包含与模型点分组和基本模型权重相关的附加信息。除了提高分类性能之外，如果从形状模型中移除具有较小权重的模型点(组)，就可以用这个技术来减小Hough变换的计算复杂性。
现在将参考附图来说明本发明的一些实施例，其中

图1A显示了解剖对象的3-D网格模型； 图1B是在未知个体中相应对象的示范性的检测图像； 图2A是用于展示广义Hough变换的原理的简化模板对象，而图2B是相应的未知图像； 图3A、3B、4A、4B、5A、5B、6A和6B示出了使用广义Hough变换的形状检测处理的各个步骤； 图7A示出了更复杂的2-D模板对象的实例； 图7B示出了所检测的点的相应的表格。
参考图1A和1B，图1A是人体的脊椎骨的3-D网格模型，其作为需要在医学图像中检测的对象的典型实例，而图1B是相应检测图像的典型实例，会意识到，该检测原理实际上是从多个更简单的模型的归纳出来的，这些更简单的模型如同在随后的图2到6中所示。
图2A示出了具有参考点4的简单圆形“模板对象”2，参考点4是圆形2的中心，并且在实际实例中可以是更复杂形状的质心。在图2B中显示了相应的“检测图像”。
检测的各个阶段包括识别在模板对象中的一系列边缘点6、8、10，如图3A所示；并且将它们相对于参考点4的位置存储为例如包含向量值和相应边缘方向信息的表格。
随后识别在未知图像中的一系列边缘点12、14、16，如图4B所示，并且如图5所示的，要由广义Hough变换解决的问题是确定在未知图像和模板对象中的边缘对之间的对应关系。如图6所示，由广义Hough变换提出的解决方案是考虑任何指定的所检测的点(例如图6B中的18)位于未知图像边缘上的可能性，从而产生由图6B中虚线20所示出的圆形轨迹，用于得到未知图像的真实“质心”。会意识到，当以这种方式考虑全部所检测的边缘点，且指定对于未知图像的真实质心的相应“投票”时，该投票的最高累积实际上会在质心位置22上，全部的相应轨迹20都在此相交。
图7示出了该原理对于复杂得多的模板对象的应用，如图7A所示。在此情况下，会见到多个可检测边缘点位于不同区域中，但具有相似的梯度Ω，这说明了与图3到6的简单模板对象相比，检测这种对象需要大得多的计算量。一种应付此类对象的方式是将所检测的点按组存储到所谓的“R表”中，如图7B所示，其中，将所具体的梯度在不同规定范围内的点存储在与各个范围相对应的各个单元中。
2.2检测过程 GHT目的是为了将指定的形状模型与其对应物相匹配而查找最佳变换参数，该指定的形状模型位于例如目标图像的原点上。为此，使用了形状模型M＝{p1m，p2m，…pNmm}的一种几何变换，其由以下定义 在此A表示线性变换矩阵，t表示转换向量。根据 假设在特征图像中的每一个边缘点pie都由某个模型点pjm的变换产生。
以相反方式看，如果我们的目的是在给定相应的模型点pjm和变换矩阵A的情况下确定可能得到特定边缘点pie的转换参数t，我们推导出 让我们暂时假设给定了矩阵A。那么，该等式就可以用于确定一对(Pj”，pf)的转换参数t。由于给定边缘点的相应模型点同样是未知的，因此我们可以对在该点与全部可能的模型点之间的对应关系进行假设，并针对在累加阵列(所谓的Hough空间)中的所产生的全部转换参数假定值进行投票。可以通过要求模型点表面法线方向“与边缘方向相似”，来对给定边缘点的对应模型点的集合进行限定。
通过对在特征图像中的全部边缘点如此操作，最佳转换解的投票通常比其它情况累计得更多。因此，然后可以通过搜索Hough空间中具有最大计数的单元，来确定最佳变换参数。如果变换矩阵A是未知的，同样必须对(经过量化的)矩阵参数的每一个可能的设定重复整个过程。在此情况下，在较高维度的Hough空间中进行投票，该较高维度的Hough空间对于每一个矩阵参数都具有附加的维度。
在对全部边缘点完成了该投票过程之后，必须对Hough空间进行搜索以找到最佳解。通过合理地限制变换参数的量化粒度，可以使这个步骤的复杂性保持可管理性。然后，使用所确定的变换参数的“最佳”设定，将形状模型变换到其在目标图像中的最佳位置和比例，在此其可以用于进一步的处理步骤，如分割。
2.3.形状模型的产生 GHT主要是基于形状信息的，因此需要用于每一个所考虑对象的几何模型。由于解剖对象通常具有非常特定的表面，因此在大多数情况下，预期表面形状模型就足够用于检测。然而，也会提供与主要内部结构(例如心室)有关的附加信息，以便进一步支持对类似对象的判别。当前，广义Hough变换的形状模型产生需要大量用户交互，并且每一次引入新形状时都必须对其进行重复。当前的形状获取技术的另一个缺点是，所产生的形状模型仅是很好地适用于单一训练形状，并未考虑任何形状可变性。因此，提出了一种用于形状模型产生的新技术，其基于对模型点特定权重的最小分类误差训练。该技术将必要的用户交互减小到最小程度，仅要求在一小组训练图像中的形状的位置，可任选的是，在一小组所关注的区域中的形状的位置。除此之外，所产生的模型包含来自全部训练形状的形状可变性。因此，与仅基于单一训练形状的形状模型相比，它要鲁棒得多。
为此，将对象检测任务描述为分类任务(见下文)，在该分类任务中，将输入特征(例如边缘图像)划分到多个类中，所述多个类表示任意形状模型变换参数(用于将形状模型与目标图像相匹配)。所使用的分类器(对数线性地)结合了一组基本知识源。这些知识源中的每一个都与特定的形状模型点相关联，并表示由该点引入到GHT中的知识。在最小分类误差训练中，对基本(依赖于模型点的)知识源的各个权重进行优化。在优化之后，这些权重表示某个特定形状模型点对于分类任务的重要性，并且可以用于消除模型中的不重要的部分(比较2.3.2节) 2.3.1模型点权重的最小分类误差训练 本发明实施例的以下实例说明了使用广义Hough变换将图像特征观测值xn(一个完整图像或一组图像的特征)划分到一个类k∈{1，...，K}中的情况。类k可以表示对象位置，或者任意的变换参数。为了完成该分类任务，使用了一组M个后验概率基本模型pj(k|xn)，j＝1，...，M。这些基本模型分布表示多个单个Hough模型点或多组点，并可以借助于相关投票频率从与某些训练体积数据有关的Hough空间投票结果推导出来 在此，N(j，k，xn)表示在观测到特征xn的情况下，用于假设值k的、模型点(或区域)j的投票数量。可替换地，可以借助于多模式高斯混合来估计该概率分布。
在接下来的步骤中，将基本模型对数线性地合并到最大熵族的概率分布中[3]。这类分布确保了最大客观性，并已经成功的用于各种领域中。
(5) 值Z(Λ，xn)是归一化常数 可以将系数Λ＝(λ1，...，λM)T理解为在该模型组合内的模型j的权重。
与得到相同函数形式分布的公知的最大熵方案相反，该方案针对以下判别函数的分类误差率对系数进行优化 在这个等式中，kn表示正确的假设值。由于在该组合内的基本模型j的权重λj依赖于其提供用于正确分类的信息的能力，因此这个技术实现了任何一组基本模型的最佳结合。在给定了具有正确类分配的一组训练体积n＝1，...，H的情况下，可以为每一个体积产生特征序列xn。通过执行采用相等权重(即，)的初步分类，可以确定一组竞争类k≠kn。为了量化每一个竞争类k的分类误差，必须选择适当的距离量度Γ(kn，k)。当然，这个选择强烈地依赖于类定义。例如，在解是简单的2D或3D位置向量的平移分类问题的情况下，可以使用在正确点与其竞争者之间的欧几里得距离。更简单的想法是使用二进制距离度量，其对于正确的类是“1”，对于所有其它情况的是“0”。
随后，所述模型合并参数应使得对于代表性训练数据的分类误差计数E(Λ)最小化， 以确保对于独立测试组的最优性。由于这个优化标准是不可微的，因此其由经平滑的分类误差计数来近似 在此，S(k，n，Λ)是经平滑的指标函数。如果分类器(见下文)选择假设值k，则S(k，n，Λ)就应接近于1，如果分类器拒绝假设值k，其就应接近于0。具有这些特性的可能的指标函数是 在此，η是适合的常数。从相对于A[3]的最优化ES(Λ)，获得迭代的梯度下降方案 这个迭代方案减小了有利于较差假设(即与正确假设之间的距离较大)的模型点或组的权重， (均匀分布) 同时增大了有利于优良假设的基本模型的权重。
采用一组经过优化的权重，用扩展Hough模型来执行对新(未知的)图像的分类，所述扩展Hough模型包含与模型点位置、分组(即在模型点与基本模型之间的关联)、以及基本模型权重(由最小分类误差训练获得)有关的信息。该分类算法如下来进行 1.使用输入特征x来应用GHT，以填充Hough空间累加器。
2.使用累加器信息(例如用等式(3))，为全部基本模型j和类k确定pj(k|x)。
3.使用从最小分类误差训练获得的λj来计算每个类k的判别函数(7)。
决定具有最高判别函数的类。
因此，在本发明优选方法的操作中，在假设具有多个训练值的情况下，用于形状易变的模型的自动产生的算法如下进行 1.对全部训练体积进行特征检测(即Sobel边缘检测)； 2.对于每一个训练体积要求用户指明一个或多个对象位置； 3.使用两个输入参数(1)点的数量，(2)取决于到中心的距离的集中度下降，来产生模型点的球形随机散布图； 4.将该图的中心移动到每一个指定的对象位置，仅保留在至少一个体积中与轮廓点重合的点。删除在任何体积中没有重合的点； 5.执行一个过程，用于为分类任务自动确定特定模型点(或模型点区域)的重要性； 6.移除不重要的模型点。
所产生的形状易变模型及其模型权重可以直接用于例如基于广义Hough变换的分类[1]。
在可替换的情形下，用户在一个训练体积中定义“所关注区域”。将该区域的多个特征(例如轮廓点)用作初始模型点组，选择性的是，由表示噪声叠加的额外模型点对该初始模型点组进行扩展。随后，该组(经过扩展的)模型点代替该球形随机散布图，用于该有判别力的模型加权过程。
参考文献
1.D.H.Ballard，″Generalizing the hough transform to detect arbitrary shapes，″Tech.Rep.2，1981.
2.P.Beyerlein，″Diskriminative Modellkombination in Spracherkennungssystemenmit gro″sem Wortschatz″，Dissertation，Lehrstuhl fur Informatik VI，RWTH Aachen，1999
3.P.V.C.Hough，″Method and means for recognizing complex patterns，″tech.rep.，1962.
4.R.0.Duda and P.E.Hart，″Use of the Hough transform to detect lines andcurves in pictures，″tech.rep.，1972.
权利要求
1、一种使用广义Hough变换来检测解剖对象的方法，包括以下步骤
a)产生模板对象；
b)识别在所述模板中的一系列边缘点，并将它们的相对位置数据和附加识别信息存储在表中；
c)对所述对象执行边缘检测处理，并存储与在所述对象中的所检测的点相对应的相对位置数据和附加识别信息；
d)将经修改的Hough变换用于所述所检测的数据，以便识别所述对象的与所述模板中的边缘相对应的所检测的点，其中，根据在所述所检测的数据的附加识别信息与为所述模板存储的附加识别信息之间的预定的对应关系来修改每一个所检测的点的投票权重，并且其中，还通过使用与模型点分组和基本模型权重有关的更多预定信息来精炼对所检测的点的分类。
2、如权利要求1所述的方法，其中，通过将表示多组模型点的基本模型集合对数线性地合并到最大熵族的概率分布中，来得到所述模型点分组信息。
3、如权利要求1或2所述的方法，其中，使用针对预定误差函数的最小分类误差训练，来优化所述基本模型权重。
4、一种用于对未识别的检测图像进行分类的方法，包括以下步骤
a)使用输入特征x来应用广义Hough变换，以填充Hough空间累加器；
b)使用采用了
的所述累加器的
信息，为全部基本模型j和类k确定pj(k|x)；
c)使用从最小分类误差训练获得的λj来计算每个类k的判别函数；以及
d)选择具有最高判别函数的类。
5、如权利要求1所述的方法，其中，所述附加识别信息包括在每一个点上的梯度值和/或在每一个点上的灰度值。
6、一种如先前任意一项权利要求所述的方法，其中，在各组附加识别信息之间的所述预定对应关系包括范围关系，由此，如果与在所述模板中具有相应相对位置数据的边缘点的所述附加识别信息相比，所述所检测的点的所述附加识别信息在预定范围之外，就修改所述投票权重。
7、一种如先前任意一项权利要求所述的方法，其中，每一个点的所述相对位置数据包括相对于所述模板中参考点的距离和方向数据。
8、一种如先前任意一项权利要求所述的方法，其中，将来自不同模型区域的信息合并到单个决策函数中，以便能够使用扩展Hough模型执行对未知数据的分类，所述扩展Hough模型包含与模型点分组和基本模型权重相关的附加信息。
9、一种用于产生在自动3-D对象检测中使用的形状可变的模型的方法，包括以下步骤
a)对全部训练体积进行特征检测；
b)人工指明一个或多个对象位置；
c)使用以下输入参数
i)点的数量
ii)取决于到中心的距离的集中度下降，
来产生随机散布d)将所述图的中心依次移动到每一个指定的对象位置，并且移除没有在至少一个对象体积中重合的点；
e)为分类任务自动确定特定模型点或区域的重要性；以及
f)移除不重要的模型点。
全文摘要
本发明涉及用于在3-D图像中自动检测并分割解剖对象的系统。一种使用广义Hough变换来检测解剖对象的方法，包括步骤a)产生模板对象；b)识别在所述模板中的一系列边缘点，并将它们的相对位置数据和附加识别信息存储在表中；c)对所述对象执行边缘检测处理，并存储与所述对象中的所检测的点相对应的相对位置数据和附加识别信息；d)将经修改的Hough变换用于所述所检测的数据，以便识别所述对象的与所述模板中的边缘相对应的所检测的点，其中，根据在所述所检测的数据的附加识别信息与为所述模板存储的附加识别信息之间的预定的对应关系来修改每一个所检测的点的投票权重，并且其中，还通过使用与模型点分组和基本模型权重有关的更多预定信息来改善对所检测的点的分类。
文档编号G06T7/00GK101341513SQ200680047972
公开日2009年1月7日 申请日期2006年12月18日 优先权日2005年12月22日
发明者H·施拉姆 申请人:皇家飞利浦电子股份有限公司