专利名称：一种基于轮廓带图的相似单元的检测方法
技术领域：
本发明属于图像处理技术领域，涉及一种目标的检测方法，更具体地，涉及一种基 于轮廓带图的相似单元的检测方法。
背景技术：
相似单元不论是在自然场景或是在人工场景中都大量存在。由于受到遮挡、部分 缺失、相似单元间形状差异、光照变化等因素的影响，在编辑这些重复图像元素的过程中， 要保持它们之间协调一致的编辑难度非常大。现有的图像编辑方法大多直接操作底层图像 元素，编辑对象过于底层，用户操作不便。人们迫切希望能够通过更加感性的简单操作来实 现对图像的高效编辑， 并对图像中的语义单元进行直接操作。重复物体检测在很长的一段时间都受到了很多研究者的关注。Leimg和Malik 于 1996 年提出了 "Detecting, localizing and groupingrepeated scene elements from an image”，该方法通过对每个独立的图像单元建立一个节点，把它们之间的仿 射变换作为边，并通过图的方式寻找图像中的重复元素；Liu等人于2003年提出了 “k computationalmodel for periodic pattern perception based on frieze and wallpapergroups”，用于发现周期性纹理，虽然上述两种方法都能找出图像中的重复单元， 但是所针对的重复单元仍然局限于小区域，处理对象本身不具备语义性，而且不能处理有 着明显遮挡关系、形状变化等复杂情况。Ahuja和Todorovic于2007年提出了“Extracting texels in 2. IDnatural textures”，该方法虽然能够从图像中检测具有一定语义性的相 似单元，并处理遮挡的情况，但是该方法需要数十秒的计算时间。虽然现有的用于图像中相似单元检测的计算机视觉方法离应用还有很大距离，但 一些最近的图形学交互手段为我们简化这一问题提供了技术支持。
发明内容
(一)要解决的技术问题本发明要解决的技术问题是如何从含有相似单元的图像中寻找出相似单元及其 精确位置。通过检测这些相似单元，可以使得一系列高层次的图像编辑应用变成可能。( 二 )技术方案为了解决上述技术问题，本发明提出了一种用于检测图像中相似单元的方法，利 用简单的用户交互手段提供初始信息，并从图像中检测出相似单元。这些检测结果可以用 于一系列场景物体级别的图像编辑应用。本发明提供的基于轮廓带图的相似单元的检测方法，包括以下步骤Sl 使用简单笔画标定被检测图像中多个相似单元中的其中一个，并标定被检测 图像的背景区域；S2:对所标定的被检测图像进行分割，提取出所标定的相似单元的样例，并去除被 检测图像的背景区域，保留由所述多个相似单元组成的前景区域；
S3 从所述前景区域中获取轮廓图，得到被检测图像中潜在的物体轮廓边界；S4:由所述轮廓图中轮廓点附近区域的范围构建轮廓带图，所述轮廓图中轮廓点附近区域的范围为轮廓带；S5:将所标定的相似单元的样例和所述轮廓带图进行匹配，确定被检测图像中所 述多个相似单元的位置。其中，所述步骤S3中获取轮廓图的方法为对所述前景区域进行层次化的均值漂 移分割。其中，所述步骤S4中构建轮廓带图的方法为对轮廓图引入其局部几何信息以构 建轮廓带图。其中，所述步骤S4中构建的轮廓带图为二维向量组成的数组M = {mp}HXW，其中， mP为被检测图像中的每个像素P对应的二维向量，HXff为被检测图像的大小。其中，所述步骤S5中将所标定的相似单元的样例和所述轮廓带图进行匹配时，将 所标定的相似单元的样例的轮廓构建成二维向量组成的数组T = {tp}hXw，其中，tp为相似 单元的样例中每个像素P对应的二维向量，hXw为相似单元的样例的大小。其中，所述步骤S5中将所标定的相似单元的样例和所述轮廓带图进行匹配时的 匹配程度的计算方法为<formula>formula see original document page 4</formula>
其中，(u，ν)为轮廓带图中被匹配点的坐标；根据匹配程度确定被检测图像中所 述多个相似单元的位置。其中，确定被检测图像中所述多个相似单元的位置的方法为对匹配程度值进行 非极大值抑制，选取匹配程度值中的极大值点，得到相似单元的位置。(三)有益效果上述技术方案具有如下优点本发明所提出的用于检测图像中相似单元的方法利 用简单的用户交互手段提供初始信息，并从图像中检测出相似单元并对其定位，检测方法 快速、精确，检测结果还可以应用于如图像重排、编辑传播、同步变形等基于图像中场景物 体级别的编辑操作。
图1为本发明基于轮廓带图的相似单元检测方法的一个实施例的处理流程图；图2为本发明基于轮廓带图的相似单元检测方法的一个实施例的输入原始图；图3为本发明基于轮廓带图的相似单元检测方法的一个实施例的检测结果。
具体实施例方式下面结合附图和实施例，对本发明的具体实施方式
作进一步详细描述。以下实施 例用于说明本发明，但不用来限制本发明的范围。本发明公开了一种通过简单用户交互方式检测图像中相似单元的方法，通过该方 法检测出图像中相似单元之后可以进行一系列的物体级别的图像编辑，包括图像重排、同 步变形、编辑传播等。
如图1所示，为本发明基于轮廓带图的相似单元检测方法的一个实施例的处理流 程图，图中表示的步骤包括a 用户输入简单的笔画粗略标定被检测图像中相似单元中的一个，同时标定图像 的背景区域。输入图像中的相似单元可以有一定程度的遮挡，形状差异，色彩差异等。用户 只需要大致进行标定就可以满足处理需要。b 获取轮廓图和样例首先利用分割方法分别得到相似单元中的一个样例和由 相似单元组成的前景区域。从前景区域中获取轮廓图。这里所指的轮廓图是指从图像中计 算出的潜在的物体轮廓边界得到轮廓图。一个可能的获取轮廓图具体方案是对前景区域采 用层次化的均值漂移分割。这里所指的层次化均值飘移分割在Paris和Durand在2007年 的工作"A topological approach to hierarchical segmentationusing mean shift，，中 有详细介绍。其它获取轮廓图的方法也可以用于此步骤。轮廓图(如图1的b步骤左图所 示)中每一个像素点的亮度值和该点的物体边缘的概率相对应。此图中越暗的点是边缘点 的概率越大。用户所选取的样例边界(如图1的b步骤右图所示)是进行进一步检测的重 要中间数据。c 构建轮廓带图轮廓图中轮廓点附近一定区域的范围为轮廓带。本实施例中的 轮廓带图是一个二维向量组成的数组，记为M= {mp}HXW。数组大小HXW和输入的被检测 图像一致。输入图像中的每个像素P对应一个二维向量mP。在轮廓带范围以外的向量值为 0，轮廓带范围之内的向量大小为附近区域轮廓点可信度值的平均(图1的c步骤图为了打 印清晰，越暗的点代表作为边缘的可信度越大)。向量的方向为该点处的边缘梯度方向。梯 度方向的获取可参考常见的边缘检测方法，这些方法中都有梯度估计的步骤。d 利用轮廓带图进行匹配，寻找相似单元对样例的轮廓处的每一点也和轮廓带 图类似的赋予一个二维向量，得到模板图T = {tp}hXw(通常数组大小hXw远远小于图像大 小HXW)。轮廓点处的二维向量幅值为1，方向为梯度方向。其余点处的二维向量为0。图 像中每一点处存在待检测相似单元的概率可以通过以下方法计算。采用轮廓带图进行计算 某一点(u，ν)处的匹配程度为
h w2D(u v)(T,M) = Σ Σ(。). + ’-))
J=O =0这样可以计算出每一点处的匹配程度。由于该方法实质上是求解一些卷积值，可 以采用快速傅里叶变换方法加速求解，进一步对这些匹配值进行非极大值抑制，即选取匹 配值中的极大值点，就可以得到相似单元的位置。如图2所示，为本发明基于轮廓带图的相似单元检测方法的一个实施例的输入原 始图。用户标定输入图片中的一条鱼为样例，同时简单的标出背景区域。其中对鱼的标定 用暗色显示，对背景的标定用亮色显示。如图3所示，为本发明基于轮廓带图的相似单元检测方法的一个实施例的检测结 果。中心的圆圈内部的亮度代表检测结果的可信度，即该位置处的匹配程度。可以对模板 进行一定的旋转和缩放来检测含有多个尺度和旋转方向的相似单元的情况。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换 也应视为本发明的保护范围。
权利要求
一种基于轮廓带图的相似单元的检测方法，其特征在于，包括以下步骤S1使用简单笔画标定被检测图像中多个相似单元中的其中一个，并标定被检测图像的背景区域；S2对所标定的被检测图像进行分割，提取出所标定的相似单元的样例，并去除被检测图像的背景区域，保留由所述多个相似单元组成的前景区域；S3从所述前景区域中获取轮廓图，得到被检测图像中潜在的物体轮廓边界；S4由所述轮廓图中轮廓点附近区域的范围构建轮廓带图，所述轮廓图中轮廓点附近区域的范围为轮廓带；S5将所标定的相似单元的样例和所述轮廓带图进行匹配，确定被检测图像中所述多个相似单元的位置。
2.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤 S3中获取轮廓图的方法为对所述前景区域进行层次化的均值漂移分割。
3.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤 S4中构建轮廓带图的方法为对轮廓图引入其局部几何信息以构建轮廓带图。
4.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤 S4中构建的轮廓带图为二维向量组成的数组M= {mp}HXW，其中，mP为被检测图像中的每个 像素P对应的二维向量，HXW为被检测图像的大小。
5.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤 S5中将所标定的相似单元的样例和所述轮廓带图进行匹配时，将所标定的相似单元的样例 的轮廓构建成二维向量组成的数组<formula>formula see original document page 2</formula>，其中，％为相似单元的样例中每个像素P 对应的二维向量，hXw为相似单元的样例的大小。
6.如权利要求1所述的基于轮廓带图的相似单元的检测方法，其特征在于，所述步骤 S5中将所标定的相似单元的样例和所述轮廓带图进行匹配时的匹配程度的计算方法为<formula>formula see original document page 2</formula>其中，(U，v)为轮廓带图中被匹配点的坐标；根据匹配程度确定被检测图像中所述多 个相似单元的位置。
7.如权利要求6所述的基于轮廓带图的相似单元的检测方法，其特征在于，确定被检 测图像中所述多个相似单元的位置的方法为对匹配程度值进行非极大值抑制，选取匹配 程度值中的极大值点，得到相似单元的位置。
全文摘要
本发明公开了一种基于轮廓带图的相似单元的检测方法，其步骤为S1使用简单笔画标定被检测图像中相似单元中的其中一个，以及标定被检测图像的背景区域；S2对所标定的被检测图像进行分割，提取出相似单元的样例，并去除被检测图像的背景区域，保留由相似单元组成的前景区域；S3从所述前景区域中获取轮廓图，得到图像中潜在的物体轮廓边界；S4由所述轮廓图中轮廓点附近区域的范围构建轮廓带图；S5将所述相似单元的样例和所述轮廓带图进行匹配，确定被检测图像中相似单元的位置。本发明能够根据用户输入的简单提示，寻找图像中的相似单元并对其定位，检测结果可以应用于如图像重排、编辑传播、同步变形等基于图像中场景物体级别的编辑操作。
文档编号G06K9/62GK101833668SQ20101015993
公开日2010年9月15日 申请日期2010年4月23日 优先权日2010年4月23日
发明者张方略, 程明明, 胡事民 申请人:清华大学