专利名称：基于成组物体混合的图像合成方法
技术领域：
本发明涉及图像处理技术领域，具体涉及一种基于成组物体混合的图像合成方法。
背景技术：
在计算机图形学领域，图像的分析与智能编辑技术有着重要的应用。用户可以通过这类技术，从繁杂枯燥的重复劳动中解放出来，用一些很少的操作就可以得到各种复杂而具有高度真实感的效果。近年来有很多研究工作关注于结合用户交互的图像半自动分析与智能编辑方法，并创造出了各种丰富的编辑效果。如2009年，C. Barnes等人在“PatchMatch :a randomized correspondence algorithm for structural image editing ”提出了一种利用快速寻找相似图像块的方式结合用户交互进行一幅图像的内容重构编辑；程明明等人在2010年提出了 “R印Finder”，用于在图像上找到形状相似的近似物体并加以编辑的方法。这些方法都推进了图像物体级的编辑技术的发展，给图像处理软件的用户提供了更加方便的编辑技术和方法。在图像合成领域，大量的研究工作集中在给定了需要拼合的图像区域后，如何使拼合的结果有较高的相容性。Porter和Duff等人的早期工作中，提出了 alpha-抠图方法， 使得拼合区域的边缘融合的更加自然，而后来P. Perez等人所提出的Poisson融合方式，则通过考虑梯度域信息，对整个拼合区域的像素值进行调整，使其整体的相容性更高。在选择拼合的图像内容方面，J. -F. Lalonde等人的“Photo Clip 4汁”和陈韬等人“51 ^(^2 110切” 技术，利用在网络图像和大图像库中选择更容易进行融合的图像内容，取得了非常令人满意的图像合成结果。而通过结合来自不同来源图像内容的视觉特征合成新的图像，在之前的研究工作中也有一些相关工作。在 L.Y.Wei 的“Texture synthesis from multiple sources”等像素级的纹理混合方法中，相似的像素统计特性被用来合成新的纹理图像。而V. Kwatra等人提出的“Graphcut Textures"方法，则利用纹理块级别的图像内容，完成了纹理合成、图像内容无缝拼合等应用，做出了之前方法难以做到的效果。最近，Risser等人在2010年的 "Image Hybrids"工作中，提出了一种利用几个相似样本合成大量具有混合视觉特征的图像的新方法，其结果图像仍然保持原有的几何特征和结构特征。在图像重复物体检测方面，则主要有Ahuja等人在2007年提出的“2. ID Texel" 方法和程明明等人的“R印Finder”技术。这些方法都利用自动/半自动的图像分割方法， 检测图像中的重复物体。然而前者不能提供较准确的物体边界，而后者对于重复元素则有形状上需要比较相似的限制。上述领域的一些最新成果为开发基于成组物体混合的图像合成方法提供了坚实的技术基础。而这些技术尚不足以实现具有真实感的混合成组物体的图像合成效果
发明内容
(一)要解决的技术问题本发明所要解决的技术问题是如何实现具有高度真实感的成组物体混合的图像合成效果。( 二 )技术方案为解决上述技术问题，本发明提供了一种基于成组物体混合的图像合成方法，包括如下步骤Si、对目标图像中的成组物体进行可分性分析，得到成组物体的可分性图，并提取出成组物体的位置及其在目标图像中所占据的核心区域；S2、通过先膨胀后裁剪的方法得到成组物体中的每个物体在目标图像上所占区域的边界；S3、对目标图像中指定需要替换的成组物体的区域，通过寻找来自于外部图像中的成组物体的合适区域，将所述需要替换的成组物体的区域替换为所述外部图像中的成组物体的合适区域。优选地，步骤Sl中，通过计算目标图像中的成组物体所占据区域中每个像素的多尺度自相似性值和鲁棒曲线特征显著性值，得到所述可分性图，并通过图像形态学操作提取出成组物体的位置及其在目标图像中所占据的核心区域。优选地，步骤S2具体为对所述可分性图，从所述核心区域出发，先进行膨胀，然后将鲁棒曲线特征显著性值超过动态阈值的像素从膨胀后的区域去除，并反复迭代此过程，从而提取出成组物体中的每个物体在目标图像上所占区域的边界。优选地，步骤S3中，利用BBM方法寻找来自于外部图像中的成组物体的合适区域。优选地，步骤S3中，将所述需要替换的成组物体的区域替换为所述外部图像中的成组物体的合适区域时，在边界处合成出具有来自外部图像中的成组物体边界的视觉特点的边界部分。优选地，步骤Sl之前包括步骤SO 输入包含成组物体的目标图像和外部图像，在目标图像中设定能够代表成组物体的关键视觉特征的点，作为参照点用于计算目标图像中的成组物体所占区域中各像素的多尺度自相似性值。(三)有益效果本发明的有益效果在于本方法可以通过非常简单的用户交互实现复杂的混合不同来源的成组物体的图像合成效果；同时也提出了一种快速有效的成组重复物体的检测和提取方法，跟同类方法相比，具有提取边缘准确、速度较快等优点；另外，本方法所实现的具有高度真实感的成组物体混合的图像合成效果，也是已有技术无法做到的。本发明是对近年来基于多来源图像的图像编辑与合成技术的一个补充。
图1为本发明实施例的基于成组物体混合的图像合成方法流程图；图2为基于成组物体混合的图像合成方法中间结果及最终结果示意图；图3为“膨胀-裁剪”算法流程示意图。
具体实施例方式
4
下面对于本发明所提出的一种基于成组物体混合的图像合成方法，结合附图和实施例详细说明。参照图1，表示基于成组物体混合的图像合成方法的流程图，图中表示的步骤为SO、输入包含有成组物体的目标图像和外部图像，并给定其成组物体内容的区域后，指定一个在目标图像中能够代表成组物体的关键视觉特征的点，如一组马铃薯其中一个的中心位置。这一点将作为参照点来计算成组物体所占据区域各像素点的多尺度自相似性。Si、通过结合目标图像中成组物体所占据区域的每个像素的多尺度自相似性计算和鲁棒曲线特征显著性计算，得到图像可分性图。多尺度自相似性的计算，是基于像素点与其邻域的像素值相似程度进行的。为了更好地提取每个位置的视觉特征，本发明使用了多尺度邻域描述子，在图像上采样得到的图像金字塔中，在第1层到3层分别取目标像素点的 5X5邻域块，然后对着75个值形成的描述向量进行PCA降维到6维，然后分别计算每个像素点P的6维描述向量和目标点的描述向量的欧式距离，得到的值即为多尺度自相似性值， 记作Sa (p，Ptl)，其中Ptl表示指定的参考点。图像的曲线特征显著性，最简单的计算方式为直接求梯度，梯度值的大小在一定程度上就表示了此处曲线特征的明显程度。然而在人类的视觉识别系统(HVS)中，往往不只是梯度的大小影响人对边缘的判断，边缘的长度和平均梯度大小，也起到了非常重要的作用。因此，本发明所采取的鲁棒曲线特征显著性计算方法，是基于抽取出的每一条曲线的长度和梯度大小的，每一条曲线的显著性为其中N表示归一化操作，mp表示梯度大小，Ic表示曲线C的长度。每条曲线上，分配了同样的曲线特征显著性值。这样的鲁棒曲线特征，可以更好的体现边缘和曲线的视觉特点。最后通过下式得到可分性图S(p) = Sa (C)-ω Sa(ρ, ρ。) (2)其中，ω用于调整相似度的影响大小，一般取1。然后对该可分性图(原始图如图2中a所示)，利用形态学操作在通过阈值将其二值化之后(阈值一般取归一化后的0. 5)，先腐蚀后膨胀，通过提取每一个独立连通分量，就得到了每个成组物体个体的位置和所占据的核心区域。提取出的可分性图结果如图2中b 所示。提取出的物体及其核心区域如图2中c所示。S2、对于每个物体，通过“膨胀_裁剪”(先膨胀后裁剪)方法在可分性图上进行操作，以提取出每个物体所占据区域的准确边界。该方法的流程如图3所示，首先从一个核心区域出发，通过先膨胀，后将曲线特征显著性值超过动态阈值t (ρ) =S (ρ) /D (ρ) (3)的像素从膨胀后的区域去除，并反复迭代此过程，直到算法自动收敛(核心区域不再扩大)的方式来实现准确边界的提取。式中D(p)表示像素点P离物体所占据区域中心的距离。经过此步骤，可以得到每个成组物体占据的区域。
S3、将随机指定的待替换物体区域，用外部图像中适合替换的图像区域加以替换， 并进行边界合成，使来自不同来源的物体间具有更高相容性。在寻找外部图像适合替换的图像区域时，采用程明明等人2010年提出的BBM(Boundary Band Map)方法(即R印Finder 技术，在Siggraph 2010上公开)，以待替换的物体边界为输入，在外部图像中寻找具有最相容曲线特征的图像块，并把该图像块中的对应区域复制到目标图像上，替换掉原物体。为了提高相容性，在该区域的边界部分，如果其梯度值小于一定阈值(归一化后取0. 5)，那么就在外部图像中，寻找使下式最大的像素点
权利要求
1.一种基于成组物体混合的图像合成方法，其特征在于，包括如下步骤51、对目标图像中的成组物体进行可分性分析，得到成组物体的可分性图，并提取出成组物体的位置及其在目标图像中所占据的核心区域；52、通过先膨胀后裁剪的方法得到成组物体中的每个物体在目标图像上所占区域的边界；53、对目标图像中指定需要替换的成组物体的区域，通过寻找来自于外部图像中的成组物体的合适区域，将所述需要替换的成组物体的区域替换为所述外部图像中的成组物体的合适区域。
2.如权利要求1所述的方法，其特征在于，步骤Sl中，通过计算目标图像中的成组物体所占据区域中每个像素的多尺度自相似性值和鲁棒曲线特征显著性值，得到所述可分性图，并通过图像形态学操作提取出成组物体的位置及其在目标图像中所占据的核心区域。
3.如权利要求2所述的方法，其特征在于，步骤S2具体为对所述可分性图，从所述核心区域出发，先进行膨胀，然后将鲁棒曲线特征显著性值超过动态阈值的像素从膨胀后的区域去除，并反复迭代此过程，从而提取出成组物体中的每个物体在目标图像上所占区域的边界。
4.如权利要求1所述的方法，其特征在于，步骤S3中，利用BBM方法寻找来自于外部图像中的成组物体的合适区域。
5.如权利要求1所述的方法，其特征在于，步骤S3中，将所述需要替换的成组物体的区域替换为所述外部图像中的成组物体的合适区域时，在边界处合成出具有来自外部图像中的成组物体边界的视觉特点的边界部分。
6.如权利要求1 5中任一项所述的方法，其特征在于，步骤Sl之前包括步骤SO输入包含成组物体的目标图像和外部图像，在目标图像中设定能够代表成组物体的关键视觉特征的点，作为参照点用于计算目标图像中的成组物体所占区域中各像素的多尺度自相似性值。
全文摘要
本发明涉及图像处理技术领域，公开了一种基于成组物体混合的图像合成方法，包括如下步骤S1、对目标图像中的成组物体进行可分性分析，得到成组物体的可分性图，并提取出成组物体的位置及其在目标图像中所占据的核心区域；S2、通过先膨胀后裁剪的方法得到成组物体中的每个物体在目标图像上所占区域的边界；S3、对目标图像中指定需要替换的成组物体的区域，通过寻找来自于外部图像中的成组物体的合适区域，将所述需要替换的成组物体的区域替换为所述外部图像中的成组物体的合适区域。本发明提取边缘准确、速度较快，且能实现具有高度真实感的成组物体混合的图像合成效果。
文档编号G06T5/50GK102324093SQ20111026273
公开日2012年1月18日 申请日期2011年9月6日 优先权日2011年9月6日
发明者张方略, 程明明, 胡事民 申请人:清华大学