专利名称：基于图像库的图像合成质量自动评测方法
技术领域：
本发明涉及图像处理领域，特别是涉及一种图像合成质量评测方 法，此方法基于图像库，并且能实现对大量图像合成质量的自动评测。
背景技术：
随着多媒体技术和网络技术的发展，互联网上丰富的图像资源得 到广泛应用，各种图像处理技术成为计算机学科研究的热门领域。其 中，图像合成技术可以让用户通过多张照片拼合成 一 张以假乱真的照 片，并且满足用户对照片内容的要求。 一些图像处理相关的商业软件
(如Adobe Photoshop , Pixel Image Editor),可以通过复杂的用户交互 实现上述目的。但是所述软件的使用需要用户有较强的美术专业知识 以及对软件的熟练掌握，除此之外，还需要用户付出长时间的枯燥劳 动。由于图像合成技术可以广泛应用于传媒、娱乐、教育、军事国防 等诸多领域，近年来国内外研究人员都对其进行了大量深入的研究。 这些研究致力于在提升图像合成的真实效果的同时大大降低人工交 互的复杂度。但是，现有技术并不能对任意给定的两幅图像，都能实 现较好的合成结果。这是因为即使使用当前最好的图像合成技术，当 输入图像的光照、紋理、色彩差别太大时，合成结果依然会有明显的 瑕疵。不过随着网络资源的无限丰富， 一些海量图像库的建立为图像 合成技术提供了新的发展空间。设想用户需要将两个图像对象合成到 一起，他可以在图像库里搜索光照、紋理、色彩等各方面条件最相近 又包含相应内容的图像，提取其中相应的内容进行合成，这样可以保 证最佳的合成质量，比局限于两张指定图像的合成有明显优势，同时 又满足了用户对结果的要求。
发明内容
本发明要解决的技术问题在于提供一种基于图像库的图像合成 质量自动评测方法，该方法对用户从图像库中选出的含合成对象的图 像(待合成图像)进行合成质量评测，以便根据这一评测结果从中选 出合成质量最好的一组图像进行合成。该方法基于图像库，相对于给 定两张图像来说大大扩展了图像的选择范围，保证在选择的图像范围 内使图像的合成效果最佳，并且能实现合成质量的自动评测，避免了 复杂人工交互。
为解决上述技术问题，本发明的技术方案为让用户从一个已将图 像分类和标注的图像库中指定含合成对象的图像类别(假设用户想将 一只羊合成到草地上，就需要指定羊和草地两类图像)，并指定合成
位置；对一组待合成图像的每一对合成对象的标注区域进行处理得到
合成对象的融合区域；对所述融合区域进行超像素分割(Superpixd Segmentation),每个分割区域是一对(两个)超像素；计算每个超像素分 割区域的局部自定义合成能量；在超像素分割区域上计算一个封闭的
能量最小路径，即最优合成路径；计算每一组待合成图像的所有最优
合成路径的总能量，即总合成能量，对待合成图像的合成质量进行评 估。
其中，待合成图像一般是多个图像，每一组待合成图像可以是一 对(两个)图像，也可以是两个以上图像。所述一对图像包括一个作 为背景的源图像和一个作为前景的目标图像，所述两个以上图像包括 一个或多个源图像或目标图像。评测包括两个以上图像的一组待合成 图像的合成质量时，先分别计算一组图像中每一对图像的最优合成路 径的能量，然后计算一组图像的总合成能量，选择总合成能量最小的 一组图像进行合成。
其中，局部自定义合成能量用于评估融合区域中两个对应超像素 的合成质量，可定义为一个与源图像和目标图像紋理差异、色彩差异、源图像的背景紋理复杂度以及源图像的前景和背景的差异皆相关的 函数。
其中，最优合成路径包围所述合成对象，合成图像的质量由所述 最优合成路径的能量决定，最优合成路径的能量越小，合成图像的质 量越好。
其中，每个超像素分割区域的能量除包括局部自定义合成能量以 外还可以为每个超像素分割区域的能量设置一个权重。 其中，最优合成路径可以通过动态规划算法求解。 本发明的局部自定义合成能量计算方法能很好的评估两个对应 超像素的合成质量。另外，由于超像素级的计算速度很快，超像素级 的局部自定义合成能量的计算、最优合成路径的求解都非常快，因此 本发明能在可接受时间内完成对大量图像合成质量的自动评测，而直 接图像合成往往需要求解大型矩阵，花费的时间难以接受。
图1为本发明的一种基于图像库的图像合成质量自动评测方法
的流程图2为本发明的求解最优合成路径的示意图。
具体实施例方式
下面结合附图对本发明的具体实施方式
作进一步详细说明。以下 说明不用来限制本发明的范围。
本发明的一种基于图像库的图像合成质量自动评测方法如图1 所示，包括以下步骤
步骤sl01,用户从图像库中指定含合成对象的图像类别及合成位
置；
步骤sl02,对合成对象的标注区域进行形态学中的膨胀操作，在 膨胀区域和标注区域之间的区域就是融合区域；步骤sl03，对合成对象的融合区域进行超像素分割； 步骤sl04,计算每个分割区域的局部自定义合成能量; 步骤sl05，计算包围合成对象的最优合成路径； 步骤sl06,计算每一组待合成图像的总合成能J
评估图像合成
其中，膨胀操作一般膨胀20个像素。
其中，局部自定义合成能量定义如下
^ — / " if " € T、
A = J + 2\ otherwise,
能量巧'和""定义为
<formula>formula see original document page 7</formula>
能量^T'用来衡量源图像与目标图像紋理差异和色彩差异，其中 AG,和At/,分别是Gabor特征向量差和LUV空间中UV分量空间的向 量差，0"g和 分别为lAG,lf和l/U/,f的统计方差。能量^ 用来衡量源
图像的背景紋理复杂度以及源图像的前景和背景的差异，其中|v2y;
为源图像背景超像素的梯度平均值，A/7/是源图像背景超像素和其附
近的前景区域颜色直方图的差。能量定义中的一些参数在实验中通常
取值如下Wl=0.7， w2=0.5， 7;=0.5。通过计算所述局部自定义合成
能量，每个超像素分割区域都有了一个合成能量值。
图2为本发明中求解最优合成路径的示意图。合成对象区域a和 膨胀后源图像的背景区域f之间为融合区域，b为超像素分割边界。 本发明以超像素为结点c，相邻的超像素之间为边d，构建一个图， 定义结点的能量为该结点的局部自定义合成能量5乘上一个权重c,， 然后求一个围绕合成对象区域的封闭的能量极小路径，即最优合成路 径e。其中，最优合成路径可通过2D动态规划问题解得。
其中，权重c,.的计算方式如下首先将合成对象区域a的边界映 射到一个圆周上，然后把融合区域中的每个超像素占该圆周的比例作 为它所代表结点的权重。。使用这 一 权重计算出的最优合成路径可以 得到最佳的合成效果。最优路径区域边界g所经过的区域为最优合成 路径所经过的结点对应的超像素区域，最佳合成边界应该在这一区域 中。
在求得最优合成路径后， 一对图像的合成能量为<formula>formula see original document page 8</formula>
其中①就是最优路径区域边界g所经过的区域。 对一组待合成图像中的每一对图像计算合成能量后，得到每组图 像的总合成能量，对所有待合成图像按照每组图像的总合成能量从小 到大排序，合成能量越小，说明合成质量越好，由此完成了基于图像 库的图像合成质量自动评测。
以上所述仅是本发明的优选实施方式，不用来限制本发明的范 围。应当指出，在不脱离本发明技术原理的前提下，做出的任何修改、 等同替换、和改进等，均应视为在本发明的保护范围之内。
权利要求
1、一种基于图像库的图像合成质量自动评测方法，其特征在于，所述方法包括以下步骤用户从图像库中指定含合成对象的图像类别，并指定合成位置；对合成对象的标注区域进行处理得到合成对象的融合区域；对合成对象的融合区域进行超像素分割；计算每个分割区域的局部自定义合成能量；计算包围合成对象的最优合成路径；计算每一组待合成图像的合成能量，对待合成图像的合成质量进行评估。
2、 如权利要求1所述的基于图像库的图像合成质量自动评测方 法，其特征在于，所述待合成图像一般是多个图像，每一组待合成图 像可以是两个图像，也可以是两个以上图像。所述一对图像包括一个 作为背景的源图像和一个作为前景的目标图像，所述两个以上图像包 括 一 个或多个源图像或目标图像。
3、 如权利要求2所述的基于图像库的图像合成质量自动评测方 法，其特征在于，所述局部自定义合成能量为一个与源图像和目标图 像紋理差异、色彩差异、源图像的背景紋理复杂度以及源图像的前景 和背景的差异皆相关的函数。
4、 如权利要求1所述的基于图像库的图像合成质量自动评测方 法，其特征在于，所述计算包围合成对象的最优合成路径的步骤中， 具体包括以每个超像素分割区域作为结点，计算一条围绕合成对象 的封闭的能量最小路径。
5、 如权利要求4所述的基于图像库的图像合成质量自动评测方 法，其特征在于，所述每个分割区域的能量都含有一个权重。
6、 如权利要求4所述的基于图像库的图像合成质量自动评测方 法，其特征在于，所述最优合成路径，釆用动态规划算法求解。
7、 如权利要求1所述的基于图像库的图像合成质量自动评测方 法，其特征在于，所述对合成对象的标注区域进行处理为膨胀操作。
8、 如权利要求7所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述膨胀操作为膨胀20个像素。
9、 如权利要求1所述的基于图像库的图像合成质量自动评测方法，其特征在于，釆用下述方式，对所述待合成图像的合成质量进行评估对每一组待合成图像按照其合成能量从小到大排序，合成能量 越小，则合成质量越好。
10、 如权利要求3所述的基于图像库的图像合成质量自动评测方 法，其特征在于，所述源图像与目标图像的紋理差异采用源图像与目 标图像的Gabor特征向量差及其统计方差来衡量，所述源图像与目标 图像的色彩差异釆用源图像与目标图像的LUV空间中UV分量空间 的向量差及其统计方差来衡量，所述源图像的背景紋理复杂度釆用源 图像背景超像素的梯度平均值来衡量，所述源图像的前景和背景的差 异釆用源图像背景超像素和附近的前景区域颜色直方图的差来衡量。
11、 如权利要求5所述的基于图像库的图像合成质量自动评测方 法，其特征在于，所述权重的计算方式包括将合成对象区域的边界 映射到一个圆周上，然后把所述超像素分割区域中的每个超像素占该 圆周的比例作为它所代表结点的权重。
全文摘要
本发明公开了一种基于图像库的图像合成质量自动评测方法，该方法让用户从一个已分类且已对图像中的对象进行标注的图像库中指定含合成对象的图像类别及合成位置；对标注区域进行处理得到合成对象的融合区域；对融合区域进行超像素分割，计算每个分割区域的局部自定义合成能量，得到一个封闭的能量最小路径，即最优合成路径；计算每一组待合成图像的总合成能量，对待合成图像的合成质量进行评估。该方法基于图像库，保证在选取的图像范围内使图像的合成效果最佳；局部自定义合成能量能很好的评估融合区域中两个对应超像素的合成质量；采用超像素级的计算，能在可接受时间内完成对大量图像合成质量的自动评测，避免了复杂的人工交互。
文档编号G06T11/60GK101577010SQ20091008693
公开日2009年11月11日 申请日期2009年6月11日 优先权日2009年6月11日
发明者张松海, 程明明, 胡事民, 韬 陈 申请人:清华大学