专利名称：基于块的快速图像混合方法
技术领域：
本发明涉及图像处理、特效制作、虚拟现实等，具体讲涉及基于块的快速图像混合方法。
背景技术：
基于样本的纹理合成方法是近年来图像处理、计算机图形学和计算机视觉共同研究的热点之一。它主要分为基于像素的纹理合成和基于块的纹理合成等。有很多优秀的作品采用的是基于像素的合成方法Heeger和Bergen是最早提出彩色纹理的学者之一，他们混合使用Laplacian金字塔和Steerable金字塔来分析纹理[1]。Paget和Longstaff [2] 证明了任意纹理可以用Markov随机场来建模，这个观点已经已经被广泛地接受。Wei和 Levoy利用树结构向量量化使合成速度有了显著提高[3]，之后他们又解决了和成顺序的问题[4]。Ashikhmin提出了一个衡量最近邻居的新方法。该方法在合成质量和速度上都有了较大的提升[5] ；Zelinka和Garland将纹理分析阶段和合成阶段分开，实现了实时合成 [6]0 Lefebvre和Hoppe充分利用了并行计算和现代硬件的成果进一步加速合成速度[7]。 Liang等提出了用基于块的合成模型实时合成简单纹理的方法[8] ；Mohammed等展示了利用纹理合成技术可以生成人的脸部等结构性强的复杂图片[9]。上述方法侧重于基于单样本的纹理合成。为了获得更加丰富多彩色的合成效果，需要用户提供多幅样本图像。然而， 这方面的相关技术还不多见。Risser等实现了多样本图像的混合[10]。但他们采用基于像素的合成方法，速度较慢。
发明内容
为克服现有技术的不足，提供一种快速图像混合方法，利用少量的图像样本在普通个人电脑上快速合成大量新的图像，能够自然地融合具有较大色差的样本图像，还能克服基于块的纹理合成在处理结构复杂的图片时不够精细的问题，为达上述目的，本发明采取的技术方案是，基于块的快速图像混合方法，包括以下步骤1)纹理分析将每个样本图像划分成NXN的规则网格的块，建立每个位置的候选集；2)基于块的纹理合成在当前位置的候选中找到其边界区域与当前合成图像的边界区域最吻合的块，同时，由于很多图像具有较强的结构性，在合成过程中需要考虑到纹理整体结构特征的约束；3)边界优化由于合成阶段产生的候选块的重叠区域不一定完全吻合，导致边界周围的颜色差异较大，采用泊松编辑技术对边界进行融合处理；4)去模糊处理泊松编辑产生的边界容易模糊，采用去模糊处理方法进一步优化算法。纹理分析具体为将每个样本划分成NXN的规则网格的块，每个块的大小相同，块与块之间有重叠的部分，为块大小的1/4到1/6，在为每一个位置选择候选集的时候，需要在每个样本图像的相应位置附近寻找候选者，进一步具体如下记块的高度和宽度分别为H和W，由于除每个样本的第一个块，每个块都会有左邻居或上邻居，那么它和相邻块的重叠部分的大小可能是HX w，或者WXh，其中w是和左邻居重叠部分的宽度，h是和上邻居重叠部分的高度，则对于每一个位置，对于所有样本图像在该位置周围的等大的区域内，把所有大小为HXW的块放入该位置的候选集U%。s，将这个区域大小设为S = (H+2h) X (ff+2w)，(1)能够在候选集的多样性和建立候选集的速度上达到平衡。基于块的纹理合成具体为搜索合成过程中最重要的环节，即在当前位置的候选集ΨΧ中找到其边界区域与当前合成图像的边界区域较吻合的块，利用kd-tree结构搜索当前合成图像的边界区域在当前位置的k个最近邻居，然后随机选择一块复制到结果图像对应位置上，此时的边界又发生了变化，按照此步骤，直到完成输出图像。边界优化是采用泊松编辑技术对边界进行融合处理，具体算法如下将计算图像的梯度[dx，dy]在块与块之间的重叠部分进行羽化处理，即dx = α Xcbq+d-α ) Xcbc2，0 <= α <= 1 (2)其中，α为混合系数，dXl和Ck2分别为两个待处理的梯度值，由此，找一个梯度与合成图像梯度最接近的图像可转化为求解如下泊松方程Af= Ag,(3)其中，Δ是拉普拉斯算子，f代表目标图像函数，g代表源图像函数。同时，令边界条件为median (f) = median (g),(4)这里，median (f)和median (g)分别代表f和(g)的中值。去模糊处理具体如下记Vba。kg_d(r)为图像背景区域的颜色向量；Vblumd(r)和Vmax(r)分别为模糊区域的颜色向量及颜色向量的最大值，如果Vba。kgMmd(r) > Vblurred (r) > Vmax (r)，那么让Vblurred = Vba。kgr_d，其中，Vmax采用下式计算Vmax = (1+ ω) min (mean (Vsamples))，(5)这里，ω为用户指定的权值，Vsample为采样点的颜色向量。本发明具有以下技术效果本发明可以广泛应用于图像处理领域，利用少量样本在普通个人电脑上快速合成大量新的样本图像，帮助人们预测未知的可能性。此外，由于本发明制作、处理图像迅速简便，在影视制作、游戏动漫等领域，本发明可以根据设计者的意图高效地生成大量特效图像。
图1是本发明的图像处理效果图。图中，a样本图像，b混合结果图像。
具体实施方式
本发明提供了一种利用少量的图像样本在普通个人电脑上快速合成大量新的图像的方法，主要包括以下步骤1)纹理分析将每个样本图像划分成NXN的规则网格的块，建立每个位置的候选集。此外，利用候选集构造特定的数据结构，便于接下来的块搜索加速。2)基于块的纹理合成在当前位置的候选中找到其边界区域与当前合成图像的边界区域最吻合的块。同时，由于很多图像具有较强的结构性，在合成过程中需要考虑到纹理整体结构特征的约束。3)边界优化由于合成阶段产生的候选块的重叠区域不一定完全吻合，导致边界周围的颜色差异较大。采用泊松编辑技术对边界进行融合处理。4)去模糊处理泊松编辑产生的边界容易模糊。为了获得较为清晰的合成结果， 采用去模糊处理方法进一步优化算法。下面结合附图和实施例进一步详细说明本发明。1、纹理分析在纹理分析阶段，将每个样本划分成NXN的规则网格的块，每个块的大小相同，块与块之间有重叠的部分，一般为块大小的1/4到1/6。为了保持样本图像的结构特征，需要保证以下原则出现在样本图像某个位置的块，如果会在输出图像中出现的话，也应该出现在那个位置附近。因此，在为每一个位置选择候选集的时候，需要在每个样本图像的相应位置附近寻找候选者。而且，还必须考虑到，为输出图像挑选块后，相邻的块之间还需要有视觉上的连贯性，同时还能使块的组合有尽可能多的结果。具体如下记块的高度和宽度分别为H和W。由于除每个样本的第一个块，每个块都会有左邻居或上邻居，那么它和相邻块的重叠部分的大小可能是HX w，或者WXh，其中w是和左邻居重叠部分的宽度，h是和上邻居重叠部分的高度，则对于每一个位置，我们对于所有样本图像在该位置周围的等大的区域内，把所有大小为HXW的块放入该位置的候选集vp。s。在实验中发现如果将这个区域大小设为S = (H+2h) X (ff+2w)，(1)能够在候选集的多样性和建立候选集的速度上达到平衡。2、基于块的纹理合成搜索合成过程中最重要的环节，即在当前位置的候选集 ΨΡ03中找到其边界区域与当前合成图像的边界区域较吻合的块。本发明利用kd-tree结构搜索当前合成图像的边界区域在当前位置的k个最近邻居，然后随机选择一块复制到结果图像对应位置上，此时的边界又发生了变化。按照此步骤，直到完成输出图像。该过程是遵循了图像局部Markov结构的限制，使纹理在局部具有连贯性。3、边界优化由于合成阶段产生的候选块的重叠区域不一定完全吻合，导致边界周围的颜色差异较大。采用泊松编辑技术对边界进行融合处理。具体算法如下将计算图像的梯度[dx，dy]在块与块之间的重叠部分进行羽化处理，即dx = α Xcbq+d-α ) Xdx2，0 <= a <= 1 (2)其中，α为混合系数，(1\和Ck2分别为两个待处理的梯度值。由此，找一个梯度与合成图像梯度最接近的图像可转化为求解如下泊松方程Af= Ag,(3)其中，Δ是拉普拉斯算子，f代表目标图像函数，g代表源图像函数。同时，令边界条件为
median (f) = median (g),(4)这里，median (f)和median (g)分别代表f和(g)的中值。4、去模糊处理泊松编辑产生的边界容易模糊。为了获得较为清晰的合成结果，采用去模糊处理方法进一步优化算法。具体如下记Vba。kg_d(r)为图像背景区域的颜色向量；Vblumd(r)和Vmax(r)分别为模糊区域的颜色向量及颜色向量的最大值。如果Vba。kg_d(r) > Vblurred(r) > Vmax (r)，那么让Vblumd
^background° 其中，Vmax采用下式计算Vmax = (1+ ω) min (mean (Vsamples))，(5)这里，ω为用户指定的权值，Vsample为采样点的颜色向量。5、本发明在实施时，涉及到一些参数的取值，根据我们的实验，以下参数值可获得较好的着色效果ω = 0. 1 (公式5)。本发明的运行环境如下支持Windows98、Windows 2000、Windows XP环境，IG内存以上配置的微机。
权利要求
1.一种基于块的快速图像混合方法，其特征是，包括以下步骤1)纹理分析将每个样本图像划分成NXN的规则网格的块，建立每个位置的候选集；2)基于块的纹理合成在当前位置的候选中找到其边界区域与当前合成图像的边界区域最吻合的块，同时，由于很多图像具有较强的结构性，在合成过程中需要考虑到纹理整体结构特征的约束；3)边界优化由于合成阶段产生的候选块的重叠区域不一定完全吻合，导致边界周围的颜色差异较大，采用泊松编辑技术对边界进行融合处理；4)去模糊处理泊松编辑产生的边界容易模糊，采用去模糊处理方法进一步优化算法。
2.如权利要求1所述的方法，其特征是，纹理分析具体为将每个样本划分成NXN的规则网格的块，每个块的大小相同，块与块之间有重叠的部分，为块大小的1/4到1/6，在为每一个位置选择候选集的时候，需要在每个样本图像的相应位置附近寻找候选者，进一步具体如下记块的高度和宽度分别为H和W，由于除每个样本的第一个块，每个块都会有左邻居或上邻居，那么它和相邻块的重叠部分的大小可能是HX w，或者WXh，其中w是和左邻居重叠部分的宽度，h是和上邻居重叠部分的高度，则对于每一个位置，对于所有样本图像在该位置周围的等大的区域内，把所有大小为HXW的块放入该位置的候选集vpos，将这个区域大小设为S = (H+2h) X (ff+2w)，(1)能够在候选集的多样性和建立候选集的速度上达到平衡。
3.如权利要求1所述的方法，其特征是，基于块的纹理合成具体为搜索合成过程中最重要的环节，即在当前位置的候选集u%。s中找到其边界区域与当前合成图像的边界区域较吻合的块，利用kd-tree结构搜索当前合成图像的边界区域在当前位置的k个最近邻居，然后随机选择一块复制到结果图像对应位置上，此时的边界又发生了变化，按照此步骤，直到完成输出图像。
4.如权利要求1所述的方法，其特征是，边界优化是采用泊松编辑技术对边界进行融合处理，具体算法如下将计算图像的梯度[dx，dy]在块与块之间的重叠部分进行羽化处理，即dx = α X dx^ (1- α ) X dx2, 0 < = α < = 1 ⑵其中，α为混合系数，(1\和Ck2分别为两个待处理的梯度值，由此，找一个梯度与合成图像梯度最接近的图像可转化为求解如下泊松方程 Af= Ag,(3)其中，Δ是拉普拉斯算子，f代表目标图像函数，g代表源图像函数。同时，令边界条件为median(f) = median (g),(4)这里，median (f)和median (g)分别代表f和(g)的中值。
5.如权利要求1所述的方法，其特征是，去模糊处理具体如下记V—ω为图像背景区域的颜色向量；Vblumd(r)和Vmax(r)分别为模糊区域的颜色向量及颜色向量的最大值，如果Vbadtgraund(r) > Vblurred(r) > Vfflax(r)，那么让Vblumd =Vba。kgr_d，其中，Vmax采用下式计算Vmax = (1+ ω) min (mean (Vsamples))， (5)这里，ω为用户指定的权值，Vsample为采样点的颜色向量。
全文摘要
本发明涉及图像处理、特效制作、虚拟现实等。为提供一种快速图像混合方法，利用少量的图像样本在普通个人电脑上快速合成大量新的图像，能够自然地融合具有较大色差的样本图像，还能克服基于块的纹理合成在处理结构复杂的图片时不够精细的问题，为达上述目的，本发明采取的技术方案是，基于块的快速图像混合方法，包括以下步骤1)纹理分析将每个样本图像划分成N×N的规则网格的块，建立每个位置的候选集；2)基于块的纹理合成；3)边界优化；4)去模糊处理；本发明主要用于图像处理。
文档编号G06T11/40GK102214362SQ201110107819
公开日2011年10月12日 申请日期2011年4月27日 优先权日2011年4月27日
发明者刘世光, 吴婧婷 申请人:天津大学