一种基于结构引导的图像纹理迁移方法与流程

本发明属于计算机视觉和图形学领域，涉及纹理迁移方法，尤其涉及一种基于结构引导的图像纹理迁移方法，包含纹理的结构信息且能够依据用户意愿控制图像纹理风格、形态和位置。

背景技术：

纹理迁移技术作为计算机视觉和图形学领域的一个研究热点，能够根据样图自动生成风格化的纹理。针对该内容，工业界和学术界均提出了一系列有效的纹理迁移方法，其主要分为传统纹理迁移方法和基于神经网络的纹理迁移方法。

传统纹理迁移方法主要基于传统纹理合成技术，通过加入具有风格化纹理的样图来提供素材资源。代表方法有基于图像类比的纹理合成方法，该方法以输入图与其对应风格图为图像对，依赖于图像对的通用有效性，通过分析并学习输入图像对中两幅图像的关系，并将此关系运用到目标图像对中，从而实现图像的风格化迁移。但该方法不能有效处理具有显著结构信息的纹理，在合成中没有对传播方向进行控制，容易造成内部纹理错乱，使得结构信息丢失。且该方法无法让用户控制合成纹理的形态、位置等，不具备用户交互性。

基于神经网络的纹理迁移技术，将风格迁移问题看作能量最小化的过程，将包含艺术风格的图片作为风格图，将要处理的图片作为内容图。寻找一幅与内容图和风格图都最为接近的特征图，该特征图基于卷积神经网络vgg模型进行提取。卷积神经网络的本质便是对图像特征的逐层抽象表达，多次的卷积变换使图像的特征愈加稳定，因而低层次的偏向于点线特征，高层次的更偏向于具有强稳定性和语义性的高级特征。随机初始化图像(或直接使用内容图)，不断迭代优化并反向传播使得输出结果逐渐细化直至满足要求。这种方法能够依据艺术画作生成具有相似风格的图像，但是，基于神经网络的纹理迁移方法适用范围小，仅适合于抽象的艺术画作，而不能很好地处理真实拍摄的图像或写实主义图片，使得真实图像迁移后的结果图包含大量的底层噪声，并且这种方法类似于一个黑盒操作，无法控制生成过程，使得生成结果有更多不可预测性，难以控制其细节上合成，从而难以生成高质量的图片。

技术实现要素：

针对目前现有技术中存在的结构信息丢失、不具备用户交互性和合成图像质量低等一系列问题，本发明提供了一种基于结构引导的图像纹理迁移方法，该方法通过显著性信息检测及结构信息定义，对图像内部的显著性结构信息进行提取，然后利用语义色块的边缘关键点匹配结果，进行内部像素点的稠密对应关系映射，从而将素材图中的结构纹理映射到目标图中完成结构信息传播，最后利用传播后的结构信息图、语义引导图和素材风格图共同引导目标风格图的生成。本发明方法通过显著性结构纹理引导的方式解决了目标风格图中结构信息丢失的问题，通过语义引导项为用户提供了控制纹理形态、位置的接口，解决了用户交互性的问题，通过改进的最近邻搜索匹配方法提高了生成图片质量。

本发明提供的技术方案是：

一种基于结构引导的图像纹理迁移方法，所述纹理迁移方法输入包含素材语义图、素材风格图和目标语义图的一组样图，通过显著结构信息提取、结构信息传播、引导性的纹理合成等步骤，使得纹理迁移后仍能保持内部结构信息、底层细节信息，由此自动生成与目标语义图内容一致且具备素材风格图的纹理风格的图像，称为目标风格图。具体包括如下步骤：

a.输入一组样图，该组样图包含素材语义图、素材风格图和目标语义图；

其中，素材风格图是一幅包含风格纹理的图像，素材语义图是素材风格图在语义层面上的色彩遮罩，两者内容对齐；目标语义图是由用户创建的、与素材语义图具有相似语义的、形状大小位置可控的色彩遮罩；依据目标语义图和素材语义图的相关性，将自动生成与目标语义图内容一致且具备素材风格图的纹理风格的图像，称为目标风格图，即最后的输出结果。

b.提取素材风格图的显著性结构信息，通过显著性检测对图像中各个像素点的显著度进行计算，将满足结构信息定义的像素点标注为显著性点，得到素材风格图中的显著性结构信息。

c.创建目标结构图：依据素材语义图和目标语义图的形状相似性，找到一个平面变换关系，将素材风格图中的具备显著结构信息的像素点映射到新图像中，该图像定义为目标结构图。

素材语义图和素材风格图是对齐的，根据素材语义图和目标语义图的色块轮廓关键点匹配关系，把色块内部的像素点从素材映射到目标中，构建素材与目标之间一些位置(像素点)的对应，把素材风格图中显著性点映射到一个新图像中，新图像就是目标结构图。

d.建立目标函数，目标函数由不同权重的语义引导项、结构引导项和纹理相干项构成。

e.纹理合成优化，将纹理合成过程看作一个最优化问题，以多尺度方式在每个尺度上利用最大期望值算法不断迭代优化目标函数，交替执行最近邻搜索和目标风格图重建两个步骤，直至收敛，即完成图像纹理迁移，得到具备素材风格的目标风格图。

针对上述纹理迁移方法，进一步地，步骤b中提取素材风格图的显著性结构信息，具体包括如下步骤：

b1.利用文献(s.goferman,l.zelnik-manor,anda.tal.context-awaresaliencydetection.ieeetransactionsonpatternanalysisandmachineintelligence,34(10):1915–1926,2012.)记载的具有内容意识的显著性检测方法，分别对素材风格图和素材语义图进行计算，得到素材风格图的显著性图和素材语义图的的显著性图。

b2.通过对素材风格图的显著性图msty与素材语义图的显著性图msem进行减法运算，通过公式msty-lmsem得到新的显著性图，l为控制色块边缘显著度的常数，取值为10，将新的显著性图中显著度大于某设定阈值的像素点记为包含结构信息的显著性点，以二值图的形式初始化显著性结构信息遮罩，各个像素点初始值均为0，将上述显著性点对应位置标识为1。

针对上述纹理迁移方法，进一步地，步骤c所述建立目标结构图，素材风格图与目标结构图之间进行结构信息的传播，具体包括如下步骤：

c1.轮廓关键点匹配，素材语义图和目标语义图均由多个色块组成，相同颜色色块对应同种语义信息，对素材语义图和目标语义图中的对应色块进行轮廓像素点匹配，取轮廓上按照曲率由高到低排序的前nc个点作为轮廓关键点，关键点nc的取值由轮廓点的总个数决定，一般范围为(5,20)。

c2.稠密关系映射，利用素材语义图中和目标语义图中轮廓关键点的对应关系，模拟一个弹性平面变换，将素材风格图中的显著性点映射到目标结构图中，从而完成显著性结构信息的传播。

更进一步地，步骤c1中轮廓像素点匹配采用一致性点漂移算法coherentpointdrift(cpd)，即一种基于高斯混合模型的点集匹配算法。

更进一步地，步骤c2中依据轮廓关键点匹配关系，计算平面变换，完成内部稠密关系映射，采用薄板样条插值算法进行变换。

针对上述纹理迁移方法，进一步地，步骤d所述建立目标函数过程。具体包括如下步骤：

d1.建立语义引导项，语义引导项用于施加用户对风格纹理形态、位置的控制，通过计算素材语义图的图像块与目标语义图的图像块在rgb空间上的l2范式得到。

d2.建立结构引导项，结构引导项用于约束目标结构图中图像块与实时合成的目标风格图中图像块的相似性，且该项只对具有显著结构信息的像素点有效，其中的目标结构图步骤c得到。

d3.建立纹理相干项，纹理相干项控制目标风格图中生成的纹理与素材风格图中纹理风格相一致，使得风格纹理具有连续性，通过计算素材风格图的图像块与目标风格图的图像块在rgb空间上的l2范式得到。

d4.将语义引导项、结构引导项和纹理相干项加权构成目标方程，语义引导项和结构引导项的权重分别为λ1、λ2，纹理相干项不设置权重变量，故系数默认为1，λ1随着迭代次数增多逐渐下降，变化范围从常数β下降到0，λ2的取值与素材语义图和目标语义图中语义块的形状相似性成正相关，相关关系为指数相关。

针对上述纹理迁移方法，进一步地，步骤e所述纹理合成优化过程。具体包括如下步骤：

e1.引导性的初始化，在目标风格图的初始化阶段，使用目标结构图提供先验知识，将目标结构图中的显著结构点直接映射到目标风格图的对应位置，目标风格图的非显著结构点随机初始化，得到初始目标风格图(最粗尺度目标风格图)；在更细一级尺度上优化时，该级初始目标风格图为更粗一级合成结果进行上采样得到。

e2.引导性的最近邻搜索，对目标结构图进行多尺度计算，得到各个尺度下的目标结构图，用于引导各尺度上的优化合成；同时采用一种改进的patchmatch算法，在原有算法基础上，采用全新的执行规则，利用矩阵运算在每个像素点上同时运算以进行传播和随机搜索，在匹配时加入图像块的几何变换以获得空间拓展，使得快速得到高质量的纹理合成结果。

e3.目标风格图重建，依据素材风格图和目标风格图中像素点的对应匹配结果进行目标风格图重建，目标风格图中每个像素点的rgb值为所有覆盖该像素点的图像块对应的最优匹配块在该点的加权平均值，且权值依赖于能量值，能量越低，权重越高。

与现有技术相比，本发明的有益效果是：

本发明提供一种纹理迁移方法，该纹理迁移方法通过提取并传播显著结构信息，利用预映射的目标结构图引导纹理合成过程，实现了有结构意识的纹理迁移，保留了生成图像的结构信息和细节特征，解决了目标风格图中结构信息丢失的问题。

本发明通过引入语义信息图，使得用户能够通过语义图标注需要迁移的纹理及其要迁移到的位置、形态，提高了纹理迁移任务中的用户交互性。

本发明通过改进的最近邻搜索方法，定义全新的执行规则，利用矩阵运算，极大的提高了运行速度，同时拓展了图像块的仿射变换空间，能够提供更加丰富的素材块，提高了生成图像的质量。

附图说明

图1是本发明提供方法的流程框图。

图2是本发明实施例的输入与输出效果图；

其中，(a)为输入的素材语义图；(b)为输入的素材风格图；(c)为输入的目标语义图；(d)为自动生成的目标风格图。

图3是本发明实施例中显著结构信息提取的示意图，包含结构提取两个样例的效果；

其中，(a)为样例1的素材语义图；(b)为样例1的素材风格图；(c)为针对样例1的素材语义图提取的显著性图；(d)为针对样1的素材风格图提取的显著性图；(e)为样例2的素材语义图；(f)为样例2的素材风格图；(g)为针对样例2的素材语义图提取的显著性图；(h)为针对样2的素材风格图提取的显著性图；(i)为样例1的显著性结构信息遮罩；(j)为样例2的显著性结构信息遮罩。

图4是本发明实施例中结构信息传播示意图；

其中，(a)为素材语义图；(b)为目标语义图；(c)为素材结构图；(d)为目标结构图。

图5是本发明实施例中目标结构图在多尺度上的效果图。

图6是本发明实施例对多个图像进行纹理迁移的结果示例；

其中，(a)列为输入样例中的素材风格图与素材语义图；(b)列为输入样例中的目标语义图；(c)列为目标风格图，即输出结果。

图7是本发明实施例对多种素材图风格进行纹理迁移的结果示例；

其中，(a)为样例1输入的素材风格图；(b)为样例2输入的素材风格图；(c)为样例3输入的素材风格图；(d)为输入的目标语义图；(e)为样例1的目标风格图；(f)为样例2的目标风格图；(g)为样例3的目标风格图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供了一种基于结构引导的图像纹理迁移方法，该方法通过显著性信息检测及结构信息定义，对图像内部的显著性结构信息进行提取，利用语义色块的边缘关键点匹配结果，进行内部像素点的稠密对应关系映射，从而将素材图中的结构纹理映射到目标图中完成结构信息传播，最后利用传播后的结构信息图、语义引导图和素材风格图共同引导目标风格图的生成。

本发明方法的流程如附图1所示，一个具体实施例如下：

1)以素材语义图、素材风格图和目标语义图作为输入，目标风格图作为输出，输入及输出结果如图2所示；

2)对输入的素材风格图进行显著性结构信息提取；

2-a)利用有内容意识的显著性检测方法分别对素材语义图和素材风格图中每个像素点进行显著度计算，得到二者的显著图，分别记为msem和msty；

2-b)利用式1计算得到结构信息遮罩mstruct

其中，p为结构信息遮罩mstruct中的像素点；l为边缘显著度系数，取值为1；δ为显著性阈值，取值范围为(0,1)。

结构信息遮罩mstruct以二值图的形式进行表达，将图中大于显著性阈值δ的像素点记为包含结构信息的显著性点，在mstruct中记为1，否则为0。图3为包含两个样例的结构信息提取示意图。将结构信息遮罩施加于素材风格图，即对应位置在mstruct中为1的像素点的rgb值保留，其余点rgb归零，从而得到素材结构图mstruct，完成显著性结构信息提取；

3)将素材风格图中的结构信息传播到目标中，获得目标结构图，如附图4所示；

3-a)轮廓关键点匹配，采用一致性点漂移(coherentpointdrift,cpd)算法对素材语义图和目标语义图中对应的色块进行轮廓像素点匹配，取轮廓上按照曲率由高到低排序的前nc个点作为轮廓关键点，关键点nc的取值由轮廓点的总个数决定，一般范围为(5,20)。

3-b)稠密关系映射，依据轮廓关键点匹配结果，模拟一个弹性平面变换ψ:²→²，采用薄板样条插值(thinplatesplines,tps)算法将素材结构图中的显著性点映射到目标结构图中,目标结构图中的显著性点集合其中sp是素材结构图中的显著性点，是映射后目标结构图中的显著性点，为匹配点对，目标结构图tstruct计算如下：

其中，tstruct(q)为目标结构图tstruct中的像素点q，sstruct(sp)为素材结构图sstruct中的显著性点sp，ω'struct为目标结构图中的显著性点的集合。

4)建立目标方程；

4-a)建立语义引导项，语义引导项用于施加用户对风格纹理形态、位置的控制，通过计算素材语义图的图像块与目标语义图的图像块在rgb空间上的l2范式得到，表示为式3：

esem(p,q)＝||tsem(nq)-ssem(f(np))||²(式3)

其中，np为以像素点q为中心坐标且大小为5×5的图像块，本方法中的图像块大小均为5×5；tsem(nq)为目标语义图中以像素点q为中心坐标的图像块，ssem(f(np))为素材语义图中以像素点p为中心坐标且经过几何变换的图像块，通过几何变换f可计算np中每个像素点i变换后的坐标，计算方法为式4：

其中，旋转矩阵镜像参数γ∈{1,-1}，为图像块中第i个像素点与中心坐标p的相对坐标。

4-b)建立结构引导项，结构引导项用于约束目标结构图中图像块与实时合成的目标风格图中图像块的相似性，且该项只对具有显著结构信息的像素点有效，表达形式如下

其中为以像素点q为中心坐标的图像块中第i个像素点(按照从上到下、从左到右的点阵扫描顺序)，为目标结构图中以像素点q为中心坐标的图像块的第i个像素点，为目标风格图中以像素点q为中心坐标的图像块的第i个像素点，为图像块中第i个像素点是否为具有显著性结构信息的点，定义为

其中，当目标结构图中以像素点q为中心坐标的图像块的第i个像素点属于目标结构图中显著性点集合ω'struct时，记为1，反之，记为0。

τ(nq)为图像块中具有显著性结构信息点的个数，定义为

其中，为图像块中第i个像素点是否为具有显著性结构信息的点的0-1值。

4-c)建立纹理相干项，纹理相干项控制目标风格图中生成的纹理与素材风格图中纹理风格相一致，使得风格纹理具有连续性，通过计算素材风格图的图像块与目标风格图的图像块在rgb空间上的l2范式得到，表达形式如下

ecor(p,q)＝||tsty(nq)-ssty(f(np))||²(式8)

其中，np为以像素点q为中心坐标且大小为5×5的图像块，tsty(nq)为目标风格图中以像素点q为中心坐标的图像块，ssty(f(np))为素材风格图中以像素点p为中心坐标且经过几何变换的图像块，几何变换f定义同式3。

4-d)三个引导项加权构成目标方程，将纹理合成过程看作一个能量最优化问题，建立目标函数，目标函数包含语义引导项esem、结构引导项estruct和纹理相干项ecoh三个引导项，目标函数表达如下

λ1、λ2为权重系数，分别定义为

其中，ts和te分别为迭代系数t的初始值和终止值，β为控制语义引导项最高权重的常数，可设置为100，λ1随着迭代次数的增加从β降到0；为素材语义图中的轮廓关键点cp与目标语义图中的轮廓关键点的匹配结果，即轮廓关键点匹配点对，为轮廓关键点匹配点对之间的距离，表征了轮廓匹配的相似度；ω'con为目标语义图中的轮廓关键点的集合，|ω'con|为集合ω'con中像素点的个数。

5)纹理合成优化，该优化过程在多尺度上依次进行，由低分辨率到高分辨率图像逐渐合成。每一尺度下，利用最大期望值算法迭代优化目标函数，交替执行最近邻搜索和目标风格图重建两个步骤，直至收敛；

5-a)引导性的初始化，在最粗尺度目标风格图的初始化阶段，不再采用随机初始化，而是使用目标结构图提供先验知识，将目标结构图中的显著结构点直接映射到目标风格图的对应位置，目标风格图的非显著结构点随机初始化；在更细一级尺度上优化时，初始目标风格图为更粗一级合成结果进行上采样得到。

5-b)引导性的最近邻搜索，对目标结构图进行多尺度计算，得到各个尺度下的目标结构图用于引导各尺度上的优化合成，目标结构图在多尺度上的效果图如图5所示；同时采用一种改进的patchmatch算法，不同于原有patchmatch算法中对目标图像中每个像素按照扫描顺序(从上到下、从左到右)依次进行处理，为其在素材图像中搜索最为匹配的图像块，，而是采用全新的执行规则，利用矩阵运算建立与目标图像同规格的能量矩阵，使得每个像素点可以同时运算以进行传播和随机搜索，并在匹配时加入素材图像块的几何变换以获得空间拓展，使得快速得到高质量的纹理合成结果。

5-c)目标风格图重建，依据素材风格图和目标风格图中像素点的对应匹配结果进行目标风格图重建，目标风格图中每个像素点的rgb值为所有覆盖该像素点的图像块对应的最优匹配块在该点的加权平均值，且权值依赖于能量值，能量越低，权重越高。

图6是本发明实施例对多个图像进行纹理迁移的结果示例；图7是本发明实施例对多种素材图风格进行纹理迁移的结果示例。结果表明，本发明所述的方法能够在用户控制下，进行有结构意识的纹理迁移，有效地保留了生成图像的结构信息和细节特征，生成高质量的纹理迁移图像。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。