一种基于笔画合成的图像风格迁移合成方法
【专利摘要】本发明公开了一种基于笔画合成的图像风格迁移合成方法，包括以下步骤：步骤(1)，对用户输入的目标图像进行图像分割，得到一组图像区域；步骤(2)，根据步骤(1)的图像区域，对分割后的目标图像的各区域进行笔画设置；步骤(3)，对样本图像进行特征分析，进行基于不规则四边形的笔画迁移合成得到结果图像；步骤(4)，将目标图的颜色信息传递给结果图，得到保留原图颜色信息的结果图。
【专利说明】一种基于笔画合成的图像风格迁移合成方法
【技术领域】
[0001]本发明涉及计算机图像处理和计算机图形学【技术领域】，特别是基于笔画合成的图像风格迁移合成方法。
【背景技术】
[0002]图像的风格化绘制已成为非真实感绘制的一个研究热点，其可以通过对图像内容的识别和解析，依据多种类型艺术创作的艺术理念和艺术准则，模拟各类艺术风格的手工绘制过程和效果。近年来，国内外的研究者从不同的研究角度出发提出了很多卓有成效的方法，根据出发点的不同，概括起来，其中代表性的方法大致可以分为两类:一类是基于模拟的绘制技术(Simulat1n-based),其致力于模拟真实的绘画创作过程,通过在画布上叠加各种颜色、尺寸的笔画来获得不同风格的结果图，如文献IHertzmann A.Fast PaintTexture.Proceedings of the 2nd internat1nal symposium on Non-photorealisticanimat1n and rendering, 2002.91-96.和文献2 Zeng K, Zhao M, X1ng C, Zhu S C..Formimage parsing to painterly rendering.ACM Trans.Graph.2009.29 (I), 2:1-2:11.等介绍的，该类方法属于一种临摹式的绘制方式，虽然能够很好的体现绘画创作过程，但在其绘制框架中，不同风格艺术作品通常由一些封装好的绘制参数决定。如果希望得到喜爱的风格，用户必须对这些绘制参数的含义有较好的理解，通过反复调整这些参数，得到个性化的绘制结果。这对于用户来说，操作过于复杂。另一类是基于样本风格迁移的绘制技术(Example-based),它多通过纹理合成的方法模拟给定样图的风格特征等,使结果不仅能够保持目标图像本身的内容还能够具有样图的绘制风格。如文献3 Lee H., Seo S., Ryoo
S.，et al..Direct1nal texture transfer.Proc.Non-photorealistic Animat1n andRendering.ACM 2010.43-48.和文献 4 Huang H.，Zang Y.，Li C.F., Example-basedpainting guided by color features.The Visual Computer.2010, 26(6-8):933.等介绍的，该类方法通过为用户提供各种不同类型的已有风格模板，将用户选择的样本风格迀移到目标图像上。
[0003]基于模拟的绘画技术主要从笔画属性定义、笔画布置策略以及笔画方向设计三方面来模仿画家的创作过程。在发展初期，对笔画的定义以及笔画布置策略的设计成为诸多研究关注的重点，如何自动布置笔画、渲染笔画是这方面的主要研究工作；随着这二个方面研究的逐渐成熟，如何生成更自然、逼真的艺术作品渐渐成为研究者追求的新目标，而由于笔画的方向在视觉上的显著性，模拟更自然、更贴近现实艺术作品的笔画走向，逐渐也成为了新的研究热点。基于模拟的绘画技术属于一种临摹式的绘制方式，虽然能够很好的体现绘画创作过程，但在其绘制框架中，不同风格艺术作品通常由一些封装好的绘制参数决定。如果希望得到喜爱的风格，用户必须对这些绘制参数的含义有较好的理解，通过反复调整这些参数，得到个性化的绘制结果。这对于用户来说，操作过于复杂。
[0004]基于样本风格迁移的绘制技术通过为用户提供各种不同类型的已有风格模板，让计算机照着这个模板风格进行绘制，通过不同的学习模板和学习方法，用户被允许对作品进行更广泛的设计。
【发明内容】
[0005]发明目的:本发明所要解决的技术问题是针对现有技术的不足，提供一种基于笔画合成的图像风格迁移合成方法。
[0006]技术方案:为了解决上述技术问题，本发明公开了一种基于笔画合成的图像风格迁移合成方法，该方法用于将样本图像的风格迁移到目标图像上，得到结果图像，包括以下步骤:
[0007]步骤(I)，对用户输入的目标图像进行图像分割；
[0008]步骤(2)，根据步骤(I)的分割结果，对分割后的目标图像的各区域进行笔画设置；
[0009]步骤(3)，对样本图像进行特征分析，进行基于不规则四边形的笔画迁移合成；
[0010]步骤(4)，将目标图的颜色信息传递给结果图，得到保留原图颜色信息的结果图。
[0011]本发明步骤(2)中，根据对目标图像进行图像分割的结果，对分割后的目标图像的各区域进行笔画设置，具体步骤为:
[0012]步骤(21)，根据目标图像的图像分割结果和求得的各区域的轮廓情况，对区域边界笔画进行设置；
[0013]步骤(211)，设置区域边界笔画方向；
[0014]步骤(212)，设置区域边界笔画宽度；
[0015]步骤(213)，设置区域边界笔画长度；
[0016]步骤(22)，根据目标图像的图像分割结果和求得的各区域的轮廓情况，对区域内部笔画进行设置；
[0017]步骤(221)，设置区域内部笔画方向；
[0018]步骤(222),设置区域内部笔画宽度；
[0019]步骤(223),设置区域内部笔画长度。
[0020]本发明步骤(3)中，用户选择不同的区域作为输入并进行基于笔画的迁移合成。首先对输入的样本图像进行特征分析，以获得高层风格信息，然后将待合成的空笔画分割为多个不规则的四边形，利用所得特征将笔画迁移合成问题转化为各四边形的在样图中的匹配搜索问题，建立一个一致性衡量问题的能量方程，并根据相似块偏移量统计方法优化此能量方程，求解出能量最小值，以完成各空笔画的优化合成，具体步骤为:
[0021]步骤(31)，对选定的样本进行高层特征的分析，分析选定样本的笔画走向、纹理特征以及颜色特征等；
[0022]步骤(32)，基于不规则四边形对空笔画进行优化迁移合成；
[0023]步骤(321)，根据已求得的笔画宽度和长度等信息，将各待合成的空笔画分割为多个不规则的四边形；
[0024]步骤(322)，构建合成优化函数，根据样本图像的笔画走向、纹理特征以及颜色特征为每个四边形在样本图像上寻找匹配的四边形，将搜索匹配问题作为一致性衡量问题处理；具体为:
[0025]计算第i个待合成四边形Pi的笔画走向与水平方向的夹角a i ;计算样本图像的笔画走向与水平方向的夹角β，将样本图像以右上角为旋转中心按逆时针旋转(c^-β)度。为每个四边形在旋转后的样本图像中搜索纹理特征LBP值和颜色特征RGB值最优匹配的四边形。搜素匹配过程可以看作为一致性衡量(coherence measure)问题。
[0026]所述能量方程为:
[0027]^vuhere = [ mill — R\\
Box€SK~il
[0028]其中，为一致性衡量的量度值，S为步骤(32)中定义的空笔画，Ω为用户选定的样本区域，Box为连接相邻四边形的三角区域，R为在Ω内搜索到的与Box的匹配区域；
[0029]步骤(323)，根据相似块偏移量统计思想，优化步骤(322)中能量方程；
[0030]所述能量方程为:
[00311 ifIVhere = Σ.1)—伽.V(X + off set j 川 2
χΖ^?ββ%€?￡--
[0032]其中，S为步骤(32)中定义的空笔画，Ω为用户选定的样本区域，offset为偏移量，Offseti是第i个三角区域Box(X)和其最优匹配区域Box(X+offsetJ之间的偏移量，Box (X)为中心在坐标X，大小为3*3的三角区域；
[0033]对所有设定的空笔画采用上述步骤优化合成后，便可完成目标图像的风格迁移，得到结果图像。
[0034]本发明步骤(4)包括以下步骤:
[0035]步骤(41)，根据全局色彩传递方法，将目标图像的颜色信息传递给结果图像，得到保留原图颜色信息的结果图像。具体为:
[0036]全局色彩传递方法为将目标图的整体颜色统计信息传输至结果图，达到改变结果图
[0037]色彩的目的。本实施中，首先计算目标图S和结果图T所有像素在1，α，β三个通道的均值Γ，as, βΜ\ Qt, f以及目标图和结果图的标准差σ Λ σ as，σ /，O1S σ /，σ / ;然后从目标图中移走均值，将剩余部分按照标准差的比值缩放，最后加入结果图的均值得到保留原图颜色信息的结果图像，其变换公式为:
[0038]I* = ( σ χ7 σ 严)I，+It
[0039]a* = ( σ a V σ a s) a J + a 1
[0040]β* = (σ //σ /) β，+ ^t
[0041]I， = 10-1s
[0042]a，= a 0- a s
[0043]β，= β 0-β s
[0044]其中，1。，α0, β。为结果图单个像素在1，a , β三个通道的初始值。1*，a *，β *为结果图单个像素变换后新的值。
[0045]有益效果:本发明的图像风格迁移合成方法与现有图像风格迁移合成方法相比优点在于:用户可将输入样图作为调色板，根据自己的喜好以笔画为构造元素完成目标图像的风格迁移；在输入任意形状、大小样本的情况下，在无需对样本进行形变等特殊处理前提下，通过分析和提取样图表达的高层风格特征，便能够自动合成连续、无缝、随机性强，并具有输入样本特征的平滑笔画曲线。
【专利附图】
【附图说明】
[0046]下面结合附图和【具体实施方式】对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
[0047]图1为本发明空笔画分割示意图。
[0048]图2为本发明主要流程图。
[0049]图3a和图3b为实施例输入样本图像以及目标图像示意图。
[0050]图4为风格迁移合成结果示意图。
[0051]图5为合成结果示意图。
【具体实施方式】
[0052]本发明涉及一种图像风格迁移合成方法，该方法将输入的样图作为调色板，并对其进行风格特征的分析，然后利用所得特征将笔画迁移合成问题转化为各四边形的在样图中的匹配搜索问题，建立一个一致性衡量问题的能量方程，并根据相似块偏移量统计方法优化此能量方程，求解出能量最小值，以完成目标图指定区域内所求得的笔画曲线的风格迁移合成，再将目标图的颜色信息传递给结果图，最终所得结果即为与样图有相同绘画风格的结果图。本发明的方法能够高效、自动地完成目标图像的个性化艺术风格迁移。
[0053]如图1所示，本发明中:对于空笔画的分割，将各待合成的空笔画分割为多个四边形，定义当前待合成空笔画S，求得S沿笔画方向内外二条轮廓线T和B，沿内外二条轮廓线等距离采样，将待合成空笔画S分割成多个小四边形，定义所分割的四边形为Pi,则其坐标可定义为((Txi，Tyi)，(Bxi, Byi), (Txi+1，Tyi+1)，(Bxi+1，Byi+1))，其中 Ixi = i，yi = i}。
[0054]如图2所示，本发明包括以下步骤:
[0055]步骤(I)，对用户输入的目标图像进行图像分割；
[0056]步骤(2)，根据步骤⑴的分割结果，对分割后的目标图像的各区域进行笔画设置；
[0057]步骤(3)，对样本图像进行特征分析，进行基于不规则四边形的笔画迁移合成；
[0058]步骤(4)，将目标图的颜色信息传递给结果图，得到保留原图颜色信息的结果图。
[0059]更具体地说，本发明对用户输入的目标图像和样本图像，采用基于笔画合成的迁移合成方法将样本图像的风格传递到目标图像上。首先用户输入目标图像，对目标图像进行图像分割。是对分割所得的目标图像各区域进行笔画设置，根据分割所得区域信息求取各笔画的方向、大小和长度等描述信息。对设定的笔画进行风格迁移合成。将具有一定风格的输入样本图像作为调色板，用户在样图上选取任意区域作为笔画合成的输入模式，对用户选取的区域或边界进行了高层的特征分析。利用所获得的风格样图特征，基于合成思想，通过设定合理的优化函数实现了各笔画的风格迁移。将目标图的颜色信息传递给结果图，得到保留原图颜色信息的结果图。
[0060]实施例
[0061]下面根据实施例说明本发明的各个步骤。
[0062]步骤(I)，对用户输入的目标图像进行图像分割。
[0063]对图3b所示的输入目标图像，本实施例釆用文献5 Limj Joseph J.，C.Lawrence Zitnickj and P1tr Dollar."Sketch tokens: A learned mid-levelrepresentat1n for contour and object detect1n."Computer Vis1n and PatternRecognit1n(CVPR)，2013 IEEE Conference on.1EEE, 2013.提出的方法对目标图像进行图像分割。
[0064]步骤(2)，根据步骤⑴的分割结果，对分割后的目标图像的各区域进行笔画设置。
[0065]本实施例根据目标图像的分割结果，在各区域边界以及区域内铺设了相应笔画。本实施例定义笔画为S，将其设为沿区域纹理走向Θ所确定的具有一定弧度的曲线，同时该曲线还具有一定宽度W、长度I以及相应的纹理信息t。可将模拟的相应笔画定义为如下形式 S= ( Θ，W，1，t)。
[0066]步骤(21)根据目标图像的图像分割结果和求得的各区域的轮廓情况，对区域边界笔画进行设置。
[0067]本实施例对目标图像进行区域分割后，根据求得的各区域的轮廓情况可以设置笔画的各个属性值。
[0068]步骤(211)设置区域边界笔画方向。
[0069]本实施例采用sketch tokens分割方法对目标图像进行区域分割，易求得各区域的轮廓情况，因此将边界笔画方向Θ设为所求区域轮廓走向。
[0070]步骤(212)设置区域边界笔画宽度。
[0071]本实施例笔画宽度w将根据用户需求进行设定，本文通过实验将边界笔画宽度设为5-6像素，因为笔画宽度选取太小将不利于笔画合成，选取太大则会使边界过于明显，整体效果将不协调。
[0072]步骤(213)设置区域边界笔画长度。
[0073]本实施例笔画长度I为区域轮廓长度。
[0074]步骤(22)根据目标图像的图像分割结果和求得的各区域的轮廓情况，对区域内部笔画进行设置。
[0075]本实施例还需设置区域内部的笔画信息，同样需设置笔画方向Θ、笔画宽度w以及笔画长度I等信息。
[0076]步骤(221)设置区域内部笔画方向。
[0077]本实施例借助所求得的矢量场方向Θ来设置笔画方向。对扫描线进行一定的形变，增加曲线模拟的控制点，进而通过3次B样条拟合来模拟艺术家绘制时候线条的自然弧度。
[0078]步骤(222)设置区域内部笔画宽度。
[0079]原理上用户可以设定任意宽度的笔画，但由于所设定的笔画宽度，将影响各区域内的笔画覆盖情况以及后续的笔画迁移合成计算。如笔画宽度过小则各区域覆盖笔画将过多，这不利于后续基于样图的笔画迁移合成计算；如笔画宽度过大则各区域覆盖笔画将过少，这将导致后续基于样图的笔画迁移合成结果的随机性降低。本实施例将笔画宽度w设定为14-20像素之间。
[0080]步骤(223)设置区域内部笔画长度。
[0081]本实施例笔画的长度与所需覆盖的区域相关，当利用上述笔画方向来确定生成笔画走向后，所拟合的形变扫描线将不能超过所需覆盖的区域边界，因此在区域内的拟合曲线长度I既为当前笔画的长度。
[0082]步骤(3)用户在如图3a所示的样本图像中选择不同的区域作为输入并进行基于笔画的迁移合成。首先对输入的样本图像进行特征分析，以获得高层风格信息，然后基于所求特征，沿所求得的各空笔画曲线进行优化合成。
[0083]步骤(31)，对选定的样本进行高层特征的分析，分析选定样本的笔画走向、纹理特征以及颜色特征等。
[0084]很多风格的形成与笔画走向、纹理特征以及颜色特征这些高层特征相关，合理利用这些高层特征将能更好的表达样图原有风格。本实施例在进行笔画迁移合成前，对选定的样本进行了高层特征的分析。
[0085]步骤(32)，基于不规则四边形对空笔画进行优化迁移合成。
[0086]步骤(321)，根据已求得的笔画宽度和长度等信息，将各待合成的空笔画分割为多个不规则的四边形。
[0087]步骤(322)，构建合成优化函数，根据选定样本的笔画走向、纹理特征以及颜色特征为每个四边形在样本图像上寻找匹配的四边形，将搜索匹配问题转化为一致性衡量问题。
[0088]步骤(323)，根据相似块偏移量统计思想，优化步骤(322)。
[0089]本实施例将各待合成的空笔画如图1所示分割为一些不规则的四边形，图1为当前待合成空笔画S,我们知道该笔画的方向为Θ，宽度为w,长度为I ;我们很容易求得S延笔画方向Θ内外二条轮廓线T和B，延内外二条轮廓线等距离采样，便可将待合成空笔画S分割成多个小四边形，设所分割的四边形为Pi，则其坐标可定义为((Txi，Tyi), (Bxi,Byi), (Txi+1, Tyi+1), (Bxi+1, Byi+1)),其中(Xi = i, Yi = i} o
[0090]为保持原样本的连续性，本实施例采用类似于纹理合成思想，要求块与块之间具有一定的重叠，为便于后续的匹配搜索，通过相邻四边形边界来确定重叠区域，以相邻块之间的边界为对角线生成连接二个小四边形的三角形Box，首先，由于已知分割所得各四边形的坐标信息，则很容易求得当三角形Box的坐标；另外，该三角形连接二个四边形，通过其进行匹配搜索将能保持合成区域的连续性。搜素匹配过程可以看作为一致性衡量(coherence measure)问题,可将当前笔画求取的能量方程定义为
「00911 “(vhere = [ mil! j--/?| |
L JIrtV6S(I)
[0092]其中，S为步骤(32)中定义的空笔画，Ω为用户选定的样本区域，Box为连接相邻四边形的三角区域，R为在Ω内搜索到的与Box的匹配区域。
[0093]有了上述能量方程，可以采用多种方法对其进行优化。本实施例利用块偏移思想能很好解决上述问题，只用少量的块偏移就可以反映出图像的特征分布情况，所以可以用来实现本文的匹配迁移过程。本实施例结合需解决问题的特点，进行改进，可将优化后的能量方程定义为γππγμ? ^cohere =niiU |.βο,\ (A ) ^ (X + <\f f Al
[0094]￡Ts0.tfseteil^
[0095]其中，S为步骤(32)中定义的空笔画，Ω为用户选定的样本区域，offset为偏移量，Offseti是Box (X)和其最优匹配块Box (X+offSeti)之间的偏移量，Box (X)为中心在X，大小为3*3的块。
[0096]在定义该能量方程后，本实施例为对于每个Box的最优匹配块将根据偏移量分布情况在用户选定的样本中获得。另外，根据所求得的每个Box坐标以及要合成四边形坐标之间的关系，能够很容易确定最终四边形区域内的信息。各四边形合成完毕后，就可以获得完整的笔画传递结果。完成所有笔画的迁移合成结果如图4所示。
[0097]步骤(4)将目标图的颜色信息传递给结果图，得到保留原图颜色信息的结果图。
[0098]本实施例采用的颜色信息为样图中原有的信息，所以迁移后的图片将不具有原图的颜色信息，而为了表现原图的颜色信息，我们还需将颜色进行迁移，颜色传递具体步骤如下:
[0099]步骤(41)，根据全局色彩传递方法，将目标图像的颜色信息传递给结果图像，得到保留原图颜色信息的结果图像如图5所示。
[0100]全局色彩传递方法为将目标图的整体颜色统计信息传输至结果图，达到改变结果图色彩的目的。本实施中，首先计算目标图和结果图各个通道的均值，目标图和结果图的标准差；然后从目标图中移走均值，将剩余部分按照标准差的比值缩放，最后加入结果图的均值得到保留原图颜色信息的结果图像。
[0101]下面将具体介绍算法每步的细节:
[0102]匹配搜索过程。本实施例合成过程相当于为每个四边形在样本图像上寻找匹配的四边形。由于待合成的笔画为曲线为了在保持纹理连续的前提下，获得与目标图原纹理方向一致的绘制笔画，需在每合成一个四边形时，将所选取的样本笔画延目标图像的纹理走向进行旋转，以保持样本笔画走向与笔画曲线走向一致。对于当前要合成的四边形Pi，我们首先计算所求得的笔画走向与水平方向的夹角，记为CIi ;然后为使样本笔画随该角度进行旋转变化，我们还需求取样本笔画纹理走向与水平线的倾斜角度β，该角度为样本笔画在原样图中最初方向与水平线的夹角；最后为使样本笔画走向与笔画曲线走向一致，我们将样本笔画以右上角为旋转中心按逆时针旋转(α「β)度，该旋转后的样本即为当前待合成四边形Pi接下来要完成匹配搜索的样本。我们对曲率变化比较大的笔画，为获得符合视觉效果的结构，对每一待合成四边形都需进行上述操作。
[0103]相似块偏移量统计。相似块偏移量统计基本思想为:先通过基于一定大小块来全局搜索各块匹配情况，再统计匹配块之间的偏移情况，最后利用这些块偏移量完成快速的图像修复。因为他们通过大量实验证明图像中的块偏移具有稀疏特性，并且用来求取偏移量的块大小不影响最终所获得的偏移量分布，另外只用少量的块偏移就可以反映出图像的特征分布情况，所以可以用来实现本实施例的匹配迁移过程。原方法求取各块之间的匹配时只采用每块中所包含像素点的颜色信息进行计算，对样图风格影响因素不仅包括颜色信息，还包括方向、纹理等高层信息，本实施例在块匹配搜索过程中考虑上述二个因素，进行了如下改进:搜索方向为在用户选定样本上所求得的矢量场方向；求取块之间匹配程度时，将所求的各像素点的纹理特征作为一维特征与颜色特征一起参与计算。
[0104]形成笔画迁移合成结果。在实际的合成过程中，还需注意以下二点。I)迁移合成目标图像边界笔画时，当边界为封闭曲线，所以在迁移合成笔画最后一个四边形时，我们采用2个Box来确定当前四边形区域内信息，本实施例将根据最后四边形左右二条边来设定相应的Box，并利用其进行搜素。2)迁移合成目标图像区域笔画时，采用从左向右、从上到下的合成顺序来合成笔画，为了保持笔画的连续性，在迁移合成中间笔画时，也要采用2个Box来确定当前四边形区域内信息，即当前合成区域信息要由与其相邻的已合成完二个区域信息来确定。合成四边形区域时，本实施例将利用该四边形的上边界和左边界来确定对应的Box，进行匹配搜索。
[0105]本发明提供了一种基于笔画合成的图像风格迁移合成方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本【技术领域】的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
【权利要求】
1.一种基于笔画合成的图像风格迁移合成方法，其特征在于，包括以下步骤: 步骤(I)，对用户输入的目标图像进行图像分割，得到一组图像区域； 步骤(2)，根据步骤(I)的图像区域，对分割后的目标图像的各区域进行笔画设置；步骤(3)，对样本图像进行特征分析，进行基于不规则四边形的笔画迁移合成得到结果图像； 步骤(4)，将目标图的颜色信息传递给结果图，得到保留原图颜色信息的结果图。
2.根据权利要求1所述的一种基于笔画合成的图像风格迁移合成方法，其特征在于， 步骤(2)中具体步骤为: 步骤(21)，根据目标图像的各区域和各区域的区域边界，对区域边界笔画进行设置； 步骤(211)，用户设置区域边界笔画方向； 步骤(212)，用户设置区域边界笔画宽度； 步骤(213)，用户设置区域边界笔画长度； 步骤(22)，根据目标图像的图像分割结果和求得的各区域的轮廓情况，对区域内部笔画进行设置； 步骤(221)，用户设置区域内部笔画方向； 步骤(222)，用户设置区域内部笔画宽度； 步骤(223)，用户设置区域内部笔画长度。
3.根据权利要求2所述的一种基于笔画合成的图像风格迁移合成方法，其特征在于，步骤(3)中，用户选择不同的区域作为输入并进行基于笔画的迁移合成；首先对输入的样本图像进行特征分析，以获得高层风格特征，然后将待合成的空笔画分割为多个不规则的四边形，利用所得高层风格特征将笔画迁移合成问题转化为各四边形的在样图中的匹配搜索问题，建立一个一致性衡量问题的能量方程，并根据相似块偏移量统计方法优化此能量方程，求解出能量最小值，以完成各空笔画的优化合成，具体步骤为: 步骤(31)，对样本图像进行高层特征的分析，分析选定样本的笔画走向、纹理特征以及颜色特征； 步骤(32)，基于不规则四边形对空笔画进行优化迁移合成； 步骤(321)，根据步骤(2)得到的笔画宽度和长度，将各待合成的空笔画分割为两个以上不规则的四边形； 步骤(322)，构建合成优化函数，根据样本图像的笔画走向、纹理特征以及颜色特征为每个四边形在样本图像上寻找匹配的四边形，将搜索匹配问题作为一致性衡量问题处理；所述能量方程为:
(ivahere = ￡ mill !|Λ?ν -1?| |2
UrtVGS^fcil， 其中，为一致性衡量的量度值，S为步骤(321)中定义的空笔画，Ω为用户选定的样本图像区域，Box为连接相邻四边形的三角区域，R为在Ω内搜索到的与Box的匹配区域； 步骤(323)，根据相似块偏移量统计方法，优化步骤(322)中能量方程； 所述优化能量方程为:
^cohere = Tl mm 1 \B<niX ) _ Bd\(X + "/7—ΛΠ/)|Γ
Χ€5ο/ρα￡￡?.--., 其中，offset为偏移量，Offseti是第i个三角区域Box(X)和其最优匹配区域Box (X+offSeti)之间的偏移量，Box (X)为中心在坐标X，大小为3*3的三角区域； 对所有设定的空笔画采用上述步骤优化合成后，便完成目标图像的风格迁移，得到结果图像。
4.根据权利要求3所述的一种基于笔画合成的图像风格迁移合成方法，其特征在于，步骤⑷包括以下步骤: 步骤(41)，根据全局色彩传递方法，将目标图像的颜色信息传递给结果图像，得到保留原图颜色信息的结果图像。
【文档编号】G06K9/00GK104239855SQ201410446767
【公开日】2014年12月24日 申请日期:2014年9月3日 优先权日:2014年9月3日
【发明者】张岩, 缪峥, 郑智斌, 孙正兴 申请人:南京大学