一种基于交互式的笔画生成方法与流程

本发明涉及计算机图形学非真实感绘制的风格迁移技术，尤其涉及一种基于交互式的笔画生成方法。

背景技术：

中国写意水墨画与其它绘画种类(如西方油画、水彩画)不同，用寥寥几笔描述具体的景物对象或场景，表达画家的创作意图及艺术个性。写意水墨画以它独特的艺术性吸引越来越多的人们学习创作水墨画，包括没有绘画技术基础的绘画爱好者。而且，目前大多数的图形类商业软件(如adobeillustrator，adobephotoshop，coreldraw等)均支持中国艺术风格的生成工具。然而，生成高质量的绘画作品通常需要专业的知识与技能，且现有的绘画工具在绘制技巧方面要求复杂和准确的输入，同时，利用风格迁移生成绘画的工具(如图1(b))仅将某种绘画风格整体迁移至给定的对象，极少地考虑局部的笔画形态与颜色。

花卉水墨画是中国水墨画中的主要类别之一，它代表着东方绘画的重要艺术特征。换句话说，花卉画中典型的用笔、用墨手法形成了水墨画独特的艺术魅力与价值：它的笔画或曲或直，或刚劲或柔软，或宽或窄，或苍白或浑厚；它的墨色通过水与墨之间的混合扩散达到干湿浓淡的多种变化。因此，笔画与墨色的多样性和复杂性，以及绘画的专业技巧使生成绘画的工作富有挑战性。

一般来说，非真实感绘制是指通过构建不同的笔刷模型，输出具有艺术风格的笔画，像手绘一样描绘特定的物体。近年来，已有一些与非真实感绘制相关的优秀工作值得学习和借鉴。主要有以下两个方面的工作：

一方面是基于物理的模型：为了给用户提供直观自然的感受，像笔一样的设备通过对笔或其它媒介的物理属性进行建模，模拟绘画的物理过程。其中，chu和tai在文献[chun.s.h.,taic.-l.,“moxi:real-timeinkdispersioninabsorbentpaper”,acmtransactionsongraphics,vol.24(3),pp.504-511,2005]中设计一个实时绘画系统来模拟在具有吸收力的纸上墨扩散的效果。同时，xu等在文献[xus.,tangm.,lauf.,etal.,“virtualhairybrushforpainterlyrendering”,graphicalmodels,vol.66(5),pp.263-302,2004]中提出一种新颖的用于中国书法和绘画的“电子笔刷”，仅用四种属性定义了真实笔刷的基本特征。lu等在文献[luj.,barnesc.,diverdis.,etal.,“realbrush:paintingwithexamplesofphysicalmedia”,acmtransactionsongraphics,vol.32(4),pp.117,2013]中提出一个交互式的数据驱动的绘画系统，它可以利用真实媒体的扫描图像合成新的笔画，避免了复杂的物理模拟的计算。对于数字化绘画软件，如adobebrushpackages，artrage，andcorelpainter，用户就像使用真实的笔刷一样，操作鼠标或数码笔进行绘画。然而，对于没有相关绘画经验的用户来说，如果不对他们进行此类虚拟设备的操作培训，则轻松而准确地操作此类设备是复杂而困难的。另一方面是基于图像的模型：与物理模型相比，此类模型避免了大规模的计算量和复杂的操控。在模拟西方绘画方面，herzmann等在文献[hertzmanna.,jacobsc.e.,olivern.,etal.,“imageanalogies”,in:proceedingsofthe28thannualconferenceoncomputergraphicsandinteractivetechniques,newyork,usa,pp.327-340,2001]中使用“图像类比”技术处理照片图像，生成具有艺术效果的图像，但在他们的实验结果里，对于中国绘画而言，由于采用不同的风格绘制不同的图像区域，算法无法区分这些区域，所以得到不理想的风格化结果。在模拟东方绘画方面，xie等在文献[xien.,lagah.,saitos.,“ir2s:interactiverealphototosumi-e”,in:proceedingsofthe8thinternationalsymposiumonnon-photorealisticanimationandrendering,annecy,france,pp.63-71,2010]中设计了一个基于草绘的交互式系统，将真实的照片转换为日本的墨画绘画。dong等在文献[dongl.,lus.andjinx.,“real-timeimage-basedchineseinkpaintingrendering”,multimediatools&applications,vol.69(3),pp.605-620,2014]中通过纹理映射和纹理合成技术将图像转换为具有中国水墨风格的图像。然而，已有的模拟东方绘画风格的模型主要处理整个图像，而不是构成图像的笔画，这样很难表现出中国绘画丰富多变的艺术特性。

技术实现要素：

针对上述的技术问题，克服现有技术存在的不足，本发明提供一种基于交互式的笔画生成方法；能够提供一系列算法将照片上的用户粗略画出的指导线条转化为具有某种中国水墨画风格的笔画，实现中国水墨风格的迁移至照片图像的效果。

本发明提供了一种基于交互式的笔画生成方法，包括以下步骤，获取一张包含图案的图像作为图像对象；

在预存的绘画样本上获取一个圈定操作，所述圈定操作包括至少一个笔画样本；

获取用户在所述图像对象上勾画的基本轮廓，所述基本轮廓构成待生成笔画的初步基本路径；

通过对所述笔画样本中的笔画轮廓进行纠正，得到准确的笔画样本作为候选笔画样本；以所述候选笔画样本为参照，通过镜像和反路径的方式生成笔画形态样本组；

在所述笔画形态样本组中选取与所述初步基本路径最匹配的形态样本，作为最终笔画样本；

将所述最终笔画样本映射到所述初步基本路径上，生成具有所述绘画样本风格的笔画。

作为进一步改进，所述通过对圈定出的所述笔画样本的轮廓进行纠正的步骤包括：

采用相向搜索算法确定所述笔画样本中最贴近笔画边缘的轮廓，得到所述候选笔画样本；

以所述候选笔画样本作为参照，通过镜像与反路径的方式生成形态样本组；其中，每一所述形态样本组至少包括四个形态样本，四个所述形态样本包括作为参照的所述候选笔画样本、该候选笔画样本的镜像笔画样本、所述候选笔画样本的反路径笔画以及所述候选笔画样本镜像笔画的反路径笔画。

作为进一步改进，所述在所述形态样本组中选择与所述初步基本路径最匹配的形态样本作为最终笔画样本，包括，

将所述基本路径划分成若干路径部分，通过能量公式，在所述形态样本组中选取与所述路径部分最匹配的形态样本作为该路径部分的最终笔画样本。

作为进一步改进，所述通过能量公式，在所述形态样本组中选取与所述路径部分最匹配的形态样本作为该路径部分的最终笔画样本的步骤包括，

所述能量公式在l²空间定义一能量项，用于描述所述最终笔画样本中的笔画轮廓的位移项以及与其对应的初步基本路径(路径部分)的位移项的总体差异，并使所述总体差异最小化，从而自动选择所述最终的笔画样本；

其中，所述位移项用于描述所述最终笔画样本中的笔画轮廓与所述初步基本路径上任意一点的相对位置向量与笔画方向向量之间的位移量。

作为进一步改进，所述将所述最终笔画样本的风格特征映射到所述初步基本路径上的步骤包括，

调整所述最终笔画样本的长宽比例，使得所述最终笔画样本与对应的所述路径部分的长宽比例相一致。

作为进一步改进，所述将所述最终笔画样本的风格特征映射到所述初步基本路径上的步骤还包括，

通过基于像素的纹理映射算法，用扫描线实现光栅化填充区域并用从所述最终笔画内选择出的像素填充至与所述最终笔画对应的路径部分中。

作为进一步改进，包括：

以下列条件约束所述像素：

a、p^s的相邻像素具有距离p^f的邻域最近的颜色值；

b、p^s与p^f相对其各自骨骼路径的位置是最近的；

c、p^s与p^p周围的像素的平均颜色值最接近；

其中，p^s是在水墨笔画区域内选出的最佳像素；p^f为填充区域内的任一像素；p^p为输入图像中的像素；且由3个能量项衡量以上约束条件，eb(p^s)对应约束条件a，描述p^s与p^f之间邻域像素的颜色值差异的总和；

ep(p^s)对应约束条件b，描述p^s与p^f分别与对应的骨架路径之间的接近程度；

ea(p^s)对应约束条件c，描述p^s与p^p分别以某个r为半径的圆内像素的平均颜色值的差异；

具体地满足以下公式：

其中，λ(p)表示p的颜色值，是p^s的邻域像素，且pi^f是p^f的邻域像素，骨架路径上距离p^f最近的点，相同的值下，是所述最终笔画样本中的骨架路径上的对应一点，r^s和r^p分别是所述最终笔画样本宽度的一半，n表示在指定半径r的圆内所有像素总数，表示圆内在p^s附近的像素，且表示在照片图像内，在指定圆内p^p附近的像素。

作为进一步改进，所述基于像素的纹理映射算法，利用在l¹空间内定义由3个能量项所构成的能量方程并将三所述个能量项最小化得到最佳像素，此步骤满足以下公式：

其中，α1，α2和α3表示平衡权重参数。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明生成的水墨图像与现有的绘画工具生成的水墨图像对比图，其中(b)为现有的绘画工具生成的水墨图像，(c)为本发明生成的水墨图像。

图2为本发明方法的整体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图2，图2为本发明的第一种实施例，提供一种基于交互式的笔画生成方法，包括以下步骤：

s10，获取一张包含图案的图像作为图像对象；

在预存的绘画样本上获取一个圈定操作，所述圈定操作包至少括一个笔画样本；

图像对象所包含的图像内容，其图案可以是动物、植物等，具体的可以是牛、马、花卉、草木；预存的样本的题材也可以是动物、植物等，样本的题材并需要与图像对象中的图案相一致，例如的题材是花卉，图案的的题材也需保持一致；换言之，图像对象所选定的是用户所想勾勒的基本路径的模板，而笔画样本是用户所想要的基本路径的笔画风格特征。

s20，获取用户在所述图像对象上勾画的基本轮廓，所述基本轮廓构成待生成笔画的初步基本路径；

这里所提及的勾画可以不达到与图案基本轮廓完全一致的效果，可以是一种粗略的勾勒，同时也可以包含用户的创意在其中，例如加入图案模板中不存在的线条至初步基本路径。

s30，通过对所述笔画样本中的笔画轮廓进行纠正，得到准确的笔画样本作为候选笔画样本；以所述候选笔画样本为参照，通过镜像和反路径的方式生成笔画形态样本组；

在圈定笔画样本的过程中，因为仅是圈定了想要的笔画在笔画样本中的区域，这其中会出现非笔画区域(这里所指的非笔画区域为不包括笔画线条的部分)，这样的影响是笔画样本区域包含的信息并不是准确的笔画轮廓信息也包括了干扰因素，不利于对笔画样本内具体笔画轮廓的提取，同时为保证用户在选取笔画样本时的效率以及体验，这种干扰因素是无法避免的，故笔画样本中笔画样本轮廓的提取是无法避免的。

在本实施例中，采用相向搜索算法确定所述笔画样本中最贴近笔画边缘的轮廓，得到所述候选笔画样本；

在相向搜索算法中，笔画样本中的笔画轮廓由一个三曲线结构(c^s,l^s,r^s)表示，其中c^s(t)∈i^s由c^s(t)＝(l^s(t)+r^s(t))/2得到，且它的域f^s在l^s和r^s之间被作为候选笔画样本的大致轮廓，l^s以及r^s是该大致轮廓的两侧边；随后将侧边l^s和r^s拟合为曲线l^s(t)和r^s(t)，并分割其为相同数量的曲线片段；假定每个曲线片段上的端点作为l^s(t)和r^s(t)上的特征点，将从l^s(t)指向r^s(t)的线条方向定义为搜索的正方向ω(t)，分别沿ω(t)和-ω(t)方向，计算每个像素灰度值的方向导数d+ω和d-ω，最后将每对特征点重置到该方向导数全局最小值的位置上；调整侧边l^s以及侧边r^s成最贴近笔画样本内的笔画的轮廓。

并且以所述候选笔画样本为参照，通过镜像与反路径的方式生成形态样本组，模拟候选笔画样本不同的姿态；其中，每一所述形态样本组至少包括四个形态样本，四个所述形态样本包括作为参照的所述候选笔画样本、该候选笔画样本的镜像笔画样本、所述候选笔画样本的反路径笔画以及所述候选笔画样本镜像笔画的反路径笔画。

根据三曲线结构，满足公式(1)，定义公式(1)为：

其中，n为若干笔画样本个数，由每个笔画的4种情况组成一个包含4n个元素的候选集合：则笔画的4种情况依次为

s40，在所述笔画形态样本组中选取与所述初步基本路径最匹配的形态样本，作为最终笔画样本；

将所述初步基本路径划分成若干路径部分，通过能量公式，在所述形态样本组中选取与所述路径部分最匹配的形态样本作为该路径部分的最终笔画样本。候选笔画样本的形态比较单一，导致难以与初步基本路径进行匹配，形态样本组生成的多种候选笔画形态增加了路径部分与候选笔画的匹配几率。

结合能量公式进行说明，能量公式在l²空间定义描述与c^p之间位移项δ的总体差异，其中，所述位移项用于描述所述最终笔画样本中的笔画轮廓与所述初步基本路径上任意一点的相对位置向量与笔画方向向量之间的位移量。然后使该总体差异最小化，从而自动选择最优的笔画模版。满足公式(2)，定义公式(2)为：

其中，位移项δ由公式(3)计算得到，定义公式(3)为：

其中，为任一基本路径，为到的线条方向，为上任意一点的相对位置向量至的映射，为距离最近点的位移量。

s50，将所述最终笔画样本映射到所述初步基本路径上，生成具有所述绘画样本风格的笔画。

在上述部分中通过能量公式得到了每一路径部分对应的形态样本，随后将每一路径部分对应的形态样本取代原路径部分，生成符合用户所选择的笔画样本特征的轮廓；随后调整所述最终笔画样本的长宽比例，使得所述最终笔画样本与对应的所述路径部分的长宽比例相一致；并通过基于像素的纹理映射算法，用扫描线实现光栅化填充区域并用从所述最终笔画内选择出的像素填充至与所述最终笔画对应的路径部分中。

在调整所述最终笔画样本的长宽比例，使得所述最终笔画样本与对应的所述路径部分的长宽比例相一致的过程中，最终笔画宽度w^p(t)与所述照片对象上的初步基本路径c^p的长度和曲率相关。所述w^p(t)由公式(4)计算得到，定义公式(4)为：

其中，kw(t)是按比例缩放最终笔画样本宽度的系数，l^p和κ^p(t)分别表示初步基本路径的长度和曲率。系数项kw(t)由公式(5)计算得到，定义公式(5)为：

其中，κ^s(t)表初步基本路径c^s(t)的曲率，l^s表示c^s(t)的长度。

在通过基于像素的纹理映射算法用扫描线实现光栅化填充区域并用从所述最终笔画内选择出的像素填充至与所述最终笔画对应的路径部分过程中，以下列条件约束所述像素：

a、p^s的相邻像素具有距离p^f的邻域最近的颜色值；

b、p^s与p^f相对其各自骨骼路径的位置是最近的；

c、p^s与p^p周围的像素的平均颜色值最接近；

其中，p^s是在水墨笔画区域内选出的最佳像素；p^f为填充区域内的任一像素；p^p为输入图像中的像素；且由3个能量项衡量以上约束条件：

eb(p^s)对应约束条件a，描述p^s与p^f之间邻域像素的颜色值差异的总和；

ep(p^s)对应约束条件b，描述p^s与p^f分别与对应的骨架路径之间的接近程度；

ea(p^s)对应约束条件c，描述p^s与p^p分别以某个r为半径的圆内像素的平均颜色值的差异；

其满足以下公式：

其中，λ(p)表示p的颜色值，是p^s的邻域像素，且是p^f的邻域像素，骨架路径上距离p^f最近的点，相同的值下，

是所述最终笔画样本中的骨架路径上的对应一点，r^s和r^p分别是所述最终笔画样本宽度的一半，n表示在指定半径r的圆内所有像素总数，表示圆内在p^s附近的像素，且表示在照片图像内，在指定圆内p^p附近的像素。

所述基于像素的纹理映射算法，利用在l¹空间内定义由3个能量项所构成的能量方程并将三个所述能量项最小化得到最佳像素，此步骤满足以下公式：

其中，α1，α2和α3表示平衡权重参数。

本发明第二实施例提供了基于交互式的笔画生成的设备包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序，例如所述基于交互式的笔画生成程序。

示例性的，所述计算机程序可以被分割成一个或多个模块，一个或者多个所述模块被存储在所述存储器中，并由所述处理器执行，以完成本实施例。一个或多个所述模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在基于交互式的笔画生成终端设备中的执行过程。

所述基于交互式的笔画生成设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。

所述基于交互式的笔画生成设备可包括，但不仅限于处理器、存储器、显示器。本领域技术人员可以理解，所述示意图仅仅是基于交互式的笔画生成设备的示例，并不构成对基于交互式的笔画生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如基于交互式的笔画生成设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于交互式的笔画生成设备的控制中心，利用各种接口和线路连接整个所述基于交互式的笔画生成设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于交互式的笔画生成设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述基于交互式的笔画生成设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。