一种联合风格化和去风格化的艺术字编辑方法和系统与流程

本发明属于图像纹理合成技术领域，涉及一种联合风格化和去风格化的艺术字编辑方法和系统。

背景技术：

艺术字在海报、杂志封面、广告设计等平面设计中广泛使用，然而艺术字的人工设计与编辑过程繁琐，需要一定的技术。全自动艺术字编辑方法具有巨大的商用价值。

艺术字合成的关键技术为纹理合成，将代表字效风格的纹理信息添加到目标字形上。尽管纹理合成被广泛使用，但是缺乏适用于艺术字生成的方法。基于统计的纹理合成方法，将纹理描述为全局统计量，不适合用来合成具有鲜明结构的艺术字纹理；而基于局部块的纹理合成方法，无法保证全局纹理的分布。

技术实现要素：

针对上述问题，本发明提出一种联合风格化和去风格化的艺术字编辑方法和系统。本发明设计网络结构根据艺术字数据自动学习字效和字形的表示，同时考虑字形编解码，艺术字图片去风格化和文字图片风格化三个方面，使得提取的字效和字形表示更加准确，使得生成的艺术字具有更好的主观视觉质量，除此之外，同时还能完成去风格化和艺术字创造的编辑的功能。

为实现以上目的，本发明采用的技术方案如下：

一种联合风格化和去风格化的艺术字编辑方法，包括以下步骤：

1)构建字形编码器、字形解码器、字效编码器、字效解码器、字形判别器和字效判别器，组成联合网络结构；

2)从艺术字数据集中采样图片；

3)利用采样的图片，对所述联合网络结构从字形编解码、艺术字图片去风格化和文字图片风格化三个方面进行训练，直到达到最大迭代次数；

4)利用训练好的网络结构，根据输入进行艺术字编辑。

进一步地，步骤1)包括：

1.1)对文字图片集合x和艺术字图片集合y构造字形编码器ex和分别将文字图片和艺术字图片编码到高维的字形特征空间；

1.2)构造字效编码器将艺术字图片编码到高维的字效特征空间；

1.3)构造字形解码器gx，将字形特征解码为文字图片；

1.4)构造字效解码器gy，将字形特征和字效特征融合并解码为艺术字图片；

1.5)构造字形判别器dx，判别文字图片的真假；

1.6)构造字效判别器dy，判别艺术字图片的真假；

1.7)将构造的编码器、解码器和判别器组成联合网络结构，其中ex和的最后若干层共享相同的结构和参数，gx和gy的最前若干层共享相同的结构和参数，gx连接ex和的参数共享层，ex和的输出结果串联，然后与gy连接，dx连接gx，dy连接gy。

进一步地，步骤4)所述艺术字编辑包括文字图片风格化、艺术字图片去风格化、艺术字创造中的至少一种；

所述艺术字图片去风格化为：输入任意艺术字图片y，经过和gx，得到去除字效风格的文字图片

所述文字图片风格化为：输入任意参考艺术字图片y’和目标文字x，经过ex，和gy，得到为x添加y’风格的艺术字图片

所述艺术字创造为：输入任意不同字效的艺术字图片y1,y2,…,yk和目标文字x，经过得到不同字效特征，加权平均后，与ex编码的字形特征串联，经过gy得到全新风格的艺术字图片其中wi是风格yi的权重，由用户指定。

与上面方法对应地，本发明还提供一种联合风格化和去风格化的艺术字编辑系统，包括：

网络结构构建模块，负责构建字形编码器、字形解码器、字效编码器、字效解码器、字形判别器和字效判别器，组成联合网络结构；

采样模块，负责从艺术字数据集中采样图片；

训练模块，负责利用采样的图片，对所述联合网络结构从字形编解码，艺术字图片去风格化和文字图片风格化三个方面进行训练，直到达到最大迭代次数；

艺术字编辑模块，负责利用训练好的网络结构，根据输入进行艺术字编辑。所述艺术字编辑包括文字图片风格化、艺术字图片去风格化和艺术字创造中的至少一种。

本发明的有益效果如下：

本发明提出了一种联合风格化和去风格化的艺术字编辑方法和系统，能够根据艺术字数据自动学习字效和字形的表示，不但能够保证局部纹理细节，也能保证全局纹理分布，使得生成的艺术字具有更好的主观视觉质量，除此之外，同时还能完成去风格化和艺术字创造的编辑的功能。本发明通过联合考虑字形编解码，风格化和去风格化，让网络学习提取艺术字图片中的字形特征和字效特征，并组合两个特征，能够生成高质量的艺术字图片。

附图说明

图1为本发明的网络结构图，其中(a)为整体的网络结构图，(b)为字形编解码部分的网络结构，(c)为艺术字图片去风格化部分的网络结构，(d)为文字图片风格化部分的网络结构。

图2为本发明的方法的流程图。

图3a至图3c为通过本发明方法生成的艺术字结果，其中图3a为艺术字去风格化，图3b为艺术字生成，图3c为艺术字创造。

具体实施方式

下面对本发明的详细方法流程作进一步地描述。

步骤1：构建字形编码器，字形解码器，字效编码器，字效解码器，字形判别器和字效判别器，组成联合网络结构。

对于文字图片集合x和艺术字图片集合y，构造字形编码器ex和分别将文字图片和艺术字图片编码到高维的字形特征空间；

构造字效编码器将艺术字图片编码到高维的字效特征空间；

构造字形解码器gx，将字形特征解码为文字图片；

构造字效解码器gy，将字形特征和字效特征融合并解码为艺术字图片；

构造字形判别器dx，判别文字图片的真假；

构造字效判别器dy，判别艺术字图片的真假。

本实施例中，上述编码器采用现有的u-net网络中的编码器结构，将一张图片通过卷积网络映射到一个高维向量。上述解码器采用现有的u-net网络中的解码器结构，将一个高维向量用过卷积网络映射回一张图片。上述判别器采用现有的patchgan网络中的判别器结构，对图像中的每个部分通过卷积网络映射到一个数值，表示图片的真实程度。

将这些部件组合成如图1中(a)图所示的网络结构，其中ex和的最后若干层共享相同的结构和参数，gx和gy的最前若干层共享相同的结构和参数，gx连接ex和的参数共享层，ex和的输出结果串联，然后与gy连接，dx连接gx，dy连接gy。

步骤2：从艺术字图片集合y中采样艺术字图片y，及其对应的不添加字效的文字图片x，同时采样与y具有相同字效但不同字形的艺术字图片y’。

步骤3：训练网络进行字形编解码。如图1中(b)图所示，ex和gx构成自编码器，将文字图片x编码为字形特征再解码回原始的文字图片，损失函数为：

lrec＝||gx(ex(x))-x||1

其中，‖‖1表示l1范数，计算两张图片对应像素差异的绝对值之和。根据该损失函数，采用梯度下降法进行ex和gx参数的更新。

步骤4：训练网络进行艺术字图片去风格化。如图1中(c)图所示，和gx构成去风格化网络，将艺术字图片y编码为字形特征再解码回其对应的文字图片，损失函数为：

此外要求编码的字形特征与字形编码器ex的编码结果一致，损失函数为：

最后，加入对抗损失，判别器dx判断输入图片的真假，gx生成的结果要让dx判断为真。对抗损失可以为任意现有的定义方式(如lsgan，wgan，wgan-gp)，下给出一例：

总的损失函数为：

ldesty＝λ1ldpix+λ2ldfeat+λ3ldadv

其中，λ1，λ2和λ3是权重，由实验确定，一般λ1＝1，λ2＝1和λ3＝0.01。根据该损失函数，采用梯度下降法进行gx和dx参数的更新。

步骤5：训练网络进行文字图片风格化。如图1中(d)图所示，ex，和gy构成风格化网络，提取x的字形特征和y’的字效特征，串联起来后，解码为对应的艺术字图片，损失函数为：

最后，加入对抗损失，判别器dy判断输入图片的真假，gy生成的结果要让dy判断为真。对抗损失可以为任意现有的定义方式(如lsgan，wgan，wgan-gp)，下给出一例：

总的损失函数为：

lsty＝λ4lspix+λ5lsadv

其中，λ4和λ5是权重，由实验确定，一般λ4＝1和λ5＝0.01。根据该损失函数，采用梯度下降法进行ex，gy和dy参数的更新。

步骤6：重复步骤2到步骤5，直到达到最大迭代次数。最大迭代次数是指一个人为设定的数值，通过实验来确定，本实施例中，最大迭代次数为160,000。

步骤7：对于训练好的网络，根据输入进行如下艺术字编辑：

步骤7.1：艺术字去风格化，如图3a所示，输入任意艺术字图片y，经过和gx，得到去除字效风格的文字图片)。

步骤7.2：艺术字生成(文字图片风格化)，如图3b所示，输入任意参考艺术字图片y’和目标文字x，经过ex，和gy，得到为x添加y’风格的艺术字图片

步骤7.3：艺术字创造，输入任意不同字效的艺术字图片y1,y2,…,yk和目标文字x，经过得到不同字效特征，加权平均后，与ex编码的字形特征串联，经过gy得到全新风格的艺术字图片其中wi是风格yi的权重，由用户指定。图3c示意了k＝2时，通过本发明方法生成的艺术字结果。

上述网络结构中，编码器不局限于u-net，可以是任意将图片映射到高维向量的网络结构；解码器不限于u-net，可以是任意将高维向量映射到图片的网络结构；判别器不限于patchgan，可以是任意的分类网络结构；上述网络训练过程步骤3步骤4步骤5可以任意调整顺序。

本发明另一实施例提供一种联合风格化和去风格化的艺术字编辑系统，包括：

网络结构构建模块，负责构建字形编码器、字形解码器、字效编码器、字效解码器、字形判别器和字效判别器，组成联合网络结构；

采样模块，负责从艺术字数据集中采样图片；

训练模块，负责利用采样的图片，对所述联合网络结构从字形编解码，艺术字图片去风格化和文字图片风格化三个方面进行训练，直到达到最大迭代次数；

艺术字编辑模块，负责利用训练好的网络结构，根据输入进行艺术字编辑。所述艺术字编辑包括文字图片风格化、艺术字图片去风格化和艺术字创造中的至少一种。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。