图像的风格化处理方法、装置、介质和电子设备与流程

本发明涉及图像处理技术领域，更具体地，本发明涉及一种图像的风格化处理方法、图像的风格化处理装置、计算机可读介质和电子设备。

背景技术：

本部分旨在为权利要求书中陈述的本发明提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着人们安全意识的普遍提高，图像验证码已广泛地应用于各类互联网产品中，以减少产品免受恶意攻击，从而保障人们的互联网产品使用体验。示意性的图像验证码如附图图1a所示出，图像验证码包括背景部分和文字部分，按照提示：“请依次点击‘裂’‘奉’‘夏’”，依次点击图像中对应的文字，如附图图1b所示：在依次点击‘裂’、‘奉’、‘夏’后，便显示“验证成功”；否则，则验证失败。然而，对于图1a、图1b示出的在图中依次点选文字的图像验证方式，可按照检测出的文字在图像中依次匹配出每个文字的位置，便可以被识别，因此安全系数较低。

现有技术中，为了解决上述问题，第一种图像的风格化处理方法是：在验证码图像的生成过程中，将文字部分做扭曲、旋转、艺术化和色彩渲染后，贴图于背景部分的任意位置上。但是，由于生成的图像验证码中文字部分与背景部分割裂感较强，通过颜色分割就能粗略定位出文字的位置。因此，为了减少第一种图像的风格化处理方法产生的文字部分与背景部分的割裂感的问题，在第二种图像的风格化处理方法中，将验证码图像做整体的图像后处理操作，可以在一定程度上缓解文字部分与背景部分的违和感。

然而，通过现有技术中提供的图像的风格化处理方法得到的图像验证码存在降低用户的使用体验的问题。

技术实现要素：

但是，通过现有技术中提供的图像的风格化处理方法导致图像验证码中文字部分边缘模糊，肉眼辨别的正确率低，因此，降低了用户的使用体验。

为此，非常需要一种改进的图像的风格化处理方法，以提高图像验证码的安全系数，还可以提高肉眼识别图像验证码中文字部分的正确率。

在本上下文中，本发明的实施方式期望提供一种图像的风格化处理方法、图像的风格化处理装置、计算机可读介质和电子设备。

在本发明实施方式的第一方面中，提供了一种图像的风格化处理方法，包括：

将内容图像输入至第一卷积神经网络(convolutionalneuralnetworks，简称：cnn)模型，得到初始图像；

根据所述初始图像、所述内容图像以及风格图像确定感知损失函数，其中，所述风格图像的样式用于对所述内容图像的内容进行风格化处理；

根据所述感知损失函数训练所述第一cnn模型，以利用训练后的第一cnn模型对所述内容图像进行风格化处理得到最终风格化图像。

在本发明的一些实施例中，基于前述方案，根据所述初始图像、所述内容图像以及风格图像确定感知损失函数，包括：

将所述初始图像、所述内容图像以及风格图像输入第二cnn模型，根据所述第二cnn模型的输出确定感知损失函数；

其中，所述第二cnn模型为训练后的分类模型。

在本发明的一些实施例中，基于前述方案，根据所述初始图像、所述内容图像以及风格图像确定感知损失函数，包括：

通过所述第二cnn模型分别提取所述初始图像、所述内容图像和所述风格图像的特征，得到对应的待验证特征、内容特征和风格特征；

根据所述待验证特征和所述内容特征，确定内容重建损失函数；以及，根据所述待验证特征和所述风格特征，确定风格重建损失函数；

根据所述内容重建损失函数和所述风格重建损失函数确定感知损失函数；

其中，所述内容重建损失函数表征所述初始图像在内容上与所述内容图像的相似度，所述风格重建损失函数表征所述初始图像在样式上与所述风格图像的相似度。

在本发明的一些实施例中，基于前述方案，根据所述感知损失函数训练所述第一cnn模型，包括：

通过对所述感知损失函数采用梯度下降的处理方式获得处理结果；

根据所述处理结果更新所述第一cnn模型的模型参数，以完成对所述第一cnn模型的训练。

在本发明的一些实施例中，基于前述方案，根据所述感知损失函数训练所述第一cnn模型，包括：

通过实例归一化方式对所述第一cnn模型的特征图进行正则化；

根据正则化后的特征图和更新后的模型参数完成对所述第一cnn模型的训练。

在本发明的一些实施例中，基于前述方案，通过实例归一化方式对所述第一cnn模型的特征图进行正则化，包括：

对于所述第一cnn模型的第t层特征图集中的第i个特征图：

根据所述特征图中每个像素值确定根据所述特征图的均值；

根据所述特征图中每个像素值和所述特征图的均值确定所述特征图的方差；

根据所述特征图的均值和所述特征图的方差对所述特征图中每个像素值进行正则化。

在本发明的一些实施例中，基于前述方案，所述内容图像包含点选式验证码图像；

其中，所述点选式验证码图像为融合有文字的图像。

在本发明的一些实施例中，基于前述方案，所述内容图像的内容包括图像结构，所述风格图像的样式包括图像纹理。

在本发明实施方式的第二方面中，提供了一种图像的风格化处理装置，包括：

初始图像获取模块，用于将内容图像输入至第一cnn模型，得到初始图像；

感知损失函数确定模块，用于根据所述初始图像、所述内容图像以及风格图像确定感知损失函数，其中，所述风格图像的样式用于对所述内容图像的内容进行风格化处理；

风格化图像输出模块，用于根据所述感知损失函数训练所述第一cnn模型，以利用训练后的第一cnn模型对所述内容图像进行风格化处理得到最终风格化图像。

在本发明实施方式的第三方面中，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面中所述的图像的风格化处理方法。

在本发明实施方式的第四方面中，提供了一种电子设备，包括：处理器和存储器，所述存储器存储有可执行指令，所述处理器用于调用所述存储器存储的可执行指令执行如上述第一方面中所述的图像的风格化处理方法。

根据本发明提供的实施方式中，一方面，将内容图像输入至第一cnn模型，利用深度学习技术对内容图像进行风格化处理。以使得在保留图像语义信息和图像中目标边缘轮廓的前提下，对内容图像赋予风格图像的风格样式。从而，有利于增加图像验证码的多样性，增加文字与背景图像的融合度，同时保留了文字部分本身的边缘信息，从而实现提高图像验证码的安全系数的同时，还可以提高肉眼识别图像验证码中文字部分的正确率。另一方面，通过第一cnn模型输出的初始图像与内容图像和风格图像确定感知损失函数，并通过感知损失函数对第一cnn模型进行训练，有利于缩减第一cnn模型响应时间，加快对模型的训练效率。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1a和图1b示意性地示出了背景技术中图像验证码的示意图；

图2a-图2c示意性地示出了根据本发明一些实施例的应用场景的示意图；

图3示意性地示出了根据本发明实施例的图像的风格化处理方法的流程示意图；

图4示意性地示出了根据本发明实施例的对第一cnn模型的训练阶段的应用场景图；

图5示意性地示出了根据本发明实施例的根据第二cnn模型确定感知损失函数的方法的流程示意图；

图6示意性地示出了根据本发明实施例的训练第一cnn模型的方法的流程示意图；

图7示意性地示出了根据本发明另一实施例的训练第一cnn模型的方法的流程示意图；

图8示意性地示出了对第一cnn模型的特征图进行正则化的方法的流程示意图；

图9示意性地示出了根据本发明实施例的图像的风格化处理装置的结构示意图；

图10示意性地示出了根据本发明的示例实施例的计算机可读介质的示意图；以及，

图11示意性地示出了根据发明的示例实施例的电子设备的方框图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种图像的风格化处理方法、图像的风格化处理装置、计算机可读介质和电子设备。

在本发明中，需要理解的是，所涉及的“第一cnn模型”的模型结构设计上，利用瓶颈结构将其特征图先降采样再升采样，这样不仅节省了计算量，而且增大了特征图上的感受野，使用结合了stride的卷积操作替换pooling操作，并最终为每种风格图像生成一个图像转换模型。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，通过现有技术中提供的图像的风格化处理方法要么安全系数低，容易被恶意攻击，要么可能导致图像验证码中文字部分边缘模糊，肉眼辨别的正确率低，降低了用户的使用体验。因此，需要一种改进的图像的风格化处理方法，以提高图像验证码的安全系数，还可以提高肉眼识别图像验证码中文字部分的正确率。

基于上述内容，本发明的基本思想在于，利用深度学习技术对内容图像进行风格化处理，以使得在保留图像语义信息和图像中目标边缘轮廓的前提下，对内容图像赋予风格图像的风格样式。从而，有利于增加图像验证码的多样性，增加文字与背景图像的融合度，同时保留了文字部分本身的边缘信息，在实现提高图像验证码的安全系数的同时，还可以提高肉眼识别图像验证码中文字部分的正确率。具体的，上述内容图像可以是点选式验证码图像，其中，所述点选式验证码图像为融合有文字的图像；上述内容图像还可以是二维码图像。更为具体的，上述内容图像的内容包括图像结构，上述风格图像的样式包括图像纹理。

本技术方案采用机器学习模型(具体为文中的“第一cnn模型”)实现对图像的风格化处理，具体包括：对第一cnn模型的训练阶段，以及使用训练后的第一cnn模型对内容图像实施风格化处理的过程。

在对第一cnn模型的训练阶段中，一方面，通过第一cnn模型输出的初始图像与内容图像和风格图像确定感知损失函数，并通过感知损失函数更新第一cnn模型的参数，有利于缩减第一cnn模型响应时间，加快对模型的训练效率。另一方面，通过实例归一化对第一cnn模型的特征层进行正则化，有利于提高生成的风格化图像的鲁棒性。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

需要注意的是，下述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

示例性的，本发明适用于对图像验证码的风格化处理的场景中，首先参考图2a-图2c，示意性地示出了根据本发明一些实施例的应用场景的示意图。例如，图2a示出的“内容图像”为未经过本技术方案提供的方法处理之前的图像。图2b示出了“风格图像”，其中，风格图像的样式用于对内容图像的内容进行风格化处理，具体的，图2b为荷兰后印象派画家文森特·梵·高的《星月夜》，当然，风格图像不限于此图像，可以是任一具有样式、纹理的图像。图2c示出的“风格化后的图像”为经过本技术方案提供的图像处理之后的图像，具体的，图2c是采用图2b示出的风格图像的样式对图2a示出的内容图像的内容进行风格化处理得到的图像。可见，图2c示出的图像中在保留内容图像的语义信息和内容图像中目标边缘(文字)轮廓的前提下，对内容图像赋予风格图像的风格。

示例性方法

下面结合上述的应用场景，参考图3至图8来描述根据本发明示例性实施方式的图像的风格化处理方法。

本技术方案采用第一cnn模型实现对图像的风格化处理，包括：对第一cnn模型的训练阶段，以及使用训练后的第一cnn模型对内容图像实施风格化处理的过程。其中，通过图3至图8对第一cnn模型的训练阶段进行详细说明。

图3示意性地示出了根据本发明实施例的图像的风格化处理方法的流程示意图，参考图3，该方法包括以下步骤：

步骤s31，将内容图像输入至第一卷积神经网络cnn模型，得到初始图像；

步骤s32，根据所述初始图像、所述内容图像以及风格图像确定感知损失函数；以及，

步骤s33，根据所述感知损失函数训练所述第一cnn模型，以利用训练后的第一cnn模型对所述内容图像进行风格化处理得到最终风格化图像。

在示例性的实施例中，图4示意性地示出了根据本发明实施例的对第一cnn模型的训练阶段的应用场景图。以下结合图4对图3中的各个步骤进行解释说明。

参考图3和图4，在步骤s31中，将内容图像“x”输入至第一cnn模型41后，将第一cnn模型41的输出图像记作初始图像此时，第一cnn模型41为待训练模型。在步骤s32中，根据上述初始图像内容图像“x”以及风格图像“ys”确定感知损失函数。在步骤s33中，根据所述感知损失函数训练上述第一cnn模型41，以利用训练后的第一cnn模型41对上述内容图像“x”进行风格化处理得到最终风格化图像。

参考图4，示例性的，在步骤s32中，可以通过将上述初始图像内容图像“x”以及风格图像“ys”输入至第二cnn模型42，再根据第二cnn模型42的输出确定感知损失函数。其中，第二cnn模型为预训练得到的分类网络模型，例如可以是vgg-16。

在示例性的实施例中，图5示意性地示出了根据本发明实施例的根据第二cnn模型确定感知损失函数的方法的流程示意图，以下结合图5对步骤s32的具体实施方式进行描述。参考图5，该方法包括：

步骤s51，通过所述第二cnn模型分别提取所述初始图像、所述内容图像和所述风格图像的特征，得到对应的待验证特征、内容特征和风格特征；

步骤s52，根据所述待验证特征和所述内容特征，确定内容重建损失函数；以及，根据所述待验证特征和所述风格特征，确定风格重建损失函数；

步骤s53，根据所述内容重建损失函数和所述风格重建损失函数确定感知损失函数。

结合图4对图5所示实施例提供的根据第二cnn模型确定感知损失函数的方法进行解释说明：

将第一cnn模型41输出的初始图像以及内容图像“x”和风格图像“ys”输入至第二cnn模型42之后，在步骤s51中，第二cnn模型42用于以上三种图像的特征提取。具体地，第二cnn模型42提取初始图像的特征得到待验证特征、提取内容图像“x”的特征得到内容特征，以及提取风格图像“ys”的特征得到风格特征。

然后，在步骤s52和步骤s53中，第二cnn模型42根据提取到的特征输出确定感知损失函数。由于最终的风格化图像要求：在内容上与内容图像“x”的相似度大于第一预设阈值，且在样式上与风格图像“ys”的相似度大于第二预设阈值。因此，在本实施例中，感知损失函数包括内容重建损失函数和风格重建损失函数。其中，内容重建损失函数表征初始图像在内容上与内容图像“x”的相似度，风格重建损失函数表征初始图像在样式上与风格图像“ys”的相似度。

以下分别对内容重建损失函数和风格重建损失函数的确定进行说明。

对于内容重建损失函数：

在示例性的实施例中，根据步骤s51得到的待验证特征和内容特征，通过公式一在第二cnn模型42的各层特征图上计算内容重建损失函数值；

其中，表示初始图像在内容上与内容图像“x”的重建损失函数值；表示为特征图中的特征，j表示第二cnn模型42的第j图层特征图的索引；cj、hj、wj表示第j图层中的特征图的尺度；分别表示对初始图像内容图像“x”提取到的特征，即待验证特征和内容特征。

例如，参考图4，根据公式一在第二cnn模型42的第三图层423中第三个特征图上计算内容重建损失函数值

据上所述，可以确定表征当前初始图像在内容上与内容图像“x”的相似度的内容重建损失函数。通过内容重建损失函数实现第一cnn模型41输出的初始图像尽可能迁移学习到内容图像“x”的内容信息，而无需保留其风格信息。在本实施例中，重建损失函数为relu3_3特征图上的损失值。

对于风格重建损失函数：

在示例性的实施例中，根据步骤s51得到的待验证特征和风格特征，先通过公式二、公式三计算中间变量，然后，通过公式四在第二cnn模型42的各层特征图上计算风格重建损失函数值；

其中，分别表示计算风格图像“ys”的gram矩阵和初始图像的gram矩阵，是用于计算风格重建损失的中间变量；cj、hj、wj表示第j图层中的特征图的尺度；分别表示对初始图像风格图像“ys”提取到的特征，即待验证特征和风格特征；1≤h≤hj、1≤w≤wj、1≤c/c’≤cj，且c≠c’。

其中，表示初始图像在风格上与风格图像“ys”的重建损失函数值。

例如，参考图4，在第二cnn模型42的第一图层421中第二个特征图上计算风格重建损失值第二图层422中第二个特征图上计算风格重建损失值第三图层423中第三个特征图上计算风格重建损失值以及，第四图层424中第三个特征图上计算风格重建损失值具体的，在本实施例中，

据上所述，确定表征当前初始图像在样式上与风格图像“ys”的相似度的风格重建损失函数。通过风格重建损失函数实现第一cnn模型41输出的初始图像尽可能迁移学习到风格图像“ys”的风格信息，而无需保留其内容信息(例如：空间结构等)。在本实施例中，重建损失函数融合了relu1_2、relu2_2、relu3_3以及relu4_3四层特征图上的损失值。

确定了内容重建损失函数和风格重建损失函数之后，在步骤s53中，可以根据公式五确定感知损失函数。

其中，loss表示感知损失函数值；α、β分别表示内容重建损失函数的权值和风格重建损失函数的权值。

在示例性的实施例中，图6示意性地示出了根据本发明实施例的训练第一cnn模型的方法的流程示意图，以下结合图6对步骤s33的具体实施方式进行描述。参考图6，该方法包括：

步骤s61，通过对所述感知损失函数采用梯度下降的处理方式获得处理结果；以及，步骤s62，根据所述处理结果更新所述第一cnn模型的模型参数，以完成对所述第一cnn模型的训练。

在图5和图6所示实施例提供的技术方案中，一方面，通过第二cnn模型提取内容图像的特征，以及提取第一cnn模型输出的初始图像的特征，根据提取得到的内容特征和待验证特征计算表征初始图像在内容上与内容图像“x”的相似度的内容重建损失函数；另一方面，通过第二cnn模型提取风格图像的特征，以及提取第一cnn模型输出的初始图像的特征，根据提取得到的风格特征和待验证特征计算表征初始图像在样式上与风格图像“ys”的相似度的风格重建损失函数。进一步地，根据内容重建损失函数和风格重建损失函数确定感知损失函数。并通过梯度下降的方式处理感知损失函数得到处理结果，以利用处理结果更新第一cnn模型的模型参数，从而达到训练第一cnn模型的目的。利用训练后的第一cnn模型对所述内容图像进行风格化处理得到最终风格化图像。其中，最终风格化图像满足以下要求：在内容上与内容图像“x”的相似度大于第一预设阈值，且在样式上与风格图像“ys”的相似度大于第二预设阈值。

需要说明的是，本实施例提供的技术方案中通过感知损失函数对第一cnn模型进行训练，相比于相关技术中采用的第一cnn模型输出的初始图像分别与风格图像、内容图像做逐像素的完全匹配，本方案有利于缩减第一cnn模型的响应时间，加快对第一cnn模型的训练效率。

在示例性的实施例中，图7示意性地示出了根据本发明另一实施例的训练第一cnn模型的方法的流程示意图，以下结合图7对步骤s33进一步的具体实施方式进行描述。参考图7，该方法包括：

步骤s71，通过实例归一化方式对所述第一cnn模型的特征图进行正则化；以及，步骤s72，根据正则化后的特征图和更新后的模型参数完成对所述第一cnn模型的训练。

在示例性的实施例中，图8示意性地示出了对第一cnn模型的特征图进行正则化的方法的流程示意图，以下结合图8对步骤s71的具体实施方式进行描述。参考图8，该方法包括步骤s81-步骤s83。

具体的，对于所述第一cnn模型的任一特征图进行步骤s81-步骤s83的操作，可以对第一cnn模型的特征图进行正则化，以加快第一cnn模型的训练效率，缩短模型训练时间。在此，以第t层特征图集中的第i个特征图为例进行说明：

在步骤s81中，根据所述特征图中每个像素值确定根据所述特征图的均值。

在示例性的实施例中，通过公式六计算特征图的均值；

其中，μti表示第一cnn模型中第t层特征图集中的第i个特征图的均值；hi、wi表示第i个特征图的尺度；1≤l≤wi，1≤m≤hi；xtilm表示第一cnn模型中第t层特征图集中的第i个特征图的像素(l，m)对应的像素值。

在步骤s82中，根据所述特征图中每个像素值和所述特征图的均值确定所述特征图的方差。

在示例性的实施例中，通过公式七计算特征图的方差；

其中，表示第一cnn模型中第t层特征图集中的第i个特征图的方差；hi、wi表示第i个特征图的尺度；1≤l≤wi，1≤m≤hi；xtilm表示第一cnn模型中第t层特征图集中的第i个特征图的像素(l，m)对应的像素值；μti表示第一cnn模型中第t层特征图集中的第i个特征图的均值。

在步骤s83中，根据所述特征图的均值和所述特征图的方差对所述特征图中每个像素值进行正则化。

在示例性的实施例中，通过公式八计算特征图中每个像素正则化后对应的像素值；

其中，ytijk表示第一cnn模型中第t层特征图集中的第i个特征图每个像素(j，k)对应的正则化后的像素值；表示第一cnn模型中第t层特征图集中的第i个特征图的方差；xtilm表示第一cnn模型中第t层特征图集中的第i个特征图的像素(l，m)对应的像素值；μti表示第一cnn模型中第t层特征图集中的第i个特征图的均值。

在图8所示实施例提供的技术方案中，在训练第一cnn模型的过程中，对于每一特征图内的每一像素，通过特征图的方差和均值进行实例归一化操作。相较于相关技术中采用批归一化操作来训练模型，本技术方案中采用的实例归一化操作有利于提高第一cnn模型的鲁棒性，有利于提高最终风格化图像的获取效率。

在示例性的实施例中，根据图8所示实施例提供的技术方案使用实例归一化的方式完成对第一cnn模型中每个特征图的正则化之后，在步骤s72中，根据正则化后的特征图和更新后的模型参数完成对所述第一cnn模型的训练。

在图7和图8所示实施例提供的技术方案中，对第一cnn模型的训练过程可以包括两个方面，即基于感知损失函数对第一cnn模型的模型参数进行更新，结合采用实例归一化的方式实现对第一cnn模型中特征图内特征值(例如，像素值)的正则化。从而，通过感知损失函数对第一cnn模型进行训练，有利于缩减第一cnn模型响应时间，加快对模型的训练效率；同时，采用实例归一化的方式实现对第一cnn模型中特征图内特征值(例如，像素值)的正则化，有利于提高训练后的第一cnn模型的鲁棒性。

使用通过本实施例提供的技术方案得到的训练后的第一cnn模型，将内容图像(例如图2a)输入至训练后的第一cnn模型，利用深度学习技术对内容图像进行风格化处理，可以使得在保留图像语义信息和图像中目标边缘轮廓的前提下，对内容图像赋予风格图像的风格样式，得到最终风格化图像(对应的如图2c)。可见，有利于增加图像验证码的多样性，增加文字与背景图像的融合度，同时保留了文字部分本身的边缘信息，从而实现提高图像验证码的安全系数的同时，还可以提高肉眼识别图像验证码中文字部分的正确率。

示例性装置

在介绍了本发明示例性实施例的方法之后，接下来，参考图13对本发明示例性实施方式的图像的风格化处理装置进行说明。

图9示意性地示出了根据本发明实施例的图像的风格化处理装置的结构示意图。参考图9，图像的风格化处理装置900，包括：初始图像获取模块901、感知损失函数确定模块902以及风格化图像输出模块903。

其中，初始图像获取模块901用于将内容图像输入至第一卷积神经网络cnn模型，得到初始图像；

感知损失函数确定模块902用于根据所述初始图像、所述内容图像以及风格图像确定感知损失函数，其中，所述风格图像的样式用于对所述内容图像的内容进行风格化处理；

风格化图像输出模块903用于根据所述感知损失函数训练所述第一cnn模型，以利用训练后的第一cnn模型对所述内容图像进行风格化处理得到最终风格化图像。

在本发明的一些实施例中，基于前述方案，感知损失函数确定模块902，具体用于：将所述初始图像、所述内容图像以及风格图像输入第二cnn模型，根据所述第二cnn模型的输出确定感知损失函数；

其中，所述第二cnn模型为训练后的分类模型。

在本发明的一些实施例中，基于前述方案，感知损失函数确定模块902，包括：特征提取单元9021、重建损失函数确定单元9022，以及感知损失函数确定单元9023。

其中，特征提取单元9021用于通过所述第二cnn模型分别提取所述初始图像、所述内容图像和所述风格图像的特征，得到对应的待验证特征、内容特征和风格特征；

重建损失函数确定单元9022用于根据所述待验证特征和所述内容特征，确定内容重建损失函数；以及，根据所述待验证特征和所述风格特征，确定风格重建损失函数；

感知损失函数确定单元9023用于根据所述内容重建损失函数和所述风格重建损失函数确定感知损失函数；

其中，所述内容重建损失函数表征所述初始图像在内容上与所述内容图像的相似度，所述风格重建损失函数表征所述初始图像在样式上与所述风格图像的相似度。

在本发明的一些实施例中，基于前述方案，风格化图像输出模块903包括：模型参数更新单元9031。

其中，模型参数更新单元9031用于通过对所述感知损失函数采用梯度下降的处理方式获得处理结果；以及，根据所述处理结果更新所述第一cnn模型的模型参数，以完成对所述第一cnn模型的训练。

在本发明的一些实施例中，基于前述方案，风格化图像输出模块903包括：特征图正则化单元9032。

其中，特征图正则化单元9032用于通过实例归一化方式对所述第一cnn模型的特征图进行正则化；以及，根据正则化后的特征图和更新后的模型参数完成对所述第一cnn模型的训练。

在本发明的一些实施例中，基于前述方案，特征图正则化单元9032，具体用于：

对于所述第一cnn模型的第t层特征图集中的第i个特征图：

根据所述特征图中每个像素值确定根据所述特征图的均值；

根据所述特征图中每个像素值和所述特征图的均值确定所述特征图的方差；以及，根据所述特征图的均值和所述特征图的方差对所述特征图中每个像素值进行正则化。

在本发明的一些实施例中，基于前述方案，所述内容图像包含点选式验证码图像；

其中，所述点选式验证码图像为融合有文字的图像。

在本发明的一些实施例中，基于前述方案，所述内容图像的内容包括图像结构，所述风格图像的样式包括图像纹理。

示例性介质

在介绍了本发明示例性实施例的装置之后，接下来，对本发明示例性实施方式的介质进行说明。

在一些可能的实施方式中，本发明的各个方面还可以实现为一种介质，其上存储有程序代码，当所述程序代码被设备的处理器执行时，用于实现本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的图像的风格化处理方法中的步骤。

例如，所述设备的处理器执行所述程序代码时可以实现如图3中所述的步骤s31，将内容图像输入至第一卷积神经网络cnn模型，得到初始图像；步骤s32，根据所述初始图像、所述内容图像以及风格图像确定感知损失函数，其中，所述风格图像的样式用于对所述内容图像的内容进行风格化处理；步骤s33，根据所述感知损失函数训练所述第一cnn模型，以利用训练后的第一cnn模型对所述内容图像进行风格化处理得到最终风格化图像。

参考图10所示，描述了根据本发明的实施例的用于实现上述数据处理方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此。

在本发明的一些实施方式中，所述设备的处理器执行所述程序代码时用于实现如图2至图8任一图示的步骤。

需要说明的是：上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、rf等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如java、c++等，还包括常规的过程式程序设计语言-诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)-连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

示例性电子设备

在介绍了本发明示例性实施方式的图像的风格化处理方法、图像的风格化处理装置、计算机可读介质之后，接下来，介绍根据本发明的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明实施方式的电子设备可以至少包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的图像的风格化处理方法中的步骤。例如，所述处理器可以执行如图3中所示的步骤s31，将内容图像输入至第一卷积神经网络cnn模型，得到初始图像；步骤s32，根据所述初始图像、所述内容图像以及风格图像确定感知损失函数，其中，所述风格图像的样式用于对所述内容图像的内容进行风格化处理；步骤s33，根据所述感知损失函数训练所述第一cnn模型，以利用训练后的第一cnn模型对所述内容图像进行风格化处理得到最终风格化图像。

又如，所述处理器也可以执行如图3至图8任一图示的步骤。

下面参照图11来描述根据本发明的示例实施例的电子设备1100。图11所示的电子设备1100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图11所示，电子设备1100以通用电子设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1101、上述至少一个存储单元1102、连接不同系统组件(包括存储单元1102和处理单元1101)的总线1103、显示单元1107。

总线1103包括数据总线、地址总线和控制总线。

存储单元1102可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)11021和/或高速缓存存储器11022，还可以进一步包括只读存储器(rom)11023。

存储单元1102还可以包括具有一组(至少一个)程序模块11024的程序/实用工具11025，这样的程序模块11024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备1100也可以与一个或多个外部设备1104(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与电子设备1100交互的设备通信，和/或与使得电子设备1100能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1105进行。并且，电子设备1100还可以通过网络适配器1106与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1106通过总线1103与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了数据处理装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施例，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

应当注意，尽管在上文详细描述中提及了图像的风格化处理装置的若干单元或子单元，但是这种划分仅仅是示例性的，并非是强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或单元的特征和功能可以在一个模块或单元中具体化。反之，上文描述的一个模块或单元的特征和功能可以进一步划分为由多个模块或单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所发明的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。