图像处理方法及装置与流程

本申请涉及计算机技术领域，尤其涉及图像处理方法及装置。

背景技术：

随着相机、手机等具备照相功能的设备增多，人们日常生活中拍摄照片也更加频繁和方便。同时，随着社交平台的发展，越来越多的人喜欢通过照片在社交平台展示他们的日常生活。而拍照的人们可能并非专业的摄影人员，缺乏专业摄影技能，拍出的照片会存在曝光不足、色彩饱和度低等缺陷。

对于人们日常生活中拍摄的照片，通过某些图像处理软件的风格转换处理功能，对同一照片进行整体统一的风格转换处理，可以克服照片本身存在的曝光不足、色彩饱和度低等缺陷，使得照片具有艺术照的效果。

技术实现要素：

本申请提供图像处理方法及装置，能够对图像的不同区域进行不同程度的风格转换处理，降低对图像中部分区域的原有结构的破坏程度，提高图像处理质量。

根据本申请实施例的第一方面，提供一种图像处理方法，包括以下步骤：

获取需要转换风格的目标图像以及作为风格转换参照的参照图像；

获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；

获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；

将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。

在一个实施例中，所述获取与所述目标图像对应的掩膜图像，包括：

识别所述目标图像的目标区域；

通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1；

通过掩膜生成所述其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α；

对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。

在一个实施例中，所述对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像，包括：

对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成；

对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。

在一个实施例中，所述方法还包括所述训练后的风格转换模型的训练步骤：

从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像；

设置各组训练图像的训练次序，并选取出第一次序的一组训练图像；

对选取出的每组训练图像执行如下迭代过程：

将所述第一图像输入全卷积网络，获得所述第一图像的特征数据；

将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像；

将获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像；

基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数；

调整所述全卷积网络和所述卷积神经网络的网络参数；

根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程；

当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。

在一个实施例中，所述获取与所述掩膜图像对应的风格转换网络，包括：

将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像；

基于优化后的特征图像，计算所述卷积神经网络的两个损失函数；

将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数；

将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。

在一个实施例中，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。

根据本申请实施例的第二方面，提供一种图像处理装置，包括：

输入图像获取模块，用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像；

掩膜图像获取模块，用于获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；

转换网络获取模块，用于获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；

图像风格转换模块，用于将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。

在一个实施例中，所述掩膜图像获取模块包括：

目标区域识别模块，用于识别所述目标图像的目标区域；

第一掩膜模块，用于通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1；

第二掩膜模块，用于通过掩膜生成所述其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α；

掩膜图像生成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。

在一个实施例中，所述掩膜图像生成模块包括：

图像合成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成；

高斯模糊模块，用于对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。

在一个实施例中，所述装置还包括模型训练模块，所述模型训练模块包括：

训练样本选取模块，用于从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像；

训练次序设置模块，用于设置各组训练图像的训练次序，并选取出第一次序的一组训练图像；

迭代模块，用于对选取出的每组训练图像执行迭代过程；

所述迭代模块还包括：

特征数据获取模块，用于将所述第一图像输入全卷积网络，获得所述第一图像的特征数据；

特征图像获取模块，用于将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像；

点乘处理模块，用于获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像；

损失函数生成模块，用于基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数；

网络参数调整模块，用于调整所述全卷积网络和所述卷积神经网络的网络参数；

迭代返回模块，用于根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程；

风格转换模型确定模块，用于在次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。

在一个实施例中，所述转换网络获取模块包括：

优化特征生成模块，用于将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像；

损失函数计算模块，用于基于优化后的特征图像，计算所述卷积神经网络的两个损失函数；

损失函数更新模块，用于将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数；

转换网络确定模块，用于将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。

在一个实施例中，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。

应用本申请实施例，通过获取与所述目标图像对应的掩膜图像、以及与所述掩膜图像对应的风格转换网络，再将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。由于所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得，能够获得的风格转换后的图像，对应目标图像的目标区域和其他区域进行了不同程度的风格转换，可以降低对部分区域的结构破坏程度，从而提高图像转换质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请根据一示例性实施例示出的两种风格转换处理后的输出图像的示意图；

图2a是本申请图像处理方法的一个实施例流程图；

图2b是本申请根据一示例性实施例示出的对目标图像进行掩膜的示意图；

图2c是本申请根据一示例性实施例示出的风格转换模型的示意图；

图2d是本申请根据一示例性实施例示出的对输入图像进行风格转换的示意图；

图3a是本申请图像处理方法的另一个实施例流程图；

图3b是本申请根据另一示例性实施例示出的对目标图像进行掩膜的示意图；

图3c是本申请根据另一示例性实施例示出的对掩膜图像进行高斯处理的示意图；

图4是本申请图像处理装置所在终端的一种硬件结构图；

图5是本申请图像处理装置的一个实施例框图；

图6是本申请图像处理装置的一个实施例框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请的图像处理方法涉及图像风格转换，而图像风格转换就是将一副图片(本申请的参照图像)的“风格”转移到另一副图片(本申请的目标图像)上去，而保持另一幅图片(目标图像)的内容不变。而从技术角度说，转移风格的实质是，使得从目标图像中抽取出来的风格表达要接近于从参照图像中抽取出来的风格表达，且在这个过程中还要尽量保持目标图像的内容不要有太大变化。

相关的图像风格转换处理，均是将参照图像的“风格”转移到目标图像的所有图像区域，对目标图像进行整体统一的风格转换处理，能最大程度的保持目标图像的内容不变。但是，对于目标图像中的部分区域进行风格转换后，会破坏该区域的原有图像特征，例如图像中某些对象的原有结构，进而影响风格转换后的目标图像的图像质量和用户观看体验。这里所说的目标图像中的部分区域，如：人物图像中的人脸区域，景物图像中的建筑、车辆区域等。

而本申请的图像处理方法相对于上述相关的图像风格转换处理，可以根据用户需求分别对目标图像的不同区域进行不同程度的风格转换，如图1所示，输出图像A为上述相关的图像风格转换处理对目标图像进行风格后的图像，其人脸区域进行风格转换后，具有了参照图像的风格(阴影)，破坏了原有的人脸结构。输出图像B为本申请的图像处理方法进行风格转换时，进行人脸区域的原有结构保护后输出的图像。

比较图1所示的两幅输出图像可知：本申请的图像处理方法，能够尽可能避免部分区域(如输出图像B中的人脸区域)的原有图像特征(如原有结构)被破坏，进而提高图像质量和用户观看体验。以下结合附图对本申请进行详细阐述。

参见图2a，图2a是本申请图像处理方法的一个实施例流程图，该实施例可以用于终端中，包括以下步骤201-204：

步骤201：获取需要转换风格的目标图像以及作为风格转换参照的参照图像。

本申请实施例涉及的终端可以是各种集成了图像处理功能的智能终端，例如，智能手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)等。终端用户可以通过智能终端直接拍摄图像，也可以接收其他终端发送的图像，在获得图像后存入图像库，以便进行图像处理时调用。

本申请实施例中，所述目标图像和所述参照图像可以由终端用户根据实际需要预先设定，所述目标图像可以包括终端用户日常生活中通过终端拍摄的图像、接收的其他终端所拍摄的图像、或者从网络上收集的图像等。

关于作为风格转换参照的参照图像，直观的看只要求其风格与所述目标图像的风格不同，可以是与所述目标图像的图像特征信息不同的图像，这里提到的图像特征信息如颜色信息、纹理信息等。在某些场景中参照图像可以是具有艺术风格的图像，例如：古典风格的图画、后现代风格的图画等。

在一个例子中，获取需要转换风格的目标图像以及作为风格转换参照的参照图像，可以直接从目标图像库和参照图像库调取，也可以实时拍摄或收集。

步骤202：获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同。

本申请实施例中，所述目标区域可以是预先选定的图像区域、或预设的图像内容所处的图像区域，所述目标区域为预先选定的图像区域、或者预设的图像对象在所述目标图像内所处的区域，所述其他区域为所述目标图像内除所述目标区域之外的区域。将所述目标图像区分为目标区域和其他区域这两个不同区域，原因在于需要对这两个区域进行不同程度的风格转换。

为了对所述目标图像的不同区域进行不同程度风格转换，需要通过所述目标图像的掩膜图像对进行风格转换的风格转换模型进行优化，而所述掩膜图像为分别对所述目标对象的两个不同区域，进行Mask处理(掩膜处理)后所得的图像。所述目标区域和所述其他区域在所述掩膜图像中分别对应不同的区域，所对应的两个区域的灰度参数不同，如果其中一个区域相较于另一个区域需要进行低程度的风格转换，则该需要进行低程度的风格转换的区域，在所述掩膜图像中对应的区域的灰度参数小于0.5。

在一个例子中，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。如果希望人脸区域尽量保持原有结构，则其在掩膜图像中对应的区域的灰度参数取值在0～0.5之间，如果希望人脸区域的风格转换更强烈，则其在掩膜图像中对应的区域的灰度参数取值在0.5～1之间。

参阅图2b，所述目标图像为左边方框内所示的人物图像，对所述目标图像进行掩膜处理后所得的掩膜图像如右边方框内所示的灰度图像。目标区域为目标图像中的黑框所框选的区域，所述其他区域为所述目标图像中黑框之外的区域。所述目标图像在所述掩膜图像的对应区域是灰度参数为α的区域，所述其他区域在所述掩膜图像中的对应区域是灰度参数为1-α的区域。

在其他例子中，所述目标区域可以包括至少两个不同区域，该至少两个不同区域可以为目标区域内需要进行不同程度风格转换的区域，各自在掩膜图像中对应的区域的灰度参数之和，等于所述目标区域在掩膜图像中对应的区域的灰度参数。

步骤203：获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。

本申请实施例中，与所述掩膜图像对应的风格转换网络，是可以对所述目标图像的不同区域进行不同程度的风格转换的网络。该风格转换网络与所述训练后的风格转换模型的不同之处在于：所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。这里提到的点乘处理可以是特征图像的矩阵与掩膜图像的矩阵之间的乘积。

对于所述训练后的风格转换模型，可以预先采集大量的需要转换风格的图像以及作为风格转换参照的图像，构成训练集，然后提前用训练集中的图像训练能对图像的不同区域进行不同程度的风格转换的风格转换模型。

在一个可选实现方式中，本申请实施例的图像处理方法可以预先通过以下操作生成所述训练后的风格转换模型：

从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像。

设置各组训练图像的训练次序，并选取出第一次序的一组训练图像。

对选取出的每组训练图像执行如下迭代过程：

将所述第一图像输入全卷积网络，获得所述第一图像的特征数据。

将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像。

将获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像。

基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数。

调整所述全卷积网络和所述卷积神经网络的网络参数。

根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程。

当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。

其中，差值在预设的差值范围内，表示差值满足预设的损失条件。差值范围可根据实际需要设定，例如：差值小于在先的损失函数的3％。

参阅图2c，全卷积网络为图2c所示的标号为fw的网络，卷积神经网络为图2c所示的标号为的网络。在某些场景，所述卷积神经网络可以是16层的VGG网络。

在训练过程中，将第一图像作为x图2c中的输入全卷积网络，提取出特征输入卷积神经网络，第一图像作为y_c和第二图像作为y_s分别输入卷积神经网络，卷积神经网络各卷积层对应的损失函数为

如果不考虑对不同区域进行不同程度的风格转换，在训练时同时优化两个损失函数，两个损失函数分别为Style Reconstruction loss和Feature Reconstruction Loss。

而Style Reconstruction loss的意义是和第二图像通过卷积神经网络之后得到的feature map之间的二阶Frobenius范数：

其中，G表示原矩阵的Gram矩阵，这个值越小，得到的输出图像的风格转换越强烈，也越容易破坏原有图像特征。

而Feature Reconstruction Loss是和第二图像通过卷积神经网络之后得到的Feature Map的归一化欧氏距离：

其中，C，W，H分别是图像的通道数，宽度，高度。作为归一化因子，这里的作用是避免损失函数的数值被图像大小影响。这个值越低，越能够保持第一图像的图像特征，即风格转换不够强烈。

为了对不同区域进行不同程度的风格转换，在算范数之前，根据得到的掩膜第三图像，修改原来的两个Reconstruction Loss，即：将每个全神经网络的各特征图像(Feature Map)的矩阵都分别与第三图像的矩阵M进行点乘处理，得到新的特征图像，然后获得如下所示的两个损失函数：

其中，I为与掩膜图像对应的矩阵M相同大小的全1矩阵。如果M为全0矩阵，则与对第一图像的所有区域进行相同程度的风格转换相同，如果M在不同区域有所不同，则对第一图像的不同区域进行不同程度的风格转换。

综上可知，Gram矩阵差的二范数表征第一图像的风格损失，Feature Map的归一化欧氏距离表征第一图像的内容损失，全神经网络的每一层的特征计算得到的Gram matrix，又可以很好的捕捉图像的风格信息(笔触以及纹理等)。结合这两种信息定义损失函数，指导第一图像从某个起始点(第一图像本身)开始，不断迭代优化，逐渐转变为风格变换后的图像。

在生成所述训练后的风格转换模型后，在另一个可选实现方式中，可以通过以下操作获取与所述掩膜图像对应的风格转换网络：

将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像。

基于优化后的特征图像，计算所述卷积神经网络的两个损失函数。

将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数。

将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。

本可选实现方式，将所述训练后的风格转换模型应用到即将进行风格转换的目标图像上，生成能对目标图像的不同区域进行不同程度的风格转换的风格转换网络。

步骤204：将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。

本申请实施例中，实现图像风格转换，需要参照图2c，将目标图像作为x图2c中的输入所述风格转换网络的全卷积网络，提取出特征输入所述风格转换网络的卷积神经网络，目标图像作为y_c和参照图像作为y_s分别输入卷积神经网络，通过所述风格转换网络的作用，输出图像为风格转换后的目标图像。

在一个例子中，参阅图2d，目标图像为图中左侧方框内上层所示的人物图像、参照图像为左侧框内下层所示的图画，风格转换后的目标图像为右侧方框内所示的输出图像。

在某些情景，获取掩膜图像时，可以通过分别生成用于掩盖所述目标图像的所述目标区域和所述其他区域的灰度图像，构成所述目标图像的掩膜图像，实现过程可参见图3a，图3a是本申请图像处理方法的另一个实施例流程图，该实施例可以包括以下步骤301-307：

步骤301：获取需要转换风格的目标图像以及作为风格转换参照的参照图像。

步骤302：识别所述目标图像的目标区域。

本申请实施例中，可以基于用户的触发操作框选所述目标区域，也可以通过图像识别技术，识别含有目标对象的图像区域。例如：通过人脸识别技术识别人脸。

步骤303：通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1。

步骤304：通过掩膜生成其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α。

本申请实施例中，其他区域为目标图像中除目标区域外的区域，在通过掩膜生成第一掩膜和第二掩膜时，可以预设形状的灰度图像掩盖所述目标区域或所述其他区域，调整灰度图像的形状和尺寸，当调整后的灰度图像恰好与对应区域的至少部分边界重合时，确定该调整后的灰度图像为第一或第二掩膜。

如果希望目标区域尽量保持原有图像特征(结构)，则其在掩膜图像中对应的区域的灰度参数α取值在0～0.5之间，如果希望目标区域的风格转换更强烈，则其在掩膜图像中对应的区域的灰度参数α取值在0.5～1之间。

步骤305：对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。

本申请实施例中，可以根据所述目标区域和所述其他区域在所述目标图像内的位置坐标，将所述第一掩膜填充到所述第二掩膜的空白区域，构成所述掩膜图像。

参阅图3b，目标图像为图中左侧方框内所示的图像，对目标图像不同区域掩膜处理后，目标区域的掩膜如图内中间方框上层所示的第一掩膜，其他区域的掩膜如图内中间方框下层所示的第二掩膜，合成后的图像为图中右侧方框所示的掩膜图像A。

步骤306：获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。

步骤307：将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。

为了使掩膜图像中不同区域之间的边缘过度更自然，在一个可选实现方式中，通过以下操作对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像，包括：

对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成。

对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。

参阅图3c，合成后的图像为图中左侧方框内所示的掩膜图像A，对掩膜图像A高斯模糊后生成右侧框内所示的掩膜图B，对比图3c中的掩膜图像A和掩膜图像B可知：高斯处理后，掩膜图像中不同区域之间的边缘过度更自然，可以使风格转换后的目标图像内不同区域之间更和谐，能有效提高图像质量和用户观看体验。

由上述实施例可知：通过获取与所述目标图像对应的掩膜图像、以及与所述掩膜图像对应的风格转换网络，再将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。由于所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘处理所得，能够获得的风格转换后的图像，对应目标图像的目标区域和其他区域进行了不同程度的风格转换，可以降低对部分区域的结构破坏程度，从而提高图像转换质量。

此外，获得风格转换后的目标图像后，可以将作为某些社交APP内的用户头像、或共享到社交平台。

与前述图像处理方法的实施例相对应，本申请还提供了图像处理装置的实施例。

本申请图像处理装置的实施例可以应用在终端上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请图像处理装置所在终端的一种硬件结构图，除了图4所示的处理器410、网络接口420、内存430、以及非易失性存储器440之外，实施例中装置所在的终端通常根据该终端的实际功能，还可以包括其他硬件，对此不再赘述。

上述处理器可以被配置为：获取需要转换风格的目标图像以及作为风格转换参照的参照图像；获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。

参见图5，图5是本申请图像处理装置的一个实施例框图，该装置可包括：输入图像获取模块510、掩膜图像获取模块520、转换网络获取模块530和图像风格转换模块540。

其中，输入图像获取模块510，用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像。

掩膜图像获取模块520，用于获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同。

转换网络获取模块530，用于获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。

图像风格转换模块540，用于将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。

在一个可选的实现方式中，本申请实施例的图像处理装置还可以包括模型训练模块，所述模型训练模块包括(图5中未示出)：

训练样本选取模块，用于从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像。

训练次序设置模块，用于设置各组训练图像的训练次序，并选取出第一次序的一组训练图像。

迭代模块，用于对选取出的每组训练图像执行迭代过程；

所述迭代模块还包括：

特征数据获取模块，用于将所述第一图像输入全卷积网络，获得所述第一图像的特征数据。

特征图像获取模块，用于将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像。

点乘处理模块，用于获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像。

损失函数生成模块，用于基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数。

网络参数调整模块，用于调整所述全卷积网络和所述卷积神经网络的网络参数。

迭代返回模块，用于根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程。

风格转换模型确定模块，用于在次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。

在另一个可选的实现方式中，本申请实施例的转换网络获取模块530还可以包括(图5中未示出)：

优化特征生成模块，用于将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像。

损失函数计算模块，用于基于优化后的特征图像，计算所述卷积神经网络的两个损失函数。

损失函数更新模块，用于将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数。

转换网络确定模块，用于将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。

在另一个可选的实现方式中，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。

参见图6，图6是本申请图像处理装置的另一个实施例框图，该装置可包括：输入图像获取模块610、掩膜图像获取模块620、转换网络获取模块630和图像风格转换模块640，掩膜图像获取模块620可以包括目标区域识别模块621、第一掩膜模块622、第二掩膜模块623和掩膜图像生成模块624。

其中，输入图像获取模块610，用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像。

目标区域识别模块621，用于识别所述目标图像的目标区域。

第一掩膜模块622，用于通过掩膜生成所述目标图像内的目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1。

第二掩膜模块623，用于通过掩膜生成所述目标图像内的其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α。

掩膜图像生成模块624，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。

转换网络获取模块630，用于获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。

图像风格转换模块640，用于将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。

在一个可选的实现方式中，本申请实施例的掩膜图像生成模块624还可以包(图6中未示出)：

图像合成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成。

高斯模糊模块，用于对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。

本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。