一种图像风格迁移处理方法、移动终端和云端服务器与流程

本发明涉及图像处理技术领域，尤其涉及一种图像风格迁移处理方法、移动终端和云端服务器。

背景技术：

现有技术中对图像风格迁移的处理方法，主要是非参数的图像风格迁移，方法主要基于物理模型的绘制和纹理的合成，不同国内外学者提出的算法有：一种是简单的纹理算法，通过对样本纹理进行拼接和重组以合成新的纹理；一种是基于类推思想的方法，通过图像特征映射关系合成具有新纹理的图像，运用多层纹理阵列、国画光照模型、提取轮廓线等模块，实时绘制3d中国画效果的山峦场景；一种是邻域一致性度量方法，通过把统计特性引入相似性度量中，以提高图像匹配点搜索的效率。

虽然这些方法已经获得了可观的效果，但是非参数的图像风格迁移方法只能提取图像的底层特征，而非高层抽象特征，在处理颜色和纹理较复杂的图像时，最终的图像合成效果较为粗糙，难以符合实际需求。

另外，现有技术中的图像风格迁移的处理方法的速度慢，也不能在云端或移动端进行，不适应当前大数据和云计算的应用发展需求。

技术实现要素：

本发明主要解决的技术问题是提供一种图像风格迁移处理方法、移动终端和云端服务器，解决现有技术中图像风格迁移处理方法对图像风格特征不能提取高层抽象参数、合成图像效果粗糙，以及处理速度慢、不能在移动端灵活使用的问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种图像风格迁移处理方法，包括以下步骤：风格特征提取，构建用于提取风格特征的第一卷积神经网络，输入第一图像到第一卷积神经网络进行多次风格特征提取和比对，由此训练优化所述第一卷积神经网络，并得到第一图像对应的风格特征数据；内容特征提取，构建用于提取内容特征的第二卷积神经网络，输入第二图像到第二卷积神经网络，对第二图像的内容特征进行提取，得到第二图像对应的内容特征数据；风格内容融合，将所述风格特征数据和内容特征数据进一步在所述第二卷积神经网络中进行融合，最终输出目标风格图像。

优选的，在所述风格特征提取步骤中，所述第一卷积神经网络是vgg16卷积神经网络。

优选的，当把该第一图像输入到vgg16卷积神经网络后，对应得到每一层卷积网络对应提取的风格特征数据。

优选的，所述第二卷积神经网络包括两个部分：下采样部分和上采样部分，通过下采样部分提取并融合图像特征，使图像具备第一图像的风格和第二图像的内容，再使用上采样部分将融合的特征生成目标风格图像。

优选的，采用最近邻算法对第二图像进行预处理，对第二图像的像素进行缩小化。

优选的，经过预处理的第二图像在第二卷积神经网络与第一图像的风格特征数据的参数和权重，依据设定比例进行计算，预测生成最终的目标风格图像。

优选的，对于第一卷积神经网络和第二卷积神经网络进行训练完以后，对这两个卷积神经网络压缩，缩小两个神经网络的尺寸。

还提供一种移动终端和云端服务器，均包括风格特征提取单元，其中包括用于提取风格特征的第一卷积神经网络，通过输入第一图像到第一卷积神经网络进行多次风格特征提取和比对，由此训练优化所述第一卷积神经网络，并得到第一图像对应的风格特征数据；风格内容融合单元，其中包括用于提取内容特征的第二卷积神经网络，通过输入第二图像到第二卷积神经网络，对第二图像的内容特征进行提取，得到第二图像对应的内容特征数据；进一步将所述风格特征数据和内容特征数据在所述第二卷积神经网络中进行融合，最终输出目标风格图像。

本发明的有益效果是：本发明公开了一种图像风格迁移处理方法、移动终端和云端服务器。该方法包括的步骤有风格特征提取、内容特征提取和风格内容融合，主要是通过第一卷积神经网络对第一图像进行风格特征提取，再利用第二卷积神经网络对第二图像的内容特征进行提取，然后进一步对这两个风格特征和内容特征进行融合，获得目标风格图像。该方法还利用最邻近算法对内容特征进行压缩，压缩后的图像内容与图像风格依据不同比例进行交叉融合计算，获取最终的融合图像。以及通过进一步缩小卷积神经网络尺寸的方式，将该方法应用于移动端和云端，具有处理速度快、融合效果好的优势。

附图说明

图1是根据本发明图像风格迁移处理方法一实施例的流程图；

图2是根据本发明图像风格迁移处理方法一实施例中的卷积神经网络组成图；

图3是根据本发明图像风格迁移处理方法一实施例中的第一图像示图；

图4是图3示图提取的一种图像风格特征；

图5是图3示图提取的另一种图像风格特征；

图6是根据本发明图像风格迁移处理方法另一实施例中的第二卷积神经网络组成示意图；

图7是根据本发明图像风格迁移处理方法另一实施例中的第二图像示图；

图8是对图7图像内容进行风格迁移处理的一效果图；

图9是对图7图像内容进行风格迁移处理的另一效果图；

图10是对图7图像内容进行风格迁移处理的另一效果图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

图1显示了本发明图像风格迁移处理方法一实施例的流程图。在图1中，包括步骤：

步骤s1：风格特征提取，构建用于提取风格特征的第一卷积神经网络，输入第一图像到第一卷积神经网络进行多次风格特征提取和比对，由此训练优化所述第一卷积神经网络，并得到第一图像对应的风格特征数据；

步骤s2：内容特征提取，构建用于提取内容特征的第二卷积神经网络，输入第二图像到第二卷积神经网络，对第二图像的内容特征进行提取，得到第二图像对应的内容特征数据；

步骤s3：风格内容融合，将风格特征数据和内容特征数据进一步在第二卷积神经网络中进行融合，最终输出目标风格图像。

优选的，在风格特征提取步骤s1中，第一卷积神经网络是vgg16卷积神经网络。进一步的，如图2所示，该卷积神经网络包括13个卷积层，5个最大池化层，3个全连接层和1个softmax层，并按照图2所示的结构和参数进行设置，实现图像的下采样，利用机器学习框架tensorflow可实现该网络的完整搭建，并进行训练。

优选的，当第一图像输入到vgg16卷积神经网络中，对于其中的13层卷积网络，每一层卷积网络提取该层对应的风格特征数据，并且每一层得到的风格特征数据不完全相同。

优选的，使用vgg16卷积神经网络的浅层参数和权重提取风格特征数据。

优选的，将每一层提取的风格特征数据作为训练数据，进行分组训练。

优选的，对每一层提取的风格特征数据对比进行训练，比较最终的转换结果。

优选的，对vgg16卷积神经网络模型进行多次重新训练，获得不同的图像风格特征的参数和权重，然后对这些具有不同参数和权重的模型再进行对比选择，找到最优的可选模型。因此，在上述图像风格特征提取阶段，使用vgg16卷积神经网络模型，还进一步对该神经网络模型进行fine-tuning，提取图像风格特征，通过训练比对这些提取的风格特征结果，保存不同参数的训练模型，再从中进行对比选优，然后再对模型去除多余组成，进行模型“瘦身”。

进一步的，参考图3，这是一个第一图像实施例，当把该第一图像输入到vgg16卷积神经网络后，对应可以得到第一层卷积网络提取的风格特征数据，主要对应得到的是亮度数据，如图4所示；第二层卷积网络提取的风格特征数据，主要对应得到的是线条数据，如图5所示。依此类推，还可以得到其他卷积网络提取的风格特征数据。

进一步的，内容特征提取步骤s2和风格内容融合步骤s3都是在第二卷积神经网络中实现的，图6具体给出了第二卷积神经网络的一个优选实施例。

优选的，第二卷积神经网络包括两个部分，下采样部分和上采样部分，如图6所示，通过下采样部分提取并融合图像特征，使图像具备第一图像的风格和第二图像的内容，再使用上采样部分将融合的特征反卷积生成目标风格图像。由此训练该第二卷积神经网络网络，达到图像风格迁移或转换的目的。

进一步的，对于第一图像和第二图像还可以进行图像预处理，优选采用最近邻算法对第一图像和第二图像进行预处理，该方法既可以提取图像信息，保证了图形信息的完整。通过预处理主要是对第一图像和第二图像的像素进行缩小化处理，可以把一个像素率较高的图像通过预处理得到224×224这样一个像素较小的图像，输入到卷积神经网络。这也是基于当前计算机的计算能力，卷积神经网络输入的图像尺寸多为224×224的原因。

优选的，通过最邻近算法对第二图像内容进行压缩，将压缩后的第二图像的内容特征数据与第一图像的风格特征数据依据不同比例进行计算，获取融合后的最终的目标风格图像。

对此，可以通过举例加以说明，如图7所示为第二图像一个实施例，图8中的左下角对应的是第一图像的一个实施例，通过本发明的处理方法后，得到的就是图8中显示的目标风格图像，很显然图8中的目标风格图像的内容取自于图7中的图像内容，但是显示的图像风格则是图8中的左下角对应的第一图像的图像风格，二者实现了很好的风格融合处理。进一步的，图9和图10显示的与图8相似，都是对图7作为第二图像的融合各种风格后的目标图像结果。

进一步优选的，对于第一卷积神经网络和第二卷积神经网络进行训练完以后，可以对这两个卷积神经网络压缩，进一步缩小两个神经网络的尺寸，优选为压缩到原有卷积神经网络尺寸的三分之一。由此可以减小这两个卷积神经网络的规模，因此可以应用到移动端和云端，即移动通信终端和云服务器。

优选的，对卷积神经网络压缩的方法包括去掉神经网络中的最后的全连接层，剩余部分用作特征提取器，即由此实现对第一卷积神经网络和第二卷积神经网络的“瘦身”。

由此可以看出，本发明中由于对第一图像和第二图像进行图像预处理，使用最邻近算法对图像进行合理压缩，因为图像风格转换中的图像预处理是尽可能保证图像信息的完整度而忽略图像的风格，所以使用最邻近算法处理图像既保证图像信息的完整度又可高效处理图像，这是提速的第一个阶段。进一步的，通过对训练模型进行“瘦身”，即训练网络和预测网络分离，直接利用预测网络，暴露出softmax层对模型中的变量进行“冻结”，在完成图像处理的基础上，对模型尺寸进行压缩，“瘦身”后的模型为原模型的1/3，这也使模型部署移动端成为可能，模型部署移动端，打破了网络延迟带来的图像上传和接收的限制，这是提速的第二阶段。因此，本发明在处理速度方面也有明显提升。

本发明图像风格迁移处理方法包括的步骤有风格特征提取、内容特征提取和风格内容融合，主要是通过第一卷积神经网络对第一图像进行风格特征提取，再利用第二卷积神经网络对第二图像的内容特征进行提取，然后进一步对这两个风格特征和内容特征进行融合，获得目标风格图像。该方法还利用最邻近算法对内容特征进行压缩，压缩后的图像内容与图像风格依据不同比例进行交叉融合计算，获取最终的融合图像。以及通过进一步缩小卷积神经网络尺寸的方式，将该方法应用于移动端和云端，具有处理速度快、融合效果好的优势。

基于同一构思，还提供一种移动终端和云端服务器，二者包括相同的组成单元，即：

风格特征提取单元，其中包括用于提取风格特征的第一卷积神经网络，通过输入第一图像到第一卷积神经网络进行多次风格特征提取和比对，由此训练优化第一卷积神经网络，并得到第一图像对应的风格特征数据；

风格内容融合单元，其中包括用于提取内容特征的第二卷积神经网络，通过输入第二图像到第二卷积神经网络，对第二图像的内容特征进行提取，得到第二图像对应的内容特征数据；进一步将风格特征数据和内容特征数据在第二卷积神经网络中进行融合，最终输出目标风格图像。

上述风格特征提取单元包括的第一卷积神经网络组成以及工作原理，参考前述说明，这里不再赘述。上述风格内容融合单元包括的第二卷积神经网络组成以及工作原理，参考前述说明，这里也不再赘述。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。