一种基于深度卷积神经网络的图像风格迁移方法与流程

本发明涉及深度学习领域，尤其是涉及了一种基于深度卷积神经网络的图像风格迁移方法。

背景技术：

随着科技技术迅速发展，在深度学习研究领域，前馈神经网络已经被广泛地用于快速风格迁移，将具有艺术作品上的艺术风格转移到日常照片上已经成为在学术界和工业界中非常受欢迎的计算机视觉任务。然而，当这些风格化网络直接应用于高分辨率图像时，局部区域的风格通常看起来不太类似于期望的艺术风格，因为转移过程不能捕获小的，复杂的纹理并且保持艺术作品的正确的纹理尺度。而且由于是在线迭代优化的过程，迁移运行时间非常长。而如果采用基于深度卷积神经网络的图像风格迁移方法，则可以使具有不同艺术风格的任意图像风格化。

本发明提出了一种基于深度卷积神经网络的图像风格迁移方法，它采用多峰迁移网络分层地对图像进行风格化，它包含三个阶段：输入图像首先被调整为具有双线性下采样层的内容图像(256×256)，通过风格子网风格化，捕获艺术品的大多数色彩和纹理特征；接下来，作为第一输出图像的风格化结果被上采样为512×512大小的图像，并且通过增强子网得到第二输出图像，增强了风格化强度；然后，它被调整大小为1024×1024；最后，细化子网删除局部像素化伪影，并进一步细化结果，获得最具视觉吸引力的高分辨率结果。本发明在艺术风格迁移方面，比起当前最先进的单迁移网络，可以更密切地模拟艺术品的笔触；将多个模型组合到一个网络中，能够处理现代数码相机拍摄得到的尺寸越来越大的图像；它还可以用于训练组合模型，以使具有多个不同艺术风格的单个图像风格化。

技术实现要素：

针对风格迁移过程耗时和迁移到高分辨图像不精细的问题，本发明的目的在于提供一种基于深度卷积神经网络的图像风格迁移方法。

为解决上述问题，本发明提供一种基于深度卷积神经网络的图像风格迁移方法，其主要内容包括：

(一)图像输入；

(二)损失函数训练；

(三)风格化；

(四)图像增强；

(五)图像细化。

其中，一种基于深度卷积神经网络的图像风格迁移方法，包括多峰卷积神经网络，加入色彩和亮度通道信息，并利用多个尺度增大的损失值执行分层式风格化；可以通过离线执行更复杂的训练，以几乎实时的时间执行风格迁移任务；通过使用几种模型在多尺度下适当地处理风格和纹理线索，不仅可以转移大型、明显的风格线索，而且可以转移微小、精致的线索。

其中，所述的图像输入，选取一幅艺术绘画作品作为风格图像；任意一张图像在输入多峰卷积神经网络前，将其调整为具有双线性下采样层的分辨率为256×256的内容图像。

其中，所述的损失函数训练，将多峰迁移网络的所有输出图像作为损失网络的输入，计算每个输出图像的风格化损失值，并将所有风格化损失值加权组合，从而训练多峰迁移网络。

进一步地，所述的损失网络，计算多峰迁移网络生成K个增大尺寸的输出结果的风格化损失值：

其中和是对应的内容目标和风格目标，也是输出的子网的输入，并且是艺术品y_s的缩放版本；通过训练具有不同风格规模的子网，控制为不同子网学习的艺术特征的类型；

采用平行标准，使得不同的风格化损失被用于反向传播用于不同层的范围的权重；定义层次化风格化损失函数它是如下公式所示风格化损失的加权联合：

其中λ_k是风格化损块的权重；在对自然图像x～χ的端到端学习期间，由θ_k表示的每个子网训练，子网最小化从后者的输出计算的并行加权的风格化损失；其中θ_k由下式得到：

当前子网θ_k的权重受处的风格化损失和后一子网的梯度的影响。

其中，所述的风格化，包括从RGB彩色图像分离亮度通道，并使用两个独立的分支(RGB块和L块)区别地学习它们的表示；然后从两个分支计算的特征地图沿着深度维度连接在一起，并由随后的卷积块进一步处理。

进一步地，所述的RGB块、L块和卷积块，RGB块包括三个步长的卷积层(分别为9×9，3×3，3×3，后两个用于下采样)和三个残差块，而LBlock具有类似的结构，除了卷积深度是不同的；卷积块由三个残差块，用于上采样的两个调整大小的卷积层和最后的3×3卷积层组成，获得输出RGB图像所有非残差卷积层之后是实例归一化和ReLU非线性化。

其中，所述的图像增强，采用具有大多数纹理的权重的增强子网，进一步增强风格子网得到的结果；增强子网与风格子网结构类似，但它具有用于下采样的一个或多个卷积层和用于上采样的一个或多个调整大小卷积层，扩大接收域的大小。

其中，所述的图像细化，采用由θ₃参数化的深度残差卷积神经网络作为细化子网；在训练期间，细化子网的输入图像没有重新调整为1024×1024，仍是512×512的分辨率；细化子网删除图像的局部像素化伪影，并进一步细化结果，最后获得最具视觉吸引力的高分辨率图像

进一步地，所述的细化结果，细化后的结果可以是多种艺术风格的组合，同时具有多种尺度的颜色和纹理线索；只使用两级层次结构执行风格迁移过程，还可以将这种结构递归地扩展，实现更大规模大小的图像风格化。

附图说明

图1是本发明一种基于深度卷积神经网络的图像风格迁移方法的系统流程图。

图2是本发明一种基于深度卷积神经网络的图像风格迁移方法的模型架构图。

图3是本发明一种基于深度卷积神经网络的图像风格迁移方法的损失网络架构图。

图4是本发明一种基于深度卷积神经网络的图像风格迁移方法的风格迁移结果示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于深度卷积神经网络的图像风格迁移方法的系统流程图。主要包括图像输入；损失函数训练；风格化；图像增强；图像细化。

其中，所述的图像输入，选取一幅艺术绘画作品作为风格图像；任意一张图像在输入多峰卷积神经网络前，将其调整为具有双线性下采样层的分辨率为256×256的内容图像。

其中，所述的损失函数训练，将多峰迁移网络的所有输出图像作为损失网络的输入，计算每个输出图像的风格化损失值，并将所有风格化损失值加权组合，从而训练多峰迁移网络。

进一步地，所述的损失网络，计算多峰迁移网络生成K个增大尺寸的输出结果的风格化损失值：

其中和是对应的内容目标和风格目标，也是输出的子网的输入，并且是艺术品y_s的缩放版本；通过训练具有不同风格规模的子网，控制为不同子网学习的艺术特征的类型；

采用平行标准，使得不同的风格化损失被用于反向传播用于不同层的范围的权重；定义层次化风格化损失函数它是如下公式所示风格化损失的加权联合：

其中λ_k是风格化损失的权重；在对自然图像x～χ的端到端学习期间，由θ_k表示的每个子网训练，子网最小化从后者的输出计算的并行加权的风格化损失；其中θ_k由下式得到：

当前子网θ_k的权重受处的风格化损失和后一子网的梯度的影响。

其中，所述的风格化，包括从RGB彩色图像分离亮度通道，并使用两个独立的分支(RGB块和L块)区别地学习它们的表示；然后从两个分支计算的特征地图沿着深度维度连接在一起，并由随后的卷积块进一步处理。

进一步地，所述的RGB块、L块和卷积块，RGB块包括三个步长的卷积层(分别为9×9，3×3，3×3，后两个用于下采样)和三个残差块，而LBlock具有类似的结构，除了卷积深度是不同的；卷积块由三个残差块，用于上采样的两个调整大小的卷积层和最后的3×3卷积层组成，获得输出RGB图像所有非残差卷积层之后是实例归一化和ReLU非线性化。

其中，所述的图像增强，采用具有大多数纹理的权重的增强子网，进一步增强风格子网得到的结果；增强子网与风格子网结构类似，但它具有用于下采样的一个或多个卷积层和用于上采样的一个或多个调整大小卷积层，扩大接收域的大小。

其中，所述的图像细化，采用由θ₃参数化的深度残差卷积神经网络作为细化子网；在训练期间，细化子网的输入图像没有重新调整为1024×1024，仍是512×512的分辨率；细化子网删除图像的局部像素化伪影，并进一步细化结果，最后获得最具视觉吸引力的高分辨率图像

进一步地，所述的细化结果，细化后的结果可以是多种艺术风格的组合，同时具有多种尺度的颜色和纹理线索；只使用两级层次结构执行风格迁移过程，还可以将这种结构递归地扩展，实现更大规模大小的图像风格化。

图2是本发明一种基于深度卷积神经网络的图像风格迁移方法的模型架构图。该网络包括两个主要部分：多峰迁移网络和损失网络。前馈多模态网络(MT网络)是一种分层的深度残差卷积神经网络，由三个子网络组成：风格子网，增强子网和细化子网。这些子网分别由θ₁，θ₂和θ₃参数化。MT网络将图像x作为输入，并且被训练以生成多个尺寸增大的输出图像，然后所有这些输出图像被分别作为损失网络的输入，以计算每个的风格化损失。总损失是所有风格化损失的加权组合。

图3是本发明一种基于深度卷积神经网络的图像风格迁移方法的损失网络架构图。多峰迁移网络可以生成K个增大尺寸(图2所示的网络中的K＝3)的K个输出结果。然后为每个输出结果计算风格化损失值：

其中和是对应的内容目标和风格目标，也是输出的子网的输入，并且是艺术品y_s的缩放版本；通过训练具有不同风格规模的子网，控制为不同子网学习的艺术特征的类型。

由于这样的风格化损失是基于整个网络的不同层的输出计算的，因此在这里不能使用总损失直接传播和向后更新权重。因此，采用平行标准，使得不同的风格化损失被用于反向传播用于不同层的范围的权重。层次化风格化损失函数它是如下公式所示风格化损失的加权联合：

其中λ_k是风格化损失的权重；在对自然图像x～χ的端到端学习期间，由θ_k表示的每个子网训练，子网最小化从后者的输出计算的并行加权的风格化损失；其中θ_k由下式得到：

在实践中，假设通常的反向传播函数由f^-1表示，则对于每次迭代，子网θ_k的权重更新(梯度)可以写为

当前子网θ_k的权重受处的风格化损失和后一子网的梯度的影响。

从公式(3)，可以看到，即使所有这些子网都是为不同的目的设计的，它们不是完全独立的。前面的子网也有助于最小化后者的损失。因此，较浅的卷积神经网络结构可用于后面的子网，这节省了计算存储器和运行时间。

图4是本发明一种基于深度卷积神经网络的图像风格迁移方法的风格迁移结果示意图。两张日常照片分别根据作为风格图像的艺术作品，在捕获其大多数纹理和颜色线索后，利用多峰迁移网络模拟其艺术作品的精细笔触进行风格迁移。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。