图像风格转换方法、装置及设备与流程

本申请涉及图像处理技术领域，尤其涉及一种图像风格转换方法、装置及设备。

背景技术：

利用深度神经网络进行图像处理是随着深度学习技术的发展而新兴起来的技术。然而，相关技术中的图像处理系统的灵活性差，并且图像处理速度慢。因此，如何提高图像处理系统的灵活性及处理速度，成为目前亟需解决的问题。

技术实现要素：

本申请提供一种图像风格转换方法、装置及设备，用于解决相关技术中，亟需提高图像处理系统的灵活性及处理速度的问题。

本申请一方面实施例提供一种图像风格转换方法，该方法包括：获取待处理图像在yuv空间中各色度通道的分量；将所述待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，以获取所述待处理图像的内容特征及风格特征；将所述待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将所述待处理图像转换为目标风格的图像。

本申请另一方面实施例提供一种图像风格转换装置，该装置包括：第一获取模块，用于获取待处理图像在yuv空间中各色度通道的分量；第二获取模块，用于将所述待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，以获取所述待处理图像的内容特征及风格特征；融合处理模块，用于将所述待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将所述待处理图像转换为目标风格的图像。

本申请又一方面实施例提供一种计算机设备，该计算机设备包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现第一方面实施例所述的图像风格转换方法。

本申请再一方面实施例的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，以实现第一方面实施例所述的图像风格转换方法。

本申请再一方面实施例的计算机程序，当所述计算机程序被处理器执行时，以实现第一方面实施例所述的图像风格转换方法。

本申请公开的技术方案，具有如下有益效果：

首先通过获取待处理图像在yuv空间中各色度通道的分量，以将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，获取待处理图像的内容特征及风格特征，然后将待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将待处理图像转换为目标风格的图像。由此，实现了通过对图像在yuv空间内不同色度通道进行分组卷积处理，以根据处理结果获取目标风格图像，不仅保证了图像数据的完整性，还能降低图像处理的复杂度，从而能够提高处理速度及灵活性，使得图像风格转换的效率更高、效果更好。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本申请一示例性实施例示出的图像风格转换方法的流程示意图；

图2是相关技术中常规卷积神经网络对图像进行卷积处理过程示意图；

图3是本申请利用分组卷积神经网络对图像进行卷积处理过程的示意图；

图4是根据本申请将待处理图像的内容图像、风格特征及目标风格特征进行融合处理的流程示意图；

图5是本申请中生成分组卷积神经网络的流程示意图；

图6是本申请中对待处理图像的各色度通道的分量进行分组卷积处理的流程示意图；

图7是一个示例性的卷积神经网络结构示意图；

图8是本申请中对待处理图像风格转换的具体过程示意图；

图9是根据本申请另一示例性实施例示出的图像风格转换方法的流程示意图

图10是根据本申请一个示例性实施例示出的图像风格转换装置的结构示意图；

图11是根据本申请另一个示例性实施例示出的图像风格转换装置的结构示意图；

图12是根据本申请一示例性实施例示出的计算机设备的结构示意图；

图13是根据本申请另一示例性实施例示出的计算机设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请各实施例针对相关技术中，亟需提高图像处理系统的灵活性及处理速度的问题，提出一种图像风格转换方法。

本申请实施例，首先通过获取待处理图像在yuv空间内各色度通道的分量，以将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，获取待处理图像的内容特征及风格特征，然后将待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将待处理图像转换为目标风格的图像。由此，实现了通过对图像在yuv空间内不同色度通道进行分组卷积处理，以根据处理结果获取目标风格图像，不仅保证了图像数据的完整性，还能降低图像处理的复杂度，从而能够提高处理速度及灵活性，使得图像风格转换的效率更高、效果更好。

下面参考附图描述本申请实施例的图像风格转换方法、装置及设备进行详细说明。

首先，结合图1对本申请中图像风格转换方法进行具体说明。

图1是根据本申请一示例性实施例示出的图像风格转换方法的流程示意图。

如图1所示，本申请实施例图像风格转换方法可以包括以下步骤：

步骤101，获取待处理图像在yuv空间中各色度通道的分量。

其中，本申请实施例提供的图像风格转换方法，可以由本申请实施例提供的计算机设备执行。其中，计算机设备中设置有图像风格转换装置，以实现对图像的处理过程进行控制。本实施例计算机设备可以是任一具有数据处理功能的硬件设备，比如智能手机、个人数字助理、穿戴式设备、台式电脑、智能相机等等。

在本实施例中，待处理图像可以是相机拍摄的图像；或者，还可以是从互联网端获取的图像；又或者，也可以是计算机设备中本地存储的图像，此处对其不作具体限定。

下面本实施例以待处理图像是通过相机拍摄得到的为例进行具体说明。

可选的，可通过从影像传感器中获取待处理图像的图像数据。其中，获取的图像数据可以是beyer阵列的rgb数据，或者，也可能是其他类型数据，比如yuv格式，ycbcr格式等，本申请在此不对其作具体限定。

由于在实际应用时，图像的数据通常是rgb类型，即图像按照红绿蓝三种分量一起存储在一个矩阵中。而yuv格式中的明亮度信号(y)、色度信号(u)及色度信号(v)是分离的，并且由于图像的结构信息(内容特征、风格特征)多是通过y通道分量即可获得。

因此，本实施例获取到待处理图像的图像数据之后，可对待处理图像的图像数据类型进行判断，以确定待处理图像的图像数据是否为yuv格式。其中，若待处理图像的图像数据是yuv格式，则不作任何处理；若待处理图像的图像数据是rgb格式时，则需要将待处理图像的图像数据转换为yuv格式。

其中，作为一种可选的实现方式，本实施例将rgb数据转换为yuv格式时，可通过公式(1)实现：

上述转换公式(1)，还可通过以下编码矩阵来实现，具体如下：

进一步的，在获取到待处理图像的yuv格式的图像数据之后，计算机设备即可得到待处理图像在yuv空间中各色度通道的分量。即，根据y通道得到待处理图像的明亮度分量，根据u通道得到待处理图像的色度分量，及根据v通道得到待处理图像的色度分量。

步骤102，将所述待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，以获取所述待处理图像的内容特征及风格特征。

如图2所示，目前，相关技术对图像进行卷积处理时，通常是将图像数据作为整体做卷积处理，即输入数据：h1×w1×c1，并且根据图2可知，卷积处理时的卷积核大小为：h1×w1，总共有c2个，则卷积得到的输出数据为：h2×w2×c2，这就会对计算机设备的存储器的容量提出了更高的要求。

对此，本申请实施例通过获取待处理图像在yuv空间中各色度通道的分量，以对各色度通道的分量进行分组卷积处理，来减少网络参数，降低对计算机设备的存储器容量的高要求。具体如图3所示，可在深度上对待处理图像在yuv空间中各色度通道的分量进行分组，例如，将输入数据分为2组，其中组数为g。然后，用每组的卷积核与对应组内的输入数据进行卷积处理，得到输出数据，再用concatenate组合起来，使得最终的输出数据通道仍为c2。也就是说，分组数g决定之后，将并行的运算g个相同的卷积过程，每个过程里输入数据为h1×w1×c1/g，卷积核大小为h1×w1×c1/g，一共有c2/g个，输出数据为h2×w2×c2/g。

需要注意的是，上述对待处理图像在yuv空间中各色度通道的分量进行分组时，由c1/g决定。因为输出数据的改变，相应的卷积核也需要做出同样的改变，即每组中卷积核的深度也变成c1/g。

也就是说，本申请通过分组卷积神经网络，对待处理图像在yuv空间中各色度通道的分量进行卷积处理，可以实现对不同色度通道进行不同层的卷积处理，获取待处理图像的内容特征及风格特征，不仅减少了卷积网络模型的尺寸，还能提高图像处理速度和灵活性。

举例来说，当输入通道为256，输出通道也为256，卷积核大小为3×3，当按照相关技术的卷积处理方式进行处理时，网络参数为256×3×3×256，而当利用分组卷积处理方式进行处理时，若组数为8组，每组的输入通道和输出通道均为32，网络参数为8×32×3×3×32，显然经过分组卷积处理方式进行处理时，网络参数是常规卷积处理方式的八分之一，明显减少了网络参数，从而能够提高图像处理的速度。

需要说明的是，对于本实施例中分组卷积神经网络模型的生成过程，将在下面的示例中进行详细说明，此处对其不作过多赘述。

步骤103，将所述待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将所述待处理图像转换为目标风格的图像。

其中，目标风格特征可以是与待处理图像的风格特征不相同的任意风格特征，此处对其不作具体限定。例如，柔和、鲜明、悠远、怀旧、清爽、宁静、古典、素描等等。

可选的，在获取到待处理图像的内容特征、风格特征之后，可将待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将待处理图像转换为目标风格的图像。

作为一种可选的实现方式，如图4所示，可通过如下步骤将待处理图像的内容特征、风格特征及目标风格特征进行融合处理。

步骤401，将所述待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以生成所述待处理图像在所述目标风格时在yuv空间中各色度通道的分量。

可选的，可基于深度学习理论的特征融合算法，将待处理图像的内容特征、风格特征及目标风格特征进行融合处理，得到待处理图像在目标风格时在yuv空间中各色度通道的分量。

步骤402，根据所述待处理图像在所述目标风格时在yuv空间中各色度通道的分量，确定所述目标风格的图像在rgb空间中各颜色通道的分量。

步骤403，根据所述目标风格的图像在rgb空间中各颜色通道的分量，输出所述待处理图像转换为所述目标风格后的图像。

在本实施例中，本实施例确定目标风格的图像在rgb空间中各颜色通道的分量时，可通过如下转换公式(2)实现：

上述转换公式(2)，还可通过一下编码矩阵实现，具体如下：

进一步的，得到目标风格的图像在rgb空间中各颜色通道的分量之后，可根据rgb空间中各颜色通道的分量合成rgb格式的目标风格图像。

也就是说，在将待处理图像转换为目标风格的图像时，首先根据目标风格特征，生成待处理图像在目标风格时在yuv空间中各色度通道分量，再将yuv空间中各色度的分量转换为rgb空间中的各颜色通道的分量，然后输出待处理图像转为目标风格后的图像。

本申请实施例提供的图像风格转换方法，首先通过获取待处理图像在yuv空间中各色度通道的分量，以将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，获取待处理图像的内容特征及风格特征，然后将待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将待处理图像转换为目标风格的图像。由此，实现了通过对图像在yuv空间内不同色度通道进行分组卷积处理，并根据处理结果获取目标风格图像，不仅保证了图像数据的完整性，还能降低图像处理的复杂度，从而能够提高处理速度及灵活性，使得图像风格转换的效率更高、效果更好。

下面结合图5，对本申请上述实施例中的分组卷积神经网络的生成过程进行详细说明。

如图5所示，本申请实施例生成分组卷积神经网络可以包括以下步骤：

步骤501，获取训练样本集，其中训练样本集中每组训练样本包括内容相同的原始风格图像及目标风格图像。

可选的，可通过以下方式，获取训练样本集；

方式一，从本地存储器中获取。

方式二，从互联网端获取。

其中，为了使得生成的分组卷积神经网络模型具体高的准确性，本实施例在获取训练样本集时，可以尽可能多的获取样本集。例如，几万、几百万、上千万等等。

步骤502，利用所述训练样本集对初始分组卷积神经网络进行训练，以生成用于将图像风格转换至所述目标风格的分组卷积神经网络。

可选的，通过将获取的训练样本集中原始风格图像作为输入数据，输入至初始分组卷积神经网络，并将与原始风格图像对应的目标风格图像作为训练结果，对初始分组卷积神经网络进行多次训练，不断调整初始分组卷积神经网络中各层的权重值，以使训练后的初始分组卷积网络在输入原始风格图像之后，可以准确无误的输出对应的目标风格图像为止，然后将该训练后的初始分组卷积神经网络作为最终的分组卷积神经网络。

可以理解的是，本实施例通过获取大量的训练样本集，对初始分组卷积神经网络进行多次训练，生成最终的分组卷积神经网络，从而使得对待处理图像风格进行转换处理时，可以提高图像处理速度及灵活性。

进一步的，生成分组卷积神经网络之后，本申请实施例即可利用分组卷积神经网络对待处理图像在yuv空间中各色度通道的分量进行分组卷积处理。

下面参见6所示，对本申请实施例将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理的具体过程进行详细说明。

步骤601，将所述待处理图像在yuv空间中的亮度分量进行深度卷积处理，以获取所述待处理图像在第一深度的结构特征向量。

步骤602，将所述待处理图像的结构特征向量进行下采样处理，以获取所述待处理图像在第二深度的结构特征向量。

步骤603，将所述待处理图像在第二深度的结构特征向量及在yuv空间中的色度分量进行分组卷积处理，以获取所述待处理图像的内容特征及风格特征。

本实施例中，深度卷积神经网络是神经网络的一种特殊结构，其将图像作为系统的输入、输出并用卷积核替代变量的权值。例如，如图7所示，一个三层结构的卷积神经网络，具有4个输入，隐藏层具有3个输出，输出层具有2个输出，最终系统输出两幅图像。每个模块表示一个卷积核，其中k表示输入层编号，i和j表示输入和输出的单位编号。表示偏置，是一组叠加在巻积层输出上的标量。再如图7所示，叠加了偏置的巻积层输出后进入激活层(relu或sigmoid函数)。卷积神经网络经过训练之后，卷积核和偏置是固定的。其中，对卷积神经网络进行训练是通过一组匹配的输入输出以及优化算法对卷积核和偏置进行参数调优。通常情况下每个巻积层可包含数十个或者数百个卷积核，而深度卷积神经网络往往包含5层以上的巻积层。

也就是说，本实施例通过利用深度卷积神经网络，可将待处理图像在yuv空间中的亮度分量作为输入数据，输入至深度卷积神经网络，以通过深度卷积神经网络中的若干巻积层和池化层处理之后，再通过均化层(flatten层)、全连接层以及归一化层(softmax层)之后，得到待处理图像的内容特征及风格特征。

其中，每个巻积层的输出都是从输入待处理图像中提取的特征；池化层则是降低特征图像的分辨率并传递给下一个巻积层，这样经过每个巻积层后特征图像都表征了输入图像在不同级别上的特征，比如纹理、边缘、物体等。经过若干个巻积层和池化层之后，flatten层将特征图像转换成向量然后传递给全连阶层，最后通过softmax层，输出图像属于每一个特征的概率，其中概率最大的特征将作为该系统最终的输出。

其中，由于巻积层和池化层可以得到待处理图像的特征，因此本实施例可以通过截取巻积层和池化层部分，获取待处理图像的内容特征及风格特征。

实际使用时，由于池化层是下采样处理的一种形式，则本实施例将待处理图像的结构特征向量进行下采样处理，即是进行池化层处理。

通常，常用的池化层包括：max-pooling、avg-pooling、decimation及demuxout等。

可以理解的是，本实施例中通过将待处理图像的结构特征进行下采样处理，可以减少卷积特征的尺寸，提高处理效率。

为了更清楚的了解深度卷积神经网络中各层的作用，下面对除了上述巻积层及池化层之外，深度卷积神经网络中还包括flatten层、全连接层、softmax层、标准化处理层(instancenormalization)进行说明。

其中，flatten层用来将2d的特征图像转换成1d，即标量，该1d数据可以输出给全连阶层。该flatten层的公式如下：

vk＝fk/j,k％j，其中v表示一个包含k个元素的向量，f表示一个具有i行j列的矩阵。

全连接层具有和卷积神经网络相同的结构，指示用标量值替换了卷积核。

softmax层是一种逻辑函数的生成器，可以把一个包含任意实数的k维向量z压缩成k维向量σ(z)。其中σ(z)包含范围在(0,1)内的实数，且所有元素的和为1。softmax的公式如下：

instancenormalization层用于将巻积层输出的特征图像进行标准化处理。instancenormalization根据每个特征图像自身的均值和方差，对该特征图像进行标准化。

instancenormalization的标准化公式如下：

其中，xtijk为某卷积层输出的特征图像集合中的第t个patch、第i个特征图像、第j列、第k行的值。ytijk表示xtijk输入instancenormalization层得到的结果。ε为一个很小的整数，避免分母为0。

举例来说，假设mini-batch的尺寸为t，某巻积层输出的特征数量为c，每个特征图像均未h行w列的矩阵，则特征图像的shape为(t，c，w，h)。

进一步的，在实际使用时，神经网络中都存在损失函数(lossfunction)也叫代价函数(costfunction)，它是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程。即损失函数值小了，对应预测的结果和真实结果的值就越接近。

那么在本实施例中，深度卷积神经网络对待处理图像进行风格转换处理时，就存在内容损失和风格损失，下面对内容损失和风格损失进行说明：

内容损失：

定义和分别为原始风格图像和目标风格图像，p^l和f^l分别为它们在深度卷积神经网络中第l层的输出的特征图像，则内容损失的定义如下

其中，c1为一个常数，用于对结果进行标准化处理。

进一步的，风格损失：

首先，定义gram矩阵：

gram矩阵的定义如下：

然后，定义和分别为原始风格图像和目标风格图像，a^l和g^l分别为它们在分析网络中第l层的输出的gram矩阵，则该层的风格损失定义如下：

其中c2为一常数，用于对结果进行标准化处理。

则总的风格损失为：

其中wl为第l层风格损失占总风格损失的权重。

进一步的，在深度卷积神经网络中，卷积核和偏置都是需要通过系统训练得到的参数。卷积核决定了对输入图像进行怎样的处理，偏置决定了该卷积核的输出是否输入到下一个层。因此，在深度卷积神经网络中，偏置可比喻为“开关”，决定了该卷积核是“打开”还是“关闭”。针对不同的输入图像，系统打开或关闭不同的卷积核以达到多种效果。

本申请希望偏置与卷积核相比具有比较大的绝对值，这样可以更有效的发挥“开关”的作用。因此，本申请定义l1损失如下：

首先，计算深度卷积神经网络中所有卷积核绝对值的均值：

其中cw为深度卷积神经网络中卷积核的数量。

然后，计算深度卷积神经网络中所有偏置绝对值的均值：

其中cb为深度卷积神经网络中偏置的数量。

最后，计算l1损失的函数如下：

其中ε为一个极小的正数，用于保证分母不为0。

基于上述内容损失、风格损失及l1损失，即可得到深度卷积神经网络的总损失：

系统总损失定义如下：

ltotal＝αlcontent+βlstyle+χll1

其中α、β和χ分别为总损失中内容损失、风格损失和l1损失所占的权重。

下面结合图8，对本申请待处理图像风格转换方法的实现过程进行详细说明。

如图8所示，首先将待处理图像的图像数据rgb格式转换为yuv格式，以得到yuv空间中各色度通道的分量，然后将yuv空间中各色度通道的分量分别输入到不同的分支中，以使各色度通道的分量分别经过若干个卷积网络、分组卷积网络、下采样层和instancenormalization层处理，以减少获取的特征尺寸。然后经过一个包含多个巻积层的卷积网络处理后，再经过同样个数的上采样层、巻积层和instancenormalization层，然后将得到yuv三个通道的图像，最后经过格式转换并合成一副目标风格图像。其中，该目标风格图像的图像数据可以为rgb格式。

其中，上述上采样层和下采样层可采用bicubic、muxer层等方式进行实现。

通过上述分析可知，本申请实施例通过将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，获取待处理图像的内容特征及风格特征，以将获取的内容特征、风格特征及目标风格特征进行融合处理，将待处理图像转换为目标风格的图像。

实际使用时，由于人眼对色度的敏感度不及对亮度的敏感度，因此图像的色度分量不需要有和亮度分量相同的清晰度，因此可以在图像的色差通道上进行较低清晰度的抽样，这样在不明显降低画面质量的图像还能降低图像的占用资源。对此，本实施例在将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理之前，可以先对待处理图像在yuv空间中各色度通道的分量进行色度抽样处理，以降低网络参数，提高运算速度。下面结合图9，对本申请的图像风格转换方法上述情况进行具体说明。

图9是根据本申请另一示例性实施例示出的图像风格转换方法的流程示意图。

如图9所示，本申请实施例图像风格转换方法可以包括以下步骤：

步骤901，获取待处理图像在yuv空间中各色度通道的分量。

步骤902，将所述待处理图像在yuv空间中各色度通道的分量进行色度抽样处理，其中各色度通道的抽样率不同。

作为本申请的一种可选的实现方式，本实施例可以将所述待处理图像在yuv空间中各色度通道的分量，按照yuv420的格式进行色度抽样处理。

其中，yuv420是针对图像每行的信息而言的，在每一行像素中，只有一种色度分量，且以1/2的频率抽样存储，且相邻的行处理不同的色度分量。

例如，假设两行8个像素如下：

[y0u0v0][y1u1v1][y2u2v2][y3u3v3]

[y4u4v4][y5u5v5][y6u6v6][y7u7v7]

则存放或处理的像素信息为：

y0u0y1y2u2y3

y4v4y5y6v6y7

映射出的像素点为：

[y0u0v4][y1u0v4][y2u2v6][y3u2v6]

[y4u0v4][y5u0v4][y6u2v7][y7u2v6]

也就是说，每一行中相邻的4个像素在存放或处理时仅占用6个字节，相对于yuv444的采样格式大大减少了要处理和存储的数据量。

作为本申请的另一种实现方式，本实施例还可以按照yuv422，或者yuv411的格式进行色度抽样处理。

举例来说，若按照yuv422格式进行色度抽样时，那么假设有4个像素如下：

[y0u0v0][y1u1v1][y2u2v2][y3u3v3]

则存放或处理的像素信息为：

y0u0y1v1y2u2y3v3

映射出的像素点为：

[y0u0v1][y1u0v1][y2u2v3][y3u2v3]

也就是说，yuv422对每个色差通道的抽样率是亮度通道的一半，所以水平方向的色度抽样率只有yuv444的一半。对于非压缩的8bit图像来说，每个由两个水平方向通道的像素在存放或处理时仅占用4个字节，大大减少了要处理和存储的数据量。

步骤903，将所述待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，以获取所述待处理图像的内容特征及风格特征。

步骤904，将所述待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将所述待处理图像转换为目标风格的图像。

本申请实施例提供的图像风格转换方法，通过获取待处理图像在yuv空间中各色度通道的分量，并对待处理图像在yuv空间中各色度通道的分量进行色度抽样处理，然后以将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，获取待处理图像的内容特征及风格特征，然后将待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将待处理图像转换为目标风格的图像。由此，实现了通过对图像在yuv空间内不同色度通道进行分组卷积处理，并根据处理结果获取目标风格图像，不仅保证了图像数据的完整性，还能降低图像处理的复杂度，从而能够提高处理速度及灵活性，使得图像风格转换的效率更高、效果更好，并且还能以降低网络参数，提高运算速度。

为了实现上述实施例，本申请还提出了一种图像风格转换装置。

图10是根据本申请一个示例性实施例示出的图像风格转换装置的结构示意图。

如图10所示，本申请实施例图像风格转换装置包括：第一获取模块901、第二获取模块902及融合处理模块903。

其中，第一获取模块901用于获取待处理图像在yuv空间中各色度通道的分量；

第二获取模块902用于将所述待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，以获取所述待处理图像的内容特征及风格特征；

融合处理模块903用于将所述待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将所述待处理图像转换为目标风格的图像。

作为本申请的一种可选的实现方式，所述融合处理模块903包括：

融合处理子单元，用于将所述待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以生成所述待处理图像在所述目标风格时在yuv空间中各色度通道的分量；

确定子单元，用于根据所述待处理图像在所述目标风格时在yuv空间中各色度通道的分量，确定所述目标风格的图像在rgb空间中各颜色通道的分量；

输出子单元，用于根据所述目标风格的图像在rgb空间中各颜色通道的分量，输出所述待处理图像转换为所述目标风格后的图像。

作为本申请的一种可选的实现方式，本申请图像风格转换装置还包括：第三获取模块、训练模块。

其中，第三获取模块，用于获取训练样本集，其中训练样本集中每组训练样本包括内容相同的原始风格图像及目标风格图像；

训练模块，用于利用所述训练样本集对初始分组卷积神经网络进行训练，以生成用于将图像风格转换至所述目标风格的分组卷积神经网络。

作为本申请的一种可选的实现方式，第二获取模块902包括：

第一获取子单元，用于将所述待处理图像在yuv空间中的亮度分量进行深度卷积处理，以获取所述待处理图像在第一深度的结构特征向量；

第二获取子单元，用于将所述待处理图像的结构特征向量进行下采样处理，以获取所述待处理图像在第二深度的结构特征向量；

第三获取子单元，用于将所述待处理图像在第二深度的结构特征向量及在yuv空间中的色度分量进行分组卷积处理，以获取所述待处理图像的内容特征及风格特征。

需要说明的是，前述对图像风格转换方法实施例的解释说明也适用于该实施例的图像风格转换装置，其实现原理类似，此处不再赘述。

本申请实施例提供的图像风格转换装置，首先通过获取待处理图像在yuv空间中各色度通道的分量，以将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，获取待处理图像的内容特征及风格特征，然后将待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将待处理图像转换为目标风格的图像。由此，实现了通过对图像在yuv空间内不同色度通道进行分组卷积处理，以根据处理结果获取目标风格图像，不仅保证了图像数据的完整性，还能降低图像处理的复杂度，从而能够提高处理速度及灵活性，使得图像风格转换的效率更高、效果更好。

图11是根据本申请另一个示例性实施例示出的图像风格转换装置的结构示意图。

参照图11，本申请实施例图像风格转换装置包括：第一获取模块901、第二获取模块902、融合处理模块903、抽样处理模块904。

其中，第一获取模块901用于获取待处理图像在yuv空间中各色度通道的分量；

第二获取模块902用于将所述待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，以获取所述待处理图像的内容特征及风格特征；

融合处理模块903用于将所述待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将所述待处理图像转换为目标风格的图像。

作为本申请的一种可选的实现方式，抽样处理模块904用于将所述待处理图像在yuv空间中各色度通道的分量进行色度抽样处理，其中各色度通道的抽样率不同。

作为本申请的一种可选的实现方式，抽样处理模块904具体用于：

将所述待处理图像在yuv空间中各色度通道的分量，按照yuv420的格式进行色度抽样处理。

需要说明的是，本实施例的图像风格转换装置的实施过程和技术原理参见前述对第一方面实施例的图像风格转换方法的解释说明，此处不再赘述。

本申请实施例提供的图像风格转换装置，通过获取待处理图像在yuv空间中各色度通道的分量，并对待处理图像在yuv空间中各色度通道的分量进行色度抽样处理，然后以将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，获取待处理图像的内容特征及风格特征，然后将待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将待处理图像转换为目标风格的图像。由此，实现了通过对图像在yuv空间内不同色度通道进行分组卷积处理，并根据处理结果获取目标风格图像，不仅保证了图像数据的完整性，还能降低图像处理的复杂度，从而能够提高处理速度及灵活性，使得图像风格转换的效率更高、效果更好，并且还能以降低网络参数，提高运算速度。

为了实现上述实施例，本申请还提出一种计算机设备。

图12是根据本申请一示例性实施例示出的计算机设备的结构示意图。图12显示的计算机设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图12所示，上述计算机设备200包括：存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序，所述处理器220执行所述程序时，以第一方面实施例所述的图像风格转换方法。

在一种可选的实现形式中，如图13所示，该计算机设备200还可以包括：存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请实施例所述的图像风格转换方法。

总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

计算机设备200典型地包括多种计算机设备可读介质。这些介质可以是任何能够被计算机设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)240和/或高速缓存存储器250。计算机设备200可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图13未显示，通常称为“硬盘驱动器”)。尽管图13中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该计算机设备200交互的设备通信，和/或与使得该计算机设备200能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口292进行。并且，计算机设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与计算机设备200的其他模块通信。应当明白，尽管图中未示出，可以结合计算机设备200使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

需要说明的是，本实施例的计算机设备的实施过程和技术原理参见前述对第一方面实施例的图像风格转换方法的解释说明，此处不再赘述。

本申请实施例提供的计算机设备，首先通过获取待处理图像在yuv空间中各色度通道的分量，以将待处理图像在yuv空间中各色度通道的分量进行分组卷积处理，获取待处理图像的内容特征及风格特征，然后将待处理图像的内容特征、风格特征及目标风格特征进行融合处理，以将待处理图像转换为目标风格的图像。由此，实现了通过对图像在yuv空间内不同色度通道进行分组卷积处理，并根据处理结果获取目标风格图像，不仅保证了图像数据的完整性，还能降低图像处理的复杂度，从而能够提高处理速度及灵活性，使得图像风格转换的效率更高、效果更好。

为实现上述目的，本申请还提出一种计算机可读存储介质。

其中该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现第一方面实施例所述的图像风格转换方法。

一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

为实现上述目的，本申请还提出一种计算机程序。其中当计算机程序被处理器执行时，以实现第一方面实施例所述的图像风格转换方法。

在本申请中，除非另有明确的规定和限定，术语“设置”、“连接”等术语应做广义理解，例如，可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。