图像风格迁移方法、装置、电子设备及存储介质与流程

本公开涉及图像数据处理技术领域，尤其涉及一种图像风格迁移方法、装置、电子设备及存储介质。

背景技术：

目前，用户可以使用手机等终端设备进行拍照或视频拍摄等，然后可以根据不同的喜好将图像(视频可以视为连续图像的集合)转换为不同风格效果，进而实现用户不同的风格体验。

一般的，终端设备进行不同风格的迁移转换，其风格模型的计算量通常与图像的分辨率直接相关。为减少终端计算量、提高终端处理效率，目前在人像图像风格迁移处理时，通常会对人脸区域进行裁剪后单独处理，然后再融合到原图像中。然而，这样常常会造成图像中局部区域风格一致性较差，出现过渡不自然引起的视觉效果较差的问题。

技术实现要素：

本公开提供一种图像风格迁移方法、装置、电子设备及存储介质，以至少解决相关技术中图像风格迁移后局部图像风格一致性较差的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像风格迁移方法，包括：

将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；

获取所述待处理图像的第一下采样图像，将所述第一下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；

获取所述待处理图像的第二下采样图像，将所述全图风格化图像采样至所述第二下采样图像的大小，得到第一采样图像；

以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像；

将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像。

可选的，所述方法中，所述以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像包括：

将所述第一采样图像转换为第一yuv图像，提取所述第一yuv图像的y通道，得到第一灰度图，将所述第二下采样图像转换为第二yuv图像，提取所述第二yuv图像的y通道，得到第二灰度图；

以所述第二灰度图作为引导图、所述第一灰度图作为输入图进行y通道的引导滤波处理，得到引导滤波后y通道；

将所述引导滤波后y通道与所述第二yuv图像中的uv通道进行合并，得到合并后yuv图像；

将所述合并后yuv图像转换为rgb图像，得到滤波图像。

可选的，所述方法中，所述将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：

将所述滤波图像上采样至所述待处理图像的大小，得到第二采样图像；

确定所述第二采样图像中与所述人脸风格化图像对应的人脸区域图像；

根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。

可选的，所述方法中，所述第二下采样图像的大小与所述待处理图像的大小相同；

将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：将所述滤波图像与所述人脸风格化图像进行融合，得到目标风格化图像。

根据本公开实施例的第二方面，还供一种图像风格迁移装置，包括：

人脸风格模块，其被配置为，将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；

全图风格模块，其被配置为，获取所述待处理图像的第一下采样图像，将所述第一下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；

第一采样模块，其被配置为，获取所述待处理图像的第二下采样图像，将所述全图风格化图像采样至所述第二下采样图像的大小，得到第一采样图像；

引导滤波模块，其被配置为，以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像；

融合模块，其被配置为，将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像。

可选的，所述装置中，所述引导滤波模块包括：

转换模块，用于将所述第一采样图像转换为第一yuv图像，提取所述第一yuv图像的y通道，得到第一灰度图，将所述第二下采样图像转换为第二yuv图像，提取所述第二yuv图像的y通道，得到第二灰度图；

通道滤波模块，用于以所述第二灰度图作为引导图、所述第一灰度图作为输入图进行y通道的引导滤波处理，得到引导滤波后y通道；

合并模块，用于将所述引导滤波后y通道与所述第二yuv图像中的uv通道进行合并，得到合并后yuv图像；

还原模块，用于将所述合并后yuv图像转换为rgb图像，得到滤波图像。

可选的，所述装置中，所述融合模块包括：

上采样模块，用于将所述滤波图像上采样至所述待处理图像的大小，得到第二采样图像；

人脸区域模块，用于确定所述第二采样图像中与所述人脸风格化图像对应的人脸区域图像；

权重融合模块，用于根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。

可选的，所述装置中，所述引导滤波模块中的第二下采样图像的大小与所述待处理图像的大小相同，所述融合模块将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：将所述滤波图像与所述人脸风格化图像进行融合，得到目标风格化图像。

本公开实施例的第三方面，还提供一种电子设备，包括：

至少一个处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现本公开第一方面任一所述的方法。

本公开实施例的第四方面，还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被电子设备的处理器执行时，使得所述电子设备能够执行本公开第一方面任一所述的方法。

本公开实施例的第五方面，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开第一方面任一所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开实施例方案中，可以对人脸区域和全图均进行风格化处理，之后再进行融合。人脸风格化图像与全图风格化图像融合后可以有效减少融合后的图像融合交界区域的过渡差异，有效提升融合后目标风格化图像风格的一致性。并且，本公开实施例中，由于在全图风格化图像的风格化处理时使用的是待处理图像下采样的第一下采样图像，将原始的待处理图像较大的分辨率缩放至小图，再输入全图风格迁移模型，可以减少全图风格化处理的数据处理量，提高处理效率。本公开实施方案可以更加适应于例如手机的硬件条件有限的终端设备上，运行效率提升更为明显。本公开提供的技术方案，不仅可以解决风格一致性差的问题，同时也可解决全图风格化运行效率低的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像风格迁移方法的应用环境图。

图2是根据一示例性实施例示出的一种图像风格迁移方法的流程图。

图3是根据一示例性实施例示出的一种图像风格迁移方法的流程图。

图4是根据一示例性实施例示出的一种图像风格迁移方法的流程图。

图5是一种移动终端利用本公开实施例对图像风格化迁移处理的效果对比示意图。

图6是根据一示例性实施例示出的一种图像风格迁移装置的框图。

图7是根据一示例性实施例示出的一种引导滤波模块的框图。

图8是根据一示例性实施例示出的一种融合模块的框图。

图9是根据一示例性实施例示出的一种电子设备的内部结构图。

图10是根据一示例性实施例示出的一种服务器的内部结构图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

本公开所提供的一种图像风格迁移方法，可以应用于如图1所示的应用环境中。其中，终端110可以拍照获取图像或者拍摄视频，可以以视频帧作为待处理图像。为便于描述，本公开的实施例中将进行风格迁移(转换)的拍照图像或视频图像统一称为待处理图像，例如一些应用场景中，用户可以将拍照图像转换为人像手绘风格，或者将拍摄的短视频中的人脸转换为漫画风格的人脸等。目前的一些方案中，涉及人像风格迁移的处理中常常会出现局部区域过渡不自然的问题，出现转换前后风格差异较大的情况，例如在过渡区域颜色或亮度差异较大，导致风格一致性较差，影响用户体验。而本公开的提供的技术方案可以应用于所述终端110中，可以有效提高风格迁移后图像的一致性，并且人脸风格头像与全图风格化图像的模型处理速度得到提升，可以有效提高终端110的处理速度和效率。本公开实施例中所述的终端110可以包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、可穿戴设备、车载设备、医疗设备等。所述的终端110可以是可移动的，如智能手机，也可以是相对固定的，如自助拍摄终端，也可以是可拆卸的终端设备，如服务平台连接的拍摄设备。当然，本公开实施例中所述的终端(包括下述所描述的电子设备)也可以是服务器、服务器集群、分布式分系统、云处理平台、包含区块链节点的服务器以及其组合的设备，并不限定于一定是实施于用户一侧的设备。

下面以移动终端对视频进行风格迁移的实施场景对本公开实施例方案进行说明。图2是根据一示例性实施例示出的一种图像风格迁移方法的流程图，如图2所示，所述方法可以用于终端110中，可以包括以下步骤。

在步骤s202中，将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像。

本公开实施例中，所述的待处理图像可以包括视频帧图像。所述待处理图像的格式可以为rgb图或yuv图等。rgb和yuv都是一种颜色编码方法。其中所述的rgb图通常指像素中具有rgb三通道的彩色图像，主要是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。yuv是编译true-color颜色空间(colorspace)的种类。“y”表示明亮度(luminance或luma)，也可以称为灰阶值，“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。一般的，所述待处理图像通常为用户拍照或拍摄的原始图像，通常为rgb图。

本公开实施例中可以对待处理图像中的人脸进行检测，得到待处理图像中的人脸区域。例如可以基于几何特征的人脸识别方法、神经网络的人脸识别方法、线段距离(lhd)的人脸识别方法等检测得到人脸框，将检测得到人脸框作为所述待处理图像的人脸区域图像。待处理图像中的人脸区域图像可以由终端预先检测处理得到获取接收服务器等其他终端的人脸区域图像，也可以在图像风格迁移的处理过程中由终端即时对待处理图像进行人脸检测得到。

本公开实施例中可以将待处理图像中的人脸区域图像输入至人脸风格迁移模型中，对待处理图像中的人脸进行风格化处理。在人脸风格迁移模型中，输入的可以为从待处理图像中确定的原始图像的人脸区域图像，输出的可以为人脸风格化处理后的人脸风格化图像。例如输入的为视频帧中原始的人脸图像，输出的为人像手绘风格类型的人脸风格化图像。所述的人脸风格化图像可以预先训练得到，可以选取适配的网络模型进行训练得到人脸风格迁移模型，以实现输入人脸图像，能够输出相应的风格类型的人脸风格化图像。下述中的全图风格迁移模型类型与人脸风格迁移模型类似，人脸风格迁移模型中输入的可以是包含人脸的局部图像，全图风格迁移模型输入的为全图图像(待处理图像)，具体的可以参照人脸风格迁移模型进行构建、训练以及前述人脸风格模型的图像处理，在此不做一一赘述。

在步骤s204中，获取所述待处理图像的第一下采样图像，将所述第一下采样图像输入所述全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像。

一般的，风格迁移模型的运行效率与输入图像的大小直接相关。本实施例方案中可以对所述待处理图像进行下采样，将待处理图像下采样为分辨率相比待处理图像的分比率较小的图像，使其缩小为比原图像(待处理图像)分辨率低的第一下采样图像。这样可以有效提高全图风格迁移模型的运行效率。一般的，可以将待处理图像下采样到全图风格迁移模型所需要的输入大小。例如待处理图像的分辨率为720×1280，全图风格迁移模型处理的输入图像分辨率为256×256，则可以将待处理图像全图下采样值分辨率为256×256，得到第一下采样图像。

全图风格迁移模型输入的可以为下采样的第一下采样图像，输出的可以为全图风格化处理后的全图风格化图像。如，输入为分辨率256×256的第一下采样图像，输出为与人脸风格化图像风格相匹配的分辨率同样为256×256的全图风格化图像。

全图风格化图像的风格类型与前述人脸风格化图像的风格类型相同。本公开实施例中所述的相同可以包括相匹配的情况，所述的相匹配通常可以指两者的风格类型一致或风格类型的相似程度符合要求，例如可以都是人像手绘风格，或者一个是手绘风格，一个是与手绘风格相似的素描风格(若手绘风格与素描风格的相似程度符合要求，则可以认为两者风格类型相同)。

需要说明的是，使用人脸风格迁移模型处理人脸区域图像的人脸风格化处理与使用全图风格迁移模型对第一下采样图像的全图风格化处理可以不必分执行的前后顺序，可以同时处理，也可以在其中一个处理的开始一段时间或处理结束后进行另一个处理。

在步骤s206中，获取所述待处理图像的第二下采样图像，将所述全图风格化图像采样至所述第二下采样图像的大小，得到第一采样图像。

本公开实施例方案可以采用引导滤波来提升图像缩放后的图像清晰度。可以对所述待处理图像进行下采样，获取第二下采样图像。这样，可以将原始的待处理图像较大的分辨率缩放至小图。然后可以将前述得到的全图风格化图像采样至所述第二下采样图像的大小，使两者图像大小保持一致，可以提高后续引导滤波的处理效率。

上述中下采样得到第一下采样图像和得到第二下采样图像的处理过程中，可以采用相同或不同的下采样方式。一般的，第一下采样图像获得第二下采样的图像大小可以不相同。

全图风格化处理后，可以将所述全图风格化图像进行采样至与所述第二下采样图像的分辨率大小，得到第一采样图像。例如，第二下采样图像的大小为360×640，则可以将全图风格化图像的分辨率由256×256上采样至360×640。

在步骤s208中，以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像。

本公开实施例中可以对待处理图像的全图进行全图风格化处理，然后可以利用图像的引导滤波提升图像清晰度。可以对所述待处理图像进行下采样得到第二下采样图像，如可以将待处理图像下采样n倍。本公开提供的一些实施例中，可以设置引导图的分辨率相比引导滤波的输入图的分辨率更高。本公开的一些实施例中，第二下采样图像的下采样倍数可以为2倍或4倍，例如待处理图像的分辨率为720×1280，可以下采样2倍，得到360×640的第二下采样图像。当然，本公开的其他实施方式中并不限定下采样的倍数为2倍或4倍，也不限定下采样的倍数为整数。

本公开的一些实施例中，所述引导下采样图像的下采样倍数为2或4，或者所述第一下采样图像为所述待处理图像下采样到所述全图风格迁移模型的输入图像大小，不仅可以有效降低风格化计算量，还可以有效保障人脸图像风格化迁移的图像质量。

以所述第二下采样图像作为引导图、第一上采样图像作为输入图进行引导滤波处理，得到滤波图像。这里引导滤波处理的作用之一是以引导图对输入图进行引导，从而提升输出图像的清晰度。引导滤波可以基于导向滤波(guidefilter)、快速导向滤波(fastguidefilter)等算法实现。引导滤波处理后可以得到清晰度提升的滤波图像。

在步骤s210中，将所述全图风格化图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像。

可以将前述人脸风格迁移模型处理得到的人脸风格化图像与引导滤波处理并上采样至待处理图像大小的图像进行融合，得到风格迁移处理后的目标风格化图像。所述的融合通常可以采用特定的算法将多幅图像综合成一幅图像，加强图像在时空上的相关性及信息上的互补性，使得融合后得到的图像对场景有更全面、清晰的描述。

本公开实施例方案中，可以对人脸区域和全图均进行风格化处理，之后再进行融合，可以有效减少融合后的图像融合交界区域的过渡差异，有效提升融合后目标风格化图像风格的一致性。本公开实施例中，在全图风格化图像的风格化处理时使用的是待处理图像下采样的第一下采样图像，将原始的待处理图像较大的分辨率缩放至小图，再输入全图风格迁移模型，减少全图风格化处理的数据处理量，有效的提高了终端处理效率。可以更加适应于例如手机的硬件条件有限的终端设备上，运行效率提升更为明显。

引导滤波处理可以使用rgb格式的彩色图像进行处理。本公开还提供另一种引导滤波处理的实施方式，可以利用灰度图进行引导滤波。图3是根据一示例性实施例示出的一种图像风格迁移方法的流程图。如图3所示，所述以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像包括：

s302：将所述第一采样图像转换为第一yuv图像，提取所述第一yuv图像的y通道，得到第一灰度图，将所述第二下采样图像转换为第二yuv图像，提取所述第二yuv图像的y通道，得到第二灰度图；

s304：以所述第二灰度图作为引导图、所述第一灰度图作为输入图进行y通道的引导滤波处理，得到引导滤波后y通道；

s306：将所述引导滤波后y通道与所述第二yuv图像中的uv通道进行合并，得到合并后yuv图像；

s308：将所述合并后yuv图像转换为rgb图像，得到滤波图像。

在第二灰度图在y通道亮度迁移后可以得到调整后y通道，然后将其与待处理图像的融合成新的图像。如可以调整后y通道与待处理图像的第二yuv图像中的uk通道进行合并，得到调整后yuv图像。之后可以将其转换为与待处理图像相应的图像格式。如待处理图像为rgb格式，则可以将调整后yuv图像转换为rgb图像。当然，若输入的待处理图像本身就是yuv图像，则可以无需进行转换，或者视为执行了转换。包括前述第二下采样图或待处理图像的引导图以及相应的输入图，若其图像格式为rgb，则可以将其转换为yuv图像。可以分别获取引导图和输入图在y通道的图像，利用y通道数据进行引导滤波处理。引导滤波处理后可以将引导滤波输出的y通道数据(全图y通道)与输入图(如第一采样图像)的uv通道进行合并，得到全图yuv图像。之后可以再转换为rgb图像。本实施例中可以将第一采样图像和第二采样图像转换为yuv图像之后，再进行y通道的引导滤波处理，可以进一步加快引导滤波的处理速度，进而提高整个方案风格迁移的处理效率。

图4是根据一示例性实施例示出的一种图像风格迁移方法的流程图。如图4所示，所述将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：

s402：将所述滤波图像上采样至所述待处理图像的大小，得到第二采样图像；

s404：确定所述第二采样图像中与所述人脸风格化图像对应的人脸区域图像；

s406：根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。

本公开实施例提供的方案中，人脸风格化图像和人脸区域图像融合可以分别预先设置其对应的融合权重值。所述的融合权重值可以表征自身图像所占融合处理后的目标风格化图像的比重。例如，以人脸风格化图像和人脸区域图像融合为，根据所述人脸风格化图像和所述人脸区域图像的融合权重值分别计算所述人脸风格化图像和所述人脸区域图像的融合像素值，然后可以将所述人脸风格化图像与所述人脸区域图像对应位置处的融合像素值相加，得到融合后的目标风格图像。

本公开实施例中的融合可以包括人脸风格化图像与全图风格化图像进行融合，也可以包括如前所实施例将待处理图像下采样得到图像再进行引导滤波处理后图像与人脸风格化图像的融合。具体的在融合处理中，可以仅对人脸部分进行融合，即将人脸风格化图像与全图风格化图像中的人脸区域图像进行融合。本公开实施例可以为人脸风格化图像和人脸区域图像设置相应的融合权重值，这样在图像融合时可以根据各自的融合权重值分别计算各自的融合像素值，然后将相对应位置处的融合像素值相加，得到融合图像在所述相对应位置处理的像素值，可以实现有效的控制输出目标风格化图像的图像效果。例如一个实施示例中，融合处理输出的目标风格化图像中像素点像素值计算方式可以为：

目标风格化图像ai位置处的像素值＝人脸风格化图像在ai位置处像素点的像素值×mask+人脸区域图像在ai位置处像素点的像素×(1-mask)，其中mask为人脸风格化图像的融合权重值，取值范围为[0,1]。

本公开实施例提供的融合处理方式中，根据不同融合图像的融合权重值进行融合处理，可以更加准确、灵活的对融合效果的控制，调整融合权重值参数得到融合效果更佳的融合图像，进而提高融合效果，减少图像融合出现的一致性差异，有效、可靠的实现融合效果控制。

本实施例提供所述方法的另一个实施例中，在引导滤波处理时，得到全图风格化图像后可以直接上采样至原始的待处理图像大小，这样，在引导滤波处理时可以直接得到与待处理图像大小相同的输入图和引导图，可以不用进行第二次下采样获取第二下采样图像，也可以直接得到与带出来图图像大小相同的滤波图像，可以直接与人脸风格化图像进行融合，减少处理步骤。具体的，所述第二下采样图像的大小与所述待处理图像的大小相同；

将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：将所述滤波图像与所述人脸风格化图像进行融合，得到目标风格化图像。

图5是一种移动终端利用本公开实施例对图像风格化迁移处理的效果对比示意图。图5中5-1为待处理图像，5-2为利用传统人脸风格化后与原始图像进行融合处理得到的图像，5-3为利用本公开实施例对人脸和全图分别风格化处理，以及进行引导滤波后融合得到的图像。由图5的实际应用效果可知，不仅终端风格化模型处理的速度得到提升，而且图5-1中圆圈中所示的局部风格一致性差异较为明显的区域在5-3中得到了明显改善，过渡更加自然，也提升了用户终端体验。

本公开实施例方案中，可以对人脸区域和全图均进行风格化处理，之后再进行融合。人脸风格化图像与全图风格化图像融合后可以有效减少融合后的图像融合交界区域的过渡差异，有效提升融合后目标风格化图像风格的一致性。并且，本公开实施例中，由于在全图风格化图像的风格化处理时使用的是待处理图像下采样的第一下采样图像，将原始的待处理图像较大的分辨率缩放至小图，再输入全图风格迁移模型，可以减少全图风格化处理的数据处理量，提高处理效率。本公开实施方案可以更加适应于例如手机的硬件条件有限的终端设备上，运行效率提升更为明显。本公开提供的技术方案，不仅可以解决风格一致性差的问题，同时也可解决全图风格化运行效率低的问题。

可以理解的是，本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同/相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。相关之处参见其他方法实施例的描述说明即可。

应该理解的是，虽然附图中涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的步骤或者阶段的至少一部分轮流或者交替地执行。

基于上述所述的图像风格迁移方法实施例的描述，本公开还提供在图像风格迁移装置。所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据一示例性实施例示出的一种图像风格迁移装置框图。所述装置可以为前述所述终端110，也可以为服务器，或者集成于所述终端110的模块、组件、器件、单元等。具体的可以参照图6，该装置100可以包括：

人脸风格模块602，其被配置为，将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；

全图风格模块604，其被配置为，获取所述待处理图像的第一下采样图像，将所述第一下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；

第一采样模块606，其被配置为，获取所述待处理图像的第二下采样图像，将所述全图风格化图像采样至所述第二下采样图像的大小，得到第一采样图像；

引导滤波模块608，其被配置为，以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像；

融合模块610，其被配置为，将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像。

一示例性实施例如图7所示，图7是根据一示例性实施例示出的一种图像风格迁移装置框图。参照图7，所述引导滤波模块608可以包括：

转换模块702，可以用于将所述第一采样图像转换为第一yuv图像，提取所述第一yuv图像的y通道，得到第一灰度图，将所述第二下采样图像转换为第二yuv图像，提取所述第二yuv图像的y通道，得到第二灰度图；

通道滤波模块704，可以用于以所述第二灰度图作为引导图、所述第一灰度图作为输入图进行y通道的引导滤波处理，得到引导滤波后y通道；

合并模块706，可以用于将所述引导滤波后y通道与所述第二yuv图像中的uv通道进行合并，得到合并后yuv图像；

还原模块708，可以用于将所述合并后yuv图像转换为rgb图像，得到滤波图像。

一示例性实施例如图8所示，图8是根据一示例性实施例示出的一种图像风格迁移装置框图。参照图8，所述融合模块610可以包括：

上采样模块802，可以用于将所述滤波图像上采样至所述待处理图像的大小，得到第二采样图像；

人脸区域模块804，可以用于确定所述第二采样图像中与所述人脸风格化图像对应的人脸区域图像；

权重融合模块806，可以用于根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。

本公开提供的所述装置的另一些实施例中，所述引导滤波模块608中的第二下采样图像的大小与所述待处理图像的大小相同，所述融合模块610将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：将所述滤波图像与所述人脸风格化图像进行融合，得到目标风格化图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本说明书中任一项所述的图像风格迁移方法。

图9是根据一示例性实施例示出的一种图像风格迁移设备z00的框图。所述设备z00可以是视频或图像风格迁移处理的电子设备。例如，设备z00可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理、智能穿戴设备、车载设备等。

参照图9，设备z00可以包括以下一个或多个组件：处理组件z02、存储器z04、电源组件z06、多媒体组件z08、音频组件z10、输入/输出(i/o)的接口z12、传感器组件z14以及通信组件z16。

处理组件z02通常控制设备z00的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件z02可以包括一个或多个处理器z20来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件z02可以包括一个或多个模块，便于处理组件z02和其他组件之间的交互。例如，处理组件z02可以包括多媒体模块，以方便多媒体组件z08和处理组件z02之间的交互。

存储器z04被配置为存储各种类型的数据以支持在设备z00的操作。这些数据的示例包括用于在设备z00上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器z04可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(12ram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘或光盘。

电源组件z06为设备z00的各种组件提供电力。电源组件z06可以包括电源管理系统，一个或多个电源，及其他与为设备z00生成、管理和分配电力相关联的组件。

多媒体组件z08包括在所述设备z00和对象之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自对象的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件z08包括一个前置摄像头和/或后置摄像头。当设备z00处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件z10被配置为输出和/或输入音频信号。例如，音频组件z10包括一个麦克风(mic)，当设备z00处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器z04或经由通信组件z16发送。在一些实施例中，音频组件z10还包括一个扬声器，用于输出音频信号。

i/o接口z12为处理组件z02和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件z14包括一个或多个传感器，用于为设备z00提供各个方面的状态评估。例如，传感器组件z14可以检测到设备z00的打开/关闭状态，组件的相对定位，例如所述组件为设备z00的显示器和小键盘，传感器组件z14还可以检测设备z00或设备z00一个组件的位置改变，对象与设备z00接触的存在或不存在，设备z00方位或加速/减速和设备z00的温度变化。传感器组件z14可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件z14还可以包括光传感器，如cmo12或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件z14还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件z16被配置为便于设备z00和其他设备之间有线或无线方式的通信。设备z00可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件z16经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件z16还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，设备z00可以被一个或多个应用专用集成电路(a12ic)、数字信号处理器(d12p)、数字信号处理设备(d12pd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

需要说明的是，上述设备z00可以是一侧电子设备的示例性描述，如手机。在一些终端产品中，可以不必包含上述全部组件或某个组件下的全部功能单元。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器z04，上述指令可由设备z00的处理器z20执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图10是根据一示例性实施例示出的一种图像风格迁移的设备s00的框图，设备s00可以如前述所述的服务器、服务器集群、分布式处理服务器、区块链服务器、云计算平台等以及其组合。例如，设备s00可以为一个或多个服务器的组合。参照图10，设备s00包括处理组件s20，其进一步包括一个或多个处理器，以及由存储器s22所代表的存储器资源，用于存储可由处理组件s20的执行的指令，例如应用程序。存储器s22中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件s20被配置为执行指令，以执行上述可以实施于代理服务端一侧的方法。

设备s00还可以包括一个电源组件s24被配置为执行设备s00的电源管理，一个有线或无线网络接口s26被配置为将设备s00连接到网络，和一个输入输出(i/o)接口s28。设备s00可以操作基于存储在存储器s22的操作系统，例如window1212erver，maco12x，unix，linux，freeb12d或类似。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器s04，上述指令可由设备s00的处理器s22执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的，上述所述的装置、设备、服务器等根据方法实施例的描述还可以包括其它的实施方式，具体的实现方式可以参照相关方法实施例的描述。同时各个方法以及装置、设备、服务器实施例之间特征的相互组合组成的新的实施例仍然属于本公开所涵盖的实施范围之内，在此不作一一赘述。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或描述的装置或单元相互之间的耦合、通信连接等可以是直接和/或间接耦合/连接的方式实现，可以是通过一些标准或自定义的接口、协议等，是电性，机械或其它的形式实现。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。