对象风格化模型的训练方法、风格迁移方法、装置及设备与流程

本公开涉及图像处理，特别涉及一种对象风格化模型的训练方法、风格迁移方法、装置及设备。

背景技术：

1、风格化技术能够将给定的自然对象图像转换为具有目标风格的风格对象图像，使风格对象图像具有与目标风格相似的艺术化效果，如，将自然对象图像转化为动漫、油画、铅笔画等的艺术化风格的风格对象图像。由于风格化技术具有较高的趣味性和可玩性，因此具有良好的业务发展前景。

2、相关技术中，通常是采用训练好的对象风格化模型来将自然对象图像转换为风格对象图像。其中，该对象风格化模型基于gan(generative adversarial networks，生成对抗网络)的图像翻译技术构建，该对象风格化模型能够有效保持风格对象图像与自然对象图像的特征一致性，不会产生异常的扭曲形变。

3、上述技术方案中，对于每种风格，都需要基于数百张真实的样本风格对象图像来对对象风格化模型进行训练，而真实的样本风格对象图像的获取难度较高，这就导致对象风格化模型所能转换的风格有限，使得模型训练的效率不高。

技术实现思路

1、本公开提供一种对象风格化模型的训练方法、风格迁移方法、装置及设备，无需任何真实的样本图像即可进行模型训练，降低了样本获取难度，提高了对象风格化模型所能转换的风格的多样性，提高了模型的训练效率。本公开的技术方案如下：

2、根据本公开实施例的一方面，提供一种对象风格化模型的训练方法，所述方法包括：

3、获取样本对象编码特征和样本风格编码特征，所述样本对象编码特征用于表示样本对象，所述样本风格编码特征用于表示样本风格；

4、对所述样本对象编码特征和所述样本风格编码特征进行融合，得到样本融合特征；

5、基于所述样本融合特征，生成样本自然对象图像和样本风格对象图像，所述样本自然对象图像用于表示自然环境中的所述样本对象，所述样本风格对象图像用于表示属于所述样本风格的环境中的所述样本对象，所述样本自然对象图像和所述样本风格对象图像中均包括所述样本对象；

6、基于所述样本自然对象图像、所述样本风格对象图像以及所述样本风格编码特征，对预设模型进行训练，得到对象风格化模型，所述对象风格化模型用于将自然对象图像转换为风格对象图像。

7、根据本公开实施例的另一方面，提供一种风格迁移方法，所述方法包括：

8、获取目标自然对象图像和目标风格编码特征，所述目标自然对象图像用于表示自然环境中的目标对象，所述目标风格编码特征用于表示目标风格；

9、将所述目标自然对象图像以及所述目标风格编码特征，输入对象风格化模型进行风格迁移，得到风格对象图像；

10、其中，所述对象风格化模型为基于上述对象风格化模型的训练方法得到的。

11、根据本公开实施例的另一方面，提供一种对象风格化模型的训练装置，所述装置包括：

12、获取单元，被配置为执行获取样本对象编码特征和样本风格编码特征，所述样本对象编码特征用于表示样本对象，所述样本风格编码特征用于表示样本风格；

13、融合单元，被配置为执行对所述样本对象编码特征和所述样本风格编码特征进行融合，得到样本融合特征；

14、生成单元，被配置为执行基于所述样本融合特征，生成样本自然对象图像和样本风格对象图像，所述样本自然对象图像用于表示自然环境中的所述样本对象，所述样本风格对象图像用于表示属于所述样本风格的环境中的所述样本对象，所述样本自然对象图像和所述样本风格对象图像中均包括所述样本对象；

15、训练单元，被配置为执行基于所述样本自然对象图像、所述样本风格对象图像以及所述样本风格编码特征，对预设模型进行训练，得到对象风格化模型，所述对象风格化模型用于将自然对象图像转换为风格对象图像。

16、在一些实施例中，所述获取单元，被配置为执行基于第一预设分布，随机获取多个第一随机数；基于所述多个第一随机数，生成所述样本对象编码特征，所述样本对象编码特征中元素的个数等于所述多个第一随机数的个数；基于第二预设分布，随机获取多个第二随机数；基于所述多个第二随机数，生成所述样本风格编码特征，所述样本风格编码特征中元素的个数等于所述多个第二随机数的个数。

17、在一些实施例中，所述获取单元，被配置为执行基于第三预设分布，随机获取多个第三随机数；基于所述多个第三随机数，生成所述样本对象编码特征，所述样本对象编码特征中元素的个数等于所述多个第三随机数的个数；对风格参考图像进行特征提取，得到所述样本风格编码特征，所述风格参考图像用于提供风格信息。

18、在一些实施例中，所述获取单元，被配置为执行对对象参考图像进行特征提取，得到所述样本对象编码特征，所述对象参考图像用于提供对象信息；基于第四预设分布，随机获取多个第四随机数；基于所述多个第四随机数，生成所述样本风格编码特征，所述样本风格编码特征中元素的个数等于所述多个第四随机数的个数。

19、在一些实施例中，所述融合单元，被配置为执行基于图像生成模型中的融合数据和融合权重，确定融合参数，所述融合数据用于指示所述图像生成模型中每个网络层中的样本风格编码特征是否参与融合，所述融合权重与所述样本风格编码特征的样本风格相关联，所述融合参数用于表示所述样本对象编码特征和所述样本风格编码特征的融合程度；基于所述融合参数，对所述样本对象编码特征和所述样本风格编码特征进行融合，得到所述样本融合特征。

20、在一些实施例中，所述训练单元，包括：

21、迁移子单元，被配置为执行通过所述预设模型中的生成器，基于所述样本风格编码特征，对所述样本自然对象图像进行风格迁移，得到目标风格对象图像；

22、训练子单元，被配置为执行通过所述预设模型中的判别器，基于所述样本风格对象图像和所述目标风格对象图像之间的差异，对所述预设模型进行训练，得到所述对象风格化模型。

23、在一些实施例中，所述迁移子单元，包括：

24、编码子子单元，被配置为执行通过所述预设模型中的生成器，对所述样本自然对象图像进行编码，得到第一编码特征；

25、迁移子子单元，被配置为执行基于所述样本风格编码特征，对所述第一编码特征进行风格迁移，得到第二编码特征，所述第二编码特征包括所述样本风格编码特征中的风格信息；

26、解码子子单元，被配置为执行对所述第二编码特征进行解码，得到所述目标风格对象图像。

27、在一些实施例中，所述迁移子子单元，被配置为执行基于所述第一编码特征中多个元素的均值和标准差，对所述第一编码特征进行去风格化，得到中间编码特征；基于所述样本风格编码特征中多个元素的均值和标准差，对所述中间编码特征进行风格迁移，得到所述第二编码特征。

28、在一些实施例中，所述训练子单元，被配置为执行基于所述样本风格对象图像的像素和所述目标风格对象图像的像素之间的差异，确定第一损失，所述第一损失为均方差损失；基于所述样本风格对象图像的图像特征和所述目标风格对象图像的图像特征之间的差异，确定第二损失，所述第二损失为感知损失；基于所述判别器对所述目标风格对象图像和所述样本风格对象图像进行判别，得到第三损失，所述第三损失为判别损失；基于所述第一损失、所述第二损失以及所述第三损失，对所述预设模型进行训练，得到所述对象风格化模型。

29、根据本公开实施例的另一方面，提供一种风格迁移装置，所述方法包括：

30、获取单元，被配置为执行获取目标自然对象图像和目标风格编码特征，所述目标自然对象图像用于表示自然环境中的目标对象，所述目标风格编码特征用于表示目标风格；

31、风格迁移单元，被配置为执行将所述目标自然对象图像以及所述目标风格编码特征，输入对象风格化模型进行风格迁移，得到风格对象图像；

32、其中，所述对象风格化模型为基于上述对象风格化模型的训练方法得到的。

33、根据本公开实施例的另一方面，提供一种电子设备，该电子设备包括：

34、一个或多个处理器；

35、用于存储该处理器可执行程序代码的存储器；

36、其中，该处理器被配置为执行该程序代码，以实现上述对象风格化模型的训练方法，或者，实现上述风格迁移方法。

37、根据本公开实施例的另一方面，提供一种计算机可读存储介质，当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备能够执行上述对象风格化模型的训练方法，或者，实现上述风格迁移方法。

38、根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述对象风格化模型的训练方法，或者，实现上述风格迁移方法。

39、本公开实施例提供了一种对象风格化模型的训练方法，由于能够对样本对象编码特征和样本风格编码特征进行融合，得到既能表征某一类对象的对象特征，又能有效融入风格信息的风格融合编码，使得基于该风格融合编码能够生成质量较高的一对对象图像，通过将所生成的一对图像作为训练对象风格化模型的样本图像，使得无需任何真实的样本图像即可进行模型训练，降低了样本获取难度，提高了对象风格化模型所能转换的风格的多样性，提高了模型的训练效率。

40、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。