图像风格迁移方法、终端设备及存储介质

本发明涉及图像处理，尤其涉及一种图像风格迁移方法、终端设备及存储介质。

背景技术：

1、图像风格迁移是指将风格图的纹理和颜色等特征，迁移到指定的内容图上，从而生成保留内容图结构信息的风格化图像。通过图像风格迁移，可改变内容图的风格，创造出新的视觉体验，能够降低图像的设计成本。目前，图像风格迁移技术在艺术、设计、图像处理等领域都有着广泛的应用前景，并且随着算法的不断改进和深入研究，未来其应用领域还将更加广泛。

2、在相关的图像风格迁移技术方案中，对输入的内容图像提取内容特征，以及对输入的风格图像提取风格特征后，仅基于图像位置的自注意机制来增强内容表示，基于图像通道的自注意机制来增强风格表示，之后便直接将风格特征迁移至内容特征中，从而获得单一风格的目标风格图像，无法生成多种风格的目标风格图像。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明实施例通过提供一种图像风格迁移方法、终端设备及存储介质，旨在解决无法生成多种风格的目标风格图像技术问题。

2、为实现上述目的，本发明实施例提供一种图像风格迁移方法，所述图像风格迁移方法包括以下：

3、获取内容图像和风格图像，并将所述内容图像和所述风格图像输入迁移模型，提取所述内容图像的第一特征和所述风格图像的第二特征；

4、对所述第二特征进行池化操作，获得所述第二特征对应的区域特征；

5、根据各个所述区域特征之间的余弦相似度，确定各个所述区域特征对应的特征组，其中，所述特征组包括至少两个；

6、将所述特征组对应的目标区域特征迁移至所述第一特征，获得所述内容图像对应的目标图像。

7、可选地，所述根据各个所述区域特征之间的余弦相似度，确定各个所述区域特征对应的特征组的步骤，包括：

8、获取各个所述区域特征之间的余弦相似度；

9、根据所述余弦相似度，确定满足预设条件的目标区域特征，并将所述目标区域特征作为所述特征组的初始聚类中心；

10、根据各个所述区域特征和所述初始聚类中心之间的余弦相似度，确定各个所述区域特征对应的所述特征组；

11、在所述特征组的聚类中心收敛时，执行所述将所述特征组对应的目标区域特征迁移至所述第一特征，获得所述内容图像对应的目标图像的步骤。

12、可选地，所述获取内容图像和风格图像，并将所述内容图像和所述风格图像输入迁移模型，提取所述内容图像的第一特征和所述风格图像的第二特征的步骤，包括：

13、对所述内容图像进行补丁编码，获得所述内容图像对应的第一初始特征，以及对所述风格图像进行补丁编码，获得所述风格图像对应的第二初始特征；

14、将所述第一初始特征输入目标-背景增强注意力单元，获得所述内容图像对应的所述第一特征，以及将所述第二初始特征输入高效模式聚合注意力单元，获得所述风格图像对应的所述第二特征。

15、可选地，所述将所述第一初始特征输入目标-背景增强注意力单元，获得所述内容图像对应的所述第一特征的步骤，包括：

16、确定所述第一初始特征对应的注意力掩码，并将所述注意力掩码和所述第一初始特征输入目标-背景增强注意力机制，获得所述内容图像对应的所述第三初始特征；

17、将所述第一初始特征输入全局注意力机制，获得所述内容图像对应的第四初始特征；

18、根据所述第三初始特征和所述第四初始特征，确定所述内容图像对应的所述第一特征。

19、可选地，所述获取内容图像和风格图像，并将所述内容图像和所述风格图像输入迁移模型，提取所述内容图像的第一特征和所述风格图像的第二特征的步骤之后，包括：

20、将所述第一特征和所述第二特征输入区域感知的多风格转换单元，基于所述多风格转换单元，执行所述对所述第二特征进行池化操作，获得所述第二特征对应的区域特征的步骤。

21、可选地，所述对所述第二特征进行池化操作，获得所述第二特征对应的区域特征的步骤之前，包括：

22、获取预设数量的样本数据对，并提取所述样本数据对中所述内容图像对应的第一特征，以及所述样本数据对中所述风格图像对应的第二特征；

23、将所述第二特征迁移至所述第一特征，获得所述内容图像对应的预目标图像；

24、获取所述预目标图像对应的预目标直方图，和所述风格图像对应的风格直方图；

25、基于所述预目标直方图和所述风格直方图，确定所述预目标图像和所述风格图像之间的对比损失；

26、根据所述迁移模型的超参数和所述对比损失，更新所述迁移模型的模型参数。

27、可选地，所述根据所述迁移模型的超参数和所述对比损失，更新所述迁移模型的模型参数的步骤，包括：

28、获取所述内容图像和所述风格图像对应的感知损失和恒等损失，以及与所述感知损失和所述恒等损失对应的超参数；

29、根据所述感知损失和所述恒等损失以及所述对比损失和所述超参数，确定所述迁移模型的所总损失；

30、将所述总损失进行反向传播，更新所述迁移模型的模型参数。

31、可选地，所述将所述特征组对应的目标区域特征迁移至所述第一特征，获得所述内容图像对应的目标图像的步骤，包括：

32、基于交叉注意力机制，将所述特征组对应的目标区域特征迁移至所述第一特征，获得所述内容图像对应的融合特征；

33、对所述融合特征进行前向传播，获得所述目标图像对应的目标特征；

34、将所述目标特征输入卷积神经网络，对所述目标特征解码，获得所述目标图像。

35、此外，本发明为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像迁移程序，所述图像迁移程序被所述处理器执行时实现如上所述的图像风格迁移方法的步骤。

36、此外，本发明为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像迁移程序，所述图像迁移程序被处理器执行时实现如上所述的图像风格迁移方法的步骤。

37、本发明一实施例提出的一种图像风格迁移方法，终端设备及存储介质，通过获取内容图像和风格图像，并将内容图像和风格图像输入迁移模型，提取内容图像的第一特征和风格图像的第二特征，然后对第二特征进行池化操作，获得第二特征对应的区域特征，根据各个区域特征之间的余弦相似度，确定各个区域特征对应的特征组，其中，特征组包括至少两个，进而将特征组对应的目标区域特征迁移至第一特征，获得内容图像对应的目标图像。本发明通过对风格图像进行聚类，分为多个具备不同风格的特征组，实现输入单张的风格图像，即可获得具有不同风格且清晰度高的多个目标图像，充分利用了风格图像提供的风格信息，且降低目标图像的生成成本。

技术特征：

1.一种图像风格迁移方法，其特征在于，所述图像风格迁移方法包括：

2.如权利要求1所述的图像风格迁移方法，其特征在于，所述根据各个所述区域特征之间的余弦相似度，确定各个所述区域特征对应的特征组的步骤，包括：

3.如权利要求1所述的图像风格迁移方法，其特征在于，所述获取内容图像和风格图像，并将所述内容图像和所述风格图像输入迁移模型，提取所述内容图像的第一特征和所述风格图像的第二特征的步骤，包括：

4.如权利要求3所述的图像风格迁移方法，其特征在于，所述将所述第一初始特征输入目标-背景增强注意力单元，获得所述内容图像对应的所述第一特征的步骤，包括：

5.如权利要求1所述的图像风格迁移方法，其特征在于，所述获取内容图像和风格图像，并将所述内容图像和所述风格图像输入迁移模型，提取所述内容图像的第一特征和所述风格图像的第二特征的步骤之后，包括：

6.如权利要求5所述的图像风格迁移方法，其特征在于，所述对所述第二特征进行池化操作，获得所述第二特征对应的区域特征的步骤之前，包括：

7.如权利要求6所述的图像风格迁移方法，其特征在于，所述根据所述迁移模型的超参数和所述对比损失，更新所述迁移模型的模型参数的步骤，包括：

8.如权利要求1所述的图像风格迁移方法，其特征在于，所述将所述特征组对应的目标区域特征迁移至所述第一特征，获得所述内容图像对应的目标图像的步骤，包括：

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的终端设备的图像风格迁移程序，所述终端设备的图像风格迁移程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像风格迁移方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有终端设备的图像风格迁移程序，所述终端设备的图像风格迁移程序被处理器执行时实现如权利要求1至8中任一项所述的图像风格迁移方法的步骤。

技术总结
本发明公开了一种图像风格迁移方法、终端设备及存储介质，所述方法包括：获取内容图像和风格图像，并将所述内容图像和所述风格图像输入迁移模型，提取所述内容图像的第一特征和所述风格图像的第二特征；对所述第二特征进行池化操作，获得所述第二特征对应的区域特征；根据各个所述区域特征之间的余弦相似度，确定各个所述区域特征对应的特征组，其中，所述特征组包括至少两个；将所述特征组对应的目标区域特征迁移至所述第一特征，获得所述内容图像对应的目标图像。通过对风格图像进行聚类，分为多个具备不同风格的特征组，实现输入单张的风格图像，即可获得具有不同风格且清晰度高的多个目标图像，降低目标图像的生成成本。

技术研发人员：温阳,石珺予,吕劲,石武祯,曹文明
受保护的技术使用者：深圳大学
技术研发日：
技术公布日：2024/2/25