一种图像非线性编辑方法及系统

本发明涉及图像生成，更具体的说是涉及一种图像非线性编辑方法系统。

背景技术：

1、gan(generative adversarial networks，生成式对抗网络)作为典型的生成式模型，其生成器具有生成数据样本的能力，这种能力在一定程度上反映了它对事物的理解，因此,gan的研究加深了人工智能的理解层面的研究。现如今的生成对抗网络主要用于生成任务，比如生成一张虚拟人脸，或者做一些图像的风格迁移，例如科幻风、梵高画风图片生成等等。在计算机视觉领域中gan将大有用途，数据增强、图像超分辨率、艺术创作、图像分割、视频预测、照片编辑等等应用应运而生。

2、得益于对gan模型的不断优化，如今gan的生成能力已经越来越强大了，不仅有可以生成效果逼真的图像的biggan，还有可以生成超高分辨率大图像的pggan，而stylegan3的提出将研究者的视线从生成高质量图像转移到控制图像的生成当中。gan生成器在生成图像的过程中，仅仅接收了一组从随机分布中采样的潜在向量z(也称为潜码)，显然最终生成的图像与z这一变量息息相关，因此想要达到控制图像生成的目的，很容易想到的一种办法就是尝试使用某种方法去编辑z从而改变生成图像的样式。但是gan是如何连接潜在空间(所有潜在向量共同构成的一个空间，也即潜在向量z∈z)和图像语义空间的，以及如何将潜在向量z用于图像编辑，还缺乏足够的理解，所以如何有效的改变z的大小从而更加精准控制图像的生成，目前还缺乏有效的技术手段。

3、目前基于深度学习的图像编辑方法主要存在以下两个问题：一是难以保留原始图像信息，图像中的各种语义属性在潜在空间中耦合性非常大，难以做到只编辑一种属性而保证其余属性不发生改变；二是目前的方法大都是基于线性编辑的方法，导致可编辑的种类属性受到限制，因此，图像生成的控制精度不高。

4、因此，如何通过非线性编辑方式提高图像生成的精准是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种图像非线性编辑方法及系统，通过对潜在向量的控制实现了非线性的编辑方式，能够提高图像生成控制的精准度。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种图像非线性编辑方法，包括以下步骤：

4、获取待编辑图像，并通过逆映射生成第一潜在向量。

5、获取控制条件并产生相应的条件向量，并将所述条件向量和所述潜在向量输入至训练好的图像编辑网络模型生成第二潜在向量。

6、将所述第二潜在向量输入至训练好的生成器，生成编辑后的图像。

7、进一步的，所述图像编辑网络模型包括依次连接的第一全连接层、第二全连接层和第三全连接层；所述第一全连接层和所述第二全连接层均设有非线性激活函数和归一化网络。

8、进一步的，所述图像编辑网络模型的训练步骤包括：

9、获取训练数据；所述训练数据为第三潜在向量。

10、将所述训练数据和条件向量输入至图像编辑网络模型中，第四潜在向量。

11、根据所述第四潜在向量计算模型损失，并进行参数优化，直至收敛。

12、进一步的，所述获取训练数据，步骤包括：

13、获取训练图像，通过逆映射将所述训练图像转化为潜在向量，得到训练数据。

14、进一步的，所述获取训练数据，步骤包括：

15、生成随机噪声z，并通过mapping network模块生成潜在向量，得到训练数据。

16、进一步的，根据所述第四潜在向量计算模型损失，包括：通过如下损失函数中的一种或多种计算模型损失；

17、语义属性编辑损失

18、

19、其中，c(.)函数表示的是属性回归模型，用于根据输入的图像来识别该图像是否具有符合控制条件的语义属性，x*表示编辑后的图像，c表示条件向量；

20、循环一致性损失

21、

22、其中，ω表示第三潜在向量；ω*表示第四潜在向量，c0表示反向条件向量；身份一致性损失

23、

24、其中，f(.)函数代表人脸身份识别模型；x表示原图像；

25、最小编辑损失

26、

27、人脸坐标偏移损失

28、

29、其中，m(.)函数表示人脸的坐标提取模型；

30、不编辑损失

31、进一步的，当通过多种损失函数计算模型损失时，通过预设的超参数对各种损失进行加权后求和，得到模型总损失，并通过模型总损失优化模型参数。

32、进一步的，在所述获取条件向量前，步骤还包括：选择相应训练好的图像编辑网络模型。

33、一种图像非线性编辑系统，其特征在于，包括：逆映射模块、图像编辑模块和生成模块；

34、所述逆映射模块用于将待编辑图像映射为第一潜在向量；

35、所述图像编辑模块用于获取条件向量，并根据第一潜在向量得到第二潜在向量。

36、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种图像非线性编辑方法及系统，通过对潜在向量的控制实现了非线性的编辑方式，可以适用于更多种类的属性编辑，提高图像生成控制的精准。

技术特征：

1.一种图像非线性编辑方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种图像非线性编辑方法，其特征在于，所述图像编辑网络模型包括依次连接的第一全连接层、第二全连接层和第三全连接层；

3.根据权利要求1所述的一种图像非线性编辑方法，其特征在于，所述生成器为stylegan3生成器，所述第一潜在向量所在空间为w空间。

4.根据权利要求1所述的一种图像非线性编辑方法，其特征在于，所述图像编辑网络模型的训练步骤包括：

5.根据权利要求4所述的一种图像非线性编辑方法，其特征在于，所述获取训练数据，步骤包括：

6.根据权利要求4所述的一种图像非线性编辑方法，其特征在于，根据所述第四潜在向量计算模型损失，包括：通过如下损失函数中的一种或多种计算模型损失；

7.根据权利要求6所述的一种图像非线性编辑方法，其特征在于，当通过多种损失函数计算模型损失时，通过预设的超参数对各种损失进行加权后求和，得到模型总损失，并通过模型总损失优化模型参数。

8.根据权利要求1所述的一种图像非线性编辑方法，其特征在于，在所述获取条件向量前，步骤还包括：选择相应的训练好的图像编辑网络模型。

9.一种图像非线性编辑系统，其特征在于，包括：逆映射模块、图像编辑模块和生成模块；

10.根据权利要求9所述的一种图像非线性编辑系统，其特征在于，所述图像编辑模块为一个或多个。

技术总结
本发明公开了一种图像非线性编辑方法及系统，该编辑方法包括以下步骤：获取待编辑图像，并通过逆映射生成第一潜在向量；获取控制条件并产生相应的条件向量，并将所述条件向量和所述潜在向量输入至训练好的图像编辑网络模型生成第二潜在向量；将所述第二潜在向量输入至训练好的生成器，生成编辑后的图像；本发明通过对潜在向量的控制实现了非线性的编辑方式，能够提高图像生成控制的精准度。

技术研发人员：毛文杰,李建良
受保护的技术使用者：西北农林科技大学
技术研发日：
技术公布日：2024/3/17