一种人脸图像属性编辑方法、系统、电子设备及存储介质与流程

本发明涉及图像处理领域，特别是涉及一种人脸图像属性编辑方法、系统、电子设备及存储介质。

背景技术：

1、人脸属性编辑是给定一张人脸图像以及待编辑的目标属性，然后将这张人脸图像变换为具有目标属性的新人脸图像，并尽量保证原人脸图像内的其他属性特征不变。人脸图像属性编辑是计算机视觉领域的一项重要技术，广泛用于内容生产、电影制作和娱乐视频中，例如变光头、变发型、变小孩、变明星脸等。

2、由于现代gan(generative adversarial networks，生成式对抗网络)可以生成各种逼真的合成图像，特别是像人脸这样的高度结构化图像。业内通常会预训练一种gan来实现人脸图像的目标属性编辑。目前，由于stylegan潜在代码良好的属性解耦性，基于预训练stylegan编辑人脸图像属性非常流行，主要有以下三种方法：

3、第一种：训练过程：第一步先获取一个分类器，然后对人脸图像集进行分类，提取这些人脸图像的属性向量；第二步使用优化或者回归的方法提取这些人脸图像的潜在代码；第三步按属性对这些潜在代码分组，计算每个分组的潜在代码均值，得到一张属性到潜在代码映射表，同时计算全体潜在代码均值。推理过程：查找属性到潜在代码映射表，得到目标属性对应的潜在代码均值，减去全体潜在代码均值，加上人脸图像潜在代码，再输入stylegan生成器即可完成人脸图像属性编辑。

4、第二种：在图像生成器的内部，通过特定维度上特征的替换，将引入的目标人脸图像上的精细风格赋予在人脸图像上，这种方法能控制白皮肤、卷发等精细类型。

5、第三种：通过clip（contrastive language–image pre-training，基于对比学习的语言-图像预训练）对齐人脸图像和文本的属性，可以通过自然语言实现人脸属性编辑。

6、第一种和第二种方法不需要新的数据标注和昂贵的训练成本，但由于stylegan潜在代码并不是完全解耦，并不能精准的控制人脸图像属性编辑，也就是说将输入图像变换为具有目标属性的目标域人脸图像过程中，会多多少少改变人脸图像内原有的其他属性特征。第三种人脸属性编辑方法由于自然语言天生表达模糊性，不能精准控制复杂的人脸图像属性编辑。

技术实现思路

1、本发明的目的是提供一种人脸图像属性编辑方法、系统、电子设备及存储介质，可精准的控制人脸图像属性编辑，将输入图像变换为具有目标属性的目标域人脸图像过程中，可以更少的改变原人脸图像的其他属性特征。

2、为实现上述目的，本发明提供了如下方案：

3、一种人脸图像属性编辑方法，包括：

4、建立潜在代码到属性向量的映射器；

5、高斯建模人脸图像集中人脸图像的潜在代码各维度分布和目标属性条件下人脸图像的潜在代码各维度条件分布；

6、分别计算潜在代码各维度分布与目标属性条件下的潜在代码同一维度条件分布之间的kl散度；

7、选择kl散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间；

8、在所述潜在代码修改子空间中随机生成多个潜在代码，并利用潜在代码到属性向量的映射器，获得随机生成的潜在代码对应的属性向量；

9、从随机生成的潜在代码对应的属性向量中选择与目标属性向量之间余弦距离最大的属性向量；

10、将选择的属性向量对应的潜在代码和待编辑人脸图像的潜在代码一起输入stylegan生成器，获得具有目标属性的人脸图像。

11、一种人脸图像属性编辑系统，包括：

12、映射器建立模块，用于建立潜在代码到属性向量的映射器；

13、高斯建模模块，用于高斯建模人脸图像集中人脸图像的潜在代码各维度分布和目标属性条件下人脸图像的潜在代码各维度条件分布；

14、kl散度计算模块，用于分别计算潜在代码各维度分布与目标属性条件下的潜在代码同一维度条件分布之间的kl散度；

15、维度选择模块，用于选择kl散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间；

16、随机生成模块，用于在所述潜在代码修改子空间中随机生成多个潜在代码，并利用潜在代码到属性向量的映射器，获得随机生成的潜在代码对应的属性向量；

17、属性向量选择模块，用于从随机生成的潜在代码对应的属性向量中选择与目标属性向量之间余弦距离最大的属性向量；

18、合成模块，用于将选择的属性向量对应的潜在代码和待编辑人脸图像的潜在代码一起输入stylegan生成器，获得具有目标属性的人脸图像。

19、一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述的人脸图像属性编辑方法。

20、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如前述的人脸图像属性编辑方法。

21、根据本发明提供的具体实施例，本发明公开了以下技术效果：

22、本发明公开一种人脸图像属性编辑方法、系统、电子设备及存储介质，利用stylegan潜在代码符合高斯分布和语义解耦特性，先分别高斯建模潜在代码各维度分布和在目标属性条件下的潜在代码各维度条件分布，然后计算各维度的kl散度，选择kl散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间，并在潜在代码修改子空间中随机生成多个潜在代码，再在这多个潜在代码中选择和目标属性向量最相似的潜在代码，输入stylegan生成器来完成人脸图像属性编辑。本发明将目标属性的维度空间与人脸图像的其他属性的维度空间完全解耦，可精准的控制人脸图像属性编辑，将输入图像变换为具有目标属性的目标域人脸图像过程中，可以更少的改变原人脸图像的其他属性特征。

技术特征：

1.一种人脸图像属性编辑方法，其特征在于，包括：

2.根据权利要求1所述的人脸图像属性编辑方法，其特征在于，所述建立潜在代码到属性向量的映射器，具体包括：

3.根据权利要求1所述的人脸图像属性编辑方法，其特征在于，高斯建模人脸图像集中人脸图像的潜在代码各维度分布，具体包括：

4.根据权利要求1所述的人脸图像属性编辑方法，其特征在于，高斯建模人脸图像集中目标属性条件下人脸图像的潜在代码各维度条件分布，具体包括：

5.根据权利要求1所述的人脸图像属性编辑方法，其特征在于，在所述潜在代码修改子空间中随机生成多个潜在代码，具体包括：

6.一种人脸图像属性编辑系统，其特征在于，包括：

7.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的人脸图像属性编辑方法。

8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现如权利要求1至5中任一项所述的人脸图像属性编辑方法。

技术总结
本发明公开一种人脸图像属性编辑方法、系统、电子设备及存储介质，属于图像处理领域。首先分别高斯建模潜在代码各维度分布和在目标属性条件下的潜在代码各维度条件分布，然后计算各维度的KL散度，选择KL散度大于散度阈值的维度集合，作为目标属性对应的潜在代码修改子空间，并在潜在代码修改子空间中随机生成多个潜在代码，再在这多个潜在代码中选择和目标属性向量最相似的潜在代码，输入StyleGAN生成器来完成人脸图像属性编辑。本发明将目标属性与人脸图像的其他属性的维度空间完全解耦，可精准的控制人脸图像属性编辑，在将输入图像变换为具有目标属性的目标域人脸图像过程中，可以更少的改变原人脸图像的其他属性特征。

技术研发人员：刘治宇
受保护的技术使用者：北京烽火万家科技有限公司
技术研发日：
技术公布日：2024/1/13