一种证件照人像发型自动编辑方法及系统与流程

本发明涉及计算机视觉，尤其涉及一种证件照人像发型自动编辑方法及系统。

背景技术：

1、人像证件照在智慧政务的业务场景中有着广泛应用，随着应用场景的不断拓展，证件照应用在传统的检测、合规审查、人脸要素识别的基础上，也逐渐对人像要素的编辑能力提出了需求，如人像发型的编辑功能。随着深度学习技术的不断发展，人像发型编辑处理也涌现出众多技术方案，生成对抗网络技术是其中的主流技术。目前基于生成对抗网络实现证件照人像发型编辑处理的技术方案主要存在如下一些不足：

2、(1)引入gan架构往往需要基于大量数据进行端到端的完整训练，才能得到一个面向领域的模型，训练开销大；

3、(2)人像证件照应用场景对人像发型的切合度有较高的要求，基于图像编辑技术改变人像发型得到的结果的效果不太稳定；

4、(3)目前基于gan的人像发型编辑技术在处理流程上还不够自动化，对于证件照类应用场景的用户体验存在一定影响。

技术实现思路

1、为解决现有技术的不足，本发明提出一种证件照人像发型自动编辑方法及系统，结合了图像分割、gan技术以及规则辅助，提升处理流程的自动化，此外，目前基于大规模预训练模型+微调的方式逐渐称为ai视觉模型应用主流构建方式，本方案引入预训练模型进行面向人像发型编辑的gan模型构建，利用预训练模型中包含的基础表征能力，更好的实现人像发型编辑gan模型生成的多样性，以及融合效果。

2、为实现以上目的，本发明所采用的技术方案包括：

3、一种证件照人像发型自动编辑方法，其特征在于，包括：

4、获取待处理人脸图像以及参考目标发型人脸图像；

5、基于人脸关键点检测获取人脸关键点；将待处理人脸图像与参考目标发型人脸图像的人脸进行粗对齐，得到粗对齐后的待处理人脸图像与参考目标发型人脸图像；

6、基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割，得到待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图；

7、构建stylegan2编码器，基于stylegan2编码器对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行处理，得到待处理人脸图像的隐向量以及参考目标发型人脸图像的隐向量；

8、基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，得到目标图像。

9、进一步地，所述获取待处理人脸图像以及参考目标发型人脸图像，包括：用户从备选参考发型人脸库中选择参考目标发型人脸图像。

10、进一步地，所述基于人脸关键点检测获取人脸关键点，包括：基于dlib算法获取人脸轮廓的64个关键点。

11、进一步地，所述stylegan2编码器是基于clip预训练模型,通过迁移学习得到的人脸要素信息生成gan网络。

12、进一步地，所述基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割；包括：

13、粗对齐后的待处理人脸图像与参考目标发型人脸图像存在差异的区域，包括：头发、皮肤以及未知区域的确定，处理规则包括：

14、若待处理人脸图像是皮肤，参考目标发型人脸图像是头发，则整合区域标记为头发；

15、若待处理人脸图像是头发，参考目标发型人脸图像是皮肤，则整合区域标记为皮肤；

16、若待处理人脸图像是头发或皮肤，参考目标发型人脸图像区域是其它，则整合区域标记为未知，采用快速匹配算法对像素的类别属性进行判定。

17、进一步地，所述基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，包括结构信息融合以及样式信息融合；

18、所述结构信息融合通过待处理人脸图像和参考目标发型图像的结构信息张量的加权求和；

19、所述样式信息融合通过合适编码表征待处理人脸图像和参考目标发型图像的视觉样式信息。

20、本发明还涉及一种证件照人像发型自动编辑系统，其特征在于，包括：

21、图像获取模块，用于获取待处理人脸图像以及参考目标发型人脸图像；

22、关键点获取模块，用于基于人脸关键点检测获取人脸关键点；将待处理人脸图像与参考目标发型人脸图像的人脸进行粗对齐，得到粗对齐后的待处理人脸图像与参考目标发型人脸图像；

23、多类别分割模块，用于基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割，得到待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图；

24、stylegan2编码器模块，用于构建stylegan2编码器，基于stylegan2编码器对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行处理，得到待处理人脸图像的隐向量以及参考目标发型人脸图像的隐向量；

25、图像融合模块，用于基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，得到目标图像。

26、本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的证件照人像发型自动编辑方法。

27、本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；

28、所述存储器，用于存储人脸关键点、待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图、stylegan2编码器以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量；

29、所述处理器，用于通过调用人脸关键点、待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图、stylegan2编码器以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，执行上述的证件照人像发型自动编辑方法。

30、本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述证件照人像发型自动编辑方法的步骤。

31、本发明的有益效果为：

32、采用本发明所述一种证件照人像发型自动编辑方法及系统，传统人像发型要素编辑处理较多采用分割贴图的方法，这种方法对于背景较复杂、发型较复杂的情况下，效果往往不够理想。本发明所述一种证件照人像发型自动编辑方法及系统，针对用户人像照和任意参考人像照实现发型风格自动编辑，引入了预训练模型得到面向人像属性表征与编辑的gan模型，并在此基础上，与基于分割贴图的方法结合，形成一套自动化的人像发型自动编辑处理技术装置。

技术特征：

1.一种证件照人像发型自动编辑方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述获取待处理人脸图像以及参考目标发型人脸图像，包括：用户从备选参考发型人脸库中选择参考目标发型人脸图像。

3.如权利要求1所述的方法，其特征在于，所述基于人脸关键点检测获取人脸关键点，包括：基于dlib算法获取人脸轮廓的64个关键点。

4.如权利要求1所述的方法，其特征在于，所述stylegan2编码器是基于clip预训练模型,通过迁移学习得到的人脸要素信息生成gan网络。

5.如权利要求1所述的方法，其特征在于，所述基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割；包括：

6.如权利要求1所述的方法，其特征在于，所述基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，包括结构信息融合以及样式信息融合；

7.一种证件照人像发型自动编辑系统，其特征在于，包括：

8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的证件照人像发型自动编辑方法。

9.一种电子设备，其特征在于，包括处理器和存储器；

10.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现权利要求1至6中任一项所述证件照人像发型自动编辑方法的步骤。

技术总结
本发明涉及一种证件照人像发型自动编辑方法及系统，在传统基于分割贴图的发型变换方法基础上，通过引入预训练模型辅助获得GAN模型，针对用户人像照和任意参考人像照实现发型风格自动编辑，结合了图像分割、GAN技术以及规则辅助，提升处理流程的自动化，基于大规模预训练模型+微调的方式逐渐成为AI视觉模型应用主流构建方式，本发明涉及一种证件照人像发型自动编辑方法及系统，通过引入预训练模型进行面向人像发型编辑的GAN模型构建，利用预训练模型中包含的基础表征能力，更好的实现人像发型编辑GAN模型生成的多样性，以及融合效果。

技术研发人员：郑江,丁苏苏,张士存,罗奕康,戴菀庭,王伊妍
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：
技术公布日：2024/1/14