基于生成对抗网络的张嘴笑表情生成方法、装置以及设备与流程

本发明涉及图像处理，尤其涉及基于生成对抗网络的张嘴笑表情生成方法、装置以及设备。

背景技术：

1、拍照时人们都尽量喜欢保持张嘴笑，但针对一些具有镜头恐惧或者笑容尴尬症的人，拍出来的效果往往不如意，为了处理表情的瑕疵往往需要通过复杂的p图操作，耗时又耗力。然而，现有传统方法难以通过曲线调整实现自然的面部肌肉走势，从而实现张嘴笑，无法生成牙齿等细节面部信息；基于cnn的方法也难以生成较好清晰完整的牙齿，且生成图像不够清晰自然。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种基于生成对抗网络的张嘴笑表情生成方法、装置、设备以及计算机可读存储介质，旨在解决上述的问题，从而能够实现快速使图像中的人物生成自然的张嘴笑表情，让有笑容尴尬症的用户一展倾城笑颜。

2、为实现上述目的，本发明提供一种基于生成对抗网络的张嘴笑表情生成方法，所述方法包括：

3、对采集的原始人脸图以及对应所述原始人脸图的张嘴笑目标图进行预处理，将预处理后的所述原始人脸图作为训练数据图像，将预处理后的所述张嘴笑目标图作为目标监督图像；

4、将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，得到张嘴笑表情生成模型；

5、获取待处理图像并输入所述张嘴笑表情生成模型，得到具有张嘴笑表情的结果生成图。

6、优选的，所述对采集的原始人脸图以及对应所述原始人脸图的张嘴笑目标图进行预处理，包括：

7、对所述原始人脸图以及所述张嘴笑目标图进行几何操作、以及亮度和噪声扰动，其中，所述几何操作包括裁剪、平移以及左右翻转。

8、优选的，所述stylegan2网络包括生成器以及判别器；所述将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，包括：

9、通过所述编码器对所述训练数据图像进行特征提取并映射至隐空间，输出第一图像；

10、将所述第一图像输入所述生成器进行脸部细节生成，输出第二图像；

11、将所述第二图像输入所述判别器中并基于所述目标监督图像进行判别。

12、优选的，所述通过所述编码器对所述训练数据图像进行特征提取并映射至隐空间，包括：

13、通过所述编码器对所述训练数据图像进行9次卷积下采样操作。

14、优选的，所述将所述第一图像输入所述生成器进行脸部细节生成，包括：

15、通过所述生成器对所述第一图像进行9次卷积上采样操作。

16、优选的，所述张嘴笑表情生成模型还包括预训练的人脸属性分类器；所述将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，包括：

17、通过所述人脸属性分类器对所述第二图像中根据预设的感兴趣区域的不同人脸区域进行分类。

18、优选的，所述预设损失函数为loss＝θ1losscls+θ2lossl1+θ3losspercep+lossg，θ1、θ2、θ3为损失权重；其中，

19、losscls＝||y-roi*y'||2，式中，roi表示预先设定感兴趣区域的二值图，y表示将roi与g相乘即感兴趣区域分类结果输入经过预训练的人脸属性分类器得到的当前分类结果，g表示生成器各层的输出结果上采样至同一尺寸并按通道拼接结果，y'表示所述目标监督图像对应的像素分类结果；

20、lossl1＝||xg-xr||2，式中，xg表示生成器的输出，xr表示所述目标监督图像；

21、式中，j表示感知损失网络的第j层，cj、hj、wj为第j层特征图大小；

22、其中，式中，c(·)表示判别器的输出，ex(·)表示样本的平均值，xr表示所述目标监督图像。

23、为实现上述目的，本发明还提供一种基于生成对抗网络的张嘴笑表情生成装置，所述装置包括：

24、图像预处理单元，用于对采集的原始人脸图以及对应所述原始人脸图的张嘴笑目标图进行预处理，将预处理后的所述原始人脸图作为训练数据图像，将预处理后的所述张嘴笑目标图作为目标监督图像；

25、模型构建单元，用于将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，得到张嘴笑表情生成模型；

26、张嘴笑生成单元，用于获取待处理图像并输入所述张嘴笑表情生成模型，得到具有张嘴笑表情的结果生成图。

27、为了实现上述目的，本发明还提出一种基于生成对抗网络的张嘴笑表情生成设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如上述实施例所述的一种基于生成对抗网络的张嘴笑表情生成方法的步骤。

28、为了实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如上述实施例所述的一种基于生成对抗网络的张嘴笑表情生成方法的步骤。

29、有益效果：

30、以上方案，能够生成更加清晰和更多的脸部细节信息，能够自适应的拉动嘴角、眼角和生成苹果肌、法令纹、牙齿实现更加自然的张嘴笑。针对不同表情的原图也具有更好的细节处理和张嘴笑效果。

31、以上方案，通过利用stylegan2网络强大的生成学习能力，在张嘴笑目标图的监督下，学习出人脸张嘴笑时的面部肌肉走势和张弛程度，实现自然张嘴笑表情生成的同时保留了原始人脸的合理结构。

32、以上方案，通过使用预先训练好的人脸属性分类器对生成器输出的张嘴笑图进行像素级的分类监督，利用stylegan隐向量潜在的人脸属性可编辑性，可以较好的针对感兴趣部位进行生成，保证张嘴笑后的面部联动。

技术特征：

1.一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述对采集的原始人脸图以及对应所述原始人脸图的张嘴笑目标图进行预处理，包括：

3.根据权利要求1所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述stylegan2网络包括生成器以及判别器；所述将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，包括：

4.根据权利要求3所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述通过所述编码器对所述训练数据图像进行特征提取并映射至隐空间，包括：

5.根据权利要求3所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述将所述第一图像输入所述生成器进行脸部细节生成，包括：

6.根据权利要求3所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述张嘴笑表情生成模型还包括预训练的人脸属性分类器；所述将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，包括：

7.根据权利要求1所述的一种基于生成对抗网络的张嘴笑表情生成方法，其特征在于，所述预设损失函数为loss＝θ1losscls+θ2lossl1+θ3losspercep+lossg，θ1、θ2、θ3为损失权重；其中，

8.一种基于生成对抗网络的张嘴笑表情生成装置，其特征在于，所述装置包括：

9.一种基于生成对抗网络的张嘴笑表情生成设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1至7任意一项所述的一种基于生成对抗网络的张嘴笑表情生成方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至7任意一项所述的一种基于生成对抗网络的张嘴笑表情生成方法的步骤。

技术总结
本发明公开了一种基于生成对抗网络的张嘴笑表情生成方法、装置及设备，其包括：对采集的原始人脸图以及对应所述原始人脸图的张嘴笑目标图进行预处理，将预处理后的所述原始人脸图作为训练数据图像，将预处理后的所述张嘴笑目标图作为目标监督图像；将所述训练数据图像输入包括编码器以及stylegan2网络所构建的模型中并在所述目标监督图像的监督下、基于预设损失函数进行训练，得到张嘴笑表情生成模型；获取待处理图像并输入所述张嘴笑表情生成模型，得到具有张嘴笑表情的结果生成图。能够生成更加清晰和更多的脸部细节信息，能够实现更加自然的张嘴笑表情。

技术研发人员：占小路,陈进山,罗铖,刘洛麒
受保护的技术使用者：厦门美图之家科技有限公司
技术研发日：
技术公布日：2024/1/12