人脸修复模型的训练方法、视频处理方法与流程

本技术涉及人脸图像变形，特别涉及一种人脸修复模型的训练方法、一种视频处理方法。本技术同时涉及一种人脸修复模型的训练装置、一种视频处理装置、两种方法对应的计算设备，以及两种方法对应的计算机可读存储介质。

背景技术：

1、随着计算机技术的发展，虚拟数字人被越来越多的应用于生活场景，现有技术中，对于虚拟数字人生成的视觉精度愈发重视，在虚拟数字人的生成过程中，通过将音频和视频的特征进行对齐，但语音驱动嘴唇运动方法在处理动态的和无约束的说话人脸视频时，通常无法准确地合成口型，导致生成的视频与音频不同步。

2、产生此问题的原因主要包括两个方面：

3、1.基于像素的人脸重建损失无法准约束音频-口型同步：因为面部重建损失是基于整个图像计算的，而唇部区域只占整个图像的很小一部分（不到4%），因而无法聚焦唇部细节。此外，在人脸重建的训练过程中，只有在训练的中后期才开始优化口型，导致前期监督信息缺乏。

4、2.传统的以深度学习为基础的图像合成技术gan的判别器在音频-口型同步检测方面准确率较低：传统的gan判别器只使用单帧图像来评估口型同步，缺乏时间上下文信息，无法评估口型动态变化质量。而且由于生成过程中存在伪影，gan判别器更容易关注视觉伪影，从而忽略音频和口型的对应关系。

技术实现思路

1、有鉴于此，本技术实施例提供了一种人脸修复模型的训练方法、一种视频处理方法，以解决现有技术中存在的技术缺陷。本技术实施例同时提供了一种人脸修复模型的训练装置、一种视频处理装置、两种方法对应的计算设备，以及两种方法对应的计算机可读存储介质。

2、根据本技术实施例的第一方面，提供了一种人脸修复模型的训练方法，包括：

3、将预处理样本文件中包含的第一人脸图像序列与样本音频输入至嘴型模型，得到第二人脸图像序列；

4、将所述第二人脸图像序列输入至预训练人脸修复模型，得到第三人脸图像序列；

5、对所述第一人脸图像序列中每一图像帧的嘴部区域进行采集，得到第一嘴部图像序列，并对所述第三人脸图像序列中每一图像帧的嘴部区域进行采集，得到第二嘴部图像序列；

6、基于所述第一嘴部图像序列与所述第二嘴部图像序列，构建嘴部损失函数，并基于所述第一人脸图像序列与所述第三人脸图像序列，构建人脸损失函数；

7、基于所述嘴部损失函数与所述人脸损失函数对所述预训练人脸修复模型进行调参，直至获得满足训练停止条件的目标人脸修复模型。

8、可选地，所述将预处理样本文件中包含的第一人脸图像序列与样本音频输入至嘴型模型，得到第二人脸图像序列包括：

9、对采集到的所述样本文件进行分离，得到样本视频与所述样本音频；

10、采集所述样本视频中的人脸图像，得到第一人脸图像序列；

11、将所述样本音频与所述第一人脸图像序列输入至所述嘴型模型，得到所述第二人脸图像序列。

12、可选地，所述采集所述样本视频中的人脸图像，得到第一人脸图像序列包括：

13、基于预设的抽帧算法，对所述样本视频进行抽帧，得到预设帧率的预处理视频；

14、采集所述预处理视频中的人脸图像，得到第一人脸图像序列。

15、可选地，所述采集所述样本视频中的人脸图像，得到第一人脸图像序列包括：

16、基于预设人脸分割算法，对所述样本视频中的人脸图像进行识别，确定人脸位置；

17、根据所述人脸位置对所述样本视频中包含的视频帧进行裁切，得到矩形人脸图像序列；

18、通过掩膜的方式对所述人脸图像序列中的非人脸区域进行遮挡，得到第一人脸图像序列。

19、可选地，所述将所述第二人脸图像序列输入至预训练人脸修复模型，得到第三人脸图像序列包括：

20、基于所述第一人脸图像序列与所述第二人脸图像序列构造图像修复数据集；

21、通过图像修复数据集调整图像修复模型，得到预训练人脸修复模型。

22、可选地，所述对所述第一人脸图像序列中每一图像帧的嘴部区域进行采集，得到第一嘴部图像序列，并对所述第三人脸图像序列中每一图像帧的嘴部区域进行采集，得到第二嘴部图像序列包括：

23、检测所述第一人脸图像序列中每一图像帧的嘴部关键点，并根据检测结果对所述第一人脸图像序列中每一图像帧的非嘴部区域进行遮挡，得到所述第一嘴部图像序列；

24、检测所述第三人脸图像序列中每一图像帧的嘴部关键点，并根据检测结果对所述第三人脸图像序列中每一图像帧的非嘴部区域进行遮挡，得到所述第二嘴部图像序列。

25、可选地，所述基于所述嘴部损失函数与所述人脸损失函数对所述预训练人脸修复模型进行调参，直至获得满足训练停止条件的人脸修复模型包括：

26、对所述嘴部损失函数与所述人脸损失函数进行加权计算，得到总体损失函数；

27、根据所述总体损失函数对所述预训练人脸修复模型进行调参，直至获得满足训练停止条件的所述目标人脸修复模型。

28、可选地，所述将预处理样本文件中包含的第一人脸图像序列与样本音频输入至嘴型模型，得到第二人脸图像序列包括：

29、将所述第一人脸图像序列基于预设的缩放算法进行尺寸调整，得到预处理人脸图像序列；

30、将所述预处理人脸图像序列与所述样本音频输入至所述嘴型模型，得到所述第二人脸图像序列。

31、可选地，所述将所述预处理人脸图像序列与所述样本音频输入至所述嘴型模型，得到所述第二人脸图像序列包括：

32、将所述预处理人脸图像序列所述样本音频输入至所述嘴型模型，得到待处理人脸图像序列；

33、将所述待处理人脸图像序列基于预设的缩放算法进行尺寸调整，得到所述第二人脸图像序列。

34、根据本技术实施例的第二方面，提供了一种视频处理方法，包括：

35、采集待处理视频，并裁切所述待处理视频中每一图像帧的人脸图像，得到第一待处理人脸图像序列；

36、将所述待处理视频关联的待处理音频，以及所述待处理人脸图像序列输入至所述人脸修复模型的训练方法的嘴型模型，得到第二待处理人脸图像序列；

37、将所述第二待处理人脸图像序列输入至所述人脸修复模型的训练方法的目标人脸修复模型中，得到目标人脸图像序列；

38、将所述目标人脸图像序列还原至所述待处理视频，得到目标视频。

39、根据本技术实施例的第三方面，提供了一种人脸修复模型的训练装置，包括：

40、嘴型处理模块，被配置为将预处理样本文件中包含的第一人脸图像序列与样本音频输入至嘴型模型，得到第二人脸图像序列；

41、人脸修复模块，被配置为将所述第二人脸图像序列输入至预训练人脸修复模型，得到第三人脸图像序列；

42、采集模块，被配置为对所述第一人脸图像序列中每一图像帧的嘴部区域进行采集，得到第一嘴部图像序列，并对所述第三人脸图像序列中每一图像帧的嘴部区域进行采集，得到第二嘴部图像序列；

43、计算模块，被配置为基于所述第一嘴部图像序列与所述第二嘴部图像序列，构建嘴部损失函数，并基于所述第一人脸图像序列与所述第三人脸图像序列，构建人脸损失函数；

44、调参模块，被配置为基于所述嘴部损失函数与所述人脸损失函数对所述预训练人脸修复模型进行调参，直至获得满足训练停止条件的目标人脸修复模型。

45、根据本技术实施例的第四方面，提供了一种视频处理装置，包括：

46、裁切模块，被配置为采集待处理视频，并裁切所述待处理视频中每一图像帧的人脸图像，得到第一待处理人脸图像序列；

47、驱动模块，被配置为将所述待处理视频关联的待处理音频，以及所述待处理人脸图像序列输入至所述人脸修复模型的训练方法的嘴型模型，得到第二待处理人脸图像序列；

48、修复模块，被配置为将所述第二待处理人脸图像序列输入至所述人脸修复模型的训练方法的目标人脸修复模型中，得到目标人脸图像序列；

49、输出模块，被配置为将所述目标人脸图像序列还原至所述待处理视频，得到目标视频。

50、根据本技术实施例的第五方面，提供了一种计算设备，包括：

51、存储器和处理器；

52、所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现所述人脸修复模型的训练方法的步骤。

53、根据本技术实施例的第六方面，提供了一种计算设备，包括：

54、存储器和处理器；

55、所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现所述视频处理方法的步骤。

56、根据本技术实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述人脸修复模型的训练方法的步骤。

57、根据本技术实施例的第八方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述视频处理方法的步骤。

58、根据本技术实施例的第九方面，提供了一种芯片，其存储有计算机程序，该计算机程序被芯片执行时实现所述人脸修复模型的训练方法的步骤。

59、根据本技术实施例的第十方面，提供了一种芯片，其存储有计算机程序，该计算机程序被芯片执行时实现所述视频处理方法的步骤。

60、本技术提供的人脸修复模型的训练方法，通过将预处理样本文件中包含的第一人脸图像序列与样本音频输入至嘴型模型，得到第二人脸图像序列；将第二人脸图像序列输入至预训练人脸修复模型，得到第三人脸图像序列；采集第一人脸图像序列中每一图像帧的嘴部区域得到第一嘴部图像序列，并采集第三人脸图像序列中每一图像帧的嘴部区域得到第二嘴部图像序列；基于第一嘴部图像序列与第二嘴部图像序列构建嘴部损失函数，并基于第一人脸图像序列与第三人脸图像序列构建人脸损失函数；基于嘴部损失函数与人脸损失函数对预训练人脸修复模型进行调参，直至获得满足训练停止条件的目标人脸修复模型，经过训练的人脸修复模型可以对语音驱动嘴型的视频帧图像进行修复，提升人物嘴部缺陷修复质量，解决牙齿崩坏等问题。