一种面部关键点的偏移检测方法及相关装置与流程

本技术涉及人工智能，尤其涉及一种面部关键点的偏移检测方法及相关装置。

背景技术：

1、当今时代元宇宙概念已经逐渐成熟，在元宇宙中又以虚拟人尤为重要，数字虚拟人(简称为虚拟人)的定义是：具有“虚拟”(存在于非物理世界中)+“数字”(由计算机图形学、图形染、动作捕捉、深度学习、语音合成等计算机手段创造及使用)+“人”(具有多重人类特征，如外貌、人类表演/交互能力等)的综合产物。自2020年至今已经有大量虚拟人被各大公司创作出来，目前虚拟人作为一种交互方法存在于虚拟空间，或者存在于各种虚实结合的场景中。

2、然而虚拟人建模后经常出现有违人脸基础表征的不正常现象，例如在虚拟人直播中会出现嘴歪眼斜、脸部拉长、表情怪异等面部变形现象。这些异常现象将会大大降低虚拟人模拟真人的逼真程度，降低用户的观看体验。因此，如何对虚拟人进行面部检测，及时并准确的识别到异常人脸表征是元宇宙技术领域亟需克服的难题。

技术实现思路

1、本技术提供了一种面部关键点的偏移检测方法及相关装置，如下：

2、一种面部关键点的偏移检测方法，包括：

3、获取目标虚拟人的面部图像，作为待检测图像；

4、将所述待检测图像输入至生成对抗网络模型，得到所述待检测图像的映射二维图像；

5、将所述待检测图像的映射二维图像输入至面部特征点检测模型pfld中，得到所述待检测图像的点位分布图，作为目标点位分布图；

6、基于所述目标点位分布图对各个面部关键点进行偏移检测，得到各个所述面部关键点的偏移检测结果，所述偏移检测结果包括是否发生偏移和偏移量；

7、若所述偏移检测结果指示所述面部关键点发生偏移，基于所述面部关键点的偏移量对所述面部关键点进行调整。

8、可选地，获取目标虚拟人的面部图像，作为待检测图像包括：

9、从实时视频中截取包括所述目标虚拟人的面部图像的图像帧，得到所述目标虚拟人的实时图像；

10、采用人脸识别模型dlib对所述目标虚拟人的实时图像中的预设的面部核心关键点进行检测；

11、基于所述面部核心关键点的检测结果，按预设的裁剪比例对所述实时图像进行裁剪，得到预设尺寸的所述目标虚拟人的面部图像，作为待检测图像。

12、可选地，生成对抗网络模型包括生成网络和判别网络；所述生成对抗网络模型的训练方法包括：

13、获取所述目标虚拟人的原始面部图像集合，所述原始面部图像集合包括多张所述目标虚拟人的原始面部图像；

14、将所述原始面部图像输入至所述生成网络，生成所述原始面部图像的面部映射图像；

15、将所述原始面部图像输入至所述人脸识别模型dlib，生成所述原始面部图像的原始关键点位图；

16、将所述原始面部图像的面部映射图像作为正样本图像并将所述原始面部图像的原始关键点位图作为负样本图像，输入至所述判别网络，训练所述判别网络，得到所述判别网络的判别结果；

17、基于所述判别网络的判别结果，训练所述生成对抗网络模型。

18、可选地，生成网络包括第一阶段子网络和第二阶段子网络；所述生成网络的构建过程包括：

19、将所述原始面部图像输入至所述第一阶段子网络，以使所述第一阶段子网络利用各个特征提取层提取所述原始面部图像的特征值，得到各层特征值并生成所述原始面部图像的第一特征图像；

20、将所述各层特征值进行特征融合后，输入至所述第二阶段子网络，以使所述第二阶段子网络生成所述原始面部图像的第二特征图像；

21、基于所述第一特征图像和所述第二特征图像的特征相似度调整所述生成网络的网络参数，直至所述第一特征图像和所述第二特征图像的特征相似度高于预设的相似度阈值。

22、可选地，训练所述判别网络，得到所述判别网络的判别结果，包括：

23、将样本图像输入至所述判别网络，以使所述判别网络基于权重谱，对所述样本图像进行打分，所述样本图像包括正样本图像和负样本图像；所述权重谱用于描述各个面部点位的权重分布；

24、基于所述样本图像的打分结果，得到所述判别网络的判别结果。

25、可选地，权重谱的生成方法包括：

26、基于所述原始面部图像的原始关键点位图生成打分谱，所述打分谱用于描述面部点位的得分分布，所述面部点位的得分用于指示所述面部点位是否属于面部关键点位；

27、依据所述打分谱和各个所述面部关键点的预设权重，生成所述权重谱。

28、一种面部关键点的偏移检测装置，包括：

29、待检测图像获取单元，用于获取目标虚拟人的面部图像，作为待检测图像；

30、第一模型预测单元，用于将所述待检测图像输入至生成对抗网络模型，得到所述待检测图像的映射二维图像；

31、第二模型预测单元，用于将所述待检测图像的映射二维图像输入至面部特征点检测模型pfld中，得到所述待检测图像的点位分布图，作为目标点位分布图；

32、偏移检测单元，用于基于所述目标点位分布图对各个面部关键点进行偏移检测，得到各个所述面部关键点的偏移检测结果，所述偏移检测结果包括是否发生偏移和偏移量；

33、偏移纠正单元，用于若所述偏移检测结果指示所述面部关键点发生偏移，基于所述面部关键点的偏移量对所述面部关键点进行调整。

34、可选地，待检测图像获取单元，用于获取目标虚拟人的面部图像，作为待检测图像包括：所述待检测图像获取单元具体用于：

35、从实时视频中截取包括所述目标虚拟人的面部图像的图像帧，得到所述目标虚拟人的实时图像；

36、采用人脸识别模型dlib对所述目标虚拟人的实时图像中的预设的面部核心关键点进行检测；

37、基于所述面部核心关键点的检测结果，按预设的裁剪比例对所述实时图像进行裁剪，得到预设尺寸的所述目标虚拟人的面部图像，作为待检测图像。

38、一种面部关键点的偏移检测设备，包括：存储器和处理器；

39、所述存储器，用于存储程序；

40、所述处理器，用于执行所述程序，实现面部关键点的偏移检测方法的各个步骤。

41、一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现面部关键点的偏移检测方法的各个步骤。

42、由上述技术方案可以看出，本技术实施例提供的面部关键点的偏移检测方法及相关装置，获取目标虚拟人的面部图像，作为待检测图像。将待检测图像输入至生成对抗网络模型，得到待检测图像的映射二维图像。将待检测图像的映射二维图像输入至面部特征点检测模型pfld中，得到待检测图像的点位分布图，作为目标点位分布图。基于目标点位分布图对各个面部关键点进行偏移检测，得到各个面部关键点的偏移检测结果，偏移检测结果包括是否发生偏移和偏移量。若偏移检测结果指示面部关键点发生偏移，基于面部关键点的偏移量对面部关键点进行调整。可见本技术基于训练好的生成对抗网络模型对生成待检测图像的映射二维图像，其中，生成对抗网络模型基于目标虚拟人的原始图像训练得到，能够更好的学习待检测图像中目标虚拟人的面部特征，基于映射二维图像生成的目标点位分布图的特征可信度高，进一步提高了偏移检测结果的准确性。