基于2D关键点的三维人脸构建方法、系统、装置及介质与流程

本申请涉及虚拟社交领域，特别涉及一种基于2d关键点的三维人脸构建方法、系统、装置及介质。

背景技术：

1、近年来，随着社交网络的发展和普及，陌生社交场景下的视频聊天需求日益增多。在这种场景下，为了保护用户隐私，匿名视频聊天成为了一种很常见的选择。为保证用户匿名视频聊天的体验，通常会使用三维人脸替换用户的真实人脸，该三维人脸为可以反应用户面部动作和表情的3d三维人脸。传统的3d三维人脸的重建方法为：将整张人脸图像的各个像素点作为输入，用逐步迭代优化的方法，通过拟合表情基、形状基、纹理基和位姿系数，实现三维人脸的重建。传统方式中，输入数据为大量的人脸图像的像素点，存在输入数据量大、计算量大的问题，导致三维人脸重建速度慢，此外，使用逐步迭代算法重建三维人脸的速度也比较慢，影响用户体验。

技术实现思路

1、本申请的目的是提供一种基于2d关键点的三维人脸构建方法、系统、装置及介质，将得到的多个真实人脸图像的2d关键点信息与第一映射关系进行配对，得到第二映射关系，在构建三维人脸时，只需输入2d关键点信息即可，无需输入真实人脸图像对应的大量像素点，减少了输入数据量和计算量，也无需执行逐步迭代的过程，提高了三维人脸构建的速度和用户体验。

2、为解决上述技术问题，本申请提供了一种基于2d关键点的三维人脸构建方法，其特征在于，包括：

3、获取多个真实人脸图像和第一映射关系，所述第一映射关系为各所述真实人脸图像和与自身对应的三维重建系数之间的对应关系；

4、根据多个所述真实人脸图像及预设2d关键点模型得到与各个所述真实人脸图像对应的2d关键点信息；

5、根据各个所述2d关键点信息及第一映射关系得到第二映射关系，并根据所述第二映射关系训练得到预设3d重建系数预测模型，所述第二映射关系为各所述2d关键点信息和与自身对应的所述三维重建系数之间的对应关系；

6、根据目标2d关键点信息及所述预设3d重建系数预测模型得到与所述目标2d关键点对应的目标三维重建系数，并根据所述目标三维重建系数构建所述三维人脸。

7、优选地，所述2d关键点信息至少包括所述真实人脸图像的脸颊边缘的若干个关键点信息和/或五官边缘的若干个关键点信息。

8、优选地，所述2d关键点信息包括2d关键点在所述真实人脸图像上的坐标信息。

9、优选地，所述坐标信息包括横坐标和纵坐标。

10、优选地，所述2d关键点信息包括2d关键点在所述真实人脸图像上的横坐标和纵坐标时，根据目标2d关键点信息、预设3d重建系数预测模型及所述第二映射关系得到与所述目标2d关键点对应的目标三维重建系数，包括：

11、将所述目标2d关键点信息由二维数组转换为一维数组；

12、将一维数组的目标2d关键点信息输入至所述预设3d重建系数预测模型；

13、根据所述目标2d关键点信息、所述预设3d重建系数预测模型及所述第二映射关系得到与所述目标2d关键点对应的目标三维重建系数。

14、优选地，所述预设3d重建系数预测模型至少包括线性映射层和非线性激活层。

15、优选地，所述预设3d重建系数预测模型还包括批量标准化bn层。

16、为解决上述技术问题，本申请还提供了一种基于2d关键点的三维人脸构建系统，包括：

17、获取训练数据单元，用于获取多个真实人脸图像和第一映射关系，所述第一映射关系为各所述真实人脸图像和与自身对应的三维重建系数之间的对应关系；

18、2d关键点确定单元，用于根据多个所述真实人脸图像及预设2d关键点模型得到与各个所述真实人脸图像对应的2d关键点信息；

19、映射关系确定单元，用于根据各个所述2d关键点信息及第一映射关系得到第二映射关系，并根据所述第二映射关系训练得到预设3d重建系数预测模型，所述第二映射关系为各个所述2d关键点信息和与自身对应的所述三维重建系数之间的对应关系；

20、三维人脸构建单元，用于根据目标2d关键点信息及所述预设3d重建系数预测模型得到与所述目标2d关键点对应的目标三维重建系数，并根据所述目标三维重建系数构建所述三维人脸。

21、为解决上述技术问题，本申请还提供了一种基于2d关键点的三维人脸构建装置，包括：

22、存储器，用于存储计算机程序；

23、处理器，用于在存储计算机程序时，实现如上述所述的基于2d关键点的三维人脸构建方法的步骤。

24、为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的基于2d关键点的三维人脸构建方法的步骤。

25、本申请提供了一种三维人脸的构建方法、系统、装置及介质，涉及虚拟社交领域，该方案根据多个真实人脸图像及预设2d关键点模型得到对应的2d关键点信息；根据各2d关键点信息及第一映射关系得到包括各2d关键点信息与各三维重建系数之间的第二映射关系，并根据第二映射关系训练得到预设3d重建系数预测模型；根据目标2d关键点信息、预设3d重建系数预测模型得到对应的目标三维重建系数，根据目标三维重建系数构建三维人脸。本申请中，将得到的多个真实人脸图像的2d关键点信息与第一映射关系进行配对，得到第二映射关系，在构建三维人脸时，只需输入2d关键点信息即可，无需输入真实人脸图像对应的大量像素点，减少了输入数据量和计算量，也无需执行逐步迭代的过程，提高了三维人脸构建的速度和用户体验。

技术特征：

1.一种基于2d关键点的三维人脸构建方法，其特征在于，包括：

2.如权利要求1所述的基于2d关键点的三维人脸构建方法，其特征在于，所述2d关键点信息至少包括所述真实人脸图像的脸颊边缘的若干个关键点信息和/或五官边缘的若干个关键点信息。

3.如权利要求1所述的基于2d关键点的三维人脸构建方法，其特征在于，所述2d关键点信息包括2d关键点在所述真实人脸图像上的坐标信息。

4.如权利要求3所述的基于2d关键点的三维人脸构建方法，其特征在于，所述坐标信息包括横坐标和纵坐标。

5.如权利要求1-4任一项所述的基于2d关键点的三维人脸构建方法，其特征在于，所述2d关键点信息包括2d关键点在所述真实人脸图像上的横坐标和纵坐标时，根据目标2d关键点信息、预设3d重建系数预测模型及所述第二映射关系得到与所述目标2d关键点对应的目标三维重建系数，包括：

6.如权利要求5所述的基于2d关键点的三维人脸构建方法，其特征在于，所述预设3d重建系数预测模型至少包括线性映射层和非线性激活层。

7.如权利要求6所述的基于2d关键点的三维人脸构建方法，其特征在于，所述预设3d重建系数预测模型还包括批量标准化bn层。

8.一种基于2d关键点的三维人脸构建系统，其特征在于，包括：

9.一种基于2d关键点的三维人脸构建装置，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于2d关键点的三维人脸构建方法的步骤。

技术总结
本申请公开了一种三维人脸的构建方法、系统、装置及介质，涉及虚拟社交领域，根据真实人脸图像及预设2D关键点模型得到2D关键点信息；根据各2D关键点信息及第一映射关系得到包括各2D关键点信息与各三维重建系数之间的第二映射关系；根据第二映射关系训练得到预设3D重建系数预测模型，根据目标2D关键点信息、预设3D重建系数预测模型得到目标三维重建系数以构建三维人脸。本申请中将真实人脸图像的2D关键点信息与第一映射关系配对得到第二映射关系，在构建三维人脸时只需输入2D关键点信息即可，无需输入真实人脸图像对应的大量像素点，减少了输入数据量和计算量，也无需执行逐步迭代的过程，提高了三维人脸构建的速度和用户体验。

技术研发人员：刘思远,甘启,章子维,张璐,陶明
受保护的技术使用者：上海任意门科技有限公司
技术研发日：
技术公布日：2024/2/25