三维人脸模型的训练、三维人脸生成以及关键点标注方法与流程

本公开的实施例涉及一种三维人脸模型的训练、三维人脸生成以及关键点标注方法。

背景技术：

1、随着人工智能时代的到来，ai训练用的训练数据需求越来越大，对标注数据的数量和质量也提出了更高要求，例如：目标检测、人脸关键点检测等等。

技术实现思路

1、本公开至少一个实施例提供一种三维人脸模型的训练方法，所述方法包括：

2、获取训练人脸图像，确定所述训练人脸图像对应的第一数量的稀疏人脸关键点；

3、利用初始三维人脸模型基于所述训练人脸图像生成初始三维人脸，其中，所述初始三维人脸模型包括初始形状基参数和初始表情基参数，所述初始三维人脸包括第二数量的初始网格顶点；

4、将所述初始网格顶点通过初始旋转平移后透视投影生成初始二维关键点；

5、从所述初始二维关键点中确定和所述稀疏人脸关键点对应的候选初始二维关键点；

6、基于所述稀疏人脸关键点和所述候选初始二维关键点的二维坐标损失、所述初始形状基参数的损失和所述初始表情基参数的损失计算损失值；

7、基于所述损失值反向传播迭代更新所述初始形状基参数和所述初始表情基参数，直到满足训练停止条件得到已训练的三维人脸模型，其中，所述已训练的三维人脸模型包括优化的形状基参数和优化的表情基参数。

8、本公开至少一个实施例提供一种三维人脸生成方法，所述方法包括：

9、获取人脸图像；

10、利用已训练的三维人脸模型生成所述人脸图像对应的三维人脸，其中，所述已训练的三维人脸模型是使用所述人脸图像基于本公开任何一个实施例所述的三维人脸模型的训练方法训练得到的。

11、本公开至少一个实施例提供一种人脸关键点标注方法，所述方法包括：

12、获取人脸图像；

13、利用已训练的三维人脸模型生成所述人脸图像对应的三维人脸，其中，所述已训练的三维人脸模型是初始三维人脸模型使用所述人脸图像经过优化形状基参数和表情基参数确定的，所述三维人脸包括第二数量的网格顶点；

14、从所述第二数量的所述网格顶点中确定第四数量的三维关键点；

15、计算每一所述三维关键点的状态，基于所述三维关键点的坐标以及状态生成所述人脸图像的关键点标注文件，其中，所述状态表示所述三维关键点映射到二维后的显示状态。

16、本公开至少一个实施例提供一种电子设备，包括：

17、处理器；

18、存储器，包括一个或多个计算机程序指令；

19、其中，所述一个或多个计算机程序指令被存储在所述存储器中，并由所述处理器执行时实现本公开任一实施例提供的三维人脸模型的训练方法，或者实现本公开任一实施例提供的三维人脸生成方法，或者实现本公开任一实施例提供的人脸关键点标注方法。

20、本公开至少一个实施例提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以实现本公开任一实施例提供的三维人脸模型的训练方法，或者实现本公开任一实施例提供的三维人脸生成方法，或者实现本公开任一实施例提供的人脸关键点标注方法。

技术特征：

1.三维人脸模型的训练方法，其中，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求1或2任一项所述的方法，其中，所述训练停止条件包括达到预设迭代次数和/或所述损失值不再下降。

4.根据权利要求1所述的方法，其中，获取训练人脸图像，确定所述训练人脸图像对应的第一数量的稀疏人脸关键点，包括：

5.根据权利要求1所述的方法，其中，每一所述损失有一个对应的权重调节系数。

6.根据权利要求1所述的方法，其中，所述初始三维人脸模型还包括初始纹理基参数和/或初始光照基参数，还包括：

7.根据权利要求1所述的方法，其中，所述初始三维人脸是使用所述第一数量的稀疏人脸关键点生成的。

8.三维人脸生成方法，其中，所述方法包括：

9.根据权利要求8所述的方法，其中，所述三维人脸包括第二数量的网格顶点，所述方法还包括：

10.根据权利要求8所述的方法，其中，所述已训练的三维人脸模型包括优化的形状基参数和优化的表情基参数，利用已训练的三维人脸模型生成所述人脸图像对应的三维人脸，包括：

11.根据权利要求10所述的方法，其中，所述已训练的三维人脸模型还包括优化的纹理基参数和/或优化的光照基参数，利用已训练的三维人脸模型生成所述人脸图像对应的三维人脸，还包括：

12.根据权利要求9所述的方法，其中，从所述第二数量的所述网格顶点中确定第四数量的三维关键点，包括：

13.根据权利要求9所述的方法，其中，计算每一所述三维关键点的状态，包括：

14.根据权利要求9所述的方法，还包括：

15.根据权利要求8所述的方法，其中，获取人脸图像，包括：

16.根据权利要求8所述的方法，还包括：

17.人脸关键点标注方法，其中，所述方法包括：

18.电子设备，包括：

19.计算机可读存储介质，非暂时性存储有计算机可读指令，其中，当所述计算机可读指令由处理器执行时实现权利要求1-7任一项所述的三维人脸模型的训练方法，或者实现权利要求8-16任一项所述的三维人脸生成方法，或者实现权利要求17所述的人脸关键点标注方法。

技术总结
本公开涉及三维人脸模型的训练、三维人脸生成以及关键点标注方法，三维人脸模型的训练方法包括：获取训练人脸图像，确定训练人脸图像对应的第一数量的稀疏人脸关键点；利用初始三维人脸模型基于所述训练人脸图像生成初始三维人脸；将初始网格顶点通过初始旋转平移后透视投影生成初始二维关键点；从初始二维关键点中确定和稀疏人脸关键点对应的候选初始二维关键点；基于稀疏人脸关键点和候选初始二维关键点的二维坐标损失、初始形状基参数的损失和初始表情基参数的损失计算损失值；基于损失值反向传播迭代更新初始形状基参数和所述初始表情基参数，直到满足训练停止条件得到已训练的三维人脸模型。

技术研发人员：王伟达
受保护的技术使用者：湖北星纪魅族科技有限公司
技术研发日：
技术公布日：2024/1/15