人脸特征点标注方法、模型训练方法、装置和设备与流程

本发明涉及计算机视觉，尤其涉及一种人脸特征点标注方法、模型训练方法、装置和设备。

背景技术：

1、随着人工智能技术的发展，三维(three dimensional，3d)人脸模型在诸多场景得以应用。

2、传统的三维人脸建模包括三维点重建、构建三角网、纹理映射等步骤。其中，三维点重建通常需要建模师在人脸点云上标注三维人脸特征点，或者在二维人脸图像中标注人脸特征点再投影到三维点云上。而无论是哪种方式，均需要建模师花费大量时间在人脸特征点标注上，导致三维人脸建模效率低下。

技术实现思路

1、本发明提供一种人脸特征点标注方法、模型训练方法、装置和设备，用以解决现有技术中需要建模师进行人脸特征点标注、费时费力的缺陷。

2、本发明提供一种人脸特征点标注方法，包括：

3、获取人脸图像；

4、分割所述人脸图像，得到所述人脸图像中各人脸区域的图块；

5、将所述各人脸区域的图块输入所述各人脸区域的特征点标注模型，得到所述各人脸区域的特征点标注模型输出的所述图块中的人脸特征点位置。

6、根据本发明提供的一种人脸特征点标注方法，所述分割所述人脸图像，得到所述人脸图像中各人脸区域的图块，包括：

7、将所述人脸图像输入全局特征点标注模型，得到所述全局特征点标注模型输出的所述人脸图像的全局特征点位置；

8、基于所述全局特征点位置，分割所述人脸图像，得到所述人脸图像中各人脸区域的图块。

9、根据本发明提供的一种人脸特征点标注方法，所述全局特征点标注模型的训练步骤包括：

10、获取全局初始模型；

11、将样本人脸图像输入所述全局初始模型，得到所述全局初始模型输出的所述样本人脸图像的全局特征点预测位置；

12、基于所述全局特征点预测位置和所述样本人脸图像的全局特征点位置标签，确定全局损失；

13、基于所述全局损失，对所述全局初始模型进行参数迭代，得到所述全局特征点标注模型。

14、根据本发明提供的一种人脸特征点标注方法，所述基于所述全局特征点预测位置和所述样本人脸图像的全局特征点位置标签，确定全局损失，包括：

15、基于所述全局特征点预测位置中的关键点位置，与所述全局特征点位置标签中的关键点位置，确定关键点损失；

16、基于所述全局特征点预测位置中各特征点的可见状态，与所述全局特征点位置标签中各特征点的可见状态，确定可见性损失；

17、基于所述关键点损失和所述可见性损失，确定所述全局损失。

18、根据本发明提供的一种人脸特征点标注方法，所述样本人脸图像包括真实人脸图像和/或合成人脸图像。

19、根据本发明提供的一种人脸特征点标注方法，所述各人脸区域包括各人脸器官区域。

20、根据本发明提供的一种人脸特征点标注方法，所述各人脸器官区域包括眉眼区域、口鼻区域、耳朵区域；

21、所述将所述各人脸区域的图块输入所述各人脸区域的特征点标注模型，包括：

22、将所述眉眼区域的图块输入所述眉眼区域的特征点标注模型，将所述口鼻区域的图块输入所述口鼻区域的特征点标注模型，以及，将所述耳朵区域的图块输入所述耳朵区域的特征点标注模型。

23、根据本发明提供的一种人脸特征点标注方法，所述特征点标注模型的训练步骤包括：

24、获取区域初始模型；

25、将所述人脸区域的样本图块输入所述区域初始模型，得到所述区域初始模型输出的所述样本图块的人脸特征点预测位置；

26、基于所述人脸特征点预测位置和所述样本图块的人脸特征点位置标签，确定区域损失；

27、基于所述区域损失，对所述区域初始模型进行参数迭代，得到所述人脸区域的特征点标注模型。

28、根据本发明提供的一种人脸特征点标注方法，所述基于所述人脸特征点预测位置和所述样本图块的人脸特征点位置标签，确定区域损失，包括：

29、基于所述人脸特征点预测位置中的关键点位置，与所述人脸特征点位置标签中的关键点位置，确定区域关键点损失；

30、基于所述人脸特征点预测位置中各特征点的可见状态，与所述人脸特征点位置标签中各特征点的可见状态，确定区域可见性损失；

31、基于所述区域关键点损失和所述区域可见性损失，确定所述区域损失。

32、根据本发明提供的一种人脸特征点标注方法，所述样本图块是对真实人脸图像和/或合成人脸图像进行分割得到的。

33、本发明还提供一种特征点标注模型训练方法，包括：

34、获取样本图像；

35、分割所述样本图像，得到所述样本图像中各人脸区域的样本图块；

36、基于所述各人脸区域的样本图块，以及所述样本图块的人脸特征点位置标签，训练所述各人脸区域的特征点标注模型。

37、本发明还提供一种人脸特征点标注装置，包括：

38、图像获取单元，用于获取人脸图像；

39、图像分割单元，用于分割所述人脸图像，得到所述人脸图像中各人脸区域的图块；

40、特征点标注单元，用于将所述各人脸区域的图块输入所述各人脸区域的特征点标注模型，得到所述各人脸区域的特征点标注模型输出的所述图块中的人脸特征点位置。

41、本发明还提供一种特征点标注模型的训练装置，包括：

42、样本获取单元，用于获取样本图像；

43、样本分割单元，用于分割所述样本图像，得到所述样本图像中各人脸区域的样本图块；

44、模型训练单元，用于基于所述各人脸区域的样本图块，以及所述样本图块的人脸特征点位置标签，训练所述各人脸区域的特征点标注模型。

45、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸特征点标注方法。

46、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人脸特征点标注方法。

47、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸特征点标注方法。

48、本发明提供的人脸特征点标注方法、模型训练方法、装置和设备，通过将人脸图像分割为各人脸区域的图块，并基于各人脸区域的特征点标注模型分别对各人脸区域的图块进行人脸特征点标注，实现了人脸特征点的自动标注，无需建模师手动标注，大大降低了人脸特征点标注所需的时间和人力成本。并且，针对不同的人脸区域使用不同的特征点标注模型进行分别标注，使得对各人脸区域的人脸特征点标注具备更强的针对性，从而可以保证针对各人脸区域下细粒度、稠密的人脸特征点的标注的可靠性和准确性，进而在实现高效率的人脸特征点标注的同时，保证了人脸特征点标注的准确性。

技术特征：

1.一种人脸特征点标注方法，其特征在于，包括：

2.根据权利要求1所述的人脸特征点标注方法，其特征在于，所述分割所述人脸图像，得到所述人脸图像中各人脸区域的图块，包括：

3.根据权利要求2所述的人脸特征点标注方法，其特征在于，所述全局特征点标注模型的训练步骤包括：

4.根据权利要求3所述的人脸特征点标注方法，其特征在于，所述基于所述全局特征点预测位置和所述样本人脸图像的全局特征点位置标签，确定全局损失，包括：

5.根据权利要求3所述的人脸特征点标注方法，其特征在于，所述样本人脸图像包括真实人脸图像和/或合成人脸图像。

6.根据权利要求1所述的人脸特征点标注方法，其特征在于，所述各人脸区域包括各人脸器官区域。

7.根据权利要求6所述的人脸特征点标注方法，其特征在于，所述各人脸器官区域包括眉眼区域、口鼻区域、耳朵区域；

8.根据权利要求1所述的人脸特征点标注方法，其特征在于，所述特征点标注模型的训练步骤包括：

9.根据权利要求8所述的人脸特征点标注方法，其特征在于，所述基于所述人脸特征点预测位置和所述样本图块的人脸特征点位置标签，确定区域损失，包括：

10.根据权利要求8所述的人脸特征点标注方法，其特征在于，所述样本图块是对真实人脸图像和/或合成人脸图像进行分割得到的。

11.一种特征点标注模型训练方法，其特征在于，包括：

12.一种人脸特征点标注装置，其特征在于，包括：

13.一种特征点标注模型的训练装置，其特征在于，包括：

14.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至10任一项所述人脸特征点标注方法，或如权利要求11所述特征点标注模型训练方法。

15.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述人脸特征点标注方法，或如权利要求11所述特征点标注模型训练方法。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被至少一个处理器执行时实现权利要求1至10任一项所述人脸特征点标注方法，或如权利要求11所述特征点标注模型训练方法。

技术总结
本发明提供一种人脸特征点标注方法、模型训练方法、装置和设备，标注方法包括：获取人脸图像；分割人脸图像，得到人脸图像中各人脸区域的图块；将各人脸区域的图块输入各人脸区域的特征点标注模型，得到各人脸区域的特征点标注模型输出的图块中的人脸特征点位置。本发明提供的方法、装置和设备，实现了人脸特征点的自动标注，大大降低了人脸特征点标注所需的时间和人力成本。并且，针对不同的人脸区域使用不同的特征点标注模型进行标注，使得人脸特征点标注具备更强的针对性，从而可以保证针对各人脸区域下细粒度、稠密的人脸特征点的标注的可靠性和准确性，进而在实现高效率的人脸特征点标注的同时，保证了人脸特征点标注的准确性。

技术研发人员：邹倩芳,金师豪,柴金祥
受保护的技术使用者：魔珐（上海）信息科技有限公司
技术研发日：
技术公布日：2024/5/8