人脸遮挡分确定方法、电子设备及介质与流程

本发明涉及计算机视觉，具体提供一种人脸遮挡分确定方法、电子设备及介质。

背景技术：

1、人脸识别系统中，人脸质量评估是一个不可或缺的预处理步骤，旨在人脸识别之前过滤掉质量差的人脸数据以提高识别准确率。遮挡作为人脸质量的一个影响因素，会对人脸识别造成较大影响，因此需要对其进行准确估计。然而遮挡分不是一个直观的目标，无法直接给出具体的遮挡分数值(例如人脸遮挡分数值范围为0～1，0表示无遮挡，1表示全部被遮挡)，往往需要通过其他方式进行构造得到遮挡分数值。

2、现有人脸遮挡分估计技术中，有通过分类方法识别人脸是不是属于遮挡人脸；有通过对人脸框区域进行分区，分别估计每一个子区域的遮挡程度，然后加权得到整个人脸的遮挡分。然而这些人脸遮挡分估计技术中，对人脸遮挡分的构造方法并不能准确反映人脸遮挡程度(例如分类方法中的置信度只反映了是不是属于遮挡的置信度；人脸框区域包括非人脸区域，该部分的遮挡情况不应作为判断人脸是否遮挡的因素，所以分区也会有影响)，因此基于此进行的遮挡分估计便会进一步出现误差。

3、相应地，本领域需要一种新的人脸遮挡分确定方法来解决上述问题。

技术实现思路

1、本发明旨在解决上述技术问题，即解决现有的人脸遮挡分构造方法不能准确地反映人脸的遮挡程度，从而降低了用户的使用体验的问题。

2、为了实现上述目的，在第一方面，本发明提供了一种人脸遮挡分确定方法，所述方法包含以下步骤：

3、获取人脸图像，并将所述人脸图像输入到训练好的人脸分割模型中，以获得至少部分人脸区域分割，以及至少部分人脸区域内的遮挡区域分割或至少部分人脸区域内的非遮挡区域分割；

4、分别获取所述至少部分人脸区域分割的像素数量，以及所述至少部分人脸区域内的遮挡区域分割的像素数量或所述至少部分人脸区域内的非遮挡区域分割的像素数量；

5、基于所述至少部分人脸区域分割的像素数量，以及所述至少部分人脸区域内的遮挡区域分割的像素数量或所述至少部分人脸区域内的非遮挡区域分割的像素数量，确定所述人脸图像的人脸遮挡分。

6、在上述人脸遮挡分确定方法的可选技术方案中，“基于所述至少部分人脸区域分割的像素数量，以及所述至少部分人脸区域内的遮挡区域分割的像素数量或所述至少部分人脸区域内的非遮挡区域分割的像素数量，确定所述人脸图像的人脸遮挡分”的步骤包括：

7、获取所述至少部分人脸区域内的遮挡区域分割的像素数量与所述至少部分人脸区域分割的像素数量的第一比值，并将所述第一比值作为所述人脸图像的人脸遮挡分；

8、或，获取所述至少部分人脸区域内的非遮挡区域分割的像素数量与所述至少部分人脸区域分割的像素数量的第二比值，并将所述第二比值作为所述人脸图像的人脸遮挡分。

9、在上述人脸遮挡分确定方法的可选技术方案中，所述方法至少基于以下步骤对所述模型进行训练：

10、获取第一人脸训练图像，对所述第一人脸训练图像进行标注，并将标注后的第一人脸训练图像作为所述人脸分割模型的训练样本；构建神经网络模型，并将所述神经网络模型作为待训练人脸分割模型，其中所述待训练人脸分割模型包括待训练骨干网络、待训练颈部网络以及待训练头部网络；

11、将所述训练样本输入所述待训练人脸分割模型中进行训练，以得到完成训练的人脸分割模型。

12、在上述人脸遮挡分确定方法的可选技术方案中，所述第一人脸训练图像包含人脸检测框区域以及非人脸检测框区域，“对所述第一人脸训练图像进行标注”的步骤包括：

13、基于所述第一人脸训练图像，标注至少部分人脸区域分割，以及至少部分人脸区域内的遮挡区域分割或至少部分人脸区域内的非遮挡区域分割。

14、在上述人脸遮挡分确定方法的可选技术方案中，“标注至少部分人脸区域分割，以及至少部分人脸区域内的遮挡区域分割或至少部分人脸区域内的非遮挡区域分割”的步骤包括：

15、基于所述第一人脸训练图像，获取第二人脸训练图像，其中所述第二人脸训练图像为只包含所述第一人脸训练图像中人脸检测框区域的图像；

16、基于所述第二人脸训练图像以及预设标注区域需求，标注至少部分人脸区域分割，以及至少部分人脸区域内的遮挡区域分割或至少部分人脸区域内的非遮挡区域分割，其中所述预设标注区域需求包括对全部人脸区域标注或对部分人脸区域进行标注。

17、在上述人脸遮挡分确定方法的可选技术方案中，“将所述训练样本输入所述待训练人脸分割模型中进行训练，以得到完成训练的人脸分割模型”的步骤包括：

18、s1、将所述训练样本输入到所述待训练骨干网络中进行特征提取，以得到所述训练样本的第一特征图；

19、s2、将所述训练样本的第一特征图输入到所述待训练颈部网络中进行特征融合，以得到所述训练样本的第二特征图；

20、s3、将所述训练样本的第二特征图输入到所述待训练头部网络中进行区域分割，以得到所述训练样本的区域分割结果，其中所述区域分割结果为像素级别或网格级别；

21、s4、基于所述训练样本的区域分割结果以及所述训练样本获取损失函数，并将所述损失函数反馈到步骤s1，循环执行步骤s1～s4，直到所述损失函数收敛，其中所述损失函数至少包括交叉熵损失函数。

22、在上述人脸遮挡分确定方法的可选技术方案中，所述待训练头部网络包括待训练人脸区域分割头部网络、待训练人脸区域内的遮挡区域分割头部网络或待训练人脸区域内的非遮挡区域分割头部网络，“将所述训练样本的第二特征图输入到所述待训练头部网络中进行区域分割，以得到所述训练样本的区域分割结果”的步骤包括：

23、将所述待训练样本的第二特征图输入到所述待训练人脸区域分割头部网络，以得到至少部分人脸区域分割；

24、将所述待训练样本的第二特征图输入到所述待训练人脸区域内的遮挡区域分割头部网络，以得到至少部分人脸区域内的遮挡区域分割；

25、或，将所述待训练样本的第二特征图输入到所述待训练人脸区域内的非遮挡区域分割头部网络，以得到至少部分人脸区域内的非遮挡区域分割。

26、在上述人脸遮挡分确定方法的可选技术方案中，所述方法还包括：

27、至少基于resnet、mobilenet、hrnet中至少一种构建所述待训练骨干网络；

28、至少基于fpn，panet、bi-fpn中至少一种构建所述待训练颈部网路。

29、在第二方面，本发明还提供了一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的人脸遮挡分确定方法。

30、在第三方面，本发明还提供了一种可读存储介质，所述可读存储介质中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述中任一项所述的人脸遮挡分确定方法。

31、本领域技术人员能够理解的是，在本发明的技术方案中通过获取人脸图像，并将人脸图像输入到训练好的人脸分割模型中，以获得至少部分人脸区域分割，以及至少部分人脸区域内的遮挡区域分割或至少部分人脸区域内的非遮挡区域分割；分别获取至少部分人脸区域分割的像素数量，以及至少部分人脸区域内的遮挡区域分割的像素数量或至少部分人脸区域内的非遮挡区域分割的像素数量；基于至少部分人脸区域分割的像素数量，以及至少部分人脸区域内的遮挡区域分割的像素数量或至少部分人脸区域内的非遮挡区域分割的像素数量，确定人脸图像的人脸遮挡分。这样的设置能够更加准确地反映人脸的遮挡程度，从而进一步地提高人脸识别的准确率，提升用户的使用体验。

32、进一步地，所述方法还包括：至少基于resnet、mobilenet、hrnet中至少一种构建待训练骨干网络；至少基于fpn，panet、bi-fpn中至少一种构建待训练颈部网路。这样的设置可以基于用户实际需求来建立人脸分割模型，从而更好地平衡精确度与耗时之间的关系，进一步提升了用户的使用体验。