人脸图像质量的评估方法、装置及计算设备与流程

本发明涉及计算机技术领域，具体涉及一种人脸图像质量的评估方法、装置及计算设备。

背景技术：

随着人工智能(artificialintelligence，简称ai)的快速发展，人脸识别技术被应用到移动支付、会员管理、视频监控、公安刑侦等各个领域。但是，由于硬件限制或者外界因素的影响，导致采集的人脸图像存在如下一种或多种问题：人脸模糊、光照过强/过弱、存在遮挡、姿态过大、以及分辨率过低，进而影响人脸识别的准确率。可见，提升比对样本的质量，即提升人脸图像的质量，是提高人脸识别准确率的关键因素。

目前，人脸质量的检测主要通过一些传统的图像处理的算法去检测人脸的模糊度、光照过强、或者姿态过大等问题。这些图像处理的算法包括直方图统计、离散余弦变换(discretecosinetransform，简称dct)、sobel滤波、gabor滤波、主动外观模型(activeappearancemodel，简称aam)、主动形状模型(activeshapemodel，简称asm)等算法。

然而，通常情况下，这些传统的图像处理算法仅能针对某一方面人脸质量因素进行检测，比如aam或asm只适用于人脸角度计算，且对于大角度的人脸的检测精度较差；又如dct仅在模糊检测上有应用，而无法应用到其它人脸质量检测。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的人脸图像质量的评估方法、装置及计算设备。

根据本发明的一个方面，提供了一种人脸图像质量的评估方法，包括：

获取待评估的人脸图像；

将所述人脸图像输入至训练得到的质量检测模型，得到所述质量检测模型输出的对应多个检测维度的至少一个质量检测结果；其中，所述质量检测模型包括用于提取特征的网络以及用于检测质量的网络；

根据所述至少一个质量检测结果评估所述人脸图像的质量是否合格。

进一步的，所述多个检测维度包括以下多个维度中的至少两个：模糊程度维度、光照强度维度、姿态维度、以及遮挡部位维度。

进一步的，所述质量检测模型包括：第一特征提取网络、对应多个检测维度的多个第二特征提取网络、以及对应多个检测维度的多个质量检测网络；

其中，各个第二特征提取网络从第一特征提取网络输出的人脸高维度特征中提取对应检测维度的人脸特征。

进一步的，所述质量检测模型通过以下步骤训练得到：

获取多张人脸样本图像；

针对每张人脸样本图像，对所述人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果；

将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果；

根据所述人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、多个第二特征提取网络以及多个质量检测网络进行训练，得到所述质量检测模型。

进一步的，所述质量检测模型包括：第一特征提取网络、特征划分网络、以及对应多个检测维度的多个质量检测网络；

其中，多个质量检测网络对特征划分网络划分出的对应检测维度的人脸特征进行质量检测。

进一步的，所述质量检测模型通过以下步骤训练得到：

获取多张人脸样本图像；

针对每张人脸样本图像，对所述人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果；

将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果；

根据所述人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、特征划分网络以及多个质量检测网络进行训练，得到所述质量检测模型。

进一步的，所述将所述人脸图像输入至训练得到的质量检测模型，得到所述质量检测模型输出的对应多个检测维度的至少一个质量检测结果具体为：

将所述人脸图像输入至第一特征提取网络，得到多个质量检测网络输出的多个质量检测结果；

所述根据所述至少一个质量检测结果评估所述人脸图像的质量是否合格具体为：根据多个质量检测网络输出的多个质量检测结果评估所述人脸图像的质量是否合格。

进一步的，在所述将所述人脸图像输入至训练得到的质量检测模型之前，所述方法还包括：

从多个检测维度中选择一个当前检测维度；将质量检测模型中对应当前检测维度的质量检测网络确定为当前检测网络；

所述将所述人脸图像输入至训练得到的质量检测模型，得到所述质量检测模型输出的对应多个检测维度的至少一个质量检测结果：将所述人脸图像输入至第一特征提取网络，得到当前质量检测网络输出的一个质量检测结果；

所述根据所述至少一个质量检测结果评估所述人脸图像的质量是否合格具体为：判断所述当前检测网络输出的一个质量检测结果是否符合当前检测维度的质量标准；

若所述当前检测网络输出的一个质量检测结果不符合当前检测维度的质量标准，则所述人脸图像的质量不合格。

进一步的，所述从多个检测维度中选择一个当前检测维度具体为：根据预设的多个检测维度的检测优先级从多个检测维度中选择一个未被选择的当前检测维度；

所述方法还包括：若所述当前检测网络输出的一个质量检测结果符合当前检测维度的质量标准，则跳转执行根据预设的多个检测维度的检测优先级从多个检测维度中选择一个未被选择的当前检测维度的步骤及其后续步骤；直至判断出多个检测维度的质量检测结果均符合对应检测维度的质量标准，则确定所述人脸图像的质量合格。

根据本发明的另一方面，提供了一种人脸图像质量的评估装置，包括：

获取模块，适于获取待评估的人脸图像；

预测模块，适于将所述人脸图像输入至训练得到的质量检测模型，得到所述质量检测模型输出的对应多个检测维度的至少一个质量检测结果；其中，所述质量检测模型包括用于提取特征的网络以及用于检测质量的网络；

评估模块，适于根据所述至少一个质量检测结果评估所述人脸图像的质量是否合格。

进一步的，所述多个检测维度包括以下多个维度中的至少两个：模糊程度维度、光照强度维度、姿态维度、以及遮挡部位维度。

进一步的，所述质量检测模型包括：第一特征提取网络、对应多个检测维度的多个第二特征提取网络、以及对应多个检测维度的多个质量检测网络；

其中，各个第二特征提取网络从第一特征提取网络输出的人脸高维度特征中提取对应检测维度的人脸特征。

进一步的，所述装置还包括：训练模块，适于获取多张人脸样本图像；

针对每张人脸样本图像，对所述人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果；

将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果；

根据所述人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、多个第二特征提取网络以及多个质量检测网络进行训练，得到所述质量检测模型。

进一步的，所述质量检测模型包括：第一特征提取网络、特征划分网络、以及对应多个检测维度的多个质量检测网络；

其中，多个质量检测网络对特征划分网络划分出的对应检测维度的人脸特征进行质量检测。

进一步的，所述装置还包括：训练模块，适于获取多张人脸样本图像；

针对每张人脸样本图像，对所述人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果；

将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果；

根据所述人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、特征划分网络以及多个质量检测网络进行训练，得到所述质量检测模型。

进一步的，所述预测模块进一步适于：

将所述人脸图像输入至第一特征提取网络，得到多个质量检测网络输出的多个质量检测结果；

所述评估模块进一步适于：根据多个质量检测网络输出的多个质量检测结果评估所述人脸图像的质量是否合格。

进一步的，所述装置还包括：

选择模块，适于从多个检测维度中选择一个当前检测维度；

确定模块，适于将质量检测模型中对应当前检测维度的质量检测网络确定为当前检测网络；

所述预测模块进一步适于：将所述人脸图像输入至第一特征提取网络，得到当前质量检测网络输出的一个质量检测结果；

所述评估模块进一步适于：判断所述当前检测网络输出的一个质量检测结果是否符合当前检测维度的质量标准；

若所述当前检测网络输出的一个质量检测结果不符合当前检测维度的质量标准，则所述人脸图像的质量不合格。

进一步的，所述选择模块进一步适于：根据预设的多个检测维度的检测优先级从多个检测维度中选择一个未被选择的当前检测维度；

若所述当前检测网络输出的一个质量检测结果符合当前检测维度的质量标准，则触发选择模块运行。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述人脸图像质量的评估方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述人脸图像质量的评估方法对应的操作。

根据本发明的人脸图像质量的评估方法、装置及计算设备，包括：获取待评估的人脸图像；将所述人脸图像输入至训练得到的质量检测模型，得到所述质量检测模型输出的对应多个检测维度的至少一个质量检测结果；其中，所述质量检测模型包括用于提取特征的网络以及用于检测质量的网络；根据所述至少一个质量检测结果评估所述人脸图像的质量是否合格。本发明方案，利用质量检测模型可以从多个检测维度进行质量预测，而不是仅能从单一的检测维度进行预测，进而使得人脸质量的评估结果更为准确；以及直接将人脸图像输入至质量检测模型中进行质量预测，而无需预先进行提取人脸图像的特征的处理，提高评估的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的人脸图像质量的评估方法的流程图；

图2示出了根据本发明另一个实施例的人脸图像质量的评估方法的流程图；

图3示出了本发明一个具体实施例中质量检测模型的训练过程的示意图；

图4示出了根据本发明又一个实施例的人脸图像质量的评估方法的流程图；

图5示出了本发明另一个具体实施例中质量检测模型的训练过程的示意图；

图6示出了根据本发明一个实施例的人脸图像质量的评估装置的功能框图；

图7示出了根据本发明实施例的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的人脸图像质量的评估方法的流程图。如图1所示，该方法包括：

步骤s101，获取待评估的人脸图像。

其中，待评估的人脸图像可以为任意成像设备采集、需要进行质量评估的人脸图像。并且，待评估的人脸图像可以为成像设备采集的原始图像，或者为对原始图像进行人脸检测等处理后，得到的仅包括人脸的图像，本发明对此不做具体限定。

步骤s102，将人脸图像输入至训练得到的质量检测模型，得到质量检测模型输出的对应多个检测维度的至少一个质量检测结果。

其中，质量检测模型包括用于提取特征的网络以及用于检测质量的网络。以及，多个检测维度包括影响人脸识别准确度的图像质量因素对应的维度，例如，图像的模糊程度影响人脸识别的准确度，则将模糊程度确定为一个检测维度。

具体地，通过自学习训练得到包括用于提取特征的网络以及用于检测质量的网络的质量检测模型，换言之，可将人脸图像直接输入该质量检测模型中，然后由提取特征的网络提取出多个检测维度的人脸图像的特征，以及由检测质量的网络针对提取出多个检测维度中的至少一个检测维度的人脸图像的特征进行预测，并输出预测得到的至少一个质量检测结果。

本发明中的质量检测模型可以针对多个检测维度进行质量预测，但是本发明并不限定预测的具体方式，在具体实施时，本领域技术人员可根据实际的评估需求以及对评估的准确性的要求，确定是针对多个检测维度均进行质量预测，还是仅针对其中预设数量的检测维度进行质量预测；或者，确定针对多个检测维度是进行并行预测，还是按照预设的顺序进行串行预测。

步骤s103，根据至少一个质量检测结果评估人脸图像的质量是否合格。

具体地，根据至少一个质量检测结果，并按照预设的评估规则，评估人脸图像的质量。本发明不对评估的规则做具体的限定，具体实施时，本领域技术人员可根据评估的实际需求进行灵活设定。可选的，预设的评估规则包括根据至少一个质量检测结果中，符合相应检测维度的质量标准的质量检测结果的数量，确定人脸图像的质量是否合格。例如，预设的评估规则为多个检测维度的质量检测结果均符合相应检测维度的质量标准，才能确定人脸图像的质量合格。

根据本实施例提供的人脸图像质量的评估方法，获取待评估的人脸图像；将人脸图像输入至训练得到的质量检测模型，该质量检测模型包括用于提取特征的网络以及用于检测质量的网络，进而无需预先进行提取人脸图像的特征的处理，而可以直接将人脸图像输入该模型中进行质量预测，简化了质量评估的算法流程，提高了预估的效率；以及，利用质量检测模型可以从多个检测维度进行质量预测，而不是仅能从单一的检测维度进行预测，进而使得人脸质量的评估结果更为准确，更有利于提高人脸识别的准确度。

图2示出了根据本发明另一个实施例的人脸图像质量的评估方法的流程图。本实施例中，多个检测维度的特征由质量检测模型中的多个第二特征提取网络进行提取得到。如图2所示，该方法包括：

步骤s201，训练得到质量检测模型；其中，质量检测模型包括：第一特征提取网络、对应多个检测维度的多个第二特征提取网络、以及对应多个检测维度的多个质量检测网络。

其中，第一特征提取网络为共享的人脸高维度特征提取网络，各个第二特征提取网络从第一特征提取网络输出的人脸高维度特征中提取对应检测维度的人脸特征。并且，在本实施例中，第一特征提取网络和/或各个第二特征提取网络可以为任意卷积神经网络结构，可选的，第一特征提取网络和/或各个第二特征提取网络可以是resnet、densenet、vgg、或者retinanet等常用神经网络，但是本发明并不以此为限。以及，对应多个检测维度的多个质量检测网络中的预测方式可以是分类的方式，也可以是回归的方式，或者是两种方式一起用，本发明对此也不做具体限定。

其中，多个检测维度包括以下多个维度中的至少两个：模糊程度维度、光照强度维度、姿态维度、以及遮挡部位维度。

具体地，质量检测模型通过共享backbone模式训练得到：步骤一，获取多张人脸样本图像。进一步的，从多种不同的成像设备采集的人脸图像中获取人脸样本图像，以使训练得到的质量检测模型可以用于对各种成像设备采集的人脸图像进行质量预测，进而提高质量检测模型的质量检测的适用范围。步骤二，针对每张人脸样本图像，对人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果。进一步的，对每个检测维度的质量信息进行标注，可选的，对人脸样本图像的模糊程度、光照强度、角度偏转情况(包括围绕x轴旋转的角度，围绕y轴旋转的角度、和/或围绕z轴旋转的角度)和/或遮挡部位进行标注。步骤三，将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果。进一步的，将人脸样本图像输入至第一特征提取网络中，第一特征提取网络提取人脸高维度特征；然后各个第二特征提取网络从第一特征网络输出的人脸高维度特征中提取对应检测维度的人脸特征最后由各个质量检测网络根据对应检测维度的第二特征提取网络提取出的人脸特征进行质量预测。步骤四，根据人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、多个第二特征提取网络以及多个质量检测网络进行训练，得到质量检测模型。进一步的，根据损失值的大小进行反向传播并训练，可选的，将损失值的导数以反向传播的方式，由下往上调整各个质量预测网络以及各个特征提取网络中的参数，如此循环迭代多次，直到损失值满足预设的要求，进而停止网络训练，并保存各个网络的参数生成质量检测模型。更进一步的，多个质量检测网络输出对应多个检测维度的多个质量检测结果，可以通过将每个检测维度的质量检测结果与质量标注结果进行差值计算，并根据多个检测维度的差值计算结果得到损失值；或者，为每个检测维度赋予相应的训练权重，计算多个质量标注结果与对应的训练权重的乘积之和，以及计算多个质量检测结果与对应的训练权重的乘积之和，并将两次计算结果的差值确定为损失值。其中，上述损失值计算的方式包括但是不局限于均方误差(mean-squareerror，简称mse)、cosine距离、欧式距离、l1距离、或者l2距离等方式。

为便于对上述训练得到质量检测模型的过程的理解，下面以一个具体的示例说明该过程。图3示出了本发明一个具体实施例中质量检测模型的训练过程的示意图。如图3所示，第一特征提取网络为共享的人脸高维度特征提取网络，模糊程度维度特征提取网络、光照强度特征提取网络、姿态维度特征提取网络以及遮挡部位维度特征提取网络分别从第一特征提取网络提取得到的人脸高维度特征中提取相应检测维度的特征；模糊程度维度质量检测网络、光照强度质量检测网络、姿态维度质量检测网络以及遮挡部位维度质量检测网络分别根据各自对应的特征提取网络提取出的该检测维度的人脸特征进行质量预测；损失计算网络根据多个检测维度的质量检测结果以及标注结果计算得到损失值，根据该损失值调整第一特征提取网络、对应多个检测维度的多个第二特征提取网络、以及对应多个检测维度的多个质量检测网络的参数，直至损失值满足预设要求，此时，则保存第一特征提取网络、对应多个检测维度的多个第二特征提取网络、以及对应多个检测维度的多个质量检测网络的参数，并将第一特征提取网络、对应多个检测维度的多个第二特征提取网络、以及对应多个检测维度的多个质量检测网络的整体确定为质量检测模型。

步骤s202，获取待评估的人脸图像。

在成像设备进行成像之后，应用人脸检测算法对人脸区域进行检测，将检测到的人脸区域图像作为待评估的人脸图像。其中，成像设备可以为任意能产生图像的设备，其包括但是不局限于网络摄像头、手机摄像头、相机、近红外摄像头等成像设备。

步骤s203，将人脸图像输入至训练得到的质量检测模型，得到质量检测模型输出的对应多个检测维度的至少一个质量检测结果。

具体地，在得到质量检测模型之后，将人脸图像输入至质量检测模型的第一特征提取网络中，并得到由对应多个检测维度的至少一个质量检测网络输出的质量检测结果。在本发明中，不限定利用该质量检测模型进行检测时的具体检测方式，可选的，可以同时针对多个检测维度进行检测(即下文中的并行的方式)，或者，也可以预设的检测顺序依次针对各个检测维度进行检测(即下文中的串行的方式)，具体实施时，本领域技术人员可灵活选择检测的方式。

进一步的，若采用并行的方式进行检测，则将人脸图像输入至第一特征提取网络，得到多个质量检测网络输出的多个质量检测结果。若采用串行的方式进行检测，则从多个检测维度中选择一个当前检测维度；将质量检测模型中对应当前检测维度的质量检测网络确定为当前检测网络；将人脸图像输入至第一特征提取网络，得到当前质量检测网络输出的一个质量检测结果。可选的，在并行的方式中，在确定了当前检测网络之后，将当前检测网络的检测权重赋值为第一权重，将除当前检测网络之外的质量检测网络的检测权重赋值为第二权重，例如，第一权重为1，第二权重为0，经过该权重赋值的处理，可以实现仅针对当前网络进行质量检测，得到该当前检测网络输出的一个质量检测结果。更进一步的，选择当前检测维度的过程，可根据预设的多个检测维度的检测优先级从多个检测维度中选择一个未被选择的当前检测维度，实现依据检测优先级由高至低的检测顺序进行检测。

步骤s204，根据至少一个质量检测结果评估人脸图像的质量是否合格。

具体地，多个质量检测网络中的至少一个质量检测网络输出的质量检测结果为对应的检测维度的检测结果，而在评估人脸图像的质量时，则是按照预设的评估规则进行评估，可选的，按照符合相应检测维度的质量标准的质量检测结果的数量进行评估，例如，有超过预设比例的检测维度的质量检测结果符合相应检测维度的质量标准，则评估人脸图像的质量合格；或者按照符合质量标准的质量检测结果对应的检测维度进行评估，例如，检测优先级最高的预设数量的检测维度的质量检测结果符合质量标准，则评估人脸图像的质量合格。

进一步的，若步骤s203中采用并行的方式进行检测，则根据多个质量检测网络输出的多个质量检测结果评估人脸图像的质量是否合格。将多个质量检测网络输出的多个质量检测结果与对应检测维度的质量标准进行比较，若超过质量标准，则确定相应的检测维度的质量合格，然后根据合格的检测维度的数量评估人脸图像的质量是否合格。或者，计算多个检测维度的质量检测结果与对应检测维度的质量标准的差值，和对应检测维度的评估权重的乘积之和，根据计算结果与预设质量值的大小评估人脸图像的质量是否合格。以图3得到的质量检测模型为例，预设质量值为3，当计算结果小于该预设质量值，则确定人脸图像的质量合格，采用并行的方式进行检测，则同时得到四个检测维度的质量检测网络输出的质量检测结果，若该四个质量检测结果与对应检测维度的质量标准的差值为3,6,1,2，对应的四个检测维度的评估权重为0.5，0.1，0.2，0.2，则乘积之和为3*0.5+6*0.1+1*0.2+2*0.2＝2.7，则评估结果为人脸图像的质量合格。可见，这种并行的检测方式，可以仅通过一次检测，即得到评估结果，并且根据多个检测结果进行评估，可以提高评估结果的准确性。

进一步的，若步骤s203中采用串行的方式进行检测，则判断当前检测网络输出的一个质量检测结果是否符合当前检测维度的质量标准；若当前检测网络输出的一个质量检测结果不符合当前检测维度的质量标准，则人脸图像的质量不合格。其中，按照检测优先级的高低依次选择当前检测维度，若当前选择的检测优先级高的检测维度的质量检测结果不符合质量标准，则无需进行剩余检测优先级低的检测维度的检测，进而可以减少检测的运算量，同时可以快速发现不合格的人脸图像。更进一步的，若当前检测网络输出的一个质量检测结果符合当前检测维度的质量标准，则跳转执行根据预设的多个检测维度的检测优先级从多个检测维度中选择一个未被选择的当前检测维度的步骤及其后续步骤；直至判断出多个检测维度的质量检测结果均符合对应检测维度的质量标准，则确定人脸图像的质量合格。仍以图3得到的质量检测模型为例，若图3中从左往右模糊程度维度、光照强度维度、姿态维度以及遮挡部位维度的检测优先级以此降低，则首先选取模糊程度检测维度为当前检测维度，根据模糊程度检测网络输出的质量检测结果确定人脸图像的模糊程度维度符合质量标准，则选择光照强度维度为当前检测维度，根据光照强度检测网络输出的质量检测结果确定人脸图像的光照强度维度符合质量标准……直至确定人脸图像的最后一个检测维度(遮挡部位维度)也符合质量标准，才能确定人脸图像的质量合格。

本实施例，通过深度学习的方法训练学习一种质量检测模型，利用该训练得到质量检测模型进行人脸图像的质量评估，其相较于传统的图像处理算法在算法准确率上有明显的提升，而且适用于各种复杂的情况，具有很高的鲁棒性，而传统的算法必须在特定场景下使用，并且具有使用限制。另外，该质量检测模型能够精准对多个检测维度的质量进行检测，进而能够进行信息反馈，以应用于用户指导或者交互。

根据本实施例提供的人脸图像质量的评估方法，质量检测模型包括：第一特征提取网络、对应多个检测维度的多个第二特征提取网络、以及对应多个检测维度的多个质量检测网络，其中，第一特征提取网络用于提取共享的人脸高维度特征；并且，在训练得到质量检测模型的过程中，通过反向传播的方式调整第一特征提取网络、多个第二特征提取网络以及多个质量检测网络中的参数，使得训练得到的质量检测模型不仅可以进行人脸图像的质量检测，而且可以直接针对人脸图像进行特征提取，简化了质量评估的算法流程，提高了预估的效率；以及，在利用质量检测模型进行质量检测时，检测方式灵活，可以根据检测需求选择使用串行或并行的方式进行检测，其中，并行的检测方式可以仅通过一次检测，即得到评估结果，并且根据多个检测结果进行评估，可以提高评估结果的准确性；串行的检测方式，可以减少检测的运算量，同时可以快速发现不合格的人脸图像。

图4示出了根据本发明又一个实施例的人脸图像质量的评估方法的流程图。本实施例中，多个检测维度的特征由质量检测模型中的特征划分网络进行划分得到。如图4所示，该方法包括：

步骤s401，训练得到质量检测模型；其中，质量检测模型包括：第一特征提取网络、特征划分网络、以及对应多个检测维度的多个质量检测网络。

其中，第一特征提取网络为共享的人脸高维度特征提取网络，多个质量检测网络对特征划分网络划分出的对应检测维度的人脸特征进行质量检测。以及，多个检测维度包括以下多个维度中的至少两个：模糊程度维度、光照强度维度、姿态维度、以及遮挡部位维度。

具体地，质量检测模型的训练过程基本与步骤s201中的训练步骤一致，下面仅针对两者的不同之处进行详细说明，而相同的过程则不再赘述，具体可参见步骤s201中的说明。步骤一，获取多张人脸样本图像。步骤二，针对每张人脸样本图像，对人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果。步骤三，将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果。进一步的，将人脸样本图像输入至第一特征提取网络中，第一特征提取网络提取人脸高维度特征；然后特征划分网络对第一特征网络输出的人脸高维度特征进行划分，并将划分的人脸特征输入至对应检测维度的质量检测网络中；最后由各个质量检测网络根据划分出的对应检测维度的人脸特征进行质量预测。步骤四，根据人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、特征划分网络以及多个质量检测网络进行训练，得到质量检测模型。其中，对质量检测模型中的特征划分网络进行训练即通过不断的自学习，确定各个特征与各个检测维度的质量的关联度，并根据关联度将特征划分至对应的检测维度，以进行该检测维度的质量检测。

为便于对上述训练得到质量检测模型的过程的理解，下面以一个具体的示例说明该过程。图5示出了本发明另一个具体实施例中质量检测模型的训练过程的示意图。如图5所示，第一特征提取网络为共享的人脸高维度特征提取网络，特征划分网络从人脸高维度特征中划分出对应多个检测维度的人脸特征；模糊程度维度质量检测网络、光照强度质量检测网络、姿态维度质量检测网络以及遮挡部位维度质量检测网络分别根据划分得到相应检测维度的人脸特征进行质量预测；损失计算网络根据多个检测维度的质量检测结果以及标注结果计算得到损失值，根据该损失值调整第一特征提取网络、特征划分网络、以及对应多个检测维度的多个质量检测网络的参数，直至损失值满足预设要求，此时，则保存第一特征提取网络、特征划分网络、以及对应多个检测维度的多个质量检测网络的参数，并将第一特征提取网络、特征划分网络、以及对应多个检测维度的多个质量检测网络的整体确定为质量检测模型。

需要说明的是，图3和图5的训练过程仅为示例性的，在实际实施时，还可以加入其它检测维度进行训练，例如，是否闭眼，进而可以对人脸图像进行更全面的质量检测。

步骤s402，获取待评估的人脸图像。

步骤s403，将人脸图像输入至训练得到的质量检测模型，得到质量检测模型输出的对应多个检测维度的至少一个质量检测结果。

步骤s404，根据至少一个质量检测结果评估人脸图像的质量是否合格。

上述步骤s402至步骤s404的具体原理与过程与步骤s202至步骤s204相同，具体可参见步骤s202至步骤s204的描述，此处不再赘述。

根据本实施例提供的人脸图像质量的评估方法，与图2对应的实施例所不同的是，在本实施例中，质量检测模型包括：第一特征提取网络、特征划分网络、以及对应多个检测维度的多个质量检测网络，其中，第一特征提取网络为共享的人脸高维度特征提取网络，多个质量检测网络对特征划分网络划分出的对应检测维度的人脸特征进行质量检测；并且，特征划分网络也由训练得到，进而可以根据训练时的大数据准确得到各个特征与多个检测维度的质量的关联度，在进行质量检测时，则可以对人脸高维度特征按照检测维度进行准确划分，更有利于提高检测结果的准确性。

在上文的图2和图4对应的实施例中，仅以共享的第一特征提取模块为示例进行了说明，但在具体实施时，也可以各个检测维度拥有独立的高维度特征提取网络。

图6示出了根据本发明一个实施例的人脸图像质量的评估装置的功能框图。如图6所示，该装置包括：

获取模块601，适于获取待评估的人脸图像；

预测模块602，适于将所述人脸图像输入至训练得到的质量检测模型，得到所述质量检测模型输出的对应多个检测维度的至少一个质量检测结果；其中，所述质量检测模型包括用于提取特征的网络以及用于检测质量的网络；

评估模块603，适于根据所述至少一个质量检测结果评估所述人脸图像的质量是否合格。

在一种可选的实施方式中，所述多个检测维度包括以下多个维度中的至少两个：模糊程度维度、光照强度维度、姿态维度、以及遮挡部位维度。

在一种可选的实施方式中，所述质量检测模型包括：第一特征提取网络、对应多个检测维度的多个第二特征提取网络、以及对应多个检测维度的多个质量检测网络；

其中，各个第二特征提取网络从第一特征提取网络输出的人脸高维度特征中提取对应检测维度的人脸特征。

在一种可选的实施方式中，所述装置还包括：训练模块604，适于获取多张人脸样本图像；

针对每张人脸样本图像，对所述人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果；

将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果；

根据所述人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、多个第二特征提取网络以及多个质量检测网络进行训练，得到所述质量检测模型。

在一种可选的实施方式中，所述质量检测模型包括：第一特征提取网络、特征划分网络、以及对应多个检测维度的多个质量检测网络；

其中，多个质量检测网络对特征划分网络划分出的对应检测维度的人脸特征进行质量检测。

在一种可选的实施方式中，所述装置还包括：训练模块604，适于获取多张人脸样本图像；

针对每张人脸样本图像，对所述人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果；

将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果；

根据所述人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、特征划分网络以及多个质量检测网络进行训练，得到所述质量检测模型。

在一种可选的实施方式中，所述预测模块602进一步适于：

将所述人脸图像输入至第一特征提取网络，得到多个质量检测网络输出的多个质量检测结果；

所述评估模块603进一步适于：根据多个质量检测网络输出的多个质量检测结果评估所述人脸图像的质量是否合格。

在一种可选的实施方式中，所述装置还包括：

选择模块605，适于从多个检测维度中选择一个当前检测维度；

确定模块606，适于将质量检测模型中对应当前检测维度的质量检测网络确定为当前检测网络；

所述预测模块602进一步适于：将所述人脸图像输入至第一特征提取网络，得到当前质量检测网络输出的一个质量检测结果；

所述评估模块603进一步适于：判断所述当前检测网络输出的一个质量检测结果是否符合当前检测维度的质量标准；

若所述当前检测网络输出的一个质量检测结果不符合当前检测维度的质量标准，则所述人脸图像的质量不合格。

在一种可选的实施方式中，所述选择模块605进一步适于：根据预设的多个检测维度的检测优先级从多个检测维度中选择一个未被选择的当前检测维度；

若所述当前检测网络输出的一个质量检测结果符合当前检测维度的质量标准，则触发选择模块运行。

关于上述各个模块的具体结构和工作原理可参照方法实施例中相应步骤的描述，此处不再赘述。

本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的人脸图像质量的评估方法。

图7示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图7所示，该计算设备可以包括：处理器(processor)702、通信接口(communicationsinterface)704、存储器(memory)706、以及通信总线708。

其中：

处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。

通信接口704，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器702，用于执行程序710，具体可以执行上述人脸图像质量的评估方法实施例中的相关步骤。

具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。

处理器702可能是中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。

存储器706，用于存放程序710。存储器706可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

程序710具体可以用于使得处理器702执行以下操作：

获取待评估的人脸图像；

将所述人脸图像输入至训练得到的质量检测模型，得到所述质量检测模型输出的对应多个检测维度的至少一个质量检测结果；其中，所述质量检测模型包括用于提取特征的网络以及用于检测质量的网络；

根据所述至少一个质量检测结果评估所述人脸图像的质量是否合格。

在一种可选的实施方式中，其中，所述多个检测维度包括以下多个维度中的至少两个：模糊程度维度、光照强度维度、姿态维度、以及遮挡部位维度。

在一种可选的实施方式中，其中，所述质量检测模型包括：第一特征提取网络、对应多个检测维度的多个第二特征提取网络、以及对应多个检测维度的多个质量检测网络；

其中，各个第二特征提取网络从第一特征提取网络输出的人脸高维度特征中提取对应检测维度的人脸特征。

在一种可选的实施方式中，程序710具体可以进一步用于使得处理器702执行以下操作：获取多张人脸样本图像；

针对每张人脸样本图像，对所述人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果；

将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果；

根据所述人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、多个第二特征提取网络以及多个质量检测网络进行训练，得到所述质量检测模型。

在一种可选的实施方式中，所述质量检测模型包括：第一特征提取网络、特征划分网络、以及对应多个检测维度的多个质量检测网络；

其中，多个质量检测网络对特征划分网络划分出的对应检测维度的人脸特征进行质量检测。

在一种可选的实施方式中，程序710具体可以进一步用于使得处理器702执行以下操作：

获取多张人脸样本图像；

针对每张人脸样本图像，对所述人脸样本图像的多个检测维度的质量信息进行标注，得到人脸样本图像的多个检测维度的质量标注结果；

将每张人脸样本图像输入至第一特征提取网络中，得到多个质量检测网络输出的人脸样本图像的多个检测维度的质量检测结果；

根据所述人脸样本图像的多个检测维度的质量检测结果与人脸样本图像的多个检测维度的质量标注结果之间的损失，对第一特征提取网络、特征划分网络以及多个质量检测网络进行训练，得到所述质量检测模型。

在一种可选的实施方式中，程序710具体可以进一步用于使得处理器702执行以下操作：

将所述人脸图像输入至第一特征提取网络，得到多个质量检测网络输出的多个质量检测结果；

根据多个质量检测网络输出的多个质量检测结果评估所述人脸图像的质量是否合格。

在一种可选的实施方式中，程序710具体可以进一步用于使得处理器702执行以下操作：

从多个检测维度中选择一个当前检测维度；将质量检测模型中对应当前检测维度的质量检测网络确定为当前检测网络；

将所述人脸图像输入至第一特征提取网络，得到当前质量检测网络输出的一个质量检测结果；

判断所述当前检测网络输出的一个质量检测结果是否符合当前检测维度的质量标准；

若所述当前检测网络输出的一个质量检测结果不符合当前检测维度的质量标准，则所述人脸图像的质量不合格。

在一种可选的实施方式中，程序710具体可以进一步用于使得处理器702执行以下操作：根据预设的多个检测维度的检测优先级从多个检测维度中选择一个未被选择的当前检测维度；

若所述当前检测网络输出的一个质量检测结果符合当前检测维度的质量标准，则跳转执行根据预设的多个检测维度的检测优先级从多个检测维度中选择一个未被选择的当前检测维度的步骤及其后续步骤；直至判断出多个检测维度的质量检测结果均符合对应检测维度的质量标准，则确定所述人脸图像的质量合格。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的人脸图像质量的评估装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。