人脸图像的质量评价方法、装置以及计算机可读存储介质与流程

1.本技术涉及人脸图像质量评价的技术领域，特别是涉及一种人脸图像的质量评价方法、装置以及计算机可读存储介质。


背景技术：

2.随着数字社会化发展，图像数据在视频通讯，安防监控等领域有着不可替代的作用，然而视频中的图像数据在进行采集、传输及处理等过程中难免受到干扰；其次，在视频序列上，对同样一个目标采集得到的图片数据也会因为姿态角度、遮挡等因素产生质量上的差异。为了在工程应用上确保视频数据高效利用，对图像的质量评价就变得非常有意义。
3.目前，常用的方法包括：方法一、通过质量评分网络学习进行质量评分，其综合了图片、裁剪以及多分辨率质量分输出；方法二、将每张人脸图像所对应的深度特征分别与同一人的标准人脸特征比较；但是，方法一中质量分标签难以获取，质量评价特征模糊，且质量评分网络综合了图片、裁剪以及多分辨率质量分输出，较为冗余；方法二中操作过程中不仅需要定义标准的人脸，而且还需要多次比较人脸之间的相似度，这样无疑是增加了时间成本。因此，目前需要提出一种新的人脸图像的质量评价方法。


技术实现要素：

4.本技术主要解决的技术问题是提供一种人脸图像的质量评价方法、装置以及计算机可读存储介质，可以针对性地获得人脸图像的重点特征的预测值并对人脸图像进行得分量化。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种人脸图像的质量评价方法，包括：将多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值，其中，所述属性包括人脸角度、人脸清晰度以及人脸遮挡信息；根据多个所述属性的预测值获得对应的所述人脸图像的人脸质量得分。
6.其中，所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤之前，包括：针对每张所述人脸图像，计算获得当前所述人脸图像的卡尔曼增益矩阵，并利用所述卡尔曼增益矩阵获得当前所述人脸图像的人脸角度的最优估计值和人脸清晰度的最优估计值；获得当前所述人脸图像的人脸角度的预测值与人脸角度的最优估计值之间的第一差值、以及当前所述人脸图像的人脸清晰度的预测值与人脸清晰度的最优估计值之间的第二差值；判断所述第一差值和所述第二差值是否符合预设条件；若是，则进入所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤；否则，不进入所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤。
7.其中，所述人脸角度包括俯仰角、旋转角以及偏航角；所述获得当前所述人脸图像的人脸角度的预测值与人脸角度的最优估计值之间的第一差值的步骤包括：获得当前所述人脸图像中所述俯仰角的预测值与所述俯仰角的最优估计值之间的差值、所述旋转角的预测值与所述旋转角的最优估计值之间的差值以及所述偏航角的预测值与所述偏航角的最
优估计值之间的差值。
8.其中，所述判断所述第一差值和所述第二差值是否符合预设条件的步骤，包括：获得当前所述人脸图像中所述俯仰角的预测值与所述俯仰角的最优估计值之间的差值的绝对值、所述旋转角的预测值与所述旋转角的最优估计值之间的差值的绝对值以及所述偏航角的预测值与所述偏航角的最优估计值之间的差值的绝对值的和值；判断所述和值是否小于第一阈值且所述第二差值的绝对值是否小于第二阈值。
9.其中，所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤，包括：利用每张所述人脸图像的所述人脸角度的得分值、所述人脸清晰度的得分值和所述人脸遮挡信息的得分值构建三维空间矩阵，且所述三维空间矩阵的原点坐标为(0,0,0)；其中，所述人脸角度的得分值、所述人脸清晰度的得分值和所述人脸遮挡信息的得分值分别与对应属性的所述预测值相关；基于所述三维空间矩阵中经过所述原点坐标的对角线获得每张所述人脸图像的所述人脸质量得分。
10.其中，所述基于所述三维空间矩阵中经过所述原点坐标的对角线获得每张所述人脸图像的所述人脸质量得分的步骤，包括：获得所述人脸角度的得分值的平方与第一权重的第一乘积、所述人脸清晰度的得分值的平方与第二权重的第二乘积、所述人脸遮挡信息的得分值的平方与第三权重的第三乘积；其中，所述第一权重、所述第二权重和所述第三权重的范围均为0
‑
1；将所述第一乘积、所述第二乘积和所述第三乘积之和的平方根值和归一化系数的乘积作为所述人脸质量得分。
11.其中，所述将所述多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值，其中，所述多个属性包括人脸角度、人脸清晰度以及人脸遮挡信息的步骤之前，包括：从视频流中获得多个目标人脸图像；对多个所述目标人脸图像进行全局模糊度计算，以获得每张所述目标人脸图像的第一清晰度；判断所述第一清晰度是否大于第三阈值；若是，则进入将多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值的步骤。
12.其中，所述将多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值，其中，所述多个属性包括人脸角度、人脸清晰度以及人脸遮挡信息的步骤之前，还包括：将多个训练人脸图像分别输入至所述多任务网络模型中进行训练；获得所述多任务网络模型中的角度损失函数值、清晰度损失函数值和遮挡值损失函数值；利用所述角度损失函数值、清晰度损失函数值和遮挡值损失函数值获得总损失函数值；根据所述总损失函数值判断所述多任务网络模型是否达到收敛状态；若是，则将所述多任务网络模型输出；否则，返回至所述将多个所述训练人脸图像分别输入至多任务网络模型中进行训练的步骤。
13.其中，所述获得所述多任务网络模型中的角度损失函数值的步骤包括：将多个所述训练人脸图像的人脸角度按角度区间进行分类，以获得第一类别数，其中，所述人脸角度包括俯仰角、旋转角以及偏航角；根据所述第一类别数获得每张所述训练人脸图像的所述人脸角度的预测值；将多个所述训练人脸图像的所述人脸角度的预测值进行映射以得到所述角度损失函数值。
14.其中，所述获得所述多任务网络模型中的清晰度损失函数值的步骤包括：获取多个所述训练人脸图像的第二清晰度，并对所述第二清晰度进行分类，以获得第二类别数；根
据所述第二类别数获得每张所述训练人脸图像的所述人脸清晰度的预测值；将多个所述训练人脸图像的所述人脸清晰度的预测值进行映射以得到所述清晰度损失函数值。
15.其中，所述获得所述多任务网络模型中的遮挡值损失函数值的步骤包括：对多个所述训练人脸图像中多个关键部位进行遮挡检测，其中，所述关键部位包括左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴；将所述训练人脸图像中可见的所述关键部位标记为第一标志位，将所述训练人脸图像中不可见的所述关键部位标记为第二标志位；其中，所述第一标志位与所述第二标志位不同；根据每张所述训练人脸图像的关键部位的标签得到人脸遮挡信息的预测值；将多个所述训练人脸图像的所述人脸遮挡信息的预测值进行映射以得到所述遮挡值损失函数值。
16.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种人脸图像的质量评价装置，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现上述任一实施例所述的质量评价方法。
17.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现上述任一实施例所述的质量评价方法。
18.区别于现有技术的情况，本技术的有益效果是：本技术中将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值，其中，属性包括人脸角度、人脸清晰度以及人脸遮挡信息，根据多个属性的预测值获得对应的人脸图像的人脸质量得分。通过这种设计方式，可以在同一个网络里面针对性地获得人脸图像的重点特征的预测值并对该人脸图像进行得分量化，不仅提高了质量评价的效率，而且节省了计算资源和时间成本。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
20.图1是本技术人脸图像的质量评价方法一实施方式的流程示意图；
21.图2是图1中步骤s2之前一实施方式的流程示意图；
22.图3是图2中步骤s12一实施方式的流程示意图；
23.图4是图1中步骤s2一实施方式的流程示意图；
24.图5是三维空间矩阵图；
25.图6是图4中步骤s21一实施方式的流程示意图；
26.图7是图1中步骤s1之前一实施方式的流程示意图；
27.图8是图1中步骤s1之前另一实施方式的流程示意图；
28.图9是多任务网络模型结构设计图；
29.图10是图8中步骤s41一实施方式的流程示意图；
30.图11是图8中步骤s41一实施方式的流程示意图；
31.图12是图8中步骤s41一实施方式的流程示意图；
32.图13是本技术人脸图像的质量评价装置一实施方式的框架示意图；
33.图14是本技术人脸图像的质量评价装置一实施方式的结构示意图；
34.图15是本技术计算机可读存储介质一实施方式的框架示意图。
具体实施方式
35.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
36.请参阅图1，图1是本技术人脸图像的质量评价方法一实施方式的流程示意图。该方法包括：
37.s1：将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值。
38.具体地，在本实施例中，属性包括人脸角度、人脸清晰度以及人脸遮挡信息。
39.s2：根据多个属性的预测值获得对应的人脸图像的人脸质量得分。
40.通过这种设计方式，可以在同一个网络里面针对性地获得人脸图像的重点特征的预测值并对该人脸图像进行得分量化，不仅提高了对人脸图像质量评价的效率，而且节省了计算资源和时间成本。
41.具体地，在本实施例中，请参阅图2，图2是图1中步骤s2之前一实施方式的流程示意图。具体而言，在步骤s2之前，还包括：
42.s10：针对每张人脸图像，计算获得当前人脸图像的卡尔曼增益矩阵，并利用卡尔曼增益矩阵获得当前人脸图像的人脸角度的最优估计值和人脸清晰度的最优估计值。
43.具体地，在本实施例中，利用以下公式计算获得当前人脸图像的卡尔曼增益矩阵，并利用卡尔曼增益矩阵获得当前人脸图像的人脸角度的最优估计值和人脸清晰度的最优估计值。
44.状态预测值由状态预测方程可得：
[0045][0046]
其中，a为状态转移矩阵，b为控制输入矩阵，μ
k
为测量噪声。
[0047]
状态最优估计值由状态更新方程得：
[0048][0049]
其中，h为状态观测矩阵，z
k
为状态阵的观测量。具体而言，卡尔曼增益k，k∈[0，1]，其表征了状态最优估计过程中模型预测误差与量测误差的比重，由公式(2)可知，当k＝0时，系统的状态最优估计值完全取决于状态预测值。
[0050]
最优估计条件下的卡尔曼增益矩阵：
[0051][0052]
其中，为真实值与预测值之间的协方差，r为测量噪声协方差。
[0053]
估计误差方差矩阵：
[0054][0055]
状态估计协方差矩阵：
[0056][0057]
其中，p
k
为估计误差方差矩阵，q为过程噪声协方差。
[0058]
具体而言，依靠估计方差矩阵和状态估计协方差矩阵进行迭代获得最优估计条件下的卡尔曼增益矩阵，利用卡尔曼增益矩阵计算获得当前人脸图像的人脸角度的最优估计值和人脸清晰度的最优估计值。
[0059]
s11：获得当前人脸图像的人脸角度的预测值与人脸角度的最优估计值之间的第一差值、以及当前人脸图像的人脸清晰度的预测值与人脸清晰度的最优估计值之间的第二差值。
[0060]
具体地，在本实施例中，人脸角度包括俯仰角、旋转角以及偏航角。具体而言，步骤s11具体包括：获得当前人脸图像中俯仰角的预测值与俯仰角的最优估计值之间的差值、旋转角的预测值与旋转角的最优估计值之间的差值以及偏航角的预测值与偏航角的最优估计值之间的差值。
[0061]
s12：判断第一差值和第二差值是否符合预设条件。
[0062]
请参阅图3，图3是图2中步骤s12一实施方式的流程示意图。具体而言，步骤s12具体包括：
[0063]
s120：获得当前人脸图像中俯仰角的预测值与俯仰角的最优估计值之间的差值的绝对值、旋转角的预测值与旋转角的最优估计值之间的差值的绝对值以及偏航角的预测值与偏航角的最优估计值之间的差值的绝对值的和值。
[0064]
s121：判断和值是否小于第一阈值且第二差值的绝对值是否小于第二阈值。
[0065]
具体地，在本实施例中，上述判断条件以公式表示如下：
[0066][0067]
其中，为第一阈值，β为第二阈值，表示卡尔曼滤波在人脸角度的三个最优估计值，表示人脸角度的三个预测值，表示卡尔曼滤波在人脸清晰度的最优估计值，表示人脸清晰度的预测值。
[0068]
s13：若是，则进入根据多个属性的预测值获得对应的人脸图像的人脸质量得分的步骤。
[0069]
具体而言，若第一差值和第二差值符合预设条件，则表明该人脸图像为高质量人脸图像，则进入根据多个属性的预测值获得对应的人脸图像的人脸质量得分的步骤。
[0070]
s14：否则，不进入根据多个属性的预测值获得对应的人脸图像的人脸质量得分的步骤。
[0071]
具体而言，若第一差值和第二差值不符合预设条件，则表明该人脸图像为低质量人脸图像，则不进入根据多个属性的预测值获得对应的人脸图像的人脸质量得分的步骤。
[0072]
具体而言，跳变的人脸可能是因为当前的人脸质量突然出现不稳定因素，例如，强烈光照，人脸对象切换等。如果人脸角度合计误差及人脸清晰度误差都在可控范围内，则表示当前帧人脸质量连续，否则可以认定为人脸质量跳变。当遇到质量跳变较大的人脸图像，
可以将其标记为低质量人脸图像，不对外进行输出，节省了时间成本。
[0073]
由于本技术中的人脸角度和人脸清晰度的预测值是通过分类任务特性得到回归的结果，所以在预测值上可以认定为是一个连续性的数值。在视频流中，同样一个目标的人脸在这两个属性上的变化一般都是相对连续的，为了排除输入的图像质量跳变导致网络预测的不稳定性，可以利用卡尔曼滤波对人脸图像进行质量连续性预测。卡尔曼滤波非常适合不断变化的系统，它具备内存占用较小(只需保留前一个状态)、速度快等优点，是实时问题和嵌入式系统的理想选择。因此，本技术中通过引入卡尔曼滤波进行人脸图像的质量连续性预测，可以准确地排除人脸角度及人脸清晰度预测跳变人脸，提高对人脸图像质量评价的效率，节省时间成本。
[0074]
此外，对于图1中步骤s2中具体获得人脸质量得分的过程可以参阅图4
‑
图5，图4是图1中步骤s2一实施方式的流程示意图，图5是三维空间矩阵图。具体地，在本实施例中，步骤s2具体包括：
[0075]
s20：利用每张人脸图像的人脸角度的得分值、人脸清晰度的得分值和人脸遮挡信息的得分值构建三维空间矩阵，且三维空间矩阵的原点坐标为(0,0,0)。
[0076]
具体地，在本实施例中，人脸角度的得分值、人脸清晰度的得分值和人脸遮挡信息的得分值分别与对应属性的预测值相关，例如，当多任务网络预测到人脸图像的6个关键部位均未被遮挡，则人脸遮挡信息的得分值为1，若人脸图像的6个关键部位均被遮挡，则人脸遮挡信息的得分值为0，本技术对此不作限定。
[0077]
s21：基于三维空间矩阵中经过原点坐标的对角线获得每张人脸图像的人脸质量得分。
[0078]
另外，在本实施例中，如图5所示，三维空间矩阵的每一个维度代表了一个属性的评价映射，三维空间矩阵的原点坐标(0,0,0)代表了最低的得分起点值，最高位置的(1,1,1)代表了最高的得分值，综合人脸角度、人脸清晰度和人脸遮挡信息三个属性得到人脸质量得分值，具体地，人脸质量得分值在原点坐标(0,0,0)到最高位置(1,1,1)的线段上。
[0079]
具体地，在本实施例中，请参阅图6，图6是图4中步骤s21一实施方式的流程示意图。具体而言，步骤s21包括：
[0080]
s210：获得人脸角度的得分值的平方与第一权重的第一乘积、人脸清晰度的得分值的平方与第二权重的第二乘积、人脸遮挡信息的得分值的平方与第三权重的第三乘积。
[0081]
具体地，在本实施例中，第一权重、第二权重和第三权重的范围均为0
‑
1。
[0082]
s211：将第一乘积、第二乘积和第三乘积之和的平方根值和归一化系数的乘积作为人脸质量得分。
[0083]
具体地，在本实施例中，人脸质量得分值s
total
的计算公式如下所示：
[0084][0085]
其中，α为归一化系数，δ，ε，γ分别为第一权重、第二权重和第三权重，s
a
、s
c
、s
o
分别为人脸角度、人脸清晰度、人脸遮挡信息的得分值，s
total
为人脸质量得分值。
[0086]
通过这种设计方式，利用人脸角度、人脸清晰度、人脸遮挡信息这些重要属性进行量化对人脸图像质量进行综合打分，以对人脸图像进行质量评价，提高了质量评价的效率，节省了时间成本。
[0087]
具体地，在本实施例中，为了节省计算资源和时间，请参阅图7，图7是图1中步骤s1
之前一实施方式的流程示意图。具体而言，在步骤s1之前，包括：
[0088]
s30：从视频流中获得多个目标人脸图像。
[0089]
s31：对多个目标人脸图像进行全局模糊度计算，以获得每张目标人脸图像的第一清晰度。
[0090]
具体地，在本实施例中，利用拉普拉斯对多个目标人脸图像进行全局模糊度计算，以获得目标人脸图像的第一清晰度。
[0091]
s32：判断第一清晰度是否大于第三阈值。
[0092]
s33：若是，则进入将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值的步骤。
[0093]
s34：否则，不进入将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值的步骤。
[0094]
具体而言，若人脸图像的第一清晰度小于等于第三阈值，则不对该人脸图像进行后续的预测步骤，这样可以先排除清晰度差的人脸图像，节省计算时间。
[0095]
在视频流上，针对同样一个目标其人脸的输入往往会有较多的候选，先对人脸图像中的人脸检测框做一个清晰度判断的预处理，在人脸清晰度非常差的情况下不送入多任务网络模型中进行处理，提高了计算效率，且节省了时间成本。
[0096]
另外，在本实施例中，请参阅图8，图8是图1中步骤s1之前另一实施方式的流程示意图。具体而言，在步骤s1之前，还包括：
[0097]
s40：将多个训练人脸图像分别输入至多任务网络模型中进行训练。
[0098]
具体而言，为了使得模型简化的同时获取需要预测得到的特征属性，使用一个多任务网络模型同时获取这些人脸图像的要素等级，运用多任务学习的策略，共享特征提取网络参数，不仅可以提高工作效率，也可以节省时间成本。
[0099]
s41：获得多任务网络模型中的角度损失函数值、清晰度损失函数值和遮挡值损失函数值，以获得总损失函数值。
[0100]
具体而言，在多任务网络模型中拉出3个损失函数分支，分别为人脸角度的损失函数、人脸清晰度的损失函数、人脸遮挡信息的损失函数，最后综合多个分支的损失函数训练该多任务网络模型，具体地，总损失函数值等于角度损失函数值清晰度损失函数值和遮挡值损失函数值之和，公式如下所示：
[0101][0102]
s42：根据总损失函数值判断多任务网络模型是否达到收敛状态。
[0103]
具体而言，通过判断总损失函数值是否为最小值来判断多任务网络模型是否达到收敛状态。
[0104]
s43：若是，则将多任务网络模型输出。
[0105]
具体而言，若多任务网络模型是否达到收敛状态，则将该多任务网络模型输出，用于人脸图像的质量评价。
[0106]
s44：否则，返回至将多个训练人脸图像分别输入至多任务网络模型中进行训练的步骤。
[0107]
另外，在本实施例中，请参阅图9，图9是多任务网络模型结构设计图。具体而言，用
多个训练人脸图像分别针对三个重要属性进行训练，以得到总损失函数值，并通过迭代训练使得多任务网络模型达到收敛状态后，对输入的人脸图像进行前向处理可分别获取该人脸图像的人脸角度、人脸清晰度、人脸遮挡信息的预测值。
[0108]
通过这种设计方式，针对影响人脸图像质量的重点要素，包括人脸角度、人脸清晰度和人脸遮挡信息进行分析考虑，将其结合到一个多任务网络中进行预测，能够有效地结合多个影响因素得到人脸图像的质量评价预测，不仅提高了工作效率，而且节约了时间成本。
[0109]
具体地，在本实施例中，请参阅图10，图10是图8中步骤s41一实施方式的流程示意图。具体而言，步骤s41中获得多任务网络模型中的角度损失函数值的步骤包括：
[0110]
s50：将多个训练人脸图像的人脸角度按角度区间进行分类，以获得第一类别数。
[0111]
具体地，在本实施例中，人脸角度包括俯仰角、旋转角以及偏航角，对俯仰角、旋转角以及偏航角按角度区间进行分类。以偏航角为例，lieu，将3度划分为一个类别，那么偏航角的范围为
‑
90
°
～+90
°
，可以分成180/3＝60个类别。俯仰角和旋转角与偏航角类似，这样就可以进行分类任务了。
[0112]
s51：根据第一类别数获得每张训练人脸图像的人脸角度的预测值。
[0113]
具体而言，对步骤s51中分类的结果恢复成人脸角度的预测值：第一类别数*3
‑
90。
[0114]
s52：将多个训练人脸图像的人脸角度的预测值进行映射以得到角度损失函数值。
[0115]
具体而言，根据步骤s51中人脸角度的预测值计算角度损失函数值计算公式如下所示：
[0116][0117]
其中，h表示交叉熵损失，mse为均方误差损失，α为两种类型损失函数的平衡系数，n表示在每一个训练过程中的图片数目。
[0118]
通过这种设计方式，本技术将回归任务变成分类任务进行学习，预测过程可以将分类得到的结果映射得到一个回归值，提高了对人脸图像质量评价的效率。
[0119]
具体地，在本实施例中，请参阅图11，图11是图8中步骤s41一实施方式的流程示意图。具体而言，步骤s41中获得多任务网络模型中的清晰度损失函数值的步骤包括：
[0120]
s60：获取多个训练人脸图像的第二清晰度，并对第二清晰度进行分类，以获得第二类别数。
[0121]
无参考的图像清晰度常用的方法是借助于梯度及方差函数统计人脸图像上临近的像素点之间的差异性，作为传统的图像清晰度判定方法，每一种方法在特定的图像场景上都会产生一定的偏差，从整体的效果来看，辨识图像的清晰度效果也不是很理想。在对较多的图像进行实践发现，如果图像清晰度非常差的情况下，借助于这些传统的图像清晰度判定方法能有效的筛选出一批低质量的人脸图像，因此，本技术在主要流程上引入拉普拉斯进行图像清晰度预判定。同样地，本技术中首先获得训练人脸图像的第二清晰度，并对第二清晰度进行分类。具体地，训练时将获取得到的第一清晰度划分为21个等级。
[0122]
s61：根据第二类别数获得每张训练人脸图像的人脸清晰度的预测值。
[0123]
具体地，在本实施例中，预测过程根据第二类别数通过10x
‑
100计算人脸清晰度的预测值，其中，x为第二类别数，人脸清晰度的预测值的范围为
‑
100～+100。例如，当x＝0时，
人脸清晰度的预测值为
‑
100，当x＝20时，人脸清晰度的预测值为+100。
[0124]
s62：将多个训练人脸图像的人脸清晰度的预测值进行映射以得到清晰度损失函数。
[0125]
具体而言，根据步骤s61中得到的人脸清晰度的预测值计算得到清晰度损失函数值计算公式如下所示：
[0126][0127]
其中，h表示交叉熵损失，mse为均方误差损失，β为两种类型损失函数的平衡系数，n表示在每一个训练过程中的图片数目。
[0128]
通过这种设计方式，本技术将分类得到的结果映射得到一个回归值，能够有效地利用多任务网络模型预测得到人脸清晰度，从而提高了对人脸图像质量评价的效率。
[0129]
具体地，在本实施例中，请参阅图12，图12是图8中步骤s41一实施方式的流程示意图。具体而言，步骤s41中获得多任务网络模型中的遮挡值损失函数值的步骤包括：
[0130]
s70：对多个训练人脸图像中多个关键部位进行遮挡检测。
[0131]
具体而言，如图9所示，每张训练人脸图像中的关键部位包括左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴。另外，在本实施例中，对关键部位的遮挡检测还可以根据真实标签上实际人脸角度与人脸角度的预测值之间的偏离角来对人脸遮挡信息进行预测。
[0132]
s71：将训练人脸图像中可见的关键部位标记为第一标志位，将训练人脸图像中不可见的关键部位标记为第二标志位。
[0133]
具体而言，第一标志位与第二标志位不同。在本实施例中，将训练人脸图像中可见的关键部位标记为“1”，将训练人脸图像中不可见的关键部位标记为“0”，本技术对标记方式不作限定。
[0134]
s72：根据每张训练人脸图像的关键部位的标签得到人脸遮挡信息的预测值。
[0135]
具体地，在本实施例中，人脸遮挡信息通过回归左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴这6个关键部位位置作为衡量人脸是否被遮挡的标准，每个关键部位的标签包括可见、不可见属性。
[0136]
s73：将多个训练人脸图像的人脸遮挡信息的预测值进行映射以得到遮挡值损失函数值。
[0137]
具体而言，根据人脸遮挡信息的预测值计算得到遮挡值损失函数值计算公式如下所示：
[0138][0139]
其中，n表示在每一个训练过程中的图片数目，m表示关键部位的数目，θ
k
(k＝1，2，3)表示真实标签上实际人脸角度与人脸角度的预测值之间的偏离角。
[0140]
依据所见即所得，未见即遮挡的基本要领，通常的人脸关键部位检测是标记人脸对应的关键部位，即使是人脸角度过大造成的自遮挡或者有其它物体的遮挡存在，其标注也是需要推测对应关键部位的位置。通过本技术的设计方式，关键部位遮挡判断有效的结合了人脸角度信息，对人脸自遮挡的情况提升了稳定性，提高了人脸遮挡信息的预测值的
准确性。
[0141]
请参阅图13，图13是本技术人脸图像的质量评价装置一实施方式的框架示意图。该装置包括预测模块10和评价模块12。具体而言，预测模块10用于将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值，评价模块12用于根据多个属性的预测值获得对应的人脸图像的人脸质量得分。通过这种设计方式，可以在同一个网络里面针对性地获得人脸图像的重点特征的预测值并对该人脸图像进行得分量化，不仅提高了对人脸图像质量评价的效率，而且节省了计算资源和时间成本。
[0142]
请参阅图14，图14是本技术人脸图像的质量评价装置一实施方式的结构示意图。该装置包括相互耦接的存储器100和处理器102，存储器100内存储有程序指令，处理器102用于执行程序指令以实现上述任一实施例中所提及的人脸图像的质量评价方法。
[0143]
具体而言，处理器102还可以称为cpu(central processing unit，中央处理单元)。处理器102可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field
‑
programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器102可以由多个集成电路芯片共同实现。
[0144]
请参阅图15，图15是本技术计算机可读存储介质一实施方式的框架示意图。该计算机可读存储介质20存储有计算机程序200，能够被计算机所读取，计算机程序200能够被处理器执行，以实现上述任一实施例中所提及的质量评价方法。其中，该计算机程序200可以以软件产品的形式存储在上述计算机可读存储介质20中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式所述方法的全部或部分步骤。具有存储功能的计算机可读存储介质20可以是u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0145]
总而言之，区别于现有技术的情况，本技术中将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值，其中，属性包括人脸角度、人脸清晰度以及人脸遮挡信息，根据多个属性的预测值获得对应的人脸图像的人脸质量得分。通过这种设计方式，可以在同一个网络里面针对性地获得人脸图像的重点特征的预测值并对该人脸图像进行得分量化，提高了对人脸图像质量评价的效率，而且节省了计算资源和时间成本。
[0146]
以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。