模型训练方法、人脸图像质量评价方法、设备及介质与流程

1.本技术实施例涉及图像识别技术领域，特别涉及一种模型训练方法、人脸图像质量评价方法、设备及介质。


背景技术：

2.随着深度学习技术的高速发展，人脸识别技术已被广泛应用于人们的生产生活中，其识别准确率和可靠性也越来越高。然而，在人脸识别过程中，不可避免的会出现人脸图像质量较低的情况，导致人脸识别失败。为此对人脸图像的质量评价就变得非常有意义。
3.目前，常用人脸图像质量评价方法有两种，一种是利用多个图像指标进行质量评价，即采用多个评分子模型，对人脸图像的光照情况、对比度、模糊程度、人脸完整度、人脸姿态角等质量影响因素逐一衡量，获取人脸图像的质量分数。另一种是利用人脸识别模型进行质量评价，即利用识别模型对不同质量的人脸图像识别能力差异，对人脸图像进行质量评分。
4.然而，第一种方法需要搜集各种质量影响因素的人脸图像作为训练样本，标注过程费时费力，且整个模型包含多个子模型，网络复杂、训练速度较慢。第二种方法只能配合相应的识别模型使用，与人脸识别模型具有较高的耦合性，往往不同的人脸识别模型，其质量评价结果不一致，可解释性较差。


技术实现要素：

5.本技术实施方式的目的在于提供一种模型训练方法、人脸图像质量评价方法、设备及介质，由于无需与特定的人脸识别模型配合使用，使得通过特征提取模型和特征生成模型输出的质量分数特征图可以客观、准确地表征出人脸图像质量好坏，且模型简单、训练速度快。
6.为解决上述技术问题，本技术的实施方式提供了一种模型训练方法，包括：构建用于从已标注好质量类别或坏质量类别的人脸图像中提取人脸特征向量的特征提取模型；构建用于生成所述人脸特征向量对应的质量分数特征图的特征生成模型；对所述特征提取模型和所述特征生成模型进行联合训练，得到训练好的特征提取模型和特征生成模型；其中，所述联合训练的损失函数包括：人脸特征向量的分类损失和中心损失，好质量类别的人脸图像的质量分数特征图的特征损失，各质量类别的人脸图像的质量分数特征图的分类损失。
7.本技术的实施方式还提供了一种人脸图像质量评价方法，包括：将待测人脸图像输入到已训练好的特征提取模型和特征生成模型中，得到质量分数特征图；根据所述待测人脸图像的质量分数特征图对所述待测人脸图像的待评价区域进行质量评价，得到待评价区域的质量分数；其中所述特征提取模型和所述特征生成模型通过如上实施例所述的模型训练方法获取。
8.本技术的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少
一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的人脸图像质量评价方法。
9.本技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的人脸图像质量评价方法。
10.本技术实施方式提供的模型训练方法，将标注好质量类别或坏质量类别的人脸图像输入到特征提取模型中得到人脸特征向量，然后将人脸特征向量输入到特征生成模型中得到人脸图像对应的质量分数特征图，对特征提取模型和特征生成模型采用特征损失、约束损失和分类损失进行训练，得到训练好的特征提取模型和特征生成模型，而人脸特征向量的分类损失和中心损失用于使相同质量类别的人脸图像的人脸特征向量之间的距离尽可能小，不同质量类别的人脸图像的人脸特征向量之间的距离尽可能大，特征损失用于对好质量类别的人脸图像的质量分数特征图进行显式监督，分类损失用于对好质量类别的人脸图像的质量分数特征图和坏质量类别的人脸图像的质量分数特征图进行分类，如此，一方面，本技术只对好质量类别的质量分数特征图进行显式约束，不直接监督坏质量类别的质量分数特征图，有效提高了模型的训练速度，另一方面，本技术既不需要设计过多的评价子模型，也不需要与对应的人脸识别模型耦合使用(即不受人脸识别模型的影响)，就可以得到能客观、准确地表征出人脸图像质量好坏的质量分数特征图，使得人脸图像质量评价更加快捷、简单。
11.另外，质量分数特征图与对应的所述人脸图像尺寸相同，所述质量分数特征图中每个像素点的像素值表示在所述人脸图像中对应的像素点的质量分数。本技术通过质量分数特征图可以简单、快捷地衡量人脸图像中任一像素位置处的图像的质量好坏。
附图说明
12.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
13.图1是本技术的实施方式提供的模型训练方法的流程图；
14.图2是本技术的实施方式提供的特征提取模型和特征生成模型的结构示意图；
15.图3是本技术的实施方式提供的人脸图像质量评价方法的流程图；
16.图4是本技术的实施方式的提供的电子设备的结构示意图。
具体实施方式
17.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本技术各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
18.下面对本实施方式的模型训练的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
19.本技术的实施方式涉及一种模型训练方法，如图1所示，包括：
20.步骤101，构建用于从已标注好质量类别或坏质量类别的人脸图像中提取人脸特征向量的特征提取模型。
21.具体地说，本实施例中的人脸图像携带质量类别标签，质量类别标签用于表征人脸图像为好质量类别或坏质量类别，好质量的人脸图像为符合人脸识别要求的图像，坏质量的人脸图像至少包括：模糊的人脸图像、过亮的人脸图像、过暗的人脸图像、人脸角度过大的人脸图像、遮挡的人脸图像、无人脸的人脸图像等等。也就是说，本实施例认为不符合人脸识别要求的人脸图像都为坏质量人脸图像，具体何种因素导致的坏质量人脸图像、以及坏质量人脸图像的质量差的程度，本实施例并不关注。当然，坏质量人脸图像和好质量人脸图像的定义可以根据应用场景、用户需求、训练效率等各方面因素自行调整设置。
22.在一实施例中，在步骤101之前，还包括：对获取的原始人脸图像进行人脸检测，确定原始人脸图像中人脸的位置；根据原始人脸图像中人脸的位置对所述原始人脸图像进行裁剪，得到第一人脸图像；对第一人脸图像的每个像素值进行归一化处理，并标注第一人脸图像所属的好质量类别或坏质量类被，得到用于联合训练所采用的人脸图像的样本。
23.本实施例中，在将人脸图像输入到特征提取模型之前，可以对原始人脸图像进行人脸检测确定人脸图像中人脸的位置，对原始人脸图像中非人脸的区域进行裁剪，得到只包含人脸的第一人脸图像。然后对第一人脸图像的每个像素值进行归一化处理，即将第一人脸图像中每个像素点的像素值减去127.5后除以128，得到用于联合训练所采用的人脸图像的样本，也就是说，通过归一化处理将第一人脸图像的像素值从(0，255)转换为(-1，1)，如此以便特征提取模型对人脸图像进行处理。
24.步骤102，构建用于生成人脸特征向量对应的质量分数特征图的特征生成模型。
25.本实施例中，特征提取模型连接特征生成模型，特征提取模型输出的人脸特征向量输入到特征生成模型，得到人脸图像对应的质量分数特征图。
26.需要说明的是，质量分数特征图与对应的人脸图像尺寸相同，其每个像素点的像素值表示在人脸图像中对应的像素点的质量分数。即通过质量分数特征图可以衡量人脸图像中每个像素位置处的图像的质量好坏。
27.具体地说，特征提取模型和特征生成模型的结构如图2所示，可以简单地认为特征提取模型和特征生成模型构成了编码器—解码器的模型框架。其中特征提取模型可以采用残差网络(如：resnet18网络)。
28.步骤103，对特征提取模型和特征生成模型进行联合训练，得到训练好的特征提取模型和特征生成模型，联合训练的损失函数包括：人脸特征向量的分类损失和中心损失，好质量类别的人脸图像的质量分数特征图的特征损失，各质量类别的人脸图像的质量分数特征图的分类损失。
29.本实施例中，对特征提取模型和特征生成模型采用人脸特征向量的分类损失和中心损失、好质量类别的人脸图像的质量分数特征图的特征损失和质量分数特征图的分类损失进行联合训练，其中，人脸特征向量的分类损失和中心损失用于约束属于相同质量类别的人脸图像的人脸特征向量之间的距离和属于不同质量类别的人脸图像的人脸特征向量之间的距离，即本技术通过特征损失让相同质量类别的人脸特征向量相互靠近(聚拢)，不同质量类别的人脸特征向量相互远离(分开)，使好质量类别对应的人脸特征向量和坏质量
类别对应的人脸特征向量有明显区分。
30.特征损失用于显示监督好质量类别的人脸图像的质量分数特征图，即本技术只约束好质量类别对应的质量分数特征图，如此只要与好质量类别对应的质量分数特征图不同的质量分数特征图，都可以判定为坏质量类别对应的质量分数特征图，相当于间接的约束了坏质量类别的质量分数特征图。
31.质量分数特征图的分类损失用于对好质量类别对应的质量分数特征图和坏质量类别对应的质量分数特征图进行分类。
32.在一实施例中，人脸特征向量的分类损失和中心损失所对应的损失函数通过如下公式构建：
[0033][0034]
其中，n为人脸图像的数量，k为质量类别的类别数，λ为超参数，f(xi)为第i个所述人脸图像的人脸特征向量，为第i个所述人脸图像属于各质量类别的概率，yi为第i个所述人脸图像的类别标签，xi为第i个所述人脸图像的人脸特征向量的特征值，c
yi
为第yi类别的特征均值，||*||2表示求*的l2范数。
[0035]
具体地说，特征损失基于人脸特征向量经第一分类器输出的人脸图像属于各质量类别的概率，以及人脸特征向量的特征值与人脸特征向量所属质量类别的特征均值之间的距离构成。
[0036]
在一实施例中，质量分数特征图的特征损失的损失函数通过如下公式构建：
[0037][0038]
其中，m为属于好质量类别的人脸图像的数量，fi为好质量类别的第i个人脸图像的质量分数特征图，f
*
为好质量类别的人脸图像对应的标准质量分数特征图，||*||1表示求*的l1范数。
[0039]
具体地说，特征损失基于好质量的人脸图像的质量分数特征图与好质量的人脸图像对应的标准质量分数特征图之间的距离构成。本实施例中，以好质量的人脸图像的质量分数特征图与标准质量分数特征图之差的特征范数作为损失函数，当然，也可以采用深度学习中的其他距离公式作为损失函数。另外，好质量类别对应的标准质量分数特征图可以自行定义设置，比如：确定好质量类别对应的标准质量分数特征图的像素值全为0，那么像素值不等于0(像素值大于0或像素值小于0)的质量分数特征图就为坏质量类别对应的质量分数特征图。类似地，也可以设置标准质量分数特征图的像素值全为1。也就是说，人脸图像的质量分数特征图越靠近标准质量分数特征图，人脸图像的质量越好。
[0040]
在一实施例中，质量分数特征图的分类损失的损失函数通过如下公式构建：
[0041][0042]
其中，yi为第i个所述人脸图像的类别标签，pi为所述质量分数特征图属于各质量类别的概率。
[0043]
具体地说，分类损失基于质量分数特征图经第二分类器输出的质量分数特征图属于各质量类别的概率构成。
[0044]
本实施例中，参见图2所示，特征损失作用于特征提取模型和第一分类器，约束损失作用于特征提取模型和特征生成模型，分类损失作用于特征提取模型、特征生成模型和第二分类器。在训练阶段，特征提取模型之后还连接第一分类器，特征生成模型之后还连接第二分类器。在应用阶段，即人脸图像质量评价阶段只使用特征提取模型和特征生成模型。
[0045]
本技术实施方式提供的模型训练方法，将标注好质量类别或坏质量类别的人脸图像输入到特征提取模型中得到人脸特征向量，然后将人脸特征向量输入到特征生成模型中得到人脸图像对应的质量分数特征图，对特征提取模型和特征生成模型采用特征损失、约束损失和分类损失进行训练，得到训练好的特征提取模型和特征生成模型，而人脸特征向量的分类损失和中心损失用于使相同质量类别的人脸图像的人脸特征向量之间的距离尽可能小，不同质量类别的人脸图像的人脸特征向量之间的距离尽可能大，特征损失用于对好质量类别的人脸图像的质量分数特征图进行显式监督，质量分数特征图的分类损失用于对好质量类别的人脸图像的质量分数特征图和坏质量类别的人脸图像的质量分数特征图进行分类，如此，一方面，本技术只对好质量类别的质量分数特征图进行显式约束，不直接监督坏质量类别的质量分数特征图，有效提高了模型的训练速度，另一方面，本技术既不需要设计过多的评价子模型，也不需要与对应的人脸识别模型耦合使用(即不受人脸识别模型的影响)，就可以得到能客观、准确地表征出人脸图像质量好坏的质量分数特征图，使得人脸图像质量评价更加快捷、简单。
[0046]
本技术的实施方式涉及一种人脸图像质量评价，如图3所示，包括：
[0047]
步骤201，将待测人脸图像输入到已训练好的特征提取模型和特征生成模型中，得到质量分数特征图。
[0048]
本实施例中，特征提取模型和特征生成模型通过上述实施例的模型训练方法获取，待测人脸图像的处理方法也与训练阶段相同，在此不做赘述。
[0049]
步骤202，根据待测人脸图像的质量分数特征图对待测人脸图像的待评价区域进行质量评价，得到待评价区域的质量分数。
[0050]
具体地说，由于质量分数特征图的像素值可以表示待测人脸图像对应像素点的质量分数，因此根据质量分数特征图中的像素值就可以对待测人脸图像的任何区域进行质量评价。
[0051]
在一实施例中，步骤202具体包括：获取待测人脸图像的待评价区域在质量分数特征图中的对应区域；将质量分数特征图中对应区域内像素值绝对值之和的平均值作为待评价区域的质量分数。
[0052]
本实施例中，由于质量分数特征图的尺寸与待测人脸图像的尺寸相同，因此可以在质量分数特征图中快速确定待评价区域的对应区域，然后计算对应区域内像素值绝对值之和的平均值，得到待评价区域的质量分数。比如：待评价区域为待测人脸图像的全部区
memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0063]
本领域的普通技术人员可以理解，上述各实施方式是实现本技术的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。