一种户籍相片质量的检测方法及系统与流程

本发明实施例涉及图片检测技术领域，尤其涉及一种户籍相片质量的检测方法及系统。

背景技术：

户籍相片质量既包括相片本身的全局特性如亮度、对比度、分辨率等，也包括和人脸特征相关的属性，比如人脸图片中人脸的姿态、非对称光照等。低质量的图片可能是引起人口信息系统对外提供人像信息的鉴定，也直接导致了很多系统无法在实际中使用。户籍相片的质量检测，通常情况下，根据图像的大小、尺寸、色彩位数等图像的基本属性信息进行判断相片的质量是否合格。我国户籍相片质量标准依据ga-461二代身份证标准，并参照iso/iec19794-5等技术规范。在人脸识别系统中，待识别图像的质量严重影响系统匹配的精度。

目前，对于户籍相片质量的检测方式采用通过相片的大小、尺寸、色彩、分辨率等基础信息，综合二代证的标准信息来加权判定该照片是否合格。具体的，中国专利cn201710076464.4“一种人脸图像质量评估系统及方法”能够对人脸相关分类属性进行分类，但其使用传统的boosting算法识别性能较差，不能有效地对户籍相片中年龄、性别等属性信息进行分类。

因此，现在亟需一种新的户籍相片质量的检测方法来解决现有技术中存在的问题。

技术实现要素：

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种户籍相片质量的检测方法及系统。

第一方面本发明实施例提供一种户籍相片质量的检测方法，包括：

确定待检测的户籍相片中的人脸图像；

基于训练后的深度神经网络，计算所述人脸图像的综合质量分值，以确定所述待检测的户籍相片质量。

第二方面本发明实施例提供了一种户籍相片质量的检测系统，包括：

人脸图像识别模块，用于确定待检测的户籍相片中的人脸图像；

质量检测模块，用于基于训练后的深度神经网络，计算所述人脸图像的综合质量分值，以确定所述待检测的户籍相片质量。

第三方面本发明实施例提供了一种电子设备，包括：

处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述户籍相片质量的检测方法。

第四方面本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的户籍相片质量的检测方法。

本发明实施例提供的一种户籍相片质量的检测方法及系统，通过对黑白照片的检测、姿态评估及非人脸照片的检测，能够客观的检测现存户籍相片质量的基本信息，为相片质量的治理提供依据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种户籍相片质量的检测方法流程示意图；

图2是年龄数据样本中各年龄段的分布直方图；

图3是本发明实施例提供的一种户籍相片质量的检测系统结构示意图；

图4是本发明实施例提供的电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，现有技术中对于户籍相片质量的检测，更多的停留在浅层次的检测，只能通过相片的大小、尺寸、色彩、分辨率等基础信息，综合二代证的标准信息来加权判定该照片是否合格。但是这种层级较低的评价对户籍相片质量的检测并不准确。

针对上述问题，图1是本发明实施例提供的一种户籍相片质量的检测方法流程示意图，如图1所示，包括：

101、确定待检测的户籍相片中的人脸图像；

102、基于训练后的深度神经网络，计算所述人脸图像的综合质量分值，以确定所述待检测的户籍相片质量。

需要说明的是，本发明实施例提供的方法目的是通过处理户籍管理人口信息相片质量，为社会身份核查提供便民服务。实质上是一种对户籍相片的基本属性信息及姿态、色彩、人像评估算法进行综合分析，结构化户籍相片属性信息的质量检测方法。

具体的，在步骤101中，可以理解的是，待检测的户籍相片即本发明实施例的检测对象，可以是任意一张或多张相片，在户籍相片中都包含人脸图像，那么在本发明实施例中会对户籍相片进行人脸检测操作，识别其中的人脸图像。人脸检测操作主要包括人脸检测、眼睛定位，计算检测出人脸大小，从而能够有效对户籍相片进行解析，获取图像的基本属性信息。需要说明的是，在人脸检测过程中，本发明实施例会进行人脸遮挡识别、非人脸照片检测，从而确定人脸特征点定位并对人脸图像归一化方便后续的质量评估。

在步骤102中，本发明实施例利用了训练后的深度神经网络对人脸图像的质量进行检测评分。具体的，该深度神经网络会计算得到图像清晰度、图像锐度、图像均匀性、图像明暗程度、过曝光比例、欠曝光比例、人脸左右对称性、图像对比度、眼睛开闭、眼镜配戴情况、人脸姿态角度、人脸俯仰角度、人脸图像质量类型等质量影响因素，利用这些分值，计算出人脸综合质量分值，人脸综合质量分值的取值范围为[0,1]，该值越高，表示人脸图像质量越好。

可以理解的是，深度神经网络在图像检测、分割、分类等任务上表现优越，但是随着性能的提升，计算量也越来越大，为了能使人脸属性的模型能够应用在移动设备上和嵌入式等计算能力有限的设备上使用，本发明实施例采用了mobilenet做为基本的网络结构。mobilenet使用depthwiseconvolution和pointwiseconvolution取代原来的deepwiseconvolution，从而能够减少乘积的运算次数，同时能够达到几乎等同的卷积效果。

本发明实施例提供的一种户籍相片质量的检测方法及系统，通过对黑白照片的检测、姿态评估及非人脸照片的检测，能够客观的检测现存户籍相片质量的基本信息，为相片质量的治理提供依据。

在上述实施例的基础上，在所述基于训练后的深度神经网络，计算所述人脸图像的综合质量分值之前，所述方法还包括：

基于ordinalregression损失函数，对年龄参数进行训练，并基于softmax损失函数对其他参数进行训练，所述参数为所述深度神经网络中预设的关于所述人脸图像的多种属性。

由上述实施例的内容可知，本发明实施例需要训练一个深度神经网络完成图像质量检测，那么在该神经网络的训练过程，本发明实施例采用了两种损失函数进行训练，且两种神经网络分别针对不同的参数。其中一种是ordinalregression损失函数，其主要针对于训练年龄参数，另外一种是softmax损失函数，是用于训练其他参数。可以理解的是，参数是本发明实施例根据人脸图像的特征属性所标明的多个参数，包括：性别、表情、种族、眼镜等多种。

具体的，对于年龄的标签来说，它是一种有顺序的标签，比如，年龄1<2<3<...<100。那么在年龄预测中，本发明实施例使用了有序回归来进行预测。具体描述为：

假设年龄预测为100个类别(1到100)，因此最后一层的分类器的输出通道为200，每两个输出作为一个二分类器.例如对于训练数据形式为xi为输入图像，yi为对应的标签，对于第k个二值分类问题,训练数据为其中标签为年龄类别标签，将年龄的分类转换为100个子问题，即预测该样本的年龄是否分别大于i∈1,2,3,...,100岁，如果大于，则该子问题的分类器输出标签为1，否则为0，公式为：

最后根据所有的100个子问题的输出结果计算预测年龄，其计算公式为：

采用交叉损失熵，对于每个类别,赋予不同的权重损失函数为：

假设有t＝100个子任务，λ^t代表着第t个子任务的数据权重，也就是每个年龄数据量在总量中的比重，其计算公式为表示每一个二分类子问题中每个类别的权重，可以简单地设为1。然后再利用反向梯度传播来实现参数最优化。

对于其他属性所使用的softmaxloss损失函数，公式如下：

其中m是batch大小，n是分类器的类别数目，f(xi)是神经网络输出的特征,w∈r^n×d和b∈rⁿ是网络权重和全连接层的偏移项。

在上述实施例的基础上，所述方法还包括：

在训练过程中，若训练样本在各个区间段内数量不平衡，则通过重采样法或采样法，使得所述训练样本在各个区间段内数量平衡。

需要说明的是，本发明实施例在训练时会采用训练样本集，训练样本集可以来源于收集的数据库，并且在训练之前会使用特征点定位算法和三点归一化算法对图片进行归一化处理，从而提高训练效果。

可以理解的是，训练样本集会存在样本数量不平衡的问题，例如图2是年龄数据样本中各年龄段的分布直方图，如图2所示，年龄数据在各年龄段分布及其不均匀，数据量最多的年龄大约有19万，少的不足1万，为了解决这种样本类别之间不平衡的问题，本发明实施例对样本进行重采样法或采样法，使得所述训练样本在各个区间段内数量平衡，以年龄数据为例：

本发明实施例将[0-15]归为了一个类别，也即小于16岁的是一个类别；[61-100]归为一个类别，也即大于60岁的类别；中间[16-60]的每个年龄都做了一个类别，也即有46个类别。

对以上47个类别，分别通过重采样或者采样，以达到类别平衡。

那么对于其他属性的样本，如果包含的类别之间样本数量差比较大，本发明实施例仍然采样上述方法来达到样本类别平衡的目的。最后经过归一化和样本平衡处理后的，各种属性的训练数据量大致为：性别大约有110万，眼镜大约有8万，种族大约有117万，表情大约有5万数据，年龄大约有204万。

在上述实施例的基础上，所述方法还包括：

在训练过程中，基于caffe训练框架，以共享网络参数的形式进行训练。

所述在训练过程中，基于caffe训练框架，以共享网络参数的形式进行训练，包括：

基于预设的人脸识别预训练模型进行训练，其中所述人脸识别预训练模型用于只训练每种属性的分类器层；

微调深度神经网络中所有层级，以对训练过程进行优化。

由上述实施例的内容可知，本发明实施例训练过程中所用到的参数类别很多，那么在训练时本发明实施例采用了使用caffe训练框架并且共享参数的方式进行训练，并且在训练的时候还使用了一个人脸识别预训练模型，该人脸识别预训练模型也是基于mobilenet实现的。

具体的，首先本发明实施例会训练每种属性的分类器层，即模型参数对每个属性固定中间的网络预训练参数，只训练分类器层。然后微调所有的层级优化训练过程，即把多种属性的数据concat到一个batch里，在整个网络上进行微调。优化的具体过程可采用随机梯度下降法。

图3是本发明实施例提供的一种户籍相片质量的检测系统结构示意图，如图3所示，包括：人脸图像识别模块301以及质量检测模块302，其中：

人脸图像识别模块301用于确定待检测的户籍相片中的人脸图像；

质量检测模块302用于基于训练后的深度神经网络，计算所述人脸图像的综合质量分值，以确定所述待检测的户籍相片质量。

具体的如何通过人脸图像识别模块301以及质量检测模块302进行户籍相片质量的检测可用于执行图1所示的户籍相片质量的检测方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本发明实施例提供的一种户籍相片质量的检测系统，通过对黑白照片的检测、姿态评估及非人脸照片的检测，能够客观的检测现存户籍相片质量的基本信息，为相片质量的治理提供依据。

本发明实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：

图4是本发明实施例提供的电子设备的结构框图，参照图4，所述电子设备，包括：处理器(processor)401、通信接口(communicationsinterface)402、存储器(memory)403和总线404，其中，处理器401，通信接口402，存储器403通过总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：确定待检测的户籍相片中的人脸图像；基于训练后的深度神经网络，计算所述人脸图像的综合质量分值，以确定所述待检测的户籍相片质量。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：确定待检测的户籍相片中的人脸图像；基于训练后的深度神经网络，计算所述人脸图像的综合质量分值，以确定所述待检测的户籍相片质量。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：确定待检测的户籍相片中的人脸图像；基于训练后的深度神经网络，计算所述人脸图像的综合质量分值，以确定所述待检测的户籍相片质量。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行每个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。