自动人脸稽核方法、系统、设备及可读存储介质与流程
本发明涉及图像识别处理技术领域，特别涉及一种自动人脸稽核方法、系统、设备及可读存储介质。
背景技术：
随着移动设备和移动互联网的飞速发展，为了群众办事更加便捷和方便，许多政府平台和企业平台与时俱进，开始融合线下服务和线上服务。例如，各地方政府加快了线上政务服务平台的建设，手机运营商开通了线上营业厅等等。许多线上服务需要按照要求上传照片并存档留底，例如手机运营商移动、联通、电信的线上办理手机号的服务需要上传个人照片，身份证正面照片和身份证反面照片，天猫、淘宝等商城的自主申请开店铺的服务需要上传个人手持身份证的照片。现有的技术中，主要采用人工来对用户上传的个人照片进行审核判断。但是，依赖人工操作去审查用户上传的个人照片是否合规，是否人证合一等，不仅工作效率低，人工成本大，过程中不可避免的会产生人为误差，而且无法及时得给以用户反馈。
技术实现要素：
本发明要解决的技术问题是如何提供一种快速高效的自动人脸稽核方法、系统、设备及可读存储介质。
为了解决上述技术问题，本发明的技术方案为：
第一方面，本发明提出了一种自动人脸稽核方法，包括步骤：
人脸检测，通过级联式神经网络算法检测人脸矩形框的坐标及人脸关键点的坐标；
人脸质量评估、筛选，对多个人脸图片的质量属性进行人脸质量评估，筛选优质图片；
活体检测，利用双流式的卷积神经网络检测图片中是否为真人，过滤判定为非真人的图片；
人脸比对认证，提取图片的人脸特征向量，比对该图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，过滤相似程度低的图片。
优选地，在人脸检测之前，还包括过滤分辨率在阈值范围之外的图片。
优选地，在人脸检测之后，还包括：
滤除人脸矩形框大小占图片大小的比例低于阈值的图片；
滤除人脸两眼之间的间距低于阈值的图片。
优选地，在人脸检测之后，还包括：
人脸对齐，计算一图片的人脸关键点坐标与预存的标准人脸的关键点坐标之间的变换矩阵，并将所述变换矩阵作用于该图片，获得对齐后的人脸图像。
优选地，人脸比对认证的过程为：
提取所述优质图片，使用50层resnet神经网络输出512维度的浮点向量，记做人脸特征向量；
通过比对当前图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，公式为：
其中，si为当前图片的人脸特征向量，sj为标准图片的人脸特征向量；
若所述相似程度低于阈值，则判定为人证不统一；若所述相似程度高于于阈值，则判定为人证统一。
优选地，人脸质量评估使用的质量属性包括：人脸质量评估使用的质量属性包括人脸姿态、眼部状态、嘴部状态、妆容状态、整体亮度、左右脸亮度差异、模糊度、遮挡；
其中，人脸姿态、眼部状态、嘴部状态、妆容状态、模糊度及遮挡均采用mobilefacenet结构作为主体构建多任务卷积神经网络，多个任务输出分别对应人脸的各个质量属性。
眼部状态、嘴部状态、妆容状态及人脸遮挡为分类任务，采用softmax损失函数作为目标函数；
人脸姿态、图像的光照度、图像模糊度为回归任务，采用euclidean损失函数做为目标函数；
网络训练的总目标函数包括多个softmax损失函数和euclidean损失函数的组合，多个任务进行共同学习时，总目标函数为多个损失函数的线性组合。
优选地，活体检测的过程为：
采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；
将一人脸id预设帧数的rgb人脸图像和所述人脸深度图输入深度学习网络进行检测，获得每一帧图片的活体判断结果；
将该人脸id的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。
优选地，活体检测的过程为：
将人脸从原图中截取出，将rgb通道转换为hsv以及ycbcr空间，并将转换后的hsv和ycbcr图进行叠加，获得叠加图；通过sobel算子对人脸区域提取sobel特征，将获得的sobel特征图；
将一人脸id预设帧数的所述sobel特征图及所述叠加图分别从双流神经网络的两个输入通道输入，获得每一帧图片的活体判断结果；
将该人脸id的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，当判断为攻击的帧数多时，则认定对象为非活体。
第二方面，本发明还提出一种自动人脸稽核系统，包括：
人脸检测模块，通过级联式神经网络算法检测人脸矩形框及人脸关键点；
人脸质量评估模块，通过多个人脸图片的质量属性进行人脸质量评估，筛选优质图片；
活体检测模块，利用双流式的卷积神经网络检测图片中是否为真人，过滤无真人的图片；
人脸比对模块，提取图片的人脸特征向量，比对图片的人脸特征向量与预存证件照的人脸特征向量之间的相似程度，过滤相似程度低的图片。
第三方面，本发明还提出一种自动人脸稽核设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的自动人脸稽核方法的步骤。
第四方面，本发明还提出一种自动人脸稽核的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的自动人脸稽核方法的步骤。
本发明技术方案是一种结合了人脸检测、人脸质量分析、人脸活体检测以及人脸识别技术的自动人脸稽核方法。通过该方法审查用户上传的个人照片质量是否合规、是否为真人、是否人证合一。本技术方案中，个人照片质量是否合规主要考虑了图片中的人脸是否高质量、便于识别；活体检测主要考虑了照片是否为翻拍或者伪造；人证是否合一主要考虑了证件照和个人照片是否为同一个人。本发明实现了图片稽核的全自动化，无需人工操作，减少了人工成本，其算法稳定，减少了人工误差。此外每本发明使用级联式的图片过滤方式，速度较快。
附图说明
图1为本发明自动人脸稽核方法一实施例的步骤流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
参照图1，本发明提出了一种自动人脸稽核方法，包括以下步骤：
滤分辨率在阈值范围之外的图片，将竖直方向分辨率低于阈值或者水平方向分辨率低于阈值的照片则为图像分辨率不满足要求。本发明实施例中，将竖直方向分辨率低于640或者水平方向分辨率低于480的照片过滤删除。
s10：人脸检测，通过级联式神经网络算法检测人脸矩形框的坐标及人脸关键点的坐标。
使用级联式的神经网络算法，对图像中人脸框坐标和人脸关键点坐标进行预测。人脸框坐标是指包含人脸面部区域的矩形人脸框；人脸关键点坐标是指人脸面部区域的106个关键点的位置，覆盖到人脸面部区域的眉毛、眼镜、鼻子、嘴巴以及面部轮廓。
根据人脸框坐标计算出人脸框大小。当人脸占比大于阈值时，人脸占比不满足要求。本实施例中，当人脸占比大于0.4时，则认为人脸占整个图像的比例过大。
人脸占比＝人脸框大小/图像大小
根据人脸关键点，计算出两眼瞳孔的距离，即为两眼中心之间的像素数量。当两眼间距小于阈值时，两眼间距不满足要求。例如，当左眼和右眼的距离小于40时，两眼间距过小。
人脸对齐：针对每一个人脸，通过计算提取的人脸关键点坐标与标准人脸关键点坐标之间的变换矩阵，将变换矩阵作用于最初的人脸图像，得到对齐后的人脸图像。对齐后的人脸关键点坐标的分布更加趋于一致，人脸更正。
s20：人脸质量评估、筛选，对多个人脸图片的质量属性进行人脸质量评估，筛选优质图片。
人脸质量评估算法采用了深度学习和传统图像分析算法相结合的方式，实现了根据人脸图像的面部特征得到人脸亮度、左右脸亮度差异、绕y轴方向的人脸角度(yaw)，绕x轴方向的人脸角度(pitch)，绕z轴方向的人脸角度(roll)，表情分类，眼镜分类，口罩分类，眼睛状态分类，嘴巴状态分类，妆容状态分类，人脸真实度(该项区分的是石像雕像画像，cg人脸和真实人脸)，人脸模糊度，人脸遮挡度等质量属性。
其中，人脸亮度和左右脸亮度差异采用了传统算法，具体为将人脸图像的rgb三个通道根据一定的比例转成灰度图像，根据106个人脸关键点划分出人脸各个区域，根据人脸区域的灰度平均值计算人脸亮度，根据左右脸的灰度平均值计算左右脸亮度差异。
其它属性采用深度学习的方法实现，采用了轻量级的mobilefacenet结构作为主体来构建多任务卷积神经网络，多个任务输出分别对应人脸的各个质量属性。其中，眼部状态、嘴部状态、妆容状态、人脸遮挡、口罩分类等质量判断属于分类任务，采用softmax损失函数作为目标函数；人脸姿态角度、图像模糊度等属于回归任务，采用euclidean损失函数做为目标函数。网络训练的总目标函数为多个softmax损失函数和euclidean损失函数的组合，多个任务进行共同学习时，总目标函数为多个损失函数的线性组合。
计算softmax损失l：l＝-log(pi),
其中pi为每一个属性类计算出的归一化后的概率,即
计算euclidean损失l：
其中yi为真实的标签值，
在进行人脸质量评估之后，还需要进行人脸质量筛选，筛选的参考因素包括如下：
人脸占比：根据人脸框坐标计算出人脸框大小，当人脸占比大于阈值时，人脸占比不满足要求。例如：当人脸占比大于0.4时，人脸占整个图像的比例过大。
人脸亮度：人脸亮度应在合理范围内。例如：人脸亮度取值为0到1之间，合理的人脸亮度应大于0.3，小于0.8。
左右脸亮度差异：左右脸亮度差异应小于阈值。例如：左右脸亮度差异取值为0到1之间时，合理的左右脸亮度差异应小于0.4。
人脸姿态：绕y轴方向的人脸角度(yaw)，绕x轴方向的人脸角度(pitch)，绕z轴方向的人脸角度(roll)都应该在合理的范围内。例如，在±10°以内。
模糊度：模糊度应小于阈值。例如：模糊度取值在0～1之间时，人脸模糊度应小于0.6。
遮挡：若该人脸图被判定为五官和轮廓存在遮挡，包括戴墨镜或口罩，则过滤掉。
表情：若该人脸图被判定为夸张的表情，闭眼，张大嘴，则过滤掉。
真实度：真实度应大于阈值，若真实度偏小，则说明该人脸有可能是雕像人脸/动漫人脸等。例如：真实度取值在0～1之间时，人脸真实度应大于0.6。
按照上述要求过滤掉不符合质量要求的图片。
s30：活体检测，利用双流式的卷积神经网络检测图片中是否为真人，过滤判定为非真人的图片。
在进行活体检测时可使用以下两种方法：
第一种活体检测的过程为：
采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；
将图片的rgb人脸图像和所述人脸深度图输入深度学习网络进行检测，获得该图片的活体判断结果。
具体地，对图片进行活体判断的深度学习网络使用resnet作为基础网络，深度学习网络采用人脸图像和人脸深度图的双输入通道，两个输入分支在分别进行特征提取后，通过se-module对两个分支提取出的特征进行选择性激发融合，再经过数层卷积对融合后的特征进行特征提取，获得活体判断结果。
具体地，深度学习网络的目标函数为focal损失函数。
具体地，人脸关键点中眼睛和嘴角所有点的实际深度，计算这些点的实际深度的均值，取归一化上限为均值加上固定值，下限为均值减去固定值，将人脸区域深度归一化为像素值在0～255区间的灰度图。
对于实际深度大于上限和小于下限位置的灰度值置为0。
其中，归一化公式为：
其中，v为深度归一化后的灰度值，范围为0～255，dreal为人脸区域的实际深度，dmax为人脸实际深度的上限，dmin为人脸实际深度的下限。
第二种活体检测的过程为：
将人脸从原图中截取出，将rgb通道转换为hsv以及ycbcr空间，并将转换后的hsv和ycbcr图进行叠加，获得叠加图；通过sobel算子对人脸区域提取sobel特征，获得sobel特征图；
将图片的所述sobel特征图及所述叠加图分别从双流神经网络的两个输入通道输入，获得该图片的活体判断结果。
具体地，对于每一张输入的图像a，gx和gy分别与图像a做卷积得到agx,agy，之后输出图像ag，每一个像素的值为：
s40：人脸比对认证，提取图片的人脸特征向量，比对该图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，输出比对结果。
提取优质图片，使用50层resnet神经网络输出512维度的浮点向量，记做人脸特征向量；
通过比对当前图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，公式为：
其中，si为当前图片的人脸特征向量，sj为标准图片的人脸特征向量；
若相似程度低于阈值，则判定为人证不统一；若相似程度高于于阈值，则判定为人证统一。
本发明技术方案是一种结合了人脸检测，人脸质量分析的，人脸活体检测以及人脸识别技术的人脸稽核方法，审查用户上传的个人照片质量是否合规，是否为真人，是否人证合一。个人照片质量是否合规主要考虑了图片中的人脸是否高质量、便于识别；活体检测主要考虑了照片是否为翻拍或者伪造；人证是否合一主要考虑了证件照和个人照片是否为同一个人。本发明实现了图片稽核的全自动化，无需人工操作，减少了人工成本，其算法稳定，减少了人工误差。此外每本发明使用级联式的图片过滤方式，速度较快。
另一方面，本发明还提出一种自动人脸稽核系统，包括：
人脸检测模块，通过级联式神经网络算法检测人脸矩形框及人脸关键点；
人脸质量评估模块，通过多个人脸图片的质量属性进行人脸质量评估，筛选优质图片；
活体检测模块，利用双流式的卷积神经网络检测图片中是否为真人，过滤无真人的图片；
人脸比对模块，提取图片的人脸特征向量，比对图片的人脸特征向量与预存证件照的人脸特征向量之间的相似程度，过滤相似程度低的图片。
又一方面，本发明还提出一种自动人脸稽核设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述的自动人脸稽核方法的步骤。
再一方面，本发明还提出一种自动人脸稽核的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的自动人脸稽核方法的步骤。
本发明针对一些要求上传的图像需要符合某些规范要求的网站、应用，提供了一种基于深度神经网络的自动化人脸稽核方法和系统，本方法结合了人脸检测、人脸属性分析、人脸识别及活体检测，解决了人工操作所拥有的效率低，成本大，误差大等问题。该方法可有效使用于信息验证范畴，实现快速人脸过滤和人证比对。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！