基于智能三维人像采集的证件照生成检测方法及系统与流程

1.本发明属于人脸识别及证件照片检测技术领域，具体涉及一种基于智能三维人像采集的证件照生成检测方法及系统。


背景技术：

2.当今社会，证件照的应用非常广泛，身份证、求职简历、出国护照和驾驶证等常用证件都要求持证人提供符合规定标准的单人照片。传统证件照制作过程需要专业摄影师与专业修图人员花费较长的时间进行，因此一些软件公司开发了较为便捷的自助式证件照生成系统，即只需本人将人像照上传至系统，根据系统提示即可完成一系列制证与检测操作。
3.常见自助式证件照生成系统有美图秀秀、在线证件照、证照之星等，这些自助式证件照生成系统可极大改善传统证件照生成的效率问题。但现有系统中还存在有以下问题：
4.1)“美图秀秀”生成证件照的规格尺寸面向学历考试、财务会计等多种用途，同时提供美白、瘦脸、磨皮等证件照主观质量增强功能。但美图秀秀明确要求必须在纯色背景墙下进行人像拍摄，且主观质量增强功能需要用户手动完成。
5.2)“在线证件照”是基于客户-服务器形式的证件照生成平台，制证者通过网页上传源图像，选择尺寸规格，即可完成证件照的生成，但不提供证件照主观质量增强功能。
6.3)“证照之星”提供智能尺寸裁剪、证件照背景颜色替换等功能，但背景替换需手动涂鸦背景区域完成，效果往往不尽人意。
7.上述系统由于缺少源图像质量预检过程可能导致自助制证失败或生成证件照不符合相关制证标准；同时还存在智能化程度不高的操作无法达到高效率制证。


技术实现要素：

8.本发明的目的是：解决现有证件照生成系统或方法中存在的人像背景分割精度低、背景聚类抗噪能力弱的问题，提供一种基于智能三维人像采集的证件照生成检测方法及系统，使用人眼定位seetaface算法，针对人眼间距尺寸进行缩放后，按照证件照要求尺寸对人像进行定位完成裁切，极大的提高了人像裁切的速度和效率，在保证证件照质量的基础上，提高用户使用体验，进一步完善证件照生成过程，支持用户获得更高质量、更符合标准的证件照。
9.为实现上述目的，本发明采用了以下技术方案：基于智能三维人像采集的证件照生成检测方法，包括以下步骤：
10.s1、源图像的采集与身份信息核验：
11.采用华视100uc读卡器读取使用者身份证信息，并通过kinect sdk进行kinect dk相机的开发采集三维人像，通过检测尺度空间极值、关键点的精确定位与主方向分配进行sift特征匹配，完成源图像的识别及身份信息核验；
12.s2、源图像检测与修正处理：
13.读取步骤s1中核验通过的三维人像进行头部姿态检测，首先利用定位算法进行人
眼检测精准定位瞳孔位置，求解出两眼连线与水平方向所成的夹角，通过先验知识判断头部偏斜方向为左侧偏斜或右侧偏斜，并依据求解的旋转变换仿射矩阵对图像进行仿射变换修正；
14.s3、证件照图像的尺寸裁切：
15.依据证件照类型要求的标准人眼距离e
sd
确定步骤s2中修正后图像的缩放比例rs，对修正后的图像进行缩放，缩放比例rs的表达式为：式中，ed为修正后图像的人眼距离；
16.依据证件照类型要求的标准头顶距离y
st
、标准证件照的宽w
sd
和高h
sd
参数求解出位于裁切框左上角的裁切坐标(x
p
，y
p
)，对缩放后的图像进行自动裁切；裁切坐标(x
p
，y
p
)的计算公式为：y
p
＝y
t
*r
s-y
st
，式中，(x0，y0)、(x1，y1)分别为人眼左右坐标、y
t
为头顶距离；
17.s4、证件照图像的背景替换和人像美化：
18.采用基于麻雀算法优化的k-means算法分割步骤s3中自动裁切后的人像前景与背景，首先利用麻雀算法搜索全局最优聚类中心，将最优聚类中心点传递给k-means算法进行聚类，取背景聚类中心点进行掩膜操作后得到人像前景，选择颜色填充背景完成图像的背景替换；
19.采用双指数边缘保护平滑滤波器beeps滤波的方法对步骤s3中自动裁切后的人脸图像进行平滑操作，保留眼睛和边缘细节，对人脸进行美化；
20.s5、证件照图像的质量检测：
21.对步骤s4中背景替换和人像美化后的证件照图像分别进行色偏、清晰度和曝光度三类质量检测；色偏检测方法：将rgb图像格式转换为lab图像格式后，采用等效圆的偏色检测方法求解色偏因子k，k值不超过1.5认为整体图像色偏的可能性不大；
22.清晰度检测方法：将待评价图像先进行低通滤波得到模糊图片，计算待评价图像和模糊图片之间的结构相似度ssim，根据结构相似度ssim得到无参考图像的结构清晰度nrss，当清晰度nrss不小于1时认为整体图像清晰度合格；
23.曝光度检测方法：对输入图像作颜色空间的转换，由rgb空间转换到hsv空间，在v分量上利用像素均值进行曝光程度判断：若均值在40以上，则被判定为过度曝光；若均值在17以下，则被判定为曝光程度不足；其他为合格。
24.所述步骤s1中，检测尺度空间极值、关键点的精确定位与主方向分配的具体方法为：
25.s11、先搜索源图像上的所有尺度位置，一个图像的尺度空间定义为一个变化尺度的高斯函数与源图像的卷积，尺度空间l(x,y,σ)的理论公式为：
26.l(x,y,σ)＝g(x,y,σ)*i(x,y)，
27.式中，g(x,y,σ)为高斯函数，i(x,y)为源图像，(x,y)代表图像像素的位置，m、n表示高斯模版的维度，σ为尺度空间因子，越小表示图像被平滑的越少，相应的尺度就越小；
28.s12、通过上述尺度空间函数来识别对于尺度和旋转不变的关键点，再对图像进行
不同尺度的高斯模糊与降采样即隔点采样后，通过dog高斯差分金字塔函数进行局部极值检测，dog高斯差分金字塔函数的计算公式为：
29.d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i(x,y)＝l(x,y,kσ)-l(x,y,σ)，式中，k为比例系数；
[0030]
s13、对上述尺度空间的dog高斯差分金字塔函数进行曲线拟合提高关键点的稳定性，dog高斯差分金字塔函数在尺度空间的taylor拟合函数展开式为：
[0031]
式中，d
t
为d的转置矩阵，x
t
为x的转置矩阵，d(x)为关键点的精确位置；
[0032]
s14、针对在dog高斯差分金字塔函数中检测出的关键点，采集其所在高斯差分金字塔图像3σ邻域窗口内像素的梯度和方向分布特征，在完成计算后，使用直方图统计邻域内像素的梯度和方向，以直方图中最大值作为该关键点的主方向。
[0033]
所述步骤s1中，源图像的识别及身份信息核验的具体方法为：
[0034]
s15、分别对模板图reference image和实时图observation image建立关键点描述子集合，通过两点集内关键点描述子集合的比对来完成源图像的识别，具有128维的关键点描述子集合的相似性度量采用欧式距离，
[0035]
模板图中关键点描述子集合的表达式为：ri＝(r
i1
,r
i2
,
…
,r
i128
)，
[0036]
实时图中关键点描述子集合的表达式为：si＝(s
i1
,s
i2
,
…
,s
i128
)，
[0037]
任意两描述子集合相似性度量的表达式为：
[0038]
式中，i为关键点个数，j为维度，要得到配对的关键点描述子集合d(ri,si)需要满足：实时图中距离ri最近的点sj与实时图中距离ri最近的点s
p
的比值小于threshold，threshold为阈值；
[0039]
s16、关键点的匹配采用kd树的数据结构来完成搜索，搜索的内容是以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的源原图像特征点和次邻近的源图像特征点，完成身份验证。
[0040]
所述步骤s2中，源图像检测与修正处理的具体方法为：
[0041]
s21、利用定位算法进行人眼检测，返回人眼区域矩形框左上角坐标(x0，y0)值以及矩形框宽w和高h，计算得到瞳孔坐标(x1，y1)，其中，)，其中，依据瞳孔坐标计算出两眼连线与水平方向所成的夹角；
[0042]
s22、头部倾斜存在向左倾斜和向右倾斜两种情况，设左眼瞳孔坐标为a(xa,ya)，右眼瞳孔坐标为b(xb,yb)，在像素坐标系中，当左眼的横纵坐标都小于右眼的横纵坐标时，即xa＜xb，ya＜yb时，将图像按旋转角度逆时针旋转；当左眼的横坐标小于右眼横坐标且左眼纵坐标大于右眼的纵坐标时，即xa＜xb，ya＞yb时，将图像按旋转角度顺时针旋转；
[0043]
s23、先将两眼连线中心作为旋转中心平移至坐标原点，根据旋转角度进行旋转，最后再将坐标原点平移至旋转中心，求解仿射变换矩阵t，
[0044]
图像中任意一点(x,y)经仿射变换后记为(x',y')，矩阵仿射变换后的表达式为：
[0045]
将旋转中心点平移至坐标原点变换的平移变换矩阵m为：
[0046]
式中，center
x
为中心点x坐标，centery为中心点y坐标，
[0047]
将图像绕原点旋转θ角的旋转变换矩阵r为：
[0048][0049]
将旋转中心从坐标原点平移至原位置的旋转后平移矩阵m'为：
[0050][0051]
结合上式求解得到仿射变换矩阵t的表达式为：
[0052][0053]
s24、依据求解出的仿射变换矩阵，对图像进行矩阵运算完成旋转，将倾斜的头部自动旋转变换至正视前方。
[0054]
所述步骤s4中，采用双指数边缘保护平滑滤波器beeps滤波的方法对人脸图像进行美化，其算法流程为：对原图使用向前递归运算后，再使用向后递归运算，将结果按下式进行加权组合，得到人像美化操作；
[0055]
式中，为向前递归运算结果，φ[k]为向后递归运算结果，λ为加权系数。
[0056]
所述步骤s5中，色偏因子k的计算公式为：式中，d为平均色度，根据以像素为单位计算a、b位置上的色度平均值记为等效圆的中心坐标求取得到，c为色度中心，根据图像在a、b位置上的平均偏差计算得到。
[0057]
所述步骤s5中，清晰度的具体检测方法为：将待评价图像先进行低通滤波得到模糊图片，利用sobel算子提取待评价图像和模糊图片的梯度信息，定义待评价图像和模糊图片的梯度图像为g，找出梯度图像g中梯度信息最丰富的n个图像块，从而计算出结构清晰度
nrss的计算公式为：
[0058]
式中，ssim(xi,yi)表示为第i个图像块的相似性结构，(xi,yi)表示为第i个图像块的像素点集合。
[0059]
基于智能三维人像采集的证件照生成检测方法的检测系统，该系统包括用于源图像的采集与身份信息核验、源图像检测与修正处理的源图像采集与处理模块，用于证件照图像的尺寸裁切、背景替换和人像美化的证件照生成模块，以及用于证件照图像的色偏、清晰度和曝光度检测的证件照质量检测模块，其中源图像采集与处理模块采用华视100uc读卡器和kinect dk相机进行采集和处理工作，证件照生成模块和证件照质量检测模块基于存储器和处理器实现计算程序，用户在重置相机菜单中操作完成相机连接后，能够实现上述的方法步骤。
[0060]
本发明的有益效果是：
[0061]
1)本发明针对传统尺寸裁切方法中裁切时间较长，裁切效率较低的问题，提出使用人眼定位的裁切方法，相比于大多数基于图像分割的尺寸裁切方法在完成精确分割后，对分割好的人像进行处理，提取整个人像的边界，虽然分割较为精细但消耗时间过长，极大影响了用户的使用体验，因而本发明方法使用人眼定位seetaface算法，针对人眼间距尺寸进行缩放后，按照证件照要求尺寸对人像进行定位完成裁切，极大的提高了人像裁切的速度和效率，在保证证件照质量的基础上，提高用户使用体验，进一步完善证件照生成过程，支持用户获得更高质量、更符合标准的证件照。
[0062]
2)本发明通过对输入人像照片进行头部姿态检测，若头部有倾斜现象，则需要重新拍摄或者进行倾斜校正；对已经生成的标准尺寸的证件照做图像分割，将人体目标分割出来，设计并采用基于麻雀搜索算法(ssa)结合k-means方法的人像聚类算法，可以获得更精确的聚类分割精度，完成背景替换；生成证件照后系统对照片进行质量评价，包括：尺寸参数、清晰度、相机曝光程度、色偏和人脸高光区域检测等检测功能，方便快捷的验证证件照是否合格；以上方法能够改善源图像质量预检过程可能导致自助制证失败或生成证件照不符合相关制证标准，同时解决存在智能化程度不高的操作无法达到高效率制证的现状。
附图说明
[0063]
图1为本发明检测方法的总流程图；
[0064]
图2为本发明检测方法中源图像检测与修正处理的流程图；
[0065]
图3为本发明检测方法中证件照图像的尺寸裁切的流程图；
[0066]
图4为本发明检测方法中麻雀-k-means算法的流程图。
具体实施方式
[0067]
下面结合附图和具体实施例对本发明作进一步的解释说明。
[0068]
实施例：如图1所示，本发明提供一种基于智能三维人像采集的证件照生成检测方法，包括以下步骤：
[0069]
s1、源图像的采集与身份信息核验：
[0070]
采用华视100uc读卡器读取使用者身份证信息，并通过kinect sdk进行kinect dk
相机的开发采集三维人像，通过检测尺度空间极值、关键点的精确定位与主方向分配进行sift特征匹配，完成源图像的识别及身份信息核验；
[0071]
检测尺度空间极值、关键点的精确定位与主方向分配的具体方法为：
[0072]
s11、先搜索源图像上的所有尺度位置，一个图像的尺度空间定义为一个变化尺度的高斯函数与源图像的卷积，尺度空间l(x,y,σ)的理论公式为：
[0073]
l(x,y,σ)＝g(x,y,σ)*i(x,y)，
[0074]
式中，g(x,y,σ)为高斯函数，i(x,y)为源图像，(x,y)代表图像像素的位置，m、n表示高斯模版的维度，σ为尺度空间因子，越小表示图像被平滑的越少，相应的尺度就越小，小尺度对应于图像的细节特征，大尺度对应于图像的概貌特征；
[0075]
s12、通过上述尺度空间函数来识别对于尺度和旋转不变的关键点，再对图像进行不同尺度的高斯模糊与降采样即隔点采样后，通过dog高斯差分金字塔函数进行局部极值检测，dog高斯差分金字塔函数的计算公式为：
[0076]
d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i(x,y)＝l(x,y,kσ)-l(x,y,σ)，式中，k为比例系数在sift算子中取固定值1.15；
[0077]
s13、对上述尺度空间的dog高斯差分金字塔函数进行曲线拟合提高关键点的稳定性，dog高斯差分金字塔函数在尺度空间的taylor拟合函数展开式为：
[0078]
式中，d(x)为关键点的精确位置，d
t
为d的转置矩阵，x
t
为x的转置矩阵，代表相对插值中心的偏移量，当在任一维度上的偏移量大于0.5时，插值中心已经偏移到它的邻近点上，必须改变当前关键点的位置，同时利用子像素插值方法在新的位置上反复插值直到收敛，在此过程中获取关键点的精确位置d(x)；
[0079]
s14、针对在dog高斯差分金字塔函数中检测出的关键点，采集其所在高斯差分金字塔图像3σ邻域窗口内像素的梯度和方向分布特征，在完成计算后，使用直方图统计邻域内像素的梯度和方向，以直方图中最大值作为该关键点的主方向。
[0080]
源图像的识别及身份信息核验的具体方法为：
[0081]
s15、分别对模板图reference image和实时图observation image建立关键点描述子集合，通过两点集内关键点描述子集合的比对来完成源图像的识别，具有128维的关键点描述子集合的相似性度量采用欧式距离，
[0082]
模板图中关键点描述子集合的表达式为：ri＝(r
i1
,r
i2
,
…
,r
i128
)，
[0083]
实时图中关键点描述子集合的表达式为：si＝(s
i1
,s
i2
,
…
,s
i128
)，
[0084]
任意两描述子集合相似性度量的表达式为：
[0085]
式中，i为关键点个数，j为维度，要得到配对的关键点描述子集合d(ri,si)需要满足：实时图中距离ri最近的点sj与实时图中距离ri最近的点s
p
的比值小于threshold，threshold为阈值按经验取值为1.2；
[0086]
s16、关键点的匹配采用kd树的数据结构来完成搜索，搜索的内容是以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的源原图像特征点和次邻近的源图像特征点，完成身份验证。
[0087]
s2、源图像检测与修正处理：
[0088]
如图2所示，读取步骤s1中核验通过的三维人像进行头部姿态检测，首先利用定位算法进行人眼检测精准定位瞳孔位置，求解出两眼连线与水平方向所成的夹角，通过先验知识判断头部偏斜方向为左侧偏斜或右侧偏斜，并依据求解的旋转变换仿射矩阵对图像进行仿射变换修正；
[0089]
源图像检测与修正处理的具体方法为：
[0090]
s21、利用定位算法进行人眼检测，返回人眼区域矩形框左上角坐标(x0，y0)值以及矩形框宽w和高h，计算得到瞳孔坐标(x1，y1)，其中，)，其中，依据瞳孔坐标计算出两眼连线与水平方向所成的夹角；
[0091]
s22、头部倾斜存在向左倾斜和向右倾斜两种情况，设左眼瞳孔坐标为a(xa,ya)，右眼瞳孔坐标为b(xb,yb)，在像素坐标系中，当左眼的横纵坐标都小于右眼的横纵坐标时，即xa＜xb，ya＜yb时，将图像按旋转角度逆时针旋转；当左眼的横坐标小于右眼横坐标且左眼纵坐标大于右眼的纵坐标时，即xa＜xb，ya＞yb时，将图像按旋转角度顺时针旋转；
[0092]
s23、先将两眼连线中心作为旋转中心平移至坐标原点，根据旋转角度进行旋转，最后再将坐标原点平移至旋转中心，求解仿射变换矩阵t；
[0093]
s24、依据求解出的仿射变换矩阵，对图像进行矩阵运算完成旋转，将倾斜的头部自动旋转变换至正视前方。
[0094]
s3、证件照图像的尺寸裁切：
[0095]
依据证件照类型要求的标准人眼距离e
sd
确定步骤s2中修正后图像的缩放比例rs，对修正后的图像进行缩放，缩放比例rs的表达式为：式中，ed为修正后图像的人眼距离；
[0096]
依据证件照类型要求的标准头顶距离y
st
、标准证件照的宽w
sd
和高h
sd
参数求解出位于裁切框左上角的裁切坐标(x
p
，y
p
)，对缩放后的图像进行自动裁切；裁切坐标(x
p
，y
p
)的计算公式为：y
p
＝y
t
*r
s-y
st
，式中，(x0，y0)、(x1，y1)分别为人眼左右坐标、y
t
为头顶距离；
[0097]
尺寸裁切包括自动裁切与手动裁切两种裁切方式，自动裁切如图3所示，手动裁切则是通过与鼠标的交互，根据不同的证件照类型绘制不同类型的证件照裁切框。
[0098]
s4、证件照图像的背景替换和人像美化：
[0099]
如图4所示，采用基于麻雀算法优化的k-means算法分割步骤s3中自动裁切后的人像前景与背景，首先利用麻雀算法搜索全局最优聚类中心，将最优聚类中心点传递给k-means算法进行聚类，取背景聚类中心点进行掩膜操作后得到人像前景，选择颜色填充背景完成图像的背景替换；
[0100]
采用双指数边缘保护平滑滤波器beeps滤波的方法对步骤s3中自动裁切后的人脸
图像进行平滑操作，保留眼睛和边缘细节，对人脸进行美化，使得图像不丢失原有真实度；
[0101]
其算法流程为：对原图使用向前递归运算后，再使用向后递归运算，将结果按下式进行加权组合，得到人像美化操作；
[0102]
式中，为向前递归运算结果，φ[k]为向后递归运算结果，λ为加权系数。
[0103]
s5、证件照图像的质量检测：
[0104]
对步骤s4中背景替换和人像美化后的证件照图像分别进行色偏、清晰度和曝光度三类质量检测；色偏检测方法：将rgb图像格式转换为lab图像格式后，采用等效圆的偏色检测方法求解色偏因子k，k值不超过1.5认为整体图像色偏的可能性不大；
[0105]
色偏因子k的计算公式为：式中，d为平均色度，根据以像素为单位计算a、b位置上的色度平均值记为等效圆的中心坐标求取得到，c为色度中心，根据图像在a、b位置上的平均偏差计算得到。
[0106]
清晰度检测方法：将待评价图像先进行低通滤波得到模糊图片，利用sobel算子提取待评价图像和模糊图片的梯度信息，定义待评价图像和模糊图片的梯度图像为g，找出梯度图像g中梯度信息最丰富的n个图像块，计算待评价图像和模糊图片之间的结构相似度ssim，根据结构相似度ssim得到无参考图像的结构清晰度nrss，当清晰度nrss不小于1时认为整体图像清晰度合格；
[0107]
结构清晰度nrss的计算公式为：式中，ssim(xi,yi)表示为第i个图像块的相似性结构，(xi,yi)分别表示为第i个图像块的像素点集合。
[0108]
曝光度检测方法：对输入图像作颜色空间的转换，由rgb空间转换到hsv空间，在v分量上利用像素均值进行曝光程度判断：根据图像的曝光值，进而判别出图像的曝光程度，若均值在40以上，则被判定为过度曝光；若均值在17以下，则被判定为曝光程度不足；其他为合格。
[0109]
基于智能三维人像采集的证件照生成检测方法的检测系统，该系统包括用于源图像的采集与身份信息核验、源图像检测与修正处理的源图像采集与处理模块，用于证件照图像的尺寸裁切、背景替换和人像美化的证件照生成模块，以及用于证件照图像的色偏、清晰度和曝光度检测的证件照质量检测模块，其中源图像采集与处理模块采用华视100uc读卡器和kinect dk相机进行采集和处理工作，证件照生成模块和证件照质量检测模块基于存储器和处理器实现计算程序，用户在重置相机菜单中操作完成相机连接后，能够实现上述的方法步骤。
[0110]
本发明针对传统尺寸裁切方法中裁切时间较长，裁切效率较低的问题，提出使用人眼定位的裁切方法，相比于大多数基于图像分割的尺寸裁切方法在完成精确分割后，对分割好的人像进行处理，提取整个人像的边界，虽然分割较为精细但消耗时间过长，极大影响了用户的使用体验，因而本发明方法使用人眼定位seetaface算法，针对人眼间距尺寸进行缩放后，按照证件照要求尺寸对人像进行定位完成裁切，极大的提高了人像裁切的速度和效率，在保证证件照质量的基础上，提高用户使用体验，进一步完善证件照生成过程，支
持用户获得更高质量、更符合标准的证件照。
[0111]
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。