专利名称：一种人脸图像质量检测方法
技术领域：
本发明涉及人脸识别，尤其涉及一种在人脸识别过程中，对待识别的人脸图像的质量进行检测的方法，属于图像处理技术领域。
背景技术：
人脸图像质量评价的作用
在人脸识别系统中，待识别图像的质量严重影响系统匹配的精度。图像质量既包括图像本身的全局特性如亮度、对比度、分辨率等，也包括和人脸特征相关的属性，比如人脸图片中人脸的姿态、非对称光照等。低质量的图片可能是引起系统匹配错误的主要原因，也直接导致了很多系统无法在实际中使用。
人脸图像质量评估系统可以有效地改善由于输入图像质量过低引起的系统错误，它可以监视采集设备的输出图像和注册识别算法输入图像的质量。
图1给出了一个加入图像质量评估系统后的人脸识别系统框图，图像首先经过预处理并进行质量评估，当图像质量高于一定门限时才会被送到识别系统中进行识别，否则图像将被丢弃。
加入图像质量评估系统，可以带来如下好处
(1) 这种方式可以在某种程度上预防系统错误，对于大数据生物数据库还可以有效的节省匹配的时间。
(2) 在某些安全场合，当一些人比如罪犯故意不愿被系统识别的时候，质量评估系统可以给出报警。
(3) 人脸图像的质量分数也可以用来辅助识别算法，比如，当图像质量较低的时候，
系统可以自适应的降低匹配的阀值。
现有的人脸图像质量评价方法
图像质量评价法可以分为客观评价和主观评价。客观评价是用复原图像与原始图像的误差来衡量复原图像的质量，主要方法有方差、
4平均梯度、信息熵、均方误差(MSE)、峰值信噪比(PSNR)等。方差、平均梯度和信息熵三种都是对单幅图像自身进行的，主要反映受检图像自身的绝对质量。而对诸如复原、压縮、传输等过程中结果图像与原始图像间的相对质量评价一般采用均方误差和峰值信噪比。但用它们所求得的结果常与人们主观视觉效果不一致。
主观评价方法就是让观察者根据一些事先规定的评价尺度或自己的经验，对测试图像按视觉效果提出质量判断，并给出质量分数，所有观察者给出的分数进行加权平均,所得的结果即为图像的主观质量评价。
对人脸图像质量评估算法而言，输入是一幅人脸图像/，输出是相应的质量分数^(/),质量分数可以是一个标量或者向量。
LBP算子
原始的LBP算子是处理灰度伸縮和旋转不变的纹理分类的有效方法。对于图像中的每个像素，首先以该像素灰度值作为阈值，对其周围的8个相邻像素进行0，1编码(灰度大于等于该阈值为1，否则为0)，得到一个长度为8的二进制串，从而将该二进制串作为该像素的编码，如图2所示。
由于LBP图像并不包含原始图像的任何灰度信息，并且整个图像的平均亮度也是未知的，因此可以由LBP图像来估算原始图像得到重建图像。通过估算出每一个像素灰度的可能的最大值，然后估算出其可能的最小值，然后使用平均值来代表此点像素的灰度。就整体而言，图像重建过程中，得到像素灰度最大的重建图像iC^和像素灰度最小的重建图像
J min ，最终得到的重建图像/ 是i ,和i min的平均值。
假设原始图像为尸，P经过LBP变换后得到的图像为i:朋(尸)，M尸(尸)经过LBP逆变换得到的重建图像为及，则LBP重建的思路如下
1. 对原始图像iM故LBP变换得到LBP图像Z万P(P)。
2. 根据Z^户(P)计算灰度最大的重建图像W^:将/ _的所有像素的灰度预设为255;
对于每个像素，将其灰度由255以逐一减小，直到该像素的LBP编码等于LBP(P)中该像素的LBP编码为止，此时的灰度就是该像素点的最大灰度；
确定所有像素点的最大灰度后得到的图像即为灰度最大的重建图像iU 。
3. 根据Z^P(P)计算重建灰度最小的重建图像i^:首先将&, 的所有像素的灰度预设为0;
对于每个像素，将其灰度由0逐一增大，直到该像素的LBP编码等于LBP(P)中该像素的LBP编码为止，此时的灰度就是该像素点的最小灰度；
确定所有像素点的最小灰度后得到的图像即为灰度最小的重建图像& 。
4.得到重建图像及，W=L《n 。
发明内容
本发明的目的在于克服现有技术中存在的问题，提出一种人脸图像质量检测方法。
本发明通过以下指标检测人脸图像质量。
对称性
光照和姿态变化是导致目前大多数人脸识别系统性能下降的主要原因。本发明使用人脸对称性来评估由非对称光照和不正确的姿态带来的图片质量问题。人脸对称性可以基于一些图像局部特性来分析，可以对原始像素或者经过局部滤波以后的图像进行分析，因为局部滤波器可能更适合计算人脸的对称性。由光照和姿态变化引起的左右半边人脸的图像特征差异可以作为人脸图像不对称的一个局部度量。如果人脸图像是严格对称的，左右半
边图像特征的差异为o。
为了更有效的表示左右半边人脸对称性的差异，本发明通过在人脸图像(P)的LBP图像(丄BPCP))上，左右脸的局部直方图(//'和//")的距离来度量人脸非对称性，由于对齐存在一定的偏差，直方图距离比单纯的像素对比更能很好的表示左右脸的非对称性。直方图距离由下式表示
<formula>formula see original document page 6</formula>
上述"对称性"评价基于i^p(p),而下述"光照强度"和"对比度"评价标准则基于重建图
像/ 。采用及的理由如下
一幅灰度图像可以由其模式信息、对比度信息和灰度的平均值表示。由LBP复原出的
图像i 包含了原始图像的模式信息，而i 的对比度信息和灰度平均值信息则是人为加入的。由于/ 具有原始图像的模式信息，并且有可控的对比度信息和灰度平均值信息，所以可以作为一种优秀的标准图像，用于原始图像的评价。光照强度光照强度质量分数用来评价光照强度是否过亮或过暗。该分数可通过对未作归一化的 图像的灰度直方图来计算。在正常光照情形下，灰度直方图分布在一个较宽的区域中。在 非常暗和非常亮的光照条件下，灰度直方图通常被压縮在直方图的一侧。而LBP重建图像
的直方图却是集中在中间，假定/^为经过LBP变换和LBP重建后的重建图像及的直方图， 为原始图像i3的直方图。光照强度质量分数可由卡方来计算。
<formula>formula see original document page 7</formula>
对比度
对比度涉及到图像整体特征。在图像质量评价中，可通过计算像素的值来完成。如下 公式所示，其中，尸(x，力为原始图像户中位置为Oc,力的像素的灰度值，同理及O，力为LBP 重建图像W中位置为Oc，力的像素的灰度值，；为原始图像P的灰度的平均值，M和iV为 图像的宽度和高度。
清晰度
和上述三个指标不同，清晰度基于原始图像p。清晰度是指在人脸图像区域内大尺度 和小尺度两方面具有的清晰程度，釆用图像的梯度值来计算清晰度。如下公式所示，其中
Gp(;c，力表示原始图像P在点(x，力处的梯度值。
<formula>formula see original document page 7</formula>
图像总体质量
上述四个指标可以根据情况单独使用，或选择其中的一个或多个组合使用。特别地， 当组合使用多个指标时，还可使用"总质量分数"来整体评价一个人脸图像。各个因素的质 量法分数可以通过不同的方式结合在一起，组成最终的总体质量分数， 一个简单而又实用 的方法是使用加权和。如下公式所示，
其中，S"=i，"是归一化以后的各个质量分数的权值，在某些情况下，"也可以和现有技术相比，本发明的优势在于
1.主观评价使用LBP算子，完全忽略了光照的影响，充分表现了人脸的姿态变化； '2.客观评价采用LBP重建图像作为标准图像，该标准图像保留了人脸的姿态变化， 且能充分表达人脸图像的光照强度，对比度等。
图1表示人脸识别系统流程示意图； 图2表示LBP处理示意图； 图3a表示进行人脸图像质量评价的原始图； 图3b表示图3a的LBP图3c， d表示图3b的LBP图中左右脸的直方图。
具体实施例方式
下面通过具体实施例结合附图对本发明作进一步描述。 实施例1
本实施例实现对人脸图像的质量检测，包括下列步骤
a) 对原始人脸图像尸(图3a)作LBP处理得到LBP图像^LS尸CP)(图3b);
b) 由所述i^尸CP)得到左右脸的直方图W (图3c)和/^ (图3d)，计算
f(/f',ir)-Z(气—^ 2 ，若/(W,iT)的值在设定的阈值范围内，则户的质量符合要
求；否则，P的质量不符合要求，
c) 由丄BP(尸)作LBP逆处理得到重建图像i ;
d) 由所述尸和/ 计算？(^,//0 = 2(^1—5/ ,若72(// //尸)在设定的阈值范围
内，则所述人脸图像的质量符合要求；否则，P的质量不符合要求， 其中，/^表示i 的直方图，/T表示户的直方图。
e)由所述尸和7 计算C"^^VZ[iX;c,力-及(x，力f ，若C在设定的阈值范围
=0 "0内，则所述人脸图像P的质量符合要求；否则，P的质量不符合要求，
其中，尸(x,力表示尸中位置为(x,力的像素的灰度值，i (x,力表示^中位置为(;c，力的 像素的灰度值，^表示户的灰度平均值，M和iV表示p的宽度和高度。
M—2 W-2
f)由所述尸计算G-ZZ^0c,力，若G在设定的阈值范围内，则所述人脸图像尸的
质量符合要求；否则，P的质量不符合要求，
其中Gp(x,力表示P在点(x,力处的梯度值，M和iV分别表示尸的宽度和高度。
实施例2
本实施例对来自实时图像捕捉设备的人脸图像进行质量检测，包括下列步骤
a) 对原始人脸图像尸作LBP处理得到LBP图像Z5尸(尸)；
b) 由所述z朋cp)得到左右脸的直方图^和^，计算^0^,/0=^:(//:—"〔)2;
巧+可
c) 由所述Z万P(尸)作LBP逆处理得到重建图像i ;
d) 由所述尸和^ 计算/(//",//0=^;(51—57 ，其中，^表示w的直方图，^
表示P的直方J1 i;v-i T7tEIP",力—""，力]'其中，尸O,力表示尸中位 層SS
置为(x,力的像素的灰度值，i (;c,力表示W中位置为O:，力的像素的灰度值，^表示户的灰 度平均值，M和^分别表示P的宽度和高度；
f) 由所述P计算C^ZZG尸(Jc，力，其中G尸(x,力表示P在点Oc,力处的梯度值，M和
^分别表示P的宽度和高度；
g) 计算5fcore =[(1/8)' (//'，/r) ]+[(1/4). //尸)]+[(l/4).C]+[(3/8)'G〗，若Score在
设定的阈值范围内，则所述人脸图像P的质量符合要求；否则，户的质量不符合要求。
权利要求
1.一种人脸图像质量检测方法，包括下列步骤a)对原始人脸图像P作LBP处理得到LBP图像LBP(P)；b)由所述LBP(P)得到左右脸的直方图Hl和HR，计算<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msup> <mi>χ</mi> <mn>2</mn></msup><mrow> <mo>(</mo> <msup><mi>H</mi><mi>l</mi> </msup> <mo>,</mo> <msup><mi>H</mi><mi>r</mi> </msup> <mo>)</mo></mrow><mo>=</mo><munder> <mi>Σ</mi> <mi>i</mi></munder><mfrac> <msup><mrow> <mo>(</mo> <msubsup><mi>H</mi><mi>i</mi><mi>l</mi> </msubsup> <mo>-</mo> <msubsup><mi>H</mi><mi>i</mi><mi>r</mi> </msubsup> <mo>)</mo></mrow><mn>2</mn> </msup> <mrow><msubsup> <mi>H</mi> <mi>i</mi> <mi>l</mi></msubsup><mo>+</mo><msubsup> <mi>H</mi> <mi>i</mi> <mi>r</mi></msubsup> </mrow></mfrac><mo>,</mo> </mrow>]]></math> id="icf0001" file="A2009100854330002C1.tif" wi="51" he="10" top= "45" left = "134" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>若χ2(Hl，Hr)在设定的阈值范围内，则所述人脸图像P的质量符合要求。
2.如权利要求l所述的方法，其特征在于，所述步骤a)之后还包括步骤c) 由丄5尸(尸)作LBP逆处理得到重建图像i ;d) 由所述尸和及计算^(i/"，/T^S(^1—57 ,若？(i^,/^)在设定的闺值范围内，则所述人脸图像的质量符合要求；其中，/^表示i 的直方图，/T表示尸的直方图。
3.如权利要求l所述的方法，其特征在于，所述步骤a)之后还包括步骤:c)由Z5尸(尸)作LBP逆处理得到重建图像i ;e) 由所述户和i 计算c二i: ^^Z[尸o,力-i (x,力f ，若c在设定的阈值范围内，则所述人脸图像尸的质量符合要求；其中，尸(x,力表示P中位置为(x,力的像素的灰度值，i (x，力表示W中位置为(x,力的像素的灰度值，4表示^的灰度平均值，M和^表示尸的宽度和高度。
4.如权利要求l所述的方法，其特征在于，所述步骤a)之后还包括步骤f) 由所述尸计算( =2]2>^，力，若G在设定的阈值范围内，则所述人脸图像P的少=0质量符合要求；其中C^(;c,力表示户在点(;c,力处的梯度值，M和^分别表示P的宽度和
5. —种人脸图像质量检测方法，包括下列步骤a) 对原始人脸图像户作LBP处理得到LBP图像丄5户(尸)；b) 由所述丄5/>(尸)得到左右脸的直方图//'和/^，计算/(Z/',/T):Z(气-"2 ;C)由所述丄B尸CP)作LBP逆处理得到重建图像i ;d)由所述尸和及计算72(// //0 = 2(^;-57 ，其中，^表示i 的直方图，表示P的直方图；e) 由所述尸和i 计算C-丄ZZ[户0c,力-i (;c，力f ，其中，P(jc,力表示尸中位V MA^ 乂=0户0置为(;c,力的像素的灰度值，i Oc，力表示^中位置为(x，力的像素的灰度值，；表示尸的灰度平均值，M和^分别表示P的宽度和高度；f) 由所述/H十算C^2Z(^(x,力，其中(^(jc,力表示P在点O,30处的梯度值，M和^分别表示P的宽度和高度；g)计算&0" = ^",5,,若Scwe在设定的阈值范围内，则所述人脸图像户的质量符合要求；'=1其中《表示所述计算值/(/z',/r)、 /(/T,/T)、 c和G中的一项，^表示所述各个《的权重，且^> =。
全文摘要
本发明公开了一种人脸图像质量检测方法，属于图像处理技术领域。本发明方法包括对原始人脸图像P作LBP处理得到LBP图像LBP(P)；由LBP(P)中左右脸的直方图评价P的对称性；由所述LBP(P)作LBP逆处理得到重建图像R；由P和R评价P的光照强度和对比度；另外，由P通过图像的梯度值评价P的清晰度。上述四种评价方式可单独使用，也可赋予各自的权重计算加权和同时使用。本发明方法可用于在图像处理中检测采集图像的质量。其优势体现在完全忽略光照影响，充分表现人脸的姿态变化、光照强度、对比度等。
文档编号G06K9/00GK101567044SQ20091008543
公开日2009年10月28日 申请日期2009年5月22日 优先权日2009年5月22日
发明者封举富, 祝世虎 申请人:北京大学