模型如图4所示。在本发明的具体实施中，我们首先使用2000张 采集的人脸遮挡图像（既有眼部遮挡也有嘴部遮挡）作为正样本，2000张人脸非遮挡图像 作为负样本，提取图像的Harr特征，训练遮挡强分类器级联模型（见图4中左图）。接着， 我们使用1000张眼部遮挡图像作为正样本，1000张嘴部遮挡图像为负样本，训练不同遮挡 部位识别的强分类级联模型（见图4中右图）。测试图像通过两级级联分类器，可以准确判 断人脸的遮挡位置。
[0063] 上述技术方案中，步骤七中基于随机森林的关键点检测树模型，检测的关键点包 括：眼部关键点有8个（左眼4个，右眼4个），嘴部关键点有7个，共计15个检测点，表示
[0064] 上述技术方案中，步骤七中随机森林关键点检测树的构建方法（如图5所示）如 下：
[0065] 1.在ATM环境下采集3000张包括各种姿态表情和光照变化的人脸图像，按照右 偏、正脸、左偏把3000张图片分为3个数据集并手动标注人脸的关键点，将输入图片转化成 灰度信息，并归一化成480*360大小；
[0066] 2.在人脸框内扫描取样一组图像块X= [I」iGZ]，每个图像块大小为31X31， 形成训练集；
[0067]3.对训练集中的每个图像块构建信息]^= {x,t}，其中x={x\X2,…，x]表示 不同的特征通道，x1，x2表示灰度图像以及归一化灰度图像，x3,…，f表示32个Gabor滤波 图像，t= {V，t2,…，tN}表示的是图像块中心位置到N个（本发明中N取10)关键点的偏 移量；
[0068] 4?随机产生分裂池〇 = {FpF^c，〇}，为后面的二值函数分析做准备。其中，Fi 和&分别表示从图像块中随机取样的两个小图像块，c表示的是特征通道数，u表示的为 随机阈值； 「00691 5.从枏书点开始构律晡机树，生胳图像xi关入枏书古，枏抿书点的二值函数规 I _
_ )将图像块图 像输入下一层节点。如果y?(l)〈u，则输入下一层的左节点（进入的图像块记为込(〇))，y?(l)>u，则输入下一层的右节点（进入的图像块记为lK(o));
[0070] 6.选择分裂池中的〇,找到最大信息熵的参数〇作为该节点的分类信息；其 中：①*=argmaxIG，
[0071]
[0072]
[0073] 其中Ise{UK}(〇)表示到达节点i的图像块集，I表示其父节点的图像块集， P(zn|I)表示图像块I属于第n个关键点2"的概率；
[0074] 7.当到达最大的深度（本发明中取值为20)或者达到节点的图像块数到达某一阈 值（本发明中取值为20)，则创建叶节点，否则继续步骤5-6 ;
[0075] 上述技术方案中，步骤七基于随机森林的人脸关键点检测树的检测方法如下：
[0076] 1.对于输入图像，在检测到人脸的位置后，在人脸框内扫描取样一组图像块X= [IjiGZ]，每个图像块大小为31X31 ;
[0077] 2.依次将图像块Xi送入训练后随机森林关键点检测树模型，从根节点开始，直达 叶点结束。在每个内节点提取该节点的最优分裂信息〇%并基于二值函数规则确定下行路 径；
[0078] 3.根据训练后的树模型叶节点存储的投票信息，为关键点投票，投票规则如下：
[0079]
[0080] 其中，p(zn| 1)表示到达叶节点1的图像块L投票关键点Z，概率，I#Iu |I」 表示所有到达叶节点1的图像块数量。
[0081] 4.枏据投票信息，获得人脸的关键点位詈f(Vn):
[0082]
[0083]
[0084] 其中，表示每个叶节点的权重，K表示带宽为h的高斯核函数，yi为到达叶节点 图像块的中心位置，^表示到第n个特征点的偏移量的均值。
[0085] 上述技术方案中，面向ATM终端的部分遮挡人脸关键点检测方法最终检测结果如 图6所示。在图中灰色的方框表示人脸的位置，第一行样本为眼部遮挡样本，第二行样本为 嘴部遮挡样本，遮挡部位均精确识别。眼部或嘴部标注的点即为检测到的关键点。如图所 示，本方法能够精确的检测出各种姿态下遮挡位置以及非遮挡部分的关键点位置。
[0086] [1]Rahman,Z.u,D.J.JobsonandG.A.ffoodell. ^Multi-ScaleRetinexfor ColorImageEnhancement.〃InImageProcessing, 1996.Proceedings. ,International Conferenceon, 3, 1003_1006vol. 3, 1996.
[0087] [2]RainerLienhartandJochenMaydt.AnExtendedSetofHaar-like FeaturesforRapidObjectDetection,InternationalConferenceonImage Processing, 2002.
[0088] [3]Viola，PaulandMichaelJJones."RobustReal-TimeFace Detection.''InternationalJournalofComputerVision57,no. 2 (2004) : 137-154.
【主权项】
1. 基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，包括下列步 骤： 步骤一、当有用户插入银行卡的时候，采集人脸图像； 步骤二、将采集图像序列转化为灰度图，并归一化为480*360像素的图像； 步骤三、计算图像的方差值S，并判断其是否小于阈值e，若S〈e，则对图像进行多尺 度Retinex图像增强，提高图像的对比度； 步骤四、采用Haarcascade人脸检测算法，从图像中定位人脸具体位置； 步骤五、基于随机森林姿态估计树模型推测人脸姿态（左偏、正脸、右偏）； 步骤六、基于ViolaJones框架强分类器级联模型判断图像中人脸是否存在遮挡，并判 断遮挡类型属于眼部或嘴部遮挡； 步骤七、根据步骤五估计的人脸姿态，选择相应姿态的随机森林关键点检测模型，标定 未遮挡位置的人脸关键点。2. 根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其 特征在于，用户在插入银行卡的时候，系统实时采集人脸的图像。3. 根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其 特征在于，所述多尺度Retinex图像增强，所采用的图像方差S的阈值e=15,共采用N= 3个高斯环绕尺度，其值分别为％= 50,m2= 80,m3= 95。4. 根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法， 其特征在于，所述的通过随机森林方法估计ATM人脸姿态（正脸、左偏或右偏），训练集 由随机取样的人脸图像块构成。训练模型时对每个图像块Iie 采用特征信息Pi= 况，DD，其中{f/，f/，. . .，fj表示图像的多种特征通道，其中f/，f/表示的图像的 灰度值和归一化灰度值，f?，f/，. . .，f?表示经过32个Gabor滤波器组后的特征图像；Di ={DM，eie{UF，K}}，其中DM表不的是图像块的中心位置到鼻子的偏移量，e {L,F,E}表示的 是姿态标签。5. 根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其 特征在于，所述的通过随机森林方法估计判断ATM采集的人脸的姿态（正脸、左偏或右偏）， 各节点通过在图像块Ii中随机取样两个小块RJPR2及某通道特征fike{f/，f/，...，f，}， 随机产生分裂池= (9,t)，其中0 = {Hfj，t表示的是随机阈值。6. 根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法， 其特征在于，所述的通过随机森林方法估计判断ATM采集的人脸的姿态（正脸、左偏或右 偏），采用的节点的二值函数规则为1，如 果tJpXT(T表示的是随机阈值）则输入下一层的左节点，否则输入下一层的右节点。7. 根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其 特征在于，所述的通过随机森林方法估计判断ATM采集的人脸的姿态（正脸、左偏或右偏）， 采用的最优分裂规则为： argmaxIG，其中，rie{uK}表示的是到达左/右节点i的图像块集，r表示其父节点的图像块 集，P(e|r)表示图像块属于左（4)、正（eF)、右脸（eK)的概率。8. 根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其 特征在于，所述基于ViolaJones框架强分类器级联模型，包括两级级联模型，分别用于遮 挡检测与遮挡类型检测，两级级联模型均采用Haar特征。9. 根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其 特征在于，所述随机森林关键点检测模型仅仅检测未遮挡部位关键点，针对人脸姿态的不 同分别建立了正脸关键点检测模型，左偏关键点检测模型以及右偏关键点检测模型。
【专利摘要】本发明公开了一种基于随机森林的ATM终端部分遮挡人脸关键点检测方法，包括以下步骤：当银行卡插入ATM机时采集图像；通过多尺度Retinex增强方法提高灰暗图像对比度；采用Haarcascade人脸检测算法定位人脸；基于随机森林姿态估计树模型推测人脸姿态；通过Viola Jones框架判断人脸遮挡类型；根据估计的人脸姿态，选择随机森林关键点检测模型，标定未遮挡位置的人脸关键点。本发明通过基于随机森林的姿态预估计降低了姿态对人脸关键点检测的影响，通过遮挡部位自动识别及非遮挡部位关键点标记减弱了遮挡对人脸特征的影响，能够为基于ATM的遮挡人脸的身份识别提供高精度的人脸局部特征，提高人脸身份识别精度。
【IPC分类】G06K9/00
【公开号】CN104992148
【申请号】CN201510341519
【发明人】孔军, 孙凯传, 蒋敏, 杨韬, 高坤
【申请人】江南大学
【公开日】2015年10月21日
【申请日】2015年6月18日