基于随机森林的atm终端部分遮挡人脸关键点检测方法
【技术领域】：
[0001] 本发明属于机器视觉领域，特别涉及一种基于随机森林的ATM终端部分遮挡人脸 关键点检测方法。
【背景技术】：
[0002] 现有ATM视频监控系统属于被动防守型系统，主要作用是将监控视频录制下来， 在事件发生后，通过视频进行事后取证。这种被动防守型的方式可能耽误解决事件的最佳 机会，即使查实了证据，也无法挽回损失。
[0003] 随着我国经济的高速发展，ATM终端已经深入到人们生活之中。但社会治安情况 的日益复杂化，在ATM终端上的犯罪现象愈演愈烈。当前的形式已经迫切要求ATM安保领 域从传统的被动防守型向主动的积极防御方向转型。
[0004] 近年来，人脸智能识别技术已经能够保证识别率、识别速度、以及误识率和拒识率 等各项指标的优异性，通过实时捕获的人脸影像与银行系统预先采集的客户人脸信息进行 匹配，将为ATM终端的安全监控提供更实时智能的预警手段。但是，现有的成熟人脸识别技 术主要针对完整人脸进行识别，而针对ATM终端实施犯罪行为的人员往往会有意识地使用 口罩、墨镜等物体遮挡人脸，遮挡物引入的干扰使得现有基于人脸的信息匹配技术变得困 难。其次，视频监控图像背景复杂，人脸姿态多样，脸部关键点难以确定，进一步增加了人脸 的定位和身份识别的难度。
[0005] 本发明针对上述问题，基于ATM终端捕获的操作人影像，在遮挡人脸检测的基础 之上，进一步检测其人脸姿态，并对人脸未遮挡部位的关键点进行标定，从而为下一步的 智能人脸身份认证提供精准分析依据，降低由遮挡、姿态等引入的干扰，提高人脸信息匹配 的准确率。
【发明内容】
：
[0006] 本发明的主要目的是提出一种面向ATM终端的部分遮挡人脸关键点检测方法，在 准确检测人脸遮挡部位的同时，迅速、精准定位人脸未遮挡部位的关键点。
[0007] 为了实现上述目的，本发明提供如下技术方案：
[0008] 步骤一、当有用户插入银行卡的时候，采集人脸图像；
[0009] 步骤二、将采集图像序列转化为灰度图，并归一化为480*360像素的图像；
[0010] 步骤三、计算图像的方差值S，并判断其是否小于阈值e，若S〈e，则对图像进行 多尺度Retinex图像增强[1]，提高图像的对比度；
[0011] 步骤四、采用Haarcascade人脸检测算法[2]，从图像中定位人脸具体位置；
[0012] 步骤五、基于随机森林姿态估计树模型估计人脸姿态（左偏、正脸、右偏）；
[0013] 步骤六、基于ViolaJones[3]框架强分类器级联模型判断图像中人脸是否存在遮 挡，并判断遮挡类型属于眼部或嘴部遮挡；
[0014] 步骤七、根据步骤五估计的人脸姿态，选择相应姿态的随机森林关键点检测模型， 标定未遮挡位置的人脸关键点；
[0015] 与现有的技术相比，本发明具有以下有益效果：
[0016] 1.通过步骤五基于随机森林的姿态预估计，降低了姿态变化引入的干扰对人脸关 键点检测的影响，能有效提高人脸身份验证的准确度。
[0017] 2.通过步骤六基于ViolaJones框架的遮挡部位检测及步骤七中基于随机森林 的人脸关键点标定，为后续基于遮挡人脸的身份识别提供了高精度的人脸局部特征，进一 步降低了由遮挡引入的干扰对身份验证精度的影响。
[0018] 3.结合多尺度Retinex图像增强技术、基于随机森林的姿态估计模型、 Violajones遮挡判断方法及基于随机森林的多姿态关键点检测模型，共同构建了一个鲁棒 的遮挡人脸关键点检测方法。如图6所示，在眼部和嘴部遮挡下，本发明对不同姿态的人脸 都具有较好的关键点检测效果。
[0019] 因此，本发明在ATM终端安全监控以及智能人脸身份认证的应用中都具有广泛的 应用前景。
【附图说明】：
[0020] 图1本发明的方法流程图；
[0021] 图2多尺度Retinex图像增强效果图；
[0022] 图3基于随机森林的姿态估计树模型；
[0023] 图4基于ViolaJones框架强分类器级联模型的人脸遮挡检测模型；
[0024] 图5随机森林人脸关键点检测流程图；
[0025] 图6部分遮挡人脸关键点检测的结果图；
【具体实施方式】
[0026] 为了更好的说明本发明的目的、具体步骤以及特点，下面结合附图对本发明作进 一步详细的说明：
[0027] 参考图1，本发明提出的一种基于随机森林的ATM终端部分遮挡人脸关键点检测 方法，主要包含以下步骤：
[0028] 步骤一、当有用户插入银行卡的时候，采集人脸图像；
[0029] 步骤二、将采集图像序列转化为灰度图，并归一化为480*360像素的图像；
[0030] 步骤三、计算图像的方差值S，并判断其是否小于阈值e，若S〈e，则对图像进行 多尺度Retinex图像增强[1]，提高图像的对比度；
[0031] 步骤四、采用Haarcascade人脸检测算法[2]，从图像中定位人脸具体位置；
[0032] 步骤五、基于随机森林姿态估计树模型估计人脸姿态（左偏、正脸、右偏）；
[0033] 步骤六、基于ViolaJones[3]框架强分类器级联模型判断图像中人脸是否存在遮 挡，并判断遮挡类型属于眼部或嘴部遮挡；
[0034] 步骤七、根据步骤五估计的人脸姿态，选择相应姿态的随机森林关键点检测模型， 标定未遮挡位置的人脸关键点；
[0035] 上述技术方案中，步骤一图像采集动作由用户插入银行卡的行为触发，并保存触 发时刻T的图像。
[0036] 上述技术方案中，步骤三多尺度Retinex图像增强，所采用的图像方差S的阈值e =15〇
[0037] 上述技术方案中，步骤三多尺度Retinex图像增强效果图如图2所示。
[0038] 上述技术方案中，步骤三多尺度Retinex图像增强的方法为：
[0039] 1.读入输入图像Iin(x，y)，将图像的像素值转化为浮点数，并通过对数变换转换 到相应的对数域l〇g(Iin(x，y));
[0040] 2.设定N个高斯环绕尺度％￡ _，令亮度函美
[l..,/V])，求解i'i'Fn(x，y)dxdy=l，确定尺度参数人n，进而求出Fn(x，y);本发明中N= 3,mf50,m2= 80,m3= 95
[0041] 3.根据多尺度公式
y)]，，计算对数域输出图像r(X，y)。其中对应着每个尺度对应的权重（在本发 明中取值为^，其中，N取值为3)，Fn(x,y)为亮度函数；
[0042]4.通过指数变换将r(X，y)从对数域转换到实数域得到输出图像(X，y)，即增 强后输出图像。
[0043] 上述技术方案中，步骤五基于随机森林的姿态估计树模型（如图3所示）的构建 方法如下：
[0044] 1.在ATM环境下采集1000张包括不同姿态的人脸图像，，在人脸位置随机取样若 干图像块，构成训练集；
[0045] 2.在训练集中的每个图像块L中构建信息Pi=(fi,DJ，其中/；= {/i1,/?, 表示图像的多种特征通道，其中A/i2表示的图像的灰度值和归一化灰 度值，/i3,//' ...,/广表示经过32个Gabor滤波器组后的特征图像 i,dJei^ {L,F,E}^ ? 其中Di，d表示的是图像块的中心位置到鼻子的偏移量，e {L,F,E} 表;^的是姿态标签；
[0046] 3.随机产生分裂池d) = (e，T)，为后面的二值函数分析做准备，其中0 =，札和R2表示在图像块li中随机取样的两个小块（如图3所示）， #e{/i1,/?,…，/i"，，k为随机选择的特征通道，T表示的是随机阈值；
[0047] 4.从根节点开始进行随机树的构建，依次将训练集的图像块^送入根节 点，从随机池中随机选择节点分裂信息值巾，根据节点的二值函数规则=
存图像块输入下一层节点，如果tJpXT则输入 下一层的左节点，并令r\=r "（1\表示进入左节点的图像块集合），否则输入下一 层的右节点，并令rK=rKu"（1\表示进入右节点的图像块集合），记录当前的节点分 裂信息伞；
[0048]5.根据分裂池中的巾，及步骤4中的分裂规则，找到该节点最优分裂信息巾％即
[0050] 信息熵iG(<i>)最大。[0049] <})*=argmaxIG,
[0051]
[0052] 其中，rie{UK}表示的是到达左/右节点i的图像块集，r表示其父节点的图像 块集，P(e|r)表示图像块属于左（eJ、正（eF)、右脸（eK)的概率；
[0053] 6.按深度优先规则，对左右节点，重复步骤3~5。
[0054] 7.当节点到达最大的深度（本发明中取值为20)或者达到节点的图像块数小于某 一阈值（本发明中取值为20)，则创建叶节点，否则继续步骤3~6 ;
[0055] 上述技术方案中，步骤五基于随机森林姿态估计树模型的检测方法如下：
[0056] 1.对于输入图像，在检测到人脸位置后，在人脸框内随机的取样一组图像块；
[0057] 2.依次将图像块^送入训练后随机森林姿态估计树模型，从根节点开始，直达叶 点结束。在每个内节点提取该节点的最优分裂信息巾％并基于二值函数规则确定下行路 径；
[0058] 3.根据叶节点存储的投票信息，从而为人脸姿态投票；
[0059]
[0060] 其中，p(e|l)表示为到达叶节点1的图像块^投票姿态（左脸、正脸、右脸）的概 率；
[0061] 4.根据所有叶节点的信息选择ElP(e|l)最大的概率，作为人脸的姿态；
[0062] 上述技术方案中，步骤六引入ViolaJones框架[3]检测脸部遮挡。基于Viola Jones框架强分类器级联