一种基于分治策略的Huffman‑LBP多姿态人脸识别方法与流程

本发明涉及计算机模式识别技术领域，具体地说，是一种人脸识别方法。

背景技术：

近年来，人脸识别因其具有无侵犯性，运营设备低，交互力强等独特优点，而受到广大学者的关注，成为模式识别领域最为活跃的研究课题之一。目前，控制环境下的人脸识别技术已经非常成熟，取得了较高的识别率。然而，在实际应用中，人脸图像经常会伴随着姿态、光照、表情和遮挡等因素的影响，严重影响了人脸识别的精度，其中姿态变化是影响人脸识别走向实用化的瓶颈之一。

一些研究人员一直在致力于解决姿态变化下的人脸识别问题，并且已经取得了一些研究成果。基于3d技术的方法的主要思想是：通过评估深度信息和最小化重建差异的方式来拟合出2d人脸对应的3d人脸模型，再通过3d归一化的手段，重建出统一的人脸视图。其最具代表性的方法是3dmm，此类方法从造成姿态变化的根源—3d刚性变换着手，取得了好的识别结果，但是还存在一些缺点：需要大量的离线深度信息，扫描设备复杂，拟合过程困难等。相比3d方法，基于2d技术的方法更容易被实施和应用，2d方法大致可以分为三类，第一类的方法试图通过回归模型找出不同姿态图像之间的关系，此类方法的代表方法有：局部线性回归(locallylinearregression，llr)，正交procrustes回归(orthogonalprocrustesregression，opr)等。第二类的方法通过重建虚拟视图将不同姿态的人脸图像归一化为统一视图，以便可以使用传统的人脸识别算法进行识别，例如：马尔可夫随机场(markovrandomfields，mrfs)。此类方法重建的虚拟图像往往存在失真和扭曲现象，容易导致误识别。第三类的方法尝试在多姿态的人脸中提取姿态鲁棒的特征，比如：局部gabor二值模式(localgaborbinarypattern，lgbp)，弹性图匹配(elasticbunchgraphmatching，ebgm)，深度神经网络(deepneutralnetworks，dnn)等。

由于人脸的姿态偏转会造成图像像素无法对准的情况，所以基于全局的特征提取方法对姿态变化十分敏感，相比之下，局部的特征提取方法只作用在图像的一些孤立区域上，对姿态变化带来的影响有所缓解，在局部特征提取方法中，最具代表的就是局部二值模式(localbinarypatterns,lbp),lbp不需要精确的模式位置信息，而是用直方图的方式来统计局部区域内的特征信息，它对小于15°范围内的姿态偏转都具有一定的鲁棒性。但是lbp在计算过程中忽略了对对比度信息的评估，有时会造成重要纹理信息的丢失。

从2009年稀疏表达分类(sparserepresentationbasedclassification,src)被引入人脸识别领域以来，src因其对图像缺损和遮挡的鲁棒性而受到广大研究者的喜爱，近年来，一些研究者将lbp与src相结合，在一定程度上解决了字典的小样本问题，但是对于姿态变化下的识别问题，依旧是个难点。

技术实现要素：

本发明旨在解决以上现有技术的问题。提出了一种有效的提高了算法对姿态变化的容忍能力。本方法获得了较好的识别效果。本发明的技术方案如下：

一种基于分治策略的huffman-lbp多姿态人脸识别方法，其包括以下步骤：

101、获取人脸图像，并对人脸图像进行预处理，包括人脸检测和特征点标定；

102、再通过区域选择因子筛选出不同姿态的人脸图像中有益于识别的人脸区域；

103、构建huffman-lbp算子对所选择的有益于识别的人脸区域进行特征提取；

104、最终通过基于图像块的src融合分类策略对测试图像进行分类，得到最终人脸识别结果。

进一步的，所述步骤101所述对人脸图像进行预处理包括：

a1、使用基于树模型和稀疏编码直方图特征的方法对图像进行人脸检测，去除图像背景；

a2、利用多任务约束深度卷积网络(tasks-constraineddeepconvolutionalnetwork，tcdcn)对步骤a1中检测后的人脸图像进行特征点标定；

a3、去除人脸轮廓上容易随姿态变化而发生移位的标定点(人脸轮廓上的标定点)，并选择脸部器官周围的特征点作为兴趣点。

进一步的，所述步骤102：通过区域选择因子对不同姿态的人脸图像进行划分，并筛选出有益于识别的人脸区域，具体步骤为：

b1、通过连接鼻尖和眉心将人脸划分为左右两个人脸区域；

b2、根据步骤a2标定出的特征点，定位出双眼中心和两鬓的位置；

b3、根据区域选择因子公式，通过右眼中心到右鬓的距离l1以及左眼中心到左鬓的距离l2，求取区域选择因子rsf：

若说明左侧人脸区域对识别是有效的，所以左侧人脸区域中的特征将会被提取出来，用来表达人脸；若rsf>α，说明右侧人脸区域是有效的，右侧人脸区域中的特征将会被用来表达人脸；同样的，若整个人脸区域的特征将会被提取出来，用来表达人脸。

进一步的，所述步骤b2通过双眼轮廓上标定点的坐标，求取双眼中心的位置的公式为：

其中，xeyes_center和yeyes_center分别是待求取的眼睛中心的x轴和y轴的坐标，xeye_contours和yeye_contours分别是由眼睛轮廓上标定点的x轴和y轴的坐标组成的集合：xeye_contours＝{x1,x2...xn}，yeye_contours＝{y1,y2...yn}，n为眼睛轮廓上标定点的个数。

进一步的，所述步骤103中huffman-lbp算子的求取方法为：

c1、在中心像素灰度值为gc，半径为r的图像邻域中，分别求取p个周围像素gt与中心像素gc的灰度差值:gt-gc，t＝0,1,...,p-1，

c2、分别对由像素邻域中正负对比度值的绝对值组成的序列进行huffman编码：

其中index⁺＝{t|gt-gc≥0}＝{l1,l2,...ln},index^-＝{t|gt-gc<0}＝{k1,k2,...km}；

c3、根据公式(4)，通过huffman编码的长度length(c)，求取对比度的权重：

c4、根据公式(5)，求取中心像素的huffman-lbp特征值：

其中s⁺和s^-是阈值函数,定义如下：

进一步的，所述步骤103将所有人脸图像块的huffman-lbp直方图特征向量进行级联，形成特征池：右侧人脸：{vjj＝1,2,...,25}，左侧人脸：{vjj＝18,19,...,42}和完整人脸：{vjj＝1,2,...,42}，其中vj＝[h1,h2,...,hk]，j表示每个特征点的标号，hm表示图像块j中第m个小块的huffman-lbp直方图特征，k表示每个图像块中划分的小块的数量。

进一步的，所述步骤104中基于图像块的src融合分类策略，具体步骤为：d1、将从每个训练集图像的相同特征点上的图像块中提取得到的直方图特征向量组成独立的子字典：dm,dm+1...,dn，其中n-m是训练图像上图像块的数量，di＝[v1,i,v2,i,...,vp,i]，vj,i是第j类图像上第i个图像块的直方图特征向量，p是图像的类别数；

d2、通过区域选择因子对测试图像进行分而治之的表达(划分图像并筛选出对识别有益的人脸区域)，再通过huffman-lbp进行特征提取，形成特征池：{vs,vs+1,...,vz}，其中z-s是测试图像上提取的图像块的数量；

d3、二范数单位化vi和di的每一列，其中max(m,s)≤i≤min(n,z)；

d4、根据公式(7)求解出测试图像上每个图像块的稀疏表达系数：

subjectto||dix-vi||2≤ε(7)

d5、根据公式(8)求取每个图像块的残差向量：

其中j＝1,...,p，δj函数的功能是挑选出和第j类相关的稀疏系数；

d6、根据公式(9)将对由所有图像块的残差向量相加得到的扩增残差向量进行排序，得到最终的识别结果：

本发明的优点及有益效果如下：

本发明主要针对目前流行的基于虚拟视图重建的方法存在图像失真的缺陷，设计了一种不改变图像结构，不进行扭转和重建，整个识别过程都只在原始图像上进行的鲁棒的多姿态人脸识别方法。在特征提取阶段，huffman-lbp算子弥补了局部二值模式(lbp)的缺陷，利用huffman编码对图像邻域中对比度的权重进行了衡量，提高了算子对人脸局部纹理的表达能力，此外，人脸表达和分类过程中均借鉴了分而治之的思想，区域选择因子(rsf)被用来对不同姿态的人脸图像进行划分，从而确定出人脸中有益于识别的人脸区域，基于图像块的src融合分类的策略使得整个识别过程在对姿态变化较为不敏感的图像块上执行，有效的提高了算法对姿态变化的容忍能力。本方法获得了较好的识别效果。

附图说明

图1是本发明提供优选实施例基于分治策略的huffman-lbp多姿态人脸识别方法流程图；

图2是人脸预处理的流程图；

图3是通过区域选择因子(rsf)进行分而治之的人脸表达的过程；

图4是huffman-lbp算子的编码过程；

图5是人脸图像上特征点的标签位置展示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如附图1所示，一种基于分治策略的huffman-lbp多姿态人脸识别方法包括以下步骤：

1.如附图2所示，对输入图像进行预处理：

1)使用基于树模型和稀疏编码直方图的方法对训练图像和测试图像进行人脸检测，定位出人脸区域的位置，并去除掉干扰识别的图像背景；

2)利用多任务约束深度卷积网络(tasks-constraineddeepconvolutionalnetwork，tcdcn)对检测后的人脸图像进行特征点标定；

3)去除容易随姿态变化而发生移位的标定点(人脸轮廓上的标定点)，并选择脸部器官(眉毛、眼睛、鼻子、嘴巴)周围的特征点作为兴趣点。

2.如附图3所示，通过区域选择因子(rsf)对预处理后的图像进行分而治之的人脸表达：

1)通过连接鼻尖和眉心将人脸划分为左右两个人脸区域；

2)根据公式(1)，通过双眼轮廓上标定点的坐标，求取双眼中心的位置：

其中，xeyes_center和yeyes_center分别是待求取的眼睛中心的x轴和y轴的坐标，xeye_contours和yeye_contours分别是由眼睛轮廓上标定点的x轴和y轴的坐标组成的集合：xeye_contours＝{x1,x2...xn}，yeye_contours＝{y1,y2...yn}，n为眼睛轮廓上标定点的个数。

3)根据公式(2)，通过右眼到右鬓的距离l1以及左眼到左鬓的距离l2，求取区域选择因子(rsf)：

若说明左侧人脸区域对识别是有效的，所以左侧人脸区域中的特征将会被提取出来，用来表达人脸；若rsf>α，说明右侧人脸区域是有效的，右侧人脸区域中的特征将会被用来表达人脸；同样的，若整个人脸区域的特征被提取出来，用来表达人脸。阈值α通过实验训练得到。

4)在rsf所确定的有效人脸区域上以每个特征点为中心提取固定边长的图像块，并将每个图像块再次划分为互不重叠的图像小块。

3.通过huffman-lbp提取每个图像块的特征，编码过程如附图4所示：

1)在中心像素灰度值为gc，半径为r的图像邻域中，分别求取p个周围像素gt与中心像素gc的灰度差值:gt-gc(t＝0,1,...,p-1)；

2)分别对由像素邻域中正负对比度值的绝对值组成的序列进行huffman编码：

其中index⁺＝{t|gt-gc≥0}＝{l1,l2,...ln},index^-＝{t|gt-gc<0}＝{k1,k2,...km}

3)根据公式(5)，通过huffman编码的长度length(c)，求取对比度的权重：

4)根据公式(6)，求取中心像素的huffman-lbp特征值：

其中s⁺和s^-是阈值函数,定义如下：

5)将所有图像块的huffman-lbp直方图特征向量进行级联，形成特征池：右侧人脸：{vjj＝1,2,...,25}，左侧人脸：{vjj＝18,19,...,42}和完整人脸：{vjj＝1,2,...,42}，其中vj＝[h1,h2,...,hk]，如附图5所示，j表示每个特征点的标号，hm表示图像块j中第m个小块的huffman-lbp直方图特征，k表示每个图像块中划分的小块的数量。

4.采用基于图像块的src融合分类策略对测试图像进行分类，分类流程如下：

为了验证本发明的效果，进行了以下实验：

实验平台：i7处理器，8g内存的计算机。

编程软件：matlab2014b。

实验数据库：cmupie、feret。

实验方法：

1)在cmupie数据库上，以c27子集中的正面人脸图像作为训练集，分别以c37、c05、c29和c11子集中不同偏转角度的人脸图像作为测试集，测试了本发明的识别性能，此外，本发明的实验结果还与基于马尔科夫随机场(markovrandomfields，mrfs)的方法、局部线性回归(locallylinearregression，llr)以及特征光场(eigenlight-field，elf)进行了比较，对比结果如表1所示，可以看出，本发明在以不同姿态人脸作为测试集的情况下，识别性能都达到了最佳，且较其他方法更具有稳定性。

表1各个方法在cmupie数据库上的识别性能对比

2)在feret数据库上，以ba子集中的正面人脸图像作为训练集，分别以bc(40°)，bd(25°)、be(15°)、bf(-15°)、bg(-25°)和bh(-40°)子集中的人脸图像作为测试集，测试了本发明的识别性能，此外，本发明的实验结果还与基于形变位移场(morphabledisplacementfield,mdf)的3d方法、堆叠渐进式自动编码器(stackedprogressiveauto-encoders,spae)以及岭回归与gabor特征相结合的方法(ridgeregressionwithgaborfeatures，rrg)进行了比较，对比结果如表2所示，可以看出，本发明的识别性能在大多数情况下都要优于其他方法，虽然，在以bc子集中的图像作为测试集时，基于形变位移场的方法的识别率要高于本发明，但是需要注意的是，基于形变位移场的方法利用了3d信息，而3d信息的获取在实际应用中是比较困难的。

表2各个方法在feret数据库上的识别性能对比

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。