一种基于近红外人脸图像的Hog和Gabor特征高效融合快速人脸识别方法与流程

本发明属于模式识别和图像处理技术领域，具体涉及一种基于近红外人脸图像的hog和gabor特征高效融合快速人脸识别方法。

背景技术：

人脸识别作为一种重要的生物特征识别方法，在科学研究领域有极高的研究价值。人脸识别是人工智能的重要领域之一，涉及图像处理、模式识别、计算机视觉等多个研究领域，目前，其开发和运用成为国内外研究人员研究的重点和热点。

对于人脸识别的研究大致包括以下五个方面的内容：获取图像、人脸检测和特征点定位、人脸标准化、人脸特征提取、分类识别。其中特征提取是最重要的一个环节，特征提取的差异性从根本上决定了人脸识别方法的优劣。目前特征提取的算法可以分为：基于几何特征的人脸识别方法、基于统计特征的人脸识别方法、基于连接机制的人脸识别方法、基于神经网络的人脸识别方法等。不同的特征提取方法提取的特征类型侧重点有所不同，因此使用单一特征来表述人脸特征会使特征提取过程产生一定的局限性，所提取的对象信息不全面。为了高效且全面的对人脸图像所固有的特性进行提取并以简约的方式呈现出来，可以使用多特征融合的方法进行研究，从而得到人脸识别效率更高的算法，克服单一特征表述的局限性。尽管多特征融合方法在一定程度上提高了人脸识别效率，但特征融合过程也容易产生过高维数的新矩阵，导致在后续的分类识别过程中效率过低。

为了解决上述问题，我们首先对hog特征和gabor特征进行提取。hog特征描述符可以很好地捕捉轮廓信息，从而能够实现目标形状的描述，而且以局部单元为单位对目标进行处理可以在一定程度上减少几何形变和光学形变产生的影响；gabor变换能够增强图像边缘特征，从而可以强化人脸图像的某些关键部分的特征，并且gabor变换对光照和姿态也具有鲁棒性，还能够反映出人眼视觉系统的感知过程，提取出图像的局部特征和图像的频域信息。借助多特征融合方法可以实现全面信息抽取，比单个特征获取的信息更全面，效果更好。其次，使用nmf、lda进行两步降维提高效率，其中一次降维nmf能够大幅度降低存储空间和运算代价，显著提高效率，并且具有能在一定程度上抑制外界干扰的稀疏性；二次降维lda是有监督降维，可以使用类别的先验知识，选择分类性能最好的方向，能够高效的提取对分类有突出贡献的维度，并可以显著降低算法复杂度，缩短运行时间，更有利于分类识别。最后，使用knn进行分类识别，理论成熟，准确度高，时间复杂度低，保证了人脸识别过程的高效率。

技术实现要素：

本发明提供了一种基于近红外人脸图像的hog和gabor特征高效融合快速人脸识别方法，目的是提高人脸识别方法的识别率和识别速度，保证获取特征信息的全面性，有效提高特征表征效率，降低算法运行存储和耗时代价。

本发明的技术方案：

一种基于近红外人脸图像的hog和gabor特征高效融合快速人脸识别方法，步骤如下：

步骤1：对近红外人脸图像训练样本分别进行hog特征提取和gabor特征提取，获得两类特征矩阵；具体为：

(1.1)对近红外人脸图像训练样本进行hog特征提取：

首先，对近红外人脸图像训练样本进行图像灰度化和颜色空间归一化处理，所述颜色空间归一化处理的公式为：l(x1,y1)＝e(x1,y1)^γ，其中，l(x1,y1)为经过颜色空间归一化处理后的图像在像素点(x1,y1)处的像素值，e(x1,y1)为图像在像素点(x1,y1)处的灰度值，取值

然后，计算像素点(x1,y1)的水平方向梯度gx(x1,y1)和垂直方向梯度gy(x1,y1)：

gx(x1,y1)＝l(x1+1,y1)-l(x1-1,y1)

gy(x1,y1)＝l(x1,y1+1)-l(x1,y1-1)

进而，计算出像素点的梯度大小g(x1,y1)和梯度方向θ(x1,y1)分别为：

之后，将图像划分为大小相同的单元，为每一个单元构建梯度直方图，并将相邻的单元组合成块，进行梯度强度归一化；

最后，把所有块内的直方图向量组合起来，即形成hog特征向量，组合所有训练样本图像的hog特征向量构成训练样本hog特征矩阵vm×n；其中，n为训练样本图像数，m为hog特征提取后图像的维度，vm×n的每个列向量都是一幅m维的图像；

(1.2)对近红外人脸图像训练样本进行gabor特征提取：

首先，构建具有8个方向，5个尺度的40组gabor核函数：

其中，x,y分别为图像中某一点像素的横纵坐标值，u,v分别为空间方向和空间尺度调整系数；μ∈{0,…,7}对应8个不同空间方向，ν∈{0,…,4}对应5个不同空间尺度，取值δ＝2π；i为虚数单位；

然后，利用gabor核函数分别与训练样本图像进行卷积运算，每张人脸图像得到40个gabor特征图；所述卷积运算的公式为：

oμ,ν(x,y)＝i(x,y)*gμ,v(x,y)，其中，i(x,y)为输入的样本图像，oμ,ν(x,y)为gabor滤波后得到的gabor特征图；

之后，对同一空间方向不同空间尺度的gabor特征图进行融合，得到8个gabor特征图，将8个gabor特征图串联组合起来形成gabor特征向量；所述的融合公式为：

其中，bμ(x,y)为融合后gabor特征图；

最后，组合所有训练样本图像的gabor特征向量构成训练样本gabor特征矩阵其中，n为训练样本图像数，m1为gabor特征提取后图像的维度，的每个列向量都是一幅m1维的图像；

步骤2：利用非负矩阵分解法nmf分别对两类特征矩阵进行一次降维，获得两个一次投影变换矩阵；具体为：

(2.1)hog特征矩阵vm×n的一次降维：

首先，利用nmf方法分解hog特征矩阵vm×n：vm×n＝wm×k×hk×n，其中，wm×k为基矩阵，hk×n为系数矩阵；

那么，非负矩阵分解问题化为：

其中，e(w,h)为v与wh的欧氏距离；h为矩阵行标号；j为矩阵列标号；

迭代规则为：

其中，whk为基矩阵wm×k的第h行k列的元素值；hkj为系数矩阵hk×n的第k行j列的元素值；

经非负矩阵分解过程得到的矩阵wm×k，即为一次投影变换矩阵；

然后，将hog特征矩阵vm×n投影于wm×k空间上：

其中，vk'×n为一次降维后的训练样本hog特征矩阵，图像维度由m维降维至k维，完成训练样本hog特征矩阵vm×n的一次降维；

(2.2)与步骤(2.1)相同，完成训练样本gabor特征矩阵的一次降维，得到gabor一次投影变换矩阵及一次降维后的训练样本gabor特征矩阵u'k×n；

步骤3：利用两个一次投影变换矩阵，将降维后的hog特征与gabor特征进行串行特征融合，获取融合特征矩阵；所述融合特征矩阵的计算公式为：

步骤4：利用线性判别分析法lda对融合特征矩阵进行二次降维，获得二次投影变换矩阵和二次降维后训练样本的特征向量；具体为：

(4.1)利用lda方法计算确定最优投影矩阵：

首先，计算类内散布矩阵sw和类间散布矩阵sb：

其中，μp表示第p类样本均值，μa表示所有样本均值，图像样本中共c类人，每个人n张人脸图像；x(p,q)代表第p类人的第q张人脸图像的特征向量；

然后；利用类内散布矩阵sw和类间散布矩阵sb，通过fisher准则函数获得最优投影矩阵wlda：wlda＝[w1,w2,...,wr]；

其中，fisher准则函数为：

r为所需投影维数；w＝[w1,w2,...]用于构造fisher投影矩阵，使得jlda(w)最大，根据需求从w中选出r个特征值最大的特征向量组成矩阵wlda；

(4.2)将步骤3得到的融合特征矩阵m2k×n投影于r维的wlda空间上：得到二次降维后的训练样本特征向量rr×n，保证投影后的样本在新的空间有最大类间距离和最小类内距离，从而实现二次降维；

步骤5：对待检测近红外人脸图像测试样本提取hog特征和gabor特征；利用步骤2中获取的两个一次投影变换矩阵，分别对测试样本hog特征和gabor特征进行一次降维；利用步骤3的方法获得测试样本的融合特征矩阵；再利用步骤4中获取的二次投影变换矩阵对测试样本的融合特征矩阵进行二次降维，得到待检测人脸图像的二次降维特征向量；具体为：

(5.1)利用步骤(1.1)和(1.2)的方法得到测试样本hog特征矩阵和测试样本gabor特征矩阵其中n1为测试样本图像数，m为hog特征提取后图像的维度，m1为gabor特征提取后图像的维度；

(5.2)利用步骤(2.1)和(2.2)中获取的两个一次投影变换矩阵wm×k和分别对测试样本hog特征矩阵和gabor特征矩阵进行一次降维，得到一次降维后的测试样本hog特征矩阵以及一次降维后的测试样本gabor特征矩阵

(5.3)利用步骤3的方法获得测试样本的融合特征矩阵

(5.4)再利用步骤4中获取的二次投影变换矩阵wlda对测试样本的融合特征矩阵进行二次降维：

得到待检测人脸图像的二次降维特征向量

步骤6：利用最近邻算法knn基于训练样本的分布情况，对测试样本的二次降维特征向量进行分类识别；具体为：

(6.1)设二次降维测试样本特征向量的第z个列向量为αz，αz代表了二次降维测试样本中第z个个体的特征数据，计算αz与二次降维训练样本特征向量rr×n的每一个列向量β1,β2,...,βn间的欧氏距离ds(αz)：

ds(αz)＝||αz-βs||²，其中s∈{1,…,n}；

(6.2)查找与αz距离最小的二次降维训练样本个体特征数据，通过训练样本的分布得到该二次降维训练样本个体标签，即为二次降维测试样本中第z个个体的所属类别；

(6.3)对于二次降维测试样本特征向量的每一个列向量，均采用(6.1)至(6.2)的方法，获得二次降维测试样本中每个个体的所属类别。

本发明的有益效果：

1、信息全面

本发明采用的hog特征描述符可以很好地捕捉轮廓信息，从而能够实现目标形状的描述，而且以局部单元为单位对目标进行处理可以在一定程度上减少几何形变和光学形变产生的影响；采用的gabor变换能够增强图像边缘特征，从而可以强化人脸图像的某些关键部分的特征，并且gabor变换对光照和姿态也具有鲁棒性，还能够反映出人眼视觉系统的感知过程，提取出图像的局部特征和图像的频域信息。本发明借助融合hog特征和gabor特征实现了全面信息抽取，比单个特征获取的信息更全面，效果更好。

2、特征表征效率高

人脸识别系统最重要的研究内容之一就是能高效且全面的对人脸图像所固有的特性进行提取并以简约的方式呈现出来。为了克服单一特征表述的局限性，研究多特征融合的方法。多特征融合方法不仅能够获取hog和gabor特征信息，综合hog特征对轮廓信息描述力强和gabor特征擅长提取关键特征以及两类特征对几何形变、光学形变、光照和姿态鲁棒的优点，并将有效信息得到最大程度上的保留，去除冗余信息，使其实时处理能力得到优化。处理后得到的融合新特征与单特征相比能够大幅度地提高人脸识别率。训练过程中使用nmf、lda进行两次降维，其中一次降维nmf能够大幅度降低存储单元占用和运算代价，显著提高效率，并且具有能在一定程度上抑制外界干扰的稀疏性；二次降维lda是有监督降维，可以使用类别的先验知识，选择分类性能最好的方向，能够高效的提取对分类有突出贡献的维度，并可以显著降低算法复杂度，缩短运行时间，更有利于最后的分类识别。

3、算法运行的存储及耗时代价小

本发明采用的hog特征在一个大小统一的细胞单元上计算，具有计算量小、计算速度快、检测性能良好的优点；本发明对高维度且造成数据冗余的同一方向不同尺度的gabor特征进行融合，能够降低特征维数，提高人脸识别效率。此外，本发明使用非负矩阵分解(nmf)方法对过高的特征维数进行降维，提高运算效率，减少耗时代价。并且nmf方法通过多次迭代的方式计算基矩阵和系数矩阵，对存储空间的占用小。

附图说明

图1是一种基于近红外人脸图像的hog和gabor特征高效融合快速人脸识别方法的流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

step1：对近红外人脸图像训练样本进行hog特征提取：

首先，对近红外人脸图像训练样本进行图像灰度化和颜色空间归一化处理，所述颜色空间归一化处理的公式为：l(x1,y1)＝e(x1,y1)^γ，其中，l(x1,y1)为经过颜色空间归一化处理后的图像在像素点(x1,y1)处的像素值，e(x1,y1)为图像在像素点(x1,y1)处的灰度值，取值

然后，计算像素点(x1,y1)的水平方向梯度gx(x1,y1)和垂直方向梯度gy(x1,y1)：

gx(x1,y1)＝l(x1+1,y1)-l(x1-1,y1)

gy(x1,y1)＝l(x1,y1+1)-l(x1,y1-1)

进而，计算出像素点的梯度大小g(x1,y1)和梯度方向θ(x1,y1)分别为：

之后，将图像划分为大小相同的单元，为每一个单元构建梯度直方图，并将相邻的单元组合成块，进行梯度强度归一化；

最后，把所有块内的直方图向量组合起来，即形成hog特征向量，组合所有训练样本图像的hog特征向量构成训练样本hog特征矩阵vm×n；其中，n为训练样本图像数，m为hog特征提取后图像的维度，vm×n的每个列向量都是一幅m维的图像；

step2：对近红外人脸图像训练样本进行gabor特征提取：

首先，构建具有8个方向，5个尺度的40组gabor核函数：

其中，x,y分别为图像中某一点像素的横纵坐标值，u,v分别为空间方向和空间尺度调整系数；μ∈{0,…,7}对应8个不同空间方向，ν∈{0,…,4}对应5个不同空间尺度，取值δ＝2π；i为虚数单位；

然后，利用gabor核函数分别与训练样本图像进行卷积运算，每张人脸图像得到40个gabor特征图；所述卷积运算的公式为：

oμ,ν(x,y)＝i(x,y)*gμ,v(x,y)，其中，i(x,y)为输入的样本图像，oμ,ν(x,y)为gabor滤波后得到的gabor特征图；

之后，对同一空间方向不同空间尺度的gabor特征图进行融合，得到8个gabor特征图，将8个gabor特征图串联组合起来形成gabor特征向量；所述的融合公式为：

其中，bμ(x,y)为融合后gabor特征图；

最后，组合所有训练样本图像的gabor特征向量构成训练样本gabor特征矩阵其中，n为训练样本图像数，m1为gabor特征提取后图像的维度，的每个列向量都是一幅m1维的图像；

step3：利用非负矩阵分解法nmf分别对两类特征矩阵进行一次降维，获得两个一次投影变换矩阵；具体为：

(a)hog特征矩阵vm×n的一次降维：

首先，利用nmf方法分解hog特征矩阵vm×n：vm×n＝wm×k×hk×n，其中，wm×k为基矩阵，hk×n为系数矩阵；

那么，非负矩阵分解问题化为：

其中，e(w,h)为v与wh的欧氏距离；h为矩阵行标号；j为矩阵列标号；

迭代规则为：

其中，whk为基矩阵wm×k的第h行k列的元素值；hkj为系数矩阵hk×n的第k行j列的元素值；

经非负矩阵分解过程得到的矩阵wm×k，即为一次投影变换矩阵；

然后，将hog特征矩阵vm×n投影于wm×k空间上：

其中，vk'×n为一次降维后的训练样本hog特征矩阵，图像维度由m维降维至k维，完成训练样本hog特征矩阵vm×n的一次降维；

(b)与步骤(a)相同，完成训练样本gabor特征矩阵的一次降维，得到gabor一次投影变换矩阵及一次降维后的训练样本gabor特征矩阵u'k×n；

step4：利用两个一次投影变换矩阵，将降维后的hog特征与gabor特征进行串行特征融合，获取融合特征矩阵；所述融合特征矩阵的计算公式为：

step5：利用线性判别分析法lda对融合特征矩阵进行二次降维，获得二次投影变换矩阵和二次降维后训练样本的特征向量；具体为：

(c)利用lda方法计算确定最优投影矩阵：

首先，计算类内散布矩阵sw和类间散布矩阵sb：

其中，μp表示第p类样本均值，μa表示所有样本均值，图像样本中共c类人，每个人n张人脸图像；x(p,q)代表第p类人的第q张人脸图像的特征向量；

然后；利用类内散布矩阵sw和类间散布矩阵sb，通过fisher准则函数获得最优投影矩阵wlda：wlda＝[w1,w2,...,wr]；

其中，fisher准则函数为：

r为所需投影维数；w＝[w1,w2,...]用于构造fisher投影矩阵，使得jlda(w)最大，根据需求从w中选出r个特征值最大的特征向量组成矩阵wlda；

(d)将step4得到的融合特征矩阵m2k×n投影于r维的wlda空间上：得到二次降维后的训练样本特征向量rr×n，保证投影后的样本在新的空间有最大类间距离和最小类内距离，从而实现二次降维；

step6：对待检测近红外人脸图像测试样本提取hog特征和gabor特征；利用step3中获取的两个一次投影变换矩阵，分别对测试样本hog特征和gabor特征进行一次降维；利用step4的方法获得测试样本的融合特征矩阵；再利用step5中获取的二次投影变换矩阵对测试样本的融合特征矩阵进行二次降维，得到待检测人脸图像的二次降维特征向量；具体为：

(e)利用step1和step2的方法得到测试样本hog特征矩阵和测试样本gabor特征矩阵其中n1为测试样本图像数，m为hog特征提取后图像的维度，m1为gabor特征提取后图像的维度；

(f)利用步骤(a)和(b)中获取的两个一次投影变换矩阵wm×k和xm1×k，分别对测试样本hog特征矩阵和gabor特征矩阵进行一次降维，得到一次降维后的测试样本hog特征矩阵以及一次降维后的测试样本gabor特征矩阵

(g)利用step4的方法获得测试样本的融合特征矩阵

(h)再利用step5中获取的二次投影变换矩阵wlda对测试样本的融合特征矩阵进行二次降维：

得到待检测人脸图像的二次降维特征向量

step7：利用最近邻算法knn基于训练样本的分布情况，对测试样本的二次降维特征向量进行分类识别；具体为：

(i)设二次降维测试样本特征向量的第z个列向量为αz，αz代表了二次降维测试样本中第z个个体的特征数据，计算αz与二次降维训练样本特征向量rr×n的每一个列向量β1,β2,...,βn间的欧氏距离ds(αz)：

ds(αz)＝||αz-βs||²，其中s∈{1,…,n}；

(j)查找与αz距离最小的二次降维训练样本个体特征数据，通过训练样本的分布得到该二次降维训练样本个体标签，即为二次降维测试样本中第z个个体的所属类别；

(k)对于二次降维测试样本特征向量的每一个列向量，均采用(1)至(2)的方法，获得二次降维测试样本中每个个体的所属类别。

本发明在feret人脸数据库上进行人脸识别实验，共200人，每人六张人脸图像，其中1000张用于训练，200张用于测试。对于200张测试图像能够取得96％的识别率，检测一张人脸的时间为0.08s，既保证了识别率，又缩短了识别时间。

上述的具体实例对本发明所提供的一种基于近红外人脸图像的hog和gabor特征高效融合快速人脸识别方法进行了详细说明，以上所述实例并不限制本发明，而是帮助理解本发明的核心内容。对于本领域的专业人员，根据本发明的基本思想，在实施的过程中会有修改之处，这些改进均包含在本发明的保护范围之内。