一种基于Gabor特征和稀疏表示的疲劳表情识别方法与流程

本发明属于图像处理技术领域，特别涉及一种疲劳表情识别方法，可用于疲劳驾驶，精神疲劳状态检测，导致亚健康的疲劳进行监督。

背景技术：

随着社会的发展加快，脑力劳动占据着绝大多数的比例，在如今高压的生活下，很容易导致人的精神疲劳。人的疲劳会导致人的工作能力降低，主要表现在注意力涣散、呆滞、健忘、头脑昏沉、一直打呵欠、眨眼频繁等。疲劳的这些表现特征会导致很多的负面影响。如何检测出一个人的疲劳程度，成为图像处理领域研究的热门问题。

稀疏编码来源于神经科学，是一种模拟哺乳动物视觉系统主视皮层v1区简单细胞感受野人工神经网络方法。该方法具有空间的局部性、方向性和频域的带通性，是一种自适应的图像统计方法。

根据以上特点，稀疏编码方法被广泛应用于图像处理领域中，各种基于稀疏表示的识别方法也被研究者提出和公开。稀疏编码方法的实现仅依靠自然环境的统计特性，并不依赖于输入数据的性质，因而是一种自适应的图像统计方法。

wright等人提出了基于稀疏表示的人脸识别算法，并且取得了很好的效果。稀疏表示方法中，字典的构建是最重要的，因为字典的好坏直接导致实验好坏。yang等提出费舍尔判别字典学习算法，其算法对字典添加了判别性，也在构建字典过程中考虑了编码的判别性。因为稀疏字典学习的方法并不需要提取特征，而且在少样本的情况下，就能保证很好的性能，故稀疏方法广泛应用于识别领域之中。

技术实现要素：

本发明为了解决如何利用稀疏表示分类算法来提高低分辨人脸疲劳表情识别精确度。为了能够有效提高低分辨率图像的人脸疲劳表情判断能力和识别性能,提出一种基于稀疏表示的低分辨率人脸疲劳表情的识别方法。并且为了进一步降低光照，噪声，以及人脸微变形对人脸疲劳表情识别的影响，将pca，gabor这几种人脸表情识别中常用的特征提取方法和稀疏表示相结合。

一种基于gabor特征和稀疏表示的疲劳表情识别方法，如图1所示，其特征在于：特征提取步骤，用于提取人脸疲劳表情的重要特征部分，从而对不同程度的疲劳表情进行描述；分析求解识别步骤，用于求解未知疲劳程度表情图的疲劳程度，从而对其进行判断；其中，特征提取是对于人脸图像提取gabor特征。

所述特征提取步骤具体为：

s1：对于人脸图像提取gabor特征，得到其纹理信息；

s2：对于提取的gabor特征，利用pca进行降维得到低维gabor疲劳图。

s3：构建gabor特征的超完备字典。

所述分析求解识别步骤具体包括：计算经过gabor滤波后的待识别图像的和训练图像的残差值，输出经过gabor滤波后疲劳表情的识别结果，训练字典中的各类疲劳图像与待识别图像的残差值最小所在的那类疲劳图像为最终的识别结果。

本发明的优点在于在基于稀疏表示的低分辨人脸疲劳表情状态识别中，超完备字典能准确地刻画出人脸疲劳表情图像信号的内在结构特征和及其本质属性，并且基于稀疏表示分类法能够使用尽可能少的特征数据来表达图像信息。同时gabor滤波器组对于描述人脸疲劳表情具有以下优势：

1.因为gabor滤波器的核函数工作方式和人的视觉神经细胞工作机理非常类似，所以当用2dgabor来对图像信息进行表述时，gabor图像不经能够包含图像的空间域信息还能包含有用的频率域信息。

2.gabor滤波器能够对输入的原始图像的局部信息进行描述，特别是边缘特征，并且在一定程度上对图像地旋转和变相有着很强的容忍度，并且削弱了噪声对图像的影响。

3.研究者和科研人员可以通过对gabor滤波器组的的参数调整来获取不同尺度和方向的图像特征信息，可以很方便地进行调整以得到最佳的特征组合。

4.在图像处理领域特别是在图像识别领域中，关照对图像处理和识别具有很强的干扰能力，以及gabor滤波对光照极其不敏感。本方法将gabor滤波和稀疏表示相结合，先对疲劳图像库tiredface中的每张疲劳表情图像用gabor小波进行滤波，将计算之后所得到的gabor特征向量作为疲劳表情图像中的最初始特征，从而减弱光照，噪声，以及人脸表情微变所带来的影响，然后再通过稀疏表示从而对gabor特征向量优化，建立一个稀疏并且能够准确反映疲劳表情特征和信息的向量用于分类识别。

附图说明

图1基于gabor特征和稀疏表示的疲劳表情识别步骤；

图2疲劳表情图及其gabor滤波器卷积的幅值响应；

图3各类表情图以及相应的gabor特征组合图。

具体实施方式

超完备字典构造：

将压缩感知理论应用在图像处理中，如何有效地构造图像信号的稀疏表示字典极为重要，而字典构造的核心原则是字典中的原子要尽可能完整地描述图像数据内在的结构特征。本文将稀疏表示应用在人脸疲劳表情特征中，超完备字典选择的是尽可能包含测试图像中所含有信息结构特征的训练图像样本集信息，稀疏表示也就是将疲劳表情的测试图像看作是训练图像集的一种线性组合，通过寻找测试图像的最稀疏解，提取到疲劳表情图像中足够稀疏并且能够有效的描述疲劳状态内在结构特征以及这些疲劳特征信息之间的关联性信息。

设待识别的目标类别集合c＝{c1,c2,…,cm}，可以用m维的向量来表征每幅低分辨人脸疲劳表情图像特征，其中每个已经标好类别的表情图像样本数分别是n1,n2，…nm，那么第ci类中的ni幅疲劳表情图像可以获得ni个m维的特征向量，为di1,di2,...,din，其中di将作为超完备字典中列集中的第i列，相应的矩阵为di＝[di1,di2,…,din]来自第ci类中的待识别疲劳图像t∈r^m可被看作是图像库中训练样本的线性组合，表示为：

t＝di1αi1,di2αi2,…,dinαin

其中，αij是系数，并且αij满足αij∈r,i＝1,2,…,m；j＝1,2,…,n

因为在分类的过程中，待识别的疲劳表情图像所属类别是未知的，因此，定义矩阵d为所有的已知类别中训练样本的特征向量构造，其表示为：

d＝[d1,d2,…,dm]

＝[d11,d12,…,din,…,dm1,dm2,…,dmn]∈r^m*n

其中，n＝n1+n2+…+n3,m＜n

所以，待识别的人脸疲劳图像的特征向量t∈r^m可以通过所有的已经标好类别的训练表情图像的线性组合表示而成：

tm×1＝dm×nαn×1+θm×1

在上式中，αn×1∈rⁿ表示系数向量；而θm×1为噪音向量。

稀疏表示模型的优化：

设集合d＝[d1,d2,…,dn]为超完备字典,其中的每个原子di＝(d1i,d2i,…,dmi)^t,i＝1,2,...,n,并且m<n。那么对于给定的列向量t可以表示为t＝dα+θ，其中α指的是系数向量。当满足m<n条件时，超完备字典中原子di线性无关，因此，变换后的系数向量并不具有唯一性。而稀疏表示目的是希望从所有的向量表示中选取最稀疏的一个向量表示。

根据压缩感知理论可以得知，对于给定的特定向量t＝(t1,t2,…,tm)具有零均值时，那么相应的超完备字典d＝[d1,d2,…,dn]中的元素都有零均值并且单位化的l2范数，即：

在实际情景中，我们必须考虑噪声，所以考虑噪声的稀疏表示模型为：

上式为最小化的l1范数，ε表示的是误差阈值。

计算得出的最优解αmin∈rⁿ，就是稀疏表示模型t＝dα+θ全部系数向量中最稀疏且最优化的解，用获得的尽可能少的稀疏系数准确地表达出疲劳表情图像特征向量的结构特征和信息。

人脸疲劳表情识别中的pca降维处理：

pca，主成分分析。用t维的特征矢量xi(i＝1,2,3,…,n)来表征n个人脸疲劳图像的样本，通过使用pca降维，可以找到相应的线性变换矩阵将原来维数较高的t维特征矢量投递到维数较低的f维的子空间中，其中，t＞＞f。在高维矩阵变换之前，首先对每一个的训练图像样本xi进行图像归一化处理得到矢量(该矢量符合n(0,1)正太分布)，然后将所有符合n(0,1)正太分布)的矢量组合起来构成一个新的矩阵其中q＝xx^t为协方差矩阵，通过λe＝qe求得协方差矩阵的特征矢量e，其中λ是特征值，将所求得到的特征矢量按照特征值大小排列，然后取前面f的特征矢量，得到t×f的变换矩阵wpca,从而新的特征矢量可以表征为

其中yi是具有f维列矢量，为wpca的转置，xi是t维列矢量。从上我们可以得知pca可以大幅度地降低原始图像的特征维数。

疲劳表情状态图像的gabor表示：

设i(z)为输入的一张人脸疲劳表情图，ψμ,v(z)为μ个方向v个尺度的gabor滤波器，那当人脸表情图像经过gabor滤波是，通过下面的公式进行计算：

为gμ,ν(z)＝i(z)*ψμ，ν

其中*是卷积运算符。{gμ,ν(z)|μ∈{0,1,2,3,4,5,6,7}，ν∈{0，1，2，3，4，5}}表示疲劳表情图对应的gabor表情图。对gabor滤波器进行上一节的参数设定即：μ＝8，v＝5，σ＝2π，kmax＝π/2，随机从疲劳图像库tiredface中选取一张疲劳表情图像，得到相应的的5个尺度8个方向的共40幅gabor疲劳表情图，如下图2所示。

gabor滤波器的响应特征可以从亮度，位置和边沿三个不同的角度进行表述：

亮度：因为gabor的核函数存在直流分量，消除了gabor滤波器的直流成分，减小了gabor小波对亮度的依赖性，在一定程度上可以减少光照变换对图像的干扰。

位置：卷积是对局部区域像素灰度值计算并且累加的最后结果，所以gabor小波变换系数值并不会像像素点一样随着位置的改变灰度值发生剧烈变换，gabor小波变换系数是连续平滑的变换，并且中心频率越小，效果越显著。

边缘：边缘特征是最能够反映图像边缘的灰度变化情况，具体来说：沿着边缘伸展方向灰度变化只是呈现出小幅度的波动变化，但是沿着边缘的垂直方向，灰度大幅度的剧烈变换，所以在整个疲劳表情图中，脸部轮廓，眉毛，眼睛，鼻子，嘴巴等是输出较强的部位，通过第三章的疲劳分析，我们知道，这些部位也正是对疲劳表情影响最大的部位。

为了直观的观测各种疲劳表情通过gabor滤波器特征之后的不同，在三类疲劳表情中分别选出一张表情图片进行gabor特征提取，选取的各类疲劳表情图以及gabor特征组合图如图3所示。由图3可知，gabor滤波器输出比较强的部位集中体现在人脸轮廓、眼睛、嘴巴以对疲劳表情识别影响较大的的位置，削弱了图像噪声和光照对疲劳图像识别结果的影响。

基于gabor特征的稀疏表示人脸疲劳表情状态识别：

在基于稀疏表示的低分辨率人脸疲劳表情识别中，我们所用的是特征只有人脸疲劳图像的整体特征，这样的表情图像的整体特征不能够非常有效地解决光照变换对疲劳表情识别带来的干扰问题、并且对图像噪声和图像的局部变形问题给图像识别所带来的负面影响也不能很好的进行消除，因为gabor特征能够很好地解决光照变换，图像噪声和图像的局部变形对疲劳图像识别的影响，将gabor特征和稀疏表示相结合来对人脸疲劳表情进行识别和判断。将上一节中的全局特征向量用gabor特征向量用w取代，基于gabor特征的疲劳表情稀疏表示为：

w(y)＝x(a1)α1+x(a2)α2+…+x(ak)αk＝x(a)α

其中x(a)是通过均匀采样的疲劳人脸gabor特征所的列向量所构成的，得到的基于gabor特征的稀疏表示。

算法具体步骤如下:

step1：输入:(1)从疲劳表情库tiredface中每类疲劳图像随机抽取20张作为超完备字典的训练样本，并且对已知的训练样本中的每一幅图像进行gabor小波变换得到相应的gabor特征图像x(a)∈r^m×n；(2)对疲劳表情库tiredface中总共剩余180张作为测试样本图像中的每一幅图像进行gabor小波变换得到相应的gabor特征图像w(y)。

step2：使用主成分分析(pca)分别将训练图像库中的疲劳表情gabor特征图像x(a)和待识别图像的gabor特征图像w(y)投影到相应的低维特征空间得到和

step3：对和进行归一化处理。

step4：求解l1模最小化：

满足条件或者满足

step5：计算经过gabor滤波后的待识别图像的和训练图像的残差值：

step6：输出经过gabor滤波后疲劳表情的识别结果：

identify(w(y))＝argmin[ri(w(y))]

训练字典中的各类疲劳图像与待识别图像的残差值最小所在的那类疲劳图像为最终的识别结果。

识别结果及其分析：

在基于gabor特征的稀疏表示人脸疲劳表情识别的研究中，我们同样选取经过肯德尔和谐系数所构建的可信度较高的人脸疲劳表情图像库tiredface进行实验。并在实验过程中对该疲劳图像库的10个人总共240幅图像构成的每个人3种不同程度的疲劳表情(清醒，疲劳，严重疲劳)进行相同的gabor滤波处理。同样采用了kfold法进行了交叉验证，在每类疲劳图像随机抽取了60张各类疲劳表情图像总共180张作为测试样本图像，而疲劳表情库tiredface中余剩下的各类疲劳图像库作为训练样本图像，总共行了538次实验，对其中的经过gabor滤波后的各类疲劳表情图像进行了字典学习。总体分类识别的准确率为96.1％,实验结果稳定。各类疲劳表情分类识别正确率的中值如表5所示。测试实验的各类疲劳表情图像的总体分类情况如表6。

表5.各类疲劳表情状态分类识别正确率的中值

表6测试实验各类表情图像的总体分类情况

在进行人脸表情特征提取时，使用gabor多方向特征融合的方法很好地保留了提取出的纹理信息，然后将pca降维的方法用在融合特征的特征选择上，降低图像信息的冗余度，同时有效地保留了融合特征的局部纹理特征信息。并将提取到人脸疲劳表情经过gabor滤波和pca降维后的特征表示与稀疏表示算法进行结合，进一步降低光照，噪声，以及人脸微变形对人脸疲劳表情识别的影响，识别效果较好，可以用作非入侵式的疲劳检测。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。