本发明涉及智能驾驶员驾驶姿态识别
技术领域：
，具体涉及一种基于图像金字塔局部二进制模式的疲劳表情识别方法。
背景技术：
：面部表情是一种最常见的非语言的表达情感的人际沟通手段，用于表达某些自身情绪或者说话人当前状态，例如喜、怒、哀、乐、疲劳等。随着机器学习与模式识别这两门学科的发展，越来越多纹理特征提取技术被应用于人脸检测、行人检测、面部表情检测中。现有的应用于人脸表情分类识别的方法包括：基于几何学的相关算法和考虑到皱纹等脸部的外观变化的基于外观的方法。基于几何学的典型代表算法为：asm(activeshapemodel),该算法虽然可以很好地处理测量不确定性、因遮挡和传感器错误导致的数据丢失，但是无法区分相似的表情。基于外观的方法的典型算法包括：方向梯度直方图(histogramoforientedgradients，hog)及其相关拓展算法、gaborwavelets及其相关拓展算法、局部二进制模式(localbinarypatterns，lbp)及其相关拓展。其中hog及其拓展算法利用分块分单元更好表述了局部像素间的关系并且可以图像因为抑制旋转平移带来的影响；但是描述子生成过程冗长，导致速度慢，实时性差；很难处理遮挡问题。由于梯度的性质，该描述子对噪点相当敏感。gaborwavelets及其拓展是目前识别率相对较高的算法，但是高计算复杂度和高数据冗余。局部二进制模式(localbinarypatterns，lbp)也是一项较好的进行纹理特征提取的方法。大量的实验表明，lbp的三种简化模式：等价模式(uniformpattern)、旋转不变模式(rotationinvariantpattern)、旋转不变等价模式(rotationinvariantpattern)可以在不降低识别率的基础上最大限度的简化计算复杂度以及数据冗余。此外，lbp特征还可以在低分辨率的面部图像稳定且鲁棒地执行。为了捕捉动态纹理信息，一些学者将lbp从二维扩展到三维空间，这种方法将时间轴的动态纹理信息考虑在内，并证明该方法对于图像的平移旋转具有不变性，但它们的基本假设是图像的纹理分辨率是固定的，实际上，通过人脸识别所得图像中的纹理块可以有不同的分辨率，且图像之间有分辨率的变化。而通常情况下，固定分辨率下的纹理信息不会有明显的区别。本方法中引入的金字塔阈的纹理特征提取方法plbp可以在图像纹理分辨率变化的状况下更好的识别疲劳表情。技术实现要素：本发明针对现有疲劳表情识别方法中以固定纹理分辨率为分析基础、牺牲计算复杂度来换取高识别率等缺点提供了一种基于图像金字塔局部二进制模式的疲劳表情识别方法。该方法不仅可以用于图像分辨率不固定的情况，而且对于图像的平移和旋转具有不变性，并且可以在不牺牲识别率的基础上(甚至有一些提升)极大限度的降低计算复杂程度以及数据的冗余程度。本发明的目的可以通过采取如下技术方案达到：一种基于图像金字塔局部二进制模式的疲劳表情识别方法，包括如下步骤：s1、自建疲劳表情库。该表情库中包括疲劳表情(打哈欠，点头，闭眼状态等)以及非疲劳状态的表情(喜怒哀乐等)。s2、利用人脸检测以及定位的方法获取面部区域。s3、对面部构建多尺度非固定纹理分辨率的金字塔模型。起始层数为原始图像，然后在金字塔中继续增加层次直到缩放图像的大小达到预先设定的最小值。连续层级之间的比例比一般设为a，a为正整数。s4、对金字塔每一层分别利用局部二进制模式(lbp，localbinarypatterns)进行纹理特征提取。s5、对疲劳特征进行分类训练与交叉检验。进一步地，所述的步骤s2中，面部区域的获取可以通过一些现有的人脸识别与定位的方法实现。例如，基于adaboost的人脸检测以及基于kalman滤波的人脸跟踪实现的。进一步地，所述的步骤s3中，对面部构建多尺度非固定纹理分辨率的金字塔模型，包括两个步骤：低通滤波和图像降采样。假设f(x,y)表示为原图像，金字塔的构造过程如式(1)：其中，gl(x,y)表示第l层图像；rx,ry分别表示x轴与y轴的降采样率，若rx,ry为非整数，则对图像进行插值；κ(x,y)为低通滤波器，本发明中，将以gaussian滤波器为例，假设该滤波器的x轴与y轴方向的标准差分别为：σx,σy，则有：进一步地，所述的步骤s4中，对金字塔每一层分别利用圆形局部二进制模式(lbp，localbinarypatterns)进行纹理特征提取。在本步骤中可采用局部二进制模式(lbp，localbinarypatterns)的四种模式：原始模式(originalpattern)、等价模式(uniformpattern)、旋转不变模式(rotationinvariantpattern)、旋转不变等价模式(rotationinvariantuniformpattern)，分别对每一层的图片进行特征提取、编码操作；进一步地，所述的步骤s4中的原始模式(originalpattern)指的是：假设截取某张图片的一个3*3窗口，该部分的灰度分布如附图中图2(a)所示。以中心灰度值作为参考，对周边进行二化处理，将比中心像素灰度值大的点设为1，小的点设为0即：t＝t(gc,g0,...,gp-1)≈t(s(g0-gc),...,s(gp-1-gc))(5)其中，t是纹理特征，gc是中心像素点灰度值，gi，i＝0,1,2,...,p-1是p个采样点的灰度，s是符号函数：则原始模式的lbp(localbinarypatterns)的值图2(a)所示，仿真中为了不受采样点数约束可以采用如图2(b)所示圆形局部二值模式，其中r为采样半径，r的大小决定了圆的大小；p为采样点数，反映了角度空间的分辨率：由上述描述可知，对于原始模式的lbp(localbinarypatterns)算子，二进制的模式种类n＝2p(其中p为采样点的个数)。进一步地，所述的步骤s4中的等价模式(uniformpattern)指的是：在原始模式的编码基础上将编码进行循环移右移1位操作，当某个局部二进制(lbp)所对应的循环二进制数从0到1或者从1到0最多有两次跳变时，该lbp所对应的二进制就称为一个等价模式。等价模式用u来度量：u≤2的所有模式被称为等价模式。因此可算得等价模式(uniformpattern)模式的个数为p(p-1)+2，p为采样点个数。进一步地，所述的步骤s4中的旋转不变模式(rotationinvariantpattern)指的是：当图像被旋转，灰度值gp和g0的相对位置将发生变化，而g0通常取中心gc的正右，坐标(0，r)，这会导致不同的局部二进制(lbp)值。但任何角度的旋转不影响，圆形对称邻域内0和1的相对位置关系，为了移除旋转获得唯一的lbp值，定义如下：其中，ror(x,i)执行将第x个采样点移动i次。即图像像素而言，就是将邻域集合按照时钟方向旋转很多次，直到当前旋转下构成的lbp值最小。这种做法也大大减小了lbp的模式值得数量。进一步地，所述的步骤s4中的旋转不变等价模式(rotationinvariantuniformpattern)指的是：融合旋转不变模式和等价模式可以得到旋转不变等价模式，可表示为：进一步地，所述的步骤s5中对疲劳特征进行分类训练与交叉检验：对于疲劳表情库中的图片(随机选取图库中75％的疲劳与非疲劳状态的图片)分别重复进行步骤s2-s4的操作。利用svm(supportvectormachine)对上述过程产生的特征编码进行分类训练。最后利用疲劳表情库中剩余的25％张图片进行检验。本发明相对于现有技术具有如下的优点及效果：1、本发明通过滤波和局部平均的方式预处理面部图像。若无滤波器预处理图片，由于选取的采样点是单独像素点而不是一个像素区域，故而会对噪声敏感，并且直接采样通常会产生混叠效应。被采样的图片经过滤波并进行局部平均后，邻域中的每个样本都可以从一个大的有效区域收集到的信息，而不是仅限于单个像素。2、本发明通过对面部构建多尺度非固定纹理分辨率的金字塔模型，使得参与训练与识别的图像将不再局限于固定的纹理分辨率，而可以直接使用变化分辨率的面部图像进行训练以及识别检测。3、本发明通过仿真局部二进制模式(lbp，localbinarypatterns)的四种模式：原始模式、等价模式(uniformpattern)、旋转不变模式(rotationinvariantpattern)、旋转不变等价模式(rotationinvariantuniformpattern)，可知：这四种模式的识别率相当，故而，可以选取后三种简化模式中的任意一种进行特征提取以降低模式数量以及数据的冗余。4、本发明还通过改变采样半径r与采样点数p的大小，验证的参数(r,p)如下表所示：第一层第二层第三层(4,16)(3,12)(2,8)(4,24)(3,16)(2,12)(4,32)(2,24)(2,16)经过实验表明半径r与采样点数p的选取对于识别率的影响不大，反而采样点数越多所进行的重复计算越多，时间复杂度越高。附图说明图1是本发明基于图像金字塔局部二进制模式的疲劳表情识别方法流程图；图2是lbp纹理提取，其中，图2(a)是lbp矩形纹理提取示意图，其中，左边中心像素为起始点，顺时针方向为正方向得到对应一个lbp编码(11001111)2；图2(b)是lbp圆形纹理提取，其中，正上方局域像素点为起始点，顺时针方向为正方向得到对应lbp编码为(11001111)2；图3是本发明经由高斯滤波前后的三层面部金字塔示意图，其中，图3(a)是本发明中金字塔第一层图像即原始人脸图像；图3(b)是本发明中横纵坐标分别缩小后金字塔第二层图像；图3(c)是本发明中横纵坐标分别缩小2后金字塔第三层图像；图3(d)是本发明中经滤波平滑后金字塔第一层图像即原始人脸图像；图3(e)是本发明中经滤波平滑后横纵坐标分别缩小后金字塔第二层图像；图3(f)是本发明中经滤波平滑后横纵坐标分别缩小2后金字塔第三层图像；图4是本发明中四种不同模式特征直方图，其中，图4(a)是本发明中原始模式下的特征直方图；图4(b)是本发明中旋转不变模式下的特征直方图；图4(c)是本发明中等价模式下的特征直方图；图4(d)是本发明中旋转不变等价模式下的特征直方图；图5是本发明中金字塔阈lbp与传统lbp的识别率比较图；图6是本发明中四种不同lbp模式的识别率比较图，其中，图6(a)是本发明中采用降采样率为2的3层金字塔时四种模式识别率比较图；图6(b)是本发明中采用降采样率为4的3层金字塔时四种模式识别率比较图；图7为本发明中采用不同降采样率以及不同金字塔层数下的识别率对比图，其中，图7(a)是本发明中本发明中在旋转不变模式下分别采用降采样率为2时3,4,5层金字塔以及当降采样率为4时的2,3层金字塔的识别率比较图；图7(b)是本发明中等价模式下分别采用降采样率为2时3,4,5层金字塔以及当降采样率为4时的2,3层金字塔的识别率比较图；图7(c)是本发明中旋转不变等价模式下分别采用降采样率为2时3,4,5层金字塔以及当降采样率为4时的2,3层金字塔的识别率比较图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例如图1所示，一种基于图像金字塔局部二进制模式的疲劳表情识别方法，包含以下步骤：s1、自建疲劳表情库。该表情库中包括疲劳表情(打哈欠，点头，闭眼状态等)以及非疲劳状态的表情(喜怒哀乐等)。s2、对疲劳表情库进行预处理。处理的过程为：基于adaboost的人脸检测以及基于kalman滤波的人脸跟踪。将上述两个步骤获取的面部区域隔离出来。s3、对面部构建多尺度非固定纹理分辨率的金字塔模型。首层为原始图像，然后在金字塔中继续增加层次直到缩放图像的大小达到预先设定的最小值。该过程包括两个部分：低通滤波与图像降采样。假设f(x,y)表示为原图像，金字塔的构造过程如式(1)：其中，gl(x,y)表示第l层图像；rx,ry分别表示x轴与y轴的降采样率，若rx,ry为非整数，则对图像进行双线性插值；κ(x,y)为低通滤波器，本发明中将以gaussian滤波器为例，假设该滤波器的x轴与y轴方向的标准差分别为：σx,σy，则有：为了简化计算，高斯滤波可以用对称加权矩阵来近似：式中涉及的加权矩阵w一般为如下形式，其中ω(m,n)为对称加权矩阵的第m行第n列对应的元素：本方法中，对于本步骤的中的参数有如下设置：(1)降采样率为：金字塔层数可设置为：3,4,5层；(2)降采样率为：rx＝2,ry＝2，金字塔层数可设置为：2,3层，对比结果如图7中图7(a)、图7(b)、图7(c)所示；s4、对金字塔每一层分别利用圆形局部二进制模式(lbp，localbinarypatterns)进行纹理特征提取。操作步骤如下：首先，以图片的左上角为坐标原点(0,0)选取一个block作为初始操作单元，本方法中对于金字塔不同层采用不同的初始block，例如第一层采用的是8*8大小的block作为初始的分块，以1为步长遍历整个人脸图片，随后，分别利用原始模式(originalpattern)、等价模式(uniformpattern)、旋转不变模式(rotationinvariantpattern)、旋转不变等价模式(rotationinvariantuniformpattern)对每一个block进行特征提取、编码操作，四种模式的操作过程如下：(1)原始模式(originalpattern)下的特征提取过程：将中心灰度值作为参考，对周边进行二值化处理，将比中心像素灰度值大的点设为1，小的点设为0即：t＝t(gc,g0,...,gp-1)≈t(s(g0-gc),...,s(gp-1-gc))(5)其中，t是纹理特征，gc是中心像素点灰度值，gi，i＝0,1,2,...,p-1是p个采样点的灰度，s是符号函数：则原始模式的lbp(localbinarypatterns)的值，本方法仿真过程中将采用如图2(b)所示的圆形局部二值模式，其中r为采样半径；p为采样点数。(2)等价模式(uniformpattern)操作过程：在原始模式的编码基础上将编码进行循环移位1位操作，当某个局部二进制(lbp)所对应的循环二进制数从0到1或者从1到0最多有两次跳变时，该lbp所对应的二进制就称为一个等价模式。等价模式用u来度量：u≤2的所有模式被称为等价模式。因此可算得等价模式(uniformpattern)模式的个数为p(p-1)+2，p为采样点个数。(3)旋转不变模式(rotationinvariantpattern)操作过程：当图像被旋转，灰度值gp和g0等的相对位置将发生变化，而g0通常取中心gc的正右，坐标(0，r)，这会导致不同的局部二进制(lbp)值。但任何角度的旋转不影响圆形对称邻域内0和1的相对位置关系，为了移除旋转获得唯一的局部二值模式(lbp)值，定义如下：其中，ror(x,i)执行将第x个采样点移动i次。即图像像素而言，就是将邻域集合按照时钟方向旋转很多次，直到当前旋转下构成的lbp值最小。这种做法也大大减小了lbp的模式值得数量。(4)旋转不变等价模式(rotationinvariantuniformpattern)操作过程：融合旋转不变模式和等价模式可以得到旋转不变等价模式，可表示为：s5、随机选取图库中75％的疲劳与非疲劳状态的图片)分别重复进行步骤s2-s4的操作。随后，利用svm(supportvectormachine)对上述过程产生的特征编码进行分类训练。最后利用疲劳表情库中剩余的25％张图片进行检验。图4中图4(a)、图4(b)、图4(c)、图4(d)表示了四种不同模式下，提取出的图片特征直方图的分布。从图5中可以看出，金字塔阈的lbp模式的平均识别率略高于传统模式lbp。从图6中图6(a)、图6(b)可以看出，采用原始模式(originalpattern)的平均识别率与其他的三种相对比，相当甚至于较低。图7中图7(a)、图7(b)、图7(c)比较了不同的采样半径以及降采样率、样本个数对于识别率的影响，从图中可以看到，随着样本数的增多，本方法的识别率越高，当采用的训练样本数为420时，平均识别率已经达到94％-95％，并且图像走势平缓。并且由实验可知，在本系统的设计中，对于小于200*360像素的面部图片来说，当采用以2为降采样率的4层金字塔时，平均的识别效果最好。上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。当前第1页12