本发明涉及汽车安全辅助、深度学习，人工智能生物特征识别等技术领域，特别是涉及一种智能行车驾驶员疲劳预警系统。
背景技术：
目前，在科技飞速发展的今天，人工智能深度学习同时在迅猛发展而且得到了广发关注，汽车驾驶正朝着智能化、安全化方向发展，作为汽车辅助驾驶的关键技术，对驾驶员的疲劳检测技术也越来越受研究人员的重视。
疲劳驾驶是造成交通事故的主要因素之一。根据世界卫生组织的报告显示，每年交通事故中死亡人数进万人，直接经济损失达上百亿美元。根据交通事故统计，超过30％的公路交通事故和15％～20％的铁路交通事故与疲劳驾驶有关，疲劳驾驶严重威胁着人们的生命和财产安全，检测驾驶员是否是疲劳驾驶，并进行及时预警，将有效地减少因疲劳驾驶而造成的道路交通事故，因此，研究疲劳驾驶检测技术，对改善道路交通安全具有重大意义。
但是，现有的疲劳驾驶检测方法，准确性差，无法准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，无法为驾驶员安全驾驶车辆提供有力的保障。
因此，目前迫切需要开发出一种技术，其可以准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，从而及时发出预警提示，为驾驶员安全驾驶车辆提供有力的保障。
技术实现要素：
有鉴于此，本发明的目的是提供一种智能行车驾驶员疲劳预警系统，其可以准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，从而及时发出预警提示，为驾驶员安全驾驶车辆提供有力的保障，满足人们对安全驾驶的迫切要求，提高人们的生活品质，具有重大的生产实践意义。
为此，本发明提供了一种智能行车驾驶员疲劳预警系统，包括：
人体视频图像采集模块，用于采集驾驶员人体图像，并在执行预处理操作后，将经过预处理的所述驾驶员人体图像发送给人脸检测模块；
人脸检测模块，与人体视频图像采集模块相连接，用于检测所述人体视频图像采集模块发来的所述驾驶员人体图像，获得所述驾驶员人体图像中包含的驾驶员人脸图像，然后发送给眼睛和嘴巴检测模块；
眼睛和嘴巴检测模块，与人脸检测模块相连接，用于对所述人脸检测模块发来的驾驶员人脸图像进行检测，获得所述驾驶员人脸图像中包含的眼睛和嘴巴边缘轮廓图像特征，并获得所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度；
疲劳参数提取模块，与眼睛和嘴巴检测模块相连接，用于根据所述眼睛和嘴巴检测模块发来的所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度，获得眼睛和嘴巴的张开度分别占预设的驾驶员标准总体眼睛大小和标准总体嘴巴大小的百分比，并将该百分比分别作为眼睛和嘴巴的疲劳参数，然后发送给疲劳判断报警模块；
疲劳判断报警模块，与疲劳参数提取模块相连接，用于将疲劳参数提取模块发来的眼睛和嘴巴的疲劳参数，分别与预设眼睛闭合数值和预设嘴巴张开数值进行比较，当眼睛的疲劳参数小于预设眼睛闭合数值且持续时间超过预设眼睛报警时间值时，和/或者当嘴巴的疲劳参数大于预设嘴巴张开数值且持续时间超过预设嘴巴报警时间值时，判断驾驶员正处于疲劳驾驶状态，并实时向驾驶员发出报警提示。
其中，在所述人体视频图像采集模块中，所述预处理操作为光照补偿操作。
其中，所述人脸检测模块包括神经网络建立子模块、神经网络训练子模块和人脸检测识别子模块，其中：
神经网络建立子模块，用于建立预设卷积神经网络，所述预设卷积神经网络包括依次对所输入的图像进行处理的输入层、第一层隐藏层、第二层隐藏层、第三层隐藏层、第四层隐藏层和输出层；
神经网络训练子模块，与神经网络建立子模块相连接，用于预先采集多个预设标准人脸部位图像输入到所述预设卷积神经网络中，对所述预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛，完成所述预设卷积神经网络的训练；
人脸检测识别子模块，分别与人体视频图像采集模块和神经网络训练子模块相连接，用于将经过所述人体视频图像采集模块预处理的所述驾驶员人体图像，输入到所述神经网络训练子模块完成训练的所述预设卷积神经网络中，获得所述驾驶员人体图像中包含的驾驶员人脸图像。
其中，所述眼睛和嘴巴检测模块包括眼睛和嘴巴模型建立子模块、眼睛和嘴巴模型匹配子模块以及眼睛和嘴巴边缘轮廓提取子模块，其中：
眼睛和嘴巴模型建立子模块，用于预先对多个标准的眼睛和嘴巴图像样本进行预设特征点的标注，分别建立眼睛与嘴巴的纹理和形状模型，得到Gabor局部模型，最后得到眼睛、嘴巴的反向合成AAM模型；
眼睛和嘴巴模型匹配子模块，分别与眼睛和嘴巴模型建立子模块、人脸检测模块相连接，用于将所述人脸检测模块发来的驾驶员人脸图像，与所述眼睛和嘴巴模型建立子模块所建立的眼睛和嘴巴的AAM反向合成模型进行对比匹配，获得所述驾驶员人脸图像中包含的眼睛和嘴巴的区域图像；
眼睛和嘴巴边缘轮廓提取子模块，与眼睛和嘴巴模型匹配子模块相连接，用于利用边缘检测Canny算子对眼睛和嘴巴模型匹配子模块得到的所述驾驶员人脸图像中包含的眼睛和嘴巴的区域图像进行精确定位，并提取其中的眼睛和嘴巴边缘轮廓图像特征，计算得出眼睛和嘴巴的张开度大小。
其中，所述报警提示的方式包括显示屏显示报警提示方式和语音报警提示方式。
其中，所述显示屏显示报警方式为：显示屏上显示报警提示文字且显示屏不停闪烁的方式；
所述语言报警提示方式为播放预先录制的报警声音片段的方式。
由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种智能行车驾驶员疲劳预警系统，其可以准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，从而及时发出预警提示，为驾驶员安全驾驶车辆提供有力的保障，满足人们对安全驾驶的迫切要求，提高人们的生活品质，具有重大的生产实践意义。
附图说明
图1为本发明提供的一种智能行车驾驶员疲劳预警系统的结构方框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。
图1为本发明提供的一种智能行车驾驶员疲劳预警系统的结构方框图。
参见图1，本发明提供的一种智能行车驾驶员疲劳预警系统，包括包括人体视频图像采集模块100、人脸检测模块200、眼睛和嘴巴检测模块300、疲劳参数提取模块400以及疲劳判断报警模块500，其中：
人体视频图像采集模块100，用于采集驾驶员人体图像，并在执行预处理操作后，将经过预处理的所述驾驶员人体图像发送给人脸检测模块200；
人脸检测模块200，其作为深度学习的系统模块，与人体视频图像采集模块100相连接，用于检测所述人体视频图像采集模块100发来的所述驾驶员人体图像，获得所述驾驶员人体图像中包含的驾驶员人脸图像，然后发送给眼睛和嘴巴检测模块300；因此，人脸检测模块200可以为后面眼睛和嘴巴检测模块300进行的眼睛和嘴巴检测提前进行粗定位。
眼睛和嘴巴检测模块300，与人脸检测模块200相连接，用于对所述人脸检测模块200发来的驾驶员人脸图像进行检测，获得所述驾驶员人脸图像中包含的眼睛和嘴巴边缘轮廓图像特征，并获得所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度；
该眼睛和嘴巴检测模块300具体可以基于改进的AAM算法(反向合成算法)对驾驶员的眼睛和嘴巴进行定位与跟踪，以获取眼睛和嘴巴的区域；并利用边缘检测(Canny)算子对两个区域进行精确定位，获取对应眼睛和嘴巴边缘轮廓图像特征。
疲劳参数提取模块400，与眼睛和嘴巴检测模块300相连接，用于根据所述眼睛和嘴巴检测模块300发来的所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度，获得眼睛和嘴巴的张开度分别占预设的驾驶员标准总体眼睛大小和标准总体嘴巴大小的百分比，并将该百分比分别作为眼睛和嘴巴的疲劳参数，然后发送给疲劳判断报警模块500；
在本发明中，需要说明的是，所述预设的标准总体眼睛大小和标准总体嘴巴大小是本发明的系统针对于每个用户(如司机)通过事先采集获得。其中，预设的标准总体眼睛大小是指每个用户(如司机)正常状态张开眼睛状态时的眼睛大小(如目视正前方状态下的眼睛大小)，预设的标准总体嘴巴大小是指每个用户(如司机)正常状态将嘴巴张到最大状态时嘴巴的大小(例如嘴巴张开使得上齿和下齿都露出时的嘴巴大小)。具体实现上，所述预设的标准总体嘴巴大小和预设的标准总体嘴巴大小，可以根据本发明系统用户的需求进行事先任意设置，以满足不同用户的使用需求，增强用户的实际体验。
疲劳判断报警模块500，与疲劳参数提取模块400相连接，用于将疲劳参数提取模块400发来的眼睛和嘴巴的疲劳参数，分别与预设眼睛闭合数值(例如20％)和预设嘴巴张开数值(例如60％)进行比较，当眼睛的疲劳参数小于预设眼睛闭合数值且持续时间超过预设眼睛报警时间值(例如1.6秒或2秒)时，和/或者当嘴巴的疲劳参数大于预设嘴巴张开数值且持续时间超过预设嘴巴报警时间值(例如3秒)时，判断驾驶员正处于疲劳驾驶状态，并实时向驾驶员发出报警提示。
在本发明中，具体实现上，所述人体视频图像采集模块100可以通过任意一种具有图像采集并传输功能的设备来采集驾驶员人体图像，例如可以为手机、平板电脑或者安装有摄像头的计算机。
在本发明中，具体实现上，所述人脸检测模块200、眼睛和嘴巴检测模块300和疲劳参数提取模块400可以为所述系统主板上安装的中央处理器CPU、数字信号处理器DSP或者单片机MCU。
在本发明中，具体实现上，所述疲劳判断报警模块500包含所述系统主板上安装的中央处理器CPU、数字信号处理器DSP或者单片机MCU以及显示屏和扬声器。
在本发明中，在所述人体视频图像采集模块100中，所述预处理操作优选为光照补偿操作，因此，通过光照补偿操作来提高驾驶员人体图像的质量，最后再把预处理后的图像传送到人脸检测模块200，在人脸检测模块200中进行驾驶员人脸位置的检测。
需要说明的是，对于本发明，具体的光照补偿操作可以为：通过设定预设比例限定值K0和设定基准亮度I0来进行判断，假如采集到的驾驶员人体图像中达到(等于或者大于)预设基准亮度I0的像素点数与该图像总的像素点数的比例达到预设比例限定值K0，则将预设基准亮度I0调为白色，将驾驶员人体图像中所有的像素点灰度值按预设基准亮度I0与白色的亮度的关系比例进行尺度变换，进而完成光照补偿调整，此处理可以提高图像质量，进而提高人脸检测的速率。
在本发明中，具体实现上，对于所述人脸检测模块200，其包括神经网络建立子模块、神经网络训练子模块和人脸检测识别子模块，这三个子模块分别进行神经网络各层的建立过程、神经网络训练过程和驾驶员人脸图像的检测识别过程三部分的处理操作，其中：
神经网络建立子模块，用于建立预设卷积神经网络(Convolutional Neural Network，CNN)，所述预设卷积神经网络包括依次对所输入的图像进行处理的输入层、第一层隐藏层、第二层隐藏层、第三层隐藏层、第四层隐藏层和输出层；
神经网络训练子模块，与神经网络建立子模块相连接，用于预先采集多个预设标准人脸部位图像(例如用户指定的尺寸大小的人脸部位图像)输入到所述预设卷积神经网络中，对所述预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛，完成所述预设卷积神经网络的训练；
人脸检测识别子模块，分别与人体视频图像采集模块100和神经网络训练子模块相连接，用于将经过所述人体视频图像采集模块100预处理的所述驾驶员人体图像，输入到所述神经网络训练子模块完成训练的所述预设卷积神经网络中，获得所述驾驶员人体图像中包含的驾驶员人脸图像。
在本发明中，具体实现上，对于神经网络建立子模块，其建立的预设卷积神经网络，包括输入层，输出层，中间加四层隐藏层(第一层隐藏层、第二层隐藏层、第三层隐藏层)，共六层网络，中间的四层网络采用级联的方式，前两层分别为24-net(即指输入到此层进行卷积特征提取操作的图像大小为24，此两层是进行人脸和非人脸分类的网络)和24-calibration-net(即指输入到此层进行卷积特征提取操作的图像大小为24，并进行标定人脸框位置矫正的网络)；后两层分别为48-net(即指输入到此层进行卷积特征提取操作的图像大小为48，为进行人脸和非人脸分类的网络)和48-calibration-net(即指输入到此层进行卷积特征提取操作的图像大小为48，并进行标定人脸框位置矫正的网络)，其中24-calibration-net和48-calibration-net分别用于对24-net与48-net输出的驾驶员人脸图像的矫正，只有在相邻层的节点之间有链接，在同一层和跨节点之间无连接。
在本发明中，需要说明的是，第一层隐藏层24c-net(即指输入到此层进行卷积特征提取操作的图像大小为24)，具体数据处理过程如下：使用大小为24×24(单位像素点)的检测窗口，以滑动步长为4个像素点在输入的W×H的图像上滑动，得到检测窗口，开始24c-net可以拒绝90％以上的非人脸窗口，大大减小下级网络的负担，第二层隐藏层24-calibration-net(即指输入到此层进行卷积特征提取操作的图像大小为24，并进行标定人脸框位置矫正的网络)的具体过程为：接收24c-net传来的检测窗口，进行人脸标定框的矫正，在矫正过程中使用了三个偏移量：xn(水平偏移量)、yn(垂直平移量)和sn(宽高比缩放)；在原始标定窗口(x,y,w,h)中，(x,y)表示左上点坐标，(w,h)表示宽和高，通过24-calibration-net矫正网络将人脸标定窗口的大小调整为：
其中，偏移向量三个参数包括以下值：
sn:(0.81，0.92，1.0)，xn:(-0.15，0，0.15)，yn:(-0.15，0，0.15),经过24-calibration-net矫正网络矫正后的窗口在送到第三隐藏层，后面的第三隐藏层48-net(指输入到此层进行卷积特征提取操作的图像大小为48，并进行分类的网络)和第四隐藏层48-calibration-net(指输入到此层进行卷积特征提取操作的图像大小为48，并进行标定人脸框位置矫正的网络)作用和实现过程与第一隐藏层和第二隐藏的过程和作用一样。
在本发明中，在任意两个层之间的数据是通过图像特征向量的形式进行传递的，其中特征向量对为每层卷积神经网络输出的特征映射图，中间每一层神经元输入的特征向量与前一层的特征向量的局部感受野相连接，并提取该局部的特征，之后在传送到下一层。
在本发明中，对于本发明的神经网络建立子模块所建立的预设卷积神经网络，首先输入层用来输入要检测的图像，先是输入到第一隐藏层24-net进行人脸与非人脸的分类，过滤到90％的非人脸窗口，之后将剩余的窗口传送到第二隐藏层进行标定框人脸框的矫正，后面48-net(指输入到此层进行卷积特征提取操作的图像大小为48，并进行分类的网络)在进行人脸进一步的分类，最终得到单个人脸标定窗口，之后传送到第四隐藏层48-calibration-net(指输入到此层进行卷积特征提取操作的图像大小为48，并进行标定人脸框位置矫正的网络)进行人脸标定框的矫正，最后传送到隐藏层输出最终检测结果。
在本发明中，具体实现上，对于神经网络训练子模块，其对预设卷积神经网络的训练过程包括前向训练和后向训练两部分。前向训练过程用的是自下而上的非监督学习，即从底层开始，逐层向顶层训练，训练过程中，训练学习得到第n-1层参数后，将原来n-1层的输出作为第n层的输入来训练第n层，进而分别得到各层的参数；后向训练过程为自上而下的监督学习，即训练误差自顶向下传输，再对参数进行微调，最终得到高质量的人脸检测模型。
在本发明中，具体实现上，对于人脸检测识别子模块，其通过所述神经网络训练子模块完成训练的预设卷积神经网络，通过该深度学习的各层神经网络结构，可以将人体视频图像采集模块100采集到的驾驶员人脸图像中包含的驾驶员人脸图像(即人脸信息)检测出来。具体的检测识别操作过程为：首先，把人体视频图像采集模块100采集到的驾驶员人脸图像输入到预设卷积神经网络中24-net的网络结构中进行人脸和非人脸的二分类检测，并用bounding-box(即人脸标定框，框出人脸位置)标出人脸，然后再把24-net拒绝剩余的窗口输送到24-calibration-net(即指输入到此层进行卷积特征提取操作的图像大小为24，并进行人脸和非人脸分类的网络)中以调整人脸标定框bounding-box大小和位置，目的接近真实目标，最后输入到非极大值抑制算法NMS(该算法用来消除掉多余重叠的冗余人脸标定窗口)中，消除高度重叠窗口；级联的48-net与上面过程类似，只是在24-net的基础上将48×48像素点的图片缩放到24×24像素点，输入到24-net的全连接层，在把24-net并联后最后一起输出到24-net的全连接层，最后经过48-net后，得到驾驶员人脸图像(即驾驶员的人脸标定图像)。
在本发明中，具体实现上，对于所述眼睛和嘴巴检测模块300，其包括眼睛和嘴巴模型建立子模块、眼睛和嘴巴模型匹配子模块以及眼睛和嘴巴边缘轮廓提取子模块，这三个子模块分别进行眼睛和嘴巴模型的建立过程、眼睛和嘴巴模型的匹配过程以及眼睛和嘴巴模型的边缘轮廓提取过程三部分的处理操作，其中：
眼睛和嘴巴模型建立子模块，用于预先对多个标准的眼睛和嘴巴图像样本(即图片集)(标准的眼睛图像样本即指司机正常不疲劳开车时眼睛正常睁开图像的样本集，标准的嘴巴图像样本是指司机不疲劳正常状态下嘴巴正开到最大的图像集)进行预设特征点的标注，分别建立眼睛与嘴巴的纹理和形状模型，得到Gabor局部模型(该模型主要是根据Gabor滤波器来的，其为单细胞的感受野函数，为仿生学的数学模型，可以用来做图像的平滑与边缘化处理操作)，最后得到眼睛和嘴巴的反向合成(AAM)模型。
需要说明的是，AAM为主动表现模型，AAM对控制点组成的连续闭合曲线建立形状模型，并对其内部的纹理信息(一般指像素亮度)进行纹理的合并；具体过程为：先是利用AAM模型进行粗匹配，在模型与目标大致匹配的情况下在利用Gabor局部模型对特征点进行精确匹配，得到边缘轮廓图像(这里指的是司机眼睛和嘴巴的边缘图像)。
眼睛和嘴巴模型匹配子模块，分别与眼睛和嘴巴模型建立子模块、人脸检测模块200相连接，用于将所述人脸检测模块200发来的驾驶员人脸图像，与所述眼睛和嘴巴模型建立子模块所建立的眼睛、嘴巴的反向合成(AAM)模型进行对比匹配，获得所述驾驶员人脸图像中包含的眼睛和嘴巴的区域图像；
需要说明的是，对于眼睛和嘴巴模型匹配子模块，其进行寻找人脸检测单元200得到的驾驶员人脸图像中眼睛、嘴巴的目标参数与眼睛和嘴巴模型建立子模块中得到的眼睛和嘴巴Gabor模型最一致或接近的情况，本发明采用的是二匹配的方法，首先利用原始的反向合成(AAM)匹配算法来寻找驾驶员眼睛和嘴巴的最优的表现模型参数，然后再利用眼睛和嘴巴模型建立子模块中的得到的Gabor眼睛、嘴巴的局部纹理特征对特征点进行精匹配，从而寻找最优的特征点的位置，进而得到眼睛和嘴巴的区域图像。
眼睛和嘴巴边缘轮廓提取子模块，与眼睛和嘴巴模型匹配子模块相连接，用于利用边缘检测Canny算子对眼睛和嘴巴模型匹配子模块得到的所述驾驶员人脸图像中包含的眼睛和嘴巴的区域图像进行精确定位，并提取其中的眼睛和嘴巴边缘轮廓图像特征，计算得出眼睛和嘴巴的张开度大小。
在本发明中，具体实现上，本发明直接利用边缘检测Canny算子进行图像边缘检测来提取边缘轮廓，具体过程为：首先利用高斯滤波器平滑图像，再用一阶导数跟有限差分计算梯度幅值和方向，然后再对梯度幅值进行非极大抑制后，然后用双阈值算法检测和连接边缘，从而最终得到眼睛和嘴巴边缘的轮廓图像特征。
在本发明中，需要说明的是，所述眼睛和嘴巴张开度大小是通过得到对应的轮廓曲线积分得到了，眼睛与嘴巴得到的轮廓曲线为椭圆形状，通过积分得到椭圆面积进而得到眼睛与嘴巴张开度大小。
需要说明的是，这部分Canny不是针对眼睛和嘴巴所有像素的操作，只是对应眼睛和嘴巴边缘轮廓图像特征提取。
在本发明中，对于所述眼睛和嘴巴模型建立子模块，其具体的运行处理过程包括以下步骤：
第一步：预先对多个标准的眼睛和嘴巴图像样本(作为样本图像)进行进行预设特征点的标注(即标点)。例如，可以通过采集预设数量(例如十万张)的标准的驾驶员人脸图像样本(即涵盖驾驶员正常驾驶时各种面部姿态的图像样本)，这十万张人脸涵盖了驾驶员的几乎所有表情状态特征，其中人脸图像样本包括驾驶员眼睛从闭合到睁开的各种状态，以及包括驾驶员嘴巴闭合到打哈欠的各种状态。在每张人脸图像样本中包含的眼睛图像样本上标注预设多个特征点(具体为12个特征点Landmarks)(具体可以为四个眼角四个点以及两个眼睛上下边缘共八个点，以及嘴角两个点和上下边缘4个点),其中左右两只眼睛分别标注6个；在每张人脸图像样本中包含的嘴巴图像样本上标注预设多个特征点(具体为18个特征点)；为了使眼睛和嘴巴特征匹配更加准确，本发明的特征点是选择在特征明显的地方(即眼睛和嘴巴轮廓清晰的边缘)进行标注。
第二步：建立眼睛、嘴巴纹理模型。首先通过仿射变换，将标注完特征点的驾驶员人脸图像样本像变换到标准的人脸形状模型(指上面说的反向合成AAM模型)上，然后在标准的人脸形状模型上采集眼睛和嘴巴的纹理信息，最后得到的纹理特征向量r为：
r＝[r1,r2,…,rN]T；
在上面公式中，N为眼睛或嘴巴目标区域采样点数，然后纹理特征向量r直接以灰度值为特征进行体现，所有图片的纹理特征向量r构成纹理向量集。对提取的纹理信息在进行主要成分分析(PCA)，得到：
r＝r+Φgbg；
其中，r表示图像的平均纹理信息，Φg为PCA计算得到的纹理主成分特征向量形成的变换矩阵，bg为控制驾驶员眼睛和嘴巴纹理变化的统计纹理参数。
第三步：建立眼睛和嘴巴的形状模型。通过定义形状特征向量s，s向量为所标注的眼睛嘴巴标点坐标{(xi,yi)}相连接组成的形状特征向量。
s＝(x1,x2,...xn,y1,y2,...,yn)T；
首先利用多个这样s的形状特征向量，来构成m×n维形状特征向量集，然后对这多个特征向量进行对齐归一化操作，再对归一化后的形状特征向量集进行PCA分析(即主要成分分析，是图像处理中经常用到的降维方法,)，进而求出二维形状特征向量协方差矩阵的特征向量及特征值，根据所需要保留的眼睛和嘴巴的能量特征百分比，求出前几个特征值，进而得到变换矩阵。由此可产生一个均值形状s′，关于特征向量Φs的线性关系式：
s＝s′+φsbs；
其中，s为所标注的眼睛嘴巴标点坐标{(xi,yi)}相连接组成的形状特征向量形状特征向量，bs是形状模型参数；Φs指的是归一化后的形状特征向量集进行PCA分析(即主要成分分析，是图像处理中经常用到的降维方法,)，进而求出二维形状特征向量协方差矩阵的特征向量及特征值，根据所需要保留的眼睛和嘴巴的能量特征百分比，求出前几个特征值，这些特征向量值对应的特征向量集即为Φs。由此可见，在均值形状的基础上，通过调节形状模型参数就可以得到一个新的眼睛、嘴巴形状模型。
第四步：进行Gabor局部纹理模型提取。通过对图像边缘响应度比较高的特征(即指眼睛和嘴巴轮廓清晰的边缘部分，即响应比较高的特征)进行特征提取，对图像的灰度值与Gabor的卷积公式为：
其中，x指的是对应像素点的值。取v个频率，u个方向构成v*u个核函数，一次用这些核函数与图像的灰度值进行卷积就可以得到v*u个复系数，其组成的向量称为一个Jet，就用它来表示局部纹理特征。例如，通过对一幅图像的一个特征点，取这个特征点为中心的5x5大小的区域，对其中的每一个像素值与v*u个Gabor核函数进行卷积得到一个向量Jet，将每一个像素点的Jet连成一个复矢量J，作为该特征点处的局部纹理特征。对于N幅图像m个特征点，第i幅图像的第j个点复矢量记为Jij，计算得到所有特征点区域的局部纹理特征。对与第j个特征点，计算其N幅图像的平均局部纹理信息为用此平均值来建立这m个特征点的Gabor局部纹理模型。
在本发明中，对于疲劳参数提取模块400，其针对于驾驶员疲劳参数提取是基于眼睛和嘴巴检测模块获得的驾驶员眼睛和嘴巴张开度大小，所用驾驶员疲劳参数设为眼睛张开度与嘴巴张开度分别占总体眼睛和嘴巴大小的百分比。对于本发明，具体可以通过分别取眼睛和嘴巴边缘轮廓区域内像素的平均值，来定位眼睛和嘴巴张开的大小。
在本发明中，对于所述疲劳判断报警模块500，其可以利用PERCLOS(Percentage of EyeIid CIosure over the PupiI over Time，即度量疲劳/瞌睡的物理量)方法，根据疲劳参数提取模块400传来的眼睛和嘴巴的疲劳参数来判断驾驶员是否为疲劳驾驶。
具体实现上，对于所述疲劳判断报警模块500，其可以首先定义眼睛张开度占眼睛大小的百分比小于20％为眼睛闭合状态，同时定义嘴巴张开度大小占嘴巴最大张开尺度的百分比60％以上，并且持续时间在3秒以上定为打哈欠状态，凡是驾驶出现以上两种状态均设为疲劳状态，疲劳判定依据于PERCLOS方法，根据PERCLOS方法，当驾驶员在连续2～5秒时间内检测到眼睛闭合的时间超过1.6～2秒时，判定为睡觉疲劳状态，当驾驶员在嘴巴张开度大小占嘴巴最大张开尺度的百分比60％以上，并且持续时间在3秒以上，判定为打哈欠疲劳状态。
具体实现上，所述报警提示的方式包括显示屏显示报警提示方式和语音报警提示方式。所述显示屏显示报警方式可以为：显示屏上显示报警提示文字且显示屏不停闪烁的方式，所述语言报警提示方式可以为播放预先录制的报警声音片段的方式，从而可以及时对驾驶员进行疲劳报警提示，避免出现驾驶事故。
与现有技术相比较，本发明包括以下的有益效果：
1、本发明对图像的像素要求不是很高，采用普通的摄像头即可采集驾驶员的图像信息，这样就可以降低成本，方便推广；
2、本发明基于深度学习进行驾驶员人脸检测，利用深度学习的方式能够更加快速有效的检测到驾驶员的人脸，充分利用了人工智能深度学习的优势，解决了检测实时性差的问题；
3、本发明利用改进的AAM方法设计训练自己的眼睛、嘴巴模型，进而准确地提取了眼睛、嘴巴轮廓特征，从而解决了现有问题中提取疲劳参数准确率低的问题；本发明通过从眼睛和嘴巴两个方面进行驾驶员疲劳状态的判断，从而更加全面的检测出疲劳状态，达到及时高效的预警功能。
对于本发明，其利用深度学习神经网络，能够实时有效地对人脸进行检测与识别，能够有效的分析得出人脸部的各种特征，通过基于深度学习进行驾驶员脸部疲劳特征的判断，分析融合驾驶员脸部的疲劳特征，从而提供一种检测速度快，检测准确率高，适用范围广的疲劳驾驶预警系统，有效地解决了现有技术中存在的问题。
因此，本发明通过深度学习人脸检测方式，来达到实时、精准地监测驾驶员的脸部状态的目的，进而跟踪对驾驶员疲劳状态进行识别与分析，最终为驾驶员安全驾驶车辆提供有力的保障。
综上所述，与现有技术相比较，本发明提供了一种智能行车驾驶员疲劳预警系统，其可以准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，从而及时发出预警提示，为驾驶员安全驾驶车辆提供有力的保障，满足人们对安全驾驶的迫切要求，提高人们的生活品质，具有重大的生产实践意义。
通过使用本发明提供的技术，可以使得人们工作和生活的便利性得到很大的提高，极大地提高了人们的生活水平。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。