一种驾驶人情绪变化捕捉装置及方法

本发明属于汽车安全驾驶技术领域，具体涉及一种驾驶人情绪变化捕捉装置及方法。

背景技术

有调查显示，交通事故中有约90％的人身伤亡事故是由人为因素(违法行为、态度及情绪等)引起的，其中，因驾驶人情绪变化导致的事故占比高达40％。如能在事故发生前，准确、高效的捕捉到驾驶人情绪的变化，并且及时预警，就能显著减少危险情绪造成的交通事故。

依据心理学研究成果，驾驶人行驶过程中会产生快乐、悲伤、惊讶、愤怒、恐惧、厌恶六种情绪：(1)快乐，感到幸福或满意，是当人遇到喜事时，感到高兴或满意的一种状态；(2)悲伤，哀痛忧伤，形容伤心难过，是一种普遍的情绪；(3)惊讶，较为短暂的一种情绪，表示意料之外，一般出现时间极短；其他交通参与者、驾驶人生理、心理因素等都可能导致“惊讶”的出现；(4)愤怒，驾驶过程中易出现的情绪，指当愿望不能实现或为达到目的的行动受到挫折时引起的一种紧张而不愉快的情绪；(5)恐惧，周围有不可预料的因素导致的无所适从的心理或生理的一种强烈反应，一种企图摆脱、逃避而又无能为力的情绪体验；(6)厌恶，一种反感的情绪，不仅视觉、听觉、味觉、嗅觉、触觉会导致厌恶感，人的外表、行为甚至思想也会导致同样的结果；这种情绪会由驾驶人生理、心理以及社会环境因素引起。其中，驾驶人危险情绪(对交通安全有较大影响的情绪)主要指：愤怒。当驾驶人遇到拥堵、恶劣天气以及特殊光照等驾驶场景，或者受周围驾驶人、驾驶环境影响之后，会触发“路怒”情绪，踏油门、踩刹车、离合、挂档或转方向盘的尺度会变大，换道次数增加，操纵汽车的动作会下意识地更加用力或者身体不稳定抖动，会产生更明显的车道偏离，驾驶人趋向更危险的驾驶行为。

目前，针对驾驶人情绪变化的研究主要集中在驾驶人情绪变化识别、驾驶人面部表情识别算法以及驾驶人面部表情变化表征等方面，存在的不足主要包括：(1)传统的驾驶人情绪识别方法一般基于驾驶人的面部表情，结合语音语调、脉搏、体温、脑电波等多方面信息综合判断，虽然判断的准确率较高，但是受影响的因素较多，另外某些数据采集也比较困难；(2)在驾驶人面部表情识别算法方面，大多数算法采用卷积神经网络或支持向量机等单一方法，存在精度不高、实用性不强以及难以捕捉到长期的时间关联变化等问题；(3)驾驶人面部表情变化的表征通常以面部图像、肢体动作的形式为主，尽管可以表达表情变化，但仍存在很多问题，例如：用面部图像表示时冗余信息过多；用肢体动作表示又存在个体差异和表达不够直观的问题等。

技术实现要素：

针对现有技术中存在不足，本发明提供了一种驾驶人情绪变化捕捉装置及方法，通过对驾驶人面部表情和驾驶行为的采集，综合判断驾驶人情绪的变化状况，可快速识别出危险情绪并通过报警器预警，提高了情绪识别效率和准确率。

本发明是通过以下技术手段实现上述技术目的的。

一种驾驶人情绪变化捕捉方法，包括如下步骤：

S1，获取驾驶人面部图像和肌电信号

S2，驾驶人面部图像和肌电信号预处理

S3，驾驶人面部图像和肌电信号特征提取

S4：驾驶人情绪变化识别

当肌电信号时域特征发生变化时，表情-驾驶行为情绪识别子模块通过支持向量机的分类器判断驾驶人情绪变化状况；否则，表情情绪识别子模块通过基于驾驶人面部几何特征的面部表情判据模型，并设计融合时序注意递归网络与卷积神经网络的表情识别方法进行情绪识别。

进一步地，所述表情-驾驶行为情绪识别子模块通过支持向量机的分类器判断驾驶人情绪变化状况，具体为：

根据驾驶人面部表情几何特征H和驾驶行为肌电信号时域特征矩阵Q，特征融合子模块基于Fisher准则的融合算法构建双模态数据的最佳特征矩阵R；

Fisher鉴别函数为：

其中，为任一n维矢量；使得函数达到最大值的矢量称为最佳鉴别矢量，它具有最小的类内离散度和最大的类间离散度；Sb和Sω分别是类间散布矩阵和类内散布矩阵；

由公式(2)可知，当达到最大值时，可设其分母为非零常数且分子取最大值，引入拉格朗日乘数法求解驾驶人面部几何特征矩阵H和肌电信号时域特征矩阵Q分别对应的最佳鉴别矢量δ^*、ψ^*；设δ1＝δ^*、ψ1＝ψ^*，从而得到H、Q的Foley-Sammon鉴别矢量集分别为{δi，1＜i≤n1}、{ψi，1＜i≤n2}；令ri＝max{H^Tδi，Q^Tψi}，R＝(r1，r2，…，rn)^T即为由H、Q融合的最佳特征矩阵，其中n＝max(n1，n2)。

进一步地，所述表情情绪识别子模块通过基于驾驶人面部几何特征的面部表情判据模型，并设计融合时序注意递归网络与卷积神经网络的表情识别方法进行情绪识别，具体为：通过驾驶人面部特征区域状态变化情况，构建驾驶人面部表情判据模型，对基于驾驶人面部表情的情绪变化进行初步判断；设计融合时序注意递归网络与卷积神经网络的方法进行情绪识别：

对特征提取得到的驾驶人面部表情几何特征矩阵H＝(h1，h2，…hn1)^T，利用卷积神经网络进行下采样，选出最优特征Hmax＝max(h1，h2，…，hn1)；

利用时序注意机制对眉毛、眼睛和嘴巴坐标分配不同的权重，产生特征表示αi表示重要度信息；

驾驶人面部表情最优特征矩阵乘以对应权重后输入递归网络，完成情绪分类工作，输出结果为其中，M代表全连接层的权重矩阵，b是偏置项。

更进一步地，所述驾驶人面部表情判据模型基于眉毛、眼睛、嘴巴三个面部构件状态进行构建，建立以驾驶人鼻子中心为原点、鼻翼连线为x轴、鼻梁连线为y轴的驾驶人面部坐标系，其中：对每条眉毛取5个特征点，左边眉毛的特征点分别用1、2、3、4、5标定，右边眉毛的特征点分别用6、7、8、9、10标定；每只眼睛取6个特征点，左边眼睛的特征点分别用11、12、13、14、15、16标定，右边眼睛的特征点分别用17、18、19、20、21、22标定；鼻子取7个特征点，用23、24、25、26、27、28、29标定；嘴巴取20个特征点，用30、31、32、33、34、35、36、37、38、39、40、41、42、43、44、45、46、47、48、49标定；

所述驾驶人面部表情判据模型包括：

1)驾驶人快乐时面部表情变化判据模型为：

gha＝αhauha+βhavha+γhawha＜0

其中：uha、vha、wha表示快乐时眉毛、眼睛、嘴巴的状态表达，且αha、βha、γha表示驾驶人眉毛、眼睛和嘴巴的状态在表情快乐的表达中所占的权重系数；

2)驾驶人悲伤时面部表情变化判据模型为：

其中：usa、vsa、wsa表示悲伤时眉毛、眼睛、嘴巴的状态表达，且αsa、βsa、γsa表示驾驶人眉毛、眼睛和嘴巴的状态在表情悲伤的表达中所占的权重系数；

3)驾驶人惊讶时面部表情变化判据模型为：

gsu＝αsuusu+βsuvsu+γsuwsu＞0

其中：usu、vsu、wsu表示惊讶时眉毛、眼睛、嘴巴的状态表达，且αsu、βsu、γsu表示驾驶人眉毛、眼睛和嘴巴的状态在表情惊讶的表达中所占的权重系数；

4)驾驶人愤怒时面部表情变化判据模型为：

gan＝αanuan+βanvan+γanwan＞0

其中：uan、van、wan表示愤怒时眉毛、眼睛、嘴巴的状态表达，且αxn、βan、γan表示驾驶人眉毛、眼睛和嘴巴的状态在表情愤怒的表达中所占的权重系数；

5)驾驶人恐惧时面部表情变化判据模型为：

gfe＝αfeufe+βfevfe+yfewfe＞0

其中：ufe、vfe、wfe表示恐惧时眉毛、眼睛、嘴巴的状态表达，且αfe、βfe、γfe表示驾驶人眉毛、眼睛和嘴巴的状态在表情恐惧的表达中所占的权重系数；

6)驾驶人厌恶时面部表情变化判据模型为：

gdi＝αdiudi+βdivdi+γdiwdi＜0

其中：udi、vdi、wdi表示厌恶时眉毛、眼睛、嘴巴的状态表达，且αdi、βdi、γdi表示驾驶人眉毛、眼睛和嘴巴的状态在表情厌恶的表达中所占的权重系数。

进一步地，所述驾驶人面部图像和肌电信号特征提取，具体为：

第一特征提取子模块利用主动外观模型选取面部特征点对预处理后的驾驶人面部图像进行几何特征提取，构建面部表情几何特征矩阵H＝(h1，h2，…，hn1)^T，n1表示共采集n1张面部图像；

第二特征提取子模块对预处理后的肌电信号，选用绝对值均值a、均方根值o、积分绝对值d和方差值l进行时域特征提取操作，构建肌电信号时域特征矩阵Q＝(q1，q2，…，qn2)^T，n2表示共采集n2组肌电信号。

进一步地，还包括：当驾驶人情绪变化为愤怒，即s(h)或k(r)输出结果为“an”时，表明危险情绪已产生，系统立即通过报警器语音提醒驾驶人注意调整。

进一步地，所述驾驶人面部图像和肌电信号预处理包括：

对驾驶人面部图像进行人脸检测，判断驾驶人面部是否包含在采集的驾驶人面部图像中；进行定位操作准确找出人脸位置；利用干扰抑制、边缘锐化、伪彩色处理图像增强方法改善图像的视觉效果，消除噪声干扰；统一图像灰度值及尺寸至40*40；

对驾驶人肌电信号进行隔直处理，高倍放大子模块放大肌电信号，低通滤波子模块去除高频干扰信号，经过工频陷波图像增强子模块提升输出信号的信噪比至50dB以上。

一种驾驶人情绪变化捕捉装置，包括：

驾驶人状态采集与处理系统，包括面部表情采集处理模块和驾驶行为采集处理模块，所述面部表情采集处理模块包括车载摄像头、人脸检测子模块、人脸对齐子模块、图像增强子模块和人脸归一化子模块，所述驾驶行为采集处理模块包括电子纹身传感器、隔直处理子模块、高倍放大子模块、低通滤波子模块和工频陷波子模块；

情绪变化识别与预警系统，包括特征提取模块、情绪变化识别模块和预警模块；所述特征提取模块包括第一特征提取子模块和第二特征提取子模块；所述驾情绪变化识别模块包括表情情绪识别子模块、表情-驾驶行为情绪识别子模块和特征融合子模块；所述预警模块包括嵌入式控制器和报警器。

本发明的有益效果为：

(1)本发明在肌电信号时域特征发生变化时，通过融合面部表情几何特征和肌电信号时域特征选择支持向量机的分类器判断驾驶人情绪的变化，对比于仅采用面部表情来说，准确率显著提高；面部表情相对于语音语调、脉搏、体温、脑电波等多方面信息结合来说，降低了信息采集难度和数据复杂度，并减少了数据量；

(2)本发明设计了驾驶人面部表情变化判据模型，在肌电信号时域特征不发生变化时，通过基于驾驶人面部几何特征的面部表情判据模型，并设计融合时序注意递归网络与卷积神经网络算法识别驾驶人情绪变化状况，能够提高驾驶人面部表情识别效率和准确度；较面部图像法表达更加简单明了，较肢体动作法表达更加清晰且更具有普适性。

附图说明

图1为本发明所述驾驶人情绪变化捕捉装置结构示意图；

图2为本发明所述驾驶人面部特征点标定示意图；

图3为本发明所述驾驶人情绪变化捕捉方法流程图。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，本发明的驾驶人情绪变化捕捉装置包括驾驶人状态采集与处理系统和情绪变化识别与预警系统。

驾驶人状态采集与处理系统包括面部表情采集处理模块和驾驶行为采集处理模块。

面部表情采集处理模块包括车载摄像头、人脸检测子模块、人脸对齐子模块、图像增强子模块和人脸归一化子模块；车载摄像头安装在车辆驾驶室内，且对着驾驶人人脸设置，车载摄像头采集驾驶人的面部图像；人脸检测子模块用于判断人脸是否包含在车载摄像头采集的驾驶人面部图像中；人脸对齐子模块用于在检测出的人脸区域上进行定位操作，准确找出人脸位置；图像增强子模块用于针对给定图像的应用场合，改善图像的视觉效果；人脸归一化子模块用于调节图像，使人脸数据不受姿态变换、光线、遮挡等问题的干扰。

驾驶行为采集处理模块包括电子纹身传感器、隔直处理子模块、高倍放大子模块、低通滤波子模块和工频陷波子模块；电子纹身传感器粘贴在驾驶人的手臂和脚踝处，采集手臂和脚踝产生的肌电信号；隔直处理子模块用于截止肌电信号中频率比较低的高通滤波；高倍放大子模块用于放大肌电信号，肌电信号极为微弱，真正有用的肌电信号频率范围大致在10～500Hz之间；低通滤波子模块用于去除高频干扰信号；工频陷波子模块用于提升输出信号的信噪比。

情绪变化识别与预警系统包括特征提取模块、情绪变化识别模块和预警模块。

特征提取模块包括第一特征提取子模块和第二特征提取子模块，第一特征提取子模块用于对庞大的数据进行降维处理，提取驾驶人面部表情几何特征(即面部的眉毛、眼睛和嘴巴几何特征)，第二特征提取子模块用于对庞大的数据进行降维处理，提取驾驶人手臂、脚踝肌电信号时域特征(即时间域上对肌电信号进行统计学分析)，肌电信号是肌肉收缩时产生的生物电信号，是驾驶操作行为的直接反映，其中包含的肌肉状态信息最能够反映出驾驶人当前的驾驶情绪。

驾情绪变化识别模块包括表情情绪识别子模块、表情-驾驶行为情绪识别子模块和特征融合子模块；表情情绪识别子模块用于当驾驶人肌电信号时域特征不发生变化时，通过基于驾驶人面部几何特征的面部表情判据模型，并设计融合时序注意递归网络与卷积神经网络(Temporal Attention Recurrent Network-Convolution Neural Network，TARN-CNN)算法识别驾驶人情绪变化状况；表情-驾驶行为情绪识别子模块用于当驾驶人肌电信号时域特征发生变化时，通过融合面部表情几何特征和肌电信号时域特征选择支持向量机的分类器对驾驶人情绪进行识别；特征融合子模块基于Fisher准则融合面部表情几何特征和肌电信号时域特征，得到双模态数据的最佳特征矩阵。

预警模块包括嵌入式控制器和报警器，嵌入式控制器用于对识别后的情绪进行处理判断，报警器用于当情绪判定为危险情绪时，对驾驶人进行报警。

驾驶人面部表情变化判据模型具体包括：

第一特征提取子模块进行驾驶人面部特征点标定，本实施例以右脸部分识别驾驶人面部表情变化状况为例，并依据主动外观模型(Active Appearance Model，AAM)产生的68个面部特征点，而本实施例在驾驶人表情变化识别的过程中，主要关注眉毛、眼睛、鼻子和嘴巴这些在面部表情中有重要作用的点，共49个(如图2所示)；其中，对每条眉毛取5个特征点(左边眉毛的特征点分别用1、2、3、4、5标定，右边眉毛的特征点分别用6、7、8、9、10标定)，每只眼睛取6个特征点(左边眼睛的特征点分别用11、12、13、14、15、16标定，右边眼睛的特征点分别用17、18、19、20、21、22标定)，鼻子取7个特征点(用23、24、25、26、27、28、29标定)，嘴巴取20个特征点(用30、31、32、33、34、35、36、37、38、39、40、41、42、43、44、45、46、47、48、49标定)；获取49个特征点后，根据驾驶人面部特征区域状态变化，建立以驾驶人鼻子中心为原点、鼻翼连线为x轴、鼻梁连线为y轴的驾驶人面部坐标系，并结合FACS(Facial Action Coding System)编码系统，构建基于眉毛、眼睛、嘴巴三个面部构件状态的驾驶人面部表情变化判据模型，对驾驶人表情变化进行表征。

设E＝{ha，sa，su，an，fe，di}表示驾驶人面部表情，包括快乐(ha)、悲伤(sa)、惊讶(su)、愤怒(an)、恐惧(fe)和厌恶(di)。uha、vha、wha表示快乐时眉毛、眼睛、嘴巴的状态表达；usa、vsa、wsa表示悲伤时眉毛、眼睛、嘴巴的状态表达；usu、vsu、wsu表示惊讶时眉毛、眼睛、嘴巴的状态表达；uan、van、wan表示愤怒时眉毛、眼睛、嘴巴的状态表达；ufe、vfe、wfe表示恐惧时眉毛、眼睛、嘴巴的状态表达；udi、vdi、wdi表示厌恶时眉毛、眼睛、嘴巴的状态表达。车载摄像头采集驾驶人面部图像时，帧率为10fps，t1、t2分别代表初始时刻0s(第1帧)和下一时刻0.1s(第10帧)；xη、yη表示t1时刻η点的横、纵坐标；x’η、y’η表示t2时刻η点的横、纵坐标。

1)当驾驶人表情为快乐时，各面部构件状态表达如下：

眉毛下弯：

上下眼皮靠拢：

嘴角上升、嘴巴拉长：

综上，驾驶人快乐时面部表情变化判据模型可表示为：

gha＝αhauha+βhavha+γhawha＜0 (4)

其中，wha由和决定，表示快乐时嘴角上升程度，表示嘴巴拉伸大小；gha是快乐的状态判据模型；αha、βha、γha表示驾驶人眉毛、眼睛和嘴巴的状态在表情快乐的表达中所占的权重系数，可以通过计算面部几何特征对表情判断所获得的信息增益并进行归一化处理获取，最终得出αha＝0.2，βha＝0.3，γha＝0.5。

2)当驾驶人表情为悲伤时，各面部构件状态表达如下：

眉毛朝眉心挤压：

上眼皮抬起：

嘴角向下、下嘴唇上移：

综上，驾驶人悲伤时面部表情变化判据模型可表示为：

其中，wsa由和决定，表示悲伤时嘴角上升程度，表示下嘴唇位置高低；gsa是悲伤的状态判据模型；αsa、βsa、γsa表示驾驶人眉毛、眼睛和嘴巴的状态在表情悲伤的表达中所占的权重系数，可以通过计算面部几何特征对表情判断所获得的信息增益并进行归一化处理获取，最终得出αsa＝0.3，βsa＝0.4，γsa＝0.3。

3)当驾驶人表情为惊讶时，各面部构件状态表达如下：

眉毛内外侧上升：

眼睛睁大：

嘴巴张大：

综上，驾驶人惊讶时面部表情变化判据模型可表示为：

gsu＝αsuusu+βsuvsu+γsuwsu＞0 (12)

其中，gsu是惊讶的状态判据模型，αsu、βsu、γsu表示驾驶人眉毛、眼睛和嘴巴的状态在表情惊讶的表达中所占的权重系数，可以通过计算面部几何特征对表情判断所获得的信息增益并进行归一化处理获取，最终得出αsu＝0.2，βsu＝0.4，γsu＝0.4。

4)当驾驶人表情为愤怒时，各面部构件状态表达如下：

眉毛压低：

下眼皮下压：

唇紧闭、唇角下拉：

综上，驾驶人愤怒时面部表情变化判据模型可表示为：

gan＝αan+uan+βanvan+γanwan＞0 (16)

其中，wan由和决定，表示愤怒时嘴唇之间距离大小，表示唇角高低；gan是愤怒的状态判据模型；αan、βan、γan表示驾驶人眉毛、眼睛和嘴巴的状态在表情愤怒的表达中所占的权重系数，可以通过计算面部几何特征对表情判断所获得的信息增益并进行归一化处理获取，最终得出αan＝0.4，βan＝0.4，γan＝0.2。

5)当驾驶人表情为恐惧时，各面部构件状态表达如下：

眉毛抬起：

下眼皮抬起：

嘴唇分开：

综上，驾驶人恐惧时面部表情变化判据模型可表示为：

gfe＝αfeufe+βfevfe+γfewfe＞0 (20)

其中，gfe是恐惧的状态判据模型；αfe、βfe、γfe表示驾驶人眉毛、眼睛和嘴巴的状态在表情恐惧的表达中所占的权重系数，可以通过计算面部几何特征对表情判断所获得的信息增益并进行归一化处理获取，最终得出αfe＝0.3，βfe＝0.3，γfe＝0.4。

6)当驾驶人表情为厌恶时，各面部构件状态表达如下：

眉头下压：

下眼皮下部出现皱纹：

上嘴唇上升、下嘴唇上升：

综上，驾驶人厌恶时面部表情变化判据模型可表示为：

gdi＝αdiudi+βdivdi+γdiwdi＜0 (24)

其中，gdi是厌恶的状态判据模型；αdi、βdi、γdi表示驾驶人眉毛、眼睛和嘴巴的状态在表情厌恶的表达中所占的权重系数，可以通过计算面部几何特征对表情判断所获得的信息增益并进行归一化处理获取，最终得出αdi＝0.4，βdi＝0.3，γdi＝0.3。

车载摄像头使用分辨率为720*480、帧率为60fps的MINI-238H摄像头，位置安装在不阻碍驾驶人视线的前挡风玻璃处；电子纹身传感器使用透明、可拉伸、可粘贴的石墨烯电子纹身传感器号；嵌入式控制器使用微控制器，集成256KB闪存和96KB RAM，以存放应用程序和传感器代码；报警器使用型号为XYSG-S03DYQ的车载语音声光报警器，功率为20W，可选电压DC12V/DC24V。

如图3所示，驾驶人情绪变化捕捉方法，具体工作流程如下：

S1：获取驾驶人面部图像和肌电信号

通过车载摄像头对驾驶人面部进行拍摄，采集并保存驾驶人面部图像，以320×240的尺寸采集RGB图像和Depth图像，间隔为0.1s；同时，电子纹身传感器选择表面电级的方法获取并保存驾驶人手臂、脚踝相应肌肉的频率范围在20≤f≤500Hz的肌电信号，主要采集肌电信号的电压大小。

S2：驾驶人面部图像和肌电信号预处理

S2-1：对驾驶人面部图像进行人脸检测，判断驾驶人面部是否包含在采集的驾驶人面部图像中；对驾驶人肌电信号进行隔直处理，截止频率在200Hz以下的高通滤波。

S2-2：进行定位操作准确找出人脸位置；通过高倍放大子模块放大肌电信号。

S2-3：图像增强子模块利用干扰抑制、边缘锐化、伪彩色处理图像增强方法改善图像的视觉效果，消除噪声干扰；通过低通滤波子模块去除高频干扰信号。

S2-4：通过人脸归一化子模块统一图像灰度值及尺寸至40*40，调节图像，使人脸数据不受姿态变换、光线、遮挡问题的干扰；肌电信号经过工频陷波图像增强子模块提升输出信号的信噪比至50dB以上。

S3：驾驶人面部图像和肌电信号特征提取

第一特征提取子模块利用主动外观模型(AAM)选取对面部表情影响比重较大的眉毛、眼睛、鼻子和嘴巴49个面部特征点对预处理后的驾驶人面部图像进行几何特征提取，设第i张面部图像几何特征点坐标集合hi＝(x1，y1，…，x49，y49)^T，以此构建面部表情几何特征矩阵H＝(h1，h2，…，hn1)^T，n1表示共采集n1张面部图像；

第二特征提取子模块对预处理后的肌电信号，选用绝对值均值a、均方根值o、积分绝对值d和方差值l进行时域特征提取操作，设第i组肌电信号时域特征集合qi＝(a，o，d，l)^T，构建肌电信号时域特征矩阵Q＝(q1，q2，…，qn2)^T，n2表示共采集n2组肌电信号。

S4：驾驶人情绪变化识别

根据驾驶人肌电信号的变化情况，选择不同的情绪变化识别方法。当肌电信号时域特征发生变化时，表情-驾驶行为情绪识别子模块通过支持向量机的分类器判断驾驶人情绪变化状况；否则，表情情绪识别子模块通过基于驾驶人面部几何特征的面部表情判据模型，并设计融合时序注意递归网络与卷积神经网络的表情识别方法进行情绪识别。

S4-1：基于驾驶人面部表情的情绪识别

S4-1-1：通过驾驶人面部特征区域(眉毛、眼睛、嘴巴)状态变化情况(例如：眉毛下弯、眼睛上下眼皮靠拢、嘴角上升嘴巴拉长等)，构建驾驶人面部表情判据模型，对基于驾驶人面部表情的情绪变化进行初步判断，在此基础上，设计融合时序注意递归网络与卷积神经网络的方法进行情绪识别；

S4-1-2：对特征提取得到的驾驶人面部表情几何特征矩阵H＝(h1，h2，…，hn1)^T，利用卷积神经网络进行下采样，选出最优特征Hmax＝max(h1，h2，…，hn1)；

S4-1-3：利用时序注意机制对眉毛、眼睛和嘴巴坐标分配不同的权重，产生特征表示αi表示重要度信息；

S4-1-4：驾驶人面部表情最优特征矩阵乘以对应权重后输入递归网络，完成情绪分类工作，输出结果为其中，M代表全连接层的权重矩阵，b是偏置项。

S4-2：基于驾驶人面部表情和驾驶行为的情绪识别

驾驶行为通过电子纹身传感器采集驾驶人对车辆的操作行为来体现。

S4-2-1：采集面部图像和肌电信号作为驾驶人情绪识别的信息载体，提取驾驶人面部表情几何特征H和驾驶行为肌电信号时域特征矩阵Q，特征融合子模块基于Fisher准则的融合算法构建双模态数据的最佳特征矩阵R；具体如下：

Fisher鉴别函数为：

其中，为任一n维矢量；使得函数达到最大值的矢量称为最佳鉴别矢量，它具有最小的类内离散度和最大的类间离散度；Sb和Sω分别是类间散布矩阵和类内散布矩阵；

①由公式(26)可知，当达到最大值时，可设其分母为非零常数且分子取最大值，引入拉格朗日乘数法求解驾驶人面部几何特征矩阵H和肌电信号时域特征矩阵Q分别对应的最佳鉴别矢量δ^*、ψ^*；

②设δ1＝δ^*、ψ1＝ψ^*，从而得到H、Q的Foley-Sammon鉴别矢量集分别为{δi，1＜i≤n1}、{ψi，1＜i≤n2}；

③令ri＝max{H^Tδi，Q^Tψi}，R＝(r1，r2，…，rn)^T即为由H、Q融合的最佳特征矩阵，其中n＝max(n1，n2)。

S4-2-2：将最佳特征矩阵R输入支持向量机的分类器中，实现对驾驶人情绪的分类；支持向量机的目标函数为：

其中，ω代表支持向量机的权重向量；b′是常数；C代表惩罚系数，用于控制错误分类样本的惩罚程度，平衡模型的复杂性和损失误差；ξi为松弛变量，是一个非负值，用于调整分类过程中允许退出的错误分类样本的数量。

S4-2-3：最终得到最优分类函数模型k(r)＝sgn(ωr+b ′)，根据r的分类决策函数值，得出所属情绪类别。

S5：危险情绪预警

当驾驶人情绪变化为愤怒，即s(h)或k(r)输出结果为“an”时，表明危险情绪已产生，系统立即通过报警器语音提醒驾驶人注意调整；否则，转入S1，进入下一次识别。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。