一种基于面部运动单元识别的驾驶员疲劳检测方法
【专利摘要】本发明是一种基于面部运动单元识别的驾驶员疲劳检测方法。包括有如下步骤：1）从视频序列中定位出人脸区域；2）对人脸关键特征点进行定位及区域划分；3）对多帧图像中的脸部对应区域进行运动特征提取；4）对提取的运动特征进行分类识别，并用运动单元AU标记；5）通过脸部运动单元检测是否疲劳。本发明是一种可以从脸部表观状态出发提取疲劳状态下脸部的外观表现特征，因而能获取更加稳定而丰富的视觉信息的方便实用的基于面部运动单元识别的驾驶员疲劳检测方法。
【专利说明】—种基于面部运动单元识别的驾驶员疲劳检测方法
【技术领域】
[0001]本发明是一种基于面部运动单元识别的驾驶员疲劳检测方法，属于基于面部运动单元识别的驾驶员疲劳检测方法的创新技术。
【背景技术】
[0002]疲劳是一种复杂的生理和心理现象，在理论上难以作定量的标准描述，在现象上也因个体差异而呈现出多样性。在工作中，往往根据作业者的行为能力、工作效率来间接的判断疲劳程度。医学上认为疲劳是人体困顿、倦怠的感觉，它是身体需要放松和休息的信号。
[0003]疲劳的测定分为主观和客观两种方法，主观的研究方法有主观调查表、驾驶员自我记录、睡眠习惯调查表、斯坦福睡眠尺度表四种。客观的方法有脑电图(诊所用电极)、眼电图、肌电图、呼吸气流(鼻声传感器)、呼吸效果(胸腔部传感器)、动脉血液氧饱和(手指探针)时的体温(用红外线耳朵探针获取)和心电图(开车和睡眠时)、基于计算机视觉技术的疲劳检测等测量方法。主观调查表法的主要问题是具有主观性，采用专门的医学仪器方法是比较准确的，但是需要有专门的昂贵的设备，专业的操作人员，还需要被测者的配合，比如说要去特定的场合。上述两种方法所存在的一个共同的问题是具有超前或滞后性，是非实时的，而且被测者在测量时和测量前后的精神状态可能会有差异。因此，开发一种大众化、实时的、非侵扰式的精神疲劳测量装置已成为国内外专家学者共同追求的目标。
[0004]基于计算机视觉技术的疲劳检测因其具有实时性、非侵扰性被认为是最有前途的方向。
【发明内容】
[0005]本发明的目的在于考虑 上述问题而提供一种检测效率高，且方便实用的基于面部运动单元识别的驾驶员疲劳检测方法。本发明适用于长时间保持相对固定姿势的工作人员工作状态的检测，且适用于驾驶员驾驶过程中是否疲劳的检测。
[0006]本发明的技术方案是:本发明基于面部运动单元识别的驾驶员疲劳检测方法，包括有如下步骤:
1)从视频序列中定位出人脸区域；
2)对人脸关键特征点进行定位及区域划分；
3)对多帧图像中的脸部对应区域进行运动特征提取；
4)对提取的运动特征进行分类识别，并用运动单元AU标记；
5)通过脸部运动单元检测是否疲劳。
[0007]上述步骤2)对人脸关键特征点进行定位及区域划分的过程是:首先依据人脸结构特征建立一个人脸区域划分的模板，然后利用自适应增强学习分类(Adboost)方法检测出眼部和嘴部区域，对于眼睛和嘴部子区域采用哈里斯(Harris)角点检测算法定位眼睛的内外侧角点及两嘴角角点，并以此六个点作为基准调节初始模板最终实现区域的划分。[0008]上述步骤3)对多帧图像中的脸部对应区域进行运动特征提取的方法是:将每一个运动单元A U动作分解为“起始——伸展——高潮”三个阶段，则采用运动平滑约束(Horn-Schunck)光流法计算三个过程的图像相对基准图像的光流场，为降低数据维度，对脸部子区域进行连续的3*3的相邻小区域进行划分，且区域不出现重叠，并进行数据归并为:
【权利要求】
1.一种基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于包括有如下步骤: 1)从视频序列中定位出人脸区域； 2)对人脸关键特征点进行定位及区域划分； 3)对多帧图像中的脸部对应区域进行运动特征提取； 4)对提取的运动特征进行分类识别，并用运动单元AU标记； 5)通过脸部运动单元检测是否疲劳。
2.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述步骤2)对人脸关键特征点进行定位及区域划分的过程是:首先依据人脸结构特征建立一个人脸区域划分的模板，然后利用自适应增强学习分类(Adboost)方法检测出眼部和嘴部区域，对于眼睛和嘴部子区域采用哈里斯(Harris)角点检测算法定位眼睛的内外侧角点及两嘴角角点，并以此六个点作为基准调节初始模板最终实现区域的划分。
3.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述步骤3)对多帧图像中的脸部对应区域进行运动特征提取的方法是:将每一个运动单元AU动作分解为“起始——伸展——高潮”三个阶段，则采用运动平滑约束(Horn-Schunck)光流法计算三个过程的图像相对基准图像的光流场，为降低数据维度，对脸部子区域进行连续的3*3的相邻小区域进行划分，且区域不出现重叠，并进行数据归并:
4.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述步骤4)对提取的运动特征进行分类识别，并用运动单元AU标记的方法是:首先建立目标运动单元AU的隐马尔科夫(HMM)模型，然后对检测到的未知运动单元AU的特征作为模型输入，判别为何种运动单元AU ;具体步骤为: 4.1、建立目标运动单元AU的隐马尔科夫(HMM)模型； 4.2、输入提取检测图像对应区域的特征向量； 4.3、取模型输出中概率最大的系数，并以该模型的运动单元AU的类别标记该区域。
5.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述步骤5)通过脸部运动单元检测是否疲劳的方法是:将已经标记运动单元AU的人脸与疲劳运动单元AU进行比对，判断是否疲劳。
6.根据权利要求5所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述通过脸部运动单元检测是否疲劳的方法是:对面部各区域进行搜索，并用疲劳判别公式
7.根据权利要求5所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于选择疲劳判定阈值时，由于眼部区域与嘴部区域更能表征疲劳状态，因而主要依据眼部和嘴部状态来设定阈值；当眼部与嘴部均发生疲劳运动单元中的动作时，即可判定为疲劳，则由判决公式可得阈值为
【文档编号】A61B5/18GK103479367SQ201310405952
【公开日】2014年1月1日 申请日期:2013年9月9日 优先权日:2013年9月9日
【发明者】张灵, 丁伍洋 申请人:广东工业大学