一种自适应调整疲劳驾驶预警系统灵敏度的系统的制作方法
【专利摘要】本发明公开了一种自适应调整疲劳驾驶预警系统灵敏度的系统，包括信息采集模块、信息处理模块和预警装置模块；信息采集模块，用于采集驾驶人面部图像序列；信息处理模块，用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息，根据初始驾驶时段及持续开车时长自动开启相应的疲劳预警灵敏度模式，根据该模式预先设定的疲劳判断参数，判定驾驶员是否处于疲劳驾驶状态；预警装置模块，用于当驾驶员处于疲劳驾驶时，根据疲劳等级以语音方式对驾驶员进行预警提示。
【专利说明】一种自适应调整疲劳驾驶预警系统灵敏度的系统
【技术领域】
[0001]本发明涉及于智能交通【技术领域】，具体涉及一种自适应调整疲劳驾驶预警系统灵敏度的系统。
【背景技术】
[0002]随着汽车保有量增多和高速公路的不端延伸，汽车交通事故随之增多，道路交通安全形势日益严峻，造成了大量人员伤亡和巨额的经济损失，社会问题层出不穷。调查显示，在诸多事故发生原因中，疲劳驾驶是主要诱因之一，造成人身伤害甚至死亡的事故中20%以上是由疲劳驾驶导致的。驾驶人在疲劳时，对周围环境的感知能力、形势判断能力和对车辆的操控能力都大幅度降低，极容易发生交通事故。随着人们安全意识的增强和科学技术的进步，驾驶人疲劳驾驶判别技术已成为汽车安全【技术领域】的一个重要发展方向，研究开发高性能的疲劳驾驶判别及预警技术，对改善我国交通安全状况意义重大。
[0003]目前检测驾驶人疲劳状态的方法较多，按检测的类别可大致分为:基于驾驶人生理信号(脑电信号、心电信号等)的检测、基于驾驶人操作行为(如方向盘操作等)的检测、基于车辆状态信息(行驶轨迹、车道线等)的检测和基于驾驶人生理反应特征(眼睛特性、嘴部运动特征)等的检测等方法。这些方法中，通过图像处理的方法将眼睑、瞳孔、表情等面部特征结合起来，检测驾驶员疲劳状态，实现疲劳驾驶判别的算法在用户接受性、可靠性、准确性方面具有较高的综合优势。国内已经有少量利用这种方法的疲劳驾驶预警产品或样品，如南京远驱科技有限公司的安乃达平安行、美保驭汽车智能科技有限公司的保平安DDS-201、上海博威思视讯科技有限公司的DSIS平安星等，这些产品虽然具备了疲劳检测的功能，但是检测参数单一、更没有根据在不同时段及持续驾驶时间的长短，驾驶员精神状态的差异自动调整预警的灵敏度，从而出现灵敏度较高时误检、灵敏度较低时漏检的问题，影响了疲劳驾驶检测的精度，根据驾驶时段与时长自适应调整疲劳驾驶预警系统的灵敏度是提高疲劳驾驶检测技术水平的关键要素。
[0004]申请号为201310731567.1的中国专利公开了基于图像处理通过心率特征与表情特征融合实现疲劳驾驶判别的系统，包括信息采集装置、信息处理装置和预警装置，其特征在于所述信息采集装置用于采集驾驶人面部图像序列，并提供给信息处理装置；所述信息处理装置用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息及心率特征信息，并将表情特征和心率特征进行信息融合，用以判别驾驶员是否处于疲劳状态；预警装置，用于当驾驶员出现疲劳驾驶时，根据预警策略和疲劳等级向预警提示器发送指令，向驾驶员提示预警。其中并没有将不同时段及持续驾驶时间的长短不同引起的驾驶员精神状态差异性作为疲劳参数设置的重要考量因素，因此需要一种对疲劳检测更加全面和先进的系统。
【发明内容】
[0005]针对目前疲劳驾驶检测技术中不同时段判断疲劳发生的参数阈值单一而出现误检、漏检的问题，本发明提出一种自适应调整疲劳驾驶预警系统灵敏度的系统，根据一天中不同时段与驾驶时间长短，驾驶员精神状态的差异导致发生疲劳驾驶概率的不同，自适应调整疲劳驾驶预警系统的灵敏度，设置不同的疲劳判断参数阈值，改变现有产品与技术中笼统的参数阈值设置方法，减少误检、漏检等问题发生。
[0006]本发明的技术方案是:一种自适应调整疲劳驾驶预警系统灵敏度的系统，包括信息采集模块、信息处理模块和预警装置模块；
信息采集模块，用于采集驾驶人面部图像序列；
信息处理模块，用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息，根据初始驾驶时段及持续开车时长自动开启相应的疲劳预警灵敏度模式，根据该模式预先设定的疲劳判断参数，判定驾驶员是否处于疲劳驾驶状态；
预警装置模块，用于当驾驶员处于疲劳驾驶时，以语音方式对驾驶员进行预警提示。
[0007]进一步的，所述的信息采集模块包括从摄像头读取视频图像信息的图像采集模块。
[0008]进一步的，所述的信息处理模块包括:
人脸定位识别模块，提供一种在车辆车体振动、室外光线变化、驾驶员面部姿态变化条件下定位与识别驾驶员人脸图像的算法；
面部姿态估计模块，检测到驾驶员人脸图像后，估计人脸面部姿态角度；
眼睛睁闭检测模块，在检测到的驾驶员人脸图像上检测人眼图像，得到眼睛睁闭状态信息；
参数设置分类模块，通过区分不同驾驶时段及持续开车时长人精神状态的差异，设置不同的疲劳判断参数阈值；
疲劳驾驶判别模块，根据初始驾驶时段及持续驾驶时长自动开启相应的疲劳预警灵敏度模式，根据该模式预先设定的疲劳判断参数，判定驾驶员是否处于疲劳驾驶状态。
[0009]进一步的，所述的信息处理模块还包括用于实时获取车辆的动态位置信息的GPS模块。
[0010]进一步的，所述的信息处理模块还包括数据库模块，所述数据库模块用于存储驾驶员人脸识别结果信息、处于疲劳状态的时间信息和车辆位置信息。
[0011]本发明还提供了一种自适应调整疲劳驾驶预警系统灵敏度的方法，包括如下步骤:
(1)采集驾驶人面部图像序列并进行处理分析，得到驾驶员的表情特征信息；
(2)对驾驶员面部特征信息进行综合识别，根据初始驾驶时段及持续开车时长自动开启相应的疲劳预警灵敏度模式，根据该模式预先设定的疲劳判断参数，判定驾驶员是否处于疲劳驾驶状态；
(3)当驾驶员处于疲劳驾驶时，以语音方式对驾驶员进行预警提示。
[0012]本发明的优点是:
1.针对现有疲劳检测技术对驾驶时段及驾驶时间长短驾驶员精神状态差异性大的这一考虑的缺失，本发明提出一种自适应调整疲劳驾驶预警系统灵敏度的方法，根据一天中不同时段与驾驶时间长短，驾驶员精神状态的差异导致发生疲劳驾驶的可能性的不同，自适应调整疲劳驾驶预警系统的灵敏度，动态设置疲劳判断参数阈值，改变了现有产品与技术中笼统的参数设置方法，能减少误检、漏检等问题发生的可能性，在极大程度上提高疲劳检测技术的精准性。
[0013]现有的疲劳驾驶判别系统大都基于单一指标判断，其结果易受室外光照变化、驾驶员个体差异性等因素的影响，难以保证系统判别的准确性和鲁棒性。本发明提供一种基于图像处理通过表情特征与不同时段人体基本精神状态融合，实现疲劳驾驶判别的系统，实现疲劳驾驶判别的算法及车载装置，提高了疲劳驾驶判别系统的精确度、鲁棒性和可靠性。
[0014]本发明装配简单，易于操作，使用方便，具有很高的推广应用价值和广阔的市场前旦
-5^ O
【专利附图】
【附图说明】
[0015]下面结合附图及实施例对本发明作进一步描述:
图1为本发明中一种自适应调整疲劳驾驶预警系统的结构框图；
图2为本发明中一种自适应调整疲劳驾驶预警系统的工作流程图。
【具体实施方式】
[0016]为使本发明的目的、技术方案和优点更加清楚明了，下面结合【具体实施方式】并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0017]实施例:
如图1所示，本发明的一种自适应调整疲劳驾驶预警系统包括硬件系统和软件系统两部分，其中硬件系统包括信息采集、信息处理、预警装置三个模块。
[0018]信息采集模块，用于采集驾驶人面部图像序列；
信息处理模块，用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息，根据初始驾驶时段及持续开车时长自动开启相应的疲劳预警灵敏度模式，根据该模式预先设定的疲劳判断参数，判定驾驶员是否处于疲劳驾驶状态；
预警装置模块，当驾驶员出现疲劳驾驶时，以语音方式对驾驶员进行提示，实现预警。
[0019]软件系统包括图像采集、GPS、人脸定位识别、面部姿态估计、眼睛睁闭检测、参数设置分类、疲劳驾驶判别、数据库、预警等模块。
[0020]图像采集模块，从摄像头读取视频图像信息；
GPS模块，用于实时获取车辆的动态位置信息；
人脸定位识别模块，研究在车辆车体振动、室外光线变化、驾驶员面部姿态变化等复杂条件下定位与识别驾驶员人脸图像的算法；
面部姿态估计模块，检测到驾驶员人脸图像后，估计人脸面部姿态角度；
眼睛睁闭检测模块，在检测到的驾驶员人脸图像上检测人眼图像，得到眼睛睁闭状态信息；
参数设置分类模块，通过区分不同驾驶时段及持续开车时长人精神状态的差异，设置不同的疲劳判断参数阈值； 根据一天中不同时段与驾驶时间长短，驾驶员精神状态的差异导致发生疲劳驾驶的可能性的不同，如一天中易疲劳时段:0:00-5:59、12:00-13:59，疲劳发生的可能性大；而相对不易疲劳时段:6:00-11:59、14:00-23:59，疲劳发生的可能性相对较小。驾驶时长2h以内、2-3h、3-4h、4h以上，疲劳发生的可能性也随之增大。通过区分不同驾驶时段(0:00-5:59,12:00-13:59,6:00-11:59,14:00-23:59)及持续开车时长(2h 以内、2_3h、3-4h、4h以上)人精神状态的差异，设置不同的检测灵敏度模式，对应不同的疲劳判断参数值。如当驾驶员在0:00开始驾驶，系统将启动高灵敏疲劳检测模式，其疲劳发生的参数值是该驾驶员眼睛闭合时间占总时间百分比达到(PERCLOS) 10%以上或最长眨眼时间(MCD)达到0.8s以上；当开车时长在4小时以上时，系统为强制报警模式；
其他情况见下表:其中，PERCLOS (PERcentage of eyelid CLOSure,眼睛闭合百分比，简称 PERCLOS), MCD (Maximum Close Durat1n,最长眨眼时间，简称 MCD)。
W?I? Ji V丨驾IMagss |对应瘛劳参数指标
IS.__(km h) T (h)___
低灵敏度 PERCLOS > 13%
0<1<2
或 MCD>!.2S
6:00-11:5 &'
^较高灵敏度 PERCLOS > 15%
V>40 2<T<3
或 MCE?!.?S
14:00-23:5 9_高灵敏度 PERCLOS > 10%
? < 丁<4
"或 3JCD>i).SS
0:60-5:59PERCLOS > i8%
-V>4&C<I<4高灵敏度,
I2:m-13:59或 M:D>L2S
任意_任意 —T>4 I强制报警 [一~~~~~-二
[0021]疲劳驾驶判别模块，通过大量实验，分别为上述多种特征信息确定合适的权值，然后将其融合起来，根据建立的疲劳驾驶判别模型，判定驾驶员是否处于疲劳驾驶状态；
数据库模块，用于存储驾驶员人脸识别结果信息、处于疲劳状态的时间信息、位置信息；
预警模块，当判定驾驶员处于疲劳驾驶状态时，根据疲劳等级以语音方式进行预警提
/Jn ο
[0022]如图2所示，本发明的一种自适应调整疲劳驾驶预警系统的工作流程如下:
1.经过多次试验，得到不同车辆、不同光照、不同驾驶员的人脸图像，进行预处理并归一化为24 X 24大小的人脸样本后，采用常用的haar特征与Adaboost相结合的方法训练人脸检测分类器；
2.将疲劳驾驶检测与预警装置安装在车辆仪表盘上方，以摄像头能拍摄到驾驶员面对车辆前方时的面部图像为准，当并通过GPS模块实时获取车辆的动态位置信息，夜晚通过带有红外LED灯的摄像头保持系统正常工作。当车速达到40km/h及以上时，持续开车时长在4小时以内时，系统依据驾驶初始时间及时长选择不同的灵敏度模式进行疲劳检测；当开车时长达到4小时及以上时，无论车速及开始驾驶时间为多少，系统强制报警；
3.在采集到的图片序列中，使用训练好的人脸分类器，结合人脸跟踪进行人脸定位，获取驾驶员人脸图像；
4.检测到人脸图像后，先使用ASM (Active Shape Model，主动形状模型)方法得到人眼位置并分析眼部特征，同时进行面部姿态的估计，然后将面部特征、眼部特征进行信息融合，得到表情特征信息；
6.得到驾驶员的表情特征后，通过大量实验，分别为各种信息特征确定合适的权值，将其融合起来，得到驾驶员疲劳状态信息；
7.根据本发明提出的自适应调整疲劳驾驶预警系统灵敏度的方法，依据当前情况下驾驶员所处的时段及驾驶时长，自动选择不同的参数模型类型及对应的疲劳参数指标，当融合后的疲劳状态信息超过设定的阈值，或某一种特征信息达到了最大极限值时，就判定为疲劳驾驶；
8.将驾驶员人脸识别结果、处于疲劳状态的时间、地点等信息存储至数据库中；
9.当判定驾驶员处于疲劳驾驶状态时，根据疲劳等级以语音方式对驾驶员进行预警提
/Jn ο
[0023]应当理解的是，本发明的上述【具体实施方式】仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
【权利要求】
1.一种自适应调整疲劳驾驶预警系统灵敏度的系统，包括信息采集模块、信息处理模块和预警装置模块，其特征在于， 信息采集模块，用于采集驾驶人面部图像序列； 信息处理模块，用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息，根据初始驾驶时段及持续开车时长自动开启相应的疲劳预警灵敏度模式，根据该模式预先设定的疲劳判断参数，判定驾驶员是否处于疲劳驾驶状态； 预警装置模块，用于当驾驶员处于疲劳驾驶时，以语音方式对驾驶员进行预警提示。
2.根据权利要求1所述的自适应调整疲劳驾驶预警系统灵敏度的系统，其特征在于，所述的信息采集模块包括从摄像头读取视频图像信息的图像采集模块。
3.根据权利要求1所述的自适应调整疲劳驾驶预警系统灵敏度的系统，其特征在于，所述的信息处理模块包括: 人脸定位识别模块，提供一种在车辆车体振动、室外光线变化、驾驶员面部姿态变化条件下定位与识别驾驶员人脸图像的算法； 面部姿态估计模块，检测到驾驶员人脸图像后，估计人脸面部姿态角度； 眼睛睁闭检测模块，在检测到的驾驶员人脸图像上检测人眼图像，得到眼睛睁闭状态信息； 参数设置分类模块，通过区分不同驾驶时段及持续开车时长人精神状态的差异，设置不同的疲劳判断参数阈值； 疲劳驾驶判别模块，根据初始驾驶时段及持续驾驶时长自动开启相应的疲劳预警灵敏度模式，根据该模式预先设定的疲劳判断参数，判定驾驶员是否处于疲劳驾驶状态。
4.根据权利要求1或3所述的自适应调整疲劳驾驶预警系统灵敏度的系统，其特征在于，所述的信息处理模块还包括用于实时获取车辆的动态位置信息的GPS模块。
5.根据权利要求4所述的自适应调整疲劳驾驶预警系统灵敏度的系统，其特征在于，所述的信息处理模块还包括数据库模块，所述数据库模块用于存储驾驶员人脸识别结果信息、处于疲劳状态的时间信息和车辆位置信息。
6.一种自适应调整疲劳驾驶预警系统灵敏度的方法，其特征在于，包括如下步骤: (1)采集驾驶人面部图像序列并进行处理分析，得到驾驶员的表情特征信息； (2)对驾驶员面部特征信息进行综合识别，根据初始驾驶时段及持续开车时长自动开启相应的疲劳预警灵敏度模式，根据该模式预先设定的疲劳判断参数，判定驾驶员是否处于疲劳驾驶状态； (3)当驾驶员处于疲劳驾驶时，以语音方式对驾驶员进行预警提示。
【文档编号】G08B21/06GK104183091SQ201410398955
【公开日】2014年12月3日 申请日期:2014年8月14日 优先权日:2014年8月14日
【发明者】张伟, 童小鸣, 刘花 申请人:苏州清研微视电子科技有限公司