一种车队疲劳驾驶预警监控系统及方法
【专利摘要】本发明公开一种车队疲劳驾驶预警监控系统及方法。所述车队疲劳驾驶预警监控系统（100）包括车载终端（200）及监管平台（300）。车载终端（200）包括摄像头（220）、处理器（210）、报警模块（250）。本发明基于上下眼睑中部之间的第一距离（h）与眉心与嘴心之间的第二距离（H）之比得到眼睛闭合程度，并根据PERCLOS算法检测驾驶员是否出现疲劳状态，不会受摄像头与人脸的相对位置的影响，准确地检测出驾驶员的眼睛闭合程度，并通过监管平台实时查看驾驶员的精神状态，对车队进行统一管理和实时管理，有效避免驾驶员的疲劳驾驶，降低交通事故发生的可能性。
【专利说明】一种车队疲劳驾驶预警监控系统及方法
【技术领域】
[0001]本发明涉及一种车队疲劳驾驶预警监控系统及方法。
【背景技术】
[0002]车队是指在统一控制下进行活动的车辆的队伍，例如城市公共交通的车队、长途汽车站的车队、旅游公司车队、动车列车车队、火车车队、高铁车队、地铁车队。这类车队涉及到公共安全，疲劳驾驶危害严重。目前，驾驶疲劳检测方法的一般思路是:首先检测脑电图(EEG)、眨眼频率等，然后进行特征提取，最后根据提取到的特征和预先设定的标准进行识别，判断有无疲劳发生。还有的通过对方向盘的握力和转动情况进行判定。但是这些方法针对驾驶员单独进行，效率低，而且检测滞后时间长，不能起到预警作用。因此，需要一种在车载、实时、统一监管的车队疲劳驾驶预警监控系统。
【发明内容】
[0003]本发明的目的在于提供一种车队疲劳驾驶预警监控系统，其能够对车队进行统一管理和实时管理，有效避免驾驶员的疲劳驾驶，降低交通事故发生的可能性。
[0004]本发明通过如下技术方案实现:一种车队疲劳驾驶预警监控系统，所述车队疲劳驾驶预警监控系统包括车载终端及监管平台，所述车载终端与所述监管平台通过互联网连接，
所述车载终端包括用于拍摄驾驶员的脸部图像的摄像头、用于检测驾驶员的疲劳状态的处理器、用于给所述车载终端供应电力的电源模块和用于在检测出驾驶员出现疲劳状态时发出报警信号的报警模块，
所述处理器包括图像采集模块和图像处理模块，所述图像采集模块用于获取所述摄像头拍摄的驾驶员的脸部图像，所述图像处理模块用于对所述图像采集模块获取的每帧图像进行人脸特征点检测和跟踪并计算上下眼睑中部之间的第一距离和眉心与嘴心之间的第二距离，基于第一距离与第二距离之比得到眼睛闭合程度，并根据PERCL0S算法检测驾驶员是否出现疲劳状态。
[0005]作为上述技术方案的进一步改进，所述处理器还包括用于存储所述摄像头拍摄的驾驶员的脸部图像的数据存储器、通过SIM卡与互联网连接的移动通讯模块以及用于车辆的GPS定位的GPS模块，所述数据存储器、所述移动通讯模块以及所述GPS模块与所述处理器连接。
[0006]作为上述技术方案的进一步改进，所述监管平台包括用于与互联网连接的中心网关、用于管理GPS地址的GPS服务器模块、用于存储从车载终端接收的数据、图像、视频的存储服务器模块、以及用于控制所述中心网关、所述GPS服务器模块以及所述存储服务器模块的中心管理服务器，所述中心网关、所述GPS服务器模块以及所述存储服务器模块与所述中心管理服务器连接。
[0007]作为上述技术方案的进一步改进，当第一距离与第二距离之比小于5%时，所述图像处理模块判定驾驶员的眼睛处于闭合状态。
[0008]作为上述技术方案的进一步改进，当第一距离与第二距离之比为3%至5%时，所述图像处理模块判定驾驶员的眼睛处于闭合状态。
[0009]作为上述技术方案的进一步改进，在所述处理器根据所述GPS模块判断出车辆的速度超过规定阈值时，所述报警模块发出报警信号。
[0010]根据本发明的另一方面，还提供了一种车队疲劳驾驶预警监控方法，所述车队疲劳驾驶预警监控方法包括以下步骤:
图像采集步骤，用于获取通过红外摄像头拍摄的驾驶员的脸部图像；
检测人脸步骤，用于对获取的每帧图像进行人脸特征点检测；
特征点跟踪步骤，用于辨识人脸特征点，通过人脸特征点提取出眼睛、鼻子、眉毛、嘴巴的相对位置，并对眼睛、鼻子、眉毛、嘴巴的位置进行跟踪；
眼睛闭合程度计算步骤，用于计算上下眼睑中部之间的第一距离和眉心与嘴心之间的第二距离，基于第一距离与第二距离之比得到眼睛闭合程度；
疲劳状态判定步骤，用于根据PERCL0S算法计算眼睛闭合时间占规定时间的百分率。
[0011]作为上述技术方案的进一步改进，当眼睛闭合时间所占比例大于或等于80%时，判定驾驶员出现疲劳状态，并发出报警信号。
[0012]作为上述技术方案的进一步改进，所述车队疲劳驾驶预警监控方法还包括位于所述图像采集步骤之前的建立模型步骤，
所述建立模型步骤包括:
训练样本步骤，用于对标准样本进行训练；
生成模型步骤，用于生成标准样本的人脸特征点检测和跟踪模型。
[0013]本发明的有益效果是:本发明的车队疲劳驾驶预警监控系统基于第一距离与第二距离之比得到眼睛闭合程度，不会受摄像头与人脸的相对位置的影响，准确地检测出驾驶员的眼睛闭合程度，并通过监管平台实时查看驾驶员的精神状态，对车队进行统一管理和实时管理，有效避免驾驶员的疲劳驾驶，降低交通事故发生的可能性。
【专利附图】
【附图说明】
[0014]图1是根据本发明的一个实施方式的车队疲劳驾驶预警监控系统的总体框图示意图；
图2是图1的车队疲劳驾驶预警监控系统的车载终端的示意框图；
图3是图1的车队疲劳驾驶预警监控系统的监管平台的示意图；
图4是根据本发明的一个实施方式的车队疲劳驾驶预警监控方法的建立模型步骤的流程图；
图5是根据本发明的一个实施方式的车队疲劳驾驶预警监控方法的监控过程的流程图；
图6是根据本发明的一个实施方式的车队疲劳驾驶预警监控方法的特征点跟踪步骤辨识的人脸特征点的简化示意图，其中示出了上下眼睑中部之间的第一距离h和眉心与嘴心之间的第二距离H ；
图7是根据本发明的一个实施方式的车队疲劳驾驶预警监控方法的特征点跟踪步骤辨识的人脸特征点的另一简化示意图，其中示出了上下眼睑中部之间的第一距离h和眉心与嘴心之间的第二距离H;
图中标号含义如下:100-车队疲劳驾驶预警监控系统；200-车载终端；300_监管平台；400_互联网；210_处理器；220_摄像头；230_电源模块；250_报警模块；260_移动通讯模块；270-GPS模块；212-图像采集模块；214_图像处理模块；h_第一距离；H_第二距离；240-数据存储器；310_中心管理服务器；320_中心网关；330_GPS服务器模块；340_存储服务器模块。
【具体实施方式】
[0015]以下结合附图对本发明的【具体实施方式】进行进一步的说明。
[0016]在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属【技术领域】的技术人员所理解。
[0017]如图1所示，本实施例的车队疲劳驾驶预警监控系统包括车载终端200及监管平台300。所述车载终端200与所述监管平台300通过互联网400连接。
[0018]其中，所述车载终端200包括用于拍摄驾驶员的脸部图像的摄像头220、用于检测驾驶员的疲劳状态的处理器210、用于给所述车载终端200供应电力的电源模块230和用于在检测出驾驶员出现疲劳状态时发出报警信号的报警模块250。其中，报警信号例如为刺耳声音、鲜明颜色、振动等。
[0019]所述处理器210包括图像采集模块212和图像处理模块214。所述图像采集模块212用于获取所述摄像头220拍摄的驾驶员的脸部图像。所述图像处理模块214用于对所述图像采集模块212获取的每帧图像进行人脸特征点检测和跟踪并计算上下眼睑(眼皮)中部之间的第一距离h和眉心与嘴心之间的第二距离H，基于第一距离h与第二距离H之比得到眼睛闭合程度，并根据PERCL0S算法检测驾驶员是否出现疲劳状态。其中，图像采集模块212从摄像头采集的数据后，可以通过编码器、解码器形成一帧一帧的图像。
[0020]图6和图7示出了第一距离h与第二距离H。其中，图6示出了眼睛睁开的状态。图7示出了眼睛微闭的状态。其中，第一距离h表示上睑的中部与下睑的中部之间的上下距离。眉心是指双眉之间的中心点。嘴心是指嘴唇的上下方向的中心。
[0021]本实施例的车队疲劳驾驶预警监控系统采用第一距离h与第二距离H之比得到眼睛闭合程度，不会受摄像头与人脸的相对位置的影响。例如，在计算上眼睑曲率和睁眼面积来确定眼睛闭合程度的方法中，当人脸向前、向后、向左、向右移动时，摄像头与人脸的相对位置发生变化，即使眼睛状态保持不动，计算出来的睁眼面积也会发生变化。与之不同，本实施例的车队疲劳驾驶预警监控系统采用第一距离h与第二距离H之比得到眼睛闭合程度，即使摄像头与人脸的相对位置发生变化，第一距离h与第二距离H之比也不会随之变化。由此，可以准确地检测出驾驶员的眼睛闭合程度。
[0022]本实施例的车队疲劳驾驶预警监控系统100中，所述车载终端与所述监管平台通过互联网连接，通过移动通讯网络将疲劳状态和车辆相关数据信息传递到监管平台，能够通过后台的监管平台让管理者能实时查看驾驶员的精神状态，提前预警，给驾驶员评分，形成长效安全机制，对驾驶员和道路安全作用非常大。
[0023]如图2所示，在本实施例中，所述处理器210还包括用于存储所述摄像头220拍摄的驾驶员的脸部图像的数据存储器240、通过SIM卡与互联网400连接的移动通讯模块260以及用于车辆的GPS定位的GPS模块270。所述数据存储器240、所述移动通讯模块260以及所述GPS模块270与所述处理器210连接。
[0024]如图3所示，在本实施例中，所述监管平台300包括用于与互联网400连接的中心网关320、用于管理GPS地址的GPS服务器模块330、用于存储从车载终端200接收的数据、图像、视频的存储服务器模块340、以及用于控制所述中心网关320、所述GPS服务器模块330以及所述存储服务器模块340的中心管理服务器310。所述中心网关320、所述GPS服务器模块330以及所述存储服务器模块340与所述中心管理服务器310连接。
[0025]监管平台300包括GPS服务器模块330、流媒体处理模块(未图示)、存储服务器模块340、中心管理系统模块310。在本发明的一个实施例中，监管平台300具有车队车辆管理功能，除了能进行车辆驾驶员的身份认证，还能查看车辆的实时信息。如果监管平台300接收到疲劳驾驶报警，可及时通知车队管理员。而且，监管平台300能分析保存下来的视频记录，快速提取关键信息，方便今后查看。
[0026]在本实施例中，在所述处理器210根据所述GPS模块270判断出车辆的速度超过规定阈值时，所述报警模块250发出报警信号。中心管理服务器310可以具有多个显示设备，以显示各车辆的位置、轨迹、车辆的驾驶速度。
[0027]在本发明的一个实施例中，当第一距离h与第二距离H之比小于5%时，所述图像处理模块214判定驾驶员的眼睛处于闭合状态。在本发明的一个实施例中，当第一距离h与第二距离H之比为3%至5%时，所述图像处理模块214判定驾驶员的眼睛处于闭合状态。一般而言，当第一距离h与第二距离H之比为10%左右时，表明驾驶员的眼睛是睁开的。第一距离h与第二距离H之比的具体临界值可以根据具体驾驶员调整。
[0028]根据本发明的另一方面，还提供了一种车队疲劳驾驶预警监控方法。
[0029]如图5所示，本实施例的车队疲劳驾驶预警监控方法包括以下步骤(即监控过程): 图像采集步骤S11，用于获取通过红外摄像头拍摄的驾驶员的脸部图像；
检测人脸步骤S12，用于对获取的每帧图像进行人脸特征点检测；
特征点跟踪步骤S13，用于辨识人脸特征点，通过人脸特征点提取出相对坐标系统中的眼睛、鼻子、眉毛、嘴巴的相对位置，并对眼睛、鼻子、眉毛、嘴巴的位置进行跟踪；
眼睛闭合程度计算步骤S14，用于计算上下眼睑中部之间的第一距离h和眉心与嘴心之间的第二距离H，基于第一距离h与第二距离H之比得到眼睛闭合程度；
疲劳状态判定步骤S15，用于根据PERCL0S算法计算眼睛闭合时间占规定时间的百分率。
[0030]一般情况下人们眼睛闭合的时间在0.12?0.13s之间，为了采集到眼睛闭合状态，需要检测时间低于0.12/2 = 0.06s，即1/0.06s = 16.7帧/秒。通过高性能的人脸检测及跟踪算法能降低检测时间，保证在设定时间内完成检测任务。检测出人眼闭合状态后，利用四个时间点(或三个时间点，或其他数量的时间点)的曲线拟合，基于PERCLOS (PercentEye Closure，指在一定的时间内眼睛闭合时所占的时间比例)给出疲劳状态的评估。
[0031]在本实施例中，当第一距离与第二距离之比(h/H)小于预定值(例如5%)时，则每隔50ms得到一个h/H，在200ms内得到四个时间点，进行曲线拟合，基于PERCL0S算法算出闭眼睛的时间比例。
[0032]其中，当眼睛闭合时间所占比例大于或等于80%时，判定驾驶员出现疲劳状态，并发出报警信号。当然，可以根据具体情况，改变眼睛闭合时间所占比例的规定值。例如，当眼睛闭合时间所占比例大于或等于70%时，判定驾驶员出现疲劳状态，并发出报警信号。
[0033]如图4所示，在监控过程SI之前，所述车队疲劳驾驶预警监控方法还包括建立模型步骤so。
[0034]所述建立模型步骤SO包括:
训练样本步骤S01，用于对标准样本进行训练，该标准样本例如为人脸数据库；
生成模型步骤S02，用于生成标准样本的人脸特征点检测和跟踪模型。
[0035]本发明的另一实施例的车队疲劳驾驶预警监控方法包括以下步骤:
(1)在汽车启动时，车载终端的图像处理模块通过人脸识别辨认驾驶员身份是否是本车合法司机，如果是则监管平台允许启动，否则监管平台不允许启动；
(2)在行车过程中，实时采集驾驶员人脸图像，辨识人脸特征点，通过人脸特征点提取出眼睛、鼻子、眉毛、嘴巴的相对位置；
(3)基于第一距离与第二距离之比得到眼睛闭合程度，通过PERCL0S的P80算法分析出驾驶员精神状态并以数字呈现；
(4)车载终端将人脸特征点和精神状态分数上传至监管平台；
(5)通过车载终端的GPS模块确定车速，如果车速大于规定阈值，则提高疲劳检测的灵敏度；
(6)如果在当前灵敏度下判定驾驶员出现疲劳状态，则通过报警模块提醒驾驶员，同时刹车装置就位，同时触发后台系统报警，向管理者发送短信或者邮件；人脸检测主要分为两个阶段，模型建立阶段和检测过程阶段。
[0036]本发明的车队疲劳驾驶预警监控系统和方法尤其适用于城市公共交通的车队、长途汽车站的车队、旅游公司车队、动车列车车队、火车车队、高铁车队、地铁车队的监管。
[0037]尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
【权利要求】
1.一种车队疲劳驾驶预警监控系统，其特征在于，所述车队疲劳驾驶预警监控系统(100)包括车载终端(200)及监管平台(300)，所述车载终端(200)与所述监管平台(300)通过互联网(400)连接， 所述车载终端(200)包括用于拍摄驾驶员的脸部图像的摄像头(220)、用于检测驾驶员的疲劳状态的处理器(210 )、用于给所述车载终端(200 )供应电力的电源模块(230 )和用于在检测出驾驶员出现疲劳状态时发出报警信号的报警模块(250 )， 所述处理器(210)包括图像采集模块(212)和图像处理模块(214)，所述图像采集模块(212)用于获取所述摄像头(220)拍摄的驾驶员的脸部图像，所述图像处理模块(214)用于对所述图像采集模块(212)获取的每帧图像进行人脸特征点检测和跟踪并计算上下眼睑中部之间的第一距离(h)和眉心与嘴心之间的第二距离(H)，基于第一距离(h)与第二距离(H)之比得到眼睛闭合程度，并根据PERCLOS算法检测驾驶员是否出现疲劳状态。
2.根据权利要求1所述的车队疲劳驾驶预警监控系统，其特征在于，所述处理器(210)还包括用于存储所述摄像头(220)拍摄的驾驶员的脸部图像的数据存储器(240)、通过SM卡与互联网(400)连接的移动通讯模块(260)以及用于车辆的GPS定位的GPS模块(270)，所述数据存储器(240)、所述移动通讯模块(260)以及所述GPS模块(270)与所述处理器(210)连接。
3.根据权利要求2所述的车队疲劳驾驶预警监控系统，其特征在于，所述监管平台(300)包括用于与互联网(400)连接的中心网关(320)、用于管理GPS地址的GPS服务器模块(330)、用于存储从车载终端(200)接收的数据、图像、视频的存储服务器模块(340)、以及用于控制所述中心网关(320)、所述GPS服务器模块(330)以及所述存储服务器模块(340)的中心管理服务器(310)，所述中心网关(320)、所述GPS服务器模块(330)以及所述存储服务器模块(340)与所述中心管理服务器(310)连接。
4.根据权利要求1至3任一项所述的车队疲劳驾驶预警监控系统，其特征在于，当第一距离(h)与第二距离(H)之比小于5%时，所述图像处理模块(214)判定驾驶员的眼睛处于闭合状态。
5.根据权利要求1至3任一项所述的车队疲劳驾驶预警监控系统，其特征在于，当第一距离(h)与第二距离(H)之比为3%至5%时，所述图像处理模块(214)判定驾驶员的眼睛处于闭合状态。
6.根据权利要求3所述的车队疲劳驾驶预警监控系统，其特征在于，在所述处理器(210)根据所述GPS模块(270)判断出车辆的速度超过规定阈值时，所述报警模块(250)发出报警信号。
7.一种车队疲劳驾驶预警监控方法，其特征在于，所述车队疲劳驾驶预警监控方法包括以下步骤: 图像采集步骤(SI I )，用于获取通过红外摄像头拍摄的驾驶员的脸部图像； 检测人脸步骤(S12)，用于对获取的每帧图像进行人脸特征点检测； 特征点跟踪步骤(S13)，用于辨识人脸特征点，通过人脸特征点提取出眼睛、鼻子、眉毛、嘴巴的相对位置，并对眼睛、鼻子、眉毛、嘴巴的位置进行跟踪； 眼睛闭合程度计算步骤(S14)，用于计算上下眼睑中部之间的第一距离(h)和眉心与嘴心之间的第二距离(H)，基于第一距离(h)与第二距离(H)之比得到眼睛闭合程度； 疲劳状态判定步骤(S15)，用于根据PERCLOS算法计算眼睛闭合时间占规定时间的百分率。
8.根据权利要求7所述的车队疲劳驾驶预警监控方法，其特征在于，当眼睛闭合时间所占比例大于或等于80%时，判定驾驶员出现疲劳状态，并发出报警信号。
9.根据权利要求7所述的车队疲劳驾驶预警监控方法，其特征在于，所述车队疲劳驾驶预警监控方法还包括位于所述图像采集步骤(Sll)之前的建立模型步骤(S0)， 所述建立模型步骤(so)包括: 训练样本步骤(SOl)，用于对标准样本进行训练； 生成模型步骤(S02)，用于生成标准样本的人脸特征点检测和跟踪模型。
【文档编号】G08B21/06GK104408878SQ201410615646
【公开日】2015年3月11日 申请日期:2014年11月5日 优先权日:2014年11月5日
【发明者】唐郁文 申请人:唐郁文