基于图像信息综合评判的驾驶员疲劳监测网络系统的制作方法

专利名称：基于图像信息综合评判的驾驶员疲劳监测网络系统的制作方法
技术领域：
本实用新型涉及一种驾驶员疲劳监测系统，尤其涉及一种基于图像信息对驾驶员的疲劳程度进行综合评判，并实现分级预警的驾驶员疲劳监测网络系统，属于汽车安全技术领域。
背景技术：
驾驶时疲劳、睡眠不足是引发严重交通事故的重要诱因。有关统计表明，由于疲劳/瞌睡造成的交通事故在交通事故的总数中占10%左右，在严重交通事故中占45%，在重型卡车和高速路上的交通事故中，则占到40%左右。特别是在校车、班车、长途客车、长途货 车等的驾驶过程中，因驾驶员疲劳造成的交通事故屡屡发生，给广大人民的生命财产安全造成了极为严重的损失。因此，许多国家对驾驶员在驾驶时的“瞌睡”检测的研究非常重视，并取得了很多研究成果。例如奥地利科学家研究发现，人疲劳时瞳孔直径因光线的变化而变化程度会变得剧烈。根据这一特点，他们开发了一种红外线振动记录仪，通过检测司机瞳孔直径变化频率，判断司机长时间驾驶后的疲劳程度及其驾车的危险性。日本先锋公司推出了一种防打瞌睡系统，它通过安装在方向盘上的心跳感应器监视司机的状态。当司机握住方向盘时，感应器每隔10秒钟检测一次司机的心跳速度。它还安装有汽车内置感应装置，可以检测汽车速度的变化和方向操作频繁的变化，通过上述监测数据的综合分析，来判断司机是否瞌睡，并通过音乐来提醒司机。德国奔驰公司开发了一款防疲劳驾驶系统。此系统通过一个对准驾驶员的红外摄像机持续地纪录其眨眼频率及每次闭眼时间，根据其中的规律来判断司机疲劳程度，一旦发现闭眼超时，就能做出判断，响起警报提醒驾驶者。日本丰田汽车也推出一种防瞌睡提醒系统。这套系统是通过安装在方向盘上的一个摄像头来实时监视驾驶者的精神状态，车辆计算机通过摄像头获得的驾驶者面部情况来判断驾驶者是否有打瞌睡的现象。计算机侦测到驾驶者的上下眼睑距离低于最低限度，且驾驶者的面部没有正对方向盘时，计算机就会进入一种防瞌睡预警状态，它会通过声音方式尝试对驾驶者进行早期预警提醒。通过摄像头，计算机认为驾驶者还是处于瞌睡状态，它会继续将警戒程度提高，同时介入刹车系统，控制刹车让车速降低。但是，现有技术普遍存在一些缺点需要解决。例如中国实用新型专利ZL200820023177. 3提出了一种基于高速单片机计算眼睛闭合百分比PERCL0S值的无接触式疲劳判断方案，但仅仅考虑单个疲劳特征具有较大的片面性，容易导致漏判或误判。中国发明专利ZL200610031817. O和发明专利申请200910038613. 3分别提出利用多种疲劳特征进行判断，但需要新安装的多种仪表和设备，反而会影响系统的可靠性，尤其是为了进行驾驶员视线跟踪，要求在前挡风玻璃上安装矩形红外LED光源模块，极可能因为影响驾驶员视觉而导致新的安全隐患。另外，目前还没有支持外在人力(如监管部门或亲人)对驾驶员疲劳程度进行全过程实时监控的技术解决方案。发明内容本实用新型所要解决的技术问题在于提供一种基于图像信息综合评判的驾驶员疲劳监测网络系统。该系统基于图像信息对驾驶员的疲劳程度进行综合评判，并能够实现分级预警。为实现上述的发明目的，本实用新型采用以下技术方案—种基于图像信息综合评判的驾驶员疲劳监测网络系统，其特征在于所述驾驶员疲劳监测网络系统包括摄像头、云台、前端嵌入式系统和前端应用模块;其中，所述摄像头和所述云台分别与所述前端嵌入式系统进行连接，所述前端嵌入式系统连接所述前端应用模块，所述摄像头安装在所述云台上面，所述云台安装在汽车前挡风玻璃驾驶员外侧的框架上； 所述前端应用模块包括人脸检测模块、人脸特征点定位模块、眼睛开合检测模块、打哈欠检测模块、头部运动跟踪模块和综合评判模块，所述人脸检测模块与所述人脸特征点定位模块分别连接所述眼睛开合检测模块、所述打哈欠检测模块和所述头部运动跟踪模块，所述眼睛开合检测模块、所述打哈欠检测模块和所述头部运动跟踪模块分别与所述综合评判模块相连接。其中，所述前端嵌入式系统包括前端嵌入式中心单元、视频接口及模数变换电路和云台控制电路，所述前端嵌入式中心单元分别连接所述视频接口及模数变换电路和所述云台控制电路；所述视频接口及模数变换电路连接所述摄像头，所述云台控制电路连接所述云台。所述前端嵌入式系统中具有汽车操纵接口，所述汽车操纵接口一方面连接所述前端嵌入式中心单元，另一方面连接汽车本身的操纵装置。所述驾驶员疲劳监测网络系统中还包括声光发生器，所述声光发生器与所述前端嵌入式系统中的声光发生器接口连接，所述声光发生器接口连接所述前端嵌入式中心单
J Li ο所述前端嵌入式系统中具有无线通讯模块及天线，所述无线通讯模块及天线连接所述前端嵌入式中心单元。所述前端嵌入式系统中具有导航定位模块及天线，所述导航定位模块及天线连接所述前端嵌入式中心单元。本实用新型所提供的驾驶员疲劳监测网络系统可以对驾驶员的疲劳程度进行实时监控，根据驾驶员眨眼、打哈欠、头部运动等异常表情和行为做出正确判断。四级分级预警机制能够对驾驶员的疲劳程度进行分级预警，使得疲劳检测更为准确。
以下结合附图
和具体实施方式
对本实用新型作进一步的详细说明。图I为本实用新型所提供的驾驶员疲劳监测网络系统的组成原理示意图；图2为本驾驶员疲劳监测网络系统中，摄像头及云台的安装点示意图；图3为PERCL0S值的测量原理示意图；[0022]图4为眼睛开合检测模块的工作模式示意图；图5为打哈欠检测模块的工作模式示意图；图6为头部运动跟踪模块的工作模式示意图。
具体实施方式
如图I所示，本实用新型所提供的驾驶员疲劳监测网络系统包括如下的组成部分摄像头I、云台2、声光发生器3、前端嵌入式系统4和前端应用模块5。其中，前端嵌入式系统4以前端嵌入式中心单元42为中心，进一步包括电源输入模块41、视频接口及模数变换电路43、云台控制电路44、数模转换及视频处理电路45、声光发生器接口 46、汽车操纵接口 47、无线通讯模块及天线48、导航定位模块及天线49。该前端嵌入式中心单元42分别连接电源输入模块41、视频接口及模数变换电路43、云台控制电路44、数模转换及视频处理电路45、声光发生器接口 46、汽车操纵接口 47、无线通讯模块及天线48、导航定位模块及天线49。同时，前端嵌入式中心单元42也与前端应用模块5进行连接。该前端应用模块5用于执行对眼睛开合状态、打哈欠状态、头部运动状态的检测算法，并做出综合判断。前端嵌入式中心单元42包括处理器硬件及相应的驱动程序和操作系统软件。它安装在汽车内的适当位置，可采用ARM系列芯片、FPGA、DSP或单片机等来实现，并具有自带时钟。云台控制电路44用于提供云台运动和摄像头镜头伸缩驱动命令，以确保得到足够大且完整的驾驶员头部视频图像。汽车操纵接口 47连接汽车本身的操纵装置，用于对汽车自身的制动、喇叭等进行操纵。汽车蓄电池的输出直接与电源输入接口 41相连，为本驾驶员疲劳监测网络系统中的有关设备供电。无线通讯模块及天线48用于实现广域网无线通信，如采用GSM/GPRS/3G/4G通信模块及相应的SM/USM卡等。导航定位模块及天线49可以支持接收美国GPS、俄罗斯GNNS、欧洲伽利略、中国北斗2等卫星信息或惯性导航系统进行导航定位，能够实时获知汽车所处的经度、纬度，便于在需要求援时将具体位置通过服务器告知预设的客户端。如图2所示，摄像头I优选为红外摄像头，它安装在云台2上面。云台2安装在前挡风玻璃驾驶员外侧的框架上，确保不影响驾驶员视线且处于与驾驶员头部高度相当的位置。摄像头I和云台2分别与前端嵌入式系统4相连接，并由前端嵌入式系统4供电。摄像头I将驾驶员头部视频图像传送到前端嵌入式系统4中的视频接口及模数变换电路43。前端嵌入式系统4通过云台控制电路44提供云台运动和摄像头镜头伸缩驱动命令，以确保得到足够大且完整的驾驶员头部视频图像。如果自然光能确保成像要求，则关闭红外灯；否贝U，打开红外灯。声光发生器3连接声光发生器接口 46。声光发生器3可以包括声音发生器、灯光(可发出红、橙、黄、绿等灯光)或视频显示器等。如图I所示，本驾驶员疲劳监测网络系统中的前端应用模块5进一步包括人脸检测模块51、人脸特征点定位模块52、眼睛开合检测模块53、打哈欠检测模块54、头部运动跟踪模块55和综合评判模块56。其中，人脸检测模块51与人脸特征点定位模块52相连接，它们分别连接眼睛开合检测模块53、打哈欠检测模块54和头部运动跟踪模块55。眼睛开合检测模块53、打哈欠检测模块54和头部运动跟踪模块55分别与综合评判模块56相连接，将从不同角度检测到的驾驶员疲劳程度信息送入综合评判模块56中进行最终的评价。、[0030]人脸检测模块51用于对输入的单帧图像数据，找到图像中人脸的位置，并将人脸的位置用矩形框表示。人脸检测模块51可以是基于DSP-TMS320C6713芯片的人脸识别芯片。人脸特征点定位模块52用于对输入的单帧图像数据，得到人脸的五官位置，五官位置用多个点的坐标序列表示。这两个功能模块可以采用中星微电子公司提供的Vimicro30INeptune硬件产品，也可以基于DSP芯片搭建。也可以采用现有的人脸识别方法，例如基于 LGBP 的人脸识别方法(参见 http: //www. jdl. ac. cn/pro ject/faceld/articles/ICCV2005-wczhang-LGBP. pdf)、基于AdaBoost的Gabor特征选择及判别分析方法(参见 http://www. jdl. ac. cn/pr oject/faceId/articles/FRJDL-FG04-BoostedGabor-Yang.pdf)等，以软件或者固件方式实现。眼睛开合检测模块53采用PERCL0S算法检测驾驶员眼睛的开合程度。可以基于DSP-TMS320C6416芯片来实现。PERCL0S是Percent EyeClose的缩写，指在一定的时间内眼睛闭合所占的时间比例。在具体实验中，有P70、P80、EM三种测量方式，其中P80被认为最能反映人的疲劳程度。图3为PERCL0S值的测量原理图。图中曲线为一次眼睛闭合和睁开过程中眼睛开合度变化曲线图，可根据此曲线得到所需测量的眼睛的某个程度的闭合或睁开所持续的时间，从而计算出PERCL0S值。在图3中，tl为眼睛完全睁开到闭合20%的时间；t2为眼睛完全睁开到闭合80%的时间；t3为眼睛完全睁开到下一次睁开20%的时间；t4为眼睛完全睁开到下一次睁开80%的时间。通过测量tl到t4的值就可以得到PERCL0S的值f。
r夂 2/ = —7
M 一 hf为眼睛闭合时间所占某一特定时间的百分率。对于P80测量方式来说，可以认为当f > O. 15时，驾驶员处于疲劳状态。基于上述的PERCL0S值的测量原理，眼睛开合检测模块53的工作模式如图4所示。对于输入的单帧图像数据，经过人脸检测模块51和人脸特征点定位模块52处理之后，可以得到人脸的五官位置。然后，对于每帧图像调用眼睛开合度主函数，并结合五官的定位结果，可以得到眼睛的开合度数值。将多帧图像数据的图像序列结果累积起来，结合多帧图像的眼睛开合度数值就可以得到疲劳与否的判断。图5显示了打哈欠检测模块54的工作模式。可以采用德州仪器公司开发的DSP-TMS320DM642芯片搭建。对于输入的单帧图像数据，经过人脸检测模块51和人脸特征点定位模块52处理之后，可以得到人脸的五官位置。在得到人脸的五官位置之后，对于每帧图像调用嘴巴开合判断主函数，并结合五官的定位结果，可以得到嘴巴的开合情况，结合多帧图像计算嘴巴张开时间，可以得到是否疲劳的判断。图6显示了头部运动跟踪模块55的工作模式。可以采用市场上广泛销售的FASTRAK位置跟踪器。对于输入的单帧图像数据，经过人脸检测模块51和人脸特征点定位模块52处理之后，可以得到人脸的五官位置。在得到人脸五官位置之后，对于每帧图像分别计算其头部位置，并结合五官的定位结果，可以得到头部运动轨迹。结合多帧图像计算点头频率，可以得到是否疲劳的判断。综合评判模块56对眼睛开合检测模块53、打哈欠检测模块54和头部运动跟踪模块55所获得的检测结果进行加权运算。基于对眼睛开合状态、打哈欠状态、头部运动状态等三种疲劳特征监测的综合评判，将驾驶员疲劳程度划分为四个等级绿色-清醒、黄色-轻度疲劳、橙色-中度疲劳、红色-高度疲劳。当眼睛开合检测模块53、打哈欠检测模块54或头部运动跟踪模块55这三个模块均未检测到异常时，综合评价模块输出检测结果为清醒。允许汽车正常行驶，在车载嵌入式设备屏幕上的疲劳程度指示灯显示为绿色。当眼睛开合检测模块53、打哈欠检测模块54或头部运动跟踪模块55三个模块中有且仅有一个模块检测到异常时，综合评价模块检测结果为轻度疲劳。允许汽车正常行驶。声光发生器3上的疲劳程度指示灯显示为黄色不断闪烁，并向驾驶员发出报警声。当眼睛开合检测模块53、打哈欠检测模块54或头部运动跟踪模块55三个模块中有且仅有两个模块检测到异常时，综合评价模块检测结果为中度疲劳。声光发生器3上的 疲劳程度指示灯显示为橙色不断闪烁，并同时向驾驶员、远端的服务器和预设的客户端发出报警声，建议驾驶员靠边停车。当眼睛开合模块检测、打哈欠检测模块54或头部运动跟踪模块55三个模块均检测到异常时，综合评价模块检测结果为高度疲劳。声光发生器3上的疲劳程度指示灯显示为红色不断闪烁，自动亮起警示灯以警示周围车辆及行人，数秒钟后自动减速并熄火，同时向远端的服务器和预设的客户端发出持续报警并报告汽车所处的位置，要求救援。参见图I所示，本驾驶员疲劳监测网络系统可以通过无线通讯模块及天线48接入无线互联网，从而与远端的服务器和客户端进行数据、声音和视频通信。这样，位于远端的服务器在汽车运行过程中，可以对驾驶员行驶过程中的疲劳程度进行远程实时监控，必要时进行救援。以上对本实用新型所提供的基于图像信息综合评判的驾驶员疲劳监测网络系统进行了详细的说明，但显然本实用新型的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本实用新型的权利要求范围的情况下对它进行的各种显而易见的改变都在本实用新型的保护范围之内。
权利要求1.一种基于图像信息综合评判的驾驶员疲劳监测网络系统，其特征在于 所述驾驶员疲劳监测网络系统包括摄像头、云台、前端嵌入式系统和前端应用模块；其中， 所述摄像头和所述云台分别与所述前端嵌入式系统进行连接，所述前端嵌入式系统连接所述前端应用模块，所述摄像头安装在所述云台上面，所述云台安装在汽车前挡风玻璃驾驶员外侧的框架上； 所述前端应用模块包括人脸检测模块、人脸特征点定位模块、眼睛开合检测模块、打哈欠检测模块、头部运动跟踪模块和综合评判模块，所述人脸检测模块与所述人脸特征点定位模块分别连接所述眼睛开合检测模块、所述打哈欠检测模块和所述头部运动跟踪模块，所述眼睛开合检测模块、所述打哈欠检测模块和所述头部运动跟踪模块分别与所述综合评判模块相连接。
2.如权利要求I所述的驾驶员疲劳监测网络系统，其特征在于 所述前端嵌入式系统包括前端嵌入式中心単元、视频接ロ及模数变换电路和云台控制电路，所述前端嵌入式中心単元分别连接所述视频接ロ及模数变换电路和所述云台控制电路； 所述视频接ロ及模数变换电路连接所述摄像头，所述云台控制电路连接所述云台。
3.如权利要求2所述的驾驶员疲劳监测网络系统，其特征在于 所述前端嵌入式系统中具有汽车操纵接ロ，所述汽车操纵接ロ一方面连接所述前端嵌入式中心単元，另ー方面连接汽车本身的操纵装置。
4.如权利要求2所述的驾驶员疲劳监测网络系统，其特征在于 所述驾驶员疲劳监测网络系统中还包括声光发生器，所述声光发生器与所述前端嵌入式系统中的声光发生器接ロ连接，所述声光发生器接ロ连接所述前端嵌入式中心単元。
5.如权利要求2所述的驾驶员疲劳监测网络系统，其特征在于 所述前端嵌入式系统中具有无线通讯模块及天线，所述无线通讯模块及天线连接所述前端嵌入式中心単元。
6.如权利要求2所述的驾驶员疲劳监测网络系统，其特征在于 所述前端嵌入式系统中具有导航定位模块及天线，所述导航定位模块及天线连接所述前端嵌入式中心単元。
7.如权利要求I或2所述的驾驶员疲劳监测网络系统，其特征在于 所述摄像头为红外摄像头。
专利摘要本实用新型公开了一种基于图像信息综合评判的驾驶员疲劳监测网络系统，包括摄像头、云台、前端嵌入式系统和前端应用模块；其中，摄像头和云台分别与前端嵌入式系统进行连接，前端嵌入式系统连接前端应用模块，前端应用模块用于执行对眼睛开合状态、打哈欠状态、头部运动状态的检测，并做出综合判断；摄像头安装在云台上面，云台安装在汽车前挡风玻璃驾驶员外侧的框架上。本驾驶员疲劳监测网络系统可以对驾驶员的疲劳程度进行实时监控，根据驾驶员眨眼、打哈欠、头部运动等异常表情和行为做出正确判断。
文档编号G06K9/00GK202472863SQ20112057544
公开日2012年10月3日 申请日期2011年12月31日 优先权日2010年12月31日
发明者李明航, 李瑛 , 马涛 申请人:北京星河易达科技有限公司