一种基于tld与轮廓编码的疲劳驾驶监控的方法
【专利摘要】本发明实施例公开了一种基于TLD与轮廓编码的疲劳驾驶监控的方法，包括如下步骤：选定需要监控的人脸及人脸区域；由跟踪核心模型对其进行实时跟踪，并将跟踪得到的目标区域输出；由跟踪核心模型跟踪得到的人脸目标区域使用识别核心模型对其进行疲劳识别，并输出疲劳程度阈值；由识别模型输出的疲劳程度阈值结果进行疲劳程度判断，并输出最终的疲劳结果。在本发明实施例中，模型在连续的长时间跟踪过程中能够有效地检测出人脸出现疲劳状态的过程，可以为疲劳监控提供一定的理论指导。
【专利说明】
一种基于TLD与轮廓编码的疲劳驾驶监控的方法
技术领域
[0001] 本发明涉及视频技术领域，尤其涉及一种基于TLD与轮廓编码的疲劳驾驶监控的 方法。
【背景技术】
[0002] 驾驶疲劳，是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而 在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足，长时间驾驶车辆，容易出现 疲劳。驾驶疲劳会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方 面。
[0003] 引起疲劳驾驶的因素是多方面的。驾驶人的疲劳主要是神经和感觉器官的疲劳， 以及因长时间保持固定姿势，血液循环不畅所引起的肢体疲劳。驾驶人长时间坐在固定的 座位上，动作受到一定限制，注意力高度集中，忙于判断车外刺激信息，精神状态高度紧张， 从而出现眼睛模糊、腰酸背痛、反应迟钝、驾驶不灵活等驾驶疲劳现象。形成疲劳的顺序是： 眼睛，颈部、肩部、腰部，主要是眼睛和身体的疲劳还有大脑的疲劳这也是不可忽视的方面。
[0004] 国内预防疲劳驾驶的技术主要采用：
[0005] 1、挂耳朵的，一般驾驶员不愿意挂在耳朵上，功能非常简单，低头就报警，首先打 瞌睡不一定就低头，等低头才报警估计已经挂了。
[0006] 2、喝咖啡或喷兴奋药到嘴巴里，这个只有短时间的效果，且一旦过了时间人更疲 惫，如果连续使用一个月，以后不再对你有任何效果。
[0007] 3、手表式和眼镜式，手表式利用脉搏的跳动来估测人是否疲劳，没有权威的科学 依据，且不能解决突然睡着的问题，眼镜式则是强迫带一幅厚重的眼镜来判断眨眼频率，基 本上许多人都不适应，其实眨眼频率和疲劳没有直接关系。
[0008] 4、方向盘触摸式，利用在方向盘上安装一些传感器来感知驾驶员是否握住方向 盘，这和疲劳其实也没有直接关系，有些人睡着了你还难从他手里取下东西呢，等人松弛了 才报警估计也已经挂了，实在有些牵强附会，并且有安装传感器会使方向盘操作不方便。
[0009] 5、车道偏移报警系统，技术上实现很容易，但不适合中国的路况，且在超车、被超、 并线、压线都会存在误报，误报一多在关键时刻该报警的时候人就不再敏感了。
[0010] 6、疲劳驾驶预警系统，一款基于机器视觉技术的驾驶辅助预警系统，可实时检测 驾驶员的疲劳及注意力分散状态，并提供报警信息。
[0011] 但这些技术依然不能较好解决疲劳驾驶中监测问题。
【发明内容】
[0012] 本发明的目的在于克服现有技术的不足，本发明提供了一种电梯应急装置中后备 电源加热处理的方法及其装置，能够针对普通寒冷天气下的电梯应急装置的使用。
[0013] 为了解决上述问题，本发明提出了一种基于TLD与轮廓编码的疲劳驾驶监控的方 法，包括如下步骤：
[0014] 选定需要监控的人脸及人脸区域；
[0015] 由跟踪核心模型对其进行实时跟踪，并将跟踪得到的目标区域输出；
[0016] 由跟踪核心模型跟踪得到的人脸目标区域使用识别核心模型对其进行疲劳识别， 并输出疲劳程度阈值；
[0017] 由识别模型输出的疲劳程度阈值结果进行疲劳程度判断，并输出最终的疲劳结 果。
[0018] 所述选定需要监控的人脸及人脸区域包括：
[0019] 将与人脸表情具有较大关系的眉毛、眼睛与嘴部的轮廓通过AAM模型进行提取，进 而获得人脸各部位的轮廓；
[0020] 分别采用模型算法进行转换编码，获得各部位的特征值，分别针对性地给各特征 部位建立孤立的BP神经网络模式识别系统。
[0021 ]所述方法具体包括：
[0022] 针对静态表情图像进行表情图像的灰度、尺寸归一化针对静态表情图像进行表情 图像的灰度、尺寸归一化；
[0023] 利用AAM模型提取模板人脸表情特征以构造模板人脸各部位的编码特征，同样对 待识别图像也利用AAM模型提取其人脸表情特征以构造模板人脸各部位的编码特征；
[0024]将获得的人脸各部位特征编码分别训练建立好的BP神经网络模型；
[0025]将待识别图像的各部位编码特征分别输入训练好的BP神经网络，同时统计网络输 出值中哪类表情最多，并以该表情作为最终的人脸表情识别结果。
[0026]所述编码参数分别是:编码矩阵大小为20*50，阈值系数为0.8，编码方式为横向编 码。
[0027] 在本发明实施例中，模型在连续的长时间跟踪过程中能够有效地检测出人脸出现 疲劳状态的过程，可以为疲劳监控提供一定的理论指导。
【附图说明】
[0028] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其它的附图。
[0029] 图1是本发明实施例中的基于TLD与轮廓编码的疲劳驾驶监控的方法流程图；
[0030] 图2是本发明实施例中的人脸全局特征中度疲劳跟踪识别结果示意图；
[0031] 图3是本发明实施例中的人脸全局特征重度疲劳跟踪识别结果示意图。
【具体实施方式】
[0032]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0033]本文在对疲劳驾驶监控的核心模型选择上，通过针对实际的驾驶过程的人脸动态 跟踪，将本文的核心识别模块与核心跟踪模块相结合，建立能实时跟踪并识别人脸状态的 疲劳驾驶识别系统。其中核心的识别模块主要以基于AAM提取的轮廓编码人脸表情识别为 核心，而核心的跟踪模块主要以基于Mean-shif t优化的TLD目标跟踪模型。因此本文在疲劳 驾驶监控系统的开发过程中，主要将这两者进行结合。其整体的思路是，首先是依据跟踪模 型，对所需要监控的目标进行实时的跟踪，并将跟踪得到的目标以核心识别模型对其进行 识别。其中以上监控系统的两大核心的整体融合思路流程图如图1中所示，包括步骤如下：
[0034] S101、选定需要监控的人脸及人脸区域；
[0035] S102、由跟踪核心模型对其进行实时跟踪，并将跟踪得到的目标区域输出；
[0036] S103、由跟踪核心模型跟踪得到的人脸目标区域使用识别核心模型对其进行疲劳 识别，并输出疲劳程度阈值；
[0037] S104、由识别模型输出的疲劳程度阈值结果进行疲劳程度判断，并输出最终的疲 劳结果。
[0038] 在以上的疲劳监控系统的建立过程中需要注意的几个关键点分别如下：
[0039] 其一，在整体的跟踪过程中，其需要跟踪的目标框大小主要受到识别核心模型的 特征提取限制。如:识别核心的主要对象是人脸整体区域，则目标跟踪窗口的主要区域最好 选定人脸区域，尽可能的减少识别核心模型中的特征提取过程，以提高识别过程的速度。当 识别核心的主要对象是人脸的局部时，则目标跟踪窗口的主要区域同样选定为人脸对应的 局部部分。
[0040] 其二，在目标对象的识别过程，其核心算法在识别并输出最终的疲劳结果时，应该 具有一定的反馈能力，即能够反馈出目前的目标跟踪效果是有效的。否则，则提示应扩大目 标跟踪区域。
[0041] 其三，由于人脸的表情及疲劳是一个连续变化的过程，特别是针对人脸从未疲劳 阶段转化为疲劳阶段的过程时，其识别结果得到的阈值更难进行划分。因此，整体上应该对 于疲劳识别的输出给与一定的阈值划分。其中由于本文的识别核心模型是基于AAM提取的 轮廓编码人脸表情识别模型，该模型会根据各局部特征的结果，并经过统计网络输出值中 哪类表情最多，最后以该类型表情值作为最终的人脸表情识别结果。故本文的识别过程中 为了简化模型的判断，同样按照人脸表情的思路对其进行统计，并作为疲劳值的最终结果。
[0042] 其四，在检测到一帧像出现疲劳时，往往并不能直接表明该人脸处于疲劳状态，因 此本文根据相关的文献研究成果，以出现疲劳的时间定义是否为实际的疲劳状态，其中本 文设定的疲劳连续出现时间阈值设为2秒，即如果2秒内识别得到的人脸均为同样程度的疲 劳状态时，则最终判断目标已经处于疲劳状态。
[0043] 本文提出基于人脸特征部位轮廓编码的人脸表情识别。其中将与人脸表情具有较 大关系的眉毛、眼睛与嘴部的轮廓通过AAM模型进行提取，进而获得人脸各部位的轮廓，并 分别采用本文提出的模型算法进行转换编码，获得各部位的特征值。同时为了充分考虑人 脸表情各关键部位的共同作用，分别针对性地给各特征部位建立孤立的BP神经网络模式识 别系统，最后通过各部位的具体表情输出值以最多的匹配数给出人脸的表情的综合判断结 果。
[0044]其中基于AAM模型提取的6个关键部位的人脸表情识别流程主要核心步骤如下： [0045]步骤1，首先针对静态表情图像进行表情图像的灰度、尺寸归一化。
[0046]步骤2,利用AAM模型提取模板人脸表情特征以构造模板人脸各部位的编码特征， 同样对待识别图像也利用AAM模型提取其人脸表情特征以构造模板人脸各部位的编码特 征。
[0047]步骤3,将步骤2获得的人脸各部位特征编码分别训练建立好的BP神经网络模型。 [0048]步骤4,将待识别图像的各部位编码特征分别输入步骤3训练好的BP神经网络，同 时统计网络输出值中哪类表情最多，并以该表情作为最终的人脸表情识别结果。
[0049]通过以上的算法流程，其中设置的编码参数分别是：编码矩阵大小为20*50,阈值 系数为0.8,编码方式为横向编码。
[0050] 通过将以上6个关键特征部位的编码链作为输入信息，分别建立6个特征表情识别 的神经网络模型，在JAFFE数据库中分析算法的识别率。其中JAFFE数据库中共包含了 213幅 图像，表情库中共有10个人，每个人有7种表情，故选取每个人脸的一个表情为训练样本，BP 70幅训练样本图像。结果表明在人脸数据库JAFFE内的表情识别率达到了97.18%。
[0051] 通过以上针对疲劳驾驶监控系统的开发过程，可以看出，模型在开始时对于识别 核心模型需要进行深入的训练，最好能够有足够的训练样本，且根据不同的人脸个体表征， 其不同程度的疲劳出现的人脸表征均有所差异，因此，在识别的过程中最好能够有不同程 度的疲劳样本训练核心识别模型。
[0052]而本文在疲劳监控识别的过程中，主要通过人工制造疲劳程度的图像进行检测， 且为了充分体现核心识别与跟踪系统的可扩展性，主要分为重度及中度疲劳检测，分别如 图2和图3中所示。
[0053]通过以上的模型对人工制造的中度疲劳及重度疲劳进行监控，其中设定连续2秒， 即大约连续10帧人脸(该值主要由跟踪系统的跟踪速度决定)均出现疲劳状态时，则系统会 提示目标已经处于疲劳状态。其中人工制造的疲劳视频跟踪及识别整体参数如下表1所示： [0054] 衷1人睑疲劳成功监棹率
[0056]由以上人工制造的中度疲劳及重度疲劳的监控结果可以看出，模型在连续的长时 间跟踪过程中能够有效地检测出人脸出现疲劳状态的过程，可以为疲劳监控提供一定的理 论指导。
[0057]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储 介质可以包括：只读存储器（R〇M，Read Only Memory)、随机存取存储器（RAM，Random Access Memory)、磁盘或光盘等。
[0058]另外，以上对本发明实施例所提供的基于TLD与轮廓编码的疲劳驾驶监控的方法 进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实 施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术 人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说 明书内容不应理解为对本发明的限制。
【主权项】
1. 一种基于TLD与轮廓编码的疲劳驾驶监控的方法，其特征在于，包括如下步骤： 选定需要监控的人脸及人脸区域； 由跟踪核心模型对其进行实时跟踪，并将跟踪得到的目标区域输出； 由跟踪核心模型跟踪得到的人脸目标区域使用识别核心模型对其进行疲劳识别，并输 出疲劳程度阈值； 由识别模型输出的疲劳程度阈值结果进行疲劳程度判断，并输出最终的疲劳结果。2. 如权利要求1所述的基于TLD与轮廓编码的疲劳驾驶监控的方法，其特征在于，所述 选定需要监控的人脸及人脸区域包括： 将与人脸表情具有较大关系的眉毛、眼睛与嘴部的轮廓通过AAM模型进行提取，进而获 得人脸各部位的轮廓； 分别采用模型算法进行转换编码，获得各部位的特征值，分别针对性地给各特征部位 建立孤立的BP神经网络模式识别系统。3. 如权利要求2所述的基于TLD与轮廓编码的疲劳驾驶监控的方法，其特征在于，所述 方法具体包括： 针对静态表情图像进行表情图像的灰度、尺寸归一化针对静态表情图像进行表情图像 的灰度、尺寸归一化； 利用AAM模型提取模板人脸表情特征以构造模板人脸各部位的编码特征，同样对待识 别图像也利用AAM模型提取其人脸表情特征以构造模板人脸各部位的编码特征； 将获得的人脸各部位特征编码分别训练建立好的BP神经网络模型； 将待识别图像的各部位编码特征分别输入训练好的BP神经网络，同时统计网络输出值 中哪类表情最多，并以该表情作为最终的人脸表情识别结果。4. 如权利要求3所述的基于TLD与轮廓编码的疲劳驾驶监控的方法，其特征在于，所述 编码参数分别是:编码矩阵大小为20*50，阈值系数为0.8，编码方式为横向编码。
【文档编号】G06K9/00GK105844218SQ201610150085
【公开日】2016年8月10日
【申请日】2016年3月16日
【发明人】罗笑南, 孟思明
【申请人】中山大学