疲劳驾驶的检测识别方法及装置与流程

1.本技术实施例涉及疲劳驾驶检测技术领域，尤其涉及一种疲劳驾驶的检测识别方法及装置。


背景技术：

2.多年来，驾驶疲劳引发的交通事故一直位列事故原因前列，及时有效地检测疲劳特征并发出警告具有重要意义。当前对于疲劳的检测指标可以归纳为三类参数的测量：驾驶员生理特征、视觉特征、车辆行为特征。驾驶员生理特征的检测方法，可以直观反应驾驶员的疲劳状态，但具有侵入性，驾驶员需要配备多样且高昂的模块，难以普及。车辆运动特征的检测方法，主要采集了如手在方向盘上的压力、车身的左右摇摆幅度、车身的偏离程度等参数，但是上述信息通过车身传感器传递，而路况、驾驶习惯会对结果造成较大干扰。驾驶员面部特征的检测方法具有非侵入性、成本低、实时性好等优点，但是受环境光照、转弯、变线等因素的较大影响，存在检测精度低、鲁棒性差等限制。


技术实现要素：

3.本技术实施例提供一种疲劳驾驶的检测识别方法及装置，以解决现有的面部特征的检测方法受环境光照、转弯、变线等因素的较大影响，存在检测精度低、鲁棒性差等限制的问题。
4.在第一方面，本技术实施例提供了一种疲劳驾驶的检测识别方法，所述方法包括以下步骤：
5.获取人脸区域图像，并生成人脸区域关键点图像；其中，所述人脸区域关键点图像包括嘴部、眼部和头部的图像；
6.将所述人脸区域关键点图像输入预先训练的人脸特征点识别模型，得到面部状态检测结果；
7.将所述面部状态检测结果输入预设的疲劳特征判断模型，输出疲劳检测结果。
8.进一步的，所述预先训练人脸特征点识别模型，包括：
9.利用hog+svm技术思路，训练基于ibug_300w数据集，开发涵盖了嘴部、眼部和头部部位的26个特征点的面部形状预测模型；
10.训练数据集和测试集均提供68点关键点的准确坐标，从中提取所需的26个关键点形成训练标识文件；
11.运行训练脚本，读取26个特征点标识文件，训练关键点预测模型，进行调参选优，每次训练结束需要计算出预测模型在训练数据集和测试集上的两个平均误差，并返回修改训练参数直至最终选出较优的模型，得到人脸特征点识别模型。
12.进一步的，所述将所述面部状态检测结果输入预设的疲劳特征判断模型，输出疲劳检测结果，包括：
13.通过评估眼睛和嘴巴的闭合程度来识别眼部和嘴部，计算眼部和嘴部的纵横比，
眼部的纵横比为眼睛上下边缘之差与左右眼角距离的比值，嘴巴的纵横比为嘴巴上下边缘之差与左右嘴角距离的比值；
14.通过计算欧拉俯仰角来识别低头动作，通过相机标定，利用面部关键点信息和3d morphabl参考模型，求解旋转矩阵和投影矩阵，得出俯仰角；
15.将纵横比和俯仰角数据与预设的疲劳特征阈值进行比较，输出疲劳检测结果。
16.进一步的，所述通过相机标定，利用面部关键点信息和3d morphabl参考模型，求解旋转矩阵和投影矩阵，得出俯仰角，包括：
17.利用3d morphabl参考模型获得世界坐标系坐标和检测的2d关键点坐标，结合相机标定求得的相机内参、畸变系数以求解旋转向量：
[0018][0019]
其中，v为旋转向量，k为旋转轴的单位向量；
[0020]vrot
＝rv；
[0021]
其中，r为矩阵，v
rot
为旋转矩阵；
[0022][0023]
其中，θ是v的模长，e为3阶单位矩阵；
[0024]
利用罗德里格旋转公式将旋转向量导出为旋转矩阵，并由旋转矩阵导出俯仰角：
[0025]
θ
x
＝arctan(ω
32
/ω
33
)；
[0026][0027]
θ
x
＝arctan(ω
21
/ω
11
θ；
[0028]
其中θ
x
即俯仰角，ω
xx
为旋转矩阵v
rot
中的元素。
[0029]
进一步的，所述将纵横比和俯仰角数据与预设的疲劳特征阈值进行比较，输出疲劳检测结果之后，还包括：
[0030]
将纵横比和俯仰角数据与阈值进行比较，并将ear、mar、哈欠检测、哈欠计数、低头预警、闭眼检测、闭眼计数、未见人脸提示信息作为消息打印提示。
[0031]
在第二方面，本技术实施例还提供一种疲劳驾驶的检测识别装置，包括：
[0032]
图像生成模块，用于获取人脸区域图像，并生成人脸区域关键点图像；其中，所述人脸区域关键点图像包括嘴部、眼部和头部的图像；
[0033]
状态检测模块，用于将所述人脸区域关键点图像输入预先训练的人脸特征点识别模型，得到面部状态检测结果；
[0034]
结果检测模块，用于将所述面部状态检测结果输入预设的疲劳特征判断模型，输出疲劳检测结果。
[0035]
进一步的，还包括usb转lin模块和汽车氛围灯模块；所述usb转lin模块用于获取所述结果检测模块的疲劳检测结果；所述汽车氛围灯模块用于通过氛围灯频率变化的方式
给出疲劳提醒。
[0036]
进一步的，还包括：检测显示模块，所述检测显示模块用于显示疲劳检测结果和提示。
[0037]
在第三方面，本技术实施例还提供一种计算机设备，包括：存储器以及一个或多个处理器；
[0038]
所述存储器，用于存储一个或多个程序；
[0039]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的一种疲劳驾驶的检测识别方法。
[0040]
在第四方面，本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述的一种疲劳驾驶的检测识别方法。
[0041]
本技术实施例通过获取人脸区域图像，并生成人脸区域关键点图像；其中，所述人脸区域关键点图像包括嘴部、眼部和头部的图像；将所述人脸区域关键点图像输入预先训练的人脸特征点识别模型，得到面部状态检测结果；将所述面部状态检测结果输入预设的疲劳特征判断模型，输出疲劳检测结果；融合多特征构建出映射准确度较高的疲劳特征空间，利用机器视觉训练模型，检测精度高、鲁棒性强。
附图说明
[0042]
图1是本技术实施例提供的一种疲劳驾驶的检测识别方法的流程图；
[0043]
图2是本技术实施例提供的一种疲劳驾驶的检测识别方法的面部关键点分布示意图；
[0044]
图3是本技术实施例提供的一种疲劳驾驶的检测识别装置的结构示意图；
[0045]
图4是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0046]
为了使本技术的目的、技术方案和优点更加清楚，下面结合附图对本技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0047]
本技术实施例建立一套疲劳驾驶的检测识别方法，以解决现有的面部特征的检测方法受环境光照、转弯、变线等因素的较大影响，存在检测精度低、鲁棒性差等限制的问题。
[0048]
实施例中提供的疲劳驾驶的检测识别方法可以由疲劳驾驶的检测识别装置执行，该疲劳驾驶的检测识别装置可以通过软件和/或硬件的方式实现，并集成在疲劳驾驶的检测识别设备中。其中，疲劳驾驶的检测识别设备可以是计算机等设备。
[0049]
图1为本技术实施例提供的一种疲劳驾驶的检测识别方法的流程图。参考图1和图
2，所述方法包括以下步骤：
[0050]
步骤110、获取人脸区域图像，并生成人脸区域关键点图像；其中，所述人脸区域关键点图像包括嘴部、眼部和头部的图像。
[0051]
具体的，使用ov5640摄像头采集人脸信息，并对采集图像进行裁剪、滤波、灰度化等预处理，提取人脸区域关键点，生成人脸区域关键点图像。
[0052]
步骤120、将所述人脸区域关键点图像输入预先训练的人脸特征点识别模型，得到面部状态检测结果。
[0053]
可选的，所述预先训练人脸特征点识别模型，包括：
[0054]
利用hog+svm技术思路，训练基于ibug_300w数据集，开发涵盖了嘴部、眼部和头部部位的26个特征点的面部形状预测模型；
[0055]
训练数据集和测试集均提供68点关键点的准确坐标，从中提取所需的26个关键点形成训练标识文件；
[0056]
运行训练脚本，读取26个特征点标识文件，训练关键点预测模型，进行调参选优，每次训练结束需要计算出预测模型在训练数据集和测试集上的两个平均误差，并返回修改训练参数直至最终选出较优的模型，得到人脸特征点识别模型。
[0057]
具体的，请参照图2，开发涵盖了眼、口、头部部位的26个特征点的预测模型，针对车载嵌入式边缘设备，实现双眼、口、头部姿态的稳定识别与跟踪效果；针对眼口开合、低头状态，采用纵横比与欧拉角算子，实现快速识别眨眼、哈欠、低头动作，降低计算复杂度，提升应用部署能力；面向实际应用场景，融合眨眼频率、哈欠频率、闭眼时长、未见人脸时长四个参数，依据疲劳特征医学解释，合理分项赋权，设定综合阈值，准确率高、实时性高、性能稳定、易于维护与升级。
[0058]
步骤130、将所述面部状态检测结果输入预设的疲劳特征判断模型，输出疲劳检测结果。
[0059]
具体的，通过评估眼睛和嘴巴的闭合程度来识别眼部和嘴部，计算眼部和嘴部的纵横比，眼部的纵横比为眼睛上下边缘之差与左右眼角距离的比值，嘴巴的纵横比为嘴巴上下边缘之差与左右嘴角距离的比值；
[0060]
通过计算欧拉俯仰角来识别低头动作，通过相机标定，利用面部关键点信息和3d morphabl参考模型，求解旋转矩阵和投影矩阵，得出俯仰角；
[0061]
将纵横比和俯仰角数据与预设的疲劳特征阈值进行比较，输出疲劳检测结果；可以理解的是，疲劳特征阈值可以根据具体需求进行设置，本技术实施例对此不作限定。
[0062]
可选的，所述通过相机标定，利用面部关键点信息和3d morphabl参考模型，求解旋转矩阵和投影矩阵，得出俯仰角，包括：
[0063]
利用3d morphabl参考模型获得世界坐标系坐标和检测的2d关键点坐标，结合相机标定求得的相机内参、畸变系数以求解旋转向量：
[0064][0065]
其中，v为旋转向量，k为旋转轴的单位向量；
[0066]vrot
＝rv；
[0067]
其中，r为矩阵，v
rot
为旋转矩阵；
[0068][0069]
其中，θ是v的模长，e为3阶单位矩阵；
[0070]
利用罗德里格旋转公式将旋转向量导出为旋转矩阵，并由旋转矩阵导出俯仰角：
[0071]
θ
x
＝arctan(ω
32
/ω
33
)；
[0072][0073]
θ
x
＝arctan(ω
21
/ω
11
)；
[0074]
其中θ
x
即俯仰角，ω
xx
为旋转矩阵v
rot
中的元素。
[0075]
进一步的，将纵横比和俯仰角数据与阈值进行比较，并将ear、mar、哈欠检测、哈欠计数、低头预警、闭眼检测、闭眼计数、未见人脸提示信息作为消息打印提示。
[0076]
上述，本技术实施例采用hog特征和svm分类器，开发涵盖了眼、口、头部部位的26个特征点的预测模型，针对车载嵌入式边缘设备，实现双眼、口、头部姿态的稳定识别与跟踪效果；针对眼口开合、低头状态，采用纵横比与欧拉角算子，实现快速识别眨眼、哈欠、低头动作，降低计算复杂度，提升应用部署能力；面向实际应用场景，融合眨眼频率、哈欠频率、闭眼时长、未检人脸时长四个参数，依据疲劳特征医学解释，合理分项赋权，设定综合阈值，准确率高、实时性高、性能稳定、易于维护与升级。
[0077]
本技术实施例实现准确度、鲁棒性较高的人脸识别与跟踪、特征点标识的模型；基于眼口纵横比、欧拉角的眨眼、哈欠、低头疲劳特征判断算法实现；适配车规级linux开发平台。
[0078]
在上述实施例的基础上，图3为本技术实施例提供的一种疲劳驾驶的检测识别装置的结构示意图。参考图3，本实施例提供的疲劳驾驶的检测识别装置，所述疲劳驾驶的检测识别装置具体包括：图像生成模块101、状态检测模块102和结果检测模块103。
[0079]
所述图像生成模块101用于获取人脸区域图像，并生成人脸区域关键点图像；其中，所述人脸区域关键点图像包括嘴部、眼部和头部的图像；所述状态检测模块102用于将所述人脸区域关键点图像输入预先训练的人脸特征点识别模型，得到面部状态检测结果；所述结果检测模块103用于将所述面部状态检测结果输入预设的疲劳特征判断模型，输出疲劳检测结果。
[0080]
进一步的，还包括usb转lin模块104和汽车氛围灯模块105；所述usb转lin模块用于获取所述结果检测模块的疲劳检测结果；所述汽车氛围灯模块用于通过氛围灯频率变化的方式给出疲劳提醒。
[0081]
进一步的，还包括：检测显示模块106，所述检测显示模块用于显示疲劳检测结果和提示。
[0082]
上述，通过获取人脸区域图像，并生成人脸区域关键点图像；其中，所述人脸区域关键点图像包括嘴部、眼部和头部的图像；将所述人脸区域关键点图像输入预先训练的人脸特征点识别模型，得到面部状态检测结果；将所述面部状态检测结果输入预设的疲劳特征判断模型，输出疲劳检测结果；融合多特征构建出映射准确度较高的疲劳特征空间，利用
机器视觉训练模型，检测精度高、鲁棒性强。
[0083]
本技术实施例提供的疲劳驾驶的检测识别装置可以用于执行上述实施例提供的疲劳驾驶的检测识别方法，具备相应的功能和有益效果。
[0084]
本技术实施例还提供了一种计算机设备，该计算机设备可集成本技术实施例提供的疲劳驾驶的检测识别装置。图4是本技术实施例提供的一种计算机设备的结构示意图。参考图4，该计算机设备包括：输入装置43、输出装置44、存储器42以及一个或多个处理器41；所述存储器42，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如上述实施例提供的疲劳驾驶的检测识别方法。其中输入装置43、输出装置44、存储器42和处理器41可以通过总线或者其他方式连接，图4中以通过总线连接为例。
[0085]
处理器41通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的疲劳驾驶的检测识别方法。
[0086]
上述提供的计算机设备可用于执行上述实施例提供的疲劳驾驶的检测识别方法，具备相应的功能和有益效果。
[0087]
本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种疲劳驾驶的检测识别方法，该疲劳驾驶的检测识别方法包括：通过获取人脸区域图像，并生成人脸区域关键点图像；其中，所述人脸区域关键点图像包括嘴部、眼部和头部的图像；将所述人脸区域关键点图像输入预先训练的人脸特征点识别模型，得到面部状态检测结果；将所述面部状态检测结果输入预设的疲劳特征判断模型，输出疲劳检测结果。
[0088]
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机装置存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机装置中，或者可以位于不同的第二计算机装置中，第二计算机装置通过网络(诸如因特网)连接到第一计算机装置。第二计算机装置可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机装置中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
[0089]
当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的疲劳驾驶的检测识别方法，还可以执行本技术任意实施例所提供的疲劳驾驶的检测识别方法中的相关操作。
[0090]
上述实施例中提供的疲劳驾驶的检测识别装置、存储介质及计算机设备可执行本技术任意实施例所提供的疲劳驾驶的检测识别方法，未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的疲劳驾驶的检测识别方法。
[0091]
上述仅为本技术的较佳实施例及所运用的技术原理。本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本申
请不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由权利要求的范围决定。