基于计算机视觉的驾驶员疲劳状态检测方法与流程

1.本发明涉及视觉智能检测技术领域，具体涉及一种基于计算机视觉的驾驶员疲劳状态检测方法。


背景技术：

2.目前，每年因交通事故导致数万人死亡，其中很大一部分交通事故由于驾驶员疲劳驾驶、注意力不集中导致。因此，对驾驶员尤其是公共交通的驾驶员的疲劳状态进行检测，防止因疲劳驾驶导致交通事故发生是非常必要的。
3.目前疲劳状态检测技术主要通过检测目标脸部关键点从而获取目标在一段时间内的闭眼时长、打哈欠频率等特征，根据特征判断目标是否处于疲劳状态。或根据深度学习技术，通过大量数据进行训练获取神经网络模型，进行面部表情识别，判断目标是否处于疲劳状态。但是人处于疲劳状态并不一定有具体面部特征表现，仅通过面部特征判断目标是否处于疲劳状态缺乏有效性。


技术实现要素：

4.本发明的目的是为了解决传统心率检测需要佩戴额外设备贴近人体检测且无法实现对驾驶员疲劳状态有效监测，而同时实现上述要求需要高昂的车辆改造成本的问题，提供一种基于计算机视觉的驾驶员疲劳状态检测方法。本发明利用计算机视觉技术，通过摄像头捕捉人脸皮肤区域的视频，分析人脸皮肤区域因心跳而引起的血液规律性流动对光的规律吸收而引起反射光周期性变化，进而通过深度神经网络技术恢复成对应的光电容积脉搏波信号，并测量心率变异率。该方法还能够结合人脸识别技术对驾驶员的驾驶状态进行分析，得到驾驶员是否处于疲劳驾驶。
5.本发明的目的可以通过采取如下技术方案达到：
6.一种基于计算机视觉的驾驶员疲劳状态检测方法，所述检测方法包括以下步骤：
7.s1、对检测目标进行人脸识别以及人脸关键点检测，根据眼睛、嘴唇内部轮廓关键点，计算眼睛横纵比、唇部横纵比，检测目标是否闭眼以及打哈欠；
8.s2、对获取到的一段时间内连续的目标人脸图像帧序列，根据人脸关键点数据进行掩膜处理，保留人脸皮肤区域；并对人脸皮肤区域进行区域划分，获取多个roi区域；对每一个roi区域提取yuv各颜色通道平均值，获取目标人脸帧图像皮肤区域颜色通道值随时间变化的周期性变化数据，合成时空特征表示图；
9.s3、将时空特征表示图作为输入，训练深度神经网络，并通过训练得到的深度神经网络，计算检测目标在一段时间内的光电容积脉搏波信号；所述深度神经网络包括依次顺序连接的输入层、第一卷积层、第一均值池化层、第一残差块层、第二残差块层、第三残差块层、第四残差块层、第五残差块层、第六残差块层、第一适应性均值池化层、第一反卷积层、第二反卷积层、第二适应性均值池化层、第二卷积层、输出层；
10.s4、通过阈值法提取光电容积脉搏波信号峰值，提取信号峰值点集合，通过快速傅
里叶变换计算光电容积脉搏波信号的功率谱图，估计检测目标的心率变异率；
11.s5、将上述步骤获取的闭眼时长、打哈欠频率以及心率变异率结合开源数据集，通过c4.5决策树算法，构建疲劳检测决策树，对真实检测目标的人脸进行疲劳检测，判断检测目标当前是否处于疲劳驾驶状态。
12.进一步地，所述步骤s1过程如下：
13.s101、通过摄像头获取驾驶员头部视频图像，并对驾驶员进行人脸识别，获取驾驶员人脸部分的视频帧图像；
14.s102、对收集到的驾驶员人脸部分的视频帧图像，进行关键点回归，获取人脸关键点数据；
15.s103、根据获取的人脸关键点数据，提取左眼轮廓关键点、右眼轮廓关键点以及嘴唇内部轮廓关键点；
16.s104、根据左眼轮廓关键点、右眼轮廓关键点，计算眼睛纵横比，并根据获取的眼睛纵横比的取值与事先指定的第一判断阈值比较，当眼睛纵横比的取值高于第一判断阈值，则表示闭眼，低于第一判断阈值表示睁眼，并持续统计驾驶员在一段时间内的闭眼时长et；
17.s105、根据嘴唇内部轮廓关键点，计算唇部纵横比，并根据获取的唇部纵横比的取值与事先指定的第二判断阈值比较，当唇部纵横比的取值高于第二判断阈值，表示张嘴或驾驶员正在打哈欠，当低于第二判断阈值，表示闭嘴，并统计驾驶员张嘴时间，如果张嘴时间超过事先指定的第三判断阈值，则表示驾驶员正在打哈欠；然后持续统计驾驶员在一段时间内打哈欠的频率m。
18.该步骤s1对驾驶员进行人脸识别以及人脸关键点检测，并通过关键点计算眼睛纵横比以及唇部纵横比实现对驾驶员的闭眼检测以及打哈欠检测。实际上，人脸识别以及人脸关键点检测可通过开源人脸识别工具实现。
19.进一步地，所述步骤s2过程如下：
20.s201、提取时间长度为t共n帧人脸图像以及每一帧图像对应的人脸关键点数据；
21.s202、根据人脸关键点数据，通过掩膜处理，去除眼睛、嘴唇以及人脸区域以外的所有图像数据，保留人脸皮肤数据。通过去除其余对检测光电容积脉搏波无关的图像数据，可有效提高检测的准确度。将人脸皮肤数据根据关键点划分为m个roi区域；
22.s203、对每一个roi区域图像转换为yuv格式图像，其中yuv颜色模型，反映图像亮度以及色度，将rgb图像转换为yuv格式图像，有助于提取人脸皮肤彩色的微小变化。对每一个roi区域进行均值化处理，提取每一个roi区域的yuv各颜色通道平均值c
yuv
，rgb格式转yuv格式具体实现如下：
23.y＝0.299r+0.587g+0.114b
24.u＝0.500r-0.419g-0.081b+128
25.v＝-0.169r-0.331g+0.500b+128
26.其中，r为红色颜色通道，g为绿色颜色通道，b为蓝色颜色通道，y为明亮度，u为蓝色色度，v为红色色度；
27.s204、设ci为第i帧人脸图像的m个roi区域，执行步骤s203得到反映人脸不同皮肤区域的yuv颜色通道平均值数据，令
mstmap(n,m,c)＝{c1,c2,...,cn}，mstmap(n,m,c)表示长为n、宽为m，通道数为c的时空特征表示图。
28.该步骤s2对一段时间提取到的人脸帧图像序列通过皮肤分割，颜色模型转换，roi区域划分，roi区域均值计算，将每一帧图像转化为一维向量。n帧人脸图像，经上述步骤转化并组合，得到时空特征表示图，其中时空特征表示图横轴方向表示人脸一个roi区域不同时间点的roi颜色通道平均值，即人脸视频帧图像序列的时间域特征。纵轴方向表示人脸在有一个时间点，不同roi区域的颜色通道平均值，即人脸视频帧图像序列的空间域特征。
29.进一步地，所述深度神经网络具体如下：
30.输入层，将时空特征表示图维度调整为深度神经网络所需的三维张量，作为深度神经网络输入数据；
31.第一卷积层，使用64个大小为7
×
7的卷积核，使用relu激活函数，对输入层数据进行卷积；
32.第一均值池化层，对第一卷积层输出的数据采用一个大小为2
×
2卷积核的滤波器进行均值池化；
33.第一残差块层，包括按顺序连接的两个卷积层，每个卷积层使用64个大小为3
×
3的卷积核，第一个卷积层使用relu函数作为激活函数，对第一均值池化层输出数据进行卷积操作，第一残差块层输出为第二个卷积层输出加上第一均值池化层输出并通过relu激活函数计算得到；
34.第二残差块层，包括按顺序连接的两个卷积层，每个卷积层使用64个大小为3
×
3的卷积核，第一个卷积层使用relu函数作为激活函数，对第一残差块层输出数据进行卷积操作，第二残差块层输出为第二个卷积层输出加上第一残差块层输出并通过relu激活函数计算得到；
35.第三残差块层，包括按顺序连接的两个卷积层，每个卷积层使用128个大小为3
×
3的卷积核，第一个卷积层使用relu函数作为激活函数，对第二残差块层输出数据进行卷积操作，第三残差层输出为第二个卷积层输出加上第二残差块层输出并通过relu激活函数计算得到；
36.第四残差块层，包括按顺序连接的两个卷积层，每个卷积层使用128个大小为3
×
3的卷积核，第一个卷积层使用relu函数作为激活函数，对第三残差块层输出数据进行卷积操作，第四残差层输出为第二个卷积层输出加上第三残差块层输出并通过relu激活函数计算得到；
37.第五残差块层，包括按顺序连接的两个卷积层，每个卷积层使用256个大小为3
×
3的卷积核，第一个卷积层使用relu函数作为激活函数，对第四残差块层输出数据进行卷积操作，第五残差层输出为第二个卷积层输出加上第四残差块层输出并通过relu激活函数计算得到；
38.第六残差块层，包括按顺序连接的两个卷积层，每个卷积层使用256个大小为3
×
3的卷积核，第一个卷积层使用relu函数作为激活函数，对第五残差块层输出数据进行卷积操作，第六残差层输出为第二个卷积层输出加上第五残差块层输出并通过relu激活函数计算得到；
39.第一适应性均值池化层，将第六残差块层输出数据中每一张特征图进行均值池
化，转为1
×
10大小的特征图；
40.第一反卷积层，使用64个大小为1
×
3的卷积核，对第一适应性均值池化层输出数据进行反卷积操作；
41.第二反卷积层，使用32个大小为1
×
5的卷积核，对第一反卷积层输出数据进行反卷积操作；
42.第二适应性均值池化层，将第二反卷积层输出数据中每一张特征图进行均值池化，转化为1
×
300大小的特征图；
43.第二卷积层，使用1个大小为1
×
1的卷积核，激活函数使用relu函数，对第二适应性均值池化层输出数据进行卷积；
44.输出层，输出1
×
300的数据，该数据即为光电容积脉搏波信号。
45.进一步地，所述步骤s4过程如下：
46.s401、对提取的光电容积脉搏波信号pv＝{pv1,pv2,...,pvi,...,pvn}，通过阈值法计算信号峰值点集合tp＝{tp1,tp2,...,tpk}，其中，pvi为第i帧人脸图像对应的光电容积脉搏波信号值，k为信号峰值点个数，tpk为第k个信号峰值点；
47.s402、对信号峰值点集合tp进行快速傅里叶变换计算光电容积脉搏波信号的功率谱图，并提取0.04～0.15hz低频段信号lf，0.15～0.4hz高频段信号hf，以及计算lf/hf指标，估计检测目标心率变异率。
48.步骤s4对光电容积脉搏波通过阈值法提取信号峰值点并通过快速傅里叶变换计算功率谱图，提取lf、hf两种信号，并计算lf/hf。实际上，lf指标反映交感和迷走神经的双重调节；hf反映迷走神经的调节；lf/hf反映自主神经系统的平衡状态。研究表明，lf/hf所反映的自主神经系统的平衡状态为驾驶员疲劳状态的主要指标。随着驾驶员的疲劳程度的增加，lf指标降低，hf指标增高，lf/hf指标降低。
49.进一步地，所述步骤s401过程如下：
50.s4011、查找光电容积脉搏波信号pv的最大元素值pv
max
，并设置第四判断阈值b＝0.4*pv
max
，计算心率变异率频域信号所需的信号峰值点一般不会小于光电容积脉搏波信号最大元素值乘以0.5，因此第四阈值的计算为光电容积脉搏波信号最大元素值乘以0.4能保证信号峰值点不会遗漏；
51.s4012、对光电容积脉搏波信号pv进行二值化处理，将光电容积脉搏波信号pv中每一个元素值与第四判断阈值进行比较，高于阈值，则置1，低于阈值，则置0，得到二值化处理后的信号后的信号定义如下：
[0052][0053]
其中，为第i帧人脸图像对应的光电容积脉搏波信号值经过二值化处理得到的值；
[0054]
s4013、对信号pv
proc
求差分运算得
[0055][0056]
其中，其中，为第帧
以及第帧人脸图像的二值化光电容积脉搏波信号值经过差分运算得到的值，差分结果1为脉搏波上升方向，差分结果-1为脉搏波下降方向，差分结果1和-1间的光电容积脉搏波信号最大值点为一个信号峰值点。
[0057]
进一步地，所述步骤s5过程如下：
[0058]
s501、提取疲劳检测开源数据集中关于闭眼时长et、打哈欠频率m、疲劳状态标签以及对应的人脸视频，并通过上述深度神经网络模型对人脸视频进行检测，计算目标光电容积脉搏波信号，获取低频段信号lf、高频段信号hf以及计算lf/hf指标，根据et、m、lf、hf、lf/hf以及对应的疲劳状态，构建训练决策树所需的样本集合d，其中d分为γ类，包含属性a∈{et,m,lf,hf,lf/hf}，属性a有v种可能的取值其中为属性a第种取值；
[0059]
s502、对样本集合d通过c4.5决策树算法构建疲劳检测决策树，其中c4.5决策树算法通过信息增益率进行决策树结点划分，信息增益率定义如下：
[0060][0061]
其中，gainratio(d,a)为属性a对样本集合d进行划分计算得到的信息增益率，gain(d,a)为属性a对样本集合d进行划分计算得到的信息增益，iv(a)为属性a的固有值；
[0062][0063][0064]
其中，为样本集合d中所有在属性a上取值为的样本集合，的样本集合，|d|计算样本集合d的总数，计算样本集合dv的总数，ent(d)为计算样本集合d的信息熵，为计算样本集合dv的信息熵，计算公式如下pj为样本集合d中第j类样本所占的比例，其中j＝1,2,...γ；
[0065]
s503、采集真实检测目标人脸数据输入决策树，检测目标是否处于疲劳状态。
[0066]
本发明相对于现有技术具有如下的优点及效果：
[0067]
(1)本发明引入了心率变异率指标，结合闭眼时长、打哈欠频率两类面部特征进行疲劳状态检测。通过心率变异率进行疲劳程度分析，通常采用对光电容积脉搏波进行频域分析，得到lf、hf、lf/hf三类频域指标。频域分析从频谱角度分析目标心率变化规律，通过不同频率指标揭示心率更复杂的变化特征。lf指标反映交感和迷走神经的双重调节；hf反映迷走神经的调节；lf/hf反映自主神经系统的平衡状态。研究表明，lf/hf所反映的自主神经系统的平衡状态为驾驶员疲劳状态的主要指标。随着驾驶员的疲劳程度的增加，lf指标降低，hf指标增高，lf/hf指标降低，通过心率变异率的频域指标，加上闭眼时长以及打哈欠频率两种面部特征，能更有效地反映驾驶员的疲劳程度，判断驾驶员的是否处于疲劳状态。
[0068]
(2)通过心率变异率指标判断驾驶员是否处于疲劳状态，需要准确检测驾驶员的
心率变异率。本发明通过图像处理方法，对驾驶员的人脸图像进行分割，保留人脸皮肤区域，去除其余对检测心率变异率无关的噪声信号。yuv颜色模型，主要反映出图像的彩色变化。而通过人脸皮肤检测光电容积脉搏波信号，主要是通过检测人脸皮肤反射自然光随心跳而产生的微小变化。通过将人脸皮肤rgb图像转换为yuv图像，能更好的反映出人脸皮肤区域的彩色的微小变化。上述方法均有助于更准确地检测出驾驶员的光电容积脉搏波信号
附图说明
[0069]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0070]
图1是本发明实施例中基于计算机视觉的驾驶员疲劳状态检测方法流程图；
[0071]
图2是本发明实施例中眼睛关键点图；
[0072]
图3是本发明实施例中唇部关键点图；
[0073]
图4是本发明实施例中心率变异率检测流程图；
[0074]
图5是本发明实施例中深度神经网络结构图；
[0075]
图6是本发明实施例中时空特征表示图生成流程图；
[0076]
图7是本发明实施例中深度神经网络检测光电容积脉搏波信号结果对比图。
具体实施方式
[0077]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0078]
实施例
[0079]
本实施例公开了一种基于计算机视觉的驾驶员疲劳状态检测方法，该检测方法过程如下：
[0080]
s1、对检测目标进行人脸识别以及人脸关键点检测，根据眼睛、嘴唇内部轮廓关键点，计算眼睛横纵比、唇部横纵比，检测目标是否闭眼以及打哈欠；
[0081]
该实施例中，步骤s1具体如下：
[0082]
s101、通过摄像头获取驾驶员头部视频图像，并应用开源人脸识别工具seetaface对驾驶员进行人脸识别，提取人脸边框的(x,y,w,h)四个值，其中(x,y)分别为人脸边框的左上角坐标点，w为人脸边框的宽，h为人脸边框的高。通过左上角坐标点以及宽高数据截取人脸部分图像，获得人脸图像,获取驾驶员人脸部分的视频帧图像；
[0083]
s102、应用开源人脸识别工具seetaface对收集到的驾驶员人脸部分的视频帧图像，进行关键点回归，获取人脸关键点数据；
[0084]
s103、根据获取的人脸关键点数据，提取左眼轮廓关键点、右眼轮廓关键点以及嘴唇内侧轮廓关键点，如图2～3所示。其中左眼关键点为右眼关键点为右眼关键点为嘴唇内侧关键点为
[0085]
s104、根据左眼轮廓关键点、右眼轮廓关键点，计算眼睛纵横比，眼睛纵横比计算公式如下：
[0086][0087][0088][0089]
ear＝(ear
left
+ear
right
)/2
[0090]
其中ear为需要计算的眼睛纵横比；ear
left
为左眼纵横比；ear
right
为右眼纵横比；dis(p,q)为计算p、q坐标点的欧几里得距离，其中p
x
为点p的横坐标，py为点p的纵坐标；
[0091]
根据获取的眼睛纵横比与事先指定的0.3比较，当眼睛纵横比的取值高于0.3，则表示睁眼，低于0.3表示闭眼，并持续统计驾驶员在一段时间内的闭眼时长et；
[0092]
s105、根据嘴唇内侧关键点，计算唇部纵横比，唇部纵横比计算公式如下：
[0093][0094]
其中mar为需要计算的眼睛纵横比；
[0095]
根据获取的唇部纵横比的取值与事先指定的1.0比较，当唇部纵横比的取值高于1.0，表示张嘴或驾驶员正在打哈欠，当低于1.0，表示闭嘴，并统计驾驶员张嘴时间，如果张嘴时间超过事先指定的3秒，则表示驾驶员正在打哈欠；然后持续统计驾驶员在一段时间内打哈欠的频率m。
[0096]
s2、对获取到的一段时间内连续的目标人脸图像帧序列，根据人脸关键点数据进行掩膜处理，保留人脸皮肤区域；并对人脸皮肤区域进行区域划分，获取多个roi区域；对每一个roi区域提取yuv各颜色通道平均值，获取目标人脸帧图像皮肤区域颜色通道值随时间变化的周期性变化数据，合成时空特征表示图；
[0097]
该实施例中，步骤s2具体如下：
[0098]
s201、提取时间长度为10秒共300帧人脸图像以及每一帧图像对应的人脸关键点数据；
[0099]
s202、根据人脸关键点数据，通过掩膜处理，保留人脸皮肤数据，并将人脸皮肤根据关键点划分为64个roi区域；
[0100]
s203、对每一个roi区域图像转换为yuv格式图像，对每一个roi区域进行均值化处理，提取每一个roi区域的yuv各颜色通道平均值c
yuv
，rgb格式转yuv格式具体实现如下：
[0101]
y＝0.299r+0.587g+0.114b
[0102]
u＝0.500r-0.419g-0.081b+128
[0103]
v＝-0.169r-0.331g+0.500b+128
[0104]
其中，r为红色颜色通道，g为绿色颜色通道，b为蓝色颜色通道，y为明亮度，u为蓝色色度，v为红色色度；
[0105]
s204、设ci为第i帧人脸图像的64个roi区域，执行步骤s203得到反映人脸不同皮肤区域的yuv颜色通道平均值数据，令mstmap(300,64,3)＝{c1,c2,...,c
300
}，mstmap(300,64,3)表示长为300、宽为64，通道数为3的时空特征表示图；
[0106]
s3、将时空特征表示图转为3
×
320
×
320大小的三维张量作为输入，训练深度神经网络，并通过训练得到的深度神经网络，计算检测目标在一段时间内的光电容积脉搏波信号；所述深度神经网络包括依次顺序连接的输入层、第一卷积层、第一均值池化层、第一残差块层、第二残差块层、第三残差块层、第四残差块层、第五残差块层、第六残差块层、第一适应性均值池化层、第一反卷积层、第二反卷积层、第二适应性均值池化层、第二卷积层、输出层；
[0107]
本实施例中，步骤s3具体如下：
[0108]
将时空特征表示图作为输入，训练深度神经网络，所述深度神经网络结构包括依次顺序连接的输入层、第一卷积层、第一均值池化层、第一残差块层、第二残差块层、第三残差块层、第四残差块层、第五残差块层、第六残差块层、第七残差块层、第一适应性均值池化层、第一反卷积层、第二反卷积层、第二适应性均值池化层、第二卷积层、输出层。具体结构以及超参数设计如图5所示：
[0109]
其中conv为卷积层；kernel为卷积核；channel为卷积核深度；stride为卷积核滑动步数；trans conv为反卷积层；avg pooling为平均池化层；adap avg pooling为适应性平均池化层；
[0110]
该神经网络损失函数为mse损失函数；学利率为0.001；优化器为adam，训练次数epoch为50时，得到误差最小模型；
[0111]
通过将ubfc开源数据集90％划分为训练集，10％作为测试集，训练得到的深度神经网络模型，从测试集的一个人脸视频数据中提取300帧人脸视频图像，如图6所示，生成时空特征表示图，作为深度神经网络输入，并计算出目标一段时间内的光电容积脉搏波信号，深度神经网络模型计算光电容积脉搏波信号与真实光电容积脉搏波信号对比结果如图7所示，target为测试数据光电容积脉搏波真实值；predict为深度神经网络模型输出值，通过图7可直观看出，真实值与输出值信号波峰数量基本一致。
[0112]
s4、通过阈值法提取光电容积脉搏波信号峰值，提取信号峰值点集合，通过快速傅里叶变换计算光电容积脉搏波信号的功率谱图，估计检测目标的心率变异率；
[0113]
本实施例中，该步骤s4具体如下：
[0114]
s401、对提取的光电容积脉搏波信号pv＝{pv1,pv2,...,pvi,...,pvn}，其中pvi为第i帧人脸图像对应的光电容积脉搏波信号值，通过阈值法计算信号峰值点集合tp＝{tp1,tp2,...,tpk}，其中下标k为信号峰值点个数；具体如下：
[0115]
s4011、查找光电容积脉搏波信号pv的最大元素值pv
max
，并设置第四判断阈值b＝0.4*pv
max
；
[0116]
s4012、对光电容积脉搏波信号pv进行二值化处理，将光电容积脉搏波信号pv中每
一个元素值与第四判断阈值进行比较，高于阈值，则置1，低于阈值，则置0，得到二值化处理后的信号后的信号定义如下：
[0117][0118]
其中，为第i帧人脸图像对应的光电容积脉搏波信号值经过二值化处理得到的值；
[0119]
s4013、对信号pv
proc
求差分运算得
[0120][0121]
其中，其中，为第帧以及第帧人脸图像的二值化光电容积脉搏波信号值经过差分运算得到的值，差分结果1为脉搏波上升方向，差分结果-1为脉搏波下降方向，差分结果1和-1间的光电容积脉搏波信号最大值点为一个信号峰值点。
[0122]
s402、对信号峰值点集合tp进行快速傅里叶变换计算光电容积脉搏波信号的功率谱图，并提取0.04～0.15hz低频段信号lf，0.15～0.4hz高频段信号hf，估计检测目标心率变异率。
[0123]
s5、将上述步骤获取的闭眼时长、打哈欠频率以及心率变异率结合开源数据集，通过c4.5决策树算法，构建疲劳检测决策树，对真实检测目标的人脸进行疲劳检测，判断检测目标当前是否处于疲劳驾驶状态。
[0124]
本实施例中，该步骤具体如下：
[0125]
s501、提取nthu计算机视觉实验室收集的驾驶员困倦视频数据集driver drowsiness detection dataset中关于闭眼时长et、打哈欠频率m、疲劳状态标签以及对应的人脸视频，并通过上述深度神经网络模型对人脸视频进行检测，计算目标光电容积脉搏波信号，获取低频段信号lf、高频段信号hf以及计算lf/hf指标，根据et、m、lf、hf、lf/hf以及对应的疲劳状态，构建训练决策树所需的样本集合d，其中d分为2类，第1类为疲劳状态，第2类为非疲劳状态。d包含属性a∈{et,m,lf,hf,lf/hf}，属性a有v种可能的取值其中为属性a第种取值；
[0126]
s502、对样本集合d通过c4.5决策树算法构建疲劳检测决策树，其中c4.5决策树算法通过信息增益率进行决策树结点划分，信息增益率定义如下：
[0127][0128]
其中，gainratio(d,a)为属性a对样本集合d进行划分计算得到的信息增益率，gain(d,a)为属性a对样本集合d进行划分计算得到的信息增益，iv(a)为属性a的固有值；
[0129]
[0130][0131]
其中，为样本集合d中所有在属性a上取值为的样本集合，的样本集合，|d|计算样本集合d的总数，计算样本集合dv的总数，ent(d)为计算样本集合d的信息熵，为计算样本集合dv的信息熵，计算公式如下pj为样本集合d中第j类样本所占的比例，其中j＝1,2；
[0132]
s503、采集真实检测目标人脸数据输入决策树，检测目标是否处于疲劳状态。
[0133]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。