一种驾驶员瞌睡开始状态检测方法、装置及设备

本发明涉及生物医学工程与机器学习交叉，尤其是指一种驾驶员瞌睡开始状态检测方法、装置及设备。

背景技术：

1、据报道，驾驶员在驾驶过程中几乎都有过打瞌睡的经历。疲劳驾驶会导致驾驶员机能的降低，容易引发严重的交通事故，给社会和家庭带来巨大的经济损失和精神伤害；由于人类睡眠受生物节律的影响，一般在午后和午夜时间更容易产生睡意，而当睡眠压力累积到一定程度时，会无意识地进入瞌睡状态，从而引发交通事故。此外，即使是在无人驾驶条件下，驾驶员因为缺乏外界刺激，也容易在长时间单调的车载环境中进入睡眠状态。而现代技术社会依赖于运输、医疗、航空和许多公共服务等行业的24小时运营或轮班工作，这会对人的睡眠和昼夜节律产生重大干扰，从而引发疲劳。因此，实现对驾驶员疲劳或者瞌睡的精确检测和及时预警，是预防由驾驶疲劳引发的道路交通事故的迫切需求，同时，也对高铁、航空以及教育等行业具有重要的研究价值。

2、在驾驶过程中，驾驶员的瞌睡行为对于道路安全来说是极度危险的。研究瞌睡过程中脑电和眼电信号的变化规律以及提出相应的检测方法是极具实用意义的。脑电和眼电信号等生物电信号，被认为最能够反映驾驶员疲劳的产生机制。目前已有的基于生物电信号的驾驶员疲劳检测方法的可以分为基于统计分析的方法和基于机器学习的方法。但这两种方法都需要首先使用传统的疲劳度量方法采集到的数据进行疲劳等级划分。而疲劳度量的方法，如主观量表法、视频标记法或其他根据车辆驾驶行为如车道偏离值等方法，存在主观性、可靠性差的问题，这样导致基于统计分析和机器学习的疲劳驾驶检测方法的检测结果的可信度不高和实用性受到限制。

3、且瞌睡过程是一个短时入睡过，瞌睡行为首先开始于无意识的闭眼行为，频繁的瞌睡意味着频繁的睁闭眼行为。已有的研究发现瞌睡发生时伴随着脑电alpha波变化：脑电alpha波的阻断现象—脑电alpha波在整个瞌睡闭眼期间连续出现；脑电alpha波的衰减-消失现象—脑电alpha波在瞌睡发生时短暂出现，然后衰减消失。同时，瞌睡发生时所产生的闭眼行为导致垂直眼电信号上产生上升沿波形。现有的检测脑电alpha波的技术，主要采用数字信号处理方法，如傅里叶变换、小波变换等计算脑电alpha频带能量，并根据预设阈值判断是否为alpha波，需要人为预设阈值，存在因阈值设置不合适导致检测精准度不高的问题。而对于垂直眼电信号中的上升沿波形的检测，现有技术集中与对水平眼电信号的研究，且对垂直眼电信号的检测是利用采集面部信息视频进行标记的方式，存在标记效率低、人工成本高的问题；且现有的垂直眼电信号的检测时利用信号差分方法结合阈值来对上升沿波形进行判定，检测效率低。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中对alpha波检测精度不高、对垂直眼电信号上升沿波形检测效率低的问题。

2、为解决上述技术问题，本发明提供了一种驾驶员瞌睡开始状态检测方法，包括：

3、基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集a+与不包含alpha波的窗口数据样本集a-，作为训练集，训练得到预先训练好的一维卷积神经网络；

4、基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集r+与非上升沿的窗口数据样本集r-；利用k-means聚类算法，获取上升沿窗口数据样本集r+中的一个上升沿质心co与非上升沿的窗口数据样本集r-中的k个非上升沿质心ci,i＝1,2,…,k；

5、获取待检测驾驶员的一导脑电测试数据与对应的一导垂直眼电信号；

6、利用预设时长与步长的第一滑动窗口在待检测驾驶员的一导脑电测试数据上滑动，获取每次滑动的当前窗口脑电数据样本oc，输入所述预先训练好的一维卷积神经网络，获取分类预测结果；

7、当分类预测结果为存在alpha波时，记录当前窗口脑电数据样本oc的时间范围[t0,t0+l1]；并利用小波能量分布方法，从所述当前窗口脑电数据样本oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα；

8、基于开始时刻tα获取预设时间区域，利用预设时长与步长的第二滑动窗口在待检测驾驶员的一导垂直眼电信号上滑动，直至当前窗口眼电数据样本vc的结束点到达所述预设时间区域的结束点；

9、计算每次滑动时获取的当前窗口眼电数据样本vc，与上升沿质心及多个非上升沿质心之间的相关系数；

10、若存在当前窗口眼电数据样本vc与上升沿质心距离最小或相关系数最大，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻。

11、在本发明的一个实施例中，所述基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集a+与不包含alpha波的窗口数据样本集a-，作为训练集，训练得到预先训练好的一维卷积神经网络，包括：

12、采集包含瞌睡状态的一导脑电信号，进行预处理，获取alpha波片段与非alpha波片段；

13、利用预设时长与步长的第一滑动窗口在所述alpha波片段上滑动，获取包含alpha波的窗口数据样本集a+；

14、利用预设时长与步长的第一滑动窗口在所述非alpha波片段上滑动，获取不包含alpha波的窗口数据样本集a-；

15、构建一维卷积神经网络，利用包含alpha波的窗口数据样本集a+与不包含alpha波的窗口数据样本集a-作为训练集，交叉熵损失函数作为网络训练的损失函数进行训练，利用adam优化算法更新网络参数，获取预先训练好的一维卷积神经网络。

16、在本发明的一个实施例中，所述一维卷积神经网络沿正传播方向依次包括串联的：

17、输入模块，输入当前窗口脑电数据样本；

18、前卷积模块，包括两个串联的卷积单元，每个卷积单元均包括依次串联的前卷积层、批标准化层与激活函数层；所述前卷积层具有预设个数与预设长度的卷积核；

19、最大池化层，设置池化窗口大小与移动步长，对前卷积模块的输出进行最大池化操作；

20、后卷积模块，包括两个串联的卷积单元，每个卷积单元均包括依次串联的后卷积层、批标准化层与激活函数层，对最大池化层的输出进行卷积；

21、全局最大池化层，设置全局池化窗口大小与移动步长，对后卷积模块的输出进行全局最大池化操作；

22、多层感知器，沿正传播方向依次串联预设个数的全连接层与一个输出层，用于利用预设个数的神经元对全局最大池化层的输出进行加权求和输出后，映射到线性可分空间，进行分类预测，判断输入的当前窗口脑电数据样本是否包含alpha波。

23、在本发明的一个实施例中，所述基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集r+与非上升沿的窗口数据样本集r-；利用k-means聚类算法，获取上升沿窗口数据样本集r+中的一个上升沿质心co与非上升沿的窗口数据样本集r-中的k个非上升沿质心ci,i＝1,2,…,k，包括：

24、采集包含瞌睡状态的一导垂直眼电信号，进行预处理，获取上升沿片段与非上升沿片段；

25、将所述上升沿片段处理为预设时长、上升沿波形居中的窗口数据片段，获取上升沿窗口数据样本集r+；

26、利用预设时长与步长的第二滑动窗口在所述非上升沿片段上滑动，获取非上升沿的窗口数据样本集r-；

27、利用k-means聚类算法，获取上升沿窗口数据样本集r+中的一个上升沿质心co；

28、利用k-means聚类算法，获取非上升沿的窗口数据样本集r-中的k个非上升沿质心ci,i＝1,2,…,k。

29、在本发明的一个实施例中，所述输入所述预先训练好的一维卷积神经网络，获取分类预测结果后，还包括：

30、当分类预测结果为不存在alpha波时，利用预先训练好的一维卷积神经网络对下一次第一滑动窗口获取的当前窗口脑电数据样本进行预测。

31、在本发明的一个实施例中，所述利用小波能量分布方法，从所述当前窗口脑电数据样本oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα，包括：

32、采用复morlet小波作为母小波，对当前窗口脑电数据样本oc，进行连续小波变换，小波变换的尺度范围为[1,z]，获取复数值的连续小波系数矩阵：

33、

34、其中，y为当前窗口脑电数据样本的采样点数，z为尺度范围的最大值1024；

35、求取连续小波系数矩阵的绝对值矩阵：

36、

37、将所述绝对值矩阵b的所有列进行相加，得到一维矩阵col＝[c11…c1y]，其中，

38、将一维矩阵col平均分为3份，获取三个数组：col1＝[c11…c1u]，col2＝[c1(u+1)…c1v]，col3＝[c1(v+1)…c1y]；其中，

39、分别计算三个数组col1、col2、col3的和：sum1＝sum(col1)，sum2＝sum(col2)和sum3＝sum(col3)；

40、若col1的和最大，则认为alpha波的开始时刻tα＝t0；

41、若col2的和最大，则alpha波出现的开始时刻

42、若col3的和最大，则alpha波出现的开始时刻

43、其中，fs为预设数据采样率；int(·)为取整函数。

44、在本发明的一个实施例中，所述计算每次滑动时获取的当前窗口眼电数据样本vc，与上升沿质心及多个非上升沿质心之间的相关系数，包括：

45、若不存在当前窗口眼电数据样本vc与非上升沿质心之间的相关系数大于当前窗口眼电数据样本vc与上升沿质心之间的相关系数，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻；

46、若存在当前窗口眼电数据样本vc与非上升沿质心之间的相关系数大于当前窗口眼电数据样本vc与上升沿质心之间的相关系数，则计算下一次第二滑动窗口所获取的当前窗口眼电数据样本，与上升沿质心及多个非上升沿质心之间的相关系数。

47、本发明实施例还提供了一种驾驶员瞌睡开始状态检测装置，包括：

48、模型构建模块，用于基于包含瞌睡状态的一导脑电信号，获取包含alpha波的窗口数据样本集a+与不包含alpha波的窗口数据样本集a-，作为训练集，训练得到预先训练好的一维卷积神经网络；基于包含瞌睡状态的一导垂直眼电信号，获取上升沿窗口数据样本集r+与非上升沿的窗口数据样本集r-；利用k-means聚类算法，获取上升沿窗口数据样本集r+中的一个上升沿质心co与非上升沿的窗口数据样本集r-中的k个非上升沿质心ci,i＝1,2,…,k；

49、信号获取模块，用于获取待检测驾驶员的一导脑电测试数据与对应的一导垂直眼电信号；

50、脑电信号检测模块，用于利用预设时长与步长的第一滑动窗口在待检测驾驶员的一导脑电测试数据上滑动，获取每次滑动的当前窗口脑电数据样本oc，输入所述预先训练好的一维卷积神经网络，获取分类预测结果；当分类预测结果为存在alpha波时，记录当前窗口脑电数据样本oc的时间范围[t0,t0+l1]；并利用小波能量分布方法，从所述当前窗口脑电数据样本oc的时间范围[t0,t0+l1]中，获取alpha波出现的开始时刻tα；

51、眼电信号检测模块，用于基于开始时刻tα获取预设时间区域，利用预设时长与步长的第二滑动窗口在待检测驾驶员的一导垂直眼电信号上滑动，直至当前窗口眼电数据样本vc的结束点到达所述预设时间区域的结束点；计算每次滑动时获取的当前窗口眼电数据样本vc，与上升沿质心及多个非上升沿质心之间的相关系数；

52、检测结果获取模块，若存在当前窗口眼电数据样本vc与上升沿质心距离最小或相关系数最大，则检测到驾驶员瞌睡开始状态，记录当前窗口眼电数据样本vc的开始时刻tv为驾驶员瞌睡开始状态发生时刻。

53、本发明实施例还提供了一种驾驶员瞌睡开始状态检测设备，包括：

54、头戴式脑电信号采集装置，用于采集驾驶员的一导脑电测试数据；

55、眼电信号采集装置，用于采集驾驶员的一导垂直眼电信号；

56、上位机，与所述头戴式脑电信号采集装置、所述眼电信号采集装置通讯连接，用于获取驾驶员的一导脑电测试数据与一导垂直眼电信号，执行如上述所述的驾驶员瞌睡开始状态检测方法，获取检测结果；

57、显示装置，与所述上位机通讯连接，用于显示检测结果。

58、在本发明的一个实施例中，还包括预警装置，与所述上位机通讯连接，用于当上位机获取的检测结果为检测到驾驶员瞌睡开始状态时，发出预警。

59、本发明的上述技术方案相比现有技术具有以下优点：

60、本发明所述的驾驶员瞌睡开始状态检测方法利用脑电信号的alpha波与垂直眼电信号的上升沿波形结合的方式进行瞌睡开始状态的检测；利用一维卷积神经网络对获取的存在alpha波的当前窗口脑电数据样本进行分类预测，其适用于分析时序数据，且能够自动学习特征，无需人工设计特征，从而能够实现对alpha波与非alpha的准确分类；利用小波能量分布方法，基于mor l et母小波的连续小波变换刻画脑电alpha波的时频特征，准确获取alpha波的开始时刻；在包含alpha波开始时刻的时间区域中，计算获取的上升沿质心及非上升沿质心，与当前窗口眼电数据样本的相关系数，判断是否存在上升沿波形，进而判断是否存在瞌睡开始状态；本发明通过结合对脑电信号alpha波与垂直眼电信号上升沿波形的检测，能够有效识别驾驶员瞌睡开始状态，避免因疲劳驾驶导致的道路交通安全问题。