基于多通道脑电信号智能监测的疲劳驾驶预警系统

本发明涉及脑机接口疲劳驾驶监测与识别领域，具体涉及基于多通道脑电信号智能监测的疲劳驾驶预警系统。

背景技术：

1、驾驶疲劳，是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。驾驶人疲劳时，会出现视线模糊、腰酸背疼、动作呆板、手脚发胀或有精力不集中、反应迟钝、思考不周全、精神涣散、焦虑、急躁等现象。驾驶人疲劳时判断能力下降、反应迟钝和操作失误增加，则可能导致交通事故的发生。因此疲劳驾驶也成为当下严重的社会问题，并引起了各国学者的关注，从而关于疲劳驾驶等不良情绪的相关研究课题逐渐增多。

2、目前研究驾驶员疲劳驾驶的手段主要包括通过驾驶模拟器实验、实车实验以及自然驾驶等方式分析驾驶人在疲劳情绪下的驾驶行为，并利用眼动仪、生理仪、视频识别或主观问卷调查的方式来评估驾驶人的疲劳状态。

3、但目前的研究手段都存在一定的弊端，驾驶模拟器由视觉仿真系统、驾驶系统、中央控制系统等部分组成，可以实时再现实际交通环境视景、交互驾驶员运动感觉和操作感觉。但由于脑电是极度复杂的信号，外接细微的视觉差距将会影响脑电信号的提取与分析，所以很多复杂环境下的模拟实验中采集到的模拟数据都和现实情况有较大差别，对研究的进展影响很大。实车实验以及自然驾驶则因天气原因、路况复杂等存在一定的安全隐患。同时为了更好地完成疲劳驾驶测试，提高参数代表性，实验过程需要采取时间较长的驾驶方式，一方面引起车内人员身体不适，另一方面缺乏专用封闭的测试场地，存在产生交通意外的安全隐患。同时本实验受天气影响较大，恶劣天气会影响实验进度，实验操作车辆的引入产生电能费用、保养费用和汽车磨损等额外成本，因此亟需一种能够降低训练成本的改进现有实车道路实验的疲劳驾驶预警系统。

技术实现思路

1、本发明要解决的技术问题是，提供基于多通道脑电信号智能监测的疲劳驾驶预警系统，融合实景汽车运行仿真系统和多通道脑电信号智能监测系统实现对驾驶人驾车过程中疲劳状态的有效辨识和正确分类，帮助研究人员在安全有效的环境下，实现对疲劳等不良情绪数据的采集与研究。

2、本发明所采用的技术方案是：基于多通道脑电信号智能监测的疲劳驾驶预警系统，能够在安全封闭的环境里面模拟出真实路况，驾驶人通过操作智能汽车模型达到真实驾车体验，实现对驾驶人驾车过程中疲劳状态的有效辨识和正确分类，包括如下模块：

3、1)中央控制系统：对接实景汽车运行仿真系统、脑电采集系统，并搭载疲劳识别模型实现对驾驶人疲劳状态的有效辨识和正确分类。中央控制系统还具有脑电信号存储的功能，方便用户后期的数据采集与研究。中央控制系统还包括向驾驶人展示的用户界面，用来实现对于整个系统的初始设置、参数的设置和系统运行状态查看的功能；

4、2)实景汽车运行仿真系统：主要包括道路模拟场地和智能汽车，所述道路模拟场地，用于智能汽车驾驶运行。所述智能汽车运行于道路模拟场地内，安装有uwb定位模块、激光雷达定位模块和图传模块；

5、3)驾驶操作系统：驾驶人通过汽车模拟驾驶舱，实现对实景汽车运行仿真系统中智能汽车的驾驶控制；

6、4)脑电采集系统：用于采集驾驶人脑电信号，采集信号传输至疲劳识别模型；

7、5)疲劳识别模型：用于实现对驾驶人疲劳状态的有效辨识和正确分类，分析运算后输出将结果反馈至中央控制系统，由中央控制系统进行数据分析与效果展示。

8、作为上述技术方案的进一步描述：

9、模块1)中所述中央控制系统是整个方案的核心模块，该模块搭载模块5)疲劳识别模型，通过接收模块4)脑电采集系统传输的脑电信号，解码预处理后，调用疲劳识别模型，实现对驾驶人疲劳状态的检测与分类识别。同时中央控制系统可接收模块2)实景汽车运行仿真系统传送的车辆相关信息与实时监控画面，实现智能汽车参数的可视化界面显示。

10、模块2)中所述实景汽车运行仿真系统，包括以下模块：

11、(1)道路模拟场地：为3m*3m的平面区域，用于智能汽车驾驶运行，道路模拟场地四周设有限制智能汽车运动的挡板，四角设有用于室内定位的uwb标签；

12、(2)智能汽车：为可操纵的智能汽车，由驾驶操作系统控制行驶运行。所述智能汽车的车身长度在30cm，具备前后轮悬挂，在智能汽车行进方向的前方安装摄像头，且驾驶人通过驾驶操作系统中的方向盘控制智能汽车的加速、制动、左右转弯和倒车，并以第一视角看到智能汽车行驶画面。智能汽车安装有uwb定位模块、激光雷达定位模块和图传模块，所述uwb定位模块、激光雷达定位模块用于采集智能汽车的位置信息用以计算车速并绘制智能汽车的运动轨迹，所述图传模块用于采集智能汽车实时视野并通过lora通信发送至中央控制系统。

13、模块2)中所述智能汽车室内定位模块，提出了一种基于激光雷达和超宽带无线通信技术相结合的方式进行室内小尺度精确定位方法，所述精确定位方法：通过在智能汽车顶端放置激光雷达进行实时扫描得到各个角度上距离场地边缘的距离信息，通过与事先建立的场地数学模型进行匹配计算，得到此时智能汽车在场地中的相对坐标，同时在智能汽车上放置两个uwb定位标签，在场地四角放置定位基站，智能汽车行驶时实时计算两个uwb定位标签与四角定位基站的距离，通过两个标签额的信息综合计算得到智能汽车的相对位置坐标，当激光雷达在某方向未产生边缘反射信号导致引起较大的距离奇异值时，系统选择uwb定位数据作为汽车位置信息。

14、模块2)所述智能汽车通过wifi通信模块实时将车辆位置信息发送至中央控制系统，中央控制系统连接有开放定位信息数据接口，接收激光雷达和uwb回传数据，建模、计算、滤波后得到车辆相对精确的位置信息，并按照比例换算成gps仿真数据，可地理坐标转换至标准地图中。智能汽车通过lora图传模块实时将驾驶实时图像发送至驾驶操作系统，同时可以接收驾驶操作系统传输过来的车辆操控信息，例如前进、后腿、转弯等。

15、模块3)驾驶操作系统与模块2)实景汽车运行仿真系统存在数据交互，实验人员通过驾驶操作系统中的显示器可实时查看实景汽车运行仿真系统中智能汽车传送过来的实时影像，同时实验人员可通过方向盘、档把、刹车、油门等将智能汽车控制指令发送至实景汽车运行仿真系统中的智能汽车，实现对智能汽车的驾驶操控。

16、模块4)所述脑电采集系统主要用于采集实验人员脑电信号，实验人员在驾驶操作系统中进行驾驶操作时，需佩戴脑电帽，通过多通道采集器实时采集并存储实验人员的脑电信号。中央控制系统将采集的脑电信号发送至疲劳识别模型，进行疲劳监测，疲劳识别模型将运算后的相关参数回传至中央控制系统进行分析和显示。

17、模块5)所述疲劳识别模型包括脑电预处理、疲劳状态解码模块，所述脑电预处理主要对eeg数据进行的一些预处理操作，包括通道选择、数据分割和带通陷波滤波。所述通道选择指选择32导非侵入式电极，电极分布按照国际标准10-20系统进行排列。采样频率为250hz，并采用ica方法去除伪影，采用0.1～30hz带通陷波滤波，再将eeg信号分割成2s一段的时间序列片段。

18、模块5)所述疲劳状态解码模块基于1d-cnn提出了一种cbe-fbp算法实现脑电特征提取。cbe-fbp算法包括四个核心模块，前两个核心模块为cbe卷积层：由conv、bn、elu组成，后两个核心模块为fbp连接层，由fc、bn、prelu组成。所有核心模块的卷积层使用的过滤器为5×5。在卷积过程中，填充模式设置为“same”，步长设置为1，因此得到的特征图尺寸为500×1。步骤如下：

19、(1)第一卷积层，所述的第一卷积层中使用的卷积核的大小为16，其输出大小为16×500；

20、(2)第一批量归一化层，对神经元进行归一化处理，有助于在训练期间稳定网络；

21、(3)第一激活函数层，使用elu激活函数；

22、(4)第二卷积层，所述的第二卷积层输入矩阵为500×32，使用卷积核尺寸为5×32；

23、(5)第二批量归一化层，对神经元进行归一化处理，有助于在训练期间稳定网络；

24、(6)第二激活函数层，使用elu激活函数；

25、(7)全局均值池化层，通过计算特征映射的平均值来实现降采样，既保留了全局信息，又提取了局部信息特征；

26、(8)第一全连接层，将前层计算得到的特征空间映射样本标记空间，其中神经元个数为64个；

27、(9)第三批量归一化层，对神经元进行归一化处理，有助于在训练期间稳定网络；

28、(10)第三激活函数层，使用prelu激活函数；

29、(11)第二全连接层，神经元个数为64个；

30、(12)第四批量归一化层，对神经元进行归一化处理，有助于在训练期间稳定网络；

31、(13)第四激活函数层，使用prelu激活函数；

32、(14)第三全连接层，神经元个数为2个；

33、(15)softsign激活函数，实现对驾驶员疲劳状态的二分类；

34、综上所述，由于提出了上述技术方案，本发明的有益效果是：

35、1、本发明中，实现了基于多通道脑电信号智能监测的疲劳驾驶预警系统。驾驶人使用本发明中的车辆运行模拟驾驶系统可以多次进行基于脑机接口的疲劳驾驶实验，通过本发明能更好的完成疲劳状态的检测与分析，同时避免了驾驶人长时间真车驾驶，提高了实验过程的安全性，并且改进现有的驾驶模拟器实验，在保证模拟效果的基础上，提高实验的准确性、安全性、便捷性、可重复性和可操作性，降低实验成本，同时提供开放性脑机信号存储接口，进而更好地服务于脑机接口相关实验。

36、2、本发明中，提出了一种基于激光雷达和超宽带无线通信技术相结合的方式进行室内小尺度精确定位方法，通过在模拟驾驶训练时，对智能汽车进行激光雷达定位配合超宽带无线通信技术(uwb)定位方式进行辅助定位，在车辆上放置定位标签，在场地四角放置定位基站，实验时实时计算定位标签与四角定位基站的距离，通过计算得到车辆的相对位置坐标，当激光雷达在某方向未产生边缘反射信号导致引起较大的距离奇异值时，系统选择uwb定位数据作为汽车位置信息，两种定位方式结合既保证了定位精度，又覆盖住了极端情况，由此实现了智能汽车的室内定位，更好的辅助模拟驾驶的实景体验与外部数据分析。

37、3、本发明中，基于1d-cnn提出了一种cbe-fbp算法实现疲劳状态的脑电特征提取。cbe-fbp算法基于1d-cnn结构并搭载2种核心模块实现对驾驶员疲劳状态的特征提取与分类识别。由于每个个体的脑电图信号都具有独特的特征和模式，本发明可建立个性化的模型进行识别和控制。并且根据情绪和生理状态的影响，eeg信号可能会随时间发生变化，本发明具有良好的适应性和鲁棒性。