基于40导联脑电采集设备的人脑疲劳状态自主辨识系统的制作方法

1.本发明涉及一种脑部疲劳状态辨识设备。特别是涉及一种基于40导联脑电采集设备的人脑疲劳状态自主辨识系统。


背景技术：

2.eeg脑电图作为一种记录脑电活动的生理监测方法，它通过布置在大脑皮层附近的电极源源不断地收集大脑的电位变化。近年来数字化技术的发展，为脑电信号的收集与分析创造了极大的便利，信号的时间分辨率可以被精确到毫秒级甚至更高。作为对比，除脑电图之外，无创认知神经科学技术中仅有头颅磁共振波谱(mrs)和脑磁图(meg)能够获取处于这个采样率的数据。此外，由于eeg不会带来噪音，因此eeg可以更加准确的反应人脑对于声音的刺激。
3.疲劳(困倦)作为脑部的一种常见状态，在人类的生活中无处不在，但是当疲劳这种状态出现在实际生产活动中时，往往会带来极大的危害。疲劳带来的脑部活动减弱，反应能力下降，反应时间延长等一系列变化将会导致操作者无法像正常状态下一样及时，正确的做出判断与行动。具体到驾驶，生产操作，研究学习等情境下，疲劳带来的影响会使得效率下降，判断失误，甚至造成严重的事故——疲劳驾驶在多年来一直是交通事故的主要诱因。因此，需要找到一种能够有效判别疲劳状态的方法。使用eeg脑电信号——这一最可靠和有效的人体生理状态度量，进行疲劳状态检测便是当下的可行方向之一。通过在驾驶过程中监视脑电图(eeg)信号并评估驾驶员的睡意程度，可以极大的提高驾驶安全性。
4.现有的基于深度学习技术的疲劳eeg脑电信号辨识模型往往也继承了深度学习模型结构设计困难，需要大量设计经验与先验知识，依赖于长时间的人工调试的问题，这些问题的存在阻碍了真正意义上的疲劳检测装置的实现与普及。
5.在eeg脑电信号研究领域，为了克服人脑这一复杂系统带来的信号耦合，研究人员们提出了许多相应的方法来对eeg脑电信号进行辨识，分类与预测。例如提取eeg经典特征的方法，eeg脑电信号时频域分析技术，贝叶斯方法，以及近年来正在逐渐得到广泛关注的深度学习方法。如何提取eeg脑电信号中的不同特征，将收集到的被试多元状态信息进行有效融合，从而更加精准的判断被试当前状态是一项十分具有挑战性的任务。创造一种能够在不同被试者身上都具有良好辨识表现的方法将会促进疲劳检测系统在实际场景中的应用与推广，因此这是一项十分具有研究意义与发展前景的课题。


技术实现要素：

6.本发明所要解决的技术问题是，为克服现有技术的不足，提供一种能够实现对驾驶员eeg脑电信号的准确获取并通过最佳机器学习模型识别驾驶员的大脑状态，有效预警驾驶员的疲劳状态的基于40导联脑电采集设备的人脑疲劳状态自主辨识系统。
7.本发明所采用的技术方案是：一种基于40导联脑电采集设备的人脑疲劳状态自主辨识系统，包括：依次串接的模拟驾驶系统、40导联脑电采集设备、生理状态学习模块和训
练好的最佳机器学习模型，所述的最佳机器学习模型还连接所述40导联脑电采集设备的输出，其中，所述生理状态学习模块和训练好的最佳机器学习模型一同安装于40导联脑电采集设备中的上位机pc；被试者借助模拟驾驶系统进入不同疲劳程度的大脑状态，所述的40导联脑电采集设备采集被试者不同疲劳程度的脑电信号并送入生理状态学习模块，所述的生理状态学习模块接收所述的脑电信号，结合自动机器学习技术，构建并训练用于智能识别当前被试者的脑部疲劳状态的机器学习模型，生成训练好的最佳机器学习模型；40导联脑电采集设备采集使用者正常驾驶状态下的脑电信号并送入训练好的最佳机器学习模型，经训练好的最佳机器学习模型辨识，输出使用者正常驾驶状态下的脑部疲劳状态的信息。
8.所述的模拟驾驶系统包括有：分别连接所述40导联脑电采集设备中的上位机pc的驾驶硬件系统、模拟驾驶软件、驾驶场景显示屏幕、摄像头和音响；其中，
9.驾驶硬件系统由用于模拟真实驾车环境的方向盘、排档器以及脚踏板组成；
10.模拟驾驶软件包括：
11.(2.1)界面模拟了两车道高速公路上的白天驾驶，要求被试者将汽车巡航在车道的中央。该过程模拟非理想路面的情况，即导致汽车以相同的概率向车道的右侧或左侧偏离，每个车道偏离事件都包括基线期、偏移开始、响应开始和事件结束四个标志；
12.(2.2)基线期，是偏移发生前的正常驾驶阶段；偏移开始，是模拟驾驶软件随机引发车道偏离事件，使汽车从原始巡航车道向左侧或右侧偏离；响应开始，是要求被试者通过操纵方向盘迅速回复这种干扰带来的影响；事件结束，是汽车移回原始巡航道；
13.(2.3)从汽车出现偏移到被试者调整汽车姿态恢复稳定的过程中，由40导联脑电采集设备同步记录脑电信号，并由上位机pc进行存储；下一次事件在完成当前事件后的5-10秒间隔内发生，在该间隔内，被试者必须将汽车调回车道的中心线，如果被试者在数据收集过程中入睡，则不会提供任何反馈来提醒被试者。
14.所述的40导联脑电采集设备包括：
15.依次连接的用于采集eeg脑电信号的脑电极帽及其转接线、用于脑电信号放大和转换的eeg脑电信号采集电路、用于对模拟信号与数字信号进行区分隔离，保证eeg脑电信号纯净的隔离电路，用于控制eeg脑电信号采集电路的采集模式、参数以及工作状态并对eeg脑电信号采集电路采集的eeg脑电信号进行读取与传输的stm32处理器、用于将eeg脑电信号传输至上位机pc的usb通信电路，以及分别为eeg脑电信号采集电路和stm32处理器供电的电源电路；其中，所述的脑电极帽及其转接线中的脑电极帽采集被试者或使用者不同脑区的eeg脑电信号，依次通过转接线和y2系列圆形电连接器接口与所述的eeg脑电信号采集电路相连接，用于eeg脑电信号的采集和传输；
16.所述的脑电极帽及其转接线获取被试者或使用者对应于脑电极帽的fp1,fp2,af7,af3,afz,af4,af8,f3,f7,fz,f4,f8,ft7,fc3,fcz,fc4,ft8,t7,c3,cz,c4,t8,tp7,cp3,cpz,cp4,tp8,p7,p3,pz,p4,p8,po7,po3,poz,po4,po8,o1,o2,oz,共四十个电极的eeg脑电信号；脑电极帽的电极分布符合10/20国际标准导联；
17.所述的eeg脑电信号采集电路是由数片型号为ads1299的eeg脑电信号采集芯片并行构成，每一片eeg脑电信号采集芯片都集成了用于接收脑电极帽采集的eeg脑电信号的高共模抑制比模拟输入模块、用于进行生物电压信号放大的低噪声可编程增益放大器和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器；
18.所述的stm32处理器还控制usb通信电路的传输模式与传输速度；
19.所述的usb通信电路的输出分别连接所述生理状态学习模块和最佳机器学习模型的输入端，实现与上位机pc的通信，在hid设备的工程基础上设置为高速传输设备，最高传输速率480mbps。所述生理状态学习模块是采用自动机器学习分析方法，根据所述的模拟驾驶系统以及40导联脑电采集设备所诱发、采集的eeg脑电信号进行对当前被试者大脑状态特征的全自动提取，构建最佳的机器学习模型结构与模型参数，获取最优的大脑状态辨识效果，得到初始训练好的最佳机器学习模型，再直接使用自动机器学习分析方法搜索得到的结果，训练初始训练好的最佳机器学习模型，最后得到训练好的最佳机器学习模型对使用者大脑状态进行判别。所述的自动机器学习分析方法包括依次进行的预处理过程和特征提取过程，以及利用特征提取的数据进行搜索。
20.所述的自动机器学习分析方法中的预处理过程包括如下步骤：
21.1)首先对上位机pc端所存储的被试者eeg脑电信号进行预处理，将采样频率从1000hz降采样到250hz以降低数据量规模提升分析效率；然后调用matlab中的eeglab工具箱的带通滤波器将0.2-50hz的信号数据保留，去除其他频段信号以减少噪声；利用独立分量分析来消除eeg脑电信号中的闪烁伪迹和眼电信号干扰；
22.2)将模拟驾驶系统获得的被试者驾车偏移开始前3s eeg脑电信号作为本次偏移前被试者脑部状态的判断依据，提取本次偏移开始到被试者回应偏移的反应时间作为评判疲劳状态指标，判断被试者脑部疲劳状态，具体如下：
23.(2.1)将提取得到的当前偏离事件中的反应时间，称作局部反应时间，代表了被试者的短期疲劳状态；
24.(2.2)获取当前事件发生前90s内的被试者所有偏离事件的平均反应时间，并称为全局反应时间，代表了被试者的长期疲劳状态；
25.(2.3)将在整个90分钟的实验中所获取的全部局部反应时间由小到大进行排序，求取其中第5％小的局部反应时间，作为本次被试者特有的警戒时间，表示被试者处于清醒状态下所应具有的反应速度；
26.(2.4)当一次偏移事件中的局部反应时间和全局反应时间均小于1.5倍的警戒时间时，认为当前被试者处于清醒状态；当一次偏移事件中的局部反应时间和全局反应时间均大于2.5倍的警戒时间时，认为当前被试者处于疲劳状态；以此为依据为eeg脑电信号片段打上标签，作为实验验证的参考标准；
27.(2.5)处于清醒状态和疲劳状态之间的偏移事件不进行分类。
28.所述的自动机器学习分析方法中特征提取过程包括如下步骤：
29.1)分别对预处理后的带有标签eeg脑电信号进行特征提取，首先对带有标签的eeg脑电信号进行快速傅里叶变换，然后分别提取带有标签的eeg脑电信号频谱中的θ，α，β频带作为eeg脑电信号特征进行分析；
30.2)利用40导联脑电采集设备的电极空间位置对eeg脑电信号特征的频谱数据进行差值，将每个电极通道的测量值共同映射为二维脑电信号图像；具体包括：
31.(2.1)利用空间投影机制将被试者头部的40导联电极的位置从3维空间投影到2维平面上；这种变换保持了相邻电极之间的空间相对位置不变；具体作法是：
32.在等距方位投影法中，首先建立二维极坐标系，选取被试者头部上的一个位置作
为投影平面的中心点，即极坐标的坐标原点；计算被试者头部其他点相对于坐标原点的距离ρ，以及相对于坐标原点的角度θ；将当前极坐标系转化为笛卡尔坐标系，获得被试者头部的二维投影；
33.(2.2)在获取了被试者头部的40导联脑电采集电极的二维平面投影后，将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，归一化公式如式:
[0034][0035]
其中，t代表了频谱功率值，p
t
即为归一化后结果；经过上式的归一化处理，保证了在利用频谱功率值生成对应像素值时，大小均保持在0到255区间范围内；
[0036]
(2.3)clough-tocher插值算法对eeg脑电信号特征的频谱功率值进行插值，最终获得32
×
32的二维灰度脑电信号图像；
[0037]
3)对疲劳状态的θ、α和β三个不同的频带重复步骤2)的图像映射过程，得到θ、α和β三个频带的32
×
32二维灰度脑电信号图像；将θ、α和β三个频带的二维灰度脑电信号图像视作三原色通道，共同转化为二维彩色脑电信号图像。
[0038]
所述的自动机器学习分析方法中的利用特征提取的数据进行搜索，包括如下步骤：
[0039]
1)构建适用于eeg脑电信号分析的网络结构搜索空间，网络结构由依次连接的模块化单元构成，每个单元内部连接结构与特征变换方式通过梯度下降进行自动探寻；
[0040]
2)将得到的二维彩色脑电信号图像作为自动机器学习的输入数据，配合eeg脑电信号的标签，开始构建最佳的机器学习模型的结构与模型参数，将学习率设为0.1，共进行200周期的循环训练，batchsize大小为128，得到初始训练好的最佳机器学习模型；
[0041]
3)再训练阶段，即参数微调阶段，包括直接使用搜寻得到的网络模型结构，将每位被试者的二维彩色脑电信号图像，再依次送入初始训练好的最佳机器学习模型，利用pytorch对初始训练好的最佳机器学习模型进行全监督训练，模型学习率设为0.01，共进行200周期的循环训练，batchsize大小为128，得到训练好的最佳机器学习模型；所述训练好的最佳机器学习模型的输出即为被试者脑部疲劳状态；
[0042]
4)使用阶段，即利用训练好的最佳机器学习模型快速判别使用者大脑状态，训练好的最佳机器学习模型的输出即为使用者的脑部疲劳状态信息。
[0043]
步骤1)所述的构建适用于eeg脑电信号分析的网络结构搜索空间，是在pc-darts算法的基础上，针对eeg脑电信号自身的频域与时域特性，将pc-darts的搜索空间扩充为两个不同的输入流：频域流和时域流，用于针对两种不同形态的eeg脑电信号的输入；其中，
[0044]
(1)所述的频域流，是将生成的二维彩色脑电信号图像作为频域流的输入，并使用扩张卷积、可分离卷积、最大池化和平均池化来提取二维彩色脑电信号图像空间和频率特征；频域流继承了pc-darts算法中的普通单元与缩减单元这两种特殊结构，在保留了pc-darts算法中普通单元与缩减单元的堆叠规则的基础上，将普通单元与缩减单元的堆叠数量增加到11；频域流保留了pc-darts算法中的所有候选操作；频域流中所有候选操作的卷积核的数量被设定为16；频域流的输入为二维彩色脑电信号图像；
[0045]
(2)时域流：是在pc-darts算法中的普通单元的基础上得到时间单元，即在保留普
通单元内部节点间连接规则的基础上，将节点数量增加到11个；同时利用1
×
1、1
×
3、1
×
5、1
×
7、1
×
9、1
×
11大小的时域卷积和1
×
1、1
×
3、1
×
5、1
×
7、1
×
9、1
×
11大小的通道平均池化操作替换普通单元内部的扩张卷积、可分离卷积、最大池化和平均池化；时间单元的内部起始处添加了两个1
×
1卷积对输入的时序信号进行运算，为时间单元内部的第一个节点生成两个输入，时间单元的内部末尾处还添加了总通道平均池化节点，总通道平均池化节点的输出即为时间单元的输出；时间单元内部的所有卷积核的数量被设定为32；时域流内部仅包含一个时间单元；时域流的输入为经过预处理后的eeg脑电信号；
[0046]
(3)频域流和时域流的输出端均依次连接两个共用的全连接层，完成脑电信号的识别。
[0047]
步骤1)所述的每个单元内部连接结构与特征变换方式通过梯度下降进行自动探寻，是针对eeg脑电信号的特殊性，在pc-darts算法的训练中引入了层数自适应机制和早停机制；其中，
[0048]
(1)所述的层数自适应机制，是在网络结构搜索过程完成后，如果任一种单元内被选为跳过连接的操作数达到25％，则认为搜索已经崩塌，网络将自动降低pc-darts算法复杂度，即减少频域流叠加单元的数量或时间单元内的节点数量，并开始新一轮搜索；如果在停止训练时，pc-darts算法的训练精度仍然不能稳定在85％以上，则增加pc-darts算法的复杂度，即增加频域流叠加单元的数量或时间单元内的节点数量；
[0049]
(2)所述的早停机制，是在网络结构搜索过程中，当操作权重在10个训练周期内，保持稳定时，则停止pc-darts算法。
[0050]
本发明的基于40导联脑电采集设备的人脑疲劳状态自主辨识系统，脑电采集部分相比于医疗机构的传统脑电采集仪器，在保证采集精度，采集速度满足要求的条件下，具有更小的体积与质量，工作条件要求低，进一步降低了成本，在脑机接口设备中获得了广泛的应用。脑电采集部分的核心芯片包括控制芯片和a/d转换芯片。stm32是控制芯片的一种，它是专为高性能、低成本、低功耗的嵌入式应用设计的arm。由于低功耗的特性，本发明的40导联脑电采集设备能够仅仅通过一个与pc端连接的usb设备实现正常工作。同时其高性能特点让其完全能够胜任对a/d转换芯片的控制与信息传输工作。
[0051]
本发明的基于40导联脑电采集设备的人脑疲劳状态自主辨识系统，能够实现对驾驶员eeg脑电信号的准确获取、有效辨识和正确分类，通过最佳机器学习模型识别驾驶员的大脑状态，有效预警驾驶员的疲劳状态，防止驾驶事故。模拟驾驶实验的设计让基于疲劳的eeg脑电信号收集过程更加合理，有效，避免了在实际驾车过程中进行收集带来的社会风险。最佳机器学习模型的引入大幅度降低了人工设计深度学习模型的工作量，并能够根据采集到的eeg脑电信号的具体特征做出针对性模型设计，提升模型最终的人脑疲劳状态辩识准确率。
附图说明
[0052]
图1是本发明一种基于40导联脑电采集设备的人脑疲劳状态自主辨识系统的构成框图；
[0053]
图2是本发明中模拟驾驶系统构成框图；
[0054]
图3a是本发明中模拟驾驶系统的演示图；
[0055]
图3b是本发明中eeg脑电信号采集的流程框图；
[0056]
图4是本发明中40导联脑电采集设备构成框图；
[0057]
图5是本发明中clough-tocher插值的最小插值单元图；
[0058]
图6是本发明中基于pc-darts算法改进得到的最终算法框架。
具体实施方式
[0059]
下面结合实施例和附图对本发明的基于40导联脑电采集设备的人脑疲劳状态自主辨识系统做出详细说明。
[0060]
如图1所示，本发明的一种基于40导联脑电采集设备的人脑疲劳状态自主辨识系统，包括：依次串接的模拟驾驶系统1、40导联脑电采集设备2、生理状态学习模块3和训练好的最佳机器学习模型4，所述的最佳机器学习模型4还连接所述40导联脑电采集设备2的输出，其中，所述生理状态学习模块3和训练好的最佳机器学习模型4一同安装于40导联脑电采集设备2中的上位机pc；被试者借助模拟驾驶系统1进入不同疲劳程度的大脑状态，所述的40导联脑电采集设备2采集被试者不同疲劳程度的脑电信号并送入生理状态学习模块3，所述的生理状态学习模块3接收所述的脑电信号，结合自动机器学习技术，构建并训练用于智能识别当前被试者的脑部疲劳状态的机器学习模型，生成训练好的最佳机器学习模型4；40导联脑电采集设备2采集使用者正常驾驶状态下的脑电信号并送入训练好的最佳机器学习模型4，经训练好的最佳机器学习模型4辨识，输出使用者正常驾驶状态下的脑部疲劳状态的信息。
[0061]
如图2所示，所述的模拟驾驶系统1包括有：分别连接所述40导联脑电采集设备2中的上位机pc的驾驶硬件系统11、模拟驾驶软件12、驾驶场景显示屏幕13、摄像头14和音响15；其中，
[0062]
1)驾驶硬件系统11由用于模拟真实驾车环境的方向盘、排档器以及脚踏板组成；
[0063]
2)模拟驾驶软件12包括：
[0064]
(2.1)如图3a所示，界面模拟了两车道高速公路上的白天驾驶，要求被试者将汽车巡航在车道的中央。该过程模拟非理想路面的情况，即导致汽车以相同的概率向车道的右侧或左侧偏离，每个车道偏离事件都包括基线期、偏移开始、响应开始和事件结束四个标志；
[0065]
(2.2)如图3b所示，基线期，是偏移发生前的正常驾驶阶段；偏移开始，是模拟驾驶软件12随机引发车道偏离事件，使汽车从原始巡航车道向左侧或右侧偏离；响应开始，是要求被试者通过操纵方向盘迅速回复这种干扰带来的影响；事件结束，是汽车移回原始巡航道；
[0066]
(2.3)从汽车出现偏移到被试者调整汽车姿态恢复稳定的过程中，由40导联脑电采集设备2同步记录脑电信号，并由上位机pc进行存储；在图3b中展示出了转动方向盘的相应方向，251为左偏，252为右偏。下一次事件在完成当前事件后的5-10秒间隔内发生，在该间隔内，被试者必须将汽车调回车道的中心线，如果被试者在数据收集过程中入睡，则不会提供任何反馈来提醒被试者。
[0067]
如图4所示，所述的40导联脑电采集设备2包括：
[0068]
1)依次连接的用于采集eeg脑电信号的脑电极帽及其转接线21、用于脑电信号放
大和转换的eeg脑电信号采集电路22、用于对模拟信号与数字信号进行区分隔离，保证eeg脑电信号纯净的隔离电路23，用于控制eeg脑电信号采集电路22的采集模式、参数以及工作状态并对eeg脑电信号采集电路22采集的eeg脑电信号进行读取与传输的stm32处理器24、用于将eeg脑电信号传输至上位机pc27的usb通信电路25，以及分别为eeg脑电信号采集电路22和stm32处理器24供电的电源电路26；其中，所述的脑电极帽及其转接线21中的脑电极帽采集被试者或使用者不同脑区的eeg脑电信号，依次通过转接线和y2系列圆形电连接器接口与所述的eeg脑电信号采集电路22相连接，用于eeg脑电信号的采集和传输；
[0069]
2)所述的脑电极帽及其转接线21获取被试者或使用者对应于脑电极帽的fp1,fp2,af7,af3,afz,af4,af8,f3,f7,fz,f4,f8,ft7,fc3,fcz,fc4,ft8,t7,c3,cz,c4,t8,tp7,cp3,cpz,cp4,tp8,p7,p3,pz,p4,p8,po7,po3,poz,po4,po8,o1,o2,oz,共四十个电极的eeg脑电信号；脑电极帽的电极分布符合10/20国际标准导联；
[0070]
3)所述的eeg脑电信号采集电路22是由数片型号为ads1299的eeg脑电信号采集芯片并行构成，每一片eeg脑电信号采集芯片都集成了用于接收脑电极帽采集的eeg脑电信号的高共模抑制比模拟输入模块、用于进行生物电压信号放大的低噪声可编程增益放大器pga和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器adc；
[0071]
4)所述的stm32处理器24是采用stm32h743iit6、或stm32h743vit6或stm32h743zgt6的处理器；所述的stm32处理器24还控制usb通信电路25的传输模式与传输速度；
[0072]
5)所述的usb通信电路25的输出分别连接所述生理状态学习模块3和最佳机器学习模型4的输入端，利用usb3300芯片构建所述usb通信电路25，实现与上位机pc27的通信，在hid设备的工程基础上设置为高速传输设备，最高传输速率480mbps。
[0073]
所述生理状态学习模块3是采用自动机器学习分析方法，无需提前预设机器学习模型，而是采用自动机器学习技术，根据所述的模拟驾驶系统1以及40导联脑电采集设备2所诱发、采集的eeg脑电信号进行对当前被试者大脑状态特征的全自动提取，构建最佳的机器学习模型结构与模型参数，获取最优的大脑状态辨识效果，得到初始训练好的最佳机器学习模型，再直接使用自动机器学习分析方法搜索得到的结果，训练初始训练好的最佳机器学习模型，最后得到训练好的最佳机器学习模型4对使用者大脑状态进行判别。所述的自动机器学习分析方法包括依次进行的预处理过程和特征提取过程，以及利用特征提取的数据进行搜索。
[0074]
所述的自动机器学习分析方法中的预处理过程包括如下步骤：
[0075]
1)首先对上位机pc端27所存储的被试者eeg脑电信号进行预处理，将采样频率从1000hz降采样到250hz以降低数据量规模提升分析效率；然后调用matlab中的eeglab工具箱的带通滤波器将0.2-50hz的信号数据保留，去除其他频段信号以减少噪声；利用独立分量分析(independent component correlation algorithm，ica)来消除eeg脑电信号中的闪烁伪迹(blink artifacts)和眼电信号干扰；
[0076]
2)将模拟驾驶系统1获得的被试者驾车偏移开始前3s eeg脑电信号作为本次偏移前被试者脑部状态的判断依据，由于被试者在脑电信号采集过程中是一个逐渐进入疲劳的过程，因此无法直接判断被试者当前是否已经处于疲劳状态。将提取本次偏移开始到被试者回应偏移的反应时间(response time，rt)作为评判疲劳状态指标，在图3b中，每次事件
的反应时间即标签253与标签251或252之间的时间间隔。判断被试者脑部疲劳状态，具体如下：
[0077]
(2.1)将提取得到的当前偏离事件中的反应时间，称作局部反应时间(local rt)，代表了被试者的短期疲劳状态；
[0078]
(2.2)获取当前事件发生前90s内的被试者所有偏离事件的平均反应时间，并称为全局反应时间(global rt)，代表了被试者的长期疲劳状态；
[0079]
(2.3)将在整个90分钟的实验中所获取的全部局部反应时间由小到大进行排序，求取其中第5％小的局部反应时间，作为本次被试者特有的警戒时间(alert rt)，表示被试者处于清醒状态下所应具有的反应速度；
[0080]
(2.4)当一次偏移事件中的局部反应时间和全局反应时间均小于1.5倍的警戒时间时，认为当前被试者处于清醒状态；当一次偏移事件中的局部反应时间和全局反应时间均大于2.5倍的警戒时间时，认为当前被试者处于疲劳状态；以此为依据为eeg脑电信号片段打上标签，作为实验验证的参考标准；
[0081]
(2.5)处于清醒状态和疲劳状态之间的偏移事件不进行分类。因为这可能归因于其他未知过程，例如：被试者在进行思维游荡。另外，排除清醒状态和疲劳状态之间的部分的偏移事件有助于提升辨识的准确性。
[0082]
所述的自动机器学习分析方法中特征提取过程包括如下步骤：
[0083]
1)分别对预处理后的带有标签eeg脑电信号进行特征提取，被试者或使用者进入疲劳状态时，大脑eeg脑电信号的频域θ，α，β频带包含最多关于大脑状态的特征信息。其中，驾驶员疲劳程度与θ频带和α频带的频谱功率幅度呈正相关关系。β频带与动觉刺激高度相关，因此会影响驾驶员的反应速度。基于前文所述，首先对带有标签的eeg脑电信号进行快速傅里叶变换，然后分别提取带有标签的eeg脑电信号频谱中的θ，α，β频带作为eeg脑电信号特征进行分析；
[0084]
2)eeg时间序列仅包含大脑时间状态的信息，忽视了大脑不同区域间的相互影响与协同作用。针对这一问题，利用40导联脑电采集设备2的电极空间位置对eeg脑电信号特征的频谱数据进行差值，将每个电极通道的测量值共同映射为二维脑电信号图像；具体包括：
[0085]
(2.1)利用空间投影机制将被试者头部的40导联电极的位置从3维空间投影到2维平面上；这种变换保持了相邻电极之间的空间相对位置不变，这一机制使用了从地图绘制应用程序中借鉴来的等距方位投影法(azimuthal equidistant projection，aep)；具体作法是：
[0086]
在等距方位投影法中，首先建立二维极坐标系，选取被试者头部上的一个位置作为投影平面的中心点，即极坐标的坐标原点；计算被试者头部其他点相对于坐标原点的距离ρ(即球体上的弧长)，以及相对于坐标原点的角度θ；将当前极坐标系转化为笛卡尔坐标系，获得被试者头部的二维投影；
[0087]
(2.2)在获取了被试者头部的40导联脑电采集电极的二维平面投影后，将各个电极所对应的频谱功率值进行归一化，并与电极位置进行匹配获得离散的图像，归一化公式如式:
[0088][0089]
其中，t代表了频谱功率值，p
t
即为归一化后结果；经过上式的归一化处理，保证了在利用频谱功率值生成对应像素值时，大小均保持在0到255区间范围内；
[0090]
(2.3)如图5所示，利用clough-tocher插值算法对eeg脑电信号特征的频谱功率值进行插值，最终获得32
×
32的二维灰度脑电信号图像；所述的clough-tocher插值算法在插值之前，对二维坐标系中电极通道的点进行三角剖分以形成临时三角形不规则网络，在每个三角形上定义二元多项式以创建由一系列三角形clough-tocher曲面片组成的曲面，三角形顶点与质心的连线将三角形分为三个子三角形，所定义的二元三次多项式如下：
[0091][0092]
其中，c
ij
由各个顶点的函数值f和一阶偏导数f
x
，fy，以及三边中点的法向导数这12个参数确定。
[0093]
3)对疲劳状态的θ、α和β三个不同的频带重复步骤2)的图像映射过程，得到θ、α和β三个频带的32
×
32二维灰度脑电信号图像；将θ、α和β三个频带的二维灰度脑电信号图像视作三原色通道，共同转化为二维彩色脑电信号图像。
[0094]
所述的自动机器学习分析方法中的利用特征提取的数据进行搜索，包括如下步骤：
[0095]
1)构建适用于eeg脑电信号分析的网络结构搜索空间，网络结构由依次连接的模块化单元构成，每个单元内部连接结构与特征变换方式通过梯度下降进行自动探寻；
[0096]
如图6所示，该步骤1)所述的构建适用于eeg脑电信号分析的网络结构搜索空间，是在pc-darts算法的基础上，针对eeg脑电信号自身的频域与时域特性，将pc-darts的搜索空间扩充为两个不同的输入流：频域流(spectral stream)和时域流(temporal stream)，用于针对两种不同形态的eeg脑电信号的输入；其中，
[0097]
(1)所述的频域流，是将生成的二维彩色脑电信号图像作为频域流的输入，并使用扩张卷积、可分离卷积、最大池化和平均池化来提取二维彩色脑电信号图像空间和频率特征；频域流继承了pc-darts算法中的普通单元与缩减单元这两种特殊结构，在保留了pc-darts算法中普通单元与缩减单元的堆叠规则的基础上，将普通单元与缩减单元的堆叠数量增加到11；频域流保留了pc-darts算法中的所有候选操作；频域流中所有候选操作的卷积核的数量被设定为16；频域流的输入为二维彩色脑电信号图像；
[0098]
在图6的左侧是频域流的具体结构和内部连接，特别是给出了频域流重要组成部分普通单元(normal cell)的内部结构，图中n为4。
[0099]
(2)时域流(temporal stream)：是在pc-darts算法中的普通单元的基础上得到时间单元，即在保留普通单元内部节点间连接规则的基础上，将节点数量增加到11个；同时利用1
×
1、1
×
3、1
×
5、1
×
7、1
×
9、1
×
11大小的时域卷积和1
×
1、1
×
3、1
×
5、1
×
7、1
×
9、1
×
11大小的通道平均池化操作替换普通单元内部的扩张卷积、可分离卷积、最大池化和平均池化；相较于普通单元，时间单元的内部起始处添加了两个1
×
1卷积对输入的时序信号进行运算，为时间单元内部的第一个节点生成两个输入，时间单元的内部末尾处还添加了总通道平均池化节点，总通道平均池化节点的输出即为时间单元的输出；时间单元内部的所
有卷积核的数量被设定为32；时域流内部仅包含一个时间单元；时域流的输入为经过预处理后的eeg脑电信号；
[0100]
(3)频域流和时域流的输出端均依次连接两个共用的全连接层，完成脑电信号的识别。
[0101]
在图6的右侧是时域流的具体结构和内部连接，特别是给出了时域流重要组成部分时间单元(temporal cell)的内部结构，图中n为11。
[0102]
该步骤1)所述的每个单元内部连接结构与特征变换方式通过梯度下降进行自动探寻，尽管pc-darts已经针对nas进程中可能出现的“崩塌”现象引入了边缘正则化，但边缘正则化的存在有时并不能保证网络的最终搜索结果不会崩溃(特别是在数据量较少的脑电数据集上)。因此，是针对eeg脑电信号的特殊性，在pc-darts算法的训练中引入了层数自适应机制和早停机制；其中，
[0103]
(1)所述的层数自适应机制，是在网络结构搜索过程完成后，如果任一种单元内被选为跳过连接的操作数达到25％，则认为搜索已经崩塌，网络将自动降低pc-darts算法复杂度，即减少频域流叠加单元的数量或时间单元内的节点数量，并开始新一轮搜索；如果在停止训练时，pc-darts算法的训练精度仍然不能稳定在85％以上，则增加pc-darts算法的复杂度，即增加频域流叠加单元的数量或时间单元内的节点数量；
[0104]
(2)所述的早停机制，是在网络结构搜索过程中，当操作权重在10个训练周期内，保持稳定时，则停止pc-darts算法；
[0105]
2)将得到的二维彩色脑电信号图像作为自动机器学习的输入数据，配合eeg脑电信号的标签，开始构建最佳的机器学习模型的结构与模型参数，由于模型搜索空间巨大，需要大范围的探寻与尝试，将学习率设为0.1，共进行200周期的循环训练，batchsize大小为128，得到初始训练好的最佳机器学习模型；
[0106]
3)再训练阶段，即参数微调阶段，包括直接使用搜寻得到的网络模型结构，将每位被试者的二维彩色脑电信号图像，再依次送入初始训练好的最佳机器学习模型，利用pytorch对初始训练好的最佳机器学习模型进行全监督训练，模型学习率设为0.01，共进行200周期的循环训练，batchsize大小为128，得到训练好的最佳机器学习模型；所述训练好的最佳机器学习模型的输出即为被试者脑部疲劳状态；
[0107]
4)使用阶段，即利用训练好的最佳机器学习模型快速判别使用者大脑状态，训练好的最佳机器学习模型的输出即为使用者的脑部疲劳状态信息。
[0108]
针对eeg脑电信号自身的频域与时域特性，将适用于eeg脑电信号分析的网络结构构建为频域与时域的双流结构，并分别设计所述双流结构的基础架构与搜索空间，具体描述如自动机器学习分析方法中的利用特征提取的数据进行搜索所属。