基于脑机智能认知状态监测的电网现场作业调度系统

本发明涉及智能穿戴设备领域。特别是涉及基于脑机智能认知状态监测的电网现场作业调度系统。

背景技术：

1、

2、电网现场作业人员的工作内容繁杂，包括设备安装、调试、维修、巡视等，这些工作往往需要在高空、高温、低温等恶劣环境下进行，工作强度较大；再之，电网现场作业人员在工作中需要严格遵守各项安全规定，一旦出现操作失误，可能导致严重的安全事故。电网现场作业人员容易出现由疲劳现象导致的认知能力降低状态，这不仅影响了工作效率，严重时极易造成重大人员和财产损失，带来不可估量的后果。因此，针对电网现场作业人员，一方面需要岗前评估安全工作时限，另一方面需要岗中及时监测认知状态，在认知能力降低状态到达之前进行预警提示，可以有效降低事故的发生概率，最大程度上保护人身安全、设备安全、财产安全。

3、电网现场作业点位分散、作业面广、人员繁杂，现场人员调度方案往往凭借经验，不能针对作业人员的认知状态做出快速的调整，因此，实时获取作业人员的认知状态是十分有必要的。然而，由于电网现场作业环境的复杂性，不可能使用固定式、大型化的设备来对作业人员的认知状态进行实时监测，必须采用一种易于佩戴、便携化、轻量级的设备。除此之外，传统的疲劳监测方式，如血氧、心率、呼吸等生理指标，携带的信息量过少，无法全面反映一个人的认知状态。脑电信号作为脑神经细胞电生理活动的宏观反映，它包含了大量的生理信息，体现了人脑的活动状态和思维情况，越来越成为疲劳状态监测的优先选择方式。此外，脑电信号便于采集，具有较高的时间分辨率，为实时疲劳监测提供了基础。

4、然而，脑电信号具有非线性、特征复杂、信噪比低的特点，这使得脑电信号的辨识极具难度。传统的脑电辨识方式主要有两种，一种是人工判读法，这需要有经验的专家进行判读；另一种是使用机器学习算法进行解码，这需要人为提取脑电特征进行分析。上述方法都需要人工操作检验，既不利于长时间的监测，也会因主观因素的影响而遗漏掉脑电的重要特征。作为机器学习的最先进理论，深度学习在处理复杂信息和海量数据上有着很强的优越性，已经在脑电信号的研究中得到了广泛的应用。深度学习是一种端到端的学习方法，能够从输入信号中直接提取并学习更深层次的内在表征并进行分类。目前已有许多深度学习的体系结构被提出并应用于脑电信号的分析解码。

5、然而，脑电信号蕴含着丰富的时域、频域、空域特征，且个体差异性较大，现有的深度学习脑电解码模型往往只关注其中一种或某几种特征，无法全面反映脑电活动的复杂性，也不能很好地对使用者进行个性化匹配，通用模型的解码效果较差，无法满足实际需求。因此，有必要设计一种能够充分融合、提取脑电特征，同时又能针对不同的使用者，自动完成个性化匹配过程的模型。

技术实现思路

1、本发明所要解决的技术问题是，提供基于脑机智能认知状态监测的电网现场作业调度系统，通过采集作业人员的脑电信号，提出域融合一致性感知信息聚焦网络dcf-sifnet，实时监测使用者的认知状态，并通过4g无线传输技术传输至现场指挥中心，为实时人员安排、调度、决策提供参考信息。

2、本发明所采用的技术方案是：基于脑机智能认知状态监测的电网现场作业调度系统，包括有脑电信号调理及转换模块、认知状态解码模块、现场调度模块，所述的脑电信号调理及转换模块对作业人员头部的模拟脑电信号进行调理、模/数转换，转化为脑电信号并传送至认知状态解码模块；所述的认知状态解码模块提出域融合一致性感知信息聚焦网络dcf-sifnet，采用个性化匹配策略，对脑电信号进行时频空域特征自动提取，进而实现端到端的认知状态解码；所述的现场调度模块根据解码结果，预测作业前人员的安全工作时限，监控作业中人员的实时认知状态，为指挥中心的实时人员安排、调度、决策提供参考信息。

3、所述的脑电信号调理及转换模块，包括有：脑电电极、用于脑电信号调理和模/数转换的多通道脑电采集模块、用于控制多通道脑电采集模块的微处理器单元、用于播放语音反馈提示的扬声器以及分别连接多通道脑电采集模块、微处理器单元、扬声器的第一供电模组；其中，

4、所述的脑电电极由数块覆有ag/agcl薄层的低阻抗电极组成，具有低直流失调电压、高信噪比的特性，分为采集电极、参考电极、去干扰电极；采集电极负责监测使用者的fp1、fp2、f7、f8共四通道的模拟脑电信号，电极的分布遵循10/20国际标准导联，参考电极位于左耳后乳突处，作为采集电极的电势参考点，去干扰电极位于右耳后乳突处，用于消除人体引入的共模干扰，提高脑电信号信噪比；

5、所述的多通道脑电采集模块集成有多个具有高共模抑制比的用于放大模拟脑电信号的低噪声可编程增益放大器(pga)、一个用于将模拟脑电信号转换为数字信号的高精度多通道模数转换器(adc)以及一个用于降低共模干扰的右腿驱动电路(rld)，rld使用运算放大器对各个pga的差分输入信号进行累加，并与共模电压参考点进行比较，通过去干扰电极向人体输出反向电压信号以抵消共模信号；

6、所述的微处理器单元由一颗32位低功耗片上系统芯片、第一无线通信模组构成，所述的32位低功耗片上系统芯片具有gpio、spi、i2c、uart接口，作为微处理器单元的主控芯片，所述的第一无线通信模组通过4g无线通信协议，将脑电信号传输至认知状态解码模块及现场调度模块；

7、所述的扬声器接收来自微处理器单元的数字声音数据并转化为声音信号，用于向作业人员播放语音提示；

8、所述的第一供电模组由单节可充电锂电池、充电管理模块和一组超低压降线性稳压器组成；进一步地，所述单节可充电锂电池容量不低于2000mah，供电电压为3.7～4.2v，所述充电管理模块具备恒流/恒压充电模式、防倒充、自动再充电功能，充电电压限制为5v，为单节可充电锂电池提供安全充电保证，所述超低压降线性稳压器对单节可充电锂电池提供的电压进行转换，提供符合供电要求的电压。

9、所述的认知状态解码模块，提出域融合一致性感知信息聚焦网络dcf-sifnet，该网络首先提出源重构模块，将耦合严重的脑电信号进行解耦，近似为多个独立源脑电，提高脑电信号的信噪比，随后提出时域信息感知模块、频域信息分解模块、空域信息聚焦模块，利用不同域信号的特点，动态捕捉各个域的联合特征，随后提出解码输出模块和对抗学习模块，提取域不变特征提高网络泛化性能，该网络的具体组成如下：

10、1)一个源重构模块，该模块使用独立分量分析法，将脑电信号重构为一组独立成分信号式中z代表模拟脑电信号通道数，c代表独立成分信号的通道数，t代表脑电信号长度；

11、2)一个时域信息感知模块，该模块包括有：

12、(2.1)一个第一离散卷积层，卷积核数量为4，初始卷积核尺寸为1×3，扩张因子为1，表明卷积核相邻两个元素之间有1个零元素，因此实际的卷积核尺寸为1×5；

13、(2.2)一个第二离散卷积层，卷积核数量为8，初始卷积核尺寸为1×3，扩张因子为2；

14、(2.3)一个第三离散卷积层，卷积核数量为8，初始卷积核尺寸为1×3，扩张因子为3；

15、(2.4)一个通道卷积层，卷积核数量为8，卷积核尺寸为1×1，扩张因子为0；

16、(2.5)一个串联层，该层将第一离散卷积层、第二离散卷积层、第三离散卷积层、通道卷积层的输出按通道维度进行拼接；

17、3)一个频域信息分解模块，该模块包括有若干个依次连接的小波分解层，每个小波分解层使用db4小波将脑电信号分解为高频信号与低频信号两部分，对高频信号与低频信号继续分解，分解层次为3级，共分解为8个子频段信号，将子频段信号按通道维度进行拼接，作为该模块的输出；

18、4)一个空域信息聚焦模块，该模块包括有：

19、(4.1)一个空域信息评分层，公式为spsc(x)＝{gap(x),gmp(x)}，其中x代表频域信息分解模块的输出，gap(x)和gmp(x)分别代表对x进行全局平均池化和全局最大池化操作；

20、(4.2)一个自监督空域相关性特征捕获层，该层定义了一个采用xavier初始化的参数矩阵每个元素均为可学习的变量，公式为spcofe(a)＝reshape(tanh(ξ2σ(ξ1(a))))，其中ξ1代表第一全连接层，神经元个数为32，ξ2代表第二全连接层，神经元个数为64，代表参数elu(pelu)激活函数，ρ为可学习的参数，α＝1为固定参数，reshape(·)操作将长度为c×c的一维向量转为c×c大小的矩阵；

21、(4.3)一个信息聚集层，公式为其中表示点乘操作；

22、5)一个解码输出模块，该模块包括有：

23、(5.1)一个第三全连接层，连接至信息聚集层，神经元个数为256；

24、(5.2)一个第一批量归一化层，用于加速模型训练，减轻过拟合；

25、(5.3)一个第一激活函数层，使用elu激活函数；

26、(5.4)一个第四全连接层，连接至第一激活函数层，神经元个数为1，预估安全工作时限值；

27、(5.5)一个第二激活函数层，连接至第四全连接层，使用sigmoid激活函数，公式为式中ts＝6；

28、(5.6)一个第五全连接层，连接至第一激活函数层，神经元个数为4，分别对应于四种认知状态λ＝{清醒,轻度疲劳,中度疲劳,重度疲劳}；

29、(5.7)一个第三激活函数层，使用softmax激活函数，公式为其中l＝4；

30、6)一个对抗学习模块，该模块包括有：

31、(6.1)一个梯度反转层，连接至信息聚集层，该层在反向传播时将梯度取反，其余时刻保持输入不变，公式为式中γ＝10为可调参数，p为训练进度；

32、(6.2)一个第六全连接层，连接至梯度反转层，神经元个数为256；

33、(6.3)一个第二批量归一化层，用于加速模型训练，减轻过拟合；

34、(6.4)一个第四激活函数层，使用relu激活函数，公式为

35、(6.5)一个第七全连接层，神经元个数为2；

36、(6.6)一个第五激活函数层，使用softmax激活函数，公式为其中l＝2；

37、所述第二激活函数层输出作业人员的安全工作时限值，取值范围为(0,6)，第三激活函数层输出作业人员的实时认知状态；所述认知状态解码模块将安全工作时限和实时认知状态，通过4g无线通信的方式传输至现场调度模块。

38、所述的认知状态解码模块，采用个性化匹配策略，为每个作业人员提供一套最优化的认知状态监测方案，具体包括如下步骤：

39、1)第t次个性化匹配前，作业人员需根据疲劳量表-14(fs-14)，确定当前时刻的认知状态λ＝{清醒

40、,轻度疲劳,中度疲劳,重度疲劳}；

41、2)在保持静坐的情况下，使用脑电信号调理及转换模块，采集30分钟的脑电信号，记为

42、3)将xλ按时间维度进行切片，切片长度为5秒，无重叠，得到式中s＝360代表样本数，

43、t代表5秒长度样本对应的采样点数，定义标签为此时的认知状态；

44、4)重复步骤1)至步骤3)，直至遍历四种认知状态，将四种认知状态对应的和分别进行合并，得到总数据集xt和总标签集yt，按照9:1的比例划分为训练集和测试集

45、5)将训练集送入提出的域融合一致性感知信息聚焦网络dcf-sifnet，获得第三激活函数层的输出y3，以及第五激活函数层的输出

46、6)输入第(t-1)次个性化匹配时的总数据集xt-1，获得第五激活函数层的输出注意，对于第1

47、次个性化匹配时，由于第0次个性化匹配时的总数据集不存在，因此跳过此步；

48、7)计算总损失式中为全1矩阵，为全0矩阵，注意，对于第1次个性化匹配时，由于第0次个性化匹配时的总数据集不存在，因此总损失为

49、8)使用adam优化器、反向传播算法训练时频空域一致性信息融合网络，直至网络在训练集上的损失值收敛，存储在测试集上表现最优的模型，作为第t次个性化匹配时最优化的认知状态监测方案。

50、所述的现场调度模块具备安全工作时限预测模式和认知状态实时监测模式共两种模式，对于上岗前人员使用安全工作时限预测模式，预估作业人员的安全工作时限值，为作业人员交接班时间提供参考；对于作业中人员使用认知状态实时监测模式，监测作业人员的实时认知状态并上报至指挥中心，便于现场人员实时调度。

51、所述的安全工作时限预测模式，包括如下步骤：

52、1)读取第t次个性化匹配时最优化的认知状态监测方案；

53、2)上岗前的作业人员，在保持静坐的情况下，使用脑电信号调理及转换模块，采集5分钟的脑电信号，记为

54、3)将xa按时间维度进行切片，切片长度为5秒，无重叠，得到式中s＝60代表样本数，t代表5秒长度样本对应的采样点数；

55、4)将xa输入提出的域融合一致性感知信息聚焦网络dcf-sifnet，得到每个样本对应的第二激活函数层输出的安全工作时限值

56、5)上述步骤仅执行一次，取安全工作时限值ya的中位数，作为作业人员的安全工作时限长度，当作业人员的实际工作时间超出了安全工作时限长度时，现场调度模块将会在指挥中心发布该作业人员的疲劳预警提示，同时通过扬声器提示作业人员下岗休息；

57、所述的认知状态实时监测模式，包括如下步骤：

58、1)读取第t次个性化匹配时最优化的认知状态监测方案；

59、2)使用脑电信号调理及转换模块，采集工作中的作业人员的脑电信号，切分为5秒长度的片段xw；

60、3)将每个片段发送至提出的域融合一致性感知信息聚焦网络dcf-sifnet，得到每个片段对应的第三激活函数层输出的实时认知状态yw；

61、4)认知状态λ＝{清醒,轻度疲劳,中度疲劳,重度疲劳}分别对应0，1，2，3分，将连续10个实时认知状态作为一组，取组内实时认知状态的众数，作为作业人员的实时认知状态；

62、5)使用滑动窗口法计算连续5组的作业人员的实时认知状态的滑动均值当分时，判定作业人员此时为清醒态，当分时，判定作业人员此时进入轻度疲劳状态，当分时，判定作业人员此时进入中度疲劳状态，当分时，判定作业人员此时进入重度疲劳状态；

63、6)上述步骤2)至步骤5)循环执行，直至作业人员停止使用该系统。