基于脑机智能及行为分析的电网作业行为规范评估系统

本发明基于脑机智能及行为分析的电网作业行为规范评估系统。特别是涉及一种基于深度学习技术和脑机智能技术的基于脑机智能及行为分析的电网作业行为规范评估系统。

背景技术：

1、电网作业是一项涉及大量高危操作的工作，为了确保作业人员的安全和提高其操作规范程度和专业化程度，有必要进行作业行为规范评估。这一评估可以通过研究作业人员的生理水平来了解他们的认知状态，并将其与现场监控视频实际记录的违规操作相关联，综合其生理水平和现场监控视频记录的违规操作，可以提供指导性建议，优化流程，提高作业人员的操作规范程度和专业化程度。这对于电网作业的安全和效率都具有积极的促进作用，为行业发展做出贡献。

2、作业人员作业时的认知状态往往与作业过程中的违规操作有着内在的关联，而使用脑电(eeg)信号作为认知状态的评估工具，可以提供更准确、客观的认知状态评估，以此为依据对进行认知状态与违规操作之间的关联性分析。

3、使用深度学习技术处理eeg信号，可以为作业人员的认知状态评估提供更为准确和可靠的预测结果，具有一定的优势。首先，eeg信号可以帮助捕捉到作业人员的工作状态，如疲劳或专注等，从而更准确地对其作业中的认知状态进行评估。其次，采用深度学习技术，可以帮助对eeg信号进行复杂的分类和特征提取，从而更好地了解作业人员的工作特征和工作状态。这一机制可以帮助评估作业人员的疲劳程度、思维状况、工作能力、反应时间等因素，从而为电网作业行为规范评估提供准确的参考。

技术实现思路

1、本发明所要解决的技术问题是，提供基于脑机智能及行为分析的电网作业行为规范评估系统。

2、本发明所采用的技术方案是：基于脑机智能及行为分析的电网作业行为规范评估系统，包括脑波监测电力安全帽(1)、现场作业视频监控模块(2)、作业人员认知状态监测模块(3)、作业人员行为分析模块(4)以及关联性分析行为规范评估模块(5)，其特征在于，所述的脑波监测电力安全帽(1)从电网作业人员的大脑采集eeg信号；

3、所述的现场作业视频监控系统(2)对电网作业现场进行实时视频监控；所述的作业人员认知状态监测模块(3)提出一个eeg认知状态分析模型eeg-csam，对脑波监测电力安全帽(1)采集到的eeg信号进行分析，从eeg信号中解码电网作业人员的认知状态；所述的作业人员行为分析模块(4)提出一个长序列视频行为学分析模型lsv-bam，基于现场作业视频监控系统(2)实时监控的电网作业现场视频进行作业人员行为学分析，自动识别作业人员作业过程中出现的违规行为和操作；所述的行为规范关联性分析评估模块(5)分析电网作业人员的认知状态和违规行为之间的关联性，研究认知状态与违规行为之间的关系，提供行为规范评估，协助完成作业流程优化，提高作业人员的操作规范程度以及专业化程度，提高作业安全性。

4、所述的脑波监测电力安全帽(1)，包括有：供电模块(11)、脑电采集电极(12)、生物电信号数模转换器(13)、mcu处理器(14)、5g通讯模块(15)，所述的供电模块(11)使用电池供电，通过电压转换芯片得到各模块上的不同芯片所需的不同工作电压，为各个模块供电；所述的脑电采集电极(12)集成在电力安全帽的帽壳中，共30个，分布的位置为10～20国际标准导联的电极分布中的fp1、fp2，电极通过导线连接到生物电信号数模转换器(13)，采集作业人员大脑不同脑区的eeg信号；所述的生物电信号数模转换器(13)内置可编程增益放大器(pga)、内部基准、片上振荡器，对eeg信号进行数模转换；所述的mcu处理器(14)采用tricore内核，工作频率400mhz，使用spi总线与生物电信号数模转换器(12)通讯，负责控制生物电信号数模转换器(12)以固定的采样频率f＝250hz采集eeg信号并通过spi总线发送给mcu处理器(14)，发送完毕后mcu处理器(14)通过5g通讯模块(15)将eeg信号数据传输给云端的作业人员认知状态监测模块(3)。

5、所述的现场作业视频监控模块(2)包括有：供电模块(11)、高清摄像头(12)、图像预处理模块(13)、主控模块(14)、5g通讯模块(15)，所述的供电模块(11)使用电池供电，通过电压转换芯片得到各模块上的不同芯片所需的不同工作电压，为各个模块供电；所述的高清摄像头(12)实时采集电网作业的现场视频数据；所述的图像预处理模块(13)一颗集成了多核cortex-a76内核、多核cortex-a55内核cpu、内嵌高性能2d、3d加速硬件的gpu以及嵌入式神经网络处理器的通用型soc芯片作为处理器，主频2.4ghz，先使用diffusion model算法对现场视频数据的图像进行降噪恢复处理，包括去雨、去雾、光线增强，再使用visiontransformer算法对现场视频数据的图像进行超分辨率重建，最后通过pcie接口将预处理好的现场视频数据传输给主控模块；所述的主控模块(14)采用一颗基于cortex-a7内核的芯片作为主控芯片，负责接收预处理好的视频数据并控制5g通讯模块(15)将现场视频数据传输给作业人员行为分析模块(4)。

6、提出的eeg认知状态分析模型eeg-csam，部署在云端，对作业人员的eeg信号数据进行处理，基于eeg信号进行特征学习，最终得到作业人员认知状态的分析结果。

7、提出的eeg认知状态分析模型eeg-csam由频带功率提取模块、格拉姆场变换模块、自适应特形卷积模块以及高级语义特征学习模块串联构成，所述的频带功率提取模块使用welch功率谱密度提取法对eeg信号进行频带功率提取，频带功率提取的窗口大小为2秒，步长为0.25s，得到2个电极的eeg信号的δ频带(0.3-5hz)、θ频带(5-8hz)、α频带(8-12hz)、β频带(12-30hz)以及γ频带(30-45hz)的频带功率，即若干帧12维的频域特征序列；

8、所述的格拉姆场变换模块对这若干帧频域特征序列逐帧进行格拉姆角场变换，将一维的序列信息变换为二维的图像信息，格拉姆角场变换算法的具体步骤如下：

9、1)将eeg信号的频带功率序列中的某一帧数据x＝{x1,x2,...,x12}归一化到区间[-1,1]，归一化后的数据记为x'＝{x'1,x'2,...,x'12}；

10、2)将归一化的数据转换为极坐标，包含极角σi＝cos-1x'i和极轴ri＝ti/n，x'i代表该数据点的归一化值，ti代表序列位置；

11、3)定义两个序列点之间的内积为<xi,xj>＝cos(σi+σj)，使用内积计算得到格拉姆矩阵为：

12、

13、这个带有自定义内积的矩阵就是格拉姆角场变换算法的结果，这是一个12×12的方阵，最后将150维的频域特征序列变换为12×12×1维的频带功率序列格拉姆场图像数据；

14、所述的自适应特形卷积模块使用带有自适应能力的特形卷积对图像数据进行卷积操作，自适应特形卷积模块依次包括：

15、1)一个数据输入层，输入数据即频带功率序列格拉姆场图像数据；

16、2)一个自适应特形卷积层，由50个自适应特形卷积核构成，自适应特形卷积核由n个卷积点按照各自的偏移量β＝{β1,β2,...,βn}向不同方向做不同长度的偏移组成，采用prelu作为激活函数n、β、λ1为通过训练得到的参数，通过训练得到的n和β，自适应特形卷积核可以根据输入的图像数据的特点自适应地调整卷积核的尺寸和形状，自适应高效地完成卷积特征提取，提取频带功率序列格拉姆场图像数据中隐藏地eeg信号的固有特征，得到序列特征图；

17、3)一个批量通道归一化层，并行地沿批次维度和通道维度对序列特征图进行归一化，随后将批次维度归一化输出和通道维度归一化输出分别与自适应参数α和1-α加权求和，得到批量通道归一化层的归一化输出，加速模型训练过程，减轻过拟合程度；

18、4)一个dropout层，以概率p1随机选择上一层的神经元使其不输出，p1＝0.25；

19、5)一个flatten层，将多维数据一维化，得到高级语义特征序列；

20、自适应特形卷积模块通过自适应特形卷积提取包含在频带功率序列格拉姆场图像中的eeg信号固有特征，最终得到高级语义特征序列；

21、所述的高级语义特征学习模块由一个带sigmoid门控机制的时序模式注意力机制长短时记忆神经网络(tpa-lstm)网络和一个带sigmoid门控机制的时间卷积神经网络(tcn)网络并联后串联一个概率稀疏自注意力模块以及一个分类层构成，tpa-lstm网络和tcn网络分别对高级语义特征序列进行学习，得到学习结果后通过一个sigmoid门控函数得到学习结果的门控权重，将门控权重与学习结果相乘得到最终学习结果，最终学习结果被输入到概率稀疏自注意力模块中由概率稀疏自注意力机制来获取高级语义特征序列中不同通道的相关性，并使用自注意力蒸馏来筛选起主导作用的注意力权重，最后通过一个由全连接层组成的分类层得到作业人员的认知状态监测结果。

22、提出的长序列视频行为学分析模型lsv-bam对现场视频数据进行分析，自动识别作业人员作业过程中出现的违规行为和操作。

23、长序列视频行为学分析模型lsv-bam由一个图像特征提取网络和一个视频时序特征提取网络组成，所述的图像特征提取网络为双分支结构，由并行的自适应特形卷积分支和自适应指数加权池化分支组成，自适应特形卷积分支依次包括：

24、一个数据输入层，输入数据即现场视频数据的每一帧图像；

25、一个自适应特形卷积层，由30个自适应特形卷积核构成，自适应特形卷积核由n个卷积点按照各自的偏移量β＝{β1,β2,...,βn}向不同方向做不同长度的偏移组成，采用prelu作为激活函数n、β、λ2为通过训练得到的参数，通过训练得到的n和β，自适应特形卷积核可以根据输入的图像数据的特点自适应地调整卷积核的尺寸和形状，自适应高效地完成卷积特征提取，该层对图像数据进行自适应地卷积操作，提取图像数据中与违规行为和操作相关的图形学特征，得到局部图形学特征图；

26、1)一个批量通道归一化层，并行地沿批次维度和通道维度对局部图形学特征图进行归一化，随后将批次维度归一化输出和通道维度归一化输出分别与自适应参数α和1-α加权求和，得到批量通道归一化层的归一化输出，加速模型训练过程，减轻过拟合程度；

27、2)一个dropout层，以概率p2随机选择上一层的神经元使其不输出，p2＝0.25；

28、自适应特形卷积分支通过自适应特形卷积提取局部的与违规行为和操作相关的局部图形学特征，自适应指数加权池化分支依次包括：

29、1)一个数据输入层，输入数据即现场视频数据的每一帧图像；

30、2)一个自适应指数加权池化层，自适应指数加权池化核大小5×5，对当前池化核覆盖下的输入数据的元素做自适应指数加权池化处理，得到全局敏感性图形学特征图；

31、3)一个批量通道归一化层，并行地沿批次维度和通道维度对全局敏感性图形学特征图进行归一化，随后将批次维度归一化输出和通道维度归一化输出分别与自适应参数α和1-α加权求和，得到批量通道归一化层的归一化输出，加速模型训练过程，减轻过拟合程度；

32、4)一个dropout层，以概率p3随机选择上一层的神经元使其不输出，p3＝0.15；

33、自适应指数加权池化分支通过自适应指数加权池化操作提取全局的敏感性特征，得到全局敏感性图形学特征，最后将局部图形学特征和全局敏感性图形学特征进行加权求和；

34、所述的视频时序特征提取网络由一个时间序列位置编码层和一个visiontransformer神经网络组成，时间序列位置编码层对经过全局和局部图像特征提取的视频数据的每一帧图像做进一步位置编码处理，凸显时序性，随后通过vision transformer神经网络提取视频数据的每一帧图像之间的相关性，得到最终的违规行为和操作识别结果。

35、所述的关联性分析行为规范评估模块(5)对违规行为和操作识别结果和对应时间的作业人员的认知状态监测结果进行关联性分析，分析违规行为和操作与当时认知状态的关联，提供行为规范评估，协助完成作业流程优化，提高作业人员的操作规范程度以及专业化程度，提高作业安全性。