一种基于脑智能技术的认知负荷评判方法

本技术涉及认知神经科学领域，具体涉及一种基于脑智能技术的认知负荷评判方法。

背景技术：

1、随着数字化进程的推进，许多传统的人工操作逐渐被计算机自动化代替，在大规模大范围的自动化作业过程中，人在其中负责的任务逐渐由手动操作转变为监视和决策判断，而在决策判断的过程里人的认知负荷水平是很重要的影响因素。

2、目前常用的认知负荷评判方法主要还是基于主观的，但是不论是量表法还是任务法都是需要在操作前后进行测量，不具备实时性还存在主观因素影响，具有很大的局限性。基于生理信号的认知负荷评判可以在操作过程中对操作人员的生理信号进行采集从而对认知负荷进行评判，具有更好的客观性，并且可以规避一些主观因素的影响，这可以使认知负荷的适用范围更加普适，也因为这样，基于生理信号的认知负荷评判逐渐成为研究的重点。

3、然而，现有认知负荷评判存在以下问题：

4、(1)认知负荷相关脑电数据较少:相比于图像处理或者其他的一些领域，脑电数据的获得要更加困难。一方面因为脑电采集需要更为专业的采集设备，更加复杂的采集环境，另一方面是脑电相关研究对受试者的要求也更高，这些困难都造成了脑电相关的数据比较少的问题。一个比较常用的方法就是通过某些数据增强算法来生成新的数据，在生成数据的过程里尽量使生成的数据与原始数据之间的差别较少，尤其是在与问题有高度相关性的特征角度下的差别。常见的数据增强方法一般有传统方法和基于机器学习的方法两种。其中传统的数据增强主要包括翻转、切割和添加噪声等方法。不同于传统数据增强在图像处理领域的广泛应用，传统的数据增强方法对脑电信号并不配适，因为脑电信号一般都是无法平移或者调转的时间序列，此外由于脑电信号相对微弱，很难添加合适的噪声进行数据生成。米瑞甫(燕山大学,2022)选取基于生成对抗网络的数据增强方法，对德国柏林团队的运动想象脑电数据进行等量和1.5倍于真实数据的样本扩充，并对混合数据进行意图解析与结果评估。该研究利用生成对抗网络生成的人工脑电数据在一定程度上提高了运动意图解析的准确率，在一定程度上弥补脑电数据不足的问题。但对脑电信号而言，生成对抗网络模型生成脑电信号的生理机制不够明确。且对抗生成网络存在一定的局限性，如果训练不当，判别器训练的太好就会导致生成器出现梯度消失的问题，而判别器训练的如果太差又会使得生成器无法获取调整生成数据的信息。此外，生成对抗网络的训练过程无法像一般神经网络模型一样，通过损失函数的值判断网络收敛状态。

5、(2)单一脑电信号对认知负荷评判的局限性：脑电记录了头皮上脑电活动的总体表现，无法提供脑内不同区域的准确信息。因此，很难确定特定脑区是否在处理特定认知任务，且容易受到许多外部干扰因素的影响，如眼球运动、肌肉活动、电磁干扰等，这些因素可能掩盖或混淆与认知负荷相关的信号。在一些情况下，执行认知任务时，脑电信号可能同时受到多个任务的干扰，这使得单一的使用脑电信号对评判和分类认知负荷变得更加复杂。熊荣龙(西南大学,2021)提出将心电与脑电结合对认知负荷进行评判的方法，构建了心电和脑电信号双模态的认知负荷评判模型。针对教学过程中课堂教学和学习的认知负荷情况，在研究中使用两种模态的特征提取和分类对认知负荷的两种状态静息基线状态与认知负荷状态进行分类，用于教学策略的调整。但由于样本和被试数量相对较少导致缺乏被试多样性，限制了模型泛化性能的进一步探索。此外，认知负荷匹配/不匹配的区分效果距离实际应用仍有很大的差距，并且双模态的验证结果与仅使用hrv特征相比无提升。

6、(3)认知负荷评判的分类器选用问题：分类器的性能取决于所选择的特征。对于脑电信号和眼电信号，特征的选择是复杂的，且存在很多可能的选择。不同的特征选择可能会导致分类器性能的差异。如果分类器在训练数据上过度拟合，可能会导致在新数据上的泛化性能较差。一些分类器可能具有较强的预测性能，但对于解释模型如何做出决策可能较困难。在一些应用场景下，模型的解释性也是重要的考量因素。因此分类器的选择对于认知负荷的评判是一个非常重要的问题。谭廷一(重庆邮电大学,2021)提出了基于脑电信号研究的认知负荷评判方法，利用协方差矩阵的特性对认知负荷相关的脑电数据进行时频分析，再利用神经网络来将端到端的认知负荷检测进行实现，最后通过使用卷积神经网络对认知负荷进行分类。所提出的迁移学习模型有效的缓解了被试之间的迁移学习问题，但是被试者间的特征仍然有不小的分布差异。chakladar d d等(biomedical signalprocessing and control,2020)针对多任务同时操作的情景提出一种基于双向长短期记忆和长短期记忆的深度混合模型，将认知负荷程度分为低、中、高三种。研究主要使用stew数据集，在最后的分类时使用灰狼寻优算法对相关的特征进行特征选择，最后在筛选之后选出研究所需的六个特征对认知负荷状态进行二分。

技术实现思路

1、针对现有技术存在的上述不足，本发明的目的在于提供一种基于脑智能技术的认知负荷评判方法。

2、为实现以上目的，本发明采用如下技术方案：

3、一种基于脑智能技术的认知负荷评判方法，包括以下步骤：

4、s1.4通道脑电信号与眼电信号采集；

5、s2.对步骤s1采集的脑电信号和眼电信号预处理与特征提取；

6、s3.脑电信号的变分自编码生成对抗增强方法；

7、通过数据增强算法wvaegp算法对经过步骤s2处理后的脑电信号特征进行数据增强；所述wvaegp算法包括：vae网络中加入判别器环节；利用wasserstein距离和梯度惩罚来解决梯度爆炸和梯度消失的问题；

8、s4.基于降噪自动编码器的脑电与眼电的双模特征融合模型

9、所述基于降噪自动编码器进行脑电与眼电的双模特征融合模型包括构建显层融合策略或隐层融合策略来对认知负荷进行评判，其中构建显层融合的步骤如下：

10、步骤41：对脑电和眼电信号的特征进行合并，得到融合特征；

11、步骤42：按照降噪自编码器的思路，将噪声添加到融合后的特征中，得到含有噪声的信号；

12、步骤43：通过编码器将含有噪声的信号编码到隐层空间生成隐层数据；

13、步骤44：最后通过解码器生成近似于原始无噪声数据的重构数据；

14、在训练过程中对解编码器和解码器参数不断的进行调整，当融合特征与重构数据之间的平均重构误差最小时，将含有原始脑电与眼电信号特征的隐层数据作为后续分类器的输入；

15、采用隐层融合策略时，要对脑电和眼电信号特征分别进行处理，最后将脑电和眼电信号分别对应的隐层数据进行融合，形成新的融合后的隐层特征，再将这个融合后的隐层数据作为后续分类器的输入；s5.改进海鸥算法优化支持向量机的认知负荷分类方法

16、改进的海鸥-支持向量机算法步骤如下：

17、步骤51:生成初始种群，设定相关参数；

18、步骤52:计算初始海鸥种群的适应度值，计算最优海鸥个体的位置，并按照适应度值对海鸥个体进行排序，将整个空间内最优的海鸥位置信息保存为；

19、步骤53:使用余弦函数的非线性特征对控制因子进行调整；

20、

21、其中c代表了海鸥算法中需要调整的控制参数，t代表了算法目前所处的迭代次数，maxt是算法的最大迭代次数，cmax和cmin是被调整的这个参数变化范围的最大值和最小值；

22、步骤54:根据历史进化策略更新海鸥位置；

23、步骤55:计算更新后的海鸥种群适应度值，重新计算最佳海鸥的位置；

24、步骤56:判断是否达到最大迭代次数，是则停止迭代并输出最优参数c和g，否则跳转至步3继续迭代。

25、优选的，步骤s1中，利用14导的脑电采集设备emotive对使用者的所有脑电数据以及眼电数据进行采集。

26、进一步地，步骤s2中，所述脑电信号的预处理阶段，滤波采用快速傅里叶变换方法对待处理的脑电数据进行带通滤波w校正线性漂移，同时一定程度的除去高频的环境噪声，将0.1到40hz的低频信号保留下来，同时对50hz的信号进行陷波化处理，斜率均为40db/oct；所述脑电信号的特征提取，选择小波熵、排列熵和微分熵作为脑电信号的特征。

27、进一步地，步骤s2中，所述眼电信号的预处理，使用快速独立成分分析方法从眼电信号中分离眼电信号的主成分；所述眼电信号的特征提取，选择扫视类别中的扫视速率、扫视速率方差、扫视幅度方差、扫视幅度的功率、扫视次数和眨眼类别中的眨眼速率、幅度方差、眨眼幅度的平均值、眨眼幅度的功率、眨眼次数以及眨眼持续时间方差的平均值、眨眼持续时间、扫视次数的平均值作为眼电信号特征。

28、进一步地，步骤s3中，所述wvaegp算法流程包括：

29、输入：培训样本；最大迭代次数t；.

30、输出：学习到的参数θe、θg、θdis和θgp用于编码器e，发生器g，判别器dis，

31、步骤1：初始化参数θe、θg、θdis和θgp，设置迭代单位iter＝1；

32、步骤2：判断是否iter<t；

33、步骤3：随机抽取批量训练样本数和高斯值，噪声z～n(μ,σ)；

34、步骤4：计算潜在向量z＝e(xreal)，生成的特征x'real＝g(z)和xgen＝g(zp)；

35、步骤5：计算各种损失lrec、lkl、lg、ldis、lgp；

36、步骤6：使用adam优化器优化参数θe、θg、θdis和θgp：θe＝arg minθ(lrec+lkl+lg)；θg＝arg minθ(lrec+lg)；θdis＝arg maxθ(ldis)；θgp＝arg maxθ(lgp)；其中θe表示输入的原始样本映射到隐层特征中的学习参数，θg表示从隐层空间数据分布中采样生成新的输出数据的学习参数，θdis表示输入到判别器中原始数据与新的数据之间的学习参数，θgp表示从梯度惩罚衡量原始数据分布和生成的输出数据分布之间的学习参数；

37、step 7：iter＝iter+1；

38、步骤8：结束。

39、进一步地，步骤s4中，所述脑电特征处理步骤如下：

40、步骤1：将噪声添加到脑电特征中，得到含有噪声的脑电信号；

41、步骤2：通过编码器将含有噪声脑电的信号编码到隐层空间生成脑电隐层数据；

42、步骤3：通过解码器生成近似于原始无噪声数据的脑电重构数据；

43、在训练过程中需要对解码器和编码器的参数进行调整，当脑电特征与脑电重构数据之间平均重构误差最小时，此时的数据称为脑电隐层处理数据。

44、进一步地，步骤s4中，所述眼电特征处理步骤如下：

45、步骤1：将噪声添加到眼电特征中，得到含有噪声的眼电信号；

46、步骤2：通过编码器将含有噪声眼电的信号编码到隐层空间生成眼电隐层数据；

47、步骤3：通过解码器生成近似于原始无噪声数据的眼电重构数据；

48、在训练过程中需要对解码器和编码器的参数进行调整，当眼电特征与眼电重构数据之间平均重构误差最小时，此时的数据称为眼电隐层处理数据。

49、进一步地，步骤s5中，所述改进海鸥算法的实现步骤包括：

50、步骤1:初始化种群，设置算法相关的控制参数，每个海鸥代表一个解；

51、步骤2:计算初始海鸥个体的适应度值，找到最优个体位置；

52、步骤3:使用式(7)提出的余弦函数非线性特征改进控制因子；

53、

54、将第t次迭代时海鸥算法的控制因子定义为fc(t)，fmax是其中的最大值，fmin是其中的最小值，maxt为算法最大迭代次数；

55、步骤4:根据式(8)的历史进化策略更新海鸥位置；

56、hsi(t+1)＝rd×hsi(t)+(1-rd)×pb,i-(1-rd)×hsw(t)   (8)

57、先假设第i只海鸥个体更新后的位置为hsi(t+1)，将海鸥个体更新前的位置定义为hsi(t)，设pb,i为第i只海鸥个体的历史最优位置，同时hsw(t)代表着海鸥种群整体的全局最差位置，rd是[0.1]内的随机数；

58、步骤5:计算更新后的海鸥种群适应度值，重新计算最优海鸥的位置；

59、步骤6:判断迭代次数，若以达到最大值就停止寻优并输出最优值，反之继续迭代。

60、与现有技术相比，本发明具有以下有益效果：

61、(1)本发明提出一种基于脑电数据的变分自编码生成对抗增强方法：基于脑电数据的变分自编码生成对抗增强方法可以通过生成合成数据来扩充和丰富原始数据集，从而提高训练模型的性能。合成数据具有与真实数据类似的统计特征，可以帮助模型学习到更全面特征表示，增强了模型对不同样本的泛化能力。

62、(2)本技术通过主成分分析对眼电信号进行预处理，对眨眼频率、眨眼幅度、眨眼功率等特征进行提取和特征选择。基于降噪自编码(dae)设计脑电与眼电信号的融合模型，分别是显层融合与隐层融合。脑电信号和眼电信号代表了不同的生理过程和认知活动。脑电信号反映了大脑的电活动，能够提供关于脑功能活动的信息；眼电信号则反映了眼球运动和眼睛相关的生理过程，可以提供关于注意力和视觉处理的信息。通过将这两种信号进行融合，可以获得互补的特征，丰富了特征空间，有助于更准确地描述个体的认知状态。

63、(3)本技术提出一种改进海鸥算法优化支持向量机的认知负荷分类方法，更好地捕捉到认知负荷相关的特征，提高分类器的准确率和鲁棒性。优化后的模型可以更准确地判断个体的认知负荷水平，为认知负荷评判提供可靠依据。

64、(4)本技术提出的改进海鸥算法克服了海鸥算法的单一搜索和依赖最优个体的缺陷，采用了历史种群进化策略来更新最优海鸥位置，并引入余弦函数利用它的非线性特征进行参数调整，进而大大改善了海鸥算法的搜索效率和寻优精度。