一种基于脑电频谱图时空特征的认知负荷评估方法及系统

本发明涉属于认知状态评估技术，具体涉及一种基于脑电频谱图时空特征的认知负荷评估方法及系统。

背景技术：

1、随着人机交互系统的使用范围逐渐扩展，人机交互的协调能力被提出更高要求。人脑资源的利用率会随操作时间、任务难度等不断变化，因此对人脑认知负荷的准确评估，进而改进人机交互模式、调整人机的工作任务，是提升系统工作效率的一种有效手段。脑电信号具有无创、低成本、便携等独有优势，其时、空、频域的特征信息已被证明与认知负荷等级存在特定关联，已成为认知负荷评估的主要手段。但由于不同被试的脑电信号受个体差异性影响较大，且大多数基于脑电信号的认知负荷评估算法对多域特征提取不足，这导致脑电认知负荷评估效果受到影响。

技术实现思路

1、本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于脑电频谱图时空特征的认知负荷评估方法及系统，本发明利用脑电频谱的空间拓扑信息、时间变化规律在不同认知负荷状态下表征状态不同这一特点，能够实现被试内、跨被试不同认知负荷状态的评估，具有评估准确率高、泛化性能强等优点。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种基于脑电频谱图时空特征的认知负荷评估方法，实施步骤包括：

4、s101，获取被试完成认知任务包含多个通道的脑电信号；

5、s102，提取脑电信号的时域、空域和频域的特征并融合为脑电频谱图时空特征；

6、s103，将脑电频谱图时空特征利用深度学习模型进行分类得到对应的认知负荷等级。

7、可选地，步骤s101中的脑电信号是指被试完成单次认知任务所诱发产生包含多个通道的脑电信号。

8、可选地，步骤s102的详细步骤包括：

9、s201，对脑电信号进行降噪；

10、s202，将降噪后的脑电信号按照固定尺寸时间的图窗进行图窗划分；

11、s203，以图窗为单位，提取脑电信号中θ、α和β三个频段的信号并分别进行快速傅里叶变换，分别获得不同图窗、不同频段以及不同通道的脑电频谱序列；

12、s204，使用方位等距投影，将脑电信号的三维采集坐标投影至二维平面，结合不同图窗、不同频段以及不同通道的脑电频谱序列得到脑电频谱图时空特征。

13、可选地，步骤s201的详细步骤包括：

14、s301，对脑电信号进行降采样；

15、s302，对降采样后的脑电信号通过去除通道均值进行基线校正；

16、s303，对基线校正后的脑电信号使用带通滤波器去除噪声干扰。

17、可选地，步骤s204中结合不同图窗、不同频段以及不同通道的脑电频谱序列得到脑电频谱图时空特征包括：将不同通道脑电信号频谱值分别对应至其采集电极的二维平面位置，实现从一维向量至二维频谱图的转化；将同一时间图窗内三张频谱图按照通道维度进行拼接，再按照时间图窗的顺序进行聚合，得到脑电频谱图时空特征。

18、可选地，步骤s103的详细步骤包括：

19、s401，将脑电频谱图时空特征利用两个特征提取网络分支进行特征提取，包括将脑电频谱图时空特征以时间图窗为单位进行均值处理，再作为第一个特征提取网络分支的输入以进行特征提取；将脑电频谱图时空特征以不同频段为单位，对脑电频谱图时空特征进行均值处理，再作为第二个特征提取网络分支的输入以进行特征提取；

20、s402，将两个分支提取的特征采用拼接的方式连接，再对连接得到的特征计算l2范数作为分类得到对应的认知负荷等级。

21、可选地，步骤s401中所述的第一个特征提取网络分支采用的特征提取网络为胶囊网络。

22、可选地，步骤s401中所述第二个特征提取网络分支包括依次相连的多个长短期记忆递归网络模块lstm、全连接层fc以及特征胶囊层，所述多个长短期记忆递归网络模块lstm的输出作为全连接层fc的输入，全连接层fc的输出作为特征胶囊层的输入，所述特征胶囊层将提取特征转化为胶囊向量形式，胶囊个数表征认知负荷等级个数，胶囊长度表征提取时间特征个数。

23、此外，本发明还提供一种基于脑电频谱图时空特征的认知负荷评估系统，包括相互连接的微处理器和存储器，所述微处理器为编程或配置以执行前文所述基于脑电频谱图时空特征的认知负荷评估方法的步骤。

24、此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于脑电频谱图时空特征的认知负荷评估方法。

25、和现有技术相比，本发明具有下述优点：

26、1、本发明充分利用了脑电信号时间域、空间域、频率域中表征认知负荷水平的相关特征，并挖掘不同域特征间的耦合关系，实现特征融合。

27、2、本发明通过利用不同神经网络架构学习数据不同特征信息的特点，设计算法分支：使用胶囊网络学习低空间分辨率的导联空间关系，使用长短期记忆递归网络提取时间变化规律；按照并列模式排布分支，通过拼接特征胶囊，实现认知负荷评估，减少了传统神经网络提取特征单一、不充分等问题。

28、3、本发明方法不仅适用于被试内认知负荷评估实验，对于跨被试认知负荷评估实验，能够减少因脑电信号个体差异化明显带来的对评估结果的影响。

技术特征：

1.一种基于脑电频谱图时空特征的认知负荷评估方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的基于脑电频谱图时空特征的认知负荷评估方法，其特征在于，步骤s101中的脑电信号是指被试完成单次认知任务所诱发产生包含多个通道的脑电信号。

3.根据权利要求1所述的基于脑电频谱图时空特征的认知负荷评估方法，其特征在于，步骤s102包括：

4.根据权利要求3所述的基于脑电频谱图时空特征的认知负荷评估方法，其特征在于，步骤s204中结合不同图窗、不同频段以及不同通道的脑电频谱序列得到脑电频谱图时空特征包括：将不同通道脑电信号频谱值分别对应至其采集电极的二维平面位置，实现从一维向量至二维频谱图的转化；将同一时间图窗内三张频谱图按照通道维度进行拼接，再按照时间图窗的顺序进行聚合，得到脑电频谱图时空特征。

5.根据权利要求3所述的基于脑电频谱图时空特征的认知负荷评估方法，其特征在于，步骤s201中对脑电信号进行降噪包括：

6.根据权利要求1所述的基于脑电频谱图时空特征的认知负荷评估方法，其特征在于，步骤s103包括：

7.根据权利要求6所述的基于脑电频谱图时空特征的认知负荷评估方法，其特征在于，所述第一个特征提取网络分支采用的特征提取网络为胶囊网络。

8.根据权利要求6所述的基于脑电频谱图时空特征的认知负荷评估方法，其特征在于，所述第二个特征提取网络分支包括依次相连的多个长短期记忆递归网络模块lstm、全连接层fc以及特征胶囊层，所述多个长短期记忆递归网络模块lstm的输出作为全连接层fc的输入，全连接层fc的输出作为特征胶囊层的输入，所述特征胶囊层将提取特征转化为胶囊向量形式，胶囊个数表征认知负荷等级个数，胶囊长度表征提取时间特征个数。

9.一种基于脑电频谱图时空特征的认知负荷评估系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述基于脑电频谱图时空特征的认知负荷评估方法。

10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述基于脑电频谱图时空特征的认知负荷评估方法。

技术总结
本发明公开了一种基于脑电频谱图时空特征的认知负荷评估方法及系统，本发明方法包括采集被试的脑电信号；预处理脑电信号，挖掘其频域与空间域、时间域特征的相关性，获取脑电频谱图时空特征；基于胶囊网络、长短期记忆递归网络，依据不同拓扑结构的神经网络学习不同特征的属性，搭建并行特征学习与聚合神经网络；训练深度学习模型以评估认知负荷等级；获得认知负荷的自主评估系统。本发明利用脑电频谱的空间拓扑信息和时间变化规律在不同认知负荷状态下表征状态不同这一特点，能够实现被试内、跨被试不同认知负荷状态的评估，具有评估准确率高、泛化性能强等优点。

技术研发人员：李明,王雨佳,鞠翔宇,胡德文
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/2/19