一种时空特征融合注意力机制的运动想象脑电图解码方法

本发明涉及一种时空特征融合注意力机制的运动想象脑电图解码方法，属于脑信息科学研究。

背景技术：

1、脑机接口技术(brain computer interface,bci)提供了一种前沿的人机交互方式，通过对大脑活动产生的电信号进行分析来揭示人类大脑活动的内部机理，辅助残障患者、老年人和运动行为受限患者控制轮椅等外部设备，在医学上具有广泛的应用前景。基于运动想象(motor imagery,mi)的bci是脑机科学研究中广泛使用的范式之一，其主要优势在于能够使用非侵入式的脑电信号采集设备记录神经元兴奋产生的脑电活动，对受试者来说更加安全和舒适，同时运动想象脑电信号只通过想象活动产生，没有任何额外刺激，具有自发性和本质自然性，更适合作为脑机接口系统的控制信号。

2、脑机接口技术结合了当前广泛使用的深度学习技术方法来解读脑意图，使计算机代替了人为经验进行脑电数据分析和识别，其应用领域十分宽广。脑机接口通过将大脑活动产生的电信号与计算机直接相连，在过去的十年里对医疗领域做出了极大的贡献，不仅实现了对抑郁症患者的心理评估，还成功地通过计算机解读人类肢体想象运动的意图，为运动受限的人群提供了极大的便捷，有效改善残疾人的生活质量。

3、为了从复杂的脑电信号中提取有效特征，早期研究主要依据经验进行特征提取并利用机器学习方法对信号分类。通过对信号进行短时傅里叶变换、小波变换、经验模态分解等方法可以有效提取脑电信号的时频特征，再将提取到的特征输入分类器进行分类。对脑电信号空间相关性的研究通常使用共空间模式的方法，通过计算空间滤波器将两个类别之间的方差最大化。现有的深度学习技术也可以有效地进行脑电信号分析，如卷积神经网络(convolutional neural network,cnn)可以显著地提高模型的识别率和鲁棒性。

技术实现思路

1、本发明要解决的技术问题是提出了一种基于时空特征融合注意力机制的运动想象脑电解码方法，从而提高运动想象脑电信号的分类准确率。

2、本发明的技术方案是：一种时空特征融合注意力机制的运动想象脑电图解码方法，具体步骤为：

3、step1：提取原始脑电信号中运动想象相关时间段的信息。

4、step2：构建时空卷积模块，所述模块的输入数据为step1中提取的运动想象脑电数据，采用不同尺度的卷积核提取多层次特征。

5、step3：构建注意力机制模块；所述模块的输入数据为step2输出的多层次融合特征，该注意力机制的输出是经注意力机制分配权值后的脑电融合特征。

6、step4：构建时间卷积模块，将step3中所得的脑电特征输入时间卷积网络模块，提取深层次的时间特征。

7、step5：构建分类模块，基于softmax对提取到的脑电信号进行分类。

8、step2中所述的时空卷积模块为四组尺度不同的卷积核构成的时间卷积网络对输入原始信号分别进行时间卷积和深度卷积，用以充分提取脑电信号的全局特征和局部特征。

9、所述的注意力机制模块采用多头自注意力机制对提取的多层次时空特征进行注意力权重分配，以突出时空特征中更有价值的脑电信息，多头自注意力中每个自注意力层由三个部分组成：查询向量q、键向量k和值向量v，查询向量和键向量之间进行点积计算来产生对值向量的偏好选择，其计算式如下：

10、

11、式中attention(q,k,v)为赋予注意力分数后的值，q、k、v分别为查询向量query、键向量key和值向量value，为缩放因子。

12、为了避免在梯度运算过程中产生过小的梯度值导致梯度消失，需要将点积结果除以缩放因子

13、每个缩放点积自注意力对输入向量计算单独的注意力分数，在此基础上，通过堆叠并行缩放点积注意力使模型有效地收集不同位置的子空间表示，每个子空间的计算过程如下：

14、

15、

16、

17、headn＝attention(qn,kn,vn)；

18、其中，是映射矩阵权重，d是映射维度。

19、所述的时间卷积模块采用堆叠的残差块搭建，残差块由两个膨胀的因果卷积层组成，每个卷积后是权重归一化层和relu激活；

20、由于每个残差块中的膨胀系数d呈指数级增加，导致时间卷积网络的感受野大小也随着堆叠残差块数目l的增加而指数级增长，感受野的大小主要由两个参数控制：残差块的数量l和卷积核大小kt，计算公式如下：

21、rfs＝1+2(kt-1)(2l-1)；

22、将step1中提取的运动想象脑电信号经过四组并行的时空卷积网络，卷积核大小分别为(16,1)、(32,1)、(64,1)和(128,1)，卷积核数量均为16，然后分别进行深度卷积以提取空间信息，对所提取到的脑电信息进行特征融合，将多层次融合的脑电特征经过深度可分离卷积输出到注意力机制模块，多头注意力模块是由两组堆叠的膨胀因果卷积层组成，经过权重分配的有用信息被馈送至时间卷积网络中提取时间特征，并由全连接层进行分类。

23、将提取的多层次时空融合特征输入到全连接层进行分类。经过分类模块输出对应的分类标签，通过与真实标签比对计算损失函数，采用交叉熵损失函数，具体公式如下所示：

24、

25、其中，m是试验次数，n是类别数，第m次试验的真实标签，表示类别n第m次试验的预测概率。

26、本发明的有益效果是：本发明可以有效地对脑电信号进行高准确率的任务识别，有益于脑机接口系统的开发。

技术特征：

1.一种时空特征融合注意力机制的运动想象脑电图解码方法，其特征在于：

2.根据权利要求1所述的时空特征融合注意力机制的运动想象脑电图解码方法，其特征在于：step2中所述的时空卷积模块为四组尺度不同的卷积核构成的时间卷积网络对输入原始信号分别进行时间卷积和深度卷积。

3.根据权利要求1所述的时空特征融合注意力机制的运动想象脑电图解码方法，其特征在于：

4.根据权利要求1所述的时空特征融合注意力机制的运动想象脑电图解码方法，其特征在于：所述的时间卷积模块采用堆叠的残差块搭建，残差块由两个膨胀的因果卷积层组成，每个卷积后是权重归一化层和relu激活。

技术总结
本发明涉及一种时空特征融合注意力机制的运动想象脑电图解码方法，属于脑信息科学研究技术领域。首先对输入的原始脑电信号进行运动想象相关事件提取，构建并行的时空卷积模块，提取脑电信号不同层次下的时域和空间域特征，构建注意力机制模块，对时空卷积模块融合后的特征进行加权，构建时间卷积模块对加权后的时域特征进行提取，利用全连接层对脑电信号进行分类。通过在数据集BCI Competition IV Dataset 2a上进行验证，并与近年所提出的分类方法进行比较，实验结果表明，本发明具有更好的分类效果。

技术研发人员：宋耀莲,冯泽林,殷喜喆,刘培
受保护的技术使用者：昆明理工大学
技术研发日：
技术公布日：2024/1/13