一种基于ResCNN-BiGRU的运动想象脑电分类方法

本发明属于脑机接口中脑电信号处理领域，具体为一种基于rescnn-bigru的运动想象脑电分类方法。

背景技术：

1、此部分的陈述仅仅提供与本公开有关的背景技术信息，并且这些陈述可能构成现有技术。在实现本发明过程中，发明人发现现有技术中至少存在如下问题。

2、脑机接口是大脑与外部设备(计算机或其他电子设备)间通过大脑活动时产生的信号建立起的一种通讯控制系统。该系统不依赖除大脑以外的肌肉和神经，在大脑与机器间建立直接的交流。近年来，随着人工智能技术的迅速发展，越来越多的研究人员进入了bci(脑机接口技术)相关研究领域，特别是基于运动想象的bci技术，该技术目前在康复医疗、通信安全、环境保护等领域都得到了广泛应用。

3、近年来，深度学习网络模型在运动想象脑电信号特征提取及分类领域受到广泛关注，各种不同架构的神经网络已经被用于bci范例。卷积神经网络(cnn)是深度学习模型之一。典型的cnn网络结构由卷积层、降采样层、全连接层组成。其中卷积层与降采样层配合,组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。卷积操作是基于局部感受野，使用滤波器(卷积核)完成对原始图像的卷积变换；降采样层主要是为了降低数据维度。脑电信号本质上是按时间顺序排列的非线性信号，在其分类过程中对于脑电信号的时序特征的关注也是必不可少的。为提取脑电信号的时序特征，研究人员引入了一种递归神经网络(rnn)来解决脑电图信号的时间相关性。随着近年的深入研究，rnn也发展出了许多变体并被应用在运动想象脑电信号的研究工作中如lstm和gru。

4、然而，大部分研究在处理运动想象脑电信号分类任务时往往采用序列结构的分类网络提取空间特征，忽略了脑电信号作为时间序列信号含有丰富的时序信息和神经网络层间的特征，导致分类性能较差。

5、针对脑电信号利用不充分而导致分类性能差的问题，如申请号202310309411.8专利名称为“一种基于多头注意力的多维运动想象脑电信号分类方法”，对时频特征、空间特征、原始信息进行特征维度的拼接得到多维运动想象脑电信号，并利用多头注意力机制从不同的角度对特征进行分析，解决了在运动想象脑电信号分析中忽略了空间信息和原始信号中的信息的问题；同时解决了在特征提取过程中造成特征的丢失从而导致分类性能较差的问题，进而提高了分类的准确性。但根据发明人对该专利实验发现，该专利的分类准确度在实验中并不十分理想。

技术实现思路

1、针对上述问题，本发明的目的在于解决现有技术中的一部分问题，或至少缓解这些问题。

2、一种基于rescnn-bigru的运动想象脑电分类方法，包括：

3、对原始运动想象脑电信号进行预处理，得到预处理后的脑电信号；

4、对预处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图；

5、将所述时频特征图和预处理后的脑电信号送入rescnn-bigru特征融合网络中，提取脑电信号时频图中的空间与频率混合特征和时间序列特征；所述rescnn-bigru特征融合网络，由基于resnet的残差卷积神经网络(rescnn)和双向门控循环单元(bigru)并行连接构成；

6、将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(softmax)层进行分类。

7、将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(softmax)层进行分类后，还包括基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练。

8、进一步的，基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练，具体如下：

9、使用交叉熵损失函数，欧几里得范数(l2)正则化提高泛化能力，使用adam优化器(一种基于梯度下降的优化算法)对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长；学习率为0.0001，随机舍弃神经元(dropout)概率设置为0.3；训练的每批样本(batch)的大小设置为36，采用10倍交叉验证方法，将数据集分成10个相等的子集，随机选取其中90％作为训练数据，其余10％作为验证数据；所述验证数据仅用于最终的性能评估，不参与网络训练。

10、优选，对原始运动想象脑电信号进行预处理，包括使用所有22个脑电图通道并对原始22通道脑电信号在8～30hz波段进行滤波。

11、进一步的，对处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图，包括以下步骤：

12、选择复莫莱小波(复morlet小波)作为小波变换的母小波；

13、对预处理后的时间序列信号进行连续小波变换(continuous wavelettransform，cwt)；对于预处理后的脑电信号x(t)，cwt的表达式定义为：

14、

15、其中t是时间，x(t)是预处理后的脑电信号，是母小波，是的复共轭函数，s是尺度参数，s≠0，τ是转换参数；

16、将每个通道经过cwt后得到的时频图按电极顺序排列后组合成新的时频特征图。

17、所述残差卷积神经网络(rescnn)的输入为小波变换后得到的时频特征图，用于提取脑电信号时频图中的混合特征；双向门控循环单元(bigru)的输入为预处理后的脑电信号的时间序列表示，用于提取时间序列特征。

18、进一步的，在所述残差卷积神经网络(rescnn)的第一个残差块与第二个残差块后增加了卷积注意力机制模块(cbam)；所述cbam注意力机制包括通道注意力模块和空间注意力模块，包括如下步骤：

19、所述通道注意力模块将输入的所述时频特征图的每个通道分别经过平均池化层和最大池化层，然后分别经过多层感知机(mlp)，得到mlp输出的特征；再将mlp输出的特征进行加和操作，并经过s型生长曲线函数(sigmoid)运算进行激活操作，生成最终的通道注意力特征图；将最终的通道注意力特征图和输入的时频特征图做乘法操作，生成通道注意力模块输出的特征图；

20、将通道注意力模块输出的特征图输入所述空间注意力模块，首先通过串联的平均池化层和最大池化层，然后将两个池化层输出的结果基于通道进行拼接操作，并经过一个7×7的卷积层，降维为一个通道的特征图；再经过sigmoid生成空间注意力特征图；最后将空间注意力特征图和通道注意力模块输出的特征图做乘法，得到最终生成的更有判别性的特征图。

21、进一步的，所述残差卷积神经网络(rescnn)的残差块结构选择深度残差网络(resnet)的瓶颈层(bottleneck)结构，由两个1×1卷积层与一个3×3卷积层组成；中间3×3的卷积层首先在一个降维1×1卷积层下减少了计算量，然后在另一个1×1的卷积层下做了还原；最后，通过快捷连接将输入特征映射添加到卷积后的特征映射中，计算公式为：

22、h(x)＝xout+xin

23、其中，h(x)为最终输出特征，xin为输入特征映射，xout为输出特征映射。

24、进一步的，所述双向门控循环单元共512个gru(循环神经网络的一种)单元，输出尺寸为1*512的时间序列特征向量。

25、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于rescnn-bigru的运动想象脑电分类方法的步骤。

26、本发明具有如下有益效果：

27、1、本发明通过使用原始运动想象脑电信号的两种不同特征表示对其进行分类，分别为经过小波变换后的时频特征图和预处理后的时间序列信号，并配合特殊设计的cnn(即rescnn-bigru特征融合网络)，使得分类准确度显著提升；

28、2、由于采用上述结构，在中间特征与初始特征融合的过程中容易引入过多的噪声。为解决该问题，在resnet的残差卷积神经网络(rescnn)的第一个残差块与第二个残差块后增加了cbam注意力机制。cbam的加入有效地提高了特征融合的实用性，使输入分类层的特征向量更具判别性；

29、3、本发明对运动想象脑电信号进行了小波变换处理，得到运动想象脑电信号的时频特征图，使得时频特征更为明显，将时频特征图输入到残差cnn分支中，有助于后续分类准确率的提高。其采用的复morlet小波(cmor4-4)是非正交对称的，在时域和频域之间有很好的平衡，适用于非平稳eeg信号的分析。同时，为了利用位置信息，将每个通道经过cwt后得到的时频图按电极顺序排列后组合成新的时频特征图；

30、4、残差卷积神经网络(rescnn)的残差块结构选择resnet的bottleneck结构，由两个1×1卷积层与一个3×3卷积层组成。通过1×1卷积层来巧妙地缩减或扩张输入特征的维度，从而使得3×3卷积层的卷积核数目不受上一层输入的影响，它的输出也不会影响到下一层。中间3×3的卷积层首先在一个降维1×1卷积层下减少了计算量，然后在另一个1×1的卷积层下做了还原，既保持了模型精度又减少了网络参数和计算量。这种形式的残差设计将低级语义特征与高级语义特征相结合，增强输入分类器的特征向量的辨别能力，能够提升分类任务的准确率。