一种基于MSFF-SENet的运动想象脑电图解码方法

本发明属于脑电图处理，具体涉及一种基于msff-senet(注意力机制的多尺度特征融合网络)的运动想象脑电图解码方法。

背景技术：

1、脑机接口(bci)能够分析大脑神经元电信号，并将其转化为控制指令，以实现人体与外部设备之间的直接通信。这项技术具有广泛的应用范围，可涵盖多个领域，包括医疗、人类辅助设备等。脑电图(eeg)是一种非侵入式方法，用于记录大脑活动，并采集人脑的生物特征数据。这些数据可用于了解人类潜在的心理和生理状态。其中，运动想象(mi)是一种通过大脑想象而不实际执行动作来完成的方法。目前，研究中广泛使用的mi任务包括想象左右手、脚和舌头运动。基于eeg的运动想象(mi)信号已经被应用于多种医疗应用中，例如中风康复、假肢控制、恢复受损的肢体功能与机器人轮椅等领域。

2、脑电图信号容易受到各种干扰因素的影响，例如来自外部环境的噪声、注意力水平、电子设备以及其他因素。此外，脑电信号还存在通道相关性和个体差异性，这增加了对其进行解释和分类的难度。传统的机器学习方法已广泛应用于运动想象分类，主要包括人工提取特征和分类两个阶段。脑电信号的特征提取方法包括时域、频域和空域三个方面。时域特征可以使用平均值、均方根值和方差等方法；频域特征可以使用功率谱密度估计(psd)、频带能量比和小波变换等方法；而空域特征提取最常用的方法是通用空间格局(csp)和空间滤波器等。在分类阶段，可以利用决策树、支持向量机、集成学习和线性判别分析等对mi特征进行独立分类。

3、与传统机器学习相比，深度学习方法使用大量参数进行特征学习，无需手动提取特征，从而在一定程度上解决了这些问题。例如，chen等人提出了一种脑电信号解码框架，该框架使用滤波器组空间滤波和设计的卷积神经网络(cnn)来提取特征并进行分类。tianjun liu和deling yang通过将eeg转换为一系列二维阵列，开发了一个专注于电极空间分布的多分支3d cnn框架。zhang进一步设计了一种混合网络，用于空间和时间特征提取。li et al.利用cnn提取空间特征，lstm提取时间特征。此外，sakhavi et al.等人提出的模型结合时间窗口、滤波器组和投影空间的最佳排序，以揭示eeg信号的多域特征。然而，普通的卷积运算难以提取高频段信息，不完整的空间或时间分析会破坏脑电信号非平稳性特征。需要采用更全面的分析方法来确保脑电信号的质量和准确性。因此，一些研究开始关注多域信息在脑电信号识别中的作用，这些研究探索了eeg信号的多域表示，并与设计的cnn模型一起进行了频谱和时间分析，以提高脑电信号的识别能力。

4、然而，这些方法仍存在一定局限性。首先，许多mi-eeg解码方法仅提取浅层特征，未进行深层特征提取，导致解码效果不理想。其次，这些方法通常独立研究时间、空间或频谱信息，仅简单地组合特征，未能有效地融合信息，可能导致网络学习到许多冗余信息。因此，简单地组合时间、空间和频谱特征是远远不够的。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于msff-senet的运动想象脑电图解码方法解决了现有的运动想象脑电图解码方法未进行深层特征提取，未能有效融合信息，获得的解码效果不理想问题。

2、为了达到上述发明目的，本发明采用的技术方案为：一种基于msff-senet的运动想象脑电图解码方法，包括以下步骤：

3、s1、构建msff-senet模型；

4、其中，msff-senet模型包括多尺度时空块、多尺度时间块、psd-conv块、se特征融合块和分类块；

5、s2、构建eeg信号数据集，对msff-senet模型进行训练；

6、s3、将预处理的eeg信号输入至msff-senet模型中，获得运动想象脑电图解码分类结果。

7、进一步地，所述多尺度时间块用于提取输入eeg信号的浅层时空特征；

8、所述多尺度时间块用于提取浅层时空特征的深层动态时间特征，获取eeg信号的高维时间特征；

9、所述psd-conv块用于提取输入eeg信号各频带功率谱强度的频谱特征；

10、所述se特征融合块用于融合高维时间特征和频谱特征，获得时间光谱融合特征；

11、所述分类块用于根据时间光谱融合特征，获得运动想象脑电图的解码分类结果。

12、进一步地，所述多尺度时空块提取输入eeg信号的浅层时空特征的方法为：

13、a1、通过三个时间卷积层对输入eeg信号的二维映射分别进行时间卷积，获得浅层时间特征；其中，三个所述时间卷积层中时间卷积核的大小分别为1×11、1×13和1×15；

14、a2、使用空间卷积层对三个时间卷积结果分别进行空间卷积，获得浅层空间特征；其中，时间卷积层中的空间滤波器的尺寸为c×1；

15、a3、基于获得的浅层时间特征和浅层空间特征，生成输入eeg信号的浅层eeg特征。

16、进一步地，所述多尺度时间块包括依次连接的三层mstm块；

17、相邻两层mstm块之间设置有非线性变换层，所述非线性变换层的非线性变换的复合表达式为：

18、h(·)＝bn-elu-[conv(·)+se(·)]&[dilated conv(·)+se(·)]-concat(·)-se(·)

19、式中，h(·)为非线性变换的输入，bn为batch normalization，即归一化操作，elu为elu激活函数，conv(·)表示将不同尺度的时间特征进行融合拼接，dilated conv(·)表示卷积层为空洞卷积，se(·)为通道注意力机制，concat(·)为拼接操作。

20、进一步地，所述psd-conv块提取频谱特征o的表达式为：

21、o＝elu(bn(conv(psi,w)+b))

22、式中，elu(·)为elu激活函数，bn(·)为归一化操作，conv(psi,w)表示对输入psi进行卷积操作，psi为功率谱强度，w为权重，b为偏置。

23、进一步地，所述se特征融合块融合高维时间特征和频谱特征的方法为：

24、b1、对高维时间特征的特征图和频谱特征的特征图分别采用全局平均池化操作，获得对应特征图的全局信息，进而将其在跨时间维度上聚合特征映射，生成各自的通道描述符；

25、b2、基于生成的通道描述符，对两种特征图分别进行激励操作，获得不同特征的权重矩阵并将其应用到对应特征图中，获得特征加权后的高维时间特征图和频谱特征图；

26、b3、对特征加权后的高维时间特征图和频谱特征图分别依次提取显著特征、将特征图设置为相同大小以及通过池化层处理后，进行特征融合，获得时间光谱融合特征。

27、进一步地，所述步骤b1中，全局平均池化操作的表达式为：

28、

29、式中，fsq为全局平均池化操作得到的结果，xs∈rm×c×t为输入特征图，m,c,t分别为输入特征图的通道、长和宽，t为eeg信号时间样本的长度。

30、进一步地，所述步骤b2中，激励操作的表达式为：

31、fse＝σ(w1ε(w2fsq))xs

32、式中，fse为激励操作后与激励操作前特征图相乘的输出结果，ε(·)是elu激活函数，σ(·)是sigmod激活函数，w1和w2为第一次和第二次全连接的权值，fsq为全局平均池化操作得到的结果，xs∈rm×c×t为输入特征图。

33、进一步地，所述步骤b3中，通过池化层处理后输出的特征图xseb表示为：

34、

35、式中，conv(·)表示一维卷积操作，t′是经过卷积后的采样时间的长度，fse为激励操作后与激励操作前特征图相乘的输出结果。

36、进一步地，所述分类块获得解码分类结果的方法为：

37、将时间光谱融合特征展平并一维向量，将其输入至全连接层后通过softmax函数将输出结果转换为分类概率，并将概率最大的标签作为运动想象脑电图的解码分类结果；

38、其中，将交叉熵损失作为分类块的目标函数l，其表达式为：

39、

40、式中，pi为msff-senet模型输出的第j个样本属于第i类的概率，li为第i个样本的真实类别，即标签，取值范围为1～m，ω(yj＝li)为一个指示函数，当当yj＝li时为1，否则为0，表示第j个样本是否属于第i类，||·||为正则化操作，λ为正则化权重，θ表示模型的可学习参数。

41、本发明的有益效果为：

42、(1)本发明提出了一种新的msff-senet模型，其相较于常见的时空模型更为敏感且准确地捕获mi-eeg数据中的时间和多光谱特征。

43、(2)本发明msff-senet模型中设计了mstm块，能够提取mi-eeg数据中的高维时间特征，有效地捕获eeg信号中的重要时间特征，避免了浅层网络中高维时间表示的丢失问题。

44、(3)本发明msff-senet模型中的psd-conv块，实现了多光谱特征的提取，解决了单光谱网络在特征提取上不足的问题。

45、(4)本发明msff-senet模型中采用注意力模块来解决多特征融合带来的冗余信息问题，有助于模型关注eeg数据中最有效的mi信息，有效地提高了mi-eeg解码的性能。