一种运动想象脑电信号分类方法

本发明属于深度学习领域，涉及脑电信号分类技术，具体为一种基于改进的可变形卷积和自适应空间注意力机制的运动想象脑电信号分类方法。

背景技术：

1、脑机接口(brain-computer interface,bci)技术旨在建立人与计算机之间的直接通信渠道，通过分析运动想象脑电信号，实现对个体意识、意图以及运动的识别与控制。这些特定的脑电模式在个体想象运动时产生，可以被捕捉并转化为控制指令，为运动受限人群的康复、人机交互体验的增强以及人类脑能潜力的拓展等领域带来重要意义。研究运动想象脑电信号不仅有助于理解人类运动控制的神经机制，同时为脑机接口技术的演进提供了有力支撑。

2、运动想象脑电信号的分类研究对于实现准确且可靠的脑机接口应用具有关键意义。为了提升分类准确率和性能，许多研究工作已经提出了多种方法和模型。传统机器学习方法，如支持向量机和k最近邻等，在过去的研究中被广泛应用于运动想象脑电信号分类任务。同时，随着深度学习在模式识别领域的迅速进展，越来越多的研究开始将深度学习方法，如卷积神经网络和残差网络，应用于运动想象脑电信号分类。然而，当前的分类方法仍面临一些挑战，包括特征提取不充分、个体差异引起的泛化性能下降等。因此，为了更好地解决这些难点，需要提取更具区分性的特征并增强模型的泛化能力。

3、随着脑机接口技术的迅猛发展，运动想象脑电信号分类作为脑机接口领域的关键研究方向备受关注。以往的研究主要侧重于传统机器学习方法，如支持向量机(supportvector machine,svm)和随机森林(random forest)，以应用于运动想象脑电信号的分类。然而，这些方法在处理复杂脑电信号时存在着特征提取的不足和分类精度的限制。

4、传统上，共空间模式(common spatial pattern,csp)算法被广泛用于从脑电信号中提取空间特征，即通过最大化不同运动想象类别之间的方差比例进行空间投影。然而，csp方法的性能受限于脑电信号的频带，通常需要手动选择或使用宽频带，这可能导致信号质量的下降或信息损失。为解决这一问题，研究者提出了基于滤波器组的csp方法，可自动选择最佳频带和对应的csp特征。例如，ang等人提出了滤波器组共空间模式(fbcsp)方法，结合特征选择和分类算法进行运动想象脑电信号分类。在公开数据集上，其交叉验证准确率显著提高。

5、除了空间特征，运动想象脑电信号还包含有关运动想象强度和持续时间的丰富时变信息，这对于捕捉个体运动意图和状态至关重要。然而，传统特征提取和分类方法往往将这些信息忽略或平均化。为了利用这些信息，研究者提出了基于多变量解码的方法，用于从脑电信号中提取时空特征并进行时间分辨分析。例如，tidare等人提出基于支持向量机(svm)的多变量解码方法，通过交叉时间解码和层次遗传算法选择最具区分性的频带和csp特征，再使用svm预测分数分析运动想象时变强度。在公开数据集上，实验结果表明该方法能有效估计运动想象强度，具备较高准确度和稳定性。

6、虽然基于传统机器学习方法的研究取得了一定效果，但仍存在预处理和特征提取复杂、特征维度高、分类器表达力不足等问题。为解决这些问题，研究者开始探索基于深度学习方法的运动想象脑电信号分类。为提升分类准确度，深度学习方法逐渐引起研究关注，如卷积神经网络(convolutional neural networks,cnn)和递归神经网络(recurrentneural networks,rnn)。通过端到端学习，深度学习方法能从原始脑电信号中自动学习特征并进行信号分类。例如，echtioui等人提出基于cnn和svm的方法进行运动想象脑电信号分类，在bci竞赛iv 2a数据集上获得64.33％的准确度。虽然此方法提升了对mi-eeg信号分类的性能和可靠性，但其模型只采用简单的三层卷积网络，未应用深度残差结构或注意力机制以增强特征提取和表示能力，从而可能限制其对复杂eeg信号的高级特征捕获，影响分类的准确性和性能。另外，使用核函数的线性svm分类器可能无法适应eeg信号的非线性和多样性，从而影响分类的泛化和适应性。

7、为进一步提升运动想象脑电信号分类的性能，樊炎等人提出了改进的卷积神经网络模型，结合创新的预处理方法和特征提取策略。他们采用3d卷积提取运动想象信号的频率特征，深度可分离卷积提取时空特征，再使用时间卷积神经网络进一步提取时间特征。尽管该模型取得显著改进，但未针对脑电信号的非平稳性等特征选用更合适的卷积进行特征提取。

8、为了更好地提取脑电信号的特征，du等人尝试使用可变形卷积(deformableconvolution)来替代传统的卷积操作。可变形卷积是一种能够自适应地调整卷积核的形状和位置的卷积方法，可以捕捉到特征图中的非线性和随机变化。同时，zhu等人在可变形卷积的基础上，提出了可变形卷积网络v2(deformable convnets v2)，在可变形卷积核的采样点上引入了额外的注意力系数，用以筛选卷积操作中选中了无效区域的采样点，从而进一步精确空间支持的范围，提高对mi-eeg信号特征的表达能力和分类性能。然而，这个改进仍没有解决可变形卷积提取特征不充分的缺点，导致可变形卷积网络v2只能捕获部分区域特征，而无法获取全局特征，从而限制了可变形卷积特征提取和泛化的能力。

9、此外，zhang等人提出了基于注意力机制的时域卷积网络(atcnet)模型。他们使用多头自注意力机制凸显运动想象脑电信号中的关键特征，并使用时域卷积网络提取高级时间特征。尽管如此，该模型未涵盖运动想象信号的频率和空间特征，可能导致遗漏关键信息。类似地，xu等人提出了一种基于双头和双注意力的深度学习方法，用于端到端的脑电信号分类。该方法使用了两个卷积神经网络分支，一个用于提取时域特征，一个用于提取频域特征，并使用了两个注意力模块，一个用于增强通道维度上的特征，一个用于增强空间维度上的特征。然而，双头和双注意力的结构可能会导致参数量过大，计算复杂度过高，而且容易过拟合。

10、总体而言，尽管已有多项方法在运动想象脑电信号分类领域取得进展，然而仍面临一些挑战，包括特征提取不充分、个体差异引起的泛化性能下降等。

技术实现思路

1、为了克服现有运动想象脑电信号分类方法存在的不足，本发明提供一种基于改进的可变形卷积和自适应空间注意力机制的运动想象脑电信号分类方法，能够提取更具区分性的特征并增强模型的泛化能力，提高运动想象脑电信号分类的准确度和性能。

2、本发明为解决其技术问题所采用的技术方案是：

3、一种运动想象脑电信号分类方法，步骤包括：对原始脑电信号数据进行预处理，并将预处理后的脑电信号数据输入至改进的残差网络模型resnet-18中进行训练，最终将resnet-18输出的特征向量映射到类别空间，并进行分类；所述改进的残差网络模型resnet-18的残差结构由改进的可变形卷积构建而成，且resnet-18的最终处理层采用自适应空间注意力机制；所述改进的可变形卷积在卷积核的中心采样点上不添加偏移量，在卷积核的周围采样点上添加偏移量；所述自适应空间注意力机制基于脑电信号特征图的空间分布情况自动调整特征的权重。

4、进一步的，所述对原始脑电信号数据进行预处理，具体步骤是：

5、首先，将各电极通道的原始脑电信号数据各自进行小波变换，生成复数谱三维数据数组；随后，计算复数谱的功率谱，并对功率谱进行对数转换操作；在保留了时间和频率信息后，对脑电信号数据进行csp处理；csp处理后，获得形状为(csp组件数，频率数)的数组，其中每个csp组件都具有频率分量上的权重分布；随后，将每个csp组件与原始复数谱在频率分量上进行逐元素相乘，以筛选出区分性的频率分量，并计算加权功率谱；在频率轴上堆叠所有通道的时频图，形成大的时频图，将时频图转换为rgb图像，并采用伪彩色映射；最终，将每个epoch转化为大小为224×224的热力图。

6、进一步的，所述改进的可变形卷积在卷积核的中心采样点上不添加偏移量，在卷积核的周围采样点上添加偏移量，具体为：

7、当给定k个采样位置的卷积核，以rk表示第k个采样位置预先指定的偏移量；假设,定义一个的3×3卷积核，去除中心采样点的偏移量，周围其他采样点预先指定的偏移量分别是rk＝{(-1,-1),(-1,0),(-1,1),(0,-1),(1,0),(-1,1),(0,1),(1,1)}；令x(p)和y(p)分别表示输入特征图x和输出特征图y中位置p处的特征；对于改进的可变形卷积运算，输出特征图y中的每个位置p0按下式(1)计算:

8、

9、其中pn枚举rk中的位置；ω(p0)表示卷积核中心采样点p0的权重大小；x(p0)表示输入特征图位置p0的值；ω(pn)表示卷积核p0位置的权重大小；δpn表示偏移量大小；x(p0+pn+δpn)表示输入特征图位置p0+pn+δpn的值。

10、进一步的，由改进的可变形卷积构建而成的残差结构具体为：

11、输入特征图通过一个改进的可变形卷积层进行卷积操作，该卷积操作的输出通过relu激活函数，经过relu激活函数后，特征图再次通过第二个改进的可变形卷积层；还包括一个直接从输入特征图跳跃到第二个改进的可变形卷积层输出的跳跃连接，在将输入添加到输出后，再次应用relu激活函数。

12、进一步的，所述自适应空间注意力机制基于脑电信号特征图的空间分布情况自动调整特征的权重，具体为：

13、首先通过卷积操作处理输入特征图，获得一个与输入特征图尺寸相同的特征图；然后，将该特征图通过sigmoid函数变换，使每个位置的数值映射到0到1之间，生成权重特征图；再将原始输入特征图与这个权重特征图进行逐元素相乘，得到一个与输入特征图尺寸相同的新特征图；最后，通过平均池化操作将新特征图的空间维度减小至全局尺度，得到最终的特征表示。

14、本发明的有益效果包括：

15、本方法将resnet-18网络应用于运动想象脑电信号分类任务，且引入了两个关键的改进要素，旨在提升运动想象脑电信号分类任务的模型性能。首要是将改进的可变形卷积嵌入到resnet-18网络的残差块中，同时将自适应空间注意力机制取代传统的平均池化操作。首先，对resnet-18网络的残差块进行了优化，将传统的卷积操作替换为改进的可变形卷积操作。这样的改进使得网络能够更好地适应非均匀特征分布，同时保留了标准卷积的稳定性以及原始可变形卷积的灵活性。具体而言，将可变形卷积引入残差块的卷积层，以增强网络对图像轮廓特征变化的自适应能力。次之，另一个关键改进点是在resnet-18网络的最后一层引入了自适应空间注意力机制。旨在通过这一机制更准确地捕捉特征之间的关联性，从而避免由简单降维操作引起的信息损失。通过对特征图与权重特征图逐元素相乘，增强了高权重特征的影响，从而更有效地融合了特征信息。最终，自适应空间注意力机制的引入进一步增强了网络的特征表征能力和泛化能力。这两项创新性的改进针对了特征提取的效率和特征融合的问题，致力于提升整体网络性能。

16、第一，通过中心采样点无偏移量的设计，改进的卷积核能够精准地定位输入图像中的有效信息区域。相对于原始可变形卷积，改进后的卷积核更精确地感知每次卷积操作所对应的图像区域，从而提高模型对复杂结构和纹理的表达能力。此外，这种设计还有助于降低模型过拟合的风险，增强了模型的泛化性能。其次，通过消除特征提取不充分，改进的卷积核能够更全面地捕捉所有有效信息区域的特征，从而增强了提取特征的多样性和泛化能力。最后，改进的设计还在计算复杂性方面具有优势，通过减少计算量和参数量，实现了在实际应用中的高效性。

17、第二，自适应空间注意力机制的引入，进一步提升了模型的分类性能。通过引入较少的参数量，就实现了分类准确率的进一步提升。这得益于自适应空间注意力机制能够更精确地捕捉特征之间的关联性，避免简单的降维操作导致的信息损失。通过特征图与权重特征图元素乘积，加强高权重特征，该机制提升了特征融合和特征表征的能力。

18、综上所述，通过引入改进的可变形卷积结构和自适应空间注意力机制，该模型取得了显著的性能提升。这两个创新点的设计弥补了原始可变形卷积的定位精度、特征多样性和平均池化的特征融合方面的缺陷，使得模型能够更全面、更准确地捕捉有效信息区域并提升特征表征能力。