基于脑电信号和深度学习的运动想象分类方法及存储介质

本发明涉及信号处理，特别涉及基于脑电信号和深度学习的运动想象分类方法及存储介质。

背景技术：

1、脑电图(eeg)是通过电极从头皮上采集脑部的自发性、节律性的电信号，其对脑活动的轻微变化非常敏感，它是大脑皮层和头皮表面上大脑神经细胞中的电活动的总体效应所表现出来的一种反映。因其具备高时间分辨率，非侵入式、采样成本较低、信号采集便利等优点，被广泛应用于情感计算、认知科学等领域的研究。

2、基于脑电图的运动想像(eeg-m i)分类是脑机接口(bci)的关键组成部分之一。脑机接口是一种利用大脑神经系统信号来控制外部设备的系统，它可以帮助人群实现自由运动和自主控制。基于脑电图的运动想象分类通过分析大脑在运动想象过程中产生的脑电信号，想象肢体运动的过程，来判断用户所进行的运动想象任务，从而实现对外部设备的控制，其具有重要的研究价值和实用价值。

3、现有的运动想象分类方法存在以下问题：

4、传统的脑电信号分类方法主要使用功率谱、小波变换等方法从脑电信号的时域或频域进行人工特征的提取，然后结合支持向量机、线性判别分析、人工神经网络等机器学习算法对提取到的特征进行分类。然而，脑电信号具有不平稳性，低信噪比等特点，使用此类传统的脑电信号分类方法对脑电信号预处理的要求较高，需要花费大量的时间和精力；同时，脑电信号具有较大的个体差异，使用传统的方法在不同个体上提取到的特征可能会具有较大的差异，最终影响分类的准确性。

5、基于深度学习的运动想象分类算法对脑电信号的预处理要求较低，然而普通的深度学习方法对数据量的依赖性高，要想获得好的效果需要大量的数据进行训练，但想要采集大规模的高质量脑电信号较为困难，需要招募较多的志愿者，并对实验环境要求也较高，所以如何使用小样本的脑电信号来有效地训练运动想象分类模型是一个关键问题。

技术实现思路

1、为了实现本发明的上述目的和其他优点，本发明的第一目的是提供基于脑电信号和深度学习的运动想象分类方法，包括以下步骤：

2、获取原始的脑电信号；

3、对所述脑电信号进行预处理；

4、通过训练好的深度学习模型对预处理后的脑电信号进行运动想象分类，输出运动想象分类结果；其中，所述深度学习模型包括卷积网络模块、自注意力机制模块和胶囊网络模块，所述卷积网络模块用于对预处理后的脑电信号进行特征提取，所述卷积网络模块的输出馈送至所述自注意力机制模块作为输入，所述自注意力机制模块用于突出关键特征，所述胶囊网络模块用于输出最终的分类结果。

5、进一步地，所述对所述脑电信号进行预处理包括以下步骤：

6、对所述脑电信号进行归一化处理，归一化公式为：

7、

8、其中，x为原始的脑电信号，为归一化后的脑电信号，μ和σ2分别代表信号均值和方差。

9、进一步地，所述卷积网络模块包括多个卷积层，每个卷积层后添加有批归一化层，所述批归一化层用于在深度学习模型的训练过程中利用小批量的均值和方差调整神经网络中间的输出，使得各层之间的输出都符合均值、方差相同的高斯分布。

10、进一步地，所述卷积层的数量为三个，分别为第一卷积层、第二卷积层、第三卷积层。

11、进一步地，所述第一卷积层采用二维时间卷积，卷积核大小为(1，k1)，k1为脑电数据采样率的一半；

12、所述第二卷积块采用大小为(c，1)的深度卷积，c为脑电信号通道的个数；

13、所述第三卷积采用大小为(1,k2)的深度卷积，k2为常数。

14、进一步地，所述第二卷积层和所述第三卷积层后均使用elu激活函数，并在所述elu激活函数后添加均值池化层以减少输出的尺寸，并使用dropout层来减少神经元的依赖关系以提高模型泛化能力。

15、进一步地，所述自注意力机制模块具体为多头自注意力机制模块，所述多头自注意力机制包括多个称为注意力头的自注意层，每个自关注层包括三个组件，分别为查询、键和值，所述查询和所述键之间的相互作用产生的注意力分数作为对应值的权重。

16、进一步地，所述查询、键和值由输入进行线性变换得到，公式为：

17、

18、将每个注意力头的结果连接起来，并使用投影矩阵进行变换，得到最终多头自注意力模块的结果，此过程由下式表示：

19、multihead(q,k,v)＝wo[h1；h2；…；hn]

20、其中，wo为输出投影矩阵，hi表示第i个注意力头。

21、进一步地，所述胶囊网络模块中的胶囊网络包括卷积层、初级胶囊层和高级胶囊层，所述初级胶囊层首先进行卷积运算，然后将神经元组合为胶囊向量，所述高级胶囊层以所述初级胶囊层的输出作为输入，通过路由算法建立低层胶囊到高层胶囊之间的非线性映射。

22、进一步地，所述胶囊网络模块包括多个胶囊网络，所述胶囊网络的个数对应运动想象分类任务的类别数；

23、将所述自注意力机制模块的输出组成胶囊向量输入每个胶囊网络中，首先由权重矩阵对输入的胶囊向量进行放射变换,然后通过动态路由算法对放射变化后的向量进行加权，最后将经过squash操作的向量作为所述胶囊网络模块的输出，所述胶囊网络模块输出的向量的长度表示该类别对应的概率。

24、本发明的第二目的是提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现上述的方法。

25、与现有技术相比，本发明的有益效果是：

26、本发明提供基于脑电信号和深度学习的运动想象分类方法及存储介质，使用近乎不做处理的原始数据构建模型，模型中使用深度卷积、可分离卷积来提取特征以减少模型的参数训练量，并使用自注意力机制来突出重要的特征改善模型的效果，最后使用胶囊网络来增强模型鲁棒性，使模型能够在小规模数据量的基础上得到好的训练效果，提升了模型的准确性和泛化性能。

27、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

技术特征：

1.基于脑电信号和深度学习的运动想象分类方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于脑电信号和深度学习的运动想象分类方法，其特征在于：所述对所述脑电信号进行预处理包括以下步骤：

3.如权利要求1所述的基于脑电信号和深度学习的运动想象分类方法，其特征在于：所述卷积网络模块包括多个卷积层，每个卷积层后添加有批归一化层，所述批归一化层用于在深度学习模型的训练过程中利用小批量的均值和方差调整神经网络中间的输出，使得各层之间的输出都符合均值、方差相同的高斯分布。

4.如权利要求3所述的基于脑电信号和深度学习的运动想象分类方法，其特征在于：所述卷积层的数量为三个，分别为第一卷积层、第二卷积层、第三卷积层。

5.如权利要求4所述的基于脑电信号和深度学习的运动想象分类方法，其特征在于：所述第一卷积层采用二维时间卷积，卷积核大小为(1，k1)，k1为脑电数据采样率的一半；

6.如权利要求5所述的基于脑电信号和深度学习的运动想象分类方法，其特征在于：所述第二卷积层和所述第三卷积层后均使用elu激活函数，并在所述elu激活函数后添加均值池化层以减少输出的尺寸，并使用dropout层来减少神经元的依赖关系以提高模型泛化能力。

7.如权利要求1所述的基于脑电信号和深度学习的运动想象分类方法，其特征在于：所述自注意力机制模块具体为多头自注意力机制模块，所述多头自注意力机制包括多个称为注意力头的自注意层，每个自关注层包括三个组件，分别为查询、键和值，所述查询和所述键之间的相互作用产生的注意力分数作为对应值的权重。

8.如权利要求7所述的基于脑电信号和深度学习的运动想象分类方法，其特征在于：所述查询、键和值由输入进行线性变换得到，公式为：

9.如权利要求1所述的基于脑电信号和深度学习的运动想象分类方法，其特征在于：所述胶囊网络模块中的胶囊网络包括卷积层、初级胶囊层和高级胶囊层，所述初级胶囊层首先进行卷积运算，然后将神经元组合为胶囊向量，所述高级胶囊层以所述初级胶囊层的输出作为输入，通过路由算法建立低层胶囊到高层胶囊之间的非线性映射。

10.如权利要求9所述的基于脑电信号和深度学习的运动想象分类方法，其特征在于：所述胶囊网络模块包括多个胶囊网络，所述胶囊网络的个数对应运动想象分类任务的类别数；

11.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被执行时实现如权利要求1～10任一项所述的方法。

技术总结
本发明提供基于脑电信号和深度学习的运动想象分类方法及存储介质，该方法包括步骤：获取原始的脑电信号；对脑电信号进行预处理；通过训练好的深度学习模型对预处理后的脑电信号进行运动想象分类，输出运动想象分类结果；深度学习模型中的卷积网络模块用于对脑电信号进行特征提取，自注意力机制模块用于突出关键特征，胶囊网络模块用于输出最终的分类结果。本发明使用近乎不做处理的原始数据构建模型，模型中使用深度卷积、可分离卷积来提取特征以减少模型的参数训练量，使用自注意力机制来突出重要的特征改善模型的效果，最后使用胶囊网络来增强模型鲁棒性，使模型能够在小规模数据量的基础上得到好的训练效果，提升了模型的准确性和泛化性能。

技术研发人员：王标,徐文畅,王磊,杨霖,任涵彬,王传孟
受保护的技术使用者：中国科学院苏州生物医学工程技术研究所
技术研发日：
技术公布日：2024/4/24