一种单侧上肢运动态下力度变化运动想象脑电特征识别方法与流程

本发明涉及脑机交互，具体涉及一种单侧上肢运动态下力度变化运动想象脑电特征识别方法。

背景技术：

1、在运动想象脑机接口技术中，将康复机器人作为脑机接口外部设备构成脑控康复机器人系统，通过系统的闭环反馈控制，在大脑和受损肢体之间建立一条新的人工神经通路，可帮助脑卒中等脑损伤患者实现大脑的神经重塑、改善肢体运动功能，在临床上具有较大应用潜力。现有运动想象脑机接口一般采用左右手、脚等简单肢体动作运动想象范式，诱导的可辨识思维状态类别数较为有限，仅能提供少量指令来控制康复机器人的运动方向。然而，康复机器人辅助训练主要强调机器人与患者之间力的动态交互过程。由于患者的肌力水平与运动能力不同，机器人需根据患者对辅助力的需求在运动方向上提供力来辅助患者完成肢体运动训练。因此，如何让运动想象脑机接口诱导并辨识出患者对辅助力需求的思维状态，实现大脑思维对康复机器人在运动方向上的力控制，对脑控康复机器人系统的临床应用具有重要价值。

2、一些研究者设计了单侧上肢静态下力度变化运动想象范式，并实现了这类范式诱导下大脑思维状态所对应脑电信号特征的识别。例如，xu等设计了右手握力运动想象范式，对右手握拳动作引入三档力度(20％，50％，80％最大自主收缩力(maximum voluntarycontraction，mvc))，并采用希尔伯特变换(hilbert transform，hht)与支持向量机(support vector machine，svm)算法对受试者脑电数据提取特征并进行分类。这些研究通过肢体静态动作的力度大小扩展了运动想象脑机接口的可辨识思维状态类别数，但肢体静态下力度变化运动想象范式难以应用于脑控康复机器人系统的机器人与患者动态力交互过程。并且对于脑电信号的特征识别，采用传统方法会依赖于人工手动提取特征，特征学习有限，当可分类别增多时，分类准确率较低。针对上述问题，研究者们开始研究脑电特征识别的深度学习算法。yang等提出利用共空间模式(common spatial pattern,csp)提取脑电空间域特征，再通过卷积神经网络(convolution neural network,cnn)学习深层次特征，然而由于cnn学习脑电时序特征较差，特征学习不充分，分类效果表现不佳。ma等提出了时间分布式注意网络(time-distributed attention，td-atten)对脑电特征进行识别，利用滑动窗方法对脑电信号进行连续切片，进而利用一对多滤波器组共空间模式(one-versus-rest filter bank common spatial pattern，ovr-fbcsp)算法提取切片后的脑电频率-空间域特征，并利用注意力机制和长短时记忆网络(long short-term memory，lstm)进一步提取脑电时序特征。然而该网络模型仍需要人工手动提取脑电特征，分类准确率受限于特征提取的质量。schirrmeister等采用端到端的方式从脑电数据中自动学习特征，避免了人工手动提取特征。由于脑电信号的时间相关性较强，因此该方式主要利用时间卷积神经网络(temporal convolutional neural network，tcn)提取脑电信号随时间变化的状态特征进而完成分类。然而，上述端到端网络采用单一尺度的卷积核提取脑电特征，特征信息较为单一。

技术实现思路

1、本发明的目的在于提供一种单侧上肢运动态下力度变化运动想象脑电特征识别方法，能够应用于脑控康复机器人系统的机器人与患者动态力交互过程。

2、一种单侧上肢运动态下力度变化运动想象脑电特征识别方法，包括以下步骤：

3、步骤1、在脑电信号采集实验过程中采集受试者在范式诱导下执行运动想象过程的脑电信号，范式设计为单侧上肢运动态下力度变化运动想象过程；

4、步骤2、对各单次实验的脑电信号进行预处理；

5、步骤3、构建混合神经网络应用于单侧上肢运动态下力度变化运动想象脑电特征识别，所述混合神经网络包括按顺序串联的输入层、维度转换层、多尺度时间卷积网络模块、空间卷积模块、池化层、丢弃层、注意力模块、平铺层和全连接层；

6、步骤4、对整个混合神经网络以有监督的方式进行训练。

7、作为优选，所述步骤1中采集实验包括多轮，每轮包含若干个单次实验，以每若干轮实验为一组按力度从小到大安排，且每轮运动想象实验的力度均一致。

8、作为优选，所述步骤2中首先采用双侧乳突平均进行重参考，接着对脑电信号进行基线校正，进行0.5-100hz带通滤波和50hz工频凹陷滤波，去除垂直眼电伪迹并剔除坏块，之后采用共平均参考对脑电信号进行空间滤波以提高信噪比，并进行8-30hz带通滤波保留与运动想象有关的频段的脑电信号，最后将脑电信号进行降采样。

9、作为优选，所述步骤3具体如下：

10、步骤3-1、输入层的输入是预处理后的二维脑电信号h∈rn×m，rn×m代表二维实数空间，n、m分别为脑电信号的导联数和时间点数；

11、步骤3-2、维度转换层将二维脑电信号h∈rn×m转换成三维脑电数据h∈r1×n×m，其有通道、高度和宽度三个维度，r1×n×m代表三维实数空间；

12、步骤3-3、构建多尺度时间卷积网络模块，对三维脑电数据h∈r1×n×m按各单次实验提取多维细粒度时间-频率域特征，接着对提取到的多维细粒度时间-频率域特征进行拼接融合，得到增强的脑电信号时间-频率域特征信息；

13、步骤3-4、构建空间卷积模块，继续对增强的脑电信号时间-频率域特征信息提取空间特征，得到脑电信号时间-频率-空间域特征信息；

14、步骤3-5、在空间卷积模块后按顺序串联池化层、丢弃层，通过池化层对得到的脑电信号时间-频率-空间域特征信息进行宽度维度上的聚合处理，并采用丢弃层对特征信息进行随机丢弃以避免噪声数据的影响；

15、步骤3-6、构建注意力模块，采用通道注意力机制对经过池化层和丢弃层后的脑电信号时间-频率-空间域特征信息在通道维度上聚焦与力度运动想象类别相关的特征，抑制特征冗余；

16、步骤3-7、在注意力模块后按顺序串联平铺层、全连接层，对注意力模块的输出特征进行进一步处理。

17、作为优选，所述多尺度时间卷积网络模块由多组串联的时间卷积层和批标准化层并联后，再与特征拼接融合层串联形成。时间卷积层分别设置尺寸为(1，ka)、(1，kb)、(1，kc)的三种小尺寸卷积核，且三种卷积核的尺寸差较小。

18、作为优选，所述空间卷积模块由空间卷积层、批标准化层、非线性激活层按顺序串联形成。

19、作为优选，所述池化层采用平均池化策略，利用较大尺寸的池化核对由多尺度时间卷积网络模块和空间卷积模块提取到的脑电信号时间-频率-空间域特征信息在池化核的局部范围进行宽度维度上的聚合处理，降低特征信息在宽度维度上的信息冗余。

20、作为优选，所述丢弃层在网络的训练过程中按照一定的丢弃率对特征信息随机丢弃，以避免噪声数据的影响，防止网络过拟合。

21、作为优选，注意力模块首先采用全局平均池化和全局最大池化方法对经过池化层和丢弃层后的脑电信号时间-频率-空间域特征信息在高度和宽度维度的全局范围聚合信息，得到平均池化特征和最大池化特征。其次，将平均池化特征和最大池化特征通过由多层感知器构成的共享网络分别得到两个通道注意力图。再次，将两个通道注意力图进行对应元素相加得到最终的通道注意力图，并对最终的通道注意力图的每一个元素进行运算，生成通道注意力权值，通过通道注意力权值对注意力模块的输入进行动态加权，聚焦与力度运动想象类别相关的特征。

22、作为优选，所述步骤4中，在训练过程中，以交叉熵损失函数为目标函数对网络进行优化。

23、本发明的有益效果：

24、本发明构建的混合神经网络模型对单侧上肢运动态下力度变化运动想象范式诱导的受试者运动想象脑电信号进行特征识别，针对不同力度所对应的单次实验运动想象脑电信号的时间-频率域特征差异较为细微的特点，设计多尺度时间卷积网络模块，对预处理后的各单次实验脑电信号提取不同维度的细粒度特征，克服了单一尺度时间卷积神经网络学习到的特征较为有限的问题。设计一层池化层，设置较大尺寸的池化核，对由多尺度时间卷积网络模块和空间卷积模块学习到的多维时间-频率-空间域特征信息进行聚合处理，降低特征信息在宽度维度上的信息冗余；设计注意力模块，通过通道注意力机制对宽度维度上信息冗余降低后的多维时间-频率-空间域特征信息进行动态加权，进一步聚焦在通道维度上与力度运动想象类别相关的特征，降低特征信息在通道维度上的信息冗余，使混合神经网络模型对特征的敏感性得以提高，对数据的拟合性能较好，分类表现得到提升。