一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法与流程

本发明属于康复治疗神经学科技术领域，涉及一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法。

背景技术：

脑卒中(俗称:脑中风stroke)，是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一种常见的脑血液循环障碍性疾病。由于其发病率较高，具有极高的致残率，严重威胁人类健康。美国心脏协会(aha)2016年心脏病与卒中统计数据更新显示，脑卒中是仅次于心脏病的全球人类健康杀手。而在我国脑卒中的发生率正以每年8.7％的速度上升，患病率及死亡率仅次于高血压位于第二，给社会和家庭带来沉重的精神压力和巨大的经济负担。

当前从治疗手段分析，国内外脑卒中康复系统主要聚焦于临床康复训练系统与。临床康复训练系统多采用基于神经生理学基础的康复训练，主要是根据运动发育控制原理与大脑可塑性原理，利用共同运动、协同作用和姿势反射等神经运动机制，通过医师对患者临床的康复评定，对患者的功能状态和潜在能力进行判断，然后“对症下药”，进行相应的康复训练。目前临床上关于脑卒中运动功能评定的方法很多，如简式fugl-meyer运动功能评分法、brunnstrom等级评测法等。这些量表评定的方法，都依赖于医生的检查和观察，属于人工评定，虽然临床上广泛使用，但评定结果容易受到康复医师主观因素的影响，且量表分级指标较多，需要康复医师全程参与，而有限的医师数量面对庞大的病患群体往往力不从心，甚至延误最佳治疗时机。目前我国的现状是临床康复资源(诸如康复医师、治疗师、护理人员、床位等)愈发紧张，且存在严重的区域不平衡，且对于神经系统损伤，目前医学界还没有能力完全修复。如何通过主动康复训练解决中风病人的病后运动功能障碍问题，是当今医学的研究热点和难点。

因而研究高性能脑卒中康复系统脑机接口帮助无法通过正常输出通路的患者完成主动康复训练，从而改善运动机能恢复正常活动行为，对于我国脑卒中治疗在神经学科与信息学科交叉领域具有十分重要的研究意义与发展前景。

已有医学研究表明，绝大多数脑卒中，脑和肢体神经通路瘫痪患者均未受损，因此基于运动想象的bci可用于重建损伤的脑卒中区域，即bci恢复功能使用运动想象和神经反馈的损伤运动控制，增强运动控制网络重建的学习。

其中共空间模式(commonspatialpattern,csp)被证明是最有效的方法之一，其借助迁移学习的思想将其他被试的脑电信号引入到csp学习过程中，保证了被试的脑电信号协方差的估计偏差较好，在小训练样本数据中应用广泛。但随着训练样本的增加，其分类准确率增长缓慢；并伴随时间复杂度的上升，限制算法的实际应用。

近年来，随着深度学习的研究深入，很多脑电样本数据可以引入到诸如卷积神经网络框架中进行训练处理，需要相对大量的训练样本。卷积层数会依据样本量进行选取，一旦样本量数据太小，造成识别错误率大大提升。对于多类运动想象脑电信号，样本量一般为中小量，而单纯引用深度学习框架得不到充分训练，难以发挥cnn算法的优势。因此，本发明提出将改进的csp算法和cnn结合的方式对多类运动想象脑电信号进行分类。

综上所述，利用脑机接口技术识别患者的运动想象脑电信号,可将患者运动意愿翻译成控制命令驱动康复装置动作,帮助患者完成主动康复训练,有利于改善运动功能恢复效果，而针对此技术的算法在应用上还未趋于成熟。

技术实现要素：

本发明提供一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，针对研究运动功能障碍患者的康复训练领域，如何实现高精度、高鲁棒性的基于运动想象的脑机接口技术，从而精确判别患者的运动姿态和肢体运动位置，为量表评定病患康复程度提供客观的数据支撑，有效缓解当前脑卒中治疗设备和医师资源严重不足，主观治疗带来的弊端等问题。提出了采用小波包变换和快速独立分析方法进行脑电信号的预处理，主要是对原始的运动想象脑电信号进行滤波，尽可能地减少脑电信号中的各种噪声，提高信噪比，基于改进的共空间模式结合卷积神经网络算法识别患者运动想象脑电信号，从而更准确地判别患者的运动位置和肢体运动状态，为量表评定病患康复程度提供客观的数据支撑。

为实现上述目的，本发明采用如下的技术方案：

一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，包括以下步骤：

步骤1：脑电信号预处理，得到滤除噪声后的脑电信号；

步骤2：改进后的ovr-csp算法可对滤除噪声后的多类运动想象eeg信号进行特征提取，得到每一类的运动想象脑电信号的特征，形成一维特征数据，同时将方差作为分类器的输入；

步骤3：利用改造后的适应一维输入样本的cnn网络进行二次特征提取并分类。

作为优选，步骤1具体包括：小波包变换和快速独立分量分析两个过程：

首先对原始的eeg进行wpt，确定wpt的分解层数，根据eeg和噪声的特点选择合适的小波基函数，最后确定要滤除高频噪声所在的频带，并对相应的频带置零；

再对己经滤除高频噪声后的信号进行fastica变换，fastica逆变换和fastica逆变换，得到滤除噪声后的脑电信号。

作为优选，步骤2具体为：ovr-csp是将五类运动想象任务分为五个新的两类分类问题，得到五个投影矩阵，经过投影后可得五组相应的空域特征；

具体计算过程如下:设xi(i＝1,2,3,4,5)为五类任务的n*t脑电信号，n为采集信号的通道个数，t为每一通道的采样点数，t≥n，ovr-csp算法的基本原理是，分别计算五类数据的归一化协方差矩阵ri，即：

可得混合空间协方差矩阵r为：

其中，为五类任务多次实验的平均协方差矩阵，对r进行特征值分解，得：

r＝uvu^t

其中，u为r的特征向量，v为r的特征值矩阵；对特征值矩阵进行降序排列，按照排序后的位置对特征向量作相同的调整，则白化矩阵p为：

p＝v^-1/2u^t

ovr-csp在计算投影矩阵时，将其中一类归为一类，而其余四类则为另一类，即：

将经过预处理的脑电信号x划分为新的两类分别是x1,x1′,向第i类模式下的投影方向进行投影,得：

z1＝(u1′)^tp1x1,z1′＝(u1′)^tp1x1′(i＝1,2,3,4,5)

五类数据经过投影后的矩阵的协方差矩阵值为

再对协方差矩阵的特征向量进行归一化，得：

其中，n为特征向量的列数，以此作为特征向量进行分类学习。

作为优选，步骤3具体为：用于运动想象脑电信号分类的cnn结构，命名为mieegnet网络结构，该网络由5层组成，其中包括第一层为输入层，两层卷积层、1层全连接层和1层softmax分类层；样本数据大小为1*fi,j；其中，n为运动想象eeg经ovr-csp算法处理之后得到的特征个数，fi,j＝5*m；第二层(c2)与第三层(c3)都为卷积层，用以对输入样本数据进行二次特征提取，其中第二层(c2}有i2个卷积核，卷积核的大小为1*n2，第三层(c3)有i3个卷积核，卷积核的大小为1*n3；第四层(f4)为全连接层，其通过全连接的方式与第五层(o5)一起构成单层感知机，将第三层(c3)输出结果处理之后输出分类结果。

mieegnet网络在最后一层使用softmax函数进行分类，给定输入fi,j时，该输入数据是c分类的概率记为p(y＝c|fi,j)，则网络损失函数loss定义如下，

其中，fi,j为输入的运动想象特征训练样本，即经过ovr-csp归一化后协方差矩阵的特征向量；y为样本对应的类别标签(已确定类别)；f(fi,j)为经过mieegnet的网络输出；然后输出层开始反向传播调整网络中卷积核的权值；最后经过mieegnet的训练，输出loss的值；f(fi,j)的输出为左，右手，舌头，左，右脚的分类；并将运动想象的分类结果作为bci控制命令传达给机械上下肢，作为量化评定指标。

作为优选，所述网络训练包含两个阶段：

前向传播阶段：从训练样本集抽取样本fi,j，其对应的类别标签为y，将x输入到本课题设计的mieegnet网络，上一层的输出就是当前层的输入，通过激活函数relu计算出当前层的输出，然后逐层传递下去。最后通过分类层输出为三维特征向量，其元素代表样本数据fi,j属于类别c的概率；

反向传播阶段：计算分类层的输出与样本给定类别标签y的误差，并使用最小化均方误差代价函数的方法调整权值参数。

附图说明

图1本发明提出的技术路线图

图2本发明提出的基于运动想象的脑电算法示意图。

图3本发明的脑电信号小波包分解示意图。

图4本发明的脑电信号的预处理示意图。

图5本发明涉及的流程框图。

图6本发明提出的mieegnet网络结构。

具体实施方式

如图2所示，本发明一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，将csp与cnn两种算法相结合并进行改进，对运动想象脑电信号进行二次特征提取及分类。与直接输入原始脑电信号相比，不仅增大了信号之间的区分度，并且使cnn输入样本数据由二维降到了一维，大大降低了输入样本数据大小，减少了网络中卷积核的个数，使需要训练的网络权值数目大大降低。

如图1所示，一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法，包括以下步骤：

步骤1：脑电信号预处理，包括小波包变换和快速独立分量分析两个过程：

首先，对原始的运动想象脑电信息进行wpt，确定wpt的分解层数，利用小波包变换滤除脑电信号中的高频噪声时，考虑到表征脑电信号erd/ers现象的功率谱的增强或减弱频率范围主要体现在8～30hz，因此，对于采样频率为128hz可确定wpt的分解层数为五层，通过小波包分解确定频率范围在8～30hz。最后确定要滤除高频噪声所在的频带，并对相应的频带置零，如图3为小波包分解示意图。

然后，再对己经滤除高频噪声后的信号进行fastica变换，得到各通道的脑电信号的独立成分，再分别计算各个独立成分与原始的eeg信号的c3,c4通道的相关系数，保留相关系数高于设定的阈值的独立成分，再fastica逆变换，得到滤除噪声后的脑电信号，如图4所示。wpt与fastica两种算法对脑电信号进行预处理，滤除了脑电信号的噪声与部分干扰信号，便于后续的特征提取和分类。

步骤2:利用ovr-csp算法对多类运动想象eeg信号进行特征提取。

假设w类信号需要求得的投影矩阵的个数是w，每个样本投影后可得到w组空域结果，该结果即为提取到的每一类的运动想象脑电信号的特征，最后将方差作为分类器的输入。提取后的特征可以形成一维特征数据。大大简化了卷积神经网络结构：既可以增大各eeg信号之间的区分度，还可以减小卷积神经网络输入样本的数据大小。如图5所示为基于ovr-csp的五类运动想象任务(分别是左手、右手、脚和舌头)特征提取。

ovr-csp是将五类运动想象任务分为五个新的两类分类问题，得到五个投影矩阵，经过投影后可得五组相应的空域特征。具体计算过程如下:设xi(i＝1,2,3,4,5)为五类任务的n*t脑电信号，n为采集信号的通道个数，t为每一通道的采样点数，t≥n。ovr-csp算法的基本原理是，分别计算五类数据的归一化协方差矩阵ri，即：

可得混合空间协方差矩阵r为：

其中为五类任务多次实验的平均协方差矩阵。对r进行特征值分解，得：

r＝uvu^t

其中，u为r的特征向量；v为r的特征值矩阵。对特征值矩阵进行降序排列，按照排序后的位置对特征向量作相同的调整，则白化矩阵p为：

p＝v^-1/2u^t

和经典的两类csp算法不同的是，ovr-csp在计算投影矩阵时，将其中一类归为一类，而其余四类则为另一类，即：

将经过预处理的脑电信号x划分为新的两类分别是x1,x1′,向第i类模式下的投影方向进行投影,得：

z1＝(u1′)^tp1x1,z1′＝(u1′)^tp1x1′(i＝1,2,3,4,5)

五类数据经过投影后的矩阵的协方差矩阵值为rzi＝zizi^t(i＝1,2,3,4,5),再对协方差矩阵的特征向量进行归一化，得：

(n为特征向量的列数)

以此作为特征向量进行分类学习。

步骤3：利用改造后的适应一维输入样本的cnn网络进行二次特征提取并分类。

本发明设计了一种用于运动想象脑电信号分类的cnn结构，命名为mieegnet网络结构，cnn网络结构如图6。该网络由5层组成，其中包括第一层为输入层，两层卷积层、1层全连接层和1层softmax分类层。样本数据大小为1*fi,j。其中，n为运动想象eeg经ovr-csp算法处理之后得到的特征个数，fi,j＝5*m；第二层(c2)与第三层(c3)都为卷积层，用以对输入样本数据进行二次特征提取，其中第二层(c2}有i2个卷积核，卷积核的大小为1*n2，第三层(c3)有i3个卷积核，卷积核的大小为1*n3。由于输入样本数据长度偏小，所以本发明cnn网络省去降采样层，在卷积层使用relu函数优化参数，避免“梯度消失”；第四层(f4)为全连接层，其通过全连接的方式与第五层(o5)一起构成单层感知机，将第三层(c3)输出结果处理之后输出分类结果。

mieegnet网络在最后一层使用softmax函数进行分类。本发明给定输入fi,j时，该输入数据是c分类的概率记为p(y＝c|fi,j)，则网络损失函数loss定义如下，

其中fi,j为输入的运动想象特征训练样本，即经过ovr-csp归一化后协方差矩阵的特征向量；y为样本对应的类别标签(已确定类别)；f(fi,j)为经过mieegnet的网络输出。然后输出层开始反向传播调整网络中卷积核的权值。最后经过mieegnet的训练，输出loss的值，loss的值越小，说明训练效果越好，分类结果越精确。f(fi,j)的输出为左，右手，舌头，左，右脚的分类。并将运动想象的分类结果作为bci控制命令传达给机械上下肢，作为量化评定指标。相比仅凭医师的经验评定指标，提供了客观的数据支撑，反馈给康复医师。康复医师再进行不断的更新评测模型，进而作为指导治疗的新方法，为脑卒中患者进行有效的康复训练，直到帮助患者早日康复。

传统的cnn及其变形网络每一层的滤波器个数都是固定的常量，但并非所有的滤波器都可以将目标类别的隐式特征选取出来。由于cnn网络参数的个数与滤波器个数密切相关，故在反向传播阶段，可根据最小化均方误差代价函数自适应调整每一层滤波器的个数(卷积核个数)，从而在保证识别精度的同时降低算法复杂度。本课题引入卷积核个数变量k，卷积层c2、c3分别采用2^k和2^k+1个卷积核对每层输入进行卷积操作。

传统的cnn网络特征映射结构中采用sigmoid函数作为卷积网络的激活函数，本发明改用修正线性单元(rectifiedlinearunits,relu)函数使训练后的网络具备适度的稀疏性，同时可以很好地解决反向传播参数调优过程中传统激活函数可能产生的梯度消失问题，加速了网络的收敛。

本发明提出的网络结构实现了输入到输出的映射关系，有效解决了由于传统卷积神经网络的梯度消失问题。

其中网络训练包含两个阶段：前向传播阶段。从训练样本集抽取样本fi,j，其对应的类别标签为y。将x输入到本课题设计的mieegnet网络，上一层的输出就是当前层的输入。通过激活函数relu计算出当前层的输出，然后逐层传递下去。最后通过分类层输出为三维特征向量，其元素代表样本数据fi,j属于类别c的概率。反向传播阶段。计算分类层的输出与样本给定类别标签y的误差，并使用最小化均方误差代价函数的方法调整权值参数。

在头皮脑电信号eeg特征提取的过程中，本发明引入patches的思想将信号分解为小的数据片段，组成协方差矩阵，再通过矩阵估计提取运动想象脑电信号的基于ovr-csp方法的分类特征向量；将高维特征向量映射至低维空间后，根据最小化均方误差代价函数自适应调整传统的cnn每一层卷积核个数，并采用采用修正线性单元函数加速了网络的收敛，提高了分类效率。

综上所述，本发明作了基于运动想象的共空间模式与卷积神经网络的改进，即克服了传统csp算法在多分类任务表现效果不佳，又克服了单一使用卷积神经网络需要大量数据样本的缺点，巧妙的将二者相结合，在处理中小样本上鲁棒性较好。考虑到国内外对脑卒中康复治疗的方式较为单一。因此应用于运动功能障碍患者的康复训练领域，帮助患者参与到主动康复训练，有利于改善运动功能恢复效果，为量表评定病患康复程度提供客观的数据支撑。