基于同步性复合肢体想象动作多模态脑机接口方法及系统与流程

本发明涉及脑机接口领域，尤其涉及一种基于同步性复合肢体想象动作多模态脑机接口方法及系统。

背景技术：

运动想象(Motor imagery，MI)是脑-机接口(Brain-computer interface，BCI)经典范式之一，但其可选类别少，不能满足大指令集输出。运动想象，即仅有运动意图而无实际动作输出。想象动作作为唯一的一种不需要外界刺激且直接反应使用者主观运动意识的脑-机接口范式，其作业模式最符合大脑正常思维活动的想象动作，且不易让使用者感到疲劳。基于想象动作的脑-机接口系统，能够真正地做到“让思想变成行动”，是建立患者对回归正常生活的自信心的最佳方式。然而，简单肢体想象动作主要涉及左手、右手、脚三种肢体部位动作，其可选类别少，并不能满足多指令输出，这将严重影响想象动作型脑-机接口系统对外控制的灵活性。

技术实现要素：

本发明提供了一种基于同步性复合肢体想象动作多模态脑机接口方法及系统，本发明能够拓展传统的基于简单肢体想象动作的脑-机接口系统的指令集，满足多指令输出，并且多肢体联动的同步性复合肢体想象动作能够同时激活大脑多个运动功能区，促进多个脑区间的信息交流，详见下文描述：

一种基于同步性复合肢体想象动作多模态脑机接口方法，所述脑机接口方法包括以下步骤：

设计涉及手-足-体多肢体参与的三类同步性复合肢体想象动作；

采用四个时期的任务模式对受试者进行刺激，采集脑电数据，并进行预处理；

通过三种不同的共空间模式算法对预处理后的脑电数据进行特征提取与模式识别，获取单次任务脑电特征向量；

将单次任务脑电特征向量输入支持向量机训练分类器，然后预测来自测试集的空间特征。

其中，第一类同步性复合肢体想象动作为：双手协同运动；第二类同步性复合肢体想象动作为：左手与对侧下肢协同运动；第三类同步性复合肢体想象动作为：右手与对侧下肢协同运动；

第四类同步性复合肢体想象动作为：左手；第五类同步性复合肢体想象动作为右手；第六类同步性复合肢体想象动作为：脚部运动；第七类同步性复合肢体想象动作为：静息态。

所述四个时期的任务模式具体为：

1)屏幕正中央出现白圆，受试者保持放松无动作想象动作；

2)白圆消失，黑圆出现，想象动作思维任务即将开始；

3)黑圆消失，文字提示出现，受试者根据文字关注相应的电刺激；

4)文字提示消失，出现REST。

所述通过共空间模式算法对预处理后的脑电数据进行特征提取与模式识别具体为：

分别采用多类共空间模式、基于广义特征值分解的多类共空间模式、以及平稳正则化的多类共空间模式算法对预处理后的脑电数据进行特征提取与模式识别。

其中，采用多类共空间模式对预处理后的脑电数据进行特征提取与模式识别具体为：

假设为所求第一类想象动作相关的滤波器矩阵，对应最大特征值的那一列即为最优滤波器，分别求出与剩余六类想象动作相关的滤波器矩阵，即对应每一类想象动作可求得一个滤波器矩阵；

其中，U₁为特征向量；P为白化矩阵；T为转置。

其中，采用基于广义特征值分解的多类共空间模式对预处理后的脑电数据进行特征提取与模式识别具体为：

将广义特征值分解问题Σ_iW＝λ(Σ)W转化为标准特征值分解Σ^-1Σ_iW＝λW，即求解Σ^-1Σ_i的特征向量W；

其中，W为第i类想象动作脑电信号的空间滤波器矩阵，Σ_i为七类想象动作模式下所有同类单次任务协方差矩阵的均值；Σ为七类想象动作模式下所有同类单次任务协方差矩阵的均值之和；λ表示特征值。

其中，采用平稳正则化的多类共空间模式算法对预处理后的脑电数据进行特征提取与模式识别具体为：

加入惩罚因子求解的特征向量W，W为第i类想象动作脑电信号的空间滤波器矩阵；对每一类任务都可以求得相应的空间滤波器矩阵W_i；

其中，Σ为七类想象动作模式下所有同类单次任务协方差矩阵的均值之和；Σ_i为七类想象动作模式下所有同类单次任务协方差矩阵的均值；为所有类的平均正定差值矩阵之和；α和β均为自定义的正则化参数；I为单位矩阵。

一种基于同步性复合肢体想象动作多模态脑机接口系统，所述系统包括：

计算机，用于设计涉及手-足-体多肢体参与的七类同步性复合肢体想象动作；采用四个时期的任务模式对受试者进行刺激；

脑电采集系统，用于采集脑电数据，并通过滤波器进行滤波预处理；

计算机，还用于通过三种不同的共空间模式算法对预处理后的脑电数据进行特征提取与模式识别，获取单次任务脑电特征向量；将单次任务脑电特征向量输入支持向量机训练分类器，然后预测来自测试集的空间特征。

本发明提供的技术方案的有益效果是：本发明通过探索多种同步性复合肢体想象动作模式间的脑电特征可分性，研究相应的特征提取技术和识别模型，建立了基于同步性复合肢体想象动作的新型多模态BCI范式，进而摆脱了目前想象动作范式种类有限、与实际动作不一致的困境，不但能满足MI-BCI系统控制信息的大指令集输出，而且为推进脑-机接口在康复工程的实际应用探索新途径、提供新方法；并且通过具体的实验，验证了本发明的可行性，满足了实际应用中的多种需要。

附图说明

图1为一种基于同步性复合肢体想象动作多模态脑机接口方法的流程图；

图2为想象动作任务范式示意图；

图3为三种多类CSP算法得到的七类任务模式相关的空间模式脑地形图；

图4为一种基于同步性复合肢体想象动作多模态脑机接口系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

同步性复合肢体想象动作直接反映了在复杂的惯常运动思维想象动作下，大脑各运动功能区相互整合和协同关系的主观运动意识，更加贴近人脑复杂的思维模式。在三类简单肢体想象动作的基础上，通过引入手-足-体等关键行为相关的多肢体部位，建立符合使用者日常行为且大脑多运动功能区协同参与的同步性复合肢体想象动作。同步性复合肢体想象动作是多肢体关键行为相关的协同运动想象，其能够同时激活大脑多个运动功能区的神经元振荡，促进脑区间的信息交流。同步性性复合肢体想象动作组合模式丰富，可选类别多，其应用能够拓展传统的基于简单肢体想象动作的脑-机接口系统的指令集，满足多指令输出。

实施例1

一种基于同步性复合肢体想象动作多模态脑机接口方法，参见图1，该接口方法包括以下步骤：

101：设计涉及手-足-体多肢体参与的七类同步性复合肢体想象动作；

102：采用四个时期的任务模式对受试者进行刺激，采集脑电数据，并进行预处理；

103：通过三种不同的共空间模式算法对预处理后的脑电数据进行特征提取与模式识别，获取单次任务脑电特征向量；

104：将单次任务脑电特征向量输入支持向量机训练分类器，然后预测来自测试集的空间特征。

其中，步骤101中的第一类同步性复合肢体想象动作为：双手协同运动；第二类同步性复合肢体想象动作为：左手与对侧下肢协同运动；第三类同步性复合肢体想象动作为：右手与对侧下肢协同运动；

第四类同步性复合肢体想象动作为：左手；第五类同步性复合肢体想象动作为右手；第六类同步性复合肢体想象动作为：脚部运动；第七类同步性复合肢体想象动作为：静息态。

其中，步骤102中的四个时期的任务模式具体为：

1)屏幕正中央出现白圆，受试者保持放松无动作想象动作；

2)白圆消失，黑圆出现，想象动作思维任务即将开始；

3)黑圆消失，文字提示出现，受试者根据文字关注相应的电刺激；

4)文字提示消失，出现REST。

其中，步骤103中的通过共空间模式算法对预处理后的脑电数据进行特征提取与模式识别具体为：

分别采用多类共空间模式、基于广义特征值分解的多类共空间模式、以及平稳正则化的多类共空间模式算法对预处理后的脑电数据进行特征提取与模式识别。

其中，采用多类共空间模式对预处理后的脑电数据进行特征提取与模式识别具体为：

假设为所求第一类想象动作相关的滤波器矩阵，对应最大特征值的那一列即为最优滤波器，分别求出与剩余六类想象动作相关的滤波器矩阵，即对应每一类想象动作可求得一个滤波器矩阵；

其中，U₁为特征向量；P为白化矩阵；T为转置。

其中，采用基于广义特征值分解的多类共空间模式对预处理后的脑电数据进行特征提

取与模式识别具体为：

将广义特征值分解问题Σ_iW＝λ(Σ)W转化为标准特征值分解Σ^-1Σ_iW＝λW，即求解Σ^-1Σ_i的特征向量W；

其中，W为第i类想象动作脑电信号的空间滤波器矩阵，Σ_i为七类想象动作模式下所有同类单次任务协方差矩阵的均值；Σ为七类想象动作模式下所有同类单次任务协方差矩阵的均值之和；λ表示特征值。

其中，采用平稳正则化的多类共空间模式算法对预处理后的脑电数据进行特征提取与模式识别具体为：

加入惩罚因子求解的特征向量W，W为第i类想象动作脑电信号的空间滤波器矩阵；对每一类任务都可以求得相应的空间滤波器矩阵W_i；

其中，Σ为七类想象动作模式下所有同类单次任务协方差矩阵的均值之和；Σ_i为七类想象动作模式下所有同类单次任务协方差矩阵的均值；为所有类的平均正定差值矩阵之和；α和β均为自定义的正则化参数；I为单位矩阵。

综上所述，本发明实施例通过探索多种同步性复合肢体想象动作模式间的脑电特征可分性，研究相应的特征提取技术和识别模型，建立了基于同步性复合肢体想象动作的新型多模态BCI范式，进而摆脱了目前想象动作范式种类有限、与实际动作不一致的困境，不但能满足MI-BCI系统控制信息的大指令集输出，而且为推进脑-机接口在康复工程的实际应用探索新途径、提供新方法。

实施例2

下面结合具体的附图、计算公式、对实施例1中的方案进行详细介绍，详见下文描述：

201：设计涉及手-足-体多肢体参与的三类同步性复合肢体想象动作；

本发明实施例设计了涉及手-足-体多肢体参与的三类同步性复合肢体想象动作，分别为第一类：双手协同运动；第二类：左手与对侧下肢协同运动、以及第三类：右手与对侧下肢协同运动；三种简单肢体想象动作，分别为第四类：左手；第五类：右手；第六类：脚部运动，以及第七类：静息态。

202：实验范式；

实验时，受试者安静地正坐于距屏幕约1m的靠椅上，保持手和足放松，尽量避免眼动。任务模式如图1所示，分为四个时段，共8s时间。

1、第一时段为准备期，屏幕正中央出现白圆，持续2s，提示本次实验开始，受试者保持放松无动作想象动作；

2、第二时段为提示期，白圆消失，黑圆出现，持续1s，提示受试者做好准备，想象动作思维任务即将开始；

3、第三时段为想象期，黑圆消失，文字提示出现，持续4s，如提示为“左手”则想象左手上摆运动，提示为“左手&右足”则想象左手与右足协同运动，如提示为“不想”则不进行任何想象动作任务，保持静息想象动作；

4、第四时段为恢复期，文字提示消失，出现REST，受试者保持静息想象动作，以作调整准备下一次实验。

共9组实验，前八组为想象动作脑电信号的采集，每组实验包括60个任务，六个想象动作模式随机出现，各10个单次任务。第九组为静息脑电的采集，80个单次重复实验。共采集6*80+80＝560次实验任务下的脑电信号，即560个脑电数据样本。为使受试者尽量保持良好的精神想象动作，在每两组实验之间，留有足够长的休息时间用于恢复，以降低疲劳引起的影响。

其中，本发明实施例对实验持续的时间、以及每阶段的时间不做限制，本发明实施例是以2s，整体实验为8秒为例进行说明。

203：数据采集及预处理；

本发明实施例使用Neuroscan 64导联脑电采集系统，所用电极均为Ag/AgCl电极，以前额为地，鼻尖作为参考，脑电采样频率为1000Hz，带通滤波范围为0.5-100Hz，并采用50Hz陷波器去除工频干扰。预处理中首先对原始数据采用共平均参考空间滤波处理，然后带通滤波到8-30Hz并降采样到200Hz，之后截取想象动作任务开始后0.5-3.5s的数据用作后续分析。

其中，上述的脑电采样频率、带通滤波范围、陷波器的功率、降采样的数值，以及某一时间范围的数据，均根据实际应用中的需要进行设定，本发明实施例对此不做限制。

204：特征提取与模式识别。

本发明实施例采用了三种改进的共空间模式算法，分别为多类共空间模式(Multi-class common spatial pattern，Multi-CSP)，基于广义特征值分解的多类共空间模式(Multi-class CSP based on generalized eigenvector，Multi-GECSP)和平稳Tikhonov正则化的多类共空间模式(multi-class stationary Tikhonov regularized CSP，Multi-sTRCSP)进行对比试验。

1)Multi-CSP

假设7类想象动作任务下采集到的多通道脑电信号为X_i，i∈{1，2…7}，它们的维数均为N*M，N为脑电通道数，M为采样点数。∑_i，i∈{1，2…7}分别为七类想象动作模式下所有同类单次任务协方差矩阵的均值。

将进行特征值分解，即：

上式中U₀为特征向量矩阵，Λ为其特征值矩阵。

构造白化矩阵：

首先，提取与其中一类想象动作模式相关的滤波器，将剩余六类整体看作另一类，即令：

进而将∑₁和∑′₁转化为参数Y₁和参数Y₁′：

Y₁＝P∑₁P^T

并具有相同的特征向量U₁

Y₁′＝U₁Λ′₁U₁

其中，Λ₁和Λ′₁分别为两个特征值矩阵。

假设为所求第一类想象动作相关的滤波器矩阵，维度为N*N，其中对应最大特征值的那一列即为最优滤波器，类似地，可以分别求出与剩余六类想象动作相关的滤波器矩阵。即对应每一类想象动作可求得一个滤波器矩阵

2)Multi-GECSP

滤波器矩阵的求解可通过最大化瑞利商R(W)，如下式所示：

其中，W为所求滤波器矩阵。为七类想象动作模式下所有同类单次任务协方差矩阵的均值之和。使用拉格朗日算子，求解约束优化问题，将广义特征值分解问题Σ_iW＝λ(Σ)W转化为标准特征值分解Σ^-1Σ_iW＝λW，即求解Σ^-1Σ_i的特征向量W，W为第i类想象动作脑电信号的空间滤波器矩阵，其中λ表示特征值。

3)Multi-sTRCSP

为了克服CSP对噪声的高敏性和过拟合问题，通过Tikhonov正则化方法(Tikhonov Ragularization，TR)对CSP算法进行调整，加入惩罚因子P_TRCSP(W)＝||W||²＝W^TW＝W^TIW，W为所求滤波器矩阵；I为单位矩阵。同时，在提取特征的同时保持平稳性，加入惩罚因子P_TRCSP(W)。滤波器矩阵的求解，即可通过最大化瑞利商R(W)，如下式所示

其中，为所有类的平均正定差值矩阵之和，

为第i类想象动作中第k次实验样本的协方差矩阵，K为所有样本数。

其中算子F可使所求对称矩阵正定，例如对称矩阵M＝Vdiag(d_i)V^T，V为特征向量矩阵，diag(d_i)为特征值矩阵，经过F运算之后得到的是F(M)＝Vdiag(|d_i|)V^T，其中所有负数特征值将转变为正数。

其中，α和β均从候选集{0，2^-8，2^-7，2^-6，2^-5，2^-4，2^-3，2^-2，2^-1，2⁰}中选取，经由交叉验证确定。求解的特征向量W，W为第i类想象动作脑电信号的空间滤波器矩阵。

对每一类任务都可以求得相应的空间滤波器矩阵W_i，i∈{1，2…7}，每一个列向量w_j∈W^N×N(j＝1…N)都是一个滤波器。经过滤波后的信号为Z_i＝W_i^TX_i，z为Z_i的行向量。

取最大的m个特征值对应的特征向量为相应的滤波器，令与所选类别想象动作相关滤波器方向上m个投影为z_1j,j∈(1,2...m},所有模式的滤波器方向上的投影可表示为z_ij，i∈{1,2…7}，j∈{1,2…m}，则共有7*m个投影。

然后分别计算每类想象动作滤波器下投影的方差，并且经过归一化和对数变换可以得到相应的特征点，如下式所示：

其中，VAR表示求解方差，L为类别数目。利用第一类想象动作相关的m个滤波器可以求得m个特征值f_1j，j∈{1,2…m}，令f₁＝[f₁₁,…f_1j,…f_1m]，同理在其余类相关滤波器方向上可以求得相应的特征值，即可得到f_i＝[f_i1,…f_ij,…f_im]。令F＝[f₁,f₂,…f_L]作为单次任务的特征向量，维度为7*m，对所有样本做相同操作获取相应的特征向量作为支持向量机的输入。

综上所述，本发明实施例通过探索多种同步性复合肢体想象动作模式间的脑电特征可分性，研究相应的特征提取技术和识别模型，建立了基于同步性复合肢体想象动作的新型多模态BCI范式，进而摆脱了目前想象动作范式种类有限、与实际动作不一致的困境，不但能满足MI-BCI系统控制信息的大指令集输出，而且为推进脑-机接口在康复工程的实际应用探索新途径、提供新方法。

实施例3

下面结合具体的试验数据对实施例1和2中的方案做可行性验证，详见下文描述：

表1为十名受试者在三种多分类CSP算法下七类任务模式的分类正确率。从中可以看到，第二名受试者的七分类正确率最高，三种CSP算法下均达到了80％以上，并且Multi-sTRCSP下达到了84.11％。其中第三名受试者表现最差，正确率在63％左右。通过所有受试者的平均正确率，可以发现Multi-sTRCSP和Multi-CSP的分类正确率均在70％左右，并且Multi-sTRCSP略优于Multi-CSP，而Multi-GECSP表现最差。

上述结果表明基于二分类CSP算法改进后的多分类CSP算法能够适用于本发明实施例中七类任务模式的特征提取和分类识别，且分类正确率均值能够达到70％，说明本发明实施例中设计的简单、复合肢体想象动作模式间是具有一定可分性的。

表1十名受试者在三种多分类CSP算法下七类任务模式的分类正确率

图2为三种多类CSP算法得到的七类任务模式相关的空间模式在头皮表面的权重分布图，表示信号源在各导联处的活动情况。通过空间模式分布图可以验证不同想象动作范式诱发脑电特征的全脑分布是否具有神经生理合理性。

Multi-CSP方法得到的左手相关的空间分布比较混乱，而Multi-GECSP方法得到的右手&左脚相关的空间分布权重主要集中在右半球，与右手运动功能区的位置相反。然而，从神经生理学的角度出发，Multi-sTRCSP方法所得到的空间模式与各个想象动作模式参与肢体的运动功能区分布更吻合。因此，得益于正则化和平稳化技术，Multi-sTRCSP优于其余两种算法。

综上所述，本发明实施例中的同步性性复合肢体想象动作以及相应的分类方法可为新型想象动作型脑-机接口指令集的拓展提供技术支持和帮助。

实施例4

本发明实施例提供了一种基于同步性复合肢体想象动作多模态脑机接口系统，该系统与实施例1和2中的接口方法相对应，参见图4，该系统包括：

计算机，用于设计涉及手-足-体多肢体参与的七类同步性复合肢体想象动作；采用四个时期的任务模式对受试者进行刺激；

脑电采集系统，用于采集脑电数据，并通过滤波器进行滤波预处理；

计算机，还用于通过三种不同的共空间模式算法对预处理后的脑电数据进行特征提取与模式识别，获取单次任务脑电特征向量；将单次任务脑电特征向量输入支持向量机训练分类器，然后预测来自测试集的空间特征。

本发明实施例对上述涉及的执行主体不做限制，可以为单片机、计算机等硬件产品，只要能实现上述功能的器件均可。

综上所述，本发明实施例设计了一种基于同步性复合肢体想象动作的新型多模态脑-机接口系统，本发明实施例能够拓展传统的基于简单肢体想象动作的脑-机接口系统的指令集，满足多指令输出，其应用将会使脑-机接口变得更加灵活可操作；并且多肢体联动的同步性复合肢体想象动作能够同时激活大脑多个运动功能区，促进多个脑区间的信息交流，进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。最佳实施方案拟采用专利转让、专利许可、技术合作或产品开发。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。