基于脑电和近红外信号的特征提取方法与流程

本发明涉及一种基于脑电和近红外信号的特征提取方法，及脑意图识别方法，属于生物医学工程及计算机领域。

背景技术：

脑机接口(Brain-Computer Interface，BCI)是一种新颖的人机接口技术，该技术不依赖于脑的正常输出通路(外周神经及肌肉组织)，直接利用大脑信息控制外围的计算机等设备，实现“意念控制”。脑电(EEG)是应用在脑机接口中最广泛的一种测量信号，EEG测量的是由大量处于兴奋和抑制状态的皮质神经元后突触电势所引起的头皮表面的电场变化。由于受到头皮、颅骨、脑膜和脑脊液的影响，其测量的神经元活动电位在幅值和频率上都有很大的衰减。EEG信号有较好的时间分辨率，然而空间分辨率较差，近年来，近红外(fNIRS)技术在脑机接口中应用的发展，使得人们能够提取更多的空间信息，从而弥补EEG信号空间分辨率低的缺陷。

脑电和近红外混合测量方法用于脑意图识别的研究目前也受到研究者的关注，2012年德国柏林大学的Siamac Fazli研究人员首先验证了脑电和近红外同时测量可以弥补互相的缺陷，他们的结果表明了同时测量可以显著性地提高意图的识别率。同时也有学者研究了近红外测量额区，脑电测量运动区的实验。然而，并没有研究人员从事不同运动参数想象的研究，以及在脑电和近红外联合采集时特征提取及融合的方法。

技术实现要素：

本发明针对脑机接口中控制指令少、意图识别率低的缺点，提出了一种基于脑电和近红外信号混合的特征提取方法，以此来准确地生成脑机接口中复杂的控制指令，为脑机接口的实际应用提供有力支持。

为了实现上述目的，本发明所采用的技术方案如下：一种基于脑电和近红外信号的特征提取方法，包括以下步骤：

在不同抓握速度和抓握力的运动想象范式下，利用脑电电极和近红外探头电极联合采集脑电信号和近红外脑血氧信号；

对采集到的脑电信号和近红外脑血氧信号进行去噪及归一化处理；

对去噪及归一化处理后的脑电信号和近红外脑血氧信号进行特征提取，对脑电信号提取的特征包括瞬时幅值、瞬时相位、瞬时频率和功率谱，从而构建时-频-相特征；对近红外脑血氧信号提取的特征包括：氧合血红蛋白浓度、脱氧血红蛋白浓度、总的血红蛋白浓度以及血红蛋白浓度差；

将脑电特征和近红外特征进行特征融合；

对特征融合后的特征进行归一化处理；

利用基于互信息的特征提取算法进一步筛选出最优特征；

通过极限学习机进行脑意图识别，产生用于控制外部设备的控制指令。

所述不同抓握速度和抓握力的运动想象范式，具体为：

抓握力的大小分为20％、50％和80％的最大抓握强度，抓握速度的大小以抓握的频率衡量，分为0.5Hz、1Hz和2Hz；首先通过电子握力计来训练用户的抓握力大小，通过节拍器来训练用户的抓握速度；然后再进行运动想象实验，所述实验的时序分为12秒的基线时间、2秒的任务提示时间、10秒的任务时间和10～12秒的休息时间。

所述瞬时幅值、瞬时相位、瞬时频率通过Hilbert变换计算，具体为：

信号x(t)的Hilbert变换通过与脉冲响应h(t)＝1/πt的卷积获得：

其中，P是柯西准则值，t为时间点，而：

z(t)＝x(t)+iy(t)＝A(t)e^iθ(t) (2)

其中，t为时间点，A(t)是信号的瞬时幅值IA，θ(t)为信号的瞬时相位IP＝arctany(t)/x(t)，从而可得到信号的瞬时频率IF＝dIP/dt。

所述功率谱通过傅立叶变换得到。

所述血红蛋白浓度通过修改的Beer-Lambert定律计算：

其中，Δc_Hb和Δc_HbO分别为脱氧血红蛋白和氧合血红蛋白浓度变化值，λ₁和λ₂分别为695nm和830nm的波长，消光系数ε_695,Hb＝1.9665，ε_695,HbO＝0.3120，ε_830,Hb＝0.7804，ε_830,HbO＝1.0507，差分路径因子DPF₆₉₅＝6.51，DPF₈₃₀＝5.86，d为发射探头和接受探头之间的距离。

所述对特征融合后的特征进行归一化处理，具体为：

其中，Feature为原始的信号特征，Feature_norm为归一化后的信号特征。

所述筛选出最优特征采用基于互信息的特征提取方法-关联互信息准则：

其中，X_k是需要评估的特征，X_j是已经选择的特征，S是特征集，Y是特征的标签，I是互信息准则函数。

所述极限学习机的原理为：

对于训练集标准的带有活化函数g(x)和隐层节点N的SLFNs数学模型如下所示：

在这里，w_i为输入权值向量，连接输入节点和隐层节点，β_i是输出权值向量，连接隐层节点和输出节点，b_i是第i个隐层节点的偏差。

所述通过极限学习机进行脑意图识别，产生用于控制外部设备的控制指令，具体为：

将特征提取之后的脑电和近红外信号构成训练样本集，作为极限学习机的输入，活化函数选择为高斯径向基函数，将极限学习机的输出作为机器人的控 制指令。

本发明具有以下优点及有益效果：

1.基于脑电和近红外的联合测量，可以弥补各自模态的缺陷，为意图识别提供更多的脑信号特征，从而解决目前脑机接口意图识别率低的问题；

2.基于运动参数想象的实验范式，可以产生多个控制指令，从而解决脑机接口中控制指令少的问题；

3.本发明可以用于中风、脊髓损伤等瘫痪病人的神经康复中，通过神经反馈训练来加快康复的进度。

附图说明

图1为运动想象实验范式；

图2为本发明的脑电和近红外探头布局；

图3(a)、图3(b)分别为脑电信号瞬时相位和瞬时频率的地形图；

图4为不同近红外信号的时域图；

图5为脑电特征和近红外特征，以及两者融合后的特征分类率比较。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明包括以下步骤：

在不同抓握速度和抓握力的运动想象范式下，利用脑电电极和近红外探头电极联合采集脑电信号和近红外脑血氧信号；

对采集到的脑电信号和近红外脑血氧信号进行去噪及归一化处理，该去噪及归一化处理可参考文献：Yin,X.,Xu,B.,Jiang,C.,Fu,Y.,Wang,Z.,Li,H.,&Shi,G.NIRS-based classification of clench force and speed motor imagery with the use of empirical mode decomposition for BCI.Medical engineering&physics,2015,37(3):280-286.

对去噪及归一化处理后的脑电信号和近红外脑血氧信号进行特征提取，对脑电信号提取的特征包括瞬时幅值、瞬时相位、瞬时频率和功率谱，从而构建 时-频-相特征；对近红外脑血氧信号提取的特征包括：氧合血红蛋白浓度、脱氧血红蛋白浓度、总的血红蛋白浓度(氧合血红蛋白浓度+脱氧血红蛋白浓度)以及血红蛋白浓度差(氧合血红蛋白浓度-脱氧血红蛋白浓度)；

将脑电特征和近红外特征进行特征融合，具体融合过程可参考文献:Li M.,Cui Y.,Hao D.,An adaptive feature extraction method in BCI-based rehabilitation.Journal of Intelligent&Fuzzy Systems.2015,28(2):525-535.

对特征融合后的特征进行归一化处理；

利用基于互信息的特征提取算法，从而进一步筛选出最优的特征；

通过极限学习机进行脑意图识别，产生用于控制外部设备的控制指令。

如图1所示，本发明设计了不同抓握速度和抓握力的运动想象范式，图(a)所示为抓握力分别为20％、50％和80％的最大强度，图(b)所示为整个单次实验的时序图。在被试进行实际的运动想象之前，首先通过实际的抓握速度和力的训练实验，而不同的抓握速度通过节拍器来训练，抓握力的大小通过握力计来测量，待被试能够较好地掌握实验之后再进行实际的测量。

如图2所示，脑电极和近红外探头的通道配置，空心的探头为光源发射极，实心的为接收极，两者之间的位置为测量通道，发射-接收探头之间的距离为3厘米。脑电电极的分布遵循国际上通用的10-20系统，我们的实验范式为运动想象，故测量的区域包括左右运动皮层即可。

如图3所示，为脑电信号提取的瞬时相位和瞬时频率的地形图。我们采用Hilbert变换来计算瞬时相位、瞬时幅值和瞬时频率。信号x(t)的Hilbert变换通过与h(t)＝1/πt的卷积获得：

在这里，P是柯西准则值，而：

z(t)＝x(t)+iy(t)＝A(t)e^iθ(t) (2)

在这里，A(t)是信号的瞬时幅值(IA)，而瞬时相位(IP)为arctany(t)/x(t)，瞬时频率(IF)为dIP/dt。

如图4所示，为不同近红外信号的时域图，我们采用双波长的测量方法来计算血红蛋白浓度变化，波长分别为695nm和830nm，血红蛋白浓度计算通过修改的Beer-Lambert定律，如下所示：

在这里，λ₁和λ₂分别为695nm和830nm，消光系数ε_695,Hb＝1.9665,ε_695,HbO＝0.3120,ε_830,Hb＝0.7804,ε_830,HbO＝1.0507，差分路径因子DPF₆₉₅＝6.51,DPF₈₃₀＝5.86，d为发射探头和接受探头之间的距离，为3cm。其中，消光系数和差分路径因子的数值从文献(Duncan A,Meek JH,Clemence M,Elwell CE,Tyszczuk L,Cope M,et al.Optical pathlength measurements on adult head,calf and forearm and the head of the newborn infant using phase resolved optical spectroscopy.Phys Med Biol 1995；40(2):295-304.)得到。

如图5所示，为不同脑电特征和近红外特征，以及融合后特征的分类率比较。从图中可以看出，融合后特征明显高于单独的脑电或近红外特征，在构建特征之前，首先对特征进行归一化处理，如下所示：

特征提取之后由于维度较大，特征中存在冗余信息会导致分类率降低，为了提高意图的识别率，我们采用特征优化方法来去除冗余信息，保留最优特征。我们采用基于互信息的特征提取方法-关联互信息(JMI)准则：

在这里，X_k是需要评估的特征，X_j是已经选择的特征，S是特征集，Y是特征的标签。上述公式代表了关联变量X_kX_j和目标值之间的信息量大小。

在提取最优特征之后，我们采用基于神经网络的极限学习机(ELM)来对脑意图进行识别，ELM是一种单隐层前向反馈神经网络(SLFNs)，与其他的前 向反馈神经网络运用梯度学习算法来调节网络的参数不同，ELM通过随机选择输入权值，进而决定输出权值大小。ELM的优势在于有较快的学习速度，较小的训练误差和较好的归一化性能。对于训练集来说，标准的带有活化函数g(x)和隐层节点N的SLFNs数学模型如下所示：

在这里，w_i为输入权值向量，连接输入节点和隐层节点，β_i是输出权值向量，连接隐层节点和输出节点，b_i是第i个隐层节点的偏差。具体的数学推导公式可参考文献：Huang,G.B.,Zhu,Q.Y.,and Siew,C.K.,Extreme learning machine:theory and applications.Neurocomputing 70(1):489-501,2006.doi:10.1016/j.neucom.2005.12.126.。在这里，训练集是上述特征提取之后的脑电和近红外信号特征，活化函数g(x)我们选择高斯径向基函数。

上述公式可以被重新写成如下形式：

Hβ＝T (7)

在这里：

当输入权值w_i和偏差值b_i给定的时候，隐层输出矩阵H可以计算得到。输出权值β可以通过以下公式获得：

在这里，H⁺是矩阵H的广义逆矩阵。

从图5中可以看出，脑电和近红外信号融合之后分类率要比单独脑电和近红外的识别率高，脑意图识别率具体如下表所示：

表1不同特征下的脑意图识别率

最终结果表明，基于脑电和近红外信号的混合特征提取及融合，可以弥补单独脑电或者单独近红外信号的不足，有效提高脑意图的识别率。同时采用运动参数想象的实验范式，可以增加脑机接口中控制指令的个数。这种混合脑信号的特征提取方法，将为脑机接口的实际应用奠定有力的基础。