一种基于时空特征的脑电信号运动想象分类方法

1.本发明涉及脑电信号分析领域，具体涉及一种基于时空特征的脑电信号运动想象分类方法。


背景技术：

2.作为人机交流的桥梁，基于脑电图的脑机接口bci旨在将大脑活动直接解码为不同的控制命令。由于脑电信号是一个非平稳过程，原始信号噪声大，随机性强，使得脑电信号提取信息的解码难度变大。因此，越来越多的人开始研究使用算法对脑电信号进行准确分类。脑电信号运动想象的分类一直是脑机接口的主要研究方向之一。其中，左右手运动成像信号的解码是该研究领域的热点问题，关键技术是如何提取有效的脑电信号特征和准确分类。
3.研究表明，当人们进行某种肢体运动或想象肢体运动时，会发生事件相关的去同步(erd)和事件相关的同步(ers)现象。erd和ers也成为研究运动想象的基础。但脑电信号存在个体差异，即不同人想象肢体运动时，erd\ers出现的频段和时间段不同。为了解决这个问题，(k.a.kai等,“filterbank common spatial pattern(fbcsp)inbrain-computer interface”)提出了一种新的滤波器组公共空间模式(fbcsp)来执行关键时空判别脑电图特征的自主选择。(m.a.li等,“a novel mi-eeg imaging with the location information of electrodes”)将mi周期和μ和β节律覆盖的频段分别划分为10个时间窗口和3个子带，并使用快速傅立叶变换(fft)将每个时间窗口转换为频谱，并修改了vgg网络对于识别和分类。(f.gao等,“feature extraction algorithm based on csp and wavelet packet for motor imagery eeg signals”)采用基于小波包和公共空间模式(csp)的脑电信号特征提取方法，使用svm对运动意象信号进行分类。
4.近年来，深度学习发展迅速，越来越多的研究人员将深度学习技术应用到脑机接口领域。由于cnn可以提取最具判别力的特征(高级特征)进行分类，因此在脑电信号识别中得到了广泛的应用。(j.wang等,“classification of eeg signal using convolutional neural networks”)提出了一种基于深度cnn的脑电信号分类方法，与其他三种分类方法(lda、svm、mlp)相比，结果表明cnn具有更好的分类性能。(s.u.amin等,“multi-cnn feature fusion for efficient eeg classification”)使用multi-cnn从eeg-mi数据中提取动态相关性，并将其与公共eeg数据集bci竞赛iv2a上的最新技术进行比较，并肯定了cnn在eeg信号分类中的有效性。(j.yang等,“deep fusion feature learning network for mi-eeg classification”)使用cnn和dwt提取数据特征，并将特征输入lstm进行分类。但在上述方法中，有的利用脑电信号的时间特征，有的利用空间特征，但没有充分利用信息，导致分类准确率不是很高。


技术实现要素：

5.本发明针对上述现有技术，创新性地提出了一种新的卷积神经网络(以下简称
cnn)融合长短期记忆网络(以下简称lstm)的网络模型。对原始数据进行处理后送入神经网络，得到的分类准确率达到96.26％。该模型同时参考了脑电信号的时空特征，在控制网络模型复杂度的前提下，提高了精度。
6.一种基于时空特征的脑电信号运动想象分类方法，基于六层cnn融合单层lstm的神经网络，包括输入层、采样层、六层cnn网络、最大池化层、flatten层、单层lstm网络、全连接层、softmax层和adam优化器；选择二次代价损失函数优化输出，同时选用adam优化器，通过反向传播算法最小化损失函数，更新权值和偏差，这是一个很好的高维数据(如eeg)优化器；
7.利用六层cnn网络提取脑电信号中的空间特征，对输入的脑电信号进行空间滤波；利用单层lstm网络提取脑电信号中时间序列特征，最终输出运动想象分类结果。
8.进一步地，六层cnn网络基于deep convnet架构，由六个卷积层组成。
9.进一步地，六层cnn网络中，第二层和第三层、以及第五层和第六层之间设有额外的进入池化层前的加法器，将前两个卷积层的输出整合为池化层的输入。
10.进一步地，六层cnn网络中，每三个卷积层后设置一个最大池化层进行降维操作，对特征进行压缩。
11.进一步地，使用adam优化器最小化损失函数，通过反向传播算法更新权重和偏差，在训练时使用dropout和批量归一化，
12.进一步地，单层lstm网络采用lstm门控单元，包括遗忘门、输入门和输出门。
13.进一步地，lstm的遗忘门使用tanh函数作为最终输出，也选用了一个输出值在[0,1]区间内的函数作为门的激活函数，这里决定了上一个细胞状态c
t-1
是否被遗忘，当f
t
为0时遗忘；为1时保留；数学表达式如下所示：
[0014]ft
＝sigmoid(wf*[h
t-1
,x
t
]+bi)
ꢀꢀꢀꢀ
(1)
[0015]
式中，x
t
为当前时刻网络的输入值，h
t-1
为上一时刻lstm的输出值，wf为遗忘门的权重矩阵，bi为输入门的偏置项；
[0016]
最新的细胞状态c
t
是由上一个细胞状态c
t-1
和新的待定细胞状态一起决定的；f
t
和i
t
是c
t-1
和的权重系数项，是细胞的更新或遗忘的体现，数学表达式如下所示：
[0017]it
＝sigmoid(wi*[h
t-1
,x
t
]+bi)
ꢀꢀꢀꢀ
(2)
[0018][0019][0020]
式中，wi为输入门的权重矩阵，wc为计算单元状态的权重矩阵，bc为计算单元状态的偏置项，i
t
为输入门，c
t-1
为上个细胞状态；
[0021]
输出门负责确定当前细胞状态c
t
有多少会输出至输出值h
t
中，数学表达式如下所示：
[0022]ot
＝sigmoid(wo*[h
t-1
,x
t
]+bo)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0023]ht
＝o
t
*tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0024]
式中，wo、bo分别代表输出门的权重矩阵和偏置项。
[0025]
本发明达到的有益效果为：本发明创新性地将lstm网络层集成到cnn模型中使两
种模型融合，有效地利用了脑电信号的时空表示和动态相关性，同时利用了eeg信号的时间特征与空间特征，通过实现验证，该模型分类准确率高于现有模型，收敛良好，无过度拟合，具有更好的泛化能力。
附图说明
[0026]
图1为本发明实施例中的深度学习模型示意图。
[0027]
图2为本发明实施例中的lstm门控单元示意图。
具体实施方式
[0028]
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
[0029]
脑电信号是一个复杂的非线性时序信号，目前一般的cnn神经网络模型仅仅利用到脑电信号的空间特征，考虑到lstm在处理时序信号的优异表现，尝试同时利用eeg信号的时间和空间特征，以此来提高分类准确率。
[0030]
本发明设计了一个六层cnn融合单层lstm的神经网络，参照图1。选择二次代价损失函数优化输出，使用adam优化器最小化损失函数，更新权重和偏差通过反向传播算法。在训练时使用dropout和批量归一化，加快了网络训练，避免训练出的模型过度拟合。
[0031]
考虑到cnn网络学习的特征是由低复杂度的特征组成的层次结构，本发明利用卷积神经网络提取脑电信号中的空间特征，卷积层对输入的脑电信号进行空间滤波。cnn网络的各种参数可以优化，从而得到许多可能的分类结果。cnn网络设计的主要参数如表1所示。
[0032]
表1cnn网络参数
[0033][0034][0035]
本发明的cnn卷积神经网络由六层卷积网络组成。卷积层数可以取3-9层，池化层可以取1-3层，每三个卷积层后有一个最大池化层进行降维操作，对特征进行压缩，简化网络。
[0036]
单层lstm网络提取脑电信号中时间序列特征。lstm网络是一种特殊的rnn网络，其中最为关键的就是在神经细胞中的门结构，参照图2，lstm通过遗忘门、输入门和输出门控制记忆，保证重要的信息不会被遗忘，以此来处理间距和延迟较长的时序信息。lstm门控单元如下图所示：
[0037]
lstm的遗忘门使用tanh函数作为最终输出，也选用了一个输出值在[0,1]区间内的函数作为门的激活函数，这里决定了上一个细胞状态c
t-1
是否被遗忘，当f
t
为0时遗忘；为
1时保留。数学表达式如下所示：
[0038]ft
＝sigmoid(wf*[h
t-1
,x
t
]+bi)
ꢀꢀꢀꢀꢀ
(1)
[0039]
最新的细胞状态c
t
是由上一个细胞状态c
t-1
和新的待定细胞状态一起决定的。f
t
和i
t
是c
t-1
和的权重系数项，是细胞的更新或遗忘的体现，数学表达式如下所示：
[0040]it
＝sigmoid(wi*[h
t-1
,x
t
]+bi)
ꢀꢀꢀꢀ
(2)
[0041][0042][0043]
输出门负责确定当前细胞状态c
t
有多少会输出至输出值h
t
中，数学表达式如下所示：
[0044]ot
＝sigmoid(wo*[h
t-1
,x
t
]+bo)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0045]ht
＝o
t
*tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0046]
不同的cnn内核数或者lstm层数，在牺牲时间效率和模型复杂度的情况下，可以提升准确率，但是经过实验证明，这样的提升不大。
[0047]
本发明提出了脑机接口运动想象分类问题的三分类模型。hou提出的cnn模型(y.hou,l.zhou,s.jia,“a novel approach of decoding eeg four-class motor imagery tasks via scout esi and cnn,”journal ofneural engineering,vol.17,no.1,pp.016048.1-016048.15,2019.)只学习了脑电信号的空间特征，分类准确率达到93.66％。鉴于lstm模型在时间序列信息分类任务中的优异性能，为了在模型训练过程中学习脑电信号的时间特征，本发明创新性地将lstm网络层集成到cnn模型中，它有效地利用了脑电信号的时空表示和动态相关性。实验数据使用eeg运动/图像数据集(eegmmidb)中受试者s01的数据。对数据进行预处理，提取特征并输入神经网络。经过500次迭代后，模型收敛良好，无过度拟合。分类精度显著提高。通过各种对比实验，模型批量大小可以选择为32或者64，并采用50％的dropout，使模型具有更好的泛化能力。结果表明，该模型分类准确率达到94.79％，比原cnn模型高1.13p.p.，经验证，该模型是真实有效的。
[0048]
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。