一种基于CBLSTM算法模型的运动想象脑电信号特征识别方法与流程

本发明属于脑机接口中脑电信号的识别领域，主要涉及采用卷积神经网络与双向长短期记忆的结合算法模型对多类运动想象脑电信号的识别方法。

背景技术：

非侵入式脑机接口(brain-computerinterfaces,bcis)技术为行动不便的人群提供了一种便利的生活方式，且此控制方式具有很强的可行性和实用性，近年来越来越多地运用于控制计算机及其他智能设备。脑电信号在其中起着不可或缺的作用，可用于检测司机是否疲劳驾驶,也可用于帮助脑卒中患者的功能恢复。

考虑到脑电信号的传播主要是通过多个神经元共同合作完成，本文采用多通道的脑机接口设备进行研究。传统的脑电信号特征分类方法主要有:人工神经网络、线性判别式分析、支持向量机(svm)等。hsu等人采用了人工神经网络对音乐情绪识别进行分类，受试者较少且对个体差异进行描述和预测有困难，故分类效果较差。tian等人采用基于fe+lda的方法对左右手运动想象信号进行研究得出其平均分类识别率为87.2％。此后li等人提出一种多尺度模糊熵(mfe)的方法来对mi-eeg进行分析，并采用svm进行分类，结果表明此方法可有效提高mi-eeg的分类准确率，但是当分类种类增多时会增加系统的复杂性从而降低识别率。此后研究者发现，在生物信号领域，针对脑电信号的非线性非稳定特性，考虑到深度神经网络对大数据的处理具有优势，若能充分利用其分析信号特性可能会取得更好的效果。为此tang等人通过建立5层cnn模型对想象左右手运动进行分类，结果表明，cnn可以进一步提高分类性能：使用cnn的平均准确率可达86.41±0.77％，比使用传统的power+svm，csp+svm和ar+svm方法的平均准确率分别高9.24％，3.80％和5.16％。此后uktveris等人采用cnn方法实现了对四类运动想象脑电信号(想象左右手、脚和舌头运动)的尝试识别，由于增加了目标分类种类，此时体现出单一cnn方法的局限性，即分类准确率随着分类种类的增加而下降。而ni等人则提出一种双向lstm网络对脑雾进行分类，此方法显示出了较好的分类性能，但是样本量较小，在增大数据量的同时准确率也降低，然而与其他传统分类算法相比，准确率最高且鲁棒性较好。这也为此后lstm在脑电信号方面的研究提供了思路。李等人采用owpt的方法对mi-eeg进行特征提取，lstm算法对其进行分类，最终经过试验验证发现识别率远高于采用ar+lda的准确率，由于owpt本身的局限性，使得实验耗时较长。

技术实现要素：

本发明旨在解决以上现有技术的问题。提出了一种有效提高了多类脑电信号的识别率的基于cblstm算法模型的运动想象脑电信号特征识别方法。本发明的技术方案如下：

一种基于cblstm算法模型的运动想象脑电信号特征识别方法，其包括如下步骤：

s1：首先采用信号采集仪采集原始的脑电信号；

s2：对采集的脑电信号进行包括滤波、放大在内的预处理，并采用多线性主成分分析对多维脑电信号进行降维处理；

s3：将经过降维处理的脑电信号(采用数据切割方法)整理成序列帧，然后采用改进的卷积神经网络将脑电信号的频域特征提取出来；所述改进的卷积神经网络改进点主要在于：如附图1所示，卷积神经网络模块主要包括五个卷积模块、四个池化层、两个批规范化层和一个im2col层(加速层)，其中每个卷积模块都由多个卷积层组合，卷积核尺寸大小采用的是3*3和5*5。

s4：然后采用改进序列特征提取算法提取脑电信号的时域特征；所述改进序列特征提取算法改进点主要在于：如附图2所示，将两个lstm以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新。同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层。

s5：在提取出脑电信号的特征之后，通过softmax回归对多类脑电信号进行分类并输出结果。

进一步的，所述步骤s3卷积神经网络的结构从上到下依次是：首先是1*2卷积+降采样，然后是并行的卷积组，之后是2*3卷积+降采样，接着是批规范化，之后是3*3卷积+降采样，批规范化以及4*2卷积+降采样，最后是im2col层(加速层)。

进一步的，所述1*2卷积+降采样的卷积核尺寸为3*3，卷积核个数为64，池化层；

进一步的，所述并行的卷积组的卷积核包括5*5，3*3的卷积核，然后将特征融合，卷积核个数均设置为128，还引入了1*1*c的卷积核，c表示常数。

进一步的，所述conv2*3和conv3*3均为三个连续的卷积层，每层卷积核尺寸大小为5*5，卷积核个数为128，卷积组后均添加批规范化，它在深度神经网络的中间添加正态标准化处理，使每一层神经网络的输入都保持相同的数据分布；conv4*2是两个连续的卷积层，卷积核尺寸为5*5，卷积核的个数为256，其后紧接着是im2col层，im2col是caffe里面的一种加快卷积运算的方法，而im2col将数据送到gpu显存中是按行序连续存储的，然后通过gpu的矩阵乘法运算。

进一步的，所述步骤s4采用序列特征提取算法提取脑电信号的时域特征；具体为：

采用双向lstm，将两个lstm以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新。同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层；

将卷积神经网络模块提取的特征输入到网络后，依次经过im2col_reshape层、lstm_input层、双向lstm层、merge_lstm_rlstm层、reshape层、lstm_output层、fc层以及softmax层及输出output层；

进一步的，将卷积神经网络模块提取的特征输入到网络后，首先经过一个im2col_reshape层，im2col层(加速层)其作用是将序列特征维度进行转换，作为卷积层和循环层的桥梁；经过卷积模块后生成im2col的维度256×1×h×w，经过reshape维度变为h×w×256×1，将其输入到双向lstm中，两个lstm的维度都是256，一个lstm从t＝1重复到t，另外一个反向lstm从t＝t重复到1，信号序列通过正向和反向的隐藏层都受到当前输入和上一时刻状态的影响，其实反向的上一时刻是信号序列的下一时刻；通过误差反向传播进行计算，两层lstm在隐藏层进行信息融合后对当前时刻t的输入进行预测，输出维度为h×w×512×1，经过reshape层，lstm_output输出维度为512×1×h×w，然后经过一层维度为4096的全连接层fc，全连接层的输出送入softmax来进行分类，给出分类结果output。

进一步的，所述步骤s5在提取出脑电信号的特征之后，通过softmax回归对多类脑电信号进行分类并输出结果，具体包括：

使用随机梯度下降sgd进行训练，梯度由反向传播算法计算得出，在双向lstm循环层中，应用时序反向传播算法来计算误差。即通过一个损失函数进行联合训练，通过不断训练，确定最小误差下的模型权值。

本发明的优点及有益效果如下：

本发明的创新点具体是步骤s3和s4。

s3：在卷积核设计中尽量避免使用较大尺寸的核，主要是因为脑电信号序列不像图像那样具有密集的特征点，即一个信号的区域范围内会存在很多无关特征，卷积核尺寸越大，其感受野就越大，会提取很多无用特征，同时导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。通常情况下设计更深的网络用较小的卷积核能够起正则化的效果。

s4：此模块在设计中考虑了脑电信号具有上下文的时序特性，使用了双向lstm，双向lstm的基本原理与lstm类似，是将两个lstm以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新。同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层。双向lstm单元可以保存反向传播的梯度信息，这样使有效梯度信息能够长期保存在网络中，学习高效率的时空特征，并提升脑电信号的分类识别率。

附图说明

图1是本发明提供优选实施例卷积神经网络模块图；

图2是本发明提供优选实施例序列特征提取模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

一种基于卷积双向长短期记忆算法模型的运动想象脑电信号特征识别方法，其包括如下步骤：

s1：首先采用信号采集仪采集原始的脑电信号；

s2：对采集的脑电信号进行滤波，放大等预处理，并采用mpca对多维脑电信号进行降维处理，减少计算量；

s3：考虑到脑电信号复杂的时空特性，设计了一种可以分别提取脑电信号的时空特征的算法模型，此算法模型首先将脑电信号整理成序列帧，然后经过一个卷积神经网络模块，在这个模块中将脑电信号的频域特征提取出来；

卷积神经网络模块主要由卷积层和池化层组成，模型的深度与卷积层构造深度有关，卷积层越多，网络越深。深层网络能够提取更多的特性，但是模型过于复杂也会导致计算量暴增。本文综合考虑效率和性能两方面因素，设计了算法模型如附图1所示。卷积神经网络模块主要包括五个卷积模块、四个池化层、两个batchnormalization层和一个im2col层，其中每个卷积模块都由多个卷积层组合，卷积核尺寸大小采用的是3*3和5*5。本文在卷积核设计中尽量避免使用较大尺寸的核，主要是因为脑电信号序列不像图像那样具有密集的特征点，即一个信号的区域范围内会存在很多无关特征，卷积核尺寸越大，其感受野就越大，会提取很多无用特征，同时导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。通常情况下设计更深的网络用较小的卷积核能够起正则化的效果。

在附图1中conv1*2包含两个卷积层，每层卷积核尺寸为3*3，卷积核个数为64，之后是池化层，池化的目的是降采样，减少参数量，同时提高训练速度。

紧接着设计了一个并行的卷积组，将5*5，3*3的卷积核并行能够提取不同尺度的特征，然后将特征融合，其效果比单一卷积核好，卷积核个数均设置为128，由于参数量巨大，为此引入1*1*c的卷积核，通过改变c的大小，能够降低通道维度，降低计算量。

附图1中conv2*3和conv3*3均为三个连续的卷积层，每层卷积核尺寸大小为5*5，卷积核个数为128，卷积组后均添加batchnormalization层，即批标准化，它在深度神经网络的中间添加正态标准化处理，使每一层神经网络的输入都保持相同的数据分布，其能够提高网络的泛化能力，解决了每批训练数据分布不同导致的训练速度慢，同时可以将训练数据打乱，具备更快速的收敛特性。

附图1中con4*2是两个连续的卷积层，卷积核尺寸为5*5，卷积核的个数为256，其后紧接着是im2col层，im2col是caffe里面的一种加快卷积运算的方法，因为卷积运算是按先行后列进行的，这样的数据在内存中的储存是不连续的，访问内存会浪费过多的时间，而im2col将数据送到gpu显存中是按行序连续存储的，然后通过gpu的矩阵乘法运算，计算速度明显提高。

s4：之后输入到序列特征提取模块中提取脑电信号的时域特征；

由于脑电信号具有时频特性，因此首先将采集到的脑电信号整理成序列形式，同时分离出脑电信号序列的有效范围。经过卷积神经网络模块进行特征提取，就学习到脑电信号的特性，将其输入到序列特征提取模块。此模块在设计中考虑了脑电信号具有上下文的时序特性，使用了双向lstm，双向lstm的基本原理与lstm类似，是将两个lstm以相反的方向融合，共同决定当前时刻的预测信息，其信号输入序列对于两个隐藏层是相反方向的，直到两个隐含层处理完所有输入序列时预测输出才更新。同时在后向计算过程中，输出值首先通过随机梯度计算然后返回值给两个不同方向序列的隐藏层。该模块的具体实现如附图2所示。

由附图2可知，将卷积神经网络模块提取的特征输入到网络后，首先经过一个reshape层，其作用是将序列特征维度进行转换，作为卷积层和循环层的桥梁。经过卷积模块后生成im2col的维度256×1×h×w，经过reshape维度变为h×w×256×1，将其输入到双向lstm中，两个lstm的维度都是256，一个lstm从t＝1重复到t，另外一个反向lstm从t＝t重复到1，信号序列通过正向和反向的隐藏层都受到当前输入和上一时刻状态的影响，其实反向的上一时刻是信号序列的下一时刻。通过误差反向传播进行计算，两层lstm在隐藏层进行信息融合后对当前时刻t的输入进行预测，输出维度为h×w×512×1，经过reshape层，lstm_output输出维度为512×1×h×w，然后经过一层维度为4096的全连接层fc，全连接层的输出送入softmax来进行分类，给出分类结果(output)。

lstm具有记忆功能，但其记忆功能的实现依赖于矩阵乘法运算，若将其单独运用于研究大数据脑电信号，意味着大量的参数值参与运算，计算量大的同时耗时也长。卷积神经网络可弥补这些缺陷，因此本文提出cblstm方法对脑电信号进行分类。卷积神经网络模块主要负责采集脑电信号序列的各个特征，blstm负责捕捉脑电信号序列的时刻演变，并对上下文进行分析，最后采用cblstm模型进行测试时生成分类结果。

双向lstm的实现机制与lstm相同，其提取信号序列特性的功能都是由输入门、遗忘门、输出门控制的，下面就以lstm的原理详细描述。

在模型训练的初始，信号先经过卷积神经网络模型提取特征序列，把特征序列输入到序列特征提取模块中，再通过双向lstm的输入门γi进入记忆单元，之后输入门对信号序列进行处理：

γi＝σ(wi[at-1,xt]+bi)(1)

遗忘门γf即对一些不符的数据舍弃掉，选择性地保留脑电信号，

γf＝σ(wf[at-1,xt]+bf)(2)

通过多次实验分析，发现遗忘门偏置初始化为1时，效果更好，因此本文将此方法运用于序列特征提取模型中，则lstm模型的遗忘门计算方法为：

γf＝σ(wf[at-1,xt]+1)(3)

输出门γo主要负责将处理结束的信号按一定规则输出给softmax分类器：

γo＝σ(wo[at-1,xt]+bo)(4)

记忆单元即对通过的信号进行记忆保存，记忆单元的计算要同时考虑上一时刻的记忆态，及t时刻的记忆单元更新态，且随着它们的变化而变化：

而记忆单元的变化规则则是由输入函数at-1和xt共同决定的，其计算公式如下：

其中c表示记忆单元，at表示t时刻输入函数，w是权重。tanh(x)是一个双曲线激活函数。lstm具有记忆功能，但其记忆功能的实现依赖于矩阵乘法运算，若将其单独运用于研究大数据脑电信号，意味着大量的参数值参与运算，计算量大的同时耗时也长。卷积神经网络可弥补这些缺陷，因此本文提出cblstm方法对脑电信号进行分类。卷积神经网络模块主要负责采集脑电信号序列的各个特征，blstm负责捕捉脑电信号序列的时刻演变，并对上下文进行分析，最后采用cblstm模型进行测试时生成分类结果。

s5：在提取出脑电信号的特征之后，通过softmax回归对多类脑电信号进行分类并输出结果。本发明所用模型使用随机梯度下降(sgd)进行训练，梯度由反向传播算法计算得出。在双向lstm循环层中，应用时序反向传播算法(bptt，backpropagationthroughtime)来计算误差。即通过一个损失函数进行联合训练，为了最小化损失函数，通过不断训练，确定最小误差下的模型权值。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。