时空特征融合的并行卷积网络运动想象脑电图分类方法与流程

本发明属于运动想象脑电分类领域，特别是一种基于时空特征融合的并行卷积神经网络运动想象脑电图识别方法。

背景技术：

脑电作为头皮脑细胞生理活动的全面反映，其中包含大量的生理和疾病信息。基于eeg信号通信的脑机交互系统(bci)，可以替代大脑神经和肌肉组织传送作为信号传输通道，从而实现大脑和仿生机械的交互。bci作为人机交互的延伸，一直受到科学界学者和研究员的广泛关注。基于运动想象脑电识别，是bci系统交互关于与外界交互的关键节点。运动想象是由人脑主观进行想象，例如想象左手握手、想象右手握手，以及想象腿屈伸等。通过对运动想象脑电信号的分析，可以识别人脑运动想象的意图，输出到bci的仿生系统之中，从而实现脑机控制。因此，对运动想象脑电信号处理的研究，可以提升对大脑神经认知、大脑疾病康复以及大脑皮层信号分析的探索。充满潜力的应用前景将eeg研究推向高速发展的时期，使得它成为最具吸引力的学科方向之一。

在bci系统之中，存在特征提取以及特征分类两个重要部分。常用的特征提取方法有快速傅里叶变换(fft)，共同空间模式(csp)，以及小波变换(dt)等，这些特征提取方法不仅需要大量的人为数据处理，而且对噪声敏感，容易造成特征混乱。常用的特征分类方法有人工神经网络，支持向量机等。由于eeg复杂的生成机制，这些特征分类方法存在迭代层次较浅，特征提取不充分的问题。

近年来，随着深度学习在图像识别，自然语言处理，电力负荷预测，模式识别等研究领域取得巨大的成功。由于其具有强大处理非线性和高维数据能力，其也被应用到脑电数据分析之中。

eeg信号包含电极位置所代表的空间信息以及固有的时间信息。但是以往算法，归因于脑电采集设备，只可视化时序通道数据，因此多数研究者主要研究时间序列下如何提取脑电特征。因此，需要一种新的网络模型，提取并融合运动想象eeg时间特征与空间特征，以提高运动想象eeg分类性能。本发明提出并行深度卷积神经网络，充分利用时空信息强化脑电特征提取。为有效的转化脑电的时空特征信息，基于快速傅里叶变换，生成2d脑电特征图。卷积神经网络连接稀疏，卷积核参数共享，减小了模型存储容量，能有效的提取图形存在的空间特征。时间卷积神经网络，基于扩展卷积建模，符合eeg的时序特性。本发明结合两者优势，构建并行卷积网络，在卷积提取eeg空间特征，在时间卷积提取eeg时序特征，最后通过特征拼接方式，融合eeg时空特征。

技术实现要素：

本发明旨在解决以上现有技术的问题。提出了一种时空特征融合的并行卷积网络运动想象脑电图识别方法。本发明的技术方案如下：

一种时空特征融合的并行卷积网络运动想象脑电图识别方法，其包括以下步骤：

步骤1：获取原始eeg(脑电)通道数据，并采用包括归一化、去均值在内的步骤处理原始eeg通道数据；

步骤2：基于重叠切割的方式切分步骤1预处理后的原始eeg通道数据；

步骤3：对步骤2所得每个eeg通道进行小波变换，求取theta波、alpha波以及beta波三个频带；

步骤4：将步骤3中所得的theta波、alpha波以及beta波三个频带，求取每个频带值的平方和；

步骤5：将步骤4求取的每个频带值的平方和，基于插值算法，对2d通道分布图进行插值，生成2d脑电特征分布图；

步骤6：采用多重卷积神经网络对步骤5生成的2d特征分布图进行网络训练；

步骤7：基于时间卷积神经网络同时对步骤5中的2d特征图进行并行训练。

步骤8：基于softmax对空间特征以及时序特征进行融合以及分类。

进一步的，所述步骤1采用包括归一化、去均值在内的步骤处理原始eeg通道数据，具体包括：

去均值：将数据中的平均值减去振幅，使得脑电信号的平均值为0；

归一化：对原始数据进行线性变换，使得结果映射到[0,1]之间。

进一步的，所述步骤2基于重叠切割的方式切分步骤1预处理后的原始eeg通道数据，具体包括：

基于重叠切割处理原始时序通道eeg数据，使得一个运动想象周期内提取的每一帧eeg数据存在部分重叠，定义公式

xi＝xi-1+f-o*fi≠0

xi＝0i＝0

式中,x为切割起点，i为第几个样本，f为频率大小，o*f为重叠大小，其中o为切割权重，范围在0～1之间；

根据数据矩阵[[x0,x0+128],[x1,x1+128],[x0,x0+128],...,[xn,xn+128]]，对14个eeg通道进行切分，并且把每个时间窗口数据进行数据排列，保证数据时间序列不破坏。

进一步的，所述步骤3对步骤2所得每个eeg通道进行小波变换，求取theta波、alpha波以及beta波三个频带，具体包括：

对于每个eeg通道数据，在经过预处理以后，对每一帧的数据，进行傅里叶变换，设x∈cⁿ是长度为n的eeg信号，则快速傅里叶变换为：

其中，n＝0,1,...,n-1为不同频率，wn＝e^-j(2π/n)。

则快速傅里叶的逆变换为：

长度为的n的实值离散傅里叶有长度为n/2的复值快速傅里叶变换得到。设x∈rⁿ，则实值快速傅里叶变换为：

由快速傅里叶变换后，我们将频带属于theta波、alpha波以及beta波从得到包含各个频带的数据矩阵xn中提取出来。

进一步的，所述步骤5，根据所采集的脑电通道位置数据，生成2d通道分布图，求取每个频带值的平方和，计算公式为:

其中，x为频带值，i的范围为1～n。

由前面求取的theta、alpha以及beta值的平方和，作为图像rgb三个通道值。基于插值算法对2d通道分布图进行插值，生成脑电特征2d分布图。

进一步的，所述步骤6，多重卷积神经网络的具体网络结构为：输入层为28*28的2d脑电特征图；在输入层后是卷积模块1，其由连续堆叠两个卷积层构成，其中卷积层1是基于边缘填充方式，卷积2是基于边缘缩小方式；卷积模块1后是最大池化层，卷积模块2，其由连续堆叠两个卷积层构成，其中卷积层3是基于边缘填充方式，卷积4是基于边缘缩小方式，卷积模块2后是最大池化层，最后是堆叠全连接层；

初始化多重卷积网络网络参数，进行前向传播训练；基于均方误差，反向传播调整网络参数；当误差满足精度要求，保存权值和偏置，网络训练完成，反之继续迭代调整权值和偏置，直至达到误差精度要求。

进一步的，所述步骤7，基于时间卷积神经网络提取eeg数据时序特征，其网络具体网络结构为：输入层，输入层后堆叠时序卷积层，时序卷积层后堆叠全连接层；

原始输入为28*28，输入序列经过一维卷积模块作用得到t*m特征序列，t为时间序列长度，m为一维卷积核数量；一维卷积由扩展卷积输入序列，其卷积核计算大小为：

fj_d＝(d-1)*(fk-1)+fk

其中，fk_d表示加入扩展卷积之后的卷积核大小，d为扩张率，k为第几个卷积核；

扩展卷积的输出由激活函数reul作用每个元素，reul函数的计算公式为：

f(x)＝max(0,x)

其中，f(x)为输出，x为输入；

设置残差模块，基于残差加入扩充连接恒等映射，新的学习变换f(x)，由原来的学习变换h(x)减去输入得到，即f(x)＝h(x)-x。

进一步的，所述步骤8基于softmax对空间特征以及时序特征进行融合以及分类，具体包括：

提取包含空间特征多重卷积神经网络全连接层以及包含时序特征时间卷积网络全连接层，基于特征拼接方式对时空特征进行融合，定义公式：

其中fc为新的全连接层，fc1为多重卷积神经网络全连接层，fc2为时间卷积卷神经神经网络全连接层，新的全连接层作为分类器softmax的输入，实现分类。

本发明的优点及有益效果如下：

本发明基于快速傅里叶变换，结合脑电极头皮位置数据，有效的将eeg数据的时空特征映射的2d特征图中，改善脑电采集设备只可视化时序通道数据问题。进一步的，将卷积神经网络与时间卷积神经网络相结合，充分挖掘eeg数据的时空特征。利用卷积神经网络，可提取eeg的空间特征。利用时间卷积神经网络，可提取eeg的时序特征。其次，基于特征拼接的方式，有效的将eeg的空间特征和时间特征融合在一起，解决了传统脑电特征分类中，往往丢弃空间特征的缺陷，提高了分类性能。

附图说明

图1是本发明提供优选实施例基于时空特征融合并行卷积神经网络的运动想象脑电特征提取及分类方法流程图。

图2为并行卷积神经网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图所示，本实施例提供的基于时空特征融合的运动想象脑电特征提取及分类方法，包括以下步骤：

步骤1：对原始数据进行预处理。一般的，从实验获得的原始eeg通道数据包含肌电以及眼电等噪音，不适合直接进行网络训练。因此bci研究者在进行特征提取前，会进行一系列的数据处理过程以提高信噪比，例如，高通滤波、归一化以及去除阴影等。在本专利中我们采取以下的数据处理方法：去均值。为了防止差异较大值对实验的影响，将数据中的平均值减去振幅，使得脑电信号的平均值为0；归一化。对数据进行归一可以有效的减少网络的计算量级，加快网络的迭代，对原始数据进行线性变换，使得结果映射到[0,1]之间。

步骤2：运动想象eeg带有强烈的时序特征，在一个时间段，头皮周围脑神经产生信号反应。主流的非入侵式脑电采集设备，采用铜片或者胶体传感器进行信号收集。由于硬件设备以及人脑反应等，在进行数据收集时候，会出现一定滞后性问题。基于重叠切割处理原始时序通道eeg数据，使得一个运动想象周期内提取的每一帧eeg数据存在部分重叠，以达到尽可能废弃无用数据和扩大数据集作用，同时也更符合人脑进行信号反应的实际场景。定义公式

xi＝xi-1+f-o*fi≠0

xi＝0i＝0

式中,x为切割起点，i为第几个样本，f为频率大小，o*f为重叠大小，其中o为切割权重，范围在0～1之间。

根据数据矩阵[[x0,x0+128],[x1,x1+128],[x0,x0+128],...,[xn,xn+128]]，对14个eeg通道进行切分处理，并且把每个时间窗口数据进行数据排列，保证数据时间序列不破坏。

步骤3：对于每个eeg通道数据，在经过预处理以后，对每一帧的数据，进行傅里叶变换，提取theta波，alpha波，beta波三个频带.

步骤4：所得的theta波、alpha波以及beta波三个频带，求取每个频带值的平方和，计算公式为:

其中，x为频带值。

步骤5：基于插值算法，对2d通道分布图进行插值，生成2d脑电特征分布图，具体包括：根据所采集的通道位置数据，生成2d通道分布图，由前面求取的theta、alpha以及beta值的平方和，作为图像rgb三个通道值。基于插值算法对2d通道分布图进行插值，生成脑电特征2d分布图。

步骤6：采用多个连续卷积堆叠，改善传统神经网络，并利用步骤5生成的2d特征分布图，进行网络训练，具体包括：输入层为28*28的2d脑电特征图。在输入层后是卷积模块1，其由连续堆叠两个卷积层构成，其中卷积层1是基于边缘填充方式，卷积2是基于边缘缩小方式。卷积模块1后是最大池化层。卷积模块2，其由连续堆叠两个卷积层构成，其中卷积层3是基于边缘填充方式，卷积4是基于边缘缩小方式，卷积模块2后是最大池化层，最后是堆叠全连接层。

卷积层是特征提取，由输入与m个卷积核进行卷积，并由非线性函数映射得到n张特征图。卷积层的计算为：

式中，f是激活函数，是l层中特征映射i的索引向量，w为卷积核项，b为偏置项。

池化层是特征降维，池化层的计算为：

式中，down()是采样函数，n^l为第l层子采样层所需要的窗口边界大小，为第l层第j个特征输出。

初始化网络参数权值{w,b}，按照(1)、(2)进行前向传播训练。基于均方误差，进行反向传播调整网络参数{w,b}。当误差满足精度要求，保存权值和偏置，网络训练完成，反之继续迭代调整权值和偏置，直至达到误差精度要求。

步骤7：基于时间卷积神经网络同时对步骤5中的2d特征图进行并行训练，具体包括：输入层，输入层后堆叠时序卷积层，时序卷积层后堆叠全连接层。

原始输入为28*28，输入序列经过一维卷积模块作用得到t*m特征序列，t为时间序列长度，m为一维卷积核数量。一维卷积由扩展卷积输入序列，其卷积核计算大小为：

fj_d＝(d-1)*(fk-1)+fk

其中，fk_d表示加入扩展卷积之后的卷积核大小，d为扩张率，k为第几个卷积核。

扩展卷积的输出由激活函数reul作用每个元素。reul函数的计算公式为：

f(x)＝max(0,x)

其中，f(x)为输出，x为输入。

设置残差模块，基于残差加入扩充连接恒等映射，学习变换h(x)改变为f(x)＝h(x)-x。

步骤8：基于softmax对空间特征以及时序特征进行融合以及分类，具体包括：提取包含空间特征多重卷积神经网络全连接层以及包含时序特征时间卷积网络全连接层，基于特征拼接方式对并行网络的两个全连接层进行拼接，定义公式：

其中fc为新的全连接层，fc1为多重卷积神经网络全连接层，fc2为时间卷积卷神经神经网络全连接层。新的全连接层作为softmax的输入，对包含时空特征全连接层进行特征融合，并测试分类性能。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。