基于深度卷积神经网络识别脑电成像图的方法与流程

本发明属于基于深度卷积神经网络(deepconvolutionalneuralnetwork,dcnn)的运动想象脑电信号(mi-eeg)特征提取与分类领域，具体涉及：基于快速傅里叶变换(fastfouriertransform,fft)的特征提取与2d导联坐标插值成像法生成mi-eeg的伪rgb三通道特征图，并基于dcnn进行特征降维与分类。

背景技术：

深度卷积神经网络(dcnn)是一种前馈神经网络，具有局部感受野、卷积核权值共享、神经元非线性激活、卷积操作进行数据降维等多项技术，被广泛应用于图像识别领域。该网络在对多维度特征数据进行特征提取、降维等方面有着很大优势，表现出较好的深度特性，具有较强的模型拟合能力和较强的模型泛化能力。采用多层卷积结构的dcnn对输入图像进行卷积操作，可以实现图像降维与像素压缩，最终得到对应图像类别的输出概率值。

由于dcnn的每个卷积层中都包含若干神经元，能同时完成对输入数据多维度的特征抽取。经过多个神经元非线性激活函数进行“激活”输出有助于增加原始特征的非线性组合，并能对体现类别差异性的主要特征信息进行充分表达，对类别差异性贡献较小的次要特征信息进行抑制。另外，dcnn模型结构适应性好，对数据的拟合性能和对不同数据的泛化能力较强，其在处理具有多维度特征的mi-eeg信号方面具有独特的优势。

原始mi-eeg信号为时域离散序列，需将其转换为平面图象或数据矩阵后再使用dcnn进行识别。mi-eeg信号的成像方法主要分为两类：第一种成像方法是将每导联的信号分为若干时间窗，对各时间窗内信号提取频域特征，并沿x轴方向将所有频域特征按序排列，同时，沿y轴方向将各个导联的特征信息进行堆叠。第二种成像方法是利用共空间模式(commonspatialpattern，csp)方法对mi-eeg信号进行特征提取，在多个频带上将信号按类别差异最大化的方向投影。具体操作是对若干个频带进行多级分解，利用csp滤波器提取信号特征，然后将每个子带滤波器提取的特征沿x轴排列，不同子带滤波器提取的特征沿y轴排列，形成数据矩阵。相关研究表明，基于dcnn进行mi-eeg信号成像图识别取得了相对较高的识别准确率，但仍存在以下问题：

(1)选用频域特征提取方法对脑电信号进行成像时，在特征提取阶段，对各导mi-eeg进行fft，各频率点频谱取模或模的平方运算作为信号特征，不能充分表现信号功率特征的数值差异；

(2)脑电成像利用了mi-eeg的频域特征或空域特征，但时频特征并未得到有效体现，另外，将若干导联或多个子带特征无序堆叠形成成像矩阵，使得原bci采集系统所包含的导联电极位置信息丢失，这都将会对识别造成不利影响；

(3)卷积神经网络的层数及每层卷积的神经元数量设置过少，使得网络拟合能力较差，泛化性能不强，不利于信号特征的多维度深度提取；且在卷积操作后，采用最大池化操作进行数据降维会舍弃75％的像素点，使得在处理高阶特征图时损失的信息过多，影响分类结果。

技术实现要素：

针对上述不足之处，本发明对现有的脑电信号成像方法与dcnn结构进行了改进，提出了一种基于mi-eeg特征成像图与dcnn的mi-eeg识别方法。具体涉及：

(1)将信号变换到频域后，提取与运动想象相关节律的频率序列再逆变换到时域，计算时域功率值作为特征，显著提升了不同类别信号间的数值差异。

(2)采用上述方法得到的信号功率值作为特征，结合bci采集系统的导联坐标信息将特征插值到nxn像素的图像中。保留信号时频特征的同时，完整地利用了导联间的空间信息，提升了原始信号在成像操作时的特征表达效果。

(3)采用6段卷积共30层的深度卷积神经网络结构。卷积神经网络的层数的增加提升了模型性能，增强了拟合能力和对数据的泛化能力。同时，去除了卷积神经网络的池化层结构，用步长为2的卷积结构代替。可以减少信息损失同时增加网络训练的稳定性，提升识别准确率。

因此，本发明采用的技术方案为基于深度卷积神经网络识别脑电成像图的方法，首先对想象运动脑电信号进行预处理，使用静息态数据对其进行基线消除。将每次实验的每导联数据划分为多个窗口后，分别进行8-13hz、13-21hz、21-30hz的快速傅里叶变换后，再分别通过傅里叶反变换，提取时域功率值作为信号时频特征。将提取的特征根据bci采集系统坐标图按导联插值到像素网格中，得到想象运动信号成像图。将成像图输入到针对脑电信号优化的深度卷积神经网络中进行监督训练，采用反向传播算法对网络神经元的权值参数进行调整，使网络能更好地拟合输入数据分布，训练完成后使用网络输出图像类别概率。

基于上述分析，本发明的具体实现步骤如下：

s1mi-eeg信号预处理；

s1.1假设为第i次实验第m导联采集的运动想像期间的脑电信号，其中，m∈{1，2，3，...，nc}表示采集运动想象脑电任务的导联标签，nc代表导联数；i∈{1，2，3，…，nm}，nm表示采集实验次数；ns代表一次实验采样点数。则第i次采集实验获得脑电数据为

s1.2针对每次实验的各导联数据使用运动想象前的静息数据作为基线参考线，进行基线消除处理，获得消除基线的信号

s2基于快速傅里叶变换的mi-eeg信号特征提取方法；

s2.1对于基线消除后的一次想象运动实验数据其每个每导联信号按采样时刻表示为将其按序等分为nd个窗口，nd∈n+。设每个窗口序列为则包含的采样时刻为：

其中，m为导联序号，i为实验序号，j为窗口序号。

s2.2将每个窗口序列x^dm，i，j补0，使x^dm，i，j的序列长度达到nfft＝2^k，以提高其数字分辨率，其中k为正整数，补0后的nd个窗口序列记为

s2.3对每一导联的x^wm，i，j进行快速傅里叶变换(fastfouriertransform，fft)，得到长度为nfft的频域序列

s2.4根据神经生理学理论，选择与想象运动密切相关的α、β节律对应的频率范围8-30hz，并将其三等分为8～13hz、13～21hz和21～30hz三频段，取得x^fm，i，j在各频段上的子序列为频率段序号，nf，f表示每段序列长度，计算式如下：

其中，fh，f为该频率段最高频率，fl，f为该频率段最低频率，fs为eeg原始信号采样频率。

s2.5将x^fm，i，j，f进行快速傅里叶逆变换(inversefastfouriertransform，ifft)

其中，m为导联序号，i为实验序号，j为窗口序号，f为频带序号。

得到三个时域序列

s2.6使用tf表示每个频带的序列时刻，则每个频带独立计算平局功率值x^pm，i，j，f，计算式如下：

其中，m为导联序号，i为实验序号，j为窗口序号，f为频带序号，m∈{1，2，3，...，nc}，i＝{1，2，3，…，nm}，j＝{1，2，3，...，nd}，f∈{1，2，3}。

s2.7将每个时域序列nd个窗口对应产生的nd个平均功率值相加取平均，最终得到一次想象运动实验每导联上的三个特征值，x^fm，i，f∈r¹，m∈{1，2，3，...，nc}，i＝{1，2，3，…，nm}，f∈{1，2，3}。则第i次采集实验获得的脑电数据特征值为

s3mi-eeg信号特征成像方法

s3.1根据bci采集系统坐标图提供的坐标信息提取nc导联的2d坐标点。获取的nc导联坐标信息记为

s3.2以在x、y坐标轴上的最大值、最小值组成的四个点(xmax，ymax)，(xmax，ymin)，(xmin，ymax)，(xmin，ymin)为边界，建立64*64像素分辨率的网格系统，记为g∈r^64*64。

s3.3将按照坐标信息插值映射到g∈r^64*64网格系统中，形成三张包含了特征信息与导联坐标信息的伪rgb三通道图像gf∈r^64*64，f∈{1，2，3}。

s4基于深度学习的图像特征提取与分类方法

s4.1采用dcnn与监督学习(supervisedlearning)方法构建图像特征提取与分类框架。图像输入层为gf∈r^64*64，f∈{1，2，3}，mi-eeg特征图，每次试验包含伪rgb三通道图像。

s4.2输入数据gf通过卷积层进行特征提取。网络共采用6段卷积，每段卷积包含若干卷积层，一层卷积结构包含v个神经元。数据输入层的对应关系可用下式表示：

其中，表示第e段，第l层卷积，第v个神经元。e∈{1，2，3…，6}，l∈{1，2，3…，ne}，ne表示e段卷积层总数，表示e段l层神经元总数。此处展示为输入层，故e＝1，l＝1。gf为输入信号，表示输入信号gfw与神经元连接的权重值，nw为卷积核宽度，sw＝1为卷积核在输入图像上的移动步长，表示神经元的内部状态即偏置值，为神经元的输出。f(a)表示了卷积核经过计算后的激活过程，使用线性整流函数(rectifiedlinearunit，relu)进行计算，计算式如下：

f(a)＝relu(a)＝max(0，a)

用于特征提取的卷积核移动步长为1，卷积后不改变图像像素分辨率，经过一次卷积操作的输入图像记为其中为第e段的第l层神经元总数，为通过第e段l层后的图像分辨率，此处使用x表示上一网络层的输出值，既共采用6段卷积进行特征提取，每段sw＝1的卷积不改变图像分辨率。

s4.3每段卷积的最后一层卷积核表示为其权重参数为其中nw＝2，sw＝2。经过卷积后，图像的长宽变为原先长度的1/2。既此处使用l*表示每段卷积的最后一层卷积层序号。

卷积层结构如表4.1所示：

表4.1卷积层模型结构

s4.4经过五段卷积后的特征图记为使用第六段sw＝2的卷积核对进行卷积，最后得到no张特征图记为no等于数据集类别数量。

s4.5对使用平均池化层(averagepooling，ap)进行处理，最终每类数据可得到no个输出gapo(x)∈r^1×1，o∈{1，2，...，no}，其计算式如下：

s4.6卷积神经网络的输出值gapo(x)∈r^1×1，o∈{1，2，...，no}经过归一化指数函数(softmax函数)的计算得到归一化的概率值，即po(x)，o∈{1，2，...，no}，计算式如下：

s4.7获得输入的mi-eeg特征图所属类别的概率分布po(x)，o∈{1，2，...，no}后，使用交叉熵(crossentropy)作为损失函数进行监督学习，其计算式如下：

其中，o为分类数，p(gfw)为输入图像所属类别的概率分布，由先验标签信息给出，po(x)由dcnn输出概率分布获得。

s4.8通过监督学习的方法，使网络权重参数梯度延最小化损失函数的方向下降，直至训练完成，其计算式如下：

argmin[losscf(x)]，

其中，e∈{1，2，3…，6}，l∈{1，2，3…，ne}，

s4.9采用批处理(batching)的梯度下降方式，每个批量(batchsize)的图像求得losscf(x)后进行加和，对网络参数求一次梯度，根据链式法则求得偏导数，对卷积核权重参数进行梯度更新，其计算式如下：

其中，e为卷积段序号，l为卷积层序号，v为神经元序号，η为学习率，表示一次梯度更新的速度。通过批量的训练和梯度更新使网络能够拟合mi-eeg特征图的概率分布，从而可以自行输出给定mi-eeg特征图的类别概率分布.

s4.10测试过程中，对于第i次实验生成的mi-eeg特征图gftesti，w∈r^64×64，i∈{1，2，3，···，nm}，w∈{1，2，3}，网络都能给出其对应的类别概率分布ptesti，o(x)，i∈{1，2，3，…，nm}，o∈{1，2，...，no}，取最大概率类别作为特征图分类结果，记为labeltesti(x)，i∈{1，2，3，…，nm}。labeli(x)，i∈{1，2，3，…，nm}为真实样本标签，使用分类准确率accuracy(x)作为评价指标。准确率计算式如下：

其中，i为实验序号。

与现有技术相比，本发明具有以下优点：

(1)本发明通过频域逆变换的方式提取时域功率特征，有助于展现信号能量特征差异，有利于提高识别率。克服了传统模式识别方法在进行特征提取阶段使用频率功率谱作为mi-eeg信号特征时特征数值差异不明显，分类准确度不高的缺点。

(2)本发明对脑电信息进行成像的过程中，综合利用了mi-eeg信号时-频-空的特点，通过引入bci采集系统原始坐标信息进行成像，使得信号特征表达更为充分。而且，插值成像的方式能够按卷积神经网络的结构参数调整图像分辨率，整体结构适应性好，与识别方法匹配度高。

(3)本发明对卷积神经网络进行改进，使用带步长的卷积核代替了最大池化层后，增加了训练过程的稳定性，减少了特征损失，最大程度利用了原始成像图的特征信息，在特征提取和模型泛化能力上均有较大性能提升，应用于运动想象脑电信号的识别领域有助于识别率的提升。

本发明适合多导联、复杂运动想象任务的bci系统，将为bci技术提供更加广阔的应用前景。采用十次十折交叉验证得到平均分类识别率，验证了本方法的正确性和有效性。

附图说明

图1bci2000系统64导联分布图。

图2本方法的流程图。

具体实施方式

本发明具体实验是在ubuntu(64位)操作系统下的tensorflow框架中进行的，卷积神经网络训练在英伟达gtx1080ti显卡上完成。

本发明采用的mi-eeg数据集来源于bci2000采集系统的公开数据库，由开发者使用国际标准的10-10导联bci2000系统的64个导联电极帽采集完成。采样频率为160hz。头皮层电极位置分布如图一所示。

每次实验持续5s。0～1s为静息状态期，屏幕出现一个十字光标，同时t＝0s时发出短促的报警声；1s～4s为运动想象期，在屏幕的上方或下方出现提示光标，若光标在上方，则受试者想象双手运动；若光标出现在下方，则受试者想象双脚运动。bci2000想象运动数据集共采集了109位受试者的运动想象脑电信号，每个受试者共45次实验(两种运动想象任务数量大致相等)，一次实验共800个采样点。通过对数据进行筛选，剔除了4位数据采集长度不一致的受试者后，共获得105位受试者的4702组实验，其中想象双手运动实验2351组，想象双脚运动实验2351组。

基于上述的运动想象脑电数据集，采用图二所示算法流程，本发明具体的实施步骤如下：

s1mi-eeg信号预处理

s1.1根据每类任务类别标签信息(想象双手o＝0，想象双脚o＝1)提取105位受试者每类运动想象单次实验xm，i∈r^64×800，其中m∈{1，2，3，...，64}，i∈{1，2，3，…，4702}，共获4702组mi-eeg。

s1.2截取每次实验0～1s，序列长度为160的静息状态期的脑电信号对mi-eeg进行基线校正，得到预处理后的运动想象脑电信号，记为x′m，i∈r^64×640。

s2基于快速傅里叶变换的mi-eeg信号特征提取

s2.1将一次实验的640个采样点按顺序等分为8个窗口，每个窗口x^dm，i，j∈r^64×80。

s2.2将每个窗口补0，使长度达到1024。补0后的窗口为x^wm，i，j∈r^64×1024。

s2.3对x^wm，i，j∈r^64×1024进行快速傅里叶变换(fft)得到长度为1024的频域序列x^fm，i，j∈r^64×1024。

s2.4将x^fm，i，j∈r^64×1024在8～13hz、13～21hz、21～30hz频率段上的采样点分别取出，得到x^fm，i，j，1∈r^64×38，x^fm，i，j，2∈r^64×52，x^fm，i，j，3∈r^64×57。

s2.5分别对x^fm，i，j，1∈r^64×38，x^fm，i，j，2∈r^64×52，x^fm，i，j，3∈r^64×57进行快速傅里叶逆变换(ifft)，得到xⁱm，i，j，1∈r^64×38，xⁱm，i，j，2∈r^64×52xⁱm，i，j，3∈r^64×57。

s2.6对每个时域序列的没个采样点求平方后取平均，得到平均功率值x^pm，i，j，f∈r⁶⁴，f＝{1，2，3}。

s2.7将每个序列8个窗口的平均功率值取平均，得到

s3mi-eeg信号特征成像

s3.1根据bci2000系统导联分布图得到2d坐标信息m∈r^2×64。

s3.2取其在x、y轴上的最大、最小值组成的四个点为边界，建立64×64像素分辨率的网格系统，g∈r^64*64。

s3.3将限据m∈r^2×64插值映射到g∈r^64×64网络中，得到伪rgb三个通道图像gf∈r^64*64，f∈{1，2，3}。

s4基于深度学习的图像特征提取与分类

s4.1卷积神经网络的输入图像为伪rgb三通道mi-eeg特征图gf∈r^64*64，f∈{1，2，3}。

s4.2图像从输入层开始，经过六段卷积的特征提取与降维后，其分辨率分别为和

s4.3将得到的两张特征图进行平均池化处理，获得两个输出。

s4.4将上述输出gap1(x)和gap2(x)经过soft-max函数计算，得到两个归一化的概率值p1(x)和p2(x)。

s4.5根据p1(x)、p2(x)及图像类别先验信息p(gf)，计算交叉熵losscf。

s4.6训练测试过程中，训练集和验证集采用9：1比例划分，训练组包括4232组数据(不能整除的2组数据分在训练组中)，测试组包括470组数据。训练dcnn时，将batchsize设为256，学习率设为η＝0.00001，使用adam优化器对批处理的梯度下降过程进行控制，使梯度延交叉熵losscf减小的方向变化，通过反向传播对神经网络参数进行梯度更新。经过step＝30000次训练迭代，最终losscf稳定在0.35左右，训练完成。

s4.7使用包含了470组数据的测试数据集对模型进行性能评估，测试十次后的平均准确率为95.5％。