一种基于深度学习的P300事件相关电位分类识别方法与流程

本发明属于医学及生理信号检测与处理分析技术领域，涉及到脑电信号中p300事件相关电位的分类识别方法，特别涉及到利用深度学习对p300事件相关电位分类识别方法。

背景技术

在字符拼写脑机接口(bci)系统中，通过检测脑电信号中与人类认知相关的p300事件相关电位，进而来实现字符拼写功能。如果能高效准确地分类识别p300事件相关电位，这将有助于bci系统的实际应用。早期的研究应用传统的信号处理分析方法，提取信号的最大幅度差，波形面积等特征送到分类器进行分类识别，但是方法过于简单，存在着分类识别正确率较低的问题。kaper等人用支持向量机(supportvectormachine，svm)作为p300信号分类器，通过训练分类器，直接对采集到的eeg信号进行分类识别，其p300电位的识别正确率有所提高，但并不是非常理想。li将经过独立成分分析(independentcomponentanalysis，ica)去除伪迹后的数据送入svm分类器中提高分类效果，进而提高了字符识别正确率。虽然经过ica预处理后的信号更容易准确识别，但是在数据预处理上需要消耗一定的时间。目前，也有一些研究者研究基于深度学习的p300时间相关电位识别，虽然分类正确率比传统的机器学习方法好一些，但是在减少实验次数的条件下，其分类识别的正确率依然需要提高。

技术实现要素：

本发明的主要目的是的是为了解决现有技术的问题，提供一种基于深度学习的p300事件相关电位分类识别方法。

本发明采用的技术方案为：

一种基于深度学习的p300事件相关电位分类识别方法，该方法通过在对视觉刺激下脑电信号预处理的基础上，用深度学习构建p300事件相关电位的分类器，通过有监督的训练网络，使得网络输出当前信号含有p300事件相关电位的概率，进而结合实验范式完成对字符的识别。包括以下步骤：

a.对视觉刺激下的脑电信号进行预处理

a1.视觉刺激下，获得脑电数据。利用巴特沃斯滤波器对视觉刺激下的脑电信号进行滤波，滤除工频干扰和肌电干扰等噪声。

a2.利用叠加平均法对步骤a1处理后的数据进行数据增强，获取更多的含有事件相关诱发电位的脑电信号。

a3.对a2所得信号进行零均值，单位方差归一化处理。

a4.对a3所得信号进行时域截断，为p300事件相关电位和非p300事件相关电位制作对应的监督信号。

b.构建能够分类识别p300事件相关电位的深度学习网络

b1.将预处理后的脑电信号及其对应的监督信号划分成训练集和测试集。

b2.对深度学习中传统的卷积神经网络进行改进，将传统卷积神经网络中第三层串行连接卷积层变成3个不同的并行连接的卷积层，并将改进的卷积神经网络作为p300视觉诱发电位的分类判决器，并利用该网络预测脑电信号中含有p300事件相关电位概率。

c.字符分类识别，利用网络输出概率和实验范式确定字符的类别。

由步骤b得到输入的脑电信号包含p300事件相关电位的概率，根据公式(3)确定视觉刺激器中诱发出事件相关电位的行号和列号，最终确定预测的目标字符。

其中，p(k,i)为n次实验中网络的输出概率，其中k表示实验序号，i是对应行号或列号。搜索概率最大的列和行即为预测的目标字符的位置(x,y)。

所述的a2中对脑电数据的数据增强方法。由于受实验范式限制，采集到的脑电数据中含有p300事件相关电位的脑电数据较少，因此将不同时刻刺激的事件相关电位进行一次叠加平均，仿真头皮中检测到的含有p300事件相关电位的脑电数据以平衡不同类别的数据。

所述的b2中对深度学习传统的卷积神经网络改进方法，结合inceptionv1网络发明一种适用于脑电信号分析处理的网络cnn_l，网络结构如附图2所示，网络共有七层，第一层是输入层，载入输入数据；第二层是一个卷积核大小与信号通道数量相等的卷积层，相当于对输入数据做空域滤波；第三层中将串行连接卷积层改成三个卷积核大小不同的并行连接的卷积层，相当于在不同的时间尺度上做时域滤波，增加模型特征提取能力；第四层是连接层，用于整合第三层得到的特征图；第五层是一个池化层，用于减少网络参数，防止小数量训练样本产生过拟合问题；第六层是一个卷积层，用于提取更加抽象的特征；第七层是一个全连接层，将第六层得到的特征经过加权计算后得到当前输入脑电信号被网络判决成p300事件相关电位的概率。将深度学习中改进的卷积神经网络作为分类模型，使用交叉熵作为代价函数，adam参数优化方法更新参数，并运用dropout，正则化等训练技巧训练网络。

本发明的有益效果为：本发明提供的方法可以实现在减少实验次数的条件下，对脑电信号中p300事件相关电位进行分类识别，从而有效提高字符识别正确率，有助于字符拼写bci系统的实际应用。

附图说明

图1是本发明的基于深度学习的p300事件相关电位分类识别的系统框图。

图2是本发明中改进的卷积神经网络的结构图。

图3是本发明的方法测试样本在不同实验次数下字符识别正确率的曲线图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清晰，以下结合本发明的技术方案和附图作进一步详细描述：

基于深度学习的p300事件相关电位分类识别的方法，其系统总体框图如图1所示。该方法可分为三个环节，分别为：信号预处理，构建分类网络与字符识别。其中，信号预处理部分用于对检测得到的脑电信号用滤波器滤除一些伪迹和噪声干扰，并利用数据扩增技术扩充数据样本。构建分类网络的作用是构建出能够预测输入的脑电信号中含有p300事件相关电位的概率的网络。字符识别的作用是结合实验范式利用网络的输出识别字符。具体步骤如下：

步骤a.对在视觉刺激下采集得到的脑电样本信号进行预处理。主要包括如下步骤：

a1.受试者面前放有一个由36个字符构成的6行×6列的矩阵视觉刺激器，受试者紧盯视觉刺激器中的目标字符，一次实验中，视觉刺激器以固定频率随机遍历闪烁所有行和列，共计闪烁12次，每次闪烁都会使大脑产生相应的脑电信号。脑电信号由符合10/20国际标准的64导联记录得到。每个样本数据大小为240×64，其中240代表单个样本数据时域上的采样点数，64代表单个样本数据的通道数。首先设计一个3阶截止频率为0.1hz的高通滤波器和一个6阶截止频率为20hz的低通滤波器，将原始信号按通道依次通过两个滤波器，以去除工频干扰和一些伪迹。

a2.受实验范式限制，一次实验对应一个目标字符，每个目标字符实验15次，共计185个字符。而一次实验所获得的12个样本数据中只有2个样本数据含有事件相关电位，这样会导致数据不平衡。因此对事件相关电位的数据进行数据扩增。将不同时刻刺激的事件相关电位进行一次叠加平均，仿真头皮中检测到的含有p300事件相关电位的脑电数据。

a3.对所得信号做归一化处理。由于预先归一化处理的数据会加快深度学习网络的训练速度和提升网络的分类识别能力，因此需要对获取的脑电信号xi,j按通道做零均值，单位方差的归一化处理。其变换式为：

式中，i代表时间轴上的采样点数，j代表eeg信号的通道数，代表第j通道的所有样本点的平均，σj代表第j通道上样本点的方差。

a4.对a3所得信号进行时域截断，由于事件相关电位出现在刺激后300ms左右，因此每个通道的数据长度只取0-667ms，即160个采样点。使用深度学习网络对脑电信号进行有监督的训练，因此需要分别对含有p300事件相关电位和不含有p300事件相关电位的脑电信号进行区分，按照式(2)制作相对应的监督信号y。

步骤b.构建能够分类识别p300事件相关电位的深度学习网络。

所述步骤b具体包括如下步骤：

b1.将预处理后的脑电信号及其对应的监督信号划分成训练集和测试集，训练集包含85个字符，共计25500个样本数据，每个样本数据大小为160×64的矩阵，用于训练网络参数。其中160代表每个样本采样点数，64代表信号通道数。测试集包含100个字符，共计18000个样本数据，用于测试网络性能。

b2.对传统的卷积神经网络进行改进，结合inceptionv1网络发明一种适用于脑电信号分析处理的网络cnn_l，网络结构如附图2所示。网络共有七层，第一层是输入层，载入输入数据。第二层是一个卷积核大小与信号通道数量相等的卷积层，相当于对输入数据做空域滤波。第三层中将串行连接卷积层改成三个卷积核大小不同的并行连接的卷积层，相当于在不同的时间尺度上做时域滤波，增加模型特征提取能力。第四层是连接层，用于整合第三层得到的特征图。第五层是一个池化层，用于减少网络参数，防止小数量训练样本产生过拟合问题。第六层是一个卷积层，用于提取更加抽象的特征。第七层是一个全连接层，将第六层得到的特征经过加权计算后得到当前输入脑电信号被网络判决成p300事件相关电位的概率。将深度学习中改进的卷积神经网络作为分类模型，使用交叉熵作为代价函数，adam参数优化方法更新参数，并运用dropout，正则化等训练技巧训练网络。

步骤c.一次实验中，由步骤b可得输入的脑电信号包含p300事件相关电位的概率，进而可由式(3)确定视觉刺激器中诱发出事件相关电位的行号和列号，最终确定预测的目标字符。然而一次实验并不能准确的判断目标字符的位置，因次需要累加n次实验中网络的输出概率p(k,i)，其中k表示实验序号，i是对应行号或列号。搜索概率最大的列和行即为预测的目标字符的位置(x,y)，进而计算网络对字符的识别正确率。

通过与原始目标字符作比较，进而得出不同实验次数条件下字符识别正确率。图3给出了使用本发明方法时，测试样本在不同实验次数下字符识别的正确率。从图中可以看出，在实验次数大于11次时，本发明方法的字符识别率均超过95％，而且在实验次数大于9次时，本发明方法的字符识别正确率均超过90％。可以说在减少实验次数的条件下，本发明方法对字符识别的正确率也有所提高。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。