一种基于卷积神经网络的脑电信号EEG身份识别方法与流程

本发明涉及脑电身份识别
技术领域：
，具体涉及一种基于卷积神经网络的脑电信号eeg身份识别方法。
背景技术：
脑电领域的相关研究可以追溯到20世纪末，poulosm(1999)使用fft提取脑电信号特征，并用lvq神经网络进行身份识别分类；poulosm(2002)使用线性ar模型提取脑电信号特征，用lvq神经网络进行身份识别分类；mohammadig(2006)使用线性ar模型提取脑电信号特征，利用竞争神经网络进行身份识别分类；palaniappanr(2007)使用脑电信号的功率作为特征，并使用bp神经网络，knn进行身份识别分类；htouyama(2009)使用pca对脑电信号进行降维处理，使用降维后的脑电数据作为特征，使用lda进行身份识别分类；laroccad(2012)使用ar模型提取脑电信号的特征，使用polynomialbasedclassification进行身份识别分类；liews(2015)计算脑电信号的相干性、互相关、振幅均值作为特征，使用frnn进行身份识别分类；muz(2016)使用模糊熵提取脑电信号的特征，使用bp神经网络进行身份识别分类；上述的特征提取方法大多数都是基于信息处理领域的信号处理算法，例如：提取脑电信号中的ar参数、fz-ar参数、功率谱(psd)、模糊熵等，而这些特征提取算法往往需要脑电信号是一个平稳随机信号，但是，在实际中的脑电信号是非平稳随机信号，而且在一些特征提取算法中也存在模型定阶等问题，例如ar模型等，阶数的确定会影响特征提取的效果，而阶数的确定大多数是基于人为确定，因此使用传统的特征提取算法来提取eeg的特征具有一定的缺陷。通常采集到的eeg数据是一个多维时间序列集，即由各个头皮电极上的时间序列构成的数据集，因此eeg是一个高维度的数据集，而在选择哪些头皮电极数据来进行研究的问题中，在以往eeg论文中有以下几种做法：(1)把每个头皮电极当做是独立的，对每个头皮电极的数据进行特征提取，最后再对每个头皮电极的实验结果进行平均，但是，这种做法忽略了每个头皮电极之间可能存在互相影响的关系；(2)按照经验或者穷举法来选择组合多个头皮电极，这种做法弥补了方法(1)的缺陷，但是，在实际应用过程中，这种做法所需要的时间远远小于方法(1)，而且凭借经验选择电极组合，缺乏一定的客观性和科学性。以往对脑电信号这一个高维数据进行降维或者特征提取的做法中，大多数使用的是pca、自回归模型等无监督算法进行降维或者特征提取，但是，使用这些算法有以下缺点：即可能会把我们需要的特征给舍弃，或者赋予较低权重，从而使得分类器精度下降。技术实现要素：本发明的目的在于克服现有技术的缺点与不足，提供一种基于卷积神经网络的脑电信号eeg身份识别方法，传统的身份识别手段存在着可分离性，会造成遗失、胁迫、仿制、冒用、被破译等现象，而静息态脑电信号(eeg)具有隐蔽性、不可窃取性、不可仿制性、不可胁迫性以及必须活体等独特的优势，将其应用于身份识别中，可以弥补传统身份识别手段的缺陷，以往基于信息处理领域的脑电信号特征提取算法存在一定的缺陷和限制，而且大多数为无监督特征提取算法，而该方法是有监督特征提取算法，而且能克服前者的缺陷，突破限制，使特征提取的过程更加具有科学性和客观性，提高身份识别的精度。本发明的目的通过下述技术方案实现：一种基于卷积神经网络的脑电信号eeg身份识别方法，包括下述步骤：s1，设计身份识别的脑电数据采集实验方案；设一个周期有三张测试图片和三张全黑色的过渡图片，测试图片用时t1，过渡图片用时t2，每个周期中的测试图片分别为红、绿、蓝三原色，且红、绿、蓝三原色出现的顺序随机，则一个周期用时3t1+3t2，每个被试者测试n个周期，共用时n(3t1+3t2)；设置过渡图片的目的是为了消除在切换测试图片时产生的视觉残留；s2，脑电数据的采集；被试者戴上脑电帽静坐于电脑屏幕前，当屏幕开始按照s1的实验方案显示图片时，脑电采集设备开始采集被试者观看屏幕时的脑电信号；脑电采集设备的采样频率为vhz；s3，脑电数据的预处理；提取被试者在认知任意一张测试图片的脑电信号作为身份识别分类的脑电信号，具体步骤如下：s3.1，通过eeglab观察所采集的脑电信号，剔除与本实验无关或者因设备原因损坏的头皮电极；设剔除后的头皮电极个数为k；s3.2，对所采集的原始脑电信号进行fir滤波，剔除会成为噪声的眼电信号，同时提取出delta(0.5hz-4hz)、theta(4hz-8hz)、alpha(8hz-14hz)、beta(14hz-30hz)、gamma(30hz-45hz)和all(0.5hz-45hz)这六个频段的脑电数据用于实验；s3.3，为了消除不同头皮电极可能存在的不同量纲影响，对s3.2中所提取的每个频段的脑电数据进行归一化处理，归一化后的每份脑电数据为k行t1×v列的脑电信号矩阵；s4，建立卷积神经网络；卷积神经网络的结构如下所示：(1)输入层：维度为k行t1×v列，用于输入数据；(2)第一卷积层：卷积核尺寸为3×3，卷积核数量为n1，对输入层的输出数据进行局部特征提取；(3)第一池化层：池化核尺寸2×2，对第一卷积层的输出数据进行max池化；(4)第二卷积层：卷积核尺寸为3×3，卷积核数量为n2，对第一池化层的输出数据进行局部特征提取；(5)第二池化层：池化核尺寸2×2，对第二卷积层的输出数据进行max池化；(6)第三卷积层：卷积核尺寸为3×3，卷积核数量为n3，对第二池化层的输出数据进行局部特征提取；(7)第三池化层：池化核尺寸2×2，对第三卷积层的输出数据进行max池化；(8)第四卷积层：卷积核尺寸为3×3，卷积核数量为n4，对第三池化层的输出数据进行局部特征提取；(9)第四池化层：池化核尺寸2×2，对第四卷积层的输出数据进行max池化；(10)flatten层：将第四池化层输出的二维矩阵转变为一维矩阵；(11)全连接层：与flatten层进行全连接，神经元数目为n5；(12)输出层：与全连接层进行全连接，神经元数目为被试者的个数，每个神经元分别代表识别为对应的被试者的概率；s5，身份的识别分类；从预处理后的脑电数据中进行随机不重复采样，采取70％的样本作为卷积神经网络的训练集，采取30％的样本作为测试集；在卷积神经网络的训练过程中，选择基于多分类的对数损失函数作为模型训练的损失函数；选择adam方法，在每次迭代训练后，根据卷积神经网络在训练集上的loss值，调整卷积神经网络中每层神经网络的参数；使用测试集，对已训练的卷积神经网络进行身份识别分类测试。本发明与现有技术相比具有以下的有益效果：(1)本发明利用静息态脑电信号(eeg)所具有的隐蔽性、不可窃取性、不可仿制性、不可胁迫性以及必须活体等独特的优势，将其应用于身份识别中，可以弥补传统身份识别手段的缺陷；(2)本发明不需要很多先验知识以及手工提取特征，能够直接对复杂的数据逐级抽取特征，同时能够准确提取特征的局部相关性，提高特征提取的准确度，也不存在易陷入极值问题；(3)本发明将每个头皮电极组合起来形成一个二维的电极-时间序列图，利用卷积神经网络进行脑电信号的特征提取并分类，在考虑每个头皮电极之间可能存在互相影响关系的前提下，解决了将高维度eeg信号在应用分类器中的维度问题；(4)本发明在特征提取的过程中是有监督的，即在训练过程中，会根据分类器的分类结果，自顶向下对其他层的神经元进行微调，令eeg特征提取过程更加高效；(5)本发明研究出了与身份识别最相关的脑电频段。附图说明图1为本发明的整体流程图；图2为本发明的身份识别的脑电数据采集实验方案示意图；图3为本发明的卷积神经网络示意图。具体实施方式下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。如图1～3所示，一种基于卷积神经网络的脑电信号eeg身份识别方法，包括下述步骤：步骤一，设计身份识别的脑电数据采集实验方案；设一个周期有三张测试图片和三张全黑色的过渡图片，测试图片用时t1，过渡图片用时t2，每个周期中的测试图片分别为红、绿、蓝三原色，且红、绿、蓝三原色出现的顺序随机，则一个周期用时3t1+3t2，每个被试者测试n个周期，共用时n(3t1+3t2)；设置过渡图片的目的是为了消除在切换测试图片时产生的视觉残留；具体来说，设一个周期有三张测试图片和三张过渡图片(全黑)，测试图片用时1s，过渡图片用时0.2s，每个周期中的测试图片为rgb三原色，且每张测试图片出现的顺序随机，因此一个周期是3.6s，每个被试者测试200个周期，即720s(12min)；步骤二，脑电数据的采集；参与实验的被试者个数为6人(3个男性，3个女性)，他们的年龄在19岁到22岁之间，均无神经或精神上的疾病史，实验前亦无使用药物；被试者戴上脑电帽静坐于电脑屏幕前，当屏幕开始按照步骤一的实验方案显示图片时，脑电采集设备开始采集被试者观看屏幕时的脑电信号；脑电采集设备的采样频率为vhz；脑电采集设备为brainproduct，brainampmrplus型放大器，采用64导电极帽连续记录脑电信号；步骤三，脑电数据的预处理；提取被试者在认知任意一张测试图片的脑电信号作为身份识别分类的脑电信号，具体步骤如下：(1)通过eeglab(eeglab是matlab的一个交互式工具箱，用于处理连续、与事件相关的脑电信号eeg，可进行独立成分分析，时域/频域分析，人造噪声抑制，事件相关统计，有多种面向平均或者单次实验数据的可视化模式)观察所采集的脑电信号，剔除与本实验无关或者因设备原因损坏的头皮电极；设剔除后的头皮电极个数为k；具体来说，剔除与实验无关和损坏的头皮电极(′fp1′′fp2′′f4′′f8′′fz′′pz′′heol′′heor′′m2′′f6′)，剔除后的头皮电极数为54；(2)对所采集的原始脑电信号进行fir滤波，剔除会成为噪声的眼电信号，同时提取出delta(0.5hz-4hz)、theta(4hz-8hz)、alpha(8hz-14hz)、beta(14hz-30hz)、gamma(30hz-45hz)和all(0.5hz-45hz)这六个频段的脑电数据用于实验；(3)为了消除不同头皮电极可能存在的不同量纲影响，对步骤三(2)中所提取的每个频段的脑电数据进行归一化处理，归一化后的每份脑电数据为k行t1×v列的脑电信号矩阵；具体来说，每个频段的脑电数据归一化后形成54行500列的矩阵；步骤四，建立卷积神经网络；卷积神经网络的结构如下所示：(1)输入层：维度为k行t1×v列，用于输入数据；(2)第一卷积层：卷积核尺寸为3×3，卷积核数量为n1，对输入层的输出数据进行局部特征提取；(3)第一池化层：池化核尺寸2×2，对第一卷积层的输出数据进行max池化；(4)第二卷积层：卷积核尺寸为3×3，卷积核数量为n2，对第一池化层的输出数据进行局部特征提取；(5)第二池化层：池化核尺寸2×2，对第二卷积层的输出数据进行max池化；(6)第三卷积层：卷积核尺寸为3×3，卷积核数量为n3，对第二池化层的输出数据进行局部特征提取；(7)第三池化层：池化核尺寸2×2，对第三卷积层的输出数据进行max池化；(8)第四卷积层：卷积核尺寸为3×3，卷积核数量为n4，对第三池化层的输出数据进行局部特征提取；(9)第四池化层：池化核尺寸2×2，对第四卷积层的输出数据进行max池化；(10)flatten层：将第四池化层输出的二维矩阵转变为一维矩阵；(11)全连接层：与flatten层进行全连接，神经元数目为n5；(12)输出层：与全连接层进行全连接，神经元数目为被试者的个数，每个神经元分别代表识别为对应的被试者的概率。具体来说，输入卷积神经网络的二维数据为54×500的脑电信号矩阵；第一卷积层的卷积核大小为3×3，卷积核数量为4，第一池化层滤波器的大小为2×2；第二卷积层的卷积核大小为3×3，卷积核数量为8，第二池化层滤波器的大小为2×2；第三卷积层的卷积核大小为3×3，卷积核数量为16，第三池化层滤波器的大小为2×2；第四卷积层的卷积核大小为3×3，卷积核数量为32，第四池化层滤波器的大小为2×2；flatten层(flatten层即将一个多维矩阵转换为一个一维矩阵)，将第四池化层的输出变为一维矩阵；其中，最后两层是两个全连接层，第一个全连接层与flatten层进行全连接，其神经元个数为128个；第二个全连接层的神经元个数为6，每个神经元分别代表识别为对应的被试者的概率；步骤五，身份的识别分类；从预处理后的脑电数据中进行随机不重复采样，采取70％的样本作为卷积神经网络的训练集，采取30％的样本作为测试集；在卷积神经网络的训练过程中，选择基于多分类的对数损失函数(该函数如下：)作为模型训练的损失函数；选择adam方法(adam方法的具体步骤如下：1、初始化步长；2、初始化矩估计的指数衰减速率；3、初始化用于数值稳定的小常数；4、初始化bp神经网络中每层网络的参；5、初始化一阶和二阶矩变量；6、初始化步数；7、从训练集中随机采样q个样本，计算loss函数的梯度；8、更新有偏一阶矩估计；9、更新有偏二阶矩估；10、修正一阶矩偏差；11、修正二阶矩偏；12、计算各参数更新幅；13、参数更；14、若满足停止准则则退出，否则返回步骤7，继续更新参数)，在每次迭代训练后，根据卷积神经网络在训练集上的loss值(loss值是由基于多分类的对数损失函数计算所得的值)，调整卷积神经网络中每层神经网络的参数；使用测试集，对已训练的卷积神经网络进行身份识别分类测试。为了使估计结果稳定可靠，实验重复进行多次，在保持数据分布的一致性和不重复选取样本的条件下，随机选取样本构建训练集和测试集，如下表1和表2所示：表1：训练集情况样本个数总占比一号被试者84070％二号被试者84070％三号被试者84070％四号被试者84070％五号被试者84070％六号被试者84070％表2：测试集情况样本个数总占比一号被试者36030％二号被试者36030％三号被试者36030％四号被试者36030％五号被试者36030％六号被试者36030％身份识别分类验证：卷积神经网络的输出矩阵的每个数值代表该测试样本识别为对应被试者的概率，取概率最大的被试者作为该测试样本的识别结果。为了提供一种更直观、更容易理解的评估方法，使用了以下方程组来评估身份识别结果：tp表示正确识别为本人的个数，fp表示错误识别为本人的个数，fn表示错误识别为他人的个数；查全率表示本人样本有多少个被预测正确，查准率表示预测结果为本人的样本中有多少个是真正的本人。结果如下表所示：查准率1st2nd3rd4th5thaverageall60.90％63.30％69.90％62.60％77.50％66.84％delta64.30％58.80％65.90％62.30％63.20％62.90％theta62.00％67.00％63.00％57.90％59.60％61.90％alpha74.30％80.00％73.50％84.20％73.10％77.02％beta92.70％91.60％93.50％93.80％94.20％93.16％gamma98.10％97.90％98.60％96.50％96.10％97.44％查全率1st2nd3rd4th5thaverageall59.20％59.20％55.00％54.20％76.70％60.86％delta60.80％56.70％64.20％61.90％55.80％59.88％theta60.80％58.30％59.20％56.40％55.80％58.10％alpha71.40％75.00％69.20％79.20％71.90％73.34％beta92.50％91.20％93.30％92.50％94.20％92.74％gamma98.10％97.80％98.60％96.40％95.80％97.34％从上述表格可以得出，使用基于卷积神经网络的脑电信号eeg身份识别方法，其查准率最高为98.60％，查全率最高为98.60％，与脑电身份识别最相关的脑电频段是gamma波段，其平均查准率为97.44％，平均查全率为97.34％，因此，该方法可应用于要求高隐蔽性、不可窃取性、不可仿制性、不可胁迫性以及必须活体的身份识别场景中。本发明利用静息态脑电信号(eeg)所具有的隐蔽性、不可窃取性、不可仿制性、不可胁迫性以及必须活体等独特的优势，将其应用于身份识别中，可以弥补传统身份识别手段的缺陷；不需要很多先验知识以及手工提取特征，能够直接对复杂的数据逐级抽取特征，同时能够准确提取特征的局部相关性，提高特征提取的准确度，也不存在易陷入极值问题；将每个头皮电极组合起来形成一个二维的电极-时间序列图，利用卷积神经网络进行脑电信号的特征提取并分类，在考虑每个头皮电极之间可能存在互相影响关系的前提下，解决了将高维度eeg信号在应用分类器中的维度问题；在特征提取的过程中是有监督的，即在训练过程中，会根据分类器的分类结果，自顶向下对其他层的神经元进行微调，令eeg特征提取过程更加高效；研究出了与身份识别最相关的脑电频段。上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。当前第1页12