一种基于时空联合MLP网络的脑电信号分类方法及应用

一种基于时空联合mlp网络的脑电信号分类方法及应用
技术领域
1.本发明涉及脑电信号分类领域，具体的说是一种联合多通道脑电信号的时间和空间信息的mlp网络对脑电信号进行预测分类的方法。


背景技术：

2.脑电图(eeg)是一种用于记录大脑生理电信号的生理学技术。从头皮和颅内脑电图中观察到的神经活动模式来识别和预测生理和心理状态被广泛应用于情绪识别、运动想象、医疗健康等脑机接口领域。使用传统的机器学习方法手动提取的线性或非线性特征，例如自回归系数和李亚普诺指数等，这些传统的方法在严格控制的实验环境下取得了一定的成功。然而，这些手动提取的特征往往需要研究人员具备丰富的专业知识和进行大量的实验尝试。此外，在被各种伪迹影响的真实的脑电记录中，手动提取的特征往往只会涵盖部分脑电信息，导致系统具有较差的鲁棒性。
3.深度学习算法因其出色的泛化能力和强大的自动学习高效特征的能力，激励了它在脑电信号分类预测中被广泛应用。目前，大多数用于脑电信号分类的深度学习方法都会先进行特征的预处理，如短时傅里叶变换、公共空间模式等。这些对原始脑电进行的预处理操作虽然可以获得更加“干净”的数据，但同时也可能会丢失一些重要的信息。近几年使用特征预处理和直接使用原始脑电信号的模型通常具有更复杂的架构和更大的核，导致需要更大的内存资源消耗及计算力。
4.目前，大多数的用于脑电信号分类的深度学习算法通常都是作为特征分类器来使用。研究者通过已有的专业知识，从脑电信号中提取时域特征，频域特征或者时频域特征，再使用深度学习算法来进行分类任务。虽然这种方法也取得了不错的分类性能，但是这种做法需要深厚的数理知识来用于提取特征，并且它忽视了深度学习算法强大的数据驱动能力。同时提取的特征虽然在某种程度上是更好的数据表示，但它也丢失了许多存在于原始多通道脑电数据中的空间关联信息和时间关联信息。也有少数使用端到端架构的深度学习算法，但是它们都没能充分的利用存在于多通道脑电信号中的空间关联信息和时间关联信息。由于诸多条件的限制，脑电信号的数据总量严重不足，这极大的限制了脑电信号的分类方法的发展。并且由于不同类别的脑电数据存在这严重的数据不平衡问题，这也使得分类方法的发展受到很大的限制。


技术实现要素：

5.本发明为克服以上所述不足之处，提出一种基于时空联合mlp网络的脑电信号分类方法及应用，以期能从原始脑电信号中提取多通道脑电的空间关联信息和时间关联信息并应用于多层感知器网络，从而能够显著提升脑电信号分类准确率，并增加脑电信号在医疗等领域的应用价值。
6.本发明为达到上述发明目的，采用如下技术方案：
7.本发明一种基于时空联合mlp网络的脑电分类方法的特点是按如下步骤进行：
8.步骤1、获取带有标注类别信息的脑电信号数据集，并对每种类别的脑电信号进行滑动切片处理，并重建切片后的脑电信号的输入形状，得到n段总时长为t的脑电信号样本，记为训练样本集x＝{x1,x2,...,xi,...,xn}，并将所述训练样本x的标签集记为y＝{y1,y2,...,yi,...,yn}；其中，xi∈rc×1×
l
表示输入形状重建后的第i段脑电信号样本，c表示脑电信号样本的通道数，l表示脑电信号样本的长度；yi为第i段脑电信号样本xi所对应的标签；
9.步骤2、建立基于时空联合mlp网络，包含：去噪加权模块、时空联合mlp模块、分类模块；
10.步骤2.1、所述去噪加权模块包括：去噪层，加权层和降维层；
11.所述去噪层包含一个手动设置的，元素值随机初始化的矩阵滤波器，所述去噪层首先通过快速傅里叶变换将训练样本集x＝{x1,x2,...,xi,...,xn}从时域转换到频域，再将变换到频域的训练样本集与可学习的矩阵滤波器相乘后，得去噪后的训练样本集，之后通过逆快速傅里叶变换将去噪后的训练样本集变换到时域，从而得到时域去噪脑电样本序列其中，表示去噪后的第i段时域脑电信号样本；
12.将脑电信号序列从三维转换到二维，从而得到二维去噪脑电样本序列其中，表示二维的第i段脑电信号样本；
13.所述加权层包含一个手动预置，对角元素值可学习的信道权重矩阵。所述加权层首先将二维脑电样本序列与所述信道权重矩阵相乘后，得到加权序列其中，表示信道加权后的第i段脑电信号样本；
14.所述降维层包含一组1
×
k卷积核，并对信道加权脑电样本序列的时间维(长度维)去除冗余信息，得到去冗脑电样本序列其中，表示去除冗余信息后的第i段脑电样本；
15.步骤2.2、时空联合mlp模块包括：信道间mlp层和信道内mlp层；
16.所述信道间mlp层依次包括：layer norm层，变换全连接层，gelu非线性激活函数和复原全连接层；
17.所述layer norm层对去冗脑电样本序列进行归一化处理后，再依次通过变换全连接层、gelu激活函数和复原全连接层的处理后，得到空间关联脑电样本序列其中，表示经过提取、整合和信道空间关联的第i段脑电信号样本；
18.所述信道内mlp层与所述信道间mlp层的结构相同，并对空间关联脑电样本序列进行归一化处理后，再依次通过变换全连接层、gelu激活函数和复原全连接层的处理后，得到时间信息脑电样本序列其中，表示经过通道内时间信息提取的第i段脑电信号样本；
19.步骤2.3、所述分类模块包括：一个平均池化层，一个全连接层和一个softmax层；
20.时间信息脑电样本序列依次经过所述平均池化层
和所述全连接层的处理后，得到每段脑电信号样本对应每种类别的分数，最后经过所述softmax层将每段脑电信号样本对应每种类别的分数转化为每种类别的概率值，并选取最大概率值作为每段脑电信号样本的预测分类结果；
21.步骤3、模型训练：
22.基于所述训练样本集x及其标签集y，采用交叉熵作为损失函数，并利用adam优化器对所述时空联合mlp网络进行训练，并计算所述损失函数的梯度用于更新网络参数，直到达到最大迭代次数或损失函数收敛为止，从而得到训练好的脑电信号分类模型；
23.步骤4、使用滑动平均滤波算法对模型的预测结果序列进行校准：
24.取第i段脑电样本xi及其后面的m-1段脑电样本{x
i+1
,x
i+2
,...,x
i+m-1
}中每段脑电信号样本对应的每种类别概率值的均值相应作为第i段样本的xi的每种类别概率值。
25.本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述脑电分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
26.本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述脑电分类方法的步骤。
27.与现有技术相比，本发明的有益效果在于：
28.1、本发明提出了一种新的端到端的基于mlp网络的脑电信号分类方法，该方法在进行脑电信号分类之前设计了一个去噪加权模块，其由三个独立的功能层组成包括：去噪层用于减少原始脑电信号中的多种伪迹噪声；加权层自动从多通道脑电中学习出更利于做出正确推断的通道，并通过赋予更大的权重来强化其利于正确分类得的作用；降维层用于剔除脑电信号中的冗余信息，从而提高了脑电信号分类结果的鲁棒性。
29.2、针对多通道脑电信号特性，本发明设计了时空联合的mlp模块，其有两个独立的功能层组成包括：信道间mlp层用于提取整合存在于不同通道脑电信号间的空间关联；信道内mlp层用于提取每一个通道脑电数据的时间信息，通过提取整合脑电信号的时间和空间关联信息，从而显著提升了模型的泛化性能。
附图说明
30.图1为本发明网络结构示意图；
31.图2为本发明中去噪加权模块示意图；
32.图3为本发明中时空交互mlp模块示意图；
33.图4为本发明中去噪层的输入和输出示意图(数据来源于chb-mit数据集受试者5)。
具体实施方式
34.本实施例中，一种基于时空交互mlp网络的脑电信号分类方法，首先通过去噪加权模块，降低脑电信号中的噪声，强化重要通道脑电信号的作用，剔除脑电信号中的冗余信息；再通过时空交互mlp模块，提取整合多通道脑电的空间关联和时间信息；经过分类模块将数据序列转化为预测结果，如图1所示，具体的说，该方法是按如下步骤进行：
35.步骤1、获取带有标注类别信息的脑电信号数据集，并对脑电信号进行数据选择，
得到c个通道的脑电信号，再通过滑动窗对c个通道的脑电信号进行切片，并重新构建切片后的脑电信号的输入形状，从而得到n段总时长为t的脑电信号样本，记为训练样本集x＝{x1,x2,...,xi,...,xn}，并将训练样本x的标签集y＝{y1,y2,...,yi,...,yn}；其中，xi∈rc×1×
l
表示输入形状重建后的第i段脑电信号样本，c表示脑电信号的通道数，l表示脑电信号样本的长度；yi为第i段脑电信号样本xi所对应的标签，在本实施例中，脑电信号通道数为22，滑动窗长为30s，脑电信号每秒采样率为256hz；本方法使用了两个公开的脑电数据集：chb-mit数据集和kaggle数据集；
36.步骤2、建立基于时空联合mlp网络，结构如图1所示，包含：去噪加权模块、时空联合mlp模块、分类模块；
37.如图2所示，去噪加权模块包括：去噪层，加权层和降维层。
38.去噪层包含快速傅立变换，逆快速傅立变换和一个可学习矩阵滤波器；加权层包含一个可学习的信道权重矩阵；降维层包含一组卷积核；
39.如图3所示，时空联合mlp模块包括：信道间mlp层和信道内mlp层。
40.信道间mlp层和信道内mlp层拥有相同架构包括一个layer norm层，一个变换全连接层，一个gelu非线性激活函数和一个复原全连接层，不同的是信道间mlp层作用于脑电数据的空间维度，信道内mlp层作用于脑电信号的时间维度；
41.分类模块包括：一个平均池化层，一个全连接层和一个softmax层。
42.步骤2.1、对模型参数进行初始化：
43.在训练开始前，对网络中的所有权重参数进行随机初始化；
44.步骤2.2、将重构后的切片样本xi∈rc×1×
l
输入到网络中，经过去噪加权模块的处理后，得到其中，cr和lr分别表示经过处理后的脑电样本的通道数和长度；
45.在本实施例中，去噪加权模块的实施过程如下：
46.首先将脑电数据x＝{x1,x2,...,xi,...,xn}经过快速傅里叶变换(fft)转换到频域得到频域脑电信号序列其中，表示频域的第i段脑电信号样本，将此频域脑电数据乘以一个手动预置的，元素值可学习的矩阵滤波器w1后得到频域去噪序列其中，表示第i段的频域去噪脑电信号样本，所述矩阵滤波器可以有效的减少脑电信号中的高频噪声伪迹，如图4所示，去噪层的输出相较于输入更加平滑，高频成分被有效去除。
47.通过逆快速傅里叶变换(ifft)将去噪后的频域数据转换到时域，得到时域去噪序列其中表示第i段时域去噪脑电信号样本；之后将三维的第二个维度去除得到二维的进而有二维去噪序列将此二维降噪序列输入到加权层，乘以一个手动预置的，对角元素值可学习的信道权重对角矩阵(每一个对角元素值对应于一个通道的信道权重值)，得到信道加权序列其中，表示第i段信道加权的脑电信号样本，加权层通过赋予含有重要信息的脑电通道更大的权重以强化其在脑电分类中的作用，表3展示了加权层学习到的部分信道权重值，将学习到的信道权重值大于等于0.6的信道定义为重要信道，对于chb-mit数据集中的21号受试者共有6个重要信道，其对于模型进行推断有着更加
重要的意义。
48.表3为本发明中加权层的权重值(数据来源于chb-mit数据集受试者21)。
49.channelloocv-1loocv-2loocv-3loocv-4u’fp1-f7’0.2330.2300.2250.213u’f7-t7’0.2120.2100.2060.202u’t7-p7’0.2020.2000.1980.191u’p7-o1’0.6000.5940.5940.591u’fp1-f3’0.5190.5120.5070.501u’f3-c3’0.5430.5360.5330.533u’c3-p3’0.8990.8990.8950.894u’p3-o1’0.2150.2160.2190.220u’fp2-f4’0.2940.2900.2890.286u’f4-c4’0.3020.3000.3000.297u’c4-p4’0.6580.6570.6550.653u’p4-o2’0.1220.1360.1420.146u’fp2-f8’0.4290.4180.4130.402u’f8-t8’0.2070.2060.2010.198u’t8-p8’05340.5330.5330.531u’p8-o2’0.4070.4200.4260.432u’fz-cz’0.7880.7970.8060.818u’cz-pz’0.4330.4330.4340.435u’p7-t7’0.9480.9440.9370.929u’t7-ft9’0.3170.3180.3160.315u’ft9-ft10’0.8110.8110.8040.803u’ft10-t8’0.5080.5090.5020.492
50.最后将信道加权后的脑电信号样本输入到降维层，使用一维卷积剔除脑电数据中的大量的冗余信息，提高模型的鲁棒性，得到去冗序列其中表示第i段去除冗余信息的脑电信号样本，计算如式(1)所示：
[0051][0052]
式(1)中，w1,w2,
…
,wn表示可学习的通道权重，conv1d表示一维卷积。
[0053]
步骤2.3、将去冗序列输入到时空联合mlp模块中以提取整合
时空特征，具体实施如下：将去冗序列首先输入到信道间mlp层中，先通过层标准化(ln)操作将去冗序列标准化，再通过变换全连接层扩展其通道数，再使用非线性激活函数gelu对数据进行非线性映射，提高网络对于脑电信号的非线性拟合能力，最后再通过复原全连接层将扩展的通道数还原到扩展前的通道数，通过以上操作实现提取整合多通道脑电信号通道间的空间关联，得到空间关联序列其中表示第i段经过提取整合信道间空间关联的脑电信号样本；
[0054]
信道内mlp层和信道间mlp层有着相似的内部结构，不同的是信道间mlp层作用在输入数据的通道维(空间维)，信道内mlp层作用在输入数据的长度维(时间维)。经过与信道间mlp层内相似的操作，信道内mlp层提取了多通道脑电信号每个通道内时间信息，得到时间信息序列其中表示第i段经过提取时间信息的脑电信号样本，该时空联合mlp模块计算如式(2)所示：
[0055][0056]
式(2)中，w2,w3,w4,w5表示全连接，ln表示层标准化，σ表示gelu非线性激活函数。
[0057]
步骤2.4、经过分类模块的处理后，输出第i段脑电样本xi的每类类别概率，从而可获得最终的分类结果；具体过程如下：
[0058]
将提取了空间关联和时间信息的时间信息脑电样本序列输入到分类模块，经过平均池化层处理后，得到时间降维序列其中，表示第i段时间维(长度维)降维的脑电样本，再通过全连接层对时间降维序列进行空间维降维后，得到类别分数序列其中，表示第i段脑电样本的每类类别分数，最后经过softmax层输出第i段脑电样本xi的每类类别概率，选取概率最大的一个类别作为最终的分类结果，计算过程如式(3)所示：
[0059][0060]
式(3)中，f
averagepooling
(
·
)表示平均池化，f
softmax
(
·
)表示softmax
[0061]
步骤3、模型训练：
[0062]
模型训练阶段，采用交叉熵作为损失函数，并利用adam优化器对网络进行优化，计算损失函数梯度用于更新网络权重参数，直到达到最大迭代次数；本实例中每次训练的样本数量设置为16，adam优化器的初始学习率设置为0.001，选取在测试集验证损失最低的模型作为最优模型；
[0063]
步骤4、模型校准：
[0064]
在实际情况中，连续的一类脑电信号中不会出现另一类脑电信号的。但是这种在连续一类脑电信号中出现孤立的另一类脑电信号的情况在脑电信号分类任务中是很容易出现的。为了解决此问题，使用滑动平均滤波算法来对模型的预测结果序列进行校准。取第
i段脑电样本xi及其后面的m-1段脑电样本{x
i+1
,x
i+2
,...,x
i+m-1
}各类别概率的均值作为第i段样本的xi的各类别概率，计算如式(4)所示。
[0065][0066]
式(4)中，p
i+k
表示第i+k个样本的各类别概率，表示计算得到的第i个样本的各类别概率。
[0067]
本发明的时空交互mlp网络的应用实例为基于脑电信号的脑电类型预测，分别在chb-mit及kaggle这两个公开的数据集上展开实验，将具有代表性的cnn模型和传统的mlp模型作为对比模型，验证所提出网络的性能。本实施例中，使用四个广泛使用的评价指标来衡量模型性能。敏感度(sn)是指采用k-阈值法(连续的k个某类预测即认为检测到了该类脑电)得到的正确预测到该类脑电的次数与该类脑电出现总次数的比值；误报率(fpr)定义为每小时错误预测次数；auc则是准确平衡模型预测性能的重要指标，随机分类器auc值为0.5，完美分类器则可以达到为1的auc值；p值可以衡量模型是否优于随机分类器，当p值(p-value)小于0.05，表明在0.05的显著度下，本发明模型明显优于随机分类器。表1和表2分别展示了本发明的时空交互mlp网络以及两个对比模型在chb-mit数据集和kaggle数据集上的表现。相较传统的cnn模型，本发明提出的时空联合mlp网络以近似相等的参数量和更浅的网络结构实现了更好的预测结果，相较传统的mlp网络，本发明提出的时空联合mlp网络以不到其1/4的参数量实现了更好的预测结果，这充分表明了本发明提出的时空交互mlp网络的有效性，其充分提取了空间关系和时间信息，提升了分类预测性能，在chb-mit数据集和kaggle数据集上都取得了十分优异的表现，说明本发明提出的时空交互mlp网络对受试者的脑电类别有着更好的识别能力和更强的泛化性能。
[0068]
表1 chb-mit数据库上对比模型对脑电信号分类的平均性能
[0069][0070]
表2 kaggle数据库上对比模型对脑电信号分类的平均性能
[0071][0072]
综上所述，本发明能够有效减少原始脑电信号中的高频噪声伪迹，强化重要通道对于做出正确推断的作用，有效去除脑电信号中的冗余信息，提高模型对于原始脑电数据的识别鲁棒性；同时能够充分利用脑电信号中丰富的时间信息和空间关联，极大的提升模型的预测结果的准确性，在数据集chb-mit和kaggle上的二分类脑电类型预测中，取得了显著的预测结果，同时有效的降低了脑电类型预测的误报率；并且由于mlp网络结构简单，本发明提出的时空联合mlp网络相较cnn网络更容易训练并且用于训练和测试的时间也更少。