一种ERP信号检测方法及系统、计算机设备、计算机可读存储介质

一种erp信号检测方法及系统、计算机设备、计算机可读存储介质
技术领域
1.本发明涉及信息技术领域，尤其是一种erp信号检测方法及系统、计算机设备、计算机可读存储介质。


背景技术：

2.脑-机接口(brain-computer interface，bci)系统通过解码用户的大脑活动来提供人脑和外部设备之间的通信桥梁。由于脑电图(electroencephalogram，eeg)具有非侵入性，零风险和相对可移植性等方面的优势，这些系统通常使用eeg进行开发。基于脑电图的事件相关电位(erp)信号可以识别受特定事件刺激的人脑中的高级认知活动，这在许多应用中起着重要作用，例如对象检测和医学诊断等。因此，在bci系统的相关研究中，erp检测任务受到了越来越多的关注。但由于脑电图信号具有信噪比较低和较大的跨主题变异性等特点，因此在没有预校准的情况下开发高精度的erp检测方法仍然具有挑战性。
3.已有许多传统方法用于解决上述挑战，例如线性判别分析(lda)、逐步线性判别分析(swlda)、支持向量机(svm)、逻辑回归(lr)等。但这些方法的检测性能通常取决于手工特征，因此表征能力有限，检测水平低。另一方面，当前深度学习方法在eeg信号分析领域已取得了较大进展。该方法能够在数据驱动下自适应地挖掘高水平特征，避免了人工特征选择与特征降维，从而提高检测任务性能。卷积神经网络(cnn)能够有效提取局部数据特征，长短时记忆网络(lstm)可有效提取时序信号特征，但以上方法对脑电数据本身的探索利用层次仍然较浅。因此，对于如何根据脑电信号特点充分提取其全局表征，得到抗噪能力强、鲁棒性高、检测精度高的erp检测方法仍是目前的一个挑战。


技术实现要素：

4.本发明提供一种erp信号检测方法及系统、计算机设备、计算机可读存储介质，用于克服现有技术中鲁棒性和检测精度不高等缺陷。
5.为实现上述目的，本发明提出一种erp信号检测方法，包括以下步骤：
6.获取rsvp脑电数据，对所述rsvp脑电数据进行预处理，得到rsvp基准数据集；
7.根据脑电帽上电极的相邻关系，获得脑电节点连接关系；
8.构建erp信号检测模型；所述erp信号检测模型包括串联的频率特征编码器、空间特征编码器和时序特征编码器；
9.利用所述rsvp基准数据集和脑电节点连接关系，采用跨被试交叉验证方式对erp信号检测模型进行训练验证，确定erp信号检测模型的最优参数；
10.将预处理后的待测rsvp脑电数据输入训练好的erp信号检测模型中，利用频率特征编码器、空间特征编码器和时序特征编码器分别对频率、空间和时序特征进行编码和融合得到全局特征，根据所述全局特征进行二分类，得到分类结果，判断待测rsvp脑电数据中是否有erp信号。
11.为实现上述目的，本发明还提出一种erp信号检测系统，包括：
12.数据获取模块，用于获取rsvp脑电数据，对所述rsvp脑电数据进行预处理，得到rsvp基准数据集；根据脑电帽上电极的相邻关系，获得脑电节点连接关系；
13.模型构建模块，用于构建erp信号检测模型；所述erp信号检测模型包括串联的频率特征编码器、空间特征编码器和时序特征编码器；利用所述rsvp基准数据集和脑电节点连接关系，采用跨被试交叉验证方式对erp信号检测模型进行训练验证，确定erp信号检测模型的最优参数；
14.检测模块，用于将预处理后的待测rsvp脑电数据输入训练好的erp信号检测模型中，利用频率特征编码器、空间特征编码器和时序特征编码器分别对频率、空间和时序特征进行编码和融合得到全局特征，根据所述全局特征进行二分类，得到分类结果，判断待测rsvp脑电数据中是否有erp信号。
15.为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
16.为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。
17.与现有技术相比，本发明的有益效果有：
18.本发明提供的erp信号检测方法利用频率特征编码器、空间特征编码器和时序特征编码器构建频-空-时框架，分别对频率、空间、时序特征进行编码，并融合得到全局特征，再根据全局特征进行分类。本发明的检测方法能够在考虑脑电信号及erp信号特性的同时充分提取脑电信号中的全局特征，从而学习得到不同被试间潜在不变的脑电信号特征，在跨被试erp信号检测任务中具有较高的检测精度和跨被试鲁棒性。此外，与传统的机器学习方法相比，本发明无需通过手工提取复杂的相关特征，以此保留脑电信号中更多的相关信息，通过端到端的训练实现更高效率、高精度的erp检测任务。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
20.图1为本发明提供的erp信号检测方法流程图；
21.图2为本发明提供的erp信号检测方法整体框架图；
22.图3是本发明实施例中设计的erp信号检测模型算法框图；
23.图4是本发明实施例中公开数据集采用的rsvp实验范式流程图；
24.图5是本发明实施例中节点连接示意图；
25.图6是本发明的erp检测auc结果图。
26.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
29.本发明提出一种erp信号检测方法，如图1和2所示，包括以下步骤：
30.101：获取rsvp脑电数据，对rsvp脑电数据进行预处理，得到rsvp基准数据集。
31.rsvp脑电数据，指健康被试在执行快速串行视觉呈现(rsvp)范式的目标检测任务时采集得到的脑电数据。
32.102：根据脑电帽上电极的相邻关系，获得脑电节点连接关系。
33.103：构建erp信号检测模型(如图3所示)；erp信号检测模型包括串联的频率特征编码器、空间特征编码器和时序特征编码器。
34.104：利用rsvp基准数据集和脑电节点连接关系，采用跨被试交叉验证方式对erp信号检测模型进行训练验证，确定erp信号检测模型的参数。
35.105：将预处理后的待测rsvp脑电数据输入训练好的erp信号检测模型中，利用频率特征编码器、空间特征编码器和时序特征编码器分别对频率、空间和时序特征进行编码和融合得到全局特征，根据所述全局特征进行二分类，得到分类结果，判断待测rsvp脑电数据中是否有erp信号。
36.步骤105的分类为二分类，有erp信号，则为图3中的有目标图；无erp信号，则为图3中的无目标图。
37.在其中一个实施例中，对于步骤101，对rsvp脑电数据进行预处理，包括：
38.对rsvp脑电数据依次进行赋予脑电通道电极信息、剔除无用脑电数据、带通滤波、数据段选取和基线校正处理，得到rsvp基准数据集。
39.rsvp脑电数据的采集过程为：被试者佩戴脑电帽观看以一定频率播放的有、无目标图像，其中有目标图像出现为小概率事件，在观看序列图像的过程中，通过脑电帽上的电极采集被试者的rsvp脑电数据。
40.本实施例中步骤101获取的rsvp脑电数据集来自清华大学官网中包含有64个被试脑电数据的rsvp脑电数据，采集过程如图4所示。该rsvp脑电数据采用了64通道采集设备，电极分布采用国际通用的10-20导联系统。对获取的rsvp脑电数据赋予脑电通道电极信息、剔除无用脑电数据、带通滤波、数据段选取、基线校正，进而初步提取特征数据。
41.将rsvp基准数据集以4:10:50的比例将64名被试的数据分为测试集数据、验证集数据和训练集数据。其中，每个被试单个样本为的脑电数据，其中c表示脑电信号的通道数，t表示采样点数，表示实数，采样频率为250hz。在本实施例中，每个被试的单个样本为总样本数为16000。至此，获得erp检测任务所需的输入数据。
42.在下一个实施例中，对于步骤103，频率特征编码器包括多尺度卷积子网络，频率特征编码器的工作过程包括：
43.利用多尺度卷积子网络对rsvp基准数据集中每个时间片段的基准数据进行三种
尺度变换，提取不同尺度变换下的频率特征；
44.通过拼接操作将不同尺度变换下的频率特征拼合，并利用1
×
1卷积层对变换中相同尺度的不同卷积核提取的频率信息融合，得到频率特征。
45.频率特征编码器将对rsvp基准数据集中所有的时间片段进行频率特征提取。每个时间片段通过多尺度卷积子网络进行三种尺度变换：
[0046][0047]
式中，c表示脑电信号的通道数；t
′
表示卷积后的特征长度；qi表示第i个被试单个样本；样本；表示三种尺度变换；ui，
[0048]
分别表示三种尺度变换得到的频率特征。
[0049]
每种尺度变换包括卷积，批归一化(batch normalization，bn)和relu操作。每种尺度变换中卷积层的卷积核根据当前信号采样频率和基于采样频率的特定比例[0.5,0.25,0.125]以提取2hz、4hz及8hz以上的频率特征。
[0050]
最后，通过拼接操作将三种变化提取到的特征拼合，并利用1
×
1卷积层对变换中相同尺度的不同卷积核提取的频率信息融合，获得最终的频率特征yi，其被认作输入空间编码器中的脑电图当中的节点特征。
[0051]
在本实例中，三种变化所使用的卷积核大小分别为[1
×
125]，[1
×
62]，[1
×
31]，且每一个分支的卷积核数量均为20，1
×
1卷积的输出维度为1。
[0052]
在另一个实施例中，对于步骤103，空间特征编码器包括图卷积子网络，空间特征编码器的工作过程包括：
[0053]
利用频率特征和脑电节点连接关系如图5所示，得到脑电节点的图表述；
[0054]
根据脑电节点连接关系，利用图卷积子网络对所述图表述中的脑电节点特征依次进行特征传播、线性变换和归一化，获得图表述中所有脑电节点的空间特征；
[0055]
利用图卷积子网络聚合所有脑电节点的空间特征，得到全局空间特征。
[0056]
本实施例中，首先利用频率特征(节点特征)yi和脑电节点连接关系g得到脑电节点的图表述zi，其中节点与节点特征一一对应。节点连接关系又可表述为g＝(v,e)，v＝{v1,v2,...,vc}代表脑电图中的所有节点。在图表述中，每个相邻的节点关系表述为e＝{v
p
vq∣(p,q)∈h}，其中h代表空间域中的所有相邻节点对，p,q表示一对相邻节点。通过在e添加自连接以考虑节点本身特征。从而，通过e转换得到邻接矩阵a：训练矩阵被提出以用于在训练过程中学习到相邻节点对的连接权重，w
pq
＞0代表节点v
p
和vq之间的连接权重。
[0057]
在完成脑电节点的图表述后，根据空间连接关系使用图卷积子网络中图卷积层传播脑电节点特征。节点特征将逐步通过特征传播、线性变换和归一化。特征传播可表述为
其中，d为a的度矩阵，d
ii
＝∑
jaij
，即将邻接矩阵a第i行上所有元素求和可得到度矩阵d的第i行和第i列上的元素，zi为第i个时间片段的图表述，为特征传播后的图表述。线性变换矩阵被用于提炼节点中的特征：其中3t
′
对应频率特征长度，u为图卷积层的隐藏层长度，进而得到提炼特征后的图表述最后，通过批归一化可以有效防止特征过平滑并加速训练：z
′i为归一化后的图表述。
[0058]
最后，通过图卷积子网络中二维卷积层可有效聚合所有节点中的空间特征，从而得到全局空间特征si＝conv(z
′i),其包含个c
×
1大小的卷积核。在本实施例中，u＝100，卷积核大小为62
×
1，个数为20。
[0059]
在某一个实施例中，对于步骤103，时序特征编码器包括循环注意子网络，时序特征编码器的工作过程包括：
[0060]
利用双层的长短时记忆网络(lstm)处理所有时间片段获取的全局空间特征，并将第二层的隐藏状态作为时间特征输出；
[0061]
输入所有时间片段的时间特征到自注意力模块中，得到不同时间片段特征的重要性权重，根据权重聚合每个片段的时间特征，得到最终的全局特征。
[0062]
本实施例中循环注意子网络包括两层lstm子网络和自注意力模块，以学习时序特征。每层lstm包括与时间片段对应的n个lstm单元，第二层lstm的隐藏状态即为lstm的输出：其中f为隐藏神经元数量。
[0063]
此外，lstm层间中的dropout操作被用于防止过平滑。
[0064]
之后将从所有时间片段中学习到的时间特征h
′
输入自注意力机制，得到利用softmax函数计算不同时间片段特征的重要性权重其中为利用权重矩阵和偏移得到的线性映射。
[0065]
最后通过加权求和得到全局空间特征：
[0066]
在本实施例中，双层lstm子网络中每个隐含层的大小f设为256，自注意力模块中的隐含层大小o＝256。
[0067]
在下一个实施例中，对于步骤103，erp信号检测模型还包括时序滑窗子模型和分类子模型。
[0068]
时序滑窗子模型用于通过滑动窗口技术将所述rsvp基准数据集划分为若干时间片段。
[0069]
qi表示分割得到的各个时间片段；表示实数；c表示脑电信号的通道数；t表示滑动窗口大小。
[0070]
时间片段的数量其中代表向下取整函数，α代表步长。在本
实施例中，t＝100，α＝50，n＝5。
[0071]
分类子模型用于根据所述全局特征进行二分类，得到分类结果判断待测rsvp脑电数据中是否有erp信号。
[0072]
本实施例的分类子模型使用两个全连接层和一个softmax函数对提取到的全局特征进行分类。全连接层的神经元个数分别为64和2。
[0073]
对于步骤104，erp信号检测模型的损失函数为交叉熵损失函数，
[0074][0075]
式中，和pm分别为第m个样本的标签和预测概率。
[0076]
利用adam优化器对损失函数进行最小化求解，优化器可以使模型在训练过程中更新和调整参数以最小化损失函数，实现对初始模型的参数优化。在本实施例中学习率设置为10-3
，批训练大小为200，dropout设为0.5防止过拟合，同时采用批归一化操作防止梯度消失和梯度爆炸。使用交叉验证方式划分训练集、验证集和测试集。首先按顺序选择4个被试为测试集，然后随机选择10个被试为验证集，剩下的所有50个被试为训练集，该过程遍历所有被试数据，得到16组训练的最优模型。为提高训练速度和降低不平衡数据对实验结果影响，对训练集的负样本降采样，使每个被试的每个模块的正负样本数量总和为1000。训练集中样本顺序随机。
[0077]
统计测试集中所有被试样本在erp信号检测模型中的erp检测结果，计算erp检测的auc值作为评估指标。auc值即为受试者工作特性曲线(receiver operating characteristic，roc)下方面积，通常0.5《auc《1，auc值越大，模型分类效果越好。
[0078]
本实施例中，在相同实验环境和数据集下进行多次实验并平均实验结果，从而得到测试集的erp检测结果，各类方法(现有的hdca、eegnet、cram、macro、tsception、dgcnn、amcnn-dgcn，本发明的mcgram网络)的auc值如图6所示。与深度学习方法相比，hdca的性能最差，其主要原因是手工提取特征很难提取脑电图信号中的重要信息。dgcnn与amcnn-dgcn两个基于gcn的模型仅获得auc值分别为0.9167
±
0.0312和0.8906
±
0.0493。该结果表明现有的仅利用gcn对空间特征进行提取并分类的方法可能不适用与erp检测任务。在所有模型当中，tsception、cram和macro模型相较eegnet、dgcnn和amcnn-dgcn有明显更好的检测效果，一个合理的解释是这三种模型有效提取了来自于频域、空域和时域上的全局特征。而相对于上述三种方法，本发明方法又进一步专注于提取频-空-时特征，有效结合使用了多尺度卷积、图卷积、lstm和自注意力机制，提高了检测结果。以上结果验证了本发明提出的检测方法(本发明的模型为基于图卷积神经网络和多尺度卷积循环注意模型的深度学习网络mcgram)在独立于被试的erp检测任务中具有良好的性能。
[0079]
本发明还提出一种erp信号检测系统，包括：
[0080]
数据获取模块，用于获取rsvp脑电数据，对所述rsvp脑电数据进行预处理，得到rsvp基准数据集；根据脑电帽上电极的相邻关系，获得脑电节点连接关系；
[0081]
模型构建模块，用于构建erp信号检测模型；所述erp信号检测模型包括串联的频率特征编码器、空间特征编码器和时序特征编码器；利用所述rsvp基准数据集和脑电节点连接关系，采用跨被试交叉验证方式对erp信号检测模型进行训练验证，确定erp信号检测
模型的最优参数；
[0082]
检测模块，用于将预处理后的待测rsvp脑电数据输入训练好的erp信号检测模型中，利用频率特征编码器、空间特征编码器和时序特征编码器分别对频率、空间和时序特征进行编码和融合得到全局特征，进行二分类，得到分类结果，判断待测rsvp脑电数据中是否有erp信号。
[0083]
本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
[0084]
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。
[0085]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。