基于多粒度信息的快速序列视觉呈现脑电图信号分类方法

1.本发明属于信号处理领域，具体涉及一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法。


背景技术：

2.脑电图(electroencephalography,eeg)作为脑-机接口(brain-computer interface，bci)的一项重要技术，能够在人脑和外部设备之间建立直接连接，以实现信息交换。一些早期基于脑电图的脑机接口应用，如轮椅控制、文本拼写器和假肢等，已经大大改善了残疾患者的生活质量。近年来，基于eeg的bci技术的应用已经扩展到健康人群。其中，快速连续视觉呈现(rapid serial visual presentation，rsvp)作为一种潜在的人类增强方法，已受到了研究人员的广泛关注。
3.基于rsvp范式的bci系统主要用于需要专业人员审查大量图像或信息的领域，如安全监控和医疗等领域。通常来说，rsvp范式以5
–
20hz的频率顺序显示图像，其中非目标图像与目标图像的比率约为10:1，这样有利于被试者产生erp成分，通过识别被试者的eeg信号中的事件相关电位(event-related potential，erp)成分，可进行目标图像检测等快速序列视觉呈现分类工作。基于rsvp范式的bci系统比手动分析能够更快地检测和识别对象和相关信息片段，能够大大提高专业人员的工作效率。
4.脑电图信号的分析处理工作是快速序列视觉呈现分类所面临的难题。原因在于：首先，eeg信号的信噪比低，这是由于脑电图信号存在伪迹，且信号采集过程中存在环境噪声干扰所致；其次，eeg信号是非平稳信号，其统计特性在时域不断变化；另外，eeg信号是特异性信号，不同被试者存在较大的生理差异，这导致信号的幅值和统计特性在不同被试者间往往难以泛化。
5.传统的脑电图信号分类方法通常采用手工制作的先验特征，如时域的统计特征、频域的频带功率和时频域的离散小波变换等。然而，提取手工特征处理的过程非常耗时，不利于系统的实时部署。
6.近年来，随着深度学习技术的发展，利用深度学习进行脑电图信号分类已成为一个热门的研究方向。与依赖专家经验和先验领域知识来提取特征的传统研究不同，基于深度学习的模型从输入的脑电图信号原始数据中自动提取数据的高阶特征，免去了繁琐的特征处理过程，其性能较传统算法有显著提升。然而，由于不依赖于先验知识，现有的深度学习模型往往可解释性较差，影响了分类的准确性。


技术实现要素：

7.本发明实施例的目的在于提供一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，以提高快速序列视觉呈现脑电图信号分类的准确率。具体技术方案如下：
8.本发明实施例提供了一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，所述方法包括：
9.采集被试者在快速序列视觉呈现下的脑电图信号；其中，所述快速序列视觉呈现对应包含有目标图像和非目标图像的图像序列；
10.对采集到的脑电图信号进行预处理；
11.将预处理后的脑电图信号输入预先训练完成的多粒度信息提取网络，得到所述脑电图信号的分类结果；其中，所述多粒度信息提取网络从多个不同粒度级别对脑电图信号进行特征提取；所述多粒度信息提取网络利用样本数据集训练得到，所述样本数据集基于多个样本被试者进行快速序列视觉呈现实验所得到的脑电图信号得到。
12.在本发明的一个实施例中，所述多粒度信息提取网络的结构，包括：
13.顺次连接的时间特征提取单元、空间特征提取单元、时空特征残差融合单元和分类单元；
14.其中，所述时间特征提取单元包括预设数量个时间特征提取分支，其中一个时间特征提取分支仅包括一个时间卷积模块，用于接收网络输入的脑电图信号；其余时间特征提取分支均包括串联的下采样模块和时间卷积模块，每个时间卷积模块的输入数据是网络输入的脑电图信号，在预设衰减因子不同指数衰减对应的采样率下的下采样结果；所述空间特征提取单元包括与每个时间卷积模块对应连接的空间卷积模块；所述时空特征残差融合单元包括与每个空间卷积模块对应连接的时空卷积模块，以及用于融合各时空卷积模块输出数据的残差融合结构；所述分类单元包括全连接层。
15.在本发明的一个实施例中，所述时间特征提取单元中的各下采样模块串行连接，每个下采样模块对自身的输入数据进行下采样，将自身的下采样结果作为对应时间卷积模块的输入数据；除最后一个下采样模块外，其余下采样模块自身的下采样结果还作为后一个下采样模块的输入数据；其中，首个下采样模块的输入数据为网络输入的脑电图信号。
16.在本发明的一个实施例中，所述时间卷积模块和所述空间卷积模块的结构包括：
17.卷积单元、批量归一化处理单元、激活函数处理单元和随机丢弃处理单元。
18.在本发明的一个实施例中，所述样本数据集的获得过程包括：
19.对选取的样本被试者进行快速序列视觉呈现实验，在预设实验条件下采集各被试者的脑电图信号；
20.对采集到的脑电图信号进行预处理；
21.由预处理后的所有脑电图信号构成样本数据集，并按照预设比例将所述样本数据集划分为训练集和测试集。
22.在本发明的一个实施例中，所述对采集到的脑电图信号进行预处理，包括：
23.根据每个脑电图信号对应的快速序列视觉呈现中各刺激出现的时间戳，将采集到的每个脑电图信号进行分割，得到多个数据段；其中，所述快速序列视觉呈现对应的图像序列中每一图像的出现对应为一个刺激；
24.对每个数据段进行滤波；
25.对滤波后的每个数据段进行降采样处理；
26.对降采样处理后的每个数据段进行归一化处理。
27.在本发明的一个实施例中，所述根据每个脑电图信号对应的快速序列视觉呈现中各刺激出现的时间戳，将采集到的每个脑电图信号进行分割，得到多个数据段，包括：
28.针对每个脑电图信号，在该脑电图信号中，从对应的快速序列视觉呈现中各刺激
出现的时间戳开始，分别截取预设时长的脑电图信号数据区间，得到该脑电图信号中各刺激对应的数据段。
29.在本发明的一个实施例中，所述多粒度信息提取网络的训练过程，包括：
30.对已构建的多粒度信息提取网络利用所述训练集，通过梯度下降法进行网络训练，得到训练完成的多粒度信息提取网络。
31.在本发明的一个实施例中，所述多粒度信息提取网络的训练过程，包括：
32.对已构建的多粒度信息提取网络利用所述训练集，通过梯度下降法进行网络训练；
33.对梯度下降法训练完成的网络利用所述测试集进行参数优化，得到训练完成的多粒度信息提取网络。
34.在本发明的一个实施例中，所述对梯度下降法训练完成的网络利用所述测试集进行参数优化，完成之后，还包括：
35.针对特定的样本被试者，利用该样本被试者进行快速序列视觉呈现实验所得到的脑电图信号，对所述梯度下降法训练完成的网络利用所述测试集进行参数优化之后所得到的网络进行参数调整，得到针对该样本被试者的训练完成的多粒度信息提取网络，以在对该样本被试者进行快速序列视觉呈现脑电图信号的实时分类时对应使用。
36.本发明的有益效果：
37.本发明实施例提出了一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，在实时分类时，采集被试者在快速序列视觉呈现下的脑电图信号，进行预处理后输入预先训练完成的多粒度信息提取网络，得到所述脑电图信号的分类结果。由于实时分类所使用的多粒度信息提取网络从多个不同粒度级别对脑电图信号进行特征提取，使用较低粒度级别提取脑电信号的短期时间相关性，较高粒度级别提取脑电信号的全局信息，将多粒度信息作为先验知识融入到了神经网络的设计中，因此在实时分类时能够极大地提升快速序列视觉呈现脑电图信号的分类准确率。
附图说明
38.图1为本发明实施例所提供的一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法的流程示意图；
39.图2为本发明实施例的基于多粒度信息的快速序列视觉呈现脑电图信号分类方法的整体实现流程的示意框图；
40.图3(a)为本发明实施例快速序列视觉呈现对应的图像序列中非目标图像的示意图；
41.图3(b)为本发明实施例快速序列视觉呈现对应的图像序列中目标图像的示意图；
42.图4为本发明实施例实验中的采集脑电图信号的任务时序图；
43.图5为本发明实施例的多粒度信息提取网络的一种结构示意图；
44.图6为本发明实施例的多粒度信息提取网络的另一种结构示意图；
45.图7为本发明实施例的多粒度信息提取网络中时间卷积模块和空间卷积模块的结构示意图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.为了便于理解本发明实施例的方案，在此先对发明构思和发明目的进行简要说明。
48.鉴于传统的脑电图信号分类方法通常采用手工制作的先验特征，在提取手工特征处理的过程非常耗时，不利于系统的实时部署；并且由于不依赖于先验知识，现有的深度学习模型往往可解释性较差的问题。如何有效利用脑电图信号的相关先验知识，将其融入到深度学习模型的网络设计当中，最终实现快速序列视觉呈现分类准确率的提高是发明人期望解决的技术问题。
49.发明人通过研究发现，神经科学研究将大脑建模为具有不同粒度级别的分层功能架构，其中较低级别粒度信息包含了脑电图信号的短期时间相关性，较高级别粒度信息保留了大量的全局信息。因此，从多个粒度级别分析脑电图信号数据，获得更合理的和补充的信息，从而改善快速串行视觉呈现脑电图信号的分类效果是可行的。
50.因此，为了提高快速序列视觉呈现脑电图信号分类的准确率，本发明实施例提供了一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法。
51.需要说明的是，本发明实施例所提供的一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法的执行主体可以为一种基于多粒度信息的快速序列视觉呈现脑电图信号分类装置，所述装置可以运行于电子设备中。其中，该电子设备可以为一服务器或终端设备，当然并不局限于此。
52.请参见图1和图2理解本发明实施例所提供的一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法。图1为本发明实施例所提供的一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法的流程示意图；图2为本发明实施例的基于多粒度信息的快速序列视觉呈现脑电图信号分类方法的整体实现流程的示意框图。
53.如图1所示，本发明实施例所提供的一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，可以包括如下步骤：
54.s1，采集被试者在快速序列视觉呈现下的脑电图信号。
55.本发明实施例中的被试者为健康条件符合要求即在快速序列视觉范式下能够产生erp成分的人。所述快速序列视觉呈现对应包含有目标图像和非目标图像的图像序列，可以至少含有一个图像序列。各图像序列在显示屏幕上顺序出现，每个图像序列包含目标图像和非目标图像。其中目标图像包含目标，非目标图像不包含目标。目标可以根据需要设定，比如可以为人、车、动物等。可以理解的是，被试者在观测快速序列视觉呈现对应的图像序列时，会产生erp成分并体现在eeg信号中，利用eeg信号采集设备可以采集得到被试者在快速序列视觉呈现下的脑电图信号。
56.采集过程中，被试者佩戴有电极帽，通过电极帽上的电极采集被试者的脑电信号。根据测试设备的不同，采集过程相关参数的配置可以不同，比如，可选的一种实施方式中，可以采用64脑电通道电极帽，采样率可以为1024hz等，并涂覆脑电膏使得每个电极的阻抗
保持在25kω以下，以确保得到高质量的脑电图信号。
57.s2，对采集到的脑电图信号进行预处理。
58.s2中，对采集得到的每个脑电图信号分别进行预处理。可选的一种实施方式中，所述对采集到的脑电图信号进行预处理，包括：
59.s21，根据每个脑电图信号对应的快速序列视觉呈现中各刺激出现的时间戳，将采集到的每个脑电图信号进行分割，得到多个数据段。
60.在被试者观测快速序列视觉呈现对应的图像序列时，所述快速序列视觉呈现对应的图像序列中每一图像的出现对应为一个刺激，图像序列中各图像出现的时刻是可获知的，可以以时间戳进行标记，因此，各刺激出现的时刻即为时间戳对应的时刻。
61.可以理解的是，在被试者观测快速序列视觉呈现对应的图像序列时，仅目标图像出现时，被试者才会被激发产生erp成分；而且，图像给予的刺激是图像出现的短时间内完成的，也就是说，被试者接受刺激产生erp成分的有效时间段非常短，因此，将每个图像的有效时间段内的脑电图信号截取出来进行分析即可，摒除其余无效信息可以减小脑电图信号的数据处理量，提高处理效率。
62.具体的，s21可以包括：
63.针对每个脑电图信号，在该脑电图信号中，从对应的快速序列视觉呈现中各刺激出现的时间戳开始，分别截取预设时长的脑电图信号数据区间，得到该脑电图信号中各刺激对应的数据段。
64.以该脑电图信号对应的快速序列视觉呈现的图像序列含有50张图像为例，由于每张图像的出现标记有一个时间戳，那么，在该脑电图信号中，以每个时间戳为起点，分别截取预设时长的一段区间的脑电图信号，可以共计得到50个数据段，每个数据段对应一个图像，也就是一个刺激。
65.其中，预设时长根据经验值设置，比如可以为1秒等，也就是截取快速序列视觉呈现时目标或非目标出现开始到开始后1秒的脑电图数据。
66.s22，对每个数据段进行滤波。
67.在采集eeg信号的过程中，eeg信号通常会受到来自不同来源的噪声的污染。这些伪迹可能来自于眨眼、心电图(electrocardiogram，ecg)、肌电图(electromyogram，emg)，以及与系统中涉及的设备相关的任何外部来源。这些伪迹可能具有与eeg信号相似的振幅，因此很可能对接下来的任务造成干扰。在该步骤中，对每个数据段进行滤波的目的即为消除或衰减噪声，在不丢失相关信息的情况下简化后续处理操作，以便在后续环节提取可靠的特征。
68.该步骤可以利用现有的任意一种去噪方法实现，本发明实施例在此不做限制。比如，可选的一种实施方式中，可以使用带通滤波器，具体可以为截止频率为0.1～48hz的六阶巴特沃斯带通滤波器等。
69.s23，对滤波后的每个数据段进行降采样处理。
70.为了降低后续利用多粒度信息提取网络进行特征提取的数据量，该步骤对滤波后的每个数据段分别进行降采样处理。比如，可以将滤波后的每个数据段的采样率均降低到256hz等。当然采样率降低后的频率不限于该数值，可以根据场景需求合理设置。
71.s24，对降采样处理后的每个数据段进行归一化处理。
72.由于降采样处理后的各数据段可能数据分布形式并不相同，为了便于后续利用多粒度信息提取网络进行特征提取等处理，需要对降采样处理后的每个数据段进行归一化处理，实现数据分布形式、数据格式的统一。具体归一化处理的方法可以根据需求选取任意一种现有归一化方法实现，比如，可选的一种实施方式中，可以采用z评分方法实现，具体处理过程请参见相关现有技术，在此不做详细说明。
73.s3，将预处理后的脑电图信号输入预先训练完成的多粒度信息提取网络，得到所述脑电图信号的分类结果。
74.其中，所述多粒度信息提取网络从多个不同粒度级别对脑电图信号进行特征提取；所述多粒度信息提取网络利用样本数据集训练得到，所述样本数据集基于多个样本被试者进行快速序列视觉呈现实验所得到的脑电图信号得到。
75.为了便于理解本发明实施例中所述多粒度信息提取网络的特性，以及进行脑电图信号分类的方案，在此首先对所述多粒度信息提取网络的相关内容进行阐述。需要说明的是，实时分类所采用的多粒度信息提取网络在预先的实验过程中确定后，针对任意一次实时分类，可以直接使用该训练完成的多粒度信息提取网络进行分类处理。
76.(一)针对样本数据集的生成过程
77.本发明实施例中，所述样本数据集的获得过程包括：
78.(1)对选取的样本被试者进行快速序列视觉呈现实验，在预设实验条件下采集各被试者的脑电图信号。
79.本发明实施例中，快速序列视觉呈现也可以称为快速串行视觉呈现，即对应的图像序列中串行的各图像快速切换显示在显示屏幕上。
80.在实验准备阶段，选择多名健康条件符合要求的样本被试者。具体的，所有被试者均具满足正常或矫正视力正常，且各样本被试者均不存在神经系统问题或严重疾病史，以避免影响实验结果。样本被试者的数量可以根据样本数量要求确定，比如可以为8名等。另外，样本被试者需要被详细告知实验注意事项并确认同意开展实验过程，以确保实验过程满足相关要求。
81.预设实验条件可以为：各样本被试者佩戴64脑电通道电极帽并涂覆有脑电膏，使每个电极的阻抗保持在25kω以下，采样率为1024hz等。
82.在实验阶段，对各样本被试者进行快速序列视觉呈现实验，同时通过电极帽上的电极采集被试者的脑电图信号。
83.每一次实验按照时间先后顺序共有四种状态，分别为预备状态、观看状态、间歇状态和等待状态，其中：
84.预备状态时，首先显示屏幕会出现预设图形，如十字准星等，以便于被试者集中注意力等待连续观看图片序列，在等待时长后立即进入图片序列的播放；所述等待时长可以为2s等。
85.观看状态时，含有目标图像和非目标图像的图像序列以预定频率，比如5hz或者10hz等，随机顺序出现在显示屏幕中央，以使被试者观看。图像序列中图像的数量可以为50等。播放完一个图像序列，表示完成一次观看，也表示完成一段实验。
86.图像序列中图像的样式可以参考图3，图3(a)为本发明实施例快速序列视觉呈现对应的图像序列中非目标图像的示意图；图3(b)为本发明实施例快速序列视觉呈现对应的
图像序列中目标图像的示意图；图3(a)和图3(b)分别给出4个图像作为示例，在此，相应图像以灰度图显示。其中，图像的分辨率为800*600等，目标为人或者车。
87.本发明实施例实验共收集了500幅目标图像和1000幅非目标图像，每次从中挑选4张目标图像和46张非目标图像组成50幅图像，即一个图像序列；在观看状态中，每显示50幅图像后会有一个间歇状态，显示屏幕可以转换为黑屏等状态，该状态可以持续2秒等，以便于被试者调整状态。
88.按照上述过程完成10段实验即表示完成了1节实验，此时被试者进入等待状态进行休息，在预定休息时长后，比如4秒后再次进入下一节实验，如此循环，直至完成预设节数的实验，则可以结束实验过程，其中预设节数可以为30等。需要补充说明的是，在整个实验过程中，各图像序列的图像均为随机生成。
89.关于本发明实施例实验中脑电图信号采集的时序，请结合图4理解，图4为本发明实施例实验中的采集脑电图信号的任务时序图。在此，相应图像以灰度图显示。其中，实验共有30节，每一节有10段，一段播放一个图像序列，一个图像序列有50幅图像。
90.按照以上实验参数，一段中含有4张目标图像，那么4*10段*30节的实验过程，可以获得含有目标的1200个样本，由于目标图像有两类人和车，对于每类目标图像收集了1200/2＝600个样本。但是本范式还有第三类图像为非目标图像，由于不含有目标的样本数量远远大于单一目标样本的数量，即(46*10*30)》》600，则出现了类别样本数量的不平衡，这样会导致网络性能严重下降，因此为了平衡类别样本数量，从非目标样本中随机挑选600个，与上述含有目标的1200个样本共同构成1800个样本。可以理解的是，每个样本对应一张图像激发的脑电图信号。
91.需要补充说明的是，针对s1对应的实时分类过程，每个被试者在快速序列视觉呈现下的脑电图信号对应的样本数最少对应于一个图像序列，也就是50个样本。通常情况下，s1中无需进行样本平衡，每一名被试者在每一节采集500个脑电信号样本，共进行10节实验，共采集5000个样本以分别进行实时分类。
92.(2)对采集到的脑电图信号进行预处理。
93.在该步骤中，对采集到的每个作为样本的脑电图信号进行预处理，得到1800个预处理后脑电图信号。具体预处理过程请参考s2步骤，在此不做重复说明。
94.(3)由预处理后的所有脑电图信号构成样本数据集，并按照预设比例将所述样本数据集划分为训练集和测试集。
95.具体的，由1800个预处理后脑电图信号构成样本数据集，训练集和测试集划分的预设比例可以为8：2等。
96.(二)针对多粒度信息提取网络的结构
97.所述多粒度信息提取网络的结构，包括：
98.顺次连接的时间特征提取单元、空间特征提取单元、时空特征残差融合单元和分类单元。
99.其中，所述时间特征提取单元包括预设数量个时间特征提取分支，其中一个时间特征提取分支仅包括一个时间卷积模块，用于接收网络输入的脑电图信号；其余时间特征提取分支均包括串联的下采样模块和时间卷积模块，每个时间卷积模块的输入数据是网络输入的脑电图信号，在预设衰减因子不同指数衰减对应的采样率下的下采样结果；所述空
间特征提取单元包括与每个时间卷积模块对应连接的空间卷积模块；所述时空特征残差融合单元包括与每个空间卷积模块对应连接的时空卷积模块，以及用于融合各时空卷积模块输出数据的残差融合结构；所述分类单元包括全连接层。
100.其中，预设数量可以为4等，预设衰减因子可以为2等，均可以根据需求和经验进行选取。为了便于理解，后续均以此为例进行说明。
101.可选的一种实施方式中，所述多粒度信息提取网络的结构请见图5所示，图5为本发明实施例的多粒度信息提取网络的一种结构示意图。
102.在该种方式中，所述时间特征提取单元中的各下采样模块并行连接，每个下采样模块对网络输入的脑电图信号以不同的采样率进行下采样，将自身的下采样结果作为对应时间卷积模块的输入数据；仅包括一个时间卷积模块的时间特征提取分支中，时间卷积模块的输入数据为网络输入的脑电图信号。
103.图5包含4个时间特征提取分支，以虚线框示意，预设衰减因子为2。从下至上，第一个时间特征提取分支中仅包括时间卷积模块1，其输入数据是对采集到的脑电图信号进行预处理后的数据，此处简称为网络输入的脑电图信号，图5中简化表示为“脑电图信号”，其采样率为256hz，表示为28。第二个时间特征提取分支包括下采样模块1和时间卷积模块2；第三个时间特征提取分支包括下采样模块2和时间卷积模块3；第四个时间特征提取分支包括下采样模块3和时间卷积模块4；下采样模块1、下采样模块2和下采样模块3的输入数据也是所述多粒度信息提取网络输入的预处理后的脑电图信号，但采样率分别为27、26、25。可以理解的是，若是预设数量大于4，则从下至上各下采样模块的采样率可以表示为2n，其中，n＝7,6,5......。
104.本发明实施例中，网络输入的脑电图信号作为原始数据，维度为(c，t)，其中c为脑电图信号的通道数，本发明实施例实验采用64脑电通道，即c＝64；t表示采样率，经过预处理之后t具体为256。
105.下采样指的是对样本采样值的抽取，本发明实施例采用多个不同采样率的下采样模块分别对原始数据进行处理，目的是形成不同粒度级别的数据。研究表明，细粒度信息包含数据局部特征，粗粒度信息包含数据全局特征。具体的，图5的实施方式中，从下至上，时间卷积模块1的输入数据的数据维度为(c，t)；时间卷积模块2的输入数据是(c，t)经过下采样模块1处理后的，数据维度变为(c,t/2)，具体为(64，128)；时间卷积模块3的输入数据是(c，t)经过下采样模块2处理后的，数据维度变为(c,t/4)，具体为(64，64)；时间卷积模块4的输入数据是(c，t)经过下采样模块3处理后的，数据维度变为(c,t/8)，具体为(64，32)。时间卷积模块1至时间卷积模块4，输入数据的数据粒度越来越粗，也就是分辨率越来越粗。
106.可见，利用三个下采样模块，在原始数据基础上又新增了三个不同粒度级别的数据，由下至上粒度级别越来越高，不同粒度级别的数据包含了不同时间长度的特征，粒度级别低的数据包含了数据的短时局部特征，粒度级别高的数据包含了数据的长时全局特征，通过对不同粒度级别的数据进行分析，可以提取不同粒度级别的特征信息，从而可以对数据进行更加充分合理的特征提取。
107.每个时间卷积模块可以理解为一个时间滤波器，用于利用时间卷积运算提取输入数据的时间特征表示，得到数据的时域特征。本发明实施例的四个时间卷积模块所采用的时间卷积核的大小可以根据经验设置，比如可以为1*3。四个时间卷积模块对各自的输入数
据进行时间卷积运算，充分提取脑电信号中不同粒度的时间特征。
108.所述空间特征提取单元也可以称为通道相关性提取单元，主要包括与每个时间卷积模块对应连接的空间卷积模块；各空间卷积模块所采用的空间卷积核的大小为c*1，由于本发明实施例中c＝64，空间卷积核的大小对应为64*1。每个空间卷积模块可以理解为一个空间滤波器，用于利用空间卷积运算提取输入数据的空间特征表示，得到数据的空域特征。
109.所述时空特征残差融合单元中每个时空卷积模块对各自输入的空域特征进行卷积运算，为了避免丢失粒度信息，更好地利用特征细节，各时空卷积模块所采用的卷积核大小可以为1*1。所述时空特征残差融合单元中使用残差融合结构将各时空卷积模块处理后不同粒度级别得到的特征进行相加处理，实现多粒度信息融合，得到一个融合后特征。在图5中，残差融合结构以圆形符号示意。
110.所述分类单元包括全连接层。具体结构可以在现有技术基础上根据需要进行设计，在此不做限定。
111.可选的另一种实施方式中，所述多粒度信息提取网络的结构请见图6所示，图6为本发明实施例的多粒度信息提取网络的另一种结构示意图。
112.在该种方式中，所述时间特征提取单元中的各下采样模块串行连接，每个下采样模块对自身的输入数据进行下采样，将自身的下采样结果作为对应时间卷积模块的输入数据；除最后一个下采样模块外，其余下采样模块自身的下采样结果还作为后一个下采样模块的输入数据；其中，首个下采样模块的输入数据为网络输入的脑电图信号。
113.图6包含4个时间特征提取分支，以虚线框示意，预设衰减因子为2。从下至上，第一个时间特征提取分支中仅包括时间卷积模块1，其输入数据是对采集到的脑电图信号进行预处理后的数据，数据维度为(c，t)，此处简称为网络输入的脑电图信号，图6中仍简化表示为“脑电图信号”，其采样率为256hz，表示为28。第二个时间特征提取分支包括下采样模块1和时间卷积模块2；第三个时间特征提取分支包括下采样模块2和时间卷积模块3；第四个时间特征提取分支包括下采样模块3和时间卷积模块4。
114.下采样模块1的输入数据是网络输入的脑电图信号，数据维度为(c，t)，下采样模块1自身的采样率为2，即衰减因子为2的下采样，意味着下采样模块1输入数据中的两个值被其下采样处理后的一个值所代表，因此，下采样模块1的输出数据的数据维度变为(c,t/2)，具体为(64，128)。下采样模块1的输出数据同时提供给下采样模块1对应连接的时间卷积模块2，以及下采样模块1之后的下采样模块2。
115.下采样模块2的输入数据的数据维度为(c,t/2)，具体为(64，128)，下采样模块2自身的采样率为2，因此，下采样模块2的输出数据的数据维度变为(c,t/4)，具体为(64，64)。下采样模块2的输出数据同时提供给下采样模块2对应连接的时间卷积模块3，以及下采样模块2之后的下采样模块3。
116.下采样模块3的输入数据的数据维度为(c,t/4)，具体为(64，64)，下采样模块3自身的采样率为2，因此，下采样模块3的输出数据的数据维度变为(c,t/8)，具体为(64，32)。下采样模块3的输出数据仅提供给下采样模块3对应连接的时间卷积模块4。
117.可以理解的是，下采样模块1至下采样模块3的输出数据相当于分别以27、26、25的采样率对网络输入的脑电图信号进行下采样后的结果。由于除下采样模块1外，其余下采样模块对网络输入的脑电图信号的不同采样率是在其上一个下采样模块进行下采样的基础
上完成的，因此，可以理解的是，相比第一种并行下采样处理的实施方式，该种实施方式可以减小下采样的数据运算量，能够降低内存占用，提高处理效率。
118.除下采样模块之外的其余模块与图5相同，在此不做赘述。
119.上述两种实施方式，可以利用不同采样率的下采样模块，使得每个时间卷积模块的输入数据是网络输入的脑电图信号，在预设衰减因子不同指数衰减对应的采样率下的下采样结果，目的是形成不同粒度级别的数据，通过将原始数据转换为多个粒度级别，可以进一步学习脑电图信号的特征表示。通过对不同粒度级别的数据提取时间特征、空间特征，进行时空特征残差融合和分类，能够将多粒度信息作为先验知识融入到神经网络设计中，从多个粒度提取脑电信号中的判别性特征，能够极大提升快速序列视觉呈现脑电信号的分类效果。
120.可选的一种实施方式中，所述时间卷积模块和所述空间卷积模块的结构包括：
121.卷积单元、批量归一化处理单元、激活函数处理单元和随机丢弃处理单元。
122.具体结构请参见图7，图7为本发明实施例的多粒度信息提取网络中时间卷积模块和空间卷积模块的结构示意图。
123.其中，卷积单元采样的卷积核大小可以为1*1等。批量归一化处理单元一般表示为batchnorm，用以加快网络收敛速度；激活函数处理单元的激活函数可以为elu激活函数等；随机丢弃处理单元的dropout比例可以设置为0.5等。
124.(三)针对多粒度信息提取网络的训练过程
125.本发明实施例中，所述多粒度信息提取网络的训练过程，包括：
126.对已构建的多粒度信息提取网络利用所述训练集，通过梯度下降法进行网络训练，得到训练完成的多粒度信息提取网络。
127.优选的实施方式中，已构建的多粒度信息提取网络可以采用图6所示的结构。通过梯度下降法进行网络训练的过程可以包括以下步骤：
128.1)针对已构建的多粒度信息提取网络，设置训练参数并完成参数初始化，得到原始网络。
129.具体的，可以设置训练的迭代次数为150次，单次样本输入量为4，损失函数为交叉熵损失函数，优化器采用自适应矩估计优化器，学习率初始值为0.001。并使用深度学习框架默认的初始化方式初始化已构建的多粒度信息提取网络的参数，即完成参数初始化，为了便于描述，将该步骤完成后得到的网络命名为原始网络。
130.其中，该步骤所设置的训练参数可以根据需要选择，并不限于以上所述值。具体参数初始化过程在此不做详细说明。
131.2)将未使用样本输入当前次迭代对应的网络，得到对应的分类结果。
132.具体的，每次可以从训练集中选取4个样本输入对应的网络，对各样本分别提取时间特征、空间特征，进行时空特征残差融合和分类，得到各样本的分类结果。分类结果为一个维度为3的向量，其中各数值依次表示样本中无目标、目标为人和目标为车的概率，比如分类结果为(0.2，0.7，0.1)，表示样本对应的图像中无目标的可能性为0.2，目标为人的可能性为0.7，目标为车的可能性为0.1，那么根据各概率的数值高低，可以确定最终的分类结果为人。
133.其中，首次迭代对应的网络为原始网络，之后各次迭代对应的网络为上一次迭代
后得到的网络。
134.3)根据当前次迭代的分类结果和输入样本的真实标签，计算交叉熵损失，利用自适应矩估计优化器根据所述交叉熵损失进行网络参数更新。
135.以上文示例继续说明，针对当前次迭代训练过程，在确定最终的分类结果为人后，根据当前次输入样本的真实标签为无目标、目标为人或目标为车，计算交叉熵损失，利用自适应矩估计优化器根据所述交叉熵损失进行网络参数更新，完成当前次迭代训练。
136.4)判断所述训练集中的样本是否均遍历完成，如果是，执行5)；如果否，返回执行2)。
137.5)停止迭代训练，将最终得到的网络作为训练完成的多粒度信息提取网络，以在对未知的被试者进行实时的快速序列视觉呈现脑电图信号分类时使用。
138.具体网络训练过程，请结合一般的神经网络训练过程进行理解，在此不做过多解释。
139.可选的一种实施方式中，所述多粒度信息提取网络的训练过程，包括：
140.对已构建的多粒度信息提取网络利用所述训练集，通过梯度下降法进行网络训练。
141.对梯度下降法训练完成的网络利用所述测试集进行参数优化，得到训练完成的多粒度信息提取网络。
142.在该种实施方式中，对已构建的多粒度信息提取网络利用所述训练集，通过梯度下降法按照上述步骤进行网络训练得到一个训练完成的基本网络后，并未直接将其作为训练完成的多粒度信息提取网络，而是再次利用测试集进行测试和参数优化。具体的，可以将测试集中的样本直接输入上述得到的基本网络进行分类，得到分类结果，然后对分类结果进行统计，结合样本的真实标签，得到该基本网络在测试集上的分类准确率，根据分类准确率调整该基本网络的卷积核大小、学习率等参数，从而得到一个在离线数据集上表现良好的优化网络，可以将该优化网络作为训练完成的多粒度信息提取网络，以在对未知的被试者进行实时的快速序列视觉呈现脑电图信号分类时使用。可见，该种实施方式利用测试集进行再优化，可以进一步提高网络性能，提高脑电图信号分类的准确率。
143.可选的一种实施方式中，针对实验阶段出现的特定的被试者，若其存在实时测试的需求，可以在网络训练过程中针对性得到适合该被试者的一个训练完成的多粒度信息提取网络，以在对该被试者进行实时的快速序列视觉呈现脑电图信号分类时针对性使用。
144.具体的，在上述利用测试集进行网络性能优化的实施方式基础上，所述对梯度下降法训练完成的网络利用所述测试集进行参数优化，完成之后，还可以包括：
145.针对特定的样本被试者，利用该样本被试者进行快速序列视觉呈现实验所得到的脑电图信号，对所述梯度下降法训练完成的网络利用所述测试集进行参数优化之后所得到的网络进行参数调整，得到针对该样本被试者的训练完成的多粒度信息提取网络，以在对该样本被试者进行快速序列视觉呈现脑电图信号的实时分类时对应使用。
146.具体的，在该种实施方式中，得到优化网络后可以使用该特定的样本被试者的脑电图信号对应的样本对上述优化网络进行微调，具体是先将优化网络的学习率调整为原有的1/27，再使用该样本被试者的脑电图信号对调整后网络进行测试，并根据结果不断微调学习率等参数，以得到适合该被试者进行在线实时分类的一个训练完成的多粒度信息提取
网络，以提高针对该样本被试者的实时分类准确性。
147.以上为对预先训练完成的多粒度信息提取网络的获得过程进行的具体介绍，针对s3，将预处理后的脑电图信号输入上述任一种预先训练完成的多粒度信息提取网络，均可以得到所述脑电图信号的分类结果。
148.关于本发明实施例的基于多粒度信息的快速序列视觉呈现脑电图信号分类方法的性能，请参见表1所示，表1为本发明实施例的基于多粒度信息的快速序列视觉呈现脑电图信号分类方法与快速序列视觉呈现领域最先进的分类算法eeg-inception在分类准确率方面的性能对比。
149.表1本发明实施例方法和eeg-inception的分类准确率对比
[0150][0151]
可见，相对于快速序列视觉呈现领域最先进的分类算法eeg-inception,本发明实施例提出的基于多粒度信息的快速序列视觉呈现脑电图信号分类方法的分类准确率提升了近4.3％。
[0152]
本发明实施例提出了一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，在实时分类时，采集被试者在快速序列视觉呈现下的脑电图信号，进行预处理后输入预先训练完成的多粒度信息提取网络，得到所述脑电图信号的分类结果。由于实时分类所使用的多粒度信息提取网络从多个不同粒度级别对脑电图信号进行特征提取，使用较低粒度级别提取脑电信号的短期时间相关性，较高粒度级别提取脑电信号的全局信息，将多粒度信息作为先验知识融入到了神经网络的设计中，因此在实时分类时能够极大地提升快速序列视觉呈现脑电图信号的分类准确率。
[0153]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。