基于图的多任务自监督情绪识别方法

1.本技术属于信息技术领域，涉及一种脑电信号的分类方法，具体而言，涉及一种基于图的多任务自监督情绪识别方法，可用于医疗服务。


背景技术：

2.脑电信号由大脑神经元群的生物电活动产生，属于自发性电位活动。通常将脑电信号按频段分为δ、θ、α、β、γ这几种不同的节律，不同节律的脑电信号能够反映人体不同的生理心理状态信息，其中：δ节律主要位于1～3hz频段，反映人的深度睡眠状态或特殊脑部病患；θ节律主要位于4～7hz频段，反映人处在睡眠初期、冥想、困倦或压抑状态；α节律主要位于8～13hz频段，除反映人处于清醒、安静和闭眼的状态，还包含了与躯体运动相关的μ波；β节律主要位于14～30hz频段，既能反映人处于精神紧张、情绪激动或思维活跃、注意力集中时的状态，也含有一部分反映躯体运动相关的信息；γ节律主要位于31～50hz频段，其包含较高层次的思维活动，如情绪变化、抽象思考等状态。
3.根据脑电信号的不同特征信息，衍生出了一系列脑电信号采集和处理方法。目前普遍使用的是将电极通过导电膏与人体头皮相连来获取脑电信号，称为非侵入式脑电采集方法。脑电信号的采集和处理技术可应用于脑机接口bci的研发、医疗服务和人类认知活动研究。
4.脑机接口源于上世纪七八十年代，早期bci主要用于医疗服务，通常面向神经或肌肉失能的重症病人设计，例如脑控轮椅，脑控文字输入设备，脑控假肢和机械臂等等。随着研究的推进，bci在医疗、康复应用中继续发挥更大作用的同时，也逐渐显示出更广阔的应用潜力。在教育领域，用于时刻反馈教师授课质量的学生头环已投入市场，又可嵌入日常生活场景，改善儿童多动症、增强注意力；保健行业，已有基于脑电的睡眠质量监测和改善仪器；在家用娱乐方面，脑控交互系统提供了全新的游戏形式，可用于强化虚拟现实、增强现实，提升用户体验；在特种行业，利用脑电仪器监测使用者的情绪变化和工作状态，当发现使用者情绪异常或疲劳工作时及时干预，避免造成重大损失；在军事方面，美国等试图借助bci提升单兵作战能力。出于成本和便携性考虑，这类bci通常使用非侵入式方法采集脑电信号。
5.脑电情绪识别方法主要包括传统机器学习的方法和基于深度学习的方法。传统机器学习的方法的主要包含了多层感知机提取特征使用线性svm分类的方法；深度学习的方法主要包含了卷积神经网络或循环卷积神经网络以及全连接层提取脑电信号情感信息。随着图卷积神经网络的兴起，利用脑电信号的拓扑结构进一步研究脑电情绪的想法也随之兴起。因此基于图卷积神经网络的脑电情绪识别的方法也被提出。图卷积神经网络输入包含了原始的脑电数据以及对电极建模构造的图结构，根据图结构中结点间的连接关系实现结点间信息的传递。图卷积操作完成特征提取后，将特征送入全连接层实现分类。其中具有代表性的工作有宋等人在“eeg emotion recognition using dynamical graph convolutional neural networks,”一文中提出动态图卷积的方法，动态地学习不同脑电
通道间的内在关系来帮助情感识别。然而，现有传统机器学习的方法以及基于卷积神经网络、循环神经网络和图卷积神经网络的深度学习方法对脑电数据本身的探索和利用仍然还是浅层次的，未充分利用大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性等脑电信号的本身属性，导致脑电情绪识别的效果差，准确率低。


技术实现要素：

6.本发明的目的在于，针对上述现有技术中的不足，提供一种基于图的多任务自监督情绪识别方法，以解决现有技术由于未充分利用大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性等脑电信号的本身属性，而导致脑电情绪识别的效果差，准确率低的问题。
7.为实现上述目的，本发明的技术思路是：基于自监督学习理论设计多个自监督辅助任务以及基于多任务学习理论，利用图卷积神经网络完成对脑电情绪信号的识别。具体地，采用如下技术方案来实现。
8.本技术提供一种基于图的多任务自监督情绪识别方法，具体包括如下步骤：s1，获取脑电情绪数据并进行预处理；s2，构建自监督辅助任务；s3，构建图卷积神经网络；s4，训练图卷积神经网络；s5，测试图卷积神经网络。
9.更进一步地，步骤s1中的预处理包括对脑电情绪数据进行数据段选取、去基线、去工频、初步提取特征。
10.更进一步地，步骤s2中构建的自监督辅助任务包括空间拼图任务、频率拼图任务、对比学习任务。
11.更进一步地，空间拼图任务将每份脑电情绪数据按照不同的脑区划分为10块。
12.更进一步地，频率拼图任务将每份脑电情绪数据按照不同的频带区间划分为5块。
13.更进一步地，对比学习任务将脑电情绪数据既做不同脑区的空间分块也做频带分块。
14.更进一步地，步骤s3构建的图卷积神经网络包括图输入模块、特征提取模块、分类模块。
15.更进一步地，特征提取模块包括基于切比雪夫多项式的图卷积操作。
16.更进一步地，步骤s4中的损失函数为交叉熵损失函数。
17.更进一步地，步骤s4中以不出现过拟合为图卷积神经网络训练好的标准。
18.与现有技术相比，本发明的有益效果：
19.(1)本发明首次考虑到将多任务框架用于脑电情绪识别。通过多个情感相关任务的知识共享，相互促进，得到更加泛化的情感识别模型。提高脑电情绪识别的效果，提高识别准确率。
20.(2)本发明首次考虑到设计自监督任务用于脑电情绪识别。设计的空间拼图任务通过学习不同脑区之间的内在空间关系，从而学习脑电情绪相关的空间模式；设计的频率拼图任务旨在于挖掘对情感识别更为关键频带；设计的对比学习任务旨在于进一步规范特征空间，学习内在的表征。本发明考虑到了脑电信号的本身属性，充分利用了大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，提高脑电情绪识别的效果，提升识别准确率。
附图说明
21.图1为本发明提供的一种基于图的多任务自监督情绪识别方法中的基于图的多任务自监督学习框架图；
22.图2为本发明提供的一种基于图的多任务自监督情绪识别方法的步骤示意图；
23.图3为本发明提供的一种基于图的多任务自监督情绪识别方法的步骤s2中的空间拼图任务构建方式；
24.图4为本发明提供的一种基于图的多任务自监督情绪识别方法的步骤s2中的频率拼图任务构建方式；
25.图5为本发明提供的一种基于图的多任务自监督情绪识别方法的步骤s2中的对比学习任务数据对构建方式。
具体实施方式
26.为了使本发明的实施过程更加清楚，下面将会结合附图进行详细说明。
27.本发明提供了一种基于图的多任务自监督情绪识别方法，图1展示了本发明中的基于图的多任务自监督学习框架图。如图2所示，本发明包括如下步骤：
28.s1，获取脑电情绪数据并进行预处理；
29.脑电情绪数据的采集过程为：被试者佩戴电极帽观看情绪诱发视频，在观看情绪诱发视频的过程中，通过电极帽上的电极采集被试者的脑电情绪数据。本发明获取的脑电情绪数据可以是被试者的采集数据，也可以是现有的数据集，还可以是被试者的采集数据和现有数据集组成的新的数据集。本发明以公开的上海交通大学的seed和seed-iv脑电情绪数据集和东南大学的mped脑电情绪数据集为例，其中上海交通大学的seed脑电情绪数据集为快乐、悲伤、中性三类数据集，seed-iv脑电情绪数据集为快乐、悲伤、恐惧、中性四类数据集，东南大学的mped脑电情绪数据集为喜悦、有趣、愤怒、恐惧、厌恶、悲伤、中性七类数据集。将获取的脑电情绪数据进行数据段选取、去基线、去工频、初步提取特征。上海交通大学的seed，seed-iv脑电情绪数据集和东南大学的mped脑电情绪数据集都采用了62通道采集设备，电极分布采用国际通用的10-20导联系统，分别有15、15、30名被试者参与了数据采集，脑电情绪数据被切割为1s的片段。上海交通大学的seed，seed-iv脑电情绪数据集和东南大学的mped脑电情绪数据集被分别以9：6、16：8、21：7的比例分为训练集数据和测试集数据进行被试者依赖实验，这样划分方便与其他结果进行对比，使用留一法交叉验证策略进行被试者独立实验。至此获得了情绪识别任务所需要的输入数据。
30.s2，构建自监督辅助任务；
31.利用步骤s1获取的脑电情绪数据构建三个自监督辅助任务，分别为空间拼图任务、频率拼图任务和对比学习任务。同时构建空间拼图任务、频率拼图任务和对比学习任务这三个自监督辅助任务并对数据集中所有数据都执行这三个任务。通过解决空间拼图任务学习脑电情绪信号的空间模式，通过解决频率拼图任务挖掘对脑电情绪识别更加关键的频带信息，通过解决对比学习任务进一步规范特征空间，学习脑电信号的内在表示。同时解决这三个相关任务，使得本发明方法能够得到更加具有泛化性的情绪空间特征和频率特性，本发明方法的脑电情绪信号判别能力较强，脑电情绪识别的准确率较高。
32.空间拼图任务是将脑电情绪数据按照不同脑区分块并打乱得到一个随机排列的
脑电情绪数据，并为该排列顺序分配一个标签，该标签为伪标签。如图3所示，将步骤s1获得的每份脑电情绪数据按照不同的脑区分块，将一份脑电情绪数据划分为10块，空间拼图任务等价的转换为排列识别任务，并随机打乱后，得到一个新的排列顺序。这为图卷积神经网络学习每块空间拼图语义特性及每块空间拼图之间的语义相关性提供基础。本发明方法充分利用了不同脑区的空间相关性，充分学习脑电情绪信号的空间模式，从而提高脑电情绪信号识别的准确率。
33.频率拼图任务是将脑电情绪数据按照不同的频率区间分块并打乱得到一个随机排列的脑电情绪数据，并为该排列顺序分配一个标签，该标签为伪标签。如图4所示，将步骤s1获得的每份脑电情绪数据按照不同频带分块，将一份脑电情绪数据划分为5块，频率拼图任务等价的转换为排列识别问题，并随机打乱得到一个新的排列顺序。这为图卷积神经网络学习每块频率拼图语义特性及每块频率拼图之间的语义相关性提供基础。本发明方法充分利用了充分利用了脑电情绪信号的频带特性，充分学习对脑电情绪信号分类更加关键的频率信息，从而提高脑电情绪信号识别的准确率。
34.对比学习任务是将脑电情绪数据按照不同脑区和不同频带打乱，如图5所示，将脑电情绪数据既做空间分块也做频带分块，从而构建正负对数据，最大化正对相似度。通过最大化正对相似度，使得提取的正对特征在特征空间靠近，提取的负对特征在特征空间远离。这样能进一步规范化模型的特征空间，以便学习脑电情绪信号的内在表征，提高脑电情绪识别的准确率。
35.本步骤还包括对空间拼图任务、频率拼图任务、对比学习任务生成的脑电情绪数据和原始数据进行最大最小值归一化，使结果值映射到[0,1]之间，这样能够加快梯度下降，使最优解的求解速度较快。
[0036]
s3，构建图卷积神经网络；
[0037]
图卷积神经网络包括图输入模块、特征提取模块、分类模块。图输入模块能同时处理多个任务输入；特征提取模块为基于切比雪夫多项式的图卷积神经网络，是共享模块，用于提取数据特征；分类模块由多个图卷积分类组成，对应相应的输入特征并分类。
[0038]
图输入模块：根据多任务学习理论，同时将原始数据、空间拼图任务的结果数据、频率拼图任务的结果数据和对比学习任务构造的正负对数据输入图卷积神经网络。原始数据的分类任务对应为主任务，空间拼图任务的结果数据、频率拼图任务的结果数据和对比学习任务构造的正负对数据输入对应为三个自监督辅助任务。空间拼图任务的结果数据、频率拼图任务的结果数据和对比学习任务构造的正负对数据的输入包含脑电情绪相关的空间信息和频率信息，这将会使得主任务的情绪识别过程考虑到大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，从而提高脑电情绪识别的准确率；同时，在不断迭代学习的过程中每个任务相互促进，能够进一步提高本发明方法的脑电情绪识别能力。
[0039]
特征提取模块：特征提取模块为四个任务共享，即实现了多任务的知识共享。这样，特征提取模块提取了三个自监督辅助任务对应的空间信息和频率信息，通过知识共享，使得主任务的情绪识别过程充分考虑大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，从而本发明方法脑电情绪识别的准确率较高。特征提取通过基于切比雪夫多项式的图卷积神经网络完成，切比雪夫多项式的表达式为：
[0040][0041][0042]
σ(
·
)是激活函数，x是输入的数据，βk是网络训练时学习的参数，tk(
·
)是k阶切比雪夫多项式，k＝2，λ
max
是拉普拉斯矩阵l的最大特征值。对于每一个任务，输入的数据均提过手工特征，因此输入特征维度为62*5，输出特征维度为62*32，这样，输出特征维度相比于输入特征维度较高，具有更丰富的高维特征信息，高维特征信息抽象程度高，包含更加丰富的语义信息，因此，本发明方法的脑电情绪识别准确率更高。
[0043]
分类模块：通过全连接层完成分类功能。空间拼图任务对应空间分类头，空间分类头生成预测空间类别标签，空间分类头输出维度为128，即预测空间类别标签的预测结果为128类中的一类。预测空间类别标签的数目为128，即本发明方法中考虑的空间信息较细致，也较全面，从而本方法识别准确度更高。频率拼图任务对应频率分类头，频率分类头生成预测频率类别标签，频率分类头输出维度为120，即预测频率类别标签的预测结果为120类中的一类，预测频率类别标签的数目为120，即本发明方法中考虑的频率信息较细致，也较全面，从而本方法识别准确度更高。对比学习任务对应的投影头，采用简单有效的余弦相似度度量数据对的相似程度，并最大化正对间的相似度，这样相似样本在特征空间中更加靠近，同类相聚，聚成一团，有助于分类任务的完成，使得分类结果的准确率更高。情绪识别任务即主任务对应情绪分类头，对seed，seed-iv和mped三个数据集的原始脑电情感数据进行分类，对应的输出维度分别是3，4，7，这分别与步骤s1中的情绪类别的数目一致。情绪分类头生成的标签为预测情绪标签，空间分类头生成的标签为预测空间类别标签，频率分类头生成的标签为预测频率类别标签，投影头不生成标签。通过特征提取模块中的多任务的知识共享，预测情绪标签的生成过程已经包含了大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，因此，预测情绪标签为最终的预测结果，由于生成过程考虑了大脑空间邻近信息的互补性和大脑信号情绪频率特征的相关性，本发明方法识别脑电情绪的准确率较高。
[0044]
s4，训练图卷积神经网络；
[0045]
使用步骤s1中的训练集脑电情绪数据和步骤s2中构建的自监督辅助任务对步骤s31构建的图卷积神经网络进行联合训练。使用测试集对训练中的图卷积神经网络进行检验，若出现过拟合，则调整学习率重新训练图卷积神经网络，最后得到初步训练后的图卷积神经网络。
[0046]
s41，设置训练次数为100-300，每个任务单次样本输入量为100-300，损失函数为交叉熵损失函数：
[0047][0048]
为交叉熵损失，n为样本数，yi为标签独热编码，为分类头或者投影头，图卷积神经网络，x i
为输入数据。损失函数为多个任务损失的加权求和，具体权重依据观测到的实验结果进行手动调节，使得本方法得到的特征更加偏向于解决情绪识别任务。图卷积神经网络优化器采用自适应时刻估计优化器，学习率初始为0.001，随机失活节点保留率
为0.5。
[0049]
s42，每次从训练集中取100个样本，依据步骤s2为每个自监督任务生成相应的数据，送入步骤s3构建好的图卷积神经网络中的图输入模块，通过特征提取模块得到脑电情绪信号的特征，再对脑电情绪信号特征依次进行非线性、降采样、对数处理并随机失活后，送入相应的分类模块进行分类。
[0050]
s43，对于空间拼图任务根据空间分类头生成的预测空间类别标签和步骤s2中所述的对应的伪标签，计算出交叉熵损失；对于频率拼图任务根据频率分类头生成的预测频率类别标签和步骤s2中所述的对应的伪标签，计算出交叉熵损失；对于对比学习任务，通过最大化正对相似度，计算归一化交叉熵损失；交叉熵损失和归一化交叉熵损失均用于反向传播。对于脑电情绪识别的主任务，根据预测情绪标签和样本真实标签计算出交叉熵损失；再由图卷积神经网络优化器对图卷积神经网络中的卷积层和全连接层的参数进行更新。用交叉熵损失进行反向传播，更新网络参数，以达到最小化交叉熵损失的目的，交叉熵损失越小，情绪识别准确率越高，从而提高本发明方法的情绪识别准确率。
[0051]
s44，遍历训练集中的所有样本，完成1次训练，每迭代训练10次，进行一次测试，测试采用测试集数据进行，并分别计算图卷积神经网络在训练集和测试集上的准确率。
[0052]
s45，将图卷积神经网络在训练集和测试集上的准确率进行对比。若随着训练次数的增加，图卷积神经网络在训练集上的准确率比测试集上的准确率高20％以上，则是出现了过拟合，此时降低学习率，返回步骤s42，重新进行训练。若随着训练次数的增加，训练集和测试集上的准确率一直相差在20％以内，则训练1000次后，得到训练后的图卷积神经网络。
[0053]
s5，测试图卷积神经网络。
[0054]
将步骤s1中测试集中的脑电情绪数据直接送入训练后的图卷积神经网络进行分类，并对分类结果进行统计，得到图卷积神经网络在测试集上的识别准确率。若测试的准确率不能达到所要求的精度，则需调整学习率，重复步骤s4，对图卷积神经网络重新进行训练，直到满足所需的精度为止。
[0055]
在seed数据集上，被试者依赖实验结果的准确率为96.48％，这高于李等人在“a novel bi-hemispheric discrepancy model for eeg emotion recognition”一文中，使用最先进的bihdm方法在无域自适应的实验协议下，得到的91.70％；被试者独立实验结果的准确率为86.52％，这高于李等人在上述文章中公开的81.55％。在seed-iv数据集上，被试者依赖实验结果准确率为86.37％，这高于李等人在上述文章中公开的72.22％；被试者独立实验结果的准确率为73.48％，这高于李等人在上述文章中公开的67.47％。在mped数据集上，被试者依赖实验结果准确率为40.16％，这高于李等人在上述文章中公开的38.55％；被试者独立实验结果准确率为28.49％，这高于李等人在上述文章中公开的27.43％。本发明为在无域自适应的实验协议下取得了state-of-the-art的结果。
[0056]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。