基于自监督CNN的脑电情绪识别方法

本发明涉及基于自监督cnn的脑电情绪识别方法，针对情绪脑电信号(eeg)，提出利用自监督方法对不带情绪标签的原始脑电信号进行预训练(预训练使用的标签不是人工标注的，而是构造辅助任务生成的)，使得模型学习到脑电数据内部特征，然后将预训练卷积神经网络模型的低层迁移，重新构建密集层并使用带有情绪标签的脑电数据训练密集层，来实现使用自监督的方法进行脑电情绪识别的目的，属于模式识别。

背景技术：

1、情绪作为人的生理和心理的表达，蕴含着许多有价值的信息，比如性格、喜好、身心状态等。因此，情绪识别在许多领域中被广泛研究。例如在交通安全方面，通过情绪识别可以获取司机的身心状况，避免交通事故的发生；在心理健康方面，通过情绪识别可以鉴别人们的不良情绪，避免抑郁症等疾病的发生；在人机交互方面，通过情绪识别使服务型机器人能够理解人的情感并更好地与人进行交流。目前，情绪识别方面的方式主要有两个方面。第一种是行为信号，比如运动步态、面部表情、语音、文本等。这些信号在采集的过程中容易受到外界干扰并且易于伪装，因此识别准确率较低。第二种是生理信号，比如脑电波、心电图、眼电图等。这些信号是自发产生的，不易控制，不易伪装，因此在情绪识别中得到了广泛的研究。尤其是脑电波，一直作为情绪识别的重点被广泛研究。

2、基于机器学习方法的研究在该领域取得了一定的进展，研究人员通常提取eeg信号的特征，常见的有时域特征、频域特征、时频特征等，并使用自组织映射(self-organizing map，som)、支持向量机(svm)、k近邻(k-nearest neight-bor，knn)等分类器对提取了特征的脑电数据进行分类。机器学习的方法不仅需要首先人工提取特征，而且分类效果普遍不太理想。随着深度学习的发展，解决了这个问题。深度学习可以自动完成脑电特征的提取，来进行情绪分类。在脑电情绪识别领域使用的深度学习方法有卷积神经网络(cnn)、循环神经网络(rnn)、深度信念网络(dbn)等等。基于深度学习算法的脑电情绪识别比人工提取特征的维度更高，识别效果优于机器学习。然而许多应用于脑电情绪识别的深度学习方法使用的是监督的方式对其进行训练，监督的学习在训练过程中需要大量的标记数据，然而脑电信号的采集过程比较麻烦，实际应用中采集大量标记数据会花费很多资源，并且，监督学习的方法训练好的模型最终往往特定于某一类任务，扩展其他任务的性能差。自监督的学习方法补充了这些局限性。自监督学习使用的不是人工标注的标签，而是通过构建辅助任务来自动生成标签，学习辅助任务使得网络学习到数据内在表征，之后将训练好的模型微调接到下游任务，微调的时候使用的标签是人工标注的标签。因此自监督学习时可以使用无标记数据学习到更强大的数据底层结构表示。由于自监督学习到的是数据内在的普遍表征，并不是特定于某一任务的特征，因此自监督的模型可以微调到不同任务中，对于不同的分类任务不需要从头训练网络，这一特点大大提高了网络的性能。有研究者证明了，自监督的学习方法能够提升模型的鲁棒性、降低其不确定性。

技术实现思路

1、针对传统卷积神经网络训练时需要数据量大并且训练好的网络只能针对一种任务进行分类的问题，本文提出在多任务卷积神经网络模型基础上，利用自监督的学习方法对模型进行训练，在deap数据集和seed数据集上进行情绪分类验证，并从数据扩展角度出发探究数据量以及数据特征对自监督性能的影响。

2、基于自监督cnn的脑电情绪识别方法的具体步骤如下：

3、步骤一：收集多通道脑电信号并进行预处理。收集受试者的多通道情绪脑电信号；之后利用8阶巴特沃斯滤波器(butterworth filter)对每个通道脑电信号进行滤波处理，得到脑电五个频段的信号，并提取微分熵(differential entropy,de)特征；最后按照特征维度或者时间片段维度作归一化处理。

4、步骤二：对无标记脑电信号构建辅助任务。将处理好的每个脑电数据构建6种信号变换作为辅助任务，并打上相应的标签。6种信号变换有：添加噪声、尺度变换、信号水平翻转、信号垂直翻转、时间错位、时间扭曲。

5、自监督训练的标签不是人工标记的，而是利用辅助任务从大规模无监督数据中挖掘自身的监督信息。通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。本发明中，针对一维脑电信号，构建了六种信号变换作为辅助任务，进行自监督学习，辅助任务的构建步骤如下：

6、添加噪声：来自高斯分布的随机噪声n(t)被添加到原始eeg信号s(t)。从随机噪声发生器获得n(t)，最后，将加噪声信号生成为s(t)+n(t)。

7、尺度变换：将原始脑电信号的幅值拉长或伸缩。原始脑电信号s(t)的幅值变换为α*s(t)，α是尺度因子。

8、信号水平翻转：将原始脑电信号按照水平线翻转。原始脑电信号s(t)的幅值转换为-1*s(t)。

9、信号垂直翻转：将原始脑电信号按照垂直线翻转(实际就是进行时间翻转)。

10、时间错位：将原始脑电信号均匀分成n份，随机选取种子数，并将它们按照随机顺序进行重新组合，来实现对每个段的时间位置的扰动。

11、时间扭曲：将原始信号均匀分成m份，随机选取种子数进行来对每个片段进行时间拉伸或压缩，将时间扭曲后的每一段信号重新组合，之后再将数据维度修建到与原始数据一样的维度。

12、进行6种信号变换之后将原始信号与6种信号一起堆叠为其生成相应的标签[0,1,2,3,4,5,6]，7种信号和相应的标签就是信号转换识别网络的输入。

13、步骤三：自监督预训练。将原始信号和转换信号以及对应标签一起训练多任务卷积神经网络进行自监督学习，多任务卷积神经网络执行信号转换识别任务。

14、单一任务的特征对于某一个分类任务不能达到很好的效果，为了学习到多任务之间的普遍特征，使得模型具有很好的泛化性能，本发明预训练使用的是多任务卷积神经网络。多任务卷积神经网络包含两个部分，共享层和任务特定层。共享层作为神经网络的低层次能够学习到数据的普遍特征，通过学习到多个任务之间数据的普遍特征，使得模型具有更好的泛化性能。任务特定层作为神经网络的高层次能够学习到具体的特征信息，来对多个辅助任务进行分类。

15、信号转换识别网络模型有3个卷积块作为共享层，每个共享层由两个一维卷积层、relu激活函数和bn层组成。卷积核的尺寸大小从32减少到16再到8，卷积核的数量从32增加到64再到128，bn层可根据数据的具体情况进行选择。在每个卷积块之后执行池化操作，池化层的尺寸为8。在最后一个卷积块后执行全局最大池化操作，再通过一个全连接层将输出送到任务特定层中。任务特定层针对每个信号变换生成了一个分支，每个分支由两个密集层和relu激活函数组成，同时为了防止过拟合引入了60％的droupout(使用bn层时就不使用droupout)。

16、步骤四：下游任务迁移。将训练好的信号转换识别网络的卷积层冻结并重新构建全连接层作为情绪识别网络，使用带情绪标签的脑电数据对情绪识别网络的全连接层进行训练，训练好后对情绪进行分类。

17、训练好的信号转换识别网络已经学习到了脑电数据的普遍特征，即学习到了对下游任务有价值的表征。后续将自监督预训练的网络模型迁移并构建全连接层，迁移到下游任务上，重新训练全连接层。本发明中，下游任务是情绪识别任务。

18、情绪识别网络包括信号转换识别网络的卷积层，以及具有隐藏节点的全连接层。情绪识别网络的卷积层是将训练好的信号转换识别网络的卷积层冻结并迁移，之后根据不同的数据集构建不同的全连接层，使用带有情绪标签的脑电数据对全连接层进行重新训练，使得网络的高层次学习到情绪分类任务的特征。

19、与现有技术相比，本发明的有益效果在于：

20、本发明利用多任务卷积神经网络进行自监督训练，模型充分学习到了脑电数据的内在表征，自监督模型可以迁移到多个不同分类任务上，实际应用中大大节省了时间，节约了资源。并且与许多监督学习方法比较，自监督方法的学习效果优于监督方法的脑电情绪识别。

21、本文中自监督的学习流程主要有三点：首先对未标记标签的脑电数据进行6种信号转换来构建辅助任务；其次使用多任务卷积神经网络对执行转换后的信号以及原始信号一起进行信号转换识别，信号转换识别网络训练好后，将信号转换识别网络的卷积层冻结并重新构建全连接层作为情绪识别网络；最后使用带情绪标签的脑电数据对情绪识别网络进行训练，训练好后对情绪进行分类。