一种基于CNT的脑电信号情绪识别方法

本发明属于计算机，涉及脑电信号的情绪识别，为一种基于cnt的脑电信号情绪识别方法。

背景技术：

1、情绪作为人类复杂的心理过程，无论是在人际交往、决策制定，还是在对外部环境的感知方面均有着重要的作用。情绪识别可以通过多种测量方式来实现，如主观自我报告、自主和神经生理测量。在过去的几年里，脑电图(electroencephalography,eeg)受到了研究人员的极大关注，因为它可以为识别情绪提供一种客观、简单、廉价、便携和易于使用的解决方案。目前，大多数基于脑电信号的情绪识别方法都集中在深度学习领域，以充分利用其潜力并获得更准确的识别结果，如长短时记忆网络lstm(long short term memory)和卷积神经网络cnn(convolutional neural network)。然而这些模型存在以下问题：

2、lstm和cnn无法完美地把握eeg信号的全局特征。cnn忽略了eeg的时间依赖性。lstm虽然引入门控机制，但它记忆的时间跨度仍然有限，当信号存在长时程关联时，会因超出记忆时间跨度而导致远距离时间特征无法被捕捉。此外，lstm必须按序列的顺序进行处理，这使得并行计算变得困难。这会导致长序列的识别效率降低。

技术实现思路

1、本发明为克服现有技术不足，提出一种基于卷积融合transformer(cnn-transformer，cnt)的脑电信号情绪识别方法，旨在更有效地捕捉eeg信号中的全局特征，以提高情绪识别的准确率。

2、本发明的技术方案为：一种基于cnt的脑电信号情绪识别方法，构建基于卷积融合transformer的脑电信号情绪识别模型，通过对脑电图eeg信号的分类，实现对情绪的识别，所述情绪识别模型包括cnn模块、transformer encoder模块和输出模块三个串联分立模块，cnn模块用于对输入信号的指定频段进行局部特征提取，transformer encoder模块用于对cnn模块输出的局部特征进行整合，输出模块实现信号的分类，得到情绪识别结果。

3、进一步的，所述cnn模块包含2层卷积+池化结构，第1层卷积的通道数设置为16，第2层的卷积采用分组卷积，通道数设置为16*2，第i层中核的尺寸设置为其中fsi代表第i层输入信号的采样率或等效采样率，fli代表第i层所关注频段的最低频率，2层的卷积步长均为1，填充采取零填充，两个池化层均采取最大池化，池化核尺寸设置为1×2，步长为2，无填充操作；

4、cnn模块输出的矩阵，leeg表示eeg信号长度，flatten为长度为d的向量作为提取的局部特征，记为ymodel1，输出到transformer encoder模块，其中d＝8leeg。

5、进一步的，transformer encoder模块由resnet-mhsa层和ffn层串联构成，添加残差并归一化后输出到输出模块；

6、其中多头注意力mhsa包含8个头，cnn模块输出的长度d的特征向量ymodel1被分割成8个长度为的向量，分别作为8个头的输入，每个头连接到个输出神经元，8个头的输出再次顺序拼接成长度为d的向量，通过dropou_rate＝0.1的dropout层进行dropout操作，记为ymhsa，resnet-mhsa层输出为yres-mhsa＝ymodel1+ymhsa，然后下面的公式归一化：

7、

8、其中μ是当前向量yres-mhsa中所有元素的均值，σ是当前向量yres-mhsa中所有元素的标准差，γ和β是标量参数，在学习中迭代修改,ynm1作为下一级ffn的输入；

9、ffn采用三层结构，包括含d个神经元的输入层，一个含4d个神经元的隐层，以及含d个神经元的输出层，隐层神经元的转换函数为：

10、f(ynm1)＝relu(w1ynm1+b1)

11、其中，w1代表d×4d的权重矩阵，b1代表长度4d的偏置向量，转换后的长度为4d的输出向量记作f，输出层神经元的转换函数为：

12、g(f)＝w2f+b2

13、其中w2代表4d×d的权重矩阵，b2是输出层神经元的长度为d的偏置向量，转换后的长度为d的输出向量记为g，对g使用比例0.1的dropout，并再次引入残差，得到：

14、yres-ffn＝ynm1+g

15、对yres-ffn进行归一化操作，得到transformer encoder模块的输出向量ymodel2：

16、

17、其中μ′是当前向量yres-ffn中所有元素的均值，σ′是当前向量yres-ffn中所有元素的标准差，γ′和β′是标量参数，在学习中迭代修改。

18、进一步的，输出模块由一个含有m个神经元的全连接层与softmax层构成，其中m代表待分类的情绪类别数，transformer encoder模块的输出直接作为输出模块的输入，通过全连接层进行处理，接着应用relu激活函数，转换函数为：

19、h(ymodel2)＝relu(w3ymodel2+b3)

20、其中w3代表全连接层大小为d×m的权重矩阵，b3是长度为m的偏置向量。转换后的长度为m的输出向量记为h；

21、全连接层的输出h经过softmax层处理，转换为一个m维的概率分布，其计算公式为：

22、

23、其中，hi是全连接层输出向量h中的第i个元素，分母是所有m个输出值经过指数函数映射后的总和，softmax层的输出神经元数量为m，其输出是一个维度为m的向量，每个元素代表对应类别的预测概率，取概率值最高的分类作为最终的识别情绪。

24、进一步的，对输入脑电信号情绪识别模型信号的脑电信号进行预处理：将脑电信号通过1-75hz巴特沃斯带通滤波器，过滤掉低频的眼电信号和高频的肌电信号，对脑电信号进行采样率为200hz的降采样，使用最小-最大归一化对原始数据进行缩放，使其全部位于0到1之间。

25、与现有技术相比，本发明的有益效果体现在：

26、1)更强的特征提取能力：结合cnn和transformer的模型能够有效地从eeg信号中提取出复杂的特征。cnn模块擅长提取局部特征，而transformer模块则能捕捉长距离依赖关系，使模型能够综合局部和全局信息，更全面地理解数据。

27、2)提高情绪识别的准确性：通过融合cnn和transformer的优点，cnt模型能更准确地识别不同的情绪状态。这对于提高人机交互的自然性和流畅性非常重要。

28、3)增强模型的泛化能力：利用transformer模块的自注意力机制，模型能够更好地泛化到新的、未见过的数据，从而在实际应用中表现出更强的鲁棒性。

技术特征：

1.一种基于cnt的脑电信号情绪识别方法，其特征是构建基于卷积融合transformer的脑电信号情绪识别模型，通过对脑电图eeg信号的分类，实现对情绪的识别，所述情绪识别模型包括cnn模块、transformer encoder模块和输出模块三个串联分立模块，cnn模块用于对输入信号的指定频段进行局部特征提取，transformer encoder模块用于对cnn模块输出的局部特征进行整合，输出模块实现信号的分类，得到情绪识别结果。

2.根据权利要求1所述的一种基于cnt的脑电信号情绪识别方法，其特征是所述cnn模块包含2层卷积+池化结构，第1层卷积的通道数设置为16，第2层的卷积采用分组卷积，通道数设置为16*2，第i层中核的尺寸设置为其中fsi代表第i层输入信号的采样率或等效采样率，fli代表第i层所关注频段的最低频率，2层的卷积步长均为1，填充采取零填充，两个池化层均采取最大池化，池化核尺寸设置为1×2，步长为2，无填充操作；

3.根据权利要求1所述的一种基于cnt的脑电信号情绪识别方法，其特征是transformer encoder模块由resnet-mhsa层和ffn层串联构成，添加残差并归一化后输出到输出模块；

4.根据权利要求1所述的一种基于cnt的脑电信号情绪识别方法，其特征是输出模块由一个含有m个神经元的全连接层与softmax层构成，其中m代表待分类的情绪类别数，transformer encoder模块的输出直接作为输出模块的输入，通过全连接层进行处理，接着应用relu激活函数，转换函数为：

5.根据权利要求1所述的一种基于cnt的脑电信号情绪识别方法，其特征是对输入脑电信号情绪识别模型信号的脑电信号进行预处理：将脑电信号通过1-75hz巴特沃斯带通滤波器，过滤掉低频的眼电信号和高频的肌电信号，对脑电信号进行采样率为200hz的降采样，使用最小-最大归一化对原始数据进行缩放，使其全部位于0到1之间。

技术总结
一种基于CNT的脑电信号情绪识别方法，构建基于卷积融合Transformer的脑电信号情绪识别模型，通过对脑电图EEG信号的分类，实现对情绪的识别，所述情绪识别模型包括CNN模块、Transformer Encoder模块和输出模块三个串联分立模块，CNN模块用于对输入信号的指定频段进行局部特征提取，Transformer Encoder模块用于对CNN模块输出的局部特征进行整合，输出模块实现信号的分类，得到情绪识别结果。本发明结合CNN和Transformer的模型能够有效地从EEG信号中提取出复杂的特征，更准确地识别不同的情绪状态，并增强了模型的泛化能力，在实际应用中表现出更强的鲁棒性。

技术研发人员：丁天力
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/4/17