一种基于SimAM注意力机制的空-时-频多域脑电特征情绪识别方法

本发明涉及一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，属于基于脑电的情绪识别。

背景技术：

1、人工智能已成为新一轮产业变革的驱动力。近年来，随着人工智能的兴起，出现了对人类情感识别的兴趣日益浓厚。在不同的人机交互系统，它更友好和自然识别人类的情绪状态。情绪对人类有着至关重要的作用，良好的情绪可以带来更好的生活体验，而不良的情绪不仅会影响个人身心健康的发展，还会引发一些身体上的生理疾病。自1924年，脑电图检测方法出现后，eeg信号因其自身独有的非侵入性、良好的时间分辨率、易用和便携等特点，使得越来越多研究人员近些年来致力于通过脑电信号来研究与情绪识别相关的任务。

2、在基于脑电的情绪识别任务中，采用的深度学习框架大致上可划分为两步。第一步，对脑电信号进行一系列操作，得到一种没有重要情绪特征丢失的新的数据表征形式；第二步，提取更高阶的特征信息，这依赖于一个适合任务类型的神经网络框架。当前基于深度学习框架已变成该领域的主流框架并取得了一定的成绩。而关于如何使用深度学习框架来获取更多完整和丰富的脑电特征信息，从而提高任务分类却仍然是一个挑战。

技术实现思路

1、本发明要解决的技术问题是提供一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，用以解决上述技术问题。

2、本发明的技术方案是：一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，具体步骤为：

3、step1：对原始脑电数据进行处理，获取具有四维时空特征表征的时间、频率及空间信息。

4、具体为：

5、step1.1：使用巴特沃斯滤波器来解码出theta、alpha、beta、gamma四个波段的信号，同时对数据进行0.5秒无重叠滑窗，以增加实验数据量。

6、step1.2：根据式(1)分别计算32个脑电信号通道4个频段前3秒的基线微分熵特征和音乐视频刺激下的60秒信号数据的微分熵特征，之后，利用式(2)计算出3秒基线部分4个不同频段的平均微分熵特征，利用式(3)计算出theta、alpha、beta、gamma 4个频段上最终的平滑特征；

7、

8、

9、

10、式中，x为脑电信号中的随机变量，f(x)为变量x的概率密度函数，μ和σ2是脑电信号中的均值和方差，k代表60s信号数据的滑动次数，j表示4种脑电情绪节律，i表示基线信号的滑动次数。

11、根据脑电采集过程中电极在头皮表面的插放位置构建2d 9*9矩阵，依照电极映射关系将各频段的微分熵特征转换到2d 9*9网格中，从而获得富含空频特征信息的2d大脑头皮地形图，最终生成大量的4d时空频特征信息。

12、step2：注意力机制的本质在于根据特征信息重要程度分配不同的权值，告诉模型“关注什么”和“注意哪里”。近些年，注意力机制已被大量用于各个领域来提高模型性能。simam注意力机制作为一种无参数注意力不会对运算带来负担，仅需通过一个简单的能量函数即可生成权重，如公式(4)—(7)所示。同时simam注意力给每个神经元分配一个权重值，认为空间注意力和通道注意力是共同促进视觉处理的过程。

13、

14、为使得计算结果简单起见，研究过程中使用二值标签与添加正则项，从而最终能量函数被定义为：

15、

16、其中，

17、r＝(-1-(wtt+bt))2+λwt2

18、进一步，最小能量可以通过如下公式得到：

19、

20、上述公式意味着：能量越低，神经元t与周围神经元的区分越大，重要性越高。因此，神经元的重要性可以通过得到。

21、最后，依照注意力机制的定义，还需要对特征进行以下增强处理：

22、

23、step3：利用三维卷积/二维深度可分离卷积神经网络对情绪信号的空频域信息进行学习，双向长短时记忆学习动态的时间特征信息。

24、具体为：

25、三维卷积神经网络由两层卷积核数量为64个，卷积核构造是3*3*4的三维卷积层组成，深度可分离卷积由逐通道卷积和逐点卷积组合而成，其中，逐通道卷积采用卷积核结构为3*3，步长结构为1*1，模型深度参数为1的二维卷积层组成，逐点卷积则使用的是卷积核数量为64个，卷积核结构为1*1。为符合三维卷积神经网络处理数据的风格，将获取到的4d时空频特征数据格式9*9*4增加一维度变成9*9*4*1输入到三维卷积神经网络中。三维卷积神经网络采用3*3*4形式的卷积核，这样不但能够满足对频域特征信息的采集还能够对空间域信息进行提取。然而三维卷积神经网络虽然获取到空频特征信息，但也不得不考虑所带来的昂贵的计算成本和时间成本。而深度可分离卷积神经网络叠加在三维卷积神经网络的后边，它能够大幅度减少卷积的参数，从而降低三维卷积神经网络所带来的负面影响。因此，本发明在经过三维卷积神经网络获取到空频特征信息后，利用深度可分离卷积(dsw)来进一步提取空间特征，这不仅弥补了三维卷积带来的影响，同时又进一步提取了空频特征信息。之后利用公式(8-13)计算双向长短时记忆神经网络，通过两个单向长短时记忆网更加充分学习到过去以及未来的时间信息。

26、ft＝σ(wf·[ht-1,xt]+bf)                    (8)

27、it＝σ(wi·[ht-1,xt]+bi)                      (9)

28、

29、

30、ot＝σ(wo[ht-1,xt]+bo)                       (12)

31、ht＝ot*tanh(ct)                          (13)

32、式中，ft表示遗忘门的值，ht-1为前一时刻的隐层状态，xt为当前时刻的输入值，it表示记忆门的值，表示临时细胞状态，ct表示当前时刻细胞状态，ct-1表示上一刻细胞状态，ot表示输出门的值，ht表示隐层状态；

33、最后使用式(14)进行分类预测：

34、

35、式中，zi为第i个结点的输出值，n为输出结点的个数，即分类的类别个数，通过softmax函数将多分类的输出值转换为范围在[0,1]和为1的概率分布。

36、本发明的有益效果是：本发明利用simam注意力评估大脑内部每个神经元的重要性分配以能量函数，将其插入到三维卷积/二维深度可分离卷积神经网络中，在不会加重运算算例的前提下提取出来了完整且丰富的空频特征信息，之后再利用双向长短时记忆用来学习动态的时间特征信息。实验研究表明，本方法取得了不错的效果。

技术特征：

1.一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，其特征在于：

2.根据权利要求1所述的基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，其特征在于所述step1具体为：

3.根据权利要求1所述的基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，其特征在于所述step2中，生成权重具体为：

4.根据权利要求1所述的基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，其特征在于所述step3具体为：

技术总结
本发明涉及一种基于SimAM注意力机制的空‑时‑频多域脑电特征情绪识别方法，属于基于脑电的情绪识别技术领域。本发明对原始脑电数据进行一系列处理及转换，获取含有四维时空特征表征的时间、频率及空间信息；考虑到大脑内部空间和通道间的注意力存在一种协同关系，采用一种无参且同一权值的SimAM注意力机制，这样不但可以直接估计三维权重而且能够学习到更多的判别特征；利用三维卷积神经网络/二维深度可分离卷积网络学习相对完整且丰富的空频特征信息，利用双向长短时记忆网络学习动态变化的时间特征信息。

技术研发人员：杨俊,吴俊会,沈韬,王芳芳,王琪琛,余创贺
受保护的技术使用者：昆明理工大学
技术研发日：
技术公布日：2024/1/15