一种融合多尺度特征的脑电信号情感识别算法

本发明属于深度学习领域，涉及情感识别技术，具体为一种融合多尺度特征的脑电信号情感识别算法。

背景技术：

1、情感的产生源于人类心理活动，对人类的精神状态、认知和决策产生着深远的影响。情感识别在人机交互领域具有广泛的应用和潜力，因为有效的识别情感可以提升计算机的智能水平。在情感识别中，面部表情和语音信号容易受到个体主观控制的影响，而脑电信号不受个体主观性的影响，能更加客观地反映出个体真实的情感状态。由于脑电图(eeg)信号具有弱振幅、背景噪声复杂、随机性、显著个体差异性以及在形成过程中包含丰富的时间和空间信息等特点，使得实现可靠识别具有挑战性。

2、残差网络(residual network，resnet)是由he等人于2015年提出的一种深度卷积神经网络结构，旨在解决深层网络中的梯度消失和梯度爆炸等问题。其核心思想是引入了残差连接，通过跨层直接传递信息，有效地减轻了信息丢失问题，从而使网络能够训练更深的层次。resnet的出现极大地推动了深度神经网络的发展，使得模型在更复杂的任务上取得了更好的性能。

3、特征金字塔网络(feature pyramid network，fpn)是一种用于多尺度特征融合的网络结构，由lin等人于2017年提出。它通过构建金字塔式的特征层级，将来自不同尺度的特征进行融合，从而在图像分析任务中实现更好的特征表达。fpn在目标检测、图像分割等领域取得了显著的成果，提高了模型对于不同尺度和物体大小的适应能力。

4、这两类网络模型虽然在脑电信号情感识别方面取得了不错的效果，但仍然存在一些不足。首先，在低维特征矩阵映射到高维特征矩阵过程中易造成信息丢失。其次，信号的时频域和空域特征提取不足，且传统卷积核的形状只能是正方形或矩形，不能根据识别目标动态改变。最后，这些研究往往将不同的电极通道看作独立的个体，对电极通道之间的相关性研究不够充分。以上这些不足导致了其脑电信号情感识别算法性能不高。

技术实现思路

1、为了克服现有技术中存在的不足，本发明提供一种融合多尺度特征的脑电信号情感识别算法，通过引入可变形卷积、注意力机制和自下而上特征金字塔网络，有效地提升了基于脑电图信号的情感识别性能。

2、本发明为解决其技术问题采用的技术方案是：

3、一种融合多尺度特征的脑电信号情感识别算法，步骤包括：将原始脑电信号转换为三维特征矩阵，将三维特征矩阵输入至基于残差网络的多尺度可变形卷积交互注意网络模型中进行训练，最后经过分类器预测脑电信号情感类别；所述网络模型采用可变形卷积作为特征提取的核心组件，并使用高效通道注意力机制来捕获通道间的重要信息以优化特征的提取，在网络模型顶部应用自下而上特征金字塔网络来融合多尺度特征，并在网络模型中引入双向门控循环单元，从正向和反向两个方向提取上下文语义信息。

4、进一步的，所述将原始脑电信号转换为三维特征矩阵，步骤包括：

5、将前3s脑电信号作为基准，采用滑动窗口对后60s脑电信号进行分割，滑动窗口步长设置为1s，分割的脑电信号片段之间没有重复，每个片段都被分配有与原始脑电信号相同的标签；然后，采用butterworth带通滤波器将每个片段划分为若干个频带，分别从不同的频带中提取脑电信号通道的微分熵特征；之后，将所有脑电信号通道转换为2d矩阵，将从不同脑电信号通道中提取的微分熵特征按其相对位置坐标放入2d矩阵中对应的位置，2d矩阵中未使用的位置设为0，构造出三维特征矩阵，最后将构造的三维特征矩阵输入到所述基于残差网络的多尺度可变形卷积交互注意网络模型中。

6、进一步的，所述基于残差网络的多尺度可变形卷积交互注意网络模型具有四层残差结构，在四层残差结构中均引入高效通道注意力机制，前三层残差结构中均使用传统卷积，将第四层残差结构中的传统卷积替换为可变形卷积；首先网络模型输入三维特征矩阵，经过卷积操作后，依次经过第一层残差结构、第二层残差结构、第三层残差结构、第四层残差结构；每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络的卷积操作使每个三维特征矩阵维度一致，最后经过双向门控循环单元、全连接层和softmax层得到最终脑电信号情感类别结果。

7、进一步的，网络模型输入为9×9×4的三维特征矩阵，经过64个卷积核大小为7×7的卷积操作后变为9×9×64大小，然后经过第一层残差结构保持9×9×64大小不变，经过第二层残差结构变为5×5×128大小，经过第三层残差结构变为3×3×256大小，经过第四层残差结构变为2×2×512大小；之后每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络256个卷积核大小为1×1的卷积操作使每个三维特征矩阵维度一致。

8、进一步的，所述每一层残差结构输出的三维特征矩阵经过自下而上特征金字塔网络256个卷积核大小为1×1的卷积操作使每个三维特征矩阵维度一致，具体为：

9、第一层残差结构至第四层残差结构输出的三维特征矩阵经自下而上特征金字塔网络卷积操作后得到的三维特征矩阵依次记为t2、t3、t4、t5，从t2开始进行下采样处理：

10、

11、其中，m为输出特征矩阵的大小；n为输入特征矩阵的大小；p表示padding，为填充像素的大小；f表示filter，为卷积核的大小；s表示strides，为滑动步长；对t2下采样后，与t3进行张量相加，得到三维特征矩阵d3；以相同的方式对d3进行处理，与t4进行相加得到d4，以此类推，得到特征图d5，最后经过3*3的卷积得到尺寸更小，信息更丰富的三维特征矩阵p5。

12、本发明的有益效果包括：

13、使用改进后的基于残差网络的多尺度可变形卷积交互注意网络模型(residualnetwork based multi-scale deformable convolutional interacting attentionnetwork，mdcnaresnet)，该网络模型结合了可变形卷积(deformable convolution，dcn)、特征金字塔网络(feature pyramid network，fpn)和高效通道注意力机制(efficientchannel attention,ecanet)技术，并继承了残差网络(residual network，resnet)的思想，命名为mdcnaresnet。在这个网络模型中，首先使用ecanet来捕获通道间的重要信息，然后将其与dcn结合以获得更丰富的空间特征，dcn操作有助于捕获脑电信号中的非线性变化，并允许卷积核根据数据的空间分布进行自适应采样。此外，还将双向门控循环单元(bidirectional gated recurrent unit，bigru)引入网络模型中，从正向和反向两个方向提取上下文语义信息，这样，实现了多尺度空间特征和上下文语义特征的融合。在网络模型的顶部，应用自下而上特征金字塔网络(bu-fpn)来进一步融合多尺度特征，该网络模型通过自下而上的下采样过程，逐渐提取和融合不同尺度的特征，从而提高了模型对细节和整体信息的捕获能力。最终，通过全连接层和softmax分类层来预测情感类别。基于此，该方案具有以下特点和好处：

14、该算法利用多尺度特征融合的方法，能够从不同时间尺度和抽样频率的脑电信号中提取信息，允许模型更全面地理解脑电信号，从而提高了情感识别的准确性，情感识别通常需要考虑从瞬时情感到长期情感的变化，多尺度特征融合有助于捕获这些变化。残差网络和可变形卷积有助于从原始脑电信号中学习高级特征，提高了模型对情感相关信息的敏感性，残差网络还有助于缓解梯度消失问题，使训练更加稳定。引入高效通道注意力机制有助于模型识别脑电信号中最重要的通道(电极)信息，从而减少了噪音的影响，并提高了情感识别的鲁棒性，使模型能够更好地关注与情感相关的脑电信号。使用特征金字塔网络可以融合来自不同卷积层的特征，使模型能够同时处理多个抽象层次的信息，有助于提高模型的泛化能力，使其能够更好地适应不同个体和情感状态的脑电信号。引入双向门控循环单元允许模型从正向和反向两个方向提取上下文语义信息，有助于模型更好地理解脑电信号中的时间依赖性信息，提高了情感识别的性能。

15、综上，该多尺度特征融合的脑电信号情感识别算法提高了情感识别的准确性和鲁棒性，在情感识别任务中取得了显著的改进。