基于多尺度成像的多模态特征融合脑电情感识别方法

1.本发明涉及生理信号处理领域，尤其是涉及基于多尺度成像的多模态特征融合脑电情感识别方法。


背景技术：

2.情感是一种复杂的心理和生理状态，它影响着人们的认知、行为和人际交往。根据认知和神经生理学理论，人类大脑活动中发挥着重要作用的情感，可以在大脑的脑电图（eeg）信号中检测出。因此使用eeg信号可以进行有效的情感识别。
3.传统的基于eeg信号的情感识别方法主要是使用1dcnn（中文释义为：一维卷积）技术提取脑电图的信号特征，并训练分类器来实现情感识别。这种传统的情感识别方法只关注时域或频域信息，导致脑电图空间信息丢失严重、分类性能有限，还需要花费大量的精力从原始的eeg信号中寻找与情感相关的信号特征，并构建相应的关联，导致特征计算耗时长，泛化能力非常有限。近些年来，深度学习在各个领域中蓬勃发展，为构建情感分类模型提供了更多的可能。


技术实现要素：

4.本发明目的在于提供一种基于多尺度成像的多模态特征融合脑电情感识别方法，旨在解决传统情感识别方法中需要构建情感相关特征、特征计算耗时长、模型泛化能力差、脑电图空间信息丢失严重、分类性能有限的问题。
5.为实现上述目的，本发明采取下述技术方案：由于卷积神经网络在图像分类方面的成功，使得使用时间序列编码成像的时间序列分类也表现出了很高的性能。本发明将多尺度和时间序列成像算法相结合，通过把脑电图信号转换为图像实现情感识别，与传统的基于eeg信号的情感识别方法相比，不仅能够保存脑电图信号的空间信息，还能用多尺度算法减少计算量，找到潜在的脑电图信号模式，同时将高维信息编码到图像中，使图像包含丰富的信息，充分利用机器视觉的优势，使用2dcnn（中文释义为：二维卷积）模型提取图像的高维特征，通过不同的多模态特征融合方法，取得更好的情感分类结果。
6.本发明所述的基于多尺度成像的多模态特征融合脑电情感识别方法，包括以下步骤：s1，使用python代码对原始的脑电信号进行基线去除，获得第一脑电信号；s2，对所述第一脑电信号进行多尺度处理，获得第二脑电信号；s3，使用时间序列成像算法将所述第二脑电信号转为图像，获得n 个图像数据集；s4，对n 个所述图像数据集进行数据增强，构建n个样本和标签集；s5， n个所述样本和标签集分别通过resnet模型和dnn-01模型，获得n个第一特征向量；s6， n个所述第一特征向量通过组合形成3个第二特征向量；s7， 3个所述第二特征向量分别通过dnn-02模型，形成多模态特征融合的脑电情
感分类模型；s8，采用十折交叉验证方法将s4步中的n个样本和标签集随机划分为m份，其中m-1份作为训练数据，其他作为测试数据，训练所述多模态特征融合的脑电情感分类模型，获得脑电情感分类识别模型。
7.进一步地，所述基线去除包括以下内容：将所述原始脑电信号中基线信号和实验信号分别划分为长度为l的k段和i段，从每个实验信号段中减去所有基线信号段的平均值。
8.进一步地，所述多尺度处理的数学定义为：，其中，为设置的时间尺度，l为原始脑电信号的长度，为i时刻原始脑电信号的信号值，为第二脑电信号，j为第二脑电信号的索引。
9.进一步地，所述数据增强为mixup。
10.进一步地， 3个所述第二特征向量为：由n个所述第一特征向量相加组成的第二特征向量；由n个第一特征向量相同位置的最大值组成的第二特征向量；使用一个全连接层将n个第一特征向量加权组合组成的第二特征向量。
11.进一步地，所述加权组合中权重为n个所述第一特征向量经全连接层训练后的参数。
12.进一步地，所述多模态特征融合的脑电情感分类模型的损失计算公式如下：，其中，和为预设的参数，l i为n个所述样本和标签集通过resnet模型和dnn-01模型的损失，的整数；lcom为n个所述第三特征向量分别通过dnn-02模型的损失。
13.本发明优点在于将多尺度和时间序列成像算法相结合，通过把脑电图信号转换为图像实现情感识别，与传统的基于eeg信号的情感识别方法相比，不仅能够保存脑电图信号的空间信息，还能用多尺度算法减少计算量，找到潜在的脑电图信号模式，同时将高维信息编码到图像中，使图像包含丰富的信息，充分利用机器视觉的优势，使用2dcnn模型提取图像的高维特征，通过不同的多模态特征融合方法，取得更好的情感分类结果。
附图说明
14.图1是本发明所述方法的流程图。
15.图2是本发明所述方法实施例中的32个电极位置图。
16.图3是本发明所述方法实施例中脑电信号转化为图像后的空间信息示意图。
17.图4是本发明所述方法实施例中resnet网络结构示意图。
具体实施方式
18.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.如图1所示，本发明所述基于多尺度成像的多模态特征融合脑电情感识别方法，包括以下步骤：包括以下步骤：s1，使用python代码对原始的脑电信号进行基线去除，获得第一脑电信号；本实施例从公开的deap上下载脑电信号数据集，作为原始数据。在deap数据库中，32名参与者参与了实验。每个参与者都被要求观看40个一分钟的音乐视频，脑电图信号是根据国际10-20系统，从32个电极记录下来的，电极位置如图2所示。参与者在观看每段视频后，在1到9之间的连续量表上对配价、唤醒、支配和喜好进行评分。每个参与者记录的数据包括40段脑电图（英文缩写为：eeg）数据和相应的标签。每段脑电数据包含60秒的实验信号和处于放松状态的3秒基线信号。
20.由于人类脑电信号不稳定，易受周围环境微小变化的影响；且情感刺激产生的脑电信号在一定程度上也会受到在接受刺激前的情感状态的影响。因此，去除基线可以实现更好的分类效果。在本发明中，将基线信号和实验信号分别划分为长度为l的k段和i段，再使用python代码对脑电信号进行基线信号（即放松状态下的脑电信号）去除处理，方法为从每个实验信号段中减去所有基线信号段的平均值，数学表达式为：，，其中，为所有基线信号段的平均值；为第i段基线信号段；为第i段实验信号段；为去除基线后第i段实验信号段；s2，对所述第一脑电信号进行多尺度处理，获得第二脑电信号；由于脑电信号潜在的脑电模式是未知的，相关的时间尺度也是未知的，故使用多尺度处理脑电信号不仅能减少数据量，还能够是机器学习到不同的尺度模式，从而提高分类性能。多尺度处理的数学定义为：，其中，为设置的时间尺度，为原始脑电信号的长度，为第i时刻原始脑电信号的信号值，为第二脑电信号，j为第二脑电信号的索引。
21.当时，即为原始脑电信号的信号值。
22.当时，即为每两个连续时刻原始脑电信号信号值的平均值形成的粗粒化后的时间序列。即j=1时，，j=2时，，j=3时，当时，即为每三个连续时刻原始脑电信号信号值的平均值形成的粗粒化后的时间序列。即j=1时，，j=2时，，j=3时，粗粒化后的时间序列即为第二脑电信号。
23.s3，使用时间序列成像算法将所述第二脑电信号转为图像，获得n 个图像数据集；该步骤将第二脑电信号转为图像可以利用原始脑电信号中的信息，还能将高维信息编码到图像中，使图像包含丰富的信息，并且能充分利用目前机器视觉的优势，取得更好的情感分类结果。本发明选用时间序列成像算法（英文缩写为mdf）来转化第二脑电信号。
24.首先，从某个粗粒化后的时间序列，中取n个值作为一个基本的时间序列单元，记作的整数；并设置取值的间隔d和取值的起始索引s。
25.当d=1时，表示从某个粗粒化后的时间序列中连续取n个值作为一个基本的时间序列单元，则当n=2时，；当n=3时，；当时，表示从某个粗粒化后的时间序列中间隔取n个值作为一个基本的时间序列单元，则当n=2时，；当n=3时，；
即；之后，再按不同间隔d求基本单元之间的差值，得到一个新的时间序列，记作，具体步骤如下面公式所示：其中，由于，长度不相同，需要构建一个新的序列，公式表示为：其中，然后，构建mdf矩阵，公式表示为：当n值确定后，对应的即有个元素构成，可以生成个通道数据，其中，第个通道的矩阵可定义为：其中,。
26.为了填充矩阵中值为0的元素，mdf图像的每个通道定义为：其中表示哈达玛积(hadamard product) ，是矩阵旋转后的矩阵，为了防止和相加时重叠，同时，在使用上述时间序列成像算法将第二脑电信号的每个通道数据转化为图像后，还要将图像按照对应通道的物理位置拼接成一张大的图像，尽可能保留脑电信号的空间信息，如图3所示。图中字母表示按照国际10-20系统电极放置的32个电极位置。
27.s5，对n 个所述图像数据集进行数据增强，构建n个样本和标签集； mixup 是一种简单且有效的数据增强方法，其以线性插值的方式来构建新的训
练样本和标签。本技术使用mixup能显著增强网络架构的泛化能力，并且花费很少的计算开销。本步骤的具体过程用公式表示如下：销。本步骤的具体过程用公式表示如下：其中，和为所述图像数据集中的样本数据；和为与和对应的标签。为一个服从分布的参数, ，其中。
28.s6，所述n个样本和标签集分别通过resnet模型和dnn-01模型，获得n个第一特征向量；使用经典的resnet模型作为特征提取网络，与传统的cnn（卷积神经）网络相比有两个不同：（1）使用residual结构（残差结构），能搭建超深的网络结构，（2）使用批标准化层（英文全拼为batch normalization），解决了传统卷积网络存在的两个问题：（1）梯度消失或梯度爆炸。（2）退化问题(英文全拼为：degradation problem)。
29.resnet18网络主要由输入层、卷积层、batch normalization层、激活函数、池化层、残差结构、全连接层、指数归一化层（softmax）组成，具体结构如图4所示。
30.本技术实施例，在使用mdf算法转化第二脑电信号时，分别取n 为2、3、4，得到三个不同的图像数据集。考虑到使用不同算法转化的图像含有的信息是不同的，为了充分利用所有的图像数据，本发明将三个不同的图像数据集分别送给resnet18模型和dnn-01模型，提取不同图像高级特征，得到3个第一特征向量，记为，，。
31.其中dnn-01模型的网络结构如下表1所示，表中fl代表全连接层， relu代表线性整流函数，dr代表随机失活，output列中的数字表示该层输出特征的维度。
32.表1 dnn-01网络结构其中，补充表中relu的含义，outpu列中数字的含义虽然三个不同的图像数据集均需经过相同的resnet18模型和dnn-01模型，但由于图像数据不同，经过模型训练后的参数也不同。
33.s6， 3个第一特征向量通过组合形成3个第二特征向量；如图4中所示，本技术通过特征组合器（英文全称为comber）模块将3个第一特征向量组合成3个第二特征向量，具体的组合方法为：第一种组合方法记为sum，将，，三个第一特征向量相加得到一个新的向量，公式表示为：
第二种组合方法记为max，取出，，三个第一特征向量相同位置的最大值，用这些最大值组成一个新的向量，公式表示为：第三种组合方法记为fc，假设，，三个第一特征向量具有线性关系，然后使用一个全连接层来加权组合三个第一特征向量，得到一个新的向量，公式表示为：其中是，，三个第一特征向量经全连接层训练后的参数。
34.s7，组合后形成的3个第二特征向量送给dnn-02模型，形成多模态特征融合的脑电情感分类模型；dnn-02网络结构如表2所示。
35.表2 dnn-02网络结构s8，采用十折交叉验证方法将s4步中的n个样本和标签集随机划分为10份，其中9份作为训练数据，剩余1份作为测试数据，训练所述多模态特征融合的脑电情感分类模型，获得脑电情感分类识别模型。
36.本实施例中，每个实验者的脑电信号使用mdf转化，n 取2、3、4，共得到三个不同的图像数据集，2400张图片，使用十折交叉验证方法，将图像数据集随机分成10份，轮流将其中9份作为训练数据，1份作为测试数据。之后，将训练集的图片送给上述s7步获得的多模态特征融合的脑电情感分类模型进行训练，选用adam优化器，并将学习率设为0.0001，损失函数设置为交叉熵损失函数，batchsize设置为32，得到脑电情感分类识别模型。
37.在本实施例中，共定义了4个损失函数（loss）记为、、、来训练分类网络，用于优化三个不同的图像数据集分别通过的单个resnet18和dnn-01网络结构训练时的损失，用于优化第二特征向量分别通过dnn-02模型的损失。通过优化整个网络结构的损失，公式如下所示：
其中，和为预设的参数，侧重于学习特定特征或组合，本实施例设置为为1/3和1.0，使每个图像数据训练时的贡献相等。