基于脑电信号情绪识别的性别差异性检测方法

1.本发明涉及的是一种脑电信号领域的技术，具体是一种基于脑电信号情绪识别的性别差异性检测方法。


背景技术：

2.与过去研究者们经常使用的面部表情、语音、身体姿态等信号识相比，脑电信号能够更细腻地表征被试与情绪相关的大脑活动，故而被认为是情绪识别的一种最有效的信号形式，也因此，现在采用脑电信号进行情绪识别的研究越来越得到学术界和工业界的关注。然而，由于不同个体间不仅存在着头皮阻抗、头型等物理结构差异，还有思考方式、心理状态和认知能力等精神机制方面的差异，脑电信号的特征模式高度依赖于被试的个体特征，这种个体差异性的问题严重阻碍情感脑-计算机接口的实际应用。
1.为解决脑电信号个体差异性问题，一种方法是使用迁移学习处理被试个体间的差异。另一种研究方法是找出脑电信号个体差异性产生的原因，解明它们背后的机理以及作用范围，继而根据其性质解决相应的个体差异性问题。性别是一种简单明晰的个体差异，而且情感障碍疾病的发病率存在着明显的性别差异。例如，统计数据表明，女性抑郁症患者的数目大约是男性的1.7倍。情感障碍疾病与患者的情绪状态息息相关。因此，检验脑电信号情绪识别是否存在性别差异性，将为构筑精准的情感模型和开发基于情感脑-计算机接口的情感障碍疾病辅助诊断与治疗系统提供重要的理论和技术支撑。
2.尽管已存在脑电信号情绪识别性别差异性研究结果，但是现有的工作存在比较大的局限性：首先它们大多数只使用单个数据集的数据，且模型性能不足，故而结论并不具有普适性；其次是这些研究中对数据的处理方法和操作步骤不尽相同，无法保证在其他实验配置下也能稳定得到相同的结论；另外，虽然这些结果中发现各种各样的脑电差异表现形式，但是不同研究之间尚存在结论不一致的问题，无法作为一般结论接受。因此，需要开发新的方法寻找更稳定的性别差异表现，验证情感体验中脑电活动的性别差异。


技术实现要素：

3.本发明针对现有技术存在的上述不足，提出一种基于脑电信号情绪识别的性别差异性检测方法，通过长短时记忆图神经网络充分利用脑部功能连接信息及时序信息，实现对多个常用的、具有代表性的数据集的识别，同时分析最常见的差异表现，验证情绪相关脑电活动中的性别差异特性。
4.本发明是通过以下技术方案实现的：
5.本发明涉及一种基于长短时记忆图神经网络的脑电特征识别方法，包括：从脑电数据集中提取微分熵特征，再将微分熵特征转化为表示图的特征矩阵，然后训练长短时图神经网络模型同时采集特征数据的脑部功能连接信息和时序关系，最后利用训练好的网络模型实现情绪识别。
6.所述的训练，使用5个常用的、更有代表性的数据集展开实验，涉及的数据集分别
为：中国(seed、seed-iv、seed-v)、欧洲(deap、dreamer)数据集。它们都采集eeg脑电信号模态数据，并且都是使用视频素材诱发情绪的。
7.所述的训练，通过对原始数据进行预处理，即提取微分熵频域特征作为实验的输入数据。设计通用的同性训练策略及异性训练策略，运用留一交叉验证法对每个数据集的每份被试数据训练识别器，得到相应的同性模型和异性模型，在迭代中调整每组模型的超参数，获取最后的实验结果。
8.在此基础上解决差异表现各式各样的问题。本发明分析比较各个数据集上的实验结果和常见的性别差异表现形式，如：神经模式、关键脑区、关键频段，进而得出更客观稳定的结论，验证情感体验脑电信号的性别差异特性。
9.所述的预处理是指：对数据集中的脑电信号原始数据进行基线校正，并将数据降采样至200hz，有助于加速数据分析过程。然后在1-75hz范围内进行带通滤波，过滤数据中的噪音以及伪迹。
10.所述的微分熵特征提取是指：对预处理过的数据进行短时间傅里叶变换，提取每一导联在5个频段上的微分熵特征，分别是：δ:1-4hz，θ:4-8hz，α:8-14hz，β:14-31hz，以及γ:31-50hz；由于seed、seed-iv、seed-v使用的是62导的脑电帽，所以共有310维脑电的微分熵特征；又因deap和dreamer的原始脑电数据过滤δ频段，并且使用的32导及14导的脑电帽，故而分别得到128维和56维的微分熵特征。最后利用线性动力系统对提取的脑电特征做平滑，消除与情绪无关的快速抖动信息。
11.所述的特征转化是指：使用pytorch geometric工具库的inmemorydataset基类，以所提取的频域特征各导联为点，各导联间的联系为边，将特征数据转换为g＝(v，ε)形式的特征矩阵，其后以时间窗口t将特征矩阵转换成时间序列数据，构造实验的输入数据。
12.所述的识别器模型为长短时记忆图神经网络是添加记忆模块的图卷积神经网络，该网络包括：长短时记忆模块、多个图卷积模块、域分类器、梯度反转层、情绪感知学习器、池化层、全连接层，其中：长短时记忆模块捕捉特征矩阵之间的时序依赖信息，图卷积模块提取与情绪体验相关的脑部功能连接特征信息，域分类器用来解决跨被试场景的效率问题，梯度反转层在反向传播期间反转域分类器的梯度，情绪感知学习器则是针对数据标签噪声，池化层对输出特征进行池化，最后使用全连接层对池化特征进行解码并预测情绪标签。
13.所述的长短时记忆模块包含一个或多个自连接的记忆细胞和三个门单元，对于每个时间步的数据，神经网络的记忆细胞会从上一步的结果中提取信息，以便记忆模块保存数据在长时间内的时序依赖信息。因为脑电信号也是种时序数据，记忆模块能够捕获和利用其中的时序信息，提高识别的准确率。
14.所述的图卷积模块采用贴合脑内网络结构的稀疏邻接矩阵来捕捉不同导联间的局部连接和全局连接信息，该矩阵利用导联通道间物理距离的倒数计算得到，其中局部连接显示脑区在解剖学上的连通性，全局连接则表示左右脑半球与情绪相关的功能连通性。
15.所述的域分类器结合迁移学习和对抗训练方法，降低源域和目标域之间的差异性，增强模型的泛化能力，解决跨被试场景中识别效率较差的问题。
16.所述的情绪感知学习器是指：根据情绪诱发的性质，使用噪声等级因子将单个标签转换为先验概率分布，从而减轻数据集内部的标签噪声问题。
17.所述的训练过程，具体内容如下：
18.1)首先对各个数据集进行信息封装，方便切换实验配置，然后将每个数据集划分为男性数据和女性数据两份，将实验数据归一化，作为模型训练的输入。
19.2)其次对图卷积网络学习的邻接矩阵进行初始化：并将全局连接初始值设为：a
ij
＝a
ij-1，全局连接共有9对，它们横跨左右脑半球，能最大化脑电信号的偏侧化作用，发现半球之间的功能连通性。
20.3)使用留一交叉验证法训练每份被试数据的同性模型和异性模型，具体来说是将任意一份被试的数据当作测试集，使用其他所有的同性别的被试的脑电数据作为训练集x
i_same
，训练一个同性模型，同时使用所有的异性数据为训练集x
i_cross
，训练一个异性模型。
21.4)在长短时记忆图神经网络中，将特征矩阵序列输入长短时记忆模块。对于输入序列中的元素，记忆模块的更新法则分别是：输入门：i
t
＝σ(w
ix
x
t
+b
ii
+w
ihht-1
+bi)，遗忘门：f
t
＝σ(w
fx
x
t
+b
if
+w
fhht-1
+bf)，记忆门：g
t
＝tanh(w
cx
x
t
+w
chht-1
+bc)，记忆细胞状态：输出门：o
t
＝σ(w
ox
x
t
+w
ohht-1
+bo)，h
t
＝o
t
*tanh(c
t
)，其中：h
t
为t时刻的隐藏层状态，对应h
t-1
为t-1时刻或初始的隐藏层状态，σ是指logistic sigmoid函数，*表示hadamard积。
22.5)对于长短时记忆模块的输出xi，每个图卷积模块计算：zi＝s
l
xiw，输出zi并学习各脑部功能连接的重要性。
23.6)然后图卷积模块的输出经过池化层和全连接层，输出对情绪标签yi的概率分布：其中，是指全连接层以softmax函数为激活函数，pool(
·
)表示进行全局总和池化，σ(zi)则是对zi的每个元素进行非线性转换：σ(x)＝max(0，x)。
24.7)在节点表示学习过程中，训练一个域分类器来学习域不变特征，减少源域xs和目标域x
t
之间的差异性。域分类器的主要工作是最小化两个二分类任务的交叉熵损失函数：数：它增强模型的泛化能力，提升跨被试实验中的鲁棒性。
25.8)然后利用梯度反转层辅助域分类器的学习过程，梯度反转层因子的计算函数为：为：其中p∈[0，1]代表模型训练的进度。
[0026]
9)情绪感知学习器利用噪声等级因子将单个情绪标签转换为先验概率分布，将图卷积模块的优化问题替换为最小化kl散度函数的问题：减轻数据集内部的标签噪声问题。
[0027]
10)至此，整个模型的损失函数变为计算：φ
″
＝φ
′
+φd，最后使用单层全连接网络输出预测结果，分别计算同性模型和异形模型识别准确率并迭代上述训练过程。技术效果
[0028]
本发明采用长短时记忆图神经网络与图神经网络相结合，同时捕捉脑部功能连接信息及时序信息进行信号模式识别，并引入域分类器和情绪感知学习器，降低训练集和测试集之间的差异性和减小数据标签噪声，增强网络模型性能，提高基于脑电信号的模式识
别准确率。与现有技术相比，本发明实现在多个常用的、具有代表性的数据集上的情绪识别任务，整体解决现有研究工作所存在的局限性问题，提高脑电信号模式的识别率，验证情感体验中脑电活动的性别差异性。
附图说明
[0029]
图1为本发明流程示意图；
[0030]
图2为本发明中长短时记忆图神经网络的网络结构图；
[0031]
图3为支持向量机的实验结果统计图；
[0032]
图4为基于长短时记忆的神经网络的实验结果统计图；
[0033]
图5为本发明中基于长短时记忆的神经网络在不同情绪下的实验结果分析图；
[0034]
图6为本发明中5种情绪在5个频段下的男女脑部能量差值可视化拓扑图。
具体实施方式
[0035]
如图1所示，为本实施例涉及一种基于脑电信号情绪识别的性别差异性检测方法，具体包括：
[0036]
步骤一：整理并封装5个数据集的配置信息，包括脑电帽导联、被试信息以及标签内容等，便于切换实验配置。获取数据集中的脑电信号原始数据。
[0037]
步骤二：对原始数据进行预处理，将数据降采样至200hz，并在1到75hz进行带通滤波，过滤噪声和伪迹。
[0038]
步骤三：提取微分熵特征，对预处理后的数据计算短时傅里叶变换，在每个导联上以4秒的无重叠时间窗口提取5个频段上的微分熵特征，然后运用线性动力系统进行特征平滑，消除快速抖动，分别得到310维、128维及56维的实验数据。
[0039]
步骤四：将5个数据集的实验数据转化为表示图的特征矩阵，再转换为特征矩阵的时间序列数据，作为训练长短时记忆图神经网络的输入数据，网络结构如图2所示。
[0040]
步骤五：使用留一交叉验证法训练每份被试数据的同性模型和异性模型，并分别输出两类模型的结果数据。
[0041]
步骤六：迭代模型训练过程，调整模型超参数，校正神经网络，优化模型性能。
[0042]
步骤七：固定同性模型和异性模型的神经网络参数，将被试数据输入神经网络，输出预测情绪标签，计算分类准确率。
[0043]
步骤八：统计最终的识别准确率，分析与评估实验结果，根据脑部能量拓扑图分析性别差异的脑电模式与脑区，利用网络权重分布评估关键脑区与关键频段等等。
[0044]
如图3和图4所示，支持向量机与基于长短时记忆的神经网络的同性模型的分类准确率要普遍高于异性模型，说明同性数据拥有更一致的数据分布，而异性数据和测试集之间则存在误分类的情形。并且基于长短时记忆的神经网络的准确率普遍高于支持向量机，说明充分利用时序信息有利于提升识别器的性能，即是：随着模型性能的提升，同性模型和异性模型的差异性也会变得更加明显。已知图神经网络在情绪识别上实现优异的性能，故而本发明结合长短时记忆模块和图神经网络，利用脑部功能连接信息和时序信息，更有利于检测男女情感脑电信号的性别差异性。
[0045]
如图5所示，在不同的情绪下，同性模型的准确率都比异性模型要高，说明男性和
女性的脑电信号在不同情绪下也存在差异。针对不同情绪男女的脑电数据会表现出不同的信号模式，可应用于男女的情感障碍疾病的辅助诊断与治疗等场景。
[0046]
从图6中则可以发现，男性的大脑只在有限区域比女性大脑的激活程度更高，在厌恶情绪下能发现更大的脑区能量差异。与情绪识别有关的性别差异在高频频段更显著，如β和γ频段，能够辅助识别任务的展开。
[0047]
经过具体实验，使用pytorch神经网络框架，在基于多个数据集、并统一实验配置的的具体环境设置下，学习率设为0.01，运用adam优化方法，能够得到的实验数据中同性模型的分类准确率普遍高于异性模型，说明异性模型与被试数据之间存在较大的误分类情形；并且在大多情绪下，同性模型的准确率都比异性模型要高，说明同性数据之间具有更高的相似性。
[0048]
与现有技术相比，本方法的性能指标提升在于：将长短时记忆模块与图神经网络相结合，同时采集脑部功能连接信息及时序信息，增强网络模型性能，提高基于脑电信号的模式识别准确率，凸显脑电数据中的性别差异性。
[0049]
本发明利用长短时记忆图神经网络同时捕捉脑部功能连接信息及时序信息，引入域分类器降低源域和目标域之间的差异性，将情绪标签转化为概率分布以减小标签噪声，实现对多个常用的、具有代表性的数据集的情绪识别任务，整体解决现有研究工作所存在的局限性问题，验证情感体验中脑电活动的性别差异性。
[0050]
与现有技术相比，本发明独有的新功能/效果包括：
[0051]
1)首先是提出一种基于长短时记忆图神经网络的脑电特征识别方法，同时采集特征数据的脑部功能连接信息和时序信息，提高基于脑电情绪识别的准确率。同时训练支持向量机和基于长短时记忆的神经网络作为实验基线，凸显新模型性能与性别差异特性普遍存在于情绪相关的脑电活动中。
[0052]
2)其次是使用国际上情感脑-计算机接口研究常用的数据集，包括中国(seed、seed-iv、seed-v)和欧洲(deap、dreamer)的数据集，使实验更具有代表性，并增强本检测方法的一般性和可行性。
[0053]
3)最后是在多个数据集与高性能模型的基础上分析实验结果和常见的性别差异的表现形式，包括神经模式、关键脑区以及关键频段。能够获得更客观和稳定的结论，具有更强的鲁棒性。
[0054]
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。