跨数据库的脑电情绪识别方法、装置、设备及存储介质

本申请涉及人工智能，尤其涉及一种跨数据库的脑电情绪识别方法、装置、设备及存储介质。

背景技术：

1、情绪识别是情感计算领域的一个关键问题，在人机交互中发挥着至关重要的作用。传统的情绪识别主要依赖于语音、面部表情等非生理信号，它们的主观性较强，准确率较一般。脑电图(electroencephalography,eeg)作为一种生理信号，其通过记录来自头皮上不同位置正在进行的大脑电极活动，能够为理解和估计情绪状态提供更直接和客观的线索。

2、近年来，研究者致力于开发基于脑电图的情绪识别模型，利用迁移学习以及域自适应技术，在跨被试情绪识别任务中表现出良好的性能。现有研究报告了各种域自适应技术在seed、seed-iv等大型公开脑电情绪数据集方面的成功应用。然而，由于不同领域(数据库)之间的差异巨大，以往的脑电图情绪识别主要集中在被试内或跨被试任务上，在处理跨数据库脑电情绪识别任务时，这些情绪识别方法的识别准确性显著下降。因此，不同数据库之间的分布差异已成为脑电图情绪识别任务的关键问题，如何正确地设计并开发一种适用于各种类型脑电情绪数据库的跨数据库脑电情绪识别模型，是情绪识别领域的一大挑战。

技术实现思路

1、本申请实施例的目的在于提出一种跨数据库的脑电情绪识别方法、装置、设备及存储介质，以实现跨数据库的脑电情绪识别，提高情绪识别的准确性。

2、为了解决上述技术问题，本申请实施例提供一种跨数据库的脑电情绪识别方法，包括：

3、获取同一数据库的脑电图样本；

4、分别通过第一对比编码器和第二对比编码器基于所述脑电图样本进行对比学习，得到时间嵌入特征、频率嵌入特征以及第一对比损失和第二对比损失，其中，所述第一对比编码器为基于时间的对比编码器，所述第二对比编码器为基于频率的对比编码器；

5、通过两个跨空间的映射器将所述时间嵌入特征和所述频率嵌入特征投影到时频空间中，并在所述时频空间中进行一致性学习，生成一致性损失；

6、基于所述第一对比损失、所述第二对比损失和所述一致性损失采用梯度反向传播的方式更新模型参数，以进行模型预训练生成目标预训练模型；

7、从另一数据库中获取带标签的脑电图样本，将所述带标签的脑电图样本输入至所述目标预训练模型中生成时频特征，并基于所述时频特征对所述目标预训练模型进行有监督微调，生成目标情绪识别模型；

8、获取待识别脑电图，并基于所述目标情绪识别模型对所述待识别脑电图进行情绪识别，生成情绪识别结果。

9、为了解决上述技术问题，本申请实施例提供一种跨数据库的脑电情绪识别装置，包括：

10、脑电图样本获取单元，用于获取同一数据库的脑电图样本；

11、对比学习单元，用于分别通过第一对比编码器和第二对比编码器基于所述脑电图样本进行对比学习，得到时间嵌入特征、频率嵌入特征以及第一对比损失和第二对比损失，其中，所述第一对比编码器为基于时间的对比编码器，所述第二对比编码器为基于频率的对比编码器；

12、特征投影单元，用于通过两个跨空间的映射器将所述时间嵌入特征和所述频率嵌入特征投影到时频空间中，并在所述时频空间中进行一致性学习，生成一致性损失；

13、模型预训练单元，用于基于所述第一对比损失、所述第二对比损失和所述一致性损失采用梯度反向传播的方式更新模型参数，以进行模型预训练生成目标预训练模型；

14、模型微调单元，用于从另一数据库中获取带标签的脑电图样本，将所述带标签的脑电图样本输入至所述目标预训练模型中生成时频特征，并基于所述时频特征对所述目标预训练模型进行有监督微调，生成目标情绪识别模型；

15、情绪识别单元，用于获取待识别脑电图，并基于所述目标情绪识别模型对所述待识别脑电图进行情绪识别，生成情绪识别结果。

16、为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的跨数据库的脑电情绪识别方法。

17、为解决上述技术问题，本发明采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的跨数据库的脑电情绪识别方法。

18、本发明实施例提供了一种跨数据库的脑电情绪识别方法、装置、设备及存储介质。其中，方法包括：获取同一数据库的脑电图样本；分别通过第一对比编码器和第二对比编码器基于所述脑电图样本进行对比学习，得到时间嵌入特征、频率嵌入特征以及第一对比损失和第二对比损失，其中，所述第一对比编码器为基于时间的对比编码器，所述第二对比编码器为基于频率的对比编码器；通过两个跨空间的映射器将所述时间嵌入特征和所述频率嵌入特征投影到时频空间中，并在所述时频空间中进行一致性学习，生成一致性损失；基于所述第一对比损失、所述第二对比损失和所述一致性损失采用梯度反向传播的方式更新模型参数，以进行模型预训练生成目标预训练模型；从另一数据库中获取带标签的脑电图样本，将所述带标签的脑电图样本输入至所述目标预训练模型中生成时频特征，并基于所述时频特征对所述目标预训练模型进行有监督微调，生成目标情绪识别模型；获取待识别脑电图，并基于所述目标情绪识别模型对所述待识别脑电图进行情绪识别，生成情绪识别结果。本发明实施例基于时间和频率的对比编码器进行脑电图样本的学习，并通过跨空间的映射器将嵌入特征映射在时频空间中，以实现对模型的预训练，并采用另一数据库中带标签的脑电图样本进行模型微调，生成目标情绪识别模型，其实现了跨数据库的脑电情绪识别，有利于提高情绪识别的准确性。

技术特征：

1.一种跨数据库的脑电情绪识别方法，其特征在于，包括：

2.根据权利要求1所述的跨数据库的脑电情绪识别方法，其特征在于，所述分别通过第一对比编码器和第二对比编码器基于所述脑电图样本进行对比学习，得到时间嵌入特征、频率嵌入特征以及第一对比损失和第二对比损失，包括：

3.根据权利要求2所述的跨数据库的脑电情绪识别方法，其特征在于，所述基于所述脑电图样本和所述时间增强样本构建时间样本对，并通过所述第一对比编码器基于所述时间样本进行对比学习，生成所述时间嵌入特征和所述第一对比损失，包括：

4.根据权利要求1所述的跨数据库的脑电情绪识别方法，其特征在于，所述通过两个跨空间的映射器将所述时间嵌入特征和所述频率嵌入特征投影到时频空间中，并在所述时频空间中进行一致性学习，生成一致性损失，包括：

5.根据权利要求1至4任一项所述的跨数据库的脑电情绪识别方法，其特征在于，所述从另一数据库中获取带标签的脑电图样本，将所述带标签的脑电图样本输入至所述目标预训练模型中生成时频特征，并基于所述时频特征对所述目标预训练模型进行有监督微调，生成目标情绪识别模型，包括：

6.根据权利要求5所述的跨数据库的脑电情绪识别方法，其特征在于，所述基于所述时频特征构建特征矩阵和邻接矩阵，并采用动态图卷积网络基于所述时频特征、所述特征矩阵和所述邻接矩阵捕捉多通道脑电信号的空间特征，包括：

7.根据权利要求6所述的跨数据库的脑电情绪识别方法，其特征在于，所述通过图注意网络gat计算节点之间的注意力权重，以对所述空间特征进行增强处理，得到目标空间特征，包括：

8.一种跨数据库的脑电情绪识别装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的跨数据库的脑电情绪识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的跨数据库的脑电情绪识别方法。

技术总结
本申请涉及一种跨数据库的脑电情绪识别方法、装置、设备及存储介质，其中方法包括：获取同一数据库的脑电图样本；通过第一对比编码器和第二对比编码器对每一脑电图样本进行样本映射，得到时间嵌入特征、频率嵌入特征和对比损失；通过两个跨空间的映射器将时间嵌入特征和频率嵌入特征投影到时频空间中生成一致性损失；基于对比损失和一致性损失更新模型参数，以进行模型预训练生成目标预训练模型；从另一数据库中获取带标签的脑电图样本，并基于脑电图样本对目标预训练模型进行有监督微调，生成目标情绪识别模型；基于目标情绪识别模型对待识别脑电图进行情绪识别生成情绪识别结果。本申请实现了跨数据库的脑电情绪识别，提高了情绪识别的准确性。

技术研发人员：梁臻,刘淇乐,黄淦,张力,李琳玲
受保护的技术使用者：深圳大学
技术研发日：
技术公布日：2024/2/6