多层次特征集成和脑电与人脸特征融合的情感识别方法

文档序号:37467941发布日期:2024-03-28 18:50阅读:来源:国知局

技术特征:

1.多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,具体按照以下步骤实施:

2.根据权利要求1所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述样本集通过公开的deap数据集和mahnob-hci数据集获取,样本集中的每个样本包含人脸图像视频及其对应的eeg信号及情感类别标签。

3.根据权利要求2所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述mstfai-scff模型包括eeg信号特征学习、人脸图像特征学习、特有-共享特征融合模块三部分,该mstfai-scff模型通过将eeg信号特征学习的输出特征、人脸图像特征学习的输出特征通过特有-共享特征融合模块进行融合,输出预测情感类别,实现情感识别。

4.根据权利要求3所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述eeg信号特征学习过程具体如下:

5.根据权利要求4所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,步骤4.2的具体过程如下:

6.根据权利要求3所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述人脸图像特征学习部分的搭建过程具体如下:

7.根据权利要求3所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述特有-共享特征融合模块的搭建过程具体如下:

8.根据权利要求7所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,步骤7.2所述的差异性损失中引入了软子空间正交性约束与frobenius范数,具体如下:

9.根据权利要求1所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于所述步骤3的具体过程如下:将训练集中的每个数据片段样本均带入步骤2搭建好的mstfai-scff模型,分别输出其预测情感类别,将每个数据片段样本的预测情感类别与其情感类别标签进行比较,并将两者之间的损失最小化,通过反向传播算法更新模型中的网络参数,直至模型在训练集上保持稳定的情感预测性能,保存模型,得到训练好的模型;

10.根据权利要求1所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述步骤4具体过程如下:用测试集对训练好的模型进行测试,并保存模型在该部分测试集上的实验结果,共测试五次,保证每次所使用的测试集中的数据片段不重叠,再将5次测试结果的平均值作为模型的最终测试结果;若测试结果达到预期要求,则保存模型,得到情感识别模型,若测试结果未达到预期要求,则对模型架构、参数进行调整,并重复步骤1到步骤4,直至测试结果达到预期要求,保存模型,得到情感识别模型。


技术总结
本发明公开了多层次特征集成和脑电与人脸特征融合的情感识别方法,步骤包括:获取样本集,并将样本集中的每个样本划分为多个1s长的数据片段,并划分为测试集和训练集;搭建MSTFAI‑SCFF模型并训练;用测试集进行模型测试,得到情感识别模型;用情感识别模型进行情感识别。该方法引入了多层次时空特征自适应集成与特有‑共享特征融合模型,设计了多层次时空特征自适应集成模块和特有‑共享特征融合模块,可捕获更完备的EEG特征,为后续的特征融合提供更有效的EEG情感特征表示,可学习到各模态内部的特有及共享情感语义信息,使模型在保证单模态特征学习能力的同时完成对模态间情感语义关系的捕捉。

技术研发人员:孙强,陈远
受保护的技术使用者:西安理工大学
技术研发日:
技术公布日:2024/3/27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1