1.多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,具体按照以下步骤实施:
2.根据权利要求1所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述样本集通过公开的deap数据集和mahnob-hci数据集获取,样本集中的每个样本包含人脸图像视频及其对应的eeg信号及情感类别标签。
3.根据权利要求2所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述mstfai-scff模型包括eeg信号特征学习、人脸图像特征学习、特有-共享特征融合模块三部分,该mstfai-scff模型通过将eeg信号特征学习的输出特征、人脸图像特征学习的输出特征通过特有-共享特征融合模块进行融合,输出预测情感类别,实现情感识别。
4.根据权利要求3所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述eeg信号特征学习过程具体如下:
5.根据权利要求4所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,步骤4.2的具体过程如下:
6.根据权利要求3所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述人脸图像特征学习部分的搭建过程具体如下:
7.根据权利要求3所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述特有-共享特征融合模块的搭建过程具体如下:
8.根据权利要求7所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,步骤7.2所述的差异性损失中引入了软子空间正交性约束与frobenius范数,具体如下:
9.根据权利要求1所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于所述步骤3的具体过程如下:将训练集中的每个数据片段样本均带入步骤2搭建好的mstfai-scff模型,分别输出其预测情感类别,将每个数据片段样本的预测情感类别与其情感类别标签进行比较,并将两者之间的损失最小化,通过反向传播算法更新模型中的网络参数,直至模型在训练集上保持稳定的情感预测性能,保存模型,得到训练好的模型;
10.根据权利要求1所述的多层次特征集成和脑电与人脸特征融合的情感识别方法,其特征在于,所述步骤4具体过程如下:用测试集对训练好的模型进行测试,并保存模型在该部分测试集上的实验结果,共测试五次,保证每次所使用的测试集中的数据片段不重叠,再将5次测试结果的平均值作为模型的最终测试结果;若测试结果达到预期要求,则保存模型,得到情感识别模型,若测试结果未达到预期要求,则对模型架构、参数进行调整,并重复步骤1到步骤4,直至测试结果达到预期要求,保存模型,得到情感识别模型。