技术特征：1.一种基于门控多级特征编码网络的多模态情感识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于门控多级特征编码网络的多模态情感识别方法，其特征在于，步骤1具体为：
3.根据权利要求1所述的一种基于门控多级特征编码网络的多模态情感识别方法，其特征在于，步骤2具体为：
4.根据权利要求3所述的一种基于门控多级特征编码网络的多模态情感识别方法，其特征在于，步骤2.3中，所述构造mel-spectrogram-alexnet分支，包括如下步骤：
5.根据权利要求1所述的一种基于门控多级特征编码网络的多模态情感识别方法，其特征在于，步骤3具体为：
6.根据权利要求1所述的一种基于门控多级特征编码网络的多模态情感识别方法，其特征在于，步骤4具体为：
技术总结本发明公开了一种基于门控多级特征编码网络的多模态情感识别方法，首先，对原始输入的语音和文本模态分别进行浅层特征提取；然后，针对不同模态构建深度编码网络，获取与情感相关的深层特征。为了更好的探索语音的空间信息，引入分支网络，获取基于深度卷积网络的谱图信息；设计自适应多模态门控融合模块，实现三个模态特征信息的动态融合，实现基于门控多级特征编码网络的模型搭建；最后，对基于门控多级特征编码网络的多模态情感识别方法进行性能评估；本发明进一步挖掘了输入信号的多层次情感信息并构建了基于门控的多级特征编码网络进行多模态情感识别，使得系统的情感识别性能、泛化能力进一步提升，可以很好地应用于智能人机交互中。
技术研发人员：孙林慧,王静,张子晓,李平安,叶蕾
受保护的技术使用者：南京邮电大学
技术研发日：技术公布日：2024/1/16