一种基于宽时间范畴的多模态情境情感识别方法及系统

文档序号:36294137发布日期:2023-12-07 04:02阅读:来源:国知局

技术特征:

1.一种基于宽时间范畴的多模态情境情感识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于宽时间范畴的多模态情境情感识别方法,其特征在于,在构建基于情境的视频情感数据集时,包括:数据采集、情感类别定义、数据处理和以及数据标注;

3.根据权利要求2所述的基于宽时间范畴的多模态情境情感识别方法,其特征在于,在进行文本情感识别时,包括:

4.根据权利要求3所述的基于宽时间范畴的多模态情境情感识别方法,其特征在于,在通过自注意力机制捕捉特征依赖关系时,包括:

5.根据权利要求1所述的基于宽时间范畴的多模态情境情感识别方法,其特征在于,在对人物面部情感进行识别时,包括:

6.根据权利要求5所述的基于宽时间范畴的多模态情境情感识别方法,其特征在于,在引入通道注意力模块时,包括:

7.根据权利要求6所述的基于宽时间范畴的多模态情境情感识别方法,其特征在于,在引入通道注意力模块时,还包括:

8.根据权利要求6所述的基于宽时间范畴的多模态情境情感识别方法,其特征在于,在引入重要性权重生成的方法时,包括:

9.根据权利要求6所述的基于宽时间范畴的多模态情境情感识别方法,其特征在于,在构建基于注意力机制的多模态多分支融合模型时,包括:

10.一种基于宽时间范畴的多模态情境情感识别系统,其特征在于,包括:


技术总结
本发明公开了一种基于宽时间范畴的多模态情境情感识别方法及系统,包括以下步骤:利用自然环境下的音视频资源,构建基于情境的视频情感数据集;基于BERT模型对视频情感数据集进行文本情感识别;通过引入通道注意力机制,对人物面部情感进行识别;构建基于注意力机制的多模态多分支融合模型,并通过多模态多分支融合模型得到最终的情感识别结果。本发明用于解决现有的多模态情感识别技术存在的仅针对当前时刻包含的信息进行情感挖掘、不能有效区分出对情感状态有影响的区域、跨模态不一致以及跨模态不平衡等的技术问题,从而实现具有鲁棒性的、情感表征能力更强的情感识别系统的目的。

技术研发人员:卢桂萍,王科俊,杨涛,曹宇,张小凤
受保护的技术使用者:北京理工大学珠海学院
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1