基于一致图的多语义空间多模态情感识别方法

本发明涉及情感识别领域，尤其涉及一种基于一致图的多语义空间多模态情感识别方法。

背景技术：

1、人类情感可以通过多种形式体现，可以是肢体动作、表情、语气，也可以是脑内反应、心电图反应等，为了提高情感识别的准确性，可以通过分析不同模态的信号，联合对情感进行识别和分类。

2、多模态情感识别旨在通过分析不同模态的信号，在某一场景下获取的人的图像信息(视觉信号)、语音信号以及人的生理信号(脑电信号等)，进而挖掘不同模态信号之间的信息互补性提升情感识别的性能。

3、现有的多模态情感识别算法通常忽略了不同空间的语义信息之间的关联性，从而导致情感识别效果较差，识别结果准确度降低。

技术实现思路

1、本发明要解决的技术问题是：现有的多模态情感识别算法忽略了不同空间的信息之间的关联性，从而导致情感识别结果准确度降低。

2、为此，本发明提供一种基于一致图的多语义空间多模态情感识别方法。

3、本发明解决其技术问题所采用的技术方案是：

4、一种基于一致图的多语义空间多模态情感识别方法，包括以下步骤，

5、获取多模态下不同视图的样本数据；

6、构建多模态情感识别通用框架提取不同模态的特征，在三阶张量空间中获取多模态之间的相关信息；

7、优化多模态情感识别通用框架，迭代计算通用框架中每个变量的优化解；

8、利用优化解对获取的多模态数据进行情感识别并获取情感识别结果。

9、进一步地，利用所述多模态情感识别通用框架将原始多模态数据嵌入低维空间。

10、进一步地，采用hsic来扩展每个模态在内核希尔伯特空间中的低维表示，并通过非线性投影使两个空间之间的相关性最大化。

11、进一步地，通过约束低秩张量，在三阶张量空间中有效捕捉多个模态之间的相关信息。

12、进一步地，所述多模态情感识别通用框架表示为：

13、

14、

15、其中，wυ是使用线性投影xυ的低维表示pυ，av为对于第v个模态，模型在核希尔伯特空间中学习的多个相似性图，为在三阶张量空间中学习高阶图。

16、进一步地，引入三个变量pv,tv,mv，构建线性投影矩阵更新pv：

17、

18、其中，t是迭代指数，ρ是一个惩罚标量。tv作为一个中间变量。

19、进一步地，通过标准的sylvester公式，解决wv的优化问题，得到唯一的解：

20、(pv)tpvwv+αwvfv(fv)t＝(pv)txv.。

21、进一步地，迭代学习相似图aυ，更新变量aυ，

22、

23、进一步地，根据公式：其中和上述公式有如下全局解：其中代表t-svd操作。

24、进一步地，是一个f-diagonal张量，关于的对角线元素可以表示为在傅里叶域计算的

25、本发明的有益效果是，本发明公开了一种基于一致图的多语义空间多模态情感识别方法，提出了一个新颖的互换一致性图学习框架，该框架能够通过调整多个空间的语义信息来学习一致性图。具体来说，每个模态的特征被投射到低维空间并保留了基本的语义信息，这有效地避免了原始数据中的冗余信息和噪声。为了模拟不同空间中相似性图形的非线性相关性，本发明将低维表示扩展到再生核希尔伯特空间。本发明将来自多个模态的图整合到三阶张量空间，用于捕捉不同模态的高阶线性相关性。在此基础上，在张量上施加核范数，以更准确地建模多个模态的相关性。最后，通过迭代优化算法获得优化的特征表示用于多模态情感分析任务，构建了一个保证快速收敛的交替优化方案用于聚类任务。

26、本申请中的辨识通用框架调整三个空间的语义信息来学习一致性表示，从而发现不同模态之间潜在的互补性和一致性。在线性投影的基础上构建低维空间，以保留基本的语义信息。此外，本发明通过希尔伯特-施密特独立准则将低维表示从线性空间映射到非线性空间，以探索隐藏在数据中的非线性信息。此外，核空间中的多个图被扩展到张量空间，用于学习高阶图，这有助于更好地衡量多个模态之间的相关性，从而提高情感识别分类的准确性。本发明所提目标函数采用交替优化方案求解。

技术特征：

1.一种基于一致图的多语义空间多模态情感识别方法，其特征在于，包括以下步骤，

2.根据权利要求1所述的基于一致图的多语义空间多模态情感识别方法，其特征在于，利用所述多模态情感识别通用框架将原始多模态数据嵌入低维空间。

3.根据权利要求2所述的基于一致图的多语义空间多模态情感识别方法，其特征在于，采用hsic来扩展每个模态在内核希尔伯特空间中的低维表示，并通过非线性投影使两个空间之间的相关性最大化。

4.根据权利要求3所述的基于一致图的多语义空间多模态情感识别方法，其特征在于，通过约束低秩张量，在三阶张量空间中有效捕捉多个模态之间的相关信息。

5.根据权利要求1所述的基于一致图的多语义空间多模态情感识别方法，其特征在于，所述多模态情感识别通用框架表示为：

6.根据权利要求1所述的基于一致图的多语义空间多模态情感识别方法，其特征在于，引入三个变量pv,tv,mv，构建线性投影矩阵更新pv：

7.根据权利要求1所述的基于一致图的多语义空间多模态情感识别方法，其特征在于，通过标准的sylvester公式，解决wv的优化问题，得到唯一的解：(pv)tpvwv+αwvfv(fv)t＝(pv)txv.。

8.根据权利要求1所述的基于一致图的多语义空间多模态情感识别方法，其特征在于，迭代学习相似图aυ，更新变量av，

9.根据权利要求1所述的基于一致图的多语义空间多模态情感识别方法，其特征在于，根据公式：其中和上述公式有如下全局解：其中代表t-svd操作。

10.根据权利要求1所述的基于一致图的多语义空间多模态情感识别方法，其特征在于，是一个f-diagonal张量，关于的对角线元素可以表示为在傅里叶域计算的

技术总结
本发明涉及情感识别领域，尤其涉及一种基于一致图的多语义空间多模态情感识别方法，包括以下步骤，获取多模态下不同视图的样本数据；构建多模态情感识别通用框架提取不同模态的特征，在三阶张量空间中获取多模态之间的相关信息；优化多模态情感识别通用框架，迭代计算通用框架中每个变量的优化解；利用优化解对获取的多模态数据进行情感识别并获取情感识别结果。本申请提出了一个新颖的交互一致性图学习框架来提取多模态情感特征，更好地衡量多个模态之间的相关性，从而提高情感识别分类的准确性。

技术研发人员：蒋广琪,何杰,刘毅,徐守坤
受保护的技术使用者：常州大学
技术研发日：
技术公布日：2024/4/17