基于多模态融合的情感触觉调控系统及方法

本发明属于情感调控，具体涉及一种基于多模态融合的情感触觉调控系统及方法。

背景技术：

1、近年来，情感计算和触觉技术的快速发展催生了一个新兴领域：情感触觉。情感计算致力于揭示情感产生和表达机制，而触觉技术则关注模拟人类的触觉感知过程。将情感信息与触觉技术融合研究的情感触觉领域，旨在探索在情感检测、显示和交流过程中使用触觉技术的可能性，为人机交互提供了全新的可能性。

2、情感触觉调控系统作为情感触觉领域中的核心技术，旨在实时感知个体的情感状态并通过触觉刺激引导，进而在交互过程中实现情感的主动调控。在医疗康复、影音娱乐等人机交互领域，情感触觉调控系统具有引人瞩目的应用前景。例如，在医疗方面，该系统通过触觉刺激辅助情感调节，为抑郁症等情感障碍的治疗提供了创新手段。在影音娱乐领域，系统通过触觉刺激增强情感沉浸，为用户打造更加身临其境的体验。

3、然而，尽管情感触觉调控系统前景广阔，但目前仍存在一些技术难题亟需解决：

4、1、缺乏客观、实时的情感检测手段。情感触觉调控系统中现有情感检测方法常借助量表等主观评价手段，这种方式容易受到个体主观意识和外部环境的干扰，导致情感状态的客观性和实时性受限。

5、2、尚不清楚触觉刺激与情感状态之间的影响机制。尽管触觉与情感之间存在紧密的关联，但具体的触觉参数如何调整以实现特定的情感调控仍缺乏清晰的指导，导致系统在实际应用中往往难以达到预期的情感调控效果。

6、上述两个技术难题制约了情感触觉调控系统的进一步发展。

技术实现思路

1、为解决上述问题，本发明公开了基于多模态融合的情感触觉调控系统及方法，该系统通过采集用户的多种生理信号，如脑电和心电等，将多生理信号特征与音频、触觉模态特征融合，结合先进的数据处理和分析技术，实时准确地识别用户当前情感状态，并借助优化理论自动寻找触觉参数，通过对用户施加触觉刺激实现情感状态的主动调控。

2、为达到上述目的，本发明的技术方案如下：

3、基于多模态融合的情感触觉调控系统，包括触觉最优参数调节模块、触觉发生模块、视听觉发生模块、多生理信号采集模块、多感觉信号采集模块和多模态融合情感识别模块。所述触觉最优参数调节模块依据用户当前情感与目标情感的差异自动求解最优的触觉参数，发送至所述触觉发生模块并产生触觉效果，所述触觉发生模块与所述视听觉发生模块协同产生视听触融合刺激作用于用户，以调控用户情感，所述多生理信号采集模块与所述多感觉信号采集模块实时采集用户的多种生理信号、音频信号和触觉振动信号，输入至所述多模态融合情感识别模块以检测用户当前的情感状态，并反馈至触觉最优参数调节模块，构成闭环情感调控系统。

4、所述触觉最优参数调节模块作为所述基于多模态融合的情感触觉调控系统的核心，根据用户当前的情感状态与目标情感的差异，借助优化理论自动寻找触觉参数，并将参数发送至触觉发生模块，以确保情感调控的有效性。所述触觉最优参数调节模块包括触觉参数优化模型和触觉参数求解模块。所述触觉参数优化模型表示为

5、

6、s.t.0≤p≤pm

7、0≤f≤fm

8、0≤q≤qm

9、0≤r≤rm

10、其中，mi是脑地形图上某电极i的实际功率值，mbi是脑地形图上某电极i的参考功率值，s是计算出的情感状态值，sb是目标情感状态值，p是触觉发生模块消耗的实际功率值，pm是设定触觉发生模块消耗的最大功率值，fm是设定最大触觉振动频率，qm是设定最大触觉振动强度，rm是设定最大触觉振动节奏，γ、μ和φ是模型的权重系数。

11、所述触觉参数求解模块采用粒子群优化算法、强化学习等机器学习算法，求解触觉最优参数模型中的四个参数，即触觉振动频率f、触觉振动强度q、触觉振动节奏r和触觉振动位置c，并将求解得到的参数发送给触觉发生模块。

12、所述触觉发生模块为一类通过振动表达触觉的可穿戴设备，包括振动背心、振动手环、振动手套等，通过设定触觉发生设备的振动频率、强度、节奏和位置，传达特定的触觉体验。所述触觉发生模块的特征在于始终存在随音频自适应变化的背景触觉振动，同时可基于所述触觉参数优化模型计算出的四个最优参数实现另一触觉表达，该触觉表达与背景触觉振动协同作用，可有效增强用户的情感体验。

13、所述视听觉发生模块为用户提供视觉和听觉刺激，包括不同情感类型的电影片段材料。这些视听刺激材料有助于引导用户进入特定的情感状态，其中电影片段的音频作为所述背景触觉振动的变化依据。

14、所述多生理信号采集模块实时采集用户的多种生理信号，包括64通道的脑电信号和心电信号。其中，脑电信号由脑电信号采集模块采集，所述脑电信号采集模块由64导联acticap电极帽和brain products gmbh系列脑电放大器组成。心电信号由心电信号采集模块采集，所述心电信号采集模块为biosemi公司的activetwo系列高导联心电采集系统。

15、所述多感觉信号采集模块包括听觉信号采集模块和触觉信号采集模块，能够分别实时采集所述视听觉发生模块中的音频信号和所述触觉发生模块中的触觉振动信号。

16、所述多模态融合情感识别模块能够根据用户的多生理信号和诱发材料的多感觉信号，分析处理和识别用户当前的情感状态，然后将此情感状态信号发送到触觉最优参数调节模块，以进行触觉参数的智能调控。多模态融合情感识别模块包括信号预处理模块，特征提取模块，特征融合模块和情感解码模块。所述信号预处理模块对采集到的脑电和心电信号进行预处理，包括降采样、滤波、去除伪迹等。所述特征提取模块对听觉信号、触觉信号、预处理后的脑电和心电信号分别进行特征提取。所述特征融合模块利用特征融合算法将多生理信号特征与音频信号提取的音频特征、触觉振动信号提取的振动特征进行特征融合。所述情感解码模块利用分类算法对多模态融合特征进行分类，得到用户的当前情感状态。所述多模态融合情感识别模块的优越性在于融合了多生理信号特征与音频、触觉模态特征，可有效减轻生理信号不稳定对情感识别结果的影响。

17、本发明的有益效果包括：

18、1、本发明的情感触觉调控系统采用基于多模态融合的情感检测方法，将多生理信号特征与音频、触觉模态特征融合，实现客观、实时的情感识别，克服了传统主观量表等方法的局限性，有效减轻了生理信号不稳定对情感识别结果的影响，显著提升情感触觉调控系统中情感检测的精确性。

19、2、本发明中的触觉最优参数调节模块通过分析实时情感状态与目标情感之间的差异，借助优化理论自动搜索合适的触觉参数，使得触觉刺激能够更精准地引导和调节用户的情感状态，有效提升情感触觉调控系统的效果和效率。

20、3、本发明中的基于多模态融合的情感触觉调控系统能够建立用户的情感触觉数据库，利用大数据与大模型学习技术生成个性化的触觉模式，以呈现定制化的情感体验。

技术特征：

1.基于多模态融合的情感触觉调控系统，其特征在于：包括触觉最优参数调节模块、触觉发生模块、视听觉发生模块、多生理信号采集模块、多感觉信号采集模块和多模态融合情感识别模块。所述触觉最优参数调节模块依据用户当前情感与目标情感的差异自动求解最优的触觉参数，发送至所述触觉发生模块并产生触觉效果，所述触觉发生模块与所述视听觉发生模块协同产生视听触融合刺激作用于用户，以调控用户情感，所述多生理信号采集模块与所述多感觉信号采集模块实时采集用户的多种生理信号、音频信号和触觉振动信号，输入至所述多模态融合情感识别模块以检测用户当前的情感状态，并反馈至触觉最优参数调节模块，构成闭环情感调控系统。

2.根据权利要求1所述的基于多模态融合的情感触觉调控系统，其特征在于：所述触觉最优参数调节模块作为所述基于多模态融合的情感触觉调控系统的核心，根据用户当前的情感状态与目标情感的差异，借助优化理论自动寻找触觉参数，并将参数发送至触觉发生模块，以确保情感调控的有效性；所述触觉最优参数调节模块包括触觉参数优化模型和触觉参数求解模块。

3.根据权利要求2所述的基于多模态融合的情感触觉调控系统，其特征在于：所述触觉参数优化模型表示为

4.根据权利要求2所述的基于多模态融合的情感触觉调控系统，其特征在于：所述触觉参数求解模块采用机器学习算法，求解触觉最优参数模型中的四个参数，即触觉振动频率f、触觉振动强度q、触觉振动节奏r和触觉振动位置c，并将求解得到的参数发送给触觉发生模块。

5.根据权利要求1所述的基于多模态融合的情感触觉调控系统，其特征在于：所述触觉发生模块为一类通过振动表达触觉的可穿戴设备，包括振动背心、振动手环、振动手套，通过设定触觉发生设备的振动频率、强度、节奏和位置，传达特定的触觉体验；所述触觉发生模块的特征在于始终存在随音频自适应变化的背景触觉振动，同时可基于所述触觉参数优化模型计算出的四个最优参数实现另一触觉表达，该触觉表达与背景触觉振动协同作用，增强用户的情感体验。

6.根据权利要求1所述的基于多模态融合的情感触觉调控系统，其特征在于：所述视听觉发生模块为用户提供视觉和听觉刺激，包括不同情感类型的电影片段材料；这些视听刺激材料有助于引导用户进入特定的情感状态，其中电影片段的音频作为所述背景触觉振动的变化依据。

7.根据权利要求1所述的基于多模态融合的情感触觉调控系统，其特征在于：所述多生理信号采集模块实时采集用户的多种生理信号，包括64通道的脑电信号和心电信号；其中，脑电信号由脑电信号采集模块采集，所述脑电信号采集模块由64导联acticap电极帽和brain products gmbh系列脑电放大器组成；心电信号由心电信号采集模块采集，所述心电信号采集模块为biosemi公司的activetwo系列高导联心电采集系统。

8.根据权利要求1所述的基于多模态融合的情感触觉调控系统，其特征在于：所述多感觉信号采集模块包括听觉信号采集模块和触觉信号采集模块，能够分别实时采集所述视听觉发生模块中的音频信号和所述触觉发生模块中的触觉振动信号。

9.根据权利要求1所述的基于多模态融合的情感触觉调控系统，其特征在于：所述多模态融合情感识别模块能够根据用户的多生理信号和诱发材料的多感觉信号，分析处理和识别用户当前的情感状态，然后将此情感状态信号发送到触觉最优参数调节模块，以进行触觉参数的智能调控；多模态融合情感识别模块包括信号预处理模块，特征提取模块，特征融合模块和情感解码模块；所述信号预处理模块对采集到的脑电和心电信号进行预处理，包括降采样、滤波、去除伪迹；所述特征提取模块对听觉信号、触觉信号、预处理后的脑电和心电信号分别进行特征提取；所述特征融合模块利用特征融合算法将多生理信号特征与音频信号提取的音频特征、触觉振动信号提取的振动特征进行特征融合；所述情感解码模块利用分类算法对多模态融合特征进行分类，得到用户的当前情感状态；所述多模态融合情感识别模块的优越性在于融合了多生理信号特征与音频、触觉模态特征，减轻生理信号不稳定对情感识别结果的影响。

10.根据权利要求1所述的基于多模态融合的情感触觉调控系统产生的调控方法，其特征在于：具体实施步骤如下：

技术总结
本发明公开了基于多模态融合的情感触觉调控系统及方法，包括触觉最优参数调节模块、触觉发生模块、视听觉发生模块、多生理信号采集模块、多感觉信号采集模块和多模态融合情感识别模块。该系统通过采集用户的多种生理信号，将多生理信号特征与音频、触觉模态特征融合，结合先进的数据处理和分析技术，实时准确地识别用户当前情感状态，并借助优化理论自动寻找触觉参数，通过对用户施加触觉刺激实现情感状态的主动调控；克服了传统主观量表等方法的局限性，有效减轻了生理信号不稳定对情感识别结果的影响，显著提升情感触觉调控系统中情感检测的精确性。该情感触觉调控系统在个人情感管理、医疗康复、影音娱乐等领域具有广泛的应用潜力。

技术研发人员：徐宝国,王欣,王嘉津,宋爱国
受保护的技术使用者：东南大学
技术研发日：
技术公布日：2024/1/16