一种基于多模态信息融合的智能心理评估方法及系统

本公开涉及计算心理学技术领域，特别是涉及一种基于多模态信息融合的智能心理评估方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着时代的进步，传统心理测量方法与工具的不足日渐显露，这些不足体现在：基于先验知识的心理学研究逻辑不严谨，测量过程耗费大量的人力和物力，非代表性取样与研究情景不真实，数据收集与分析过程缓慢，心理评估结果反馈时间滞后性等。

在传统研究方法的基础上，研究基于多模态信息融合的心理测量关键技术，可以帮助更好地鉴别个体在智力、人格、心理健康等心理特征上的差异性，从而确定个体的相对优劣之处，为因材施教和人尽其才提供定量化的依据，这些研究成果可以转化应用于医疗、教育、管理、军事、工业等各个领域。

在现有技术中，基于情感词典和规则的方法通过文字中的负面情感词和正面情感词的个数识别情感倾向；但是发明人发现，首先情感词典的构建费时费力；其次构建的情感词典对心理评估的准确性产生干扰，过度依赖于情感词典，而忽视被测者心理信号本身存在的情感特征。基于规则的方法中，方法的制定取决于人的主观意识，不是以真实数据为主导的评估方式。

另外，多模态信息融合技术作为计算心理学的新兴研究领域，借助大数据存储管理和云计算作为研究工具，利用数据挖掘技术对数据进行分析建模，可以建立基于机器学习算法的心理特征、心理病症诊断等模型。但是，发明人发现现有的多模态特征融合方法仅通过简单的拼接来组合特征，或将所有模态信息直接利用深度模型进行融合，这样会导致特征冗余和关键特征不足等问题，造成多模态情感识别效果不理想。

技术实现要素：

为了解决上述问题，本公开提出了一种基于多模态信息融合的智能心理评估方法及系统，利用深度信念网络的学习特性，对生理信号和行为信号的各模态特征分别进行融合，解决多源异质数据无法有效融合的问题，增强了心理评估结果的准确性和客观性。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种基于多模态信息融合的智能心理评估方法，包括：

接收用户对虚拟现实场景中心理测试任务的选择，并启动多通道生理记录仪采集用户完成心理测试任务过程中的生理信号和行为信号，构成测试样本；

对测试样本利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；

利用双模深度信念网络将高层生理特征和高层行为特征进行模态特征的融合，得到多模态融合特征；

根据预先构建的情感数据库中的情感类别训练分类器，使用训练后的分类器对多模态融合特征进行情感标签的标注，得到测试样本的情绪类别。

第二方面，本公开提供一种基于多模态信息融合的智能心理评估系统，包括：

数据采集模块，被配置为接收用户对虚拟现实场景中心理测试任务的选择，并启动多通道生理记录仪采集用户完成心理测试任务过程中的生理信号和行为信号，构成测试样本；

信号特征提取模块，被配置为对测试样本利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；

模态特征融合模块，被配置为利用双模深度信念网络将高层生理特征和高层行为特征进行模态特征的融合，得到多模态融合特征；

分类模块，根据预先构建的情感数据库中的情感类别训练分类器，使用训练后的分类器对多模态融合特征进行情感标签的标注，得到测试样本的情绪类别。

第三方面，本公开提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于多模态信息融合的智能心理评估方法所述的步骤。

第四方面，本公开提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于多模态信息融合的智能心理评估方法所述的步骤。

与现有技术相比，本公开的有益效果为：

本公开利用深度信念网络的学习特性，对生理信号和行为信号的各模态特征分别进行融合，具有数据感知和特征融合的特点，解决多源异质数据无法有效融合，导致特征冗余和关键特征不足的问题，增强了心理评估结果的准确性和客观性。

本公开利用虚拟现实技术进行情境推演，设置不同的心理测试环节，提供真实场景，在多种心理测试环节下，采集不同情境下用户的心理状态，以真实数据为主导，采用客观的估计手段，判断用户处于当前情境下的情绪类别，减少传统手段带来的主观性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的一种基于多模态信息融合的智能心理评估方法流程示意图。

具体实施方式：

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

如图1所示，本实施例提供一种基于多模态信息融合的智能心理评估方法，包括：

s1：对采集的生理信号和行为信号利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；

s2：利用双模深度信念网络将高层生理特征和高层行为特征进行模态特征的融合，得到多模态融合特征；

s3：根据预先构建的情感数据库中的情感类别训练分类器，使用训练后的分类器对多模态融合特征进行情感标签的标注，得到测试样本的情绪类别。

所述步骤s1中，搭建虚拟现实场景，设置多个不同等级的心理测试任务，接收用户对虚拟现实场景中心理测试任务的选择，并启动多通道生理记录仪采集用户完成心理测试任务过程中的生理信号和行为信号，构成测试样本；

在本实施例中，设计4个交互式心理测量环节，即智能问答-常规谈话-心理游戏-虚拟现实诱发场景，受试者依据智能语音导航，完成四个交互式心理测量环节，在此人机交互过程中，多通道生理记录仪采集被试人员多种生理数据及行为特征。生理数据包括心电、皮电、呼吸、血氧、面部血氧含量等；行为特征包括表情、眼动及肢体动作等。通过虚拟场景，模拟真实环境的人际交往过程，使受试者产生真实情感，采集受试者真实情感下的生理数据，以真实数据为主导，增强情感分类的准确性。

其中，智能问答环节包括各种形式的心理测量量表，比如针对大学生的中国大学生心理健康测评量表等，即根据不同群体，可更换不同量表，测量不同的心理状态和心理健康程度，得到在不同群体中、不同环境下的情绪状态；

在本实施例中，在量表问答过程中，可以使用全语音指导操作步骤，通过语音合成播报量表答题规则和题目，通过语音输入或屏幕触摸控制，来识别记录被试者的答案，确保问答的有序进行；

或者，在问答过程中，通过虚拟场景结合眼动追踪技术，识别测试的答案，同时提取眼动数据以及当前受试者的生理信号等；

或者，在常规谈话环节，结合被试者的主要问题进行交谈问话，谈话内容多元化，可分为常规谈话、警示谈话、诫勉谈话等不同种类；

在心理游戏环节，针对不同群体，开发不同的心理-生理诱发类动画游戏，测试不同的心理指标；比如利用拆炸弹游戏诱导被试者的压力-紧张情感心理状态，例如，如紧张时出现的表情，可通过拍摄表情图像；心率、呼吸等，通过心率检测仪或呼吸仪采集信号灯，反映被试者的抗压能力。

在虚拟现实诱发场景中，搭建虚拟现实情境体验平台，选择完成特定情景游戏任务范式，设置多个情景，以诱导被试者的不同情感心理状态，反映不同的情感指标。比如特定时间内停车场灭火救人情景可反映被试者的共情能力情感指标。

上述多个心理测试环节，通过获取受试者对心理测试环节的选择，启动多通道生理记录仪采集受试者在完成心理测试任务过程中的生理信号和行为信号，构成测试样本。

另外，结合前人文献，如surrey视听表情情感数据库，根据情感数据库中多种情感类别训练分类器，情感数据库包括多种情绪，如高兴、生气、厌恶、悲伤和恐惧等，对测试样本中的特征数据添加情绪标签。在本实施例中，采用视频刺激诱导的方式，诱发被试人员的高兴、生气、厌恶、悲伤和恐惧五种日常生活中经常出现的基本情感，采集训练样本，每段情绪诱导视频均播放15分钟，在两段视频播放的中间，播放2分钟的舒缓音乐用于平缓被试人员的情绪，整个生理情感数据采集实验持续60分钟左右。

所述步骤s1中，采集受试者的各类心理数据；所述生理信号包括心电信号、皮电信号、呼吸信号、血氧信号和面部血氧含量信号，所述行为信号包括语音信号、表情信号和眼动信号；

对五种生理信号进行预处理和特征提取具体包括：

s-1-1：对心电(ecg)、皮电(gsr)、呼吸、血氧及面部血氧含量等五种生理信号进行预处理以消除噪声；其中，对心电信号和呼吸信号可使用不同类型的低通滤波器进行预处理，如自适应滤波器、巴特沃斯滤波器等。

s-1-2：采用小波变化法对心电信号进行分析识别，提取时频域特征；由于心电信号一个周期内有多个波峰的存在，采用小波变化法进行分析识别，提取心电r波波峰、以及心电p、t波峰峰值，还有p-q、q-s、s-t间隔，相邻p波和t波的一阶差分，qrs时间段和心率。

s-1-3：采用导数和阈值法对呼吸信号进行分析识别，提取峰值点特征；呼吸信号只有单一的波峰，所以采用比较简单的导数和阈值法进行识别，对去噪声后的呼吸信号求导，导数为零处，若没有零点处，则无限接近零处为呼吸信号的峰值点。

s-1-4：对于皮电信号gsr，使用平滑滤波器去除皮电信号中的高频毛刺；由于皮电信号没有类似于心电信号那样显著的特征波形点，因此，只将gsr原始信号、及其原始信号的一阶微分和二阶微分作为gsr信号的原始特征。

s-1-5：在消噪的基础上，利用小波变换模极大值和形态学运算相结合的方法提取光电容积脉搏波的特征参数：即极大值和极小值；即使在有严重噪声影响、基线漂移和其他干扰的情况下，该算法也能很好地实现对脉搏波信号极大值点和极小值点的检测与定位。

s-1-6：对于面部血氧含量信号数据，利用初始情感血氧数据，采用归一化的方法提取“应激情感因子”。

对三类行为信号进行预处理和特征提取具体包括：

s-2-1：对语音信号进行预处理，包括去除干扰噪声和语音信号量化这两部分。对情感数据库中的语音信号提取短时能量、基音频率、第一共振峰、mfcc和语音持续时间等特征类别；

将短时能量、基音频率、共振峰的均值、最大值、最小值、方差、均方差以及mfcc及其一阶差分作为特征，其中短时能量和基音代表语音的韵律特征，共振峰和mfcc代表语音的音质特征。

s-2-2：利用拉普拉斯算子与clbp特征提取算法相结合提取表情信号图像特征；

对表情信号图像进行预处理工作，包括图像的去噪、人脸部分选择、人脸尺寸的归一化处理，考虑到表情识别注重人脸部皱纹的局部纹理特性与全局五官位置特性相结合，可利用拉普拉斯算子与clbp特征提取算法相结合的方式提取图像特征；采用clbp_s算子提取图像纹理特征，采用clbp_m和clbp_c提取原始图像特征，之后将三个特征共同构成三维联合直方图，共同构成人脸表情的特征。

s-2-3：对眼动信号进行降噪预处理，采用低通滤波器对原始信号进行滤波；提出线性预测(linearpredictivecoding，lpc)系数加归一化极值和△lpc系数加归一化极值的特征提取算法，提取扫视信号的lpc系数，对其作差分运算获取一阶差分线性预测系数，与归一化极值作为组合特征参数。

在本实施例中，对象选择50名在校大学生，由于情绪表达容易受到外界环境的影响，实验地点选在一间相对封闭的实验室。实验室内配置两台电脑和plux多功能生理记录仪，其中一台电脑用来供被试观看视频，另一台电脑用来同步记录采集的生理信号。在实验进行过程中，使用摄像头和麦克风同步记录被试正面的面部表情和声音，用眼动仪记录眼动数据，被试者在结束生理信号采集实验后，通过回忆结合已录制的行为特征信息，对其采集的生理信号进行情感标注。选用较成熟的surrey视听表情情感数据库作为声音和表情的情感数据库。

所述步骤s2中，本实施例利用多模深度信念网络mdbn将多种生理信号和语音、图像和眼动信号的不同特征分别进行融合，得到每种模态的统一高层表示特征，去除了每一模态中的冗余特征，同时将模态中不同层次的特征融合成一个统一的、规范化的高层特征；然后采用双模深度信念网络(bdbn)模型，从这两个模态的统一高层特征中获得深层多模态特征；

最后使用svm对该深度多模态特征进行分类，得到样本的情绪类别，并可作为人格评估、普通心理评估等心理评估过程的辅助数据。由中国台湾大学林志仁教授开发的libsvm是一种简单高效的模式识别软件包，该软件包提供了一种自动化参数选择和网格搜索的方法，其对svm所涉及的参数调节相对比较少，提供了较多的默认参数，利用这些默认参数可以解决大部分问题。

在本实施例中，利用深度信念网络dbn中每个网络层rbm学习特征时可视层与隐含层神经元全连接、同一层神经元无连接的特点，在一层一层学习之后，最后一层输出的特征是在网络中通过全连接学习有用信息后组合的深度特征，从而实现了利用mdbn模型直接进行特征选择和融合，一个多模态深度信念网络(mdbn)作为特征融合模型，该模型对每种模态均有独自的隐藏层，该模型的优点在于不用考虑这些异构数据带来的差异。

在更多实施例中，还提供：

一种基于多模态信息融合的智能心理评估系统，包括：

数据采集模块，被配置为接收用户对虚拟现实场景中心理测试任务的选择，并启动多通道生理记录仪采集用户完成心理测试任务过程中的生理信号和行为信号，构成测试样本；

信号特征提取模块，被配置为对测试样本利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；

模态特征融合模块，被配置为利用双模深度信念网络将高层生理特征和高层行为特征进行模态特征的融合，得到多模态融合特征；

分类模块，根据预先构建的情感数据库中的情感类别训练分类器，使用训练后的分类器对多模态融合特征进行情感标签的标注，得到测试样本的情绪类别。

所述数据采集模块中，搭建虚拟现实场景，设置多个不同等级的心理测试任务，在本实施例中，设计4个交互式心理测量环节，即智能问答-常规谈话-心理游戏-虚拟现实诱发场景，

接收用户对虚拟现实场景中心理测试任务的选择，完成四个交互式心理测量环节，并启动多通道生理记录仪采集用户完成心理测试任务过程中的生理信号和行为信号；生理数据包括心电、皮电、呼吸、血氧、面部血氧含量等，行为特征包括表情、眼动及肢体动作等，构成测试样本；

并且根据不同群体，采取不同的测试环节，测量不同的心理状态和心理健康程度，得到在不同群体中、不同环境下的情绪状态；在虚拟现实诱发场景中，搭建虚拟现实情境体验平台，选择完成特定情景游戏任务范式，设置多个情景，以诱导被试者的不同情感心理状态，反映不同的情感指标。比如特定时间内停车场灭火救人情景可反映被试者的共情能力情感指标。通过虚拟场景，模拟真实环境的人际交往过程，使受试者产生真实情感，采集受试者真实情感下的生理数据，以真实数据为主导，增强情感分类的准确性。

上述多个心理测试环节，通过获取受试者对心理测试环节的选择，启动多通道生理记录仪采集受试者在完成心理测试任务过程中的生理信号和行为信号，构成测试样本。

另外，结合前人文献，如surrey视听表情情感数据库，根据情感数据库中多种情感类别训练分类器，情感数据库包括多种情绪，如高兴、生气、厌恶、悲伤和恐惧等，对测试样本中的特征数据添加情绪标签。在本实施例中，采用视频刺激诱导的方式，诱发被试人员的高兴、生气、厌恶、悲伤和恐惧五种日常生活中经常出现的基本情感，采集训练样本。

所述信号特征提取模块中，对五种生理信号进行预处理和特征提取具体包括：

s-1-1：对心电(ecg)、皮电(gsr)、呼吸、血氧及面部血氧含量等五种生理信号进行预处理以消除噪声；其中，对心电信号和呼吸信号可使用不同类型的低通滤波器进行预处理，如自适应滤波器、巴特沃斯滤波器等。

s-1-2：采用小波变化法对心电信号进行分析识别，提取时频域特征；由于心电信号一个周期内有多个波峰的存在，采用小波变化法进行分析识别，提取心电r波波峰、以及心电p、t波峰峰值，还有p-q、q-s、s-t间隔，相邻p波和t波的一阶差分，qrs时间段和心率。

s-1-3：采用导数和阈值法对呼吸信号进行分析识别，提取峰值点特征；呼吸信号只有单一的波峰，所以采用比较简单的导数和阈值法进行识别，对去噪声后的呼吸信号求导，导数为零处，若没有零点处，则无限接近零处为呼吸信号的峰值点。

s-1-4：对于皮电信号gsr，使用平滑滤波器去除皮电信号中的高频毛刺；由于皮电信号没有类似于心电信号那样显著的特征波形点，因此，只将gsr原始信号、及其原始信号的一阶微分和二阶微分作为gsr信号的原始特征。

s-1-5：在消噪的基础上，利用小波变换模极大值和形态学运算相结合的方法提取光电容积脉搏波的特征参数：即极大值和极小值；即使在有严重噪声影响、基线漂移和其他干扰的情况下，该算法也能很好地实现对脉搏波信号极大值点和极小值点的检测与定位。

s-1-6：对于面部血氧含量信号数据，利用初始情感血氧数据，采用归一化的方法提取“应激情感因子”。

对三类行为信号进行预处理和特征提取具体包括：

s-2-1：对语音信号进行预处理，包括去除干扰噪声和语音信号量化这两部分。对情感数据库中的语音信号提取短时能量、基音频率、第一共振峰、mfcc和语音持续时间等特征类别；

将短时能量、基音频率、共振峰的均值、最大值、最小值、方差、均方差以及mfcc及其一阶差分作为特征，其中短时能量和基音代表语音的韵律特征，共振峰和mfcc代表语音的音质特征。

s-2-2：利用拉普拉斯算子与clbp特征提取算法相结合提取表情信号图像特征；

对表情信号图像进行预处理工作，包括图像的去噪、人脸部分选择、人脸尺寸的归一化处理，考虑到表情识别注重人脸部皱纹的局部纹理特性与全局五官位置特性相结合，可利用拉普拉斯算子与clbp特征提取算法相结合的方式提取图像特征；采用clbp_s算子提取图像纹理特征，采用clbp_m和clbp_c提取原始图像特征，之后将三个特征共同构成三维联合直方图，共同构成人脸表情的特征。

s-2-3：对眼动信号进行降噪预处理，采用低通滤波器对原始信号进行滤波；提出线性预测(linearpredictivecoding，lpc)系数加归一化极值和△lpc系数加归一化极值的特征提取算法，提取扫视信号的lpc系数，对其作差分运算获取一阶差分线性预测系数，与归一化极值作为组合特征参数。

所述模态特征融合模块中，本实施例利用多模深度信念网络mdbn将多种生理信号和语音、图像和眼动信号的不同特征分别进行融合，得到每种模态的统一高层表示特征，去除了每一模态中的冗余特征，同时将模态中不同层次的特征融合成一个统一的、规范化的高层特征；然后采用双模深度信念网络(bdbn)模型，从这两个模态的统一高层特征中获得深层多模态特征；

最后使用svm对该深度多模态特征进行分类，得到样本的情绪类别，并可作为人格评估、普通心理评估等心理评估过程的辅助数据。在本实施例中，利用深度信念网络dbn中每个网络层rbm学习特征时可视层与隐含层神经元全连接、同一层神经元无连接的特点，在一层一层学习之后，最后一层输出的特征是在网络中通过全连接学习有用信息后组合的深度特征，从而实现了利用mdbn模型直接进行特征选择和融合，一个多模态深度信念网络(mdbn)作为特征融合模型，该模型对每种模态均有独自的隐藏层，该模型的优点在于不用考虑这些异构数据带来的差异。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于多模态信息融合的智能心理评估方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于多模态信息融合的智能心理评估方法所述的步骤。

例如，在一些实施例中，可提供一种护理机器人，该护理机器人执行上述情绪类别的识别方法，采集被测者当前情绪状态下的生理信号和行为信号，利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；利用双模深度信念网络将高层生理特征和高层行为特征进行模态特征的融合，得到多模态融合特征；根据预先构建的情感数据库中的情感类别训练分类器，使用训练后的分类器对多模态融合特征进行情感标签的标注，得到测试样本的情绪类别。

该护理机器人可用于在医院中，在与病人的交流或日常护理时，存在一些病人无法通过语言表达情绪，护士或护理人员不能准确得知病人的心理状态，通过采集病人当前时间段内的生理信号以及行为特征，实时判断病人当前的情绪，例如高兴、生气等。

或者用于对某些情绪障碍患者的心理状态进行评估，发现情绪障碍患者最真实情感波动，或还可制作情感波动曲线。以人体多模态生理信息为基础，以数据驱动为手段的智能筛查模型有效提升了情绪分类准确性，增强了心理评估结果的准确性和客观性。

以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。