基于界面式情感交互的多模态心理健康评估系统及方法与流程

本发明涉及一种基于界面式情感交互的多模态心理健康评估系统，同时也涉及相应的多模态心理健康评估方法，属于医疗保健信息学。

背景技术：

1、从生理心理学的观点来看，情绪是有机体的一种复合状态，既涉及体验又涉及生理反应，还包含人的行为，其至少包括情绪体验、情绪表现和情绪生理三种因素。利用计算设备对从传感器采集的信号进行分析和处理，从而得出采集对象当前的情感状态，这种技术称为情感识别。在现有技术中，对于情感识别主要有两种方式：第一种是检测生理信号如呼吸、心律和体温等，第二种是检测情感行为如面部特征表情识别、语音情感识别和姿态识别。

2、另一方面，利用计算机技术生成的虚拟人具有不同的性格特征、态度观点、生物学特征、创造力、知识和技能，兼具情感交互能力、专业能力和内容生产能力，已被大众熟知，并应用在多个行业场景中。随着虚拟人多样性趋势的来临，每个人的日常工作和生活，将由更加丰富多彩的虚拟人所陪伴和环绕。

3、然而，现有的健康评估过于依赖人的指导，电子化的评估方式缺少智能引导以及患者在评估过程中的监测，无法针对评估过程中患者的心理反应给予及时的情感交互和反馈。

技术实现思路

1、本发明所要解决的首要技术问题在于提供一种基于界面式情感交互的多模态心理健康评估系统。

2、本发明所要解决的另一技术问题在于提供一种基于界面式情感交互的多模态心理健康评估方法。

3、为实现上述技术目的，本发明采用以下的技术方案：

4、根据本发明实施例的第一方面，提供一种基于界面式情感交互的多模态心理健康评估系统，包括：

5、健康评估单元，内置有多种评估量表，用于获取患者多方面的心理健康评估数据；

6、情绪情感识别单元，用于获取所述患者的情绪情感数据；

7、界面式情感交互单元，与所述健康评估单元连接，用于引导患者完成心理健康评估；所述界面式情感交互单元还与所述情绪情感识别单元连接，用于根据所述情绪情感数据对所述患者的心理健康评估过程进行动态情绪调节；

8、结果输出单元，与所述健康评估单元连接，用于接收所述心理健康评估数据并生成心理健康评估报告。

9、其中较优地，所述健康评估单元包括：

10、信息录入模块，用于获取患者输入的个人信息以及当前情绪分数；

11、情绪改善模块，与所述信息录入模块连接，用于在所述当前情绪分数低于预设分数状态下，基于预设文本对患者进行情绪改善；

12、心理健康评估模块，内置有多种评估量表，用于获取所述患者多方面的心理健康评估数据。

13、其中较优地，所述情绪情感识别单元包括：

14、图像采集模块，用于获取患者的视频情感数据；

15、语音识别模块，用于获取患者的音频情感数据；

16、心率变异性监测模块，佩戴于所述患者身上，用于获取所述患者的生理数据；

17、其中，所述视频情感数据、音频情感数据以及生理数据共同构成所述患者的情绪情感数据。

18、其中较优地，所述界面式情感交互单元包括：

19、融合分析模块，与所述情绪情感识别单元连接，用于对患者的视频情感数据、音频情感数据以及生理数据进行融合分析，并提取患者的当前焦虑值ia、抑郁值id和压力值is；

20、融合计算模块，与所述融合分析模块连接，用于对所述患者的当前焦虑值ia、抑郁值id和压力值is进行融合计算，并输出所述患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）；

21、判断输出模块，与所述融合计算模块连接，用于分别判断所述焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）是否小于预设概率值；若小于，则输出结果为0；若不小于，则输出结果为1；

22、结果获取模块，与所述判断输出模块连接，用于获取患者的实时心理健康值m，其中，所述实时心理健康值m为所述患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）输出结果之和；

23、情感交互模块，与所述结果获取模块连接，以基于所述实时心理健康值m对患者进行情绪调节；其中，若m≥1，则启动情感交互；反之，则不启动情感交互。

24、其中较优地，所述结果输出单元包括：

25、个人信息输出模块，与所述信息录入模块连接，用于输出所述患者输入的个人信息；

26、情绪日志输出模块，与所述信息录入模块连接，用于输出所述患者选择的表情等级图片及对应的情绪分数；

27、心理健康评估输出模块，与所述心理健康评估模块连接，用于输出所述患者的心理健康评估数据；

28、心理健康指标输出模块，与所述界面式情感交互单元连接，以根据所述患者的情绪情感数据输出心理健康指标变化图；

29、综合建议模块，用于输出对所述患者的综合建议。

30、根据本发明实施例的第二方面，提供一种基于界面式情感交互的多模态心理健康评估方法，包括以下步骤：

31、s1：利用界面式情感交互单元引导患者完成心理健康评估，并获取所述患者的心理健康评估数据；

32、s2：在所述患者的心理健康评估过程中，通过情绪情感识别单元获取所述患者的情绪情感数据，并传输给界面式情感交互单元；

33、s3：基于所述患者的情绪情感数据，利用所述界面式情感交互单元对所述患者的心理健康评估过程进行动态情绪调节；

34、s4：基于所述患者的心理健康评估数据，输出对应于所述患者的心理健康评估报告。

35、其中较优地，所述步骤s1具体包括：

36、通过信息录入模块获取患者输入的个人信息和当前情绪分数；

37、判断所述当前情绪分数是否低于预设分数；

38、若不低于预设分数则直接通过心理健康评估模块对所述患者进行心理健康评估，以获取所述患者的心理健康评估数据；若低于预设分数则通过情绪改善模块对患者进行情绪改善后，再通过心理健康评估模块对所述患者进行心理健康评估。

39、其中较优地，所述步骤s2具体包括：

40、在所述患者的心理健康评估过程中，通过图像采集模块对所述患者进行视频采集，以获取患者的视频情感数据；

41、在所述患者的心理健康评估过程中，通过语音识别模块对所述患者进行语音识别，以获取患者的音频情感数据；

42、通过佩戴于患者身上的心率变异性监测模块获取所述患者的生理数据；

43、其中，所述视频情感数据、音频情感数据以及生理数据共同构成所述患者的情绪情感数据。

44、其中较优地，所述步骤s3具体包括：

45、对所述视频情感数据、音频情感数据以及生理数据进行融合分析，以提取患者的当前焦虑值ia、抑郁值id和压力值is；

46、将所述患者的当前焦虑值ia、抑郁值id和压力值is进行融合计算，以输出所述患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）；

47、分别判断所述焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）是否小于预设概率值；若小于，则输出结果为0；若不小于，则输出结果为1；

48、获取患者的实时心理健康值m，其中，所述实时心理健康值m为所述患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）的输出结果之和；

49、若m≥1，则启动情感交互；反之，则不启动情感交互。

50、其中较优地，所述融合计算具体包括：

51、假设在时间窗口t内，采集到患者对应的图像数据为；

52、针对中每个时序i对应的图片，采用卷积神经网络抽取图片特征；

53、将卷积神经网络抽取出的图片特征作为长短期记忆神经网络（long short-termmemory，简写为lstm）的输入，用于捕捉整个图片序列的时序信息，从而获得每个时序图片对应的第一表征；

54、重复上述步骤，以通过卷积神经网络和长短期记忆神经网络获取心率变异性数据对应的第二表征、语音数据对应的第三表征；

55、采用transformer神经网络模型对第一表征、第二表征和第三表征进行融合；

56、对融合结果进行分类，以获取患者在时间窗口t中的焦虑概率、抑郁概率和压力概率。

57、与现有技术相比较，本发明所提供的多模态心理健康评估系统，可以让虚拟人参与心理健康评估的全流程，从而将虚拟人技术与情感感知技术进行融合。在此基础上，基于语音识别和情感识别的虚拟人技术可以使心理健康的评估过程更加智能、更有温度。此外，视频、声音、心率变异性作为为情感识别技术的核心指标，能够从多方面对患者进行情感分析，以提高情感分析的颗粒度和精准度。