基于多模态数据的特征数据处理方法、装置、设备及介质与流程

本发明涉及用医疗，尤其涉及一种基于多模态数据的特征数据处理方法、装置、设备及介质。

背景技术：

1、抑郁症由生理、心理和社会因素等诸多因素导致，属于典型的心理障碍之一，临床特征包括显著而持久的心境低落、兴趣丧失和精力缺乏，对患者自身、家庭及社会造成了持续的疾病负担。由于社会对抑郁症的认知偏见，患者自身及家庭对心理疾病的认识不足，导致抑郁症的识别率和就诊率仍处在较低水平。

2、量表作为目前抑郁症状主要筛查工具之一，包括贝克抑郁自评量表、汉密尔顿抑郁量表等，能够用于评估测评者是否有抑郁症状及抑郁程度。但由于心理测量中存在的社会称许性现象，患者对自己的评估往往倾向于能够被社会认可的积极行为，低估自己不被社会接受的消极行为，导致测评结果出现偏差。

3、由于社会对抑郁症的认知偏见，患者自身及家庭对心理疾病的认识不足，导致抑郁症的普及率、识别率和就诊率仍处在较低水平，传统抑郁测量工具和计算机辅助智能心理测量算法的应用仍存在一定的问题和挑战，包括测量工具的社会称许性误差、诊断对主观判断依赖程度高等问题。同时，现有技术中虽然存在通过患者图像数据进行抑郁症状及抑郁程度的评测方法，但现有技术中作为判断依据的数据种类往往过于单一，造成评测不准确，同时，评测过程中忽略了信息泄露的风险，容易导致患者被二次伤害，引发严重后果。

技术实现思路

1、有鉴于此，本发明提供了一种基于多模态数据的特征数据处理方法、装置、设备及介质，用于解决现有技术中评测不准确，同时存在隐私泄露风险，造成用户体验差的问题。

2、为达上述之一或部分或全部目的或是其他目的，本发明提出一种多模态数据的特征数据方法，包括：

3、获取目标用户在进行抑郁症测试时的面部图像，并获取所述目标用户在预设时间段内的活动图像；

4、对所述面部图像进行关键点提取，得到所述目标用户的面部关键点数据；

5、对所述活动图像进行分割处理，得到所述目标用户的身体图像和手部图像，并对所述身体图像进行关键点提取，得到所述目标用户的身体关键点数据，对所述手部图像进行关键点提取，得到所述目标用户的手部关键点数据；

6、基于所述面部关键点数据、所述身体关键点数据和所述手部关键点数据构建所述目标用户的多模态数据集，将所述多模态数据集输入预设数据处理模型，得到所述目标用户的病症指标数据，所述预设数据处理模型为经过多组预设多模态数据集训练的机器学习模型，所述多组预设多模态数据集中的每个预设多模态数据集包括不同病症指标数据的用户的面部关键点数据、不同病症指标数据的用户的身体关键点数据和不同病症指标数据的用户的手部关键点数据。

7、可选地，所述对所述面部图像进行关键点提取，得到所述目标用户的面部关键点数据的步骤，包括：

8、将所述面部图像进行优化处理，得到优化面部图像，所述优化处理包括除噪处理、亮度调整处理和对比度调整处理的至少一种；

9、对所述优化面部图像进行人脸检测，确定所述优化面部图像中的人脸图像；

10、对所述人脸图像进行对齐处理，得到对齐后的人脸图像，所述对齐后的人脸图像满足预设条件，所述对齐处理包括旋转处理、缩放处理和平移处理的至少一种；

11、通过人脸识别技术对所述对齐后的人脸图像进行关键点提取，得到所述目标用户的面部关键点数据。

12、可选地，所述对所述活动图像进行分割处理，得到所述目标用户的身体图像和手部图像的步骤，包括：

13、将所述活动图像输入预设人体检测模型，得到所述活动图像内的人体图像，所述预设人体检测模型为经过人体图像训练集训练的深度神经网络模型，所述人体训练集包括预设人体图像和与所述预设人体图像对应的标注信息；

14、将所述人体图像输入预设分割模型，得到所述目标用户的身体图像和手部图像，所述预设分割模型为基于二分类的人像分割模型。

15、可选地，所述对所述身体图像进行关键点提取，得到所述目标用户的身体关键点数据的步骤，包括：

16、将所述身体图像输入第一卷积神经网络，得到所述目标用户的身体关键点数据，所述第一卷积神经网络为经过身体图像训练集训练的卷积神经网络，所述身体图像训练集包括预设身体图像和与所述预设身体图像对应的第一关键点数据。

17、可选地，所述对所述手部图像进行关键点提取，得到所述目标用户的手部关键点数据的步骤，包括：

18、将所述手部图像输入第二卷积神经网络，得到所述目标用户的手部关键点数据，所述第二卷积神经网络为经过手部图像训练集训练的卷积神经网络，所述手部图像训练集包括预设手部图像和与所述预设手部图像对应的第二关键点数据。

19、可选地，所述基于所述面部关键点数据、所述身体关键点数据和所述手部关键点数据构建所述目标用户的多模态数据集的步骤，包括：

20、将所述面部关键点数据、所述身体关键点数据和所述手部关键点数据进行标准化处理，得到处于同一坐标系下的目标面部关键点数据、目标身体关键点数据和目标手部关键点数据；

21、基于第一预设规则连接所述目标面部关键点数据内的各个关键点，得到面部特征数据；

22、基于第二预设规则连接所述目标身体关键点数据内的各个关键点，得到身体特征数据；

23、基于第三预设规则连接所述目标手部关键点数据内的各个关键点，得到手部特征数据；

24、根据所述目标面部关键点数据、所述目标身体关键点数据、目标手部关键点数据、所述面部特征数据、所述身体特征数据和所述手部特征数据，构建所述目标用户的多模态数据集。

25、可选地，所述将所述多模态数据集输入预设数据处理模型，得到所述目标用户的病症指标数据的步骤，包括：

26、将所述多模态数据集中的所有数据转化为二进制形式的目标数据，得到目标多模态数据集；

27、将所述目标多模态数据集输入预设数据处理模型，得到所述目标用户的病症指标数据，所述预设数据处理模型为经过多组二进制形式的预设多模态数据集训练的机器学习模型。

28、另一方面，本技术实施例提供了一种基于多模态数据的特征数据处理装置，包括：

29、数据采集模块，用于获取目标用户在进行抑郁症测试时的面部图像，并获取所述目标用户在预设时间段内的活动图像；

30、第一关键点提取模块，用于对所述面部图像进行关键点提取，得到所述目标用户的面部关键点数据；

31、第二关键点提取模块，用于对所述活动图像进行分割处理，得到所述目标用户的身体图像和手部图像，并对所述身体图像进行关键点提取，得到所述目标用户的身体关键点数据，对所述手部图像进行关键点提取，得到所述目标用户的手部关键点数据；

32、数据处理模块，用于基于所述面部关键点数据、所述身体关键点数据和所述手部关键点数据构建所述目标用户的多模态数据集，将所述多模态数据集输入预设数据处理模型，得到所述目标用户的病症指标数据，所述预设数据处理模型为经过多组预设多模态数据集训练的机器学习模型，所述多组预设多模态数据集中的每个预设多模态数据集包括不同病症指标数据的用户的面部关键点数据、不同病症指标数据的用户的身体关键点数据和不同病症指标数据的用户的手部关键点数据。

33、另一方面，本技术实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如上述的基于多模态数据的特征数据处理方法的步骤。

34、另一方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述的基于多模态数据的特征数据处理方法的步骤。

35、实施本发明实施例，将具有如下有益效果：

36、通过获取目标用户在进行抑郁症测试时的面部图像，并获取所述目标用户在预设时间段内的活动图像；对所述面部图像进行关键点提取，得到所述目标用户的面部关键点数据；对所述活动图像进行分割处理，得到所述目标用户的身体图像和手部图像，并对所述身体图像进行关键点提取，得到所述目标用户的身体关键点数据，对所述手部图像进行关键点提取，得到所述目标用户的手部关键点数据；基于所述面部关键点数据、所述身体关键点数据和所述手部关键点数据构建所述目标用户的多模态数据集，将所述多模态数据集输入预设数据处理模型，得到所述目标用户的病症指标数据，所述预设数据处理模型为经过多组预设多模态数据集训练的机器学习模型，所述多组预设多模态数据集中的每个预设多模态数据集包括不同病症指标数据的用户的面部关键点数据、不同病症指标数据的用户的身体关键点数据和不同病症指标数据的用户的手部关键点数据。通过分析去识别化的多模态数据(面部图像、手部图像和身体图像)来进行抑郁症状及抑郁程度的评测，避免单一数据造成的评测不准确，同时获取所述面部关键点数据、所述身体关键点数据和所述手部关键点数据作为基础数据进行抑郁症状及抑郁程度的评测，避免采用真人图像进行抑郁症状及抑郁程度的评测时的信息泄露风险，有利于保护用户隐私，提高用户体验。