一种老年人情绪分类方法、计算机设备及介质

本发明涉及语音处理和图像处理领域，特别是涉及一种老年人情绪分类方法、计算机设备及介质。

背景技术：

1、随着老龄化程度日渐加深，心理健康成为国民积极健康老龄化的重要工作。伴随着各项身体机能的退化，老年人精神和心理上常出现问题，以抑郁、焦虑、淡漠为代表。这些情绪问题会使老年人生活质量下降、认知功能下降、照顾者负担加重。因此，关注老年人的情绪问题具有十分迫切的现实需求。

2、现在老年人抑郁、焦虑、淡漠问题常被忽视，往往症状很严重才被照顾者发现报告给医生。抑郁、焦虑、淡漠三种情绪问题也往往会重叠和交叉，在临床难以区分。不同情绪问题的干预方案存在差异，对于淡漠情绪误用抗抑郁药会加重期症状。因此，对情绪问题的精准分类有助于提供针对性的心理干预措施。

技术实现思路

1、本发明的目的是提供一种老年人情绪分类方法、计算机设备及介质。

2、为实现上述目的，本发明提供了如下方案：

3、一种老年人情绪分类方法，所述方法包括：

4、获取待识别情绪老年人的面部表情视频数据和语音数据；

5、对所述面部表情视频数据进行特征提取，得到面部表情特征；所述面部表情特征包括每一特定面部动作的存在表示以及强度表示，所述存在表示用于表示所述特定面部动作是否存在，所述强度表示用于表示所述特定面部动作的强度；

6、对所述语音数据进行特征提取，得到语音特征和文本特征；所述语音特征包括频率特征、能量特征、频谱特征以及与时间相关的语音特征；所述文本特征通过对所述语音数据进行情绪分析得到；

7、将所述面部表情特征、所述语音特征和文本特征进行融合，得到融合特征；

8、将所述融合特征输入至训练好的情绪分类预测模型中，得到情绪分类结果；所述情绪分类结果包括正常、仅抑郁、仅焦虑、仅淡漠、抑郁合并焦虑、抑郁合并淡漠以及抑郁焦虑淡漠合并；所述训练好的情绪分类模型是以样本融合特征为输入，以所述样本融合特征对应的样本情绪分类结果为标签训练得到的模型。

9、可选的，所述面部表情视频数据为在自然状态下，所述待识别情绪老年人保持直视前方，摄像机所采集到的所述待识别情绪老年人的面部视频数据。

10、可选的，所述语音数据为所述待识别情绪老年人在执行图片描述任务时，所采集得到的所述待识别情绪老年人的语音数据。

11、可选的，所述与时间相关的语音特征包括与语速相关的时间特征。

12、可选的，所述与时间相关的语音特征还包括说话时长、停顿时长以及说话比例。

13、可选的，在将所述融合特征输入至训练好的情绪分类模型中之前，还包括：

14、对所述融合特征中的面部表情特征、语音特征和文本特征进行归一化处理，以消除不同特征之间的差异。

15、可选的，所述方法还包括：

16、基于逻辑回归算法构建第一情绪分类模型、基于随机森林算法构建第二情绪分类模型、基于支持向量机构建第三情绪分类模型、基于k最近邻算法构建第四情绪分类模型、基于朴素贝叶斯算法的第五情绪分类模型、基于梯度提升机算法构建第六情绪分类模型以及基于极端梯度提升机算法构建第七情绪分类模型；

17、基于训练样本集训练所述第一情绪分类模型、所述第二情绪分类模型、所述第三情绪分类模型、所述第四情绪分类模型、所述第五情绪分类模型、所述第六情绪分类模型以及所述第七情绪分类模型，并选取准确性最高的情绪分类模型作为所述情绪分类预测模型；所述训练样本集包括若干样本融合特征以及每一所述样本融合特征对应的情绪分类标签。

18、可选的，在所述得到情绪分类结果之后，还包括：

19、利用shap解释工具对情绪分类结果进行可视化分析。

20、本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述老年人情绪分类方法的步骤。

21、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适用于由处理器加载并执行上述老年人情绪分类方法。

22、根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种老年人情绪分类方法、计算机设备及介质，该方法包括：获取待识别情绪老年人的面部表情视频数据和语音数据；对面部表情视频数据进行特征提取，得到面部表情特征；面部表情特征包括每一特定面部动作的存在表示以及强度表示，存在表示用于表示特定面部动作是否存在，强度表示用于表示特定面部动作的强度；对语音数据进行特征提取，得到语音特征和文本特征；语音特征包括频率特征、能量特征、频谱特征以及与时间相关的语音特征；文本特征通过对语音数据进行情绪分析得到；将面部表情特征、语音特征和文本特征进行融合，得到融合特征；将融合特征输入至训练好的情绪分类预测模型中，得到情绪分类结果。通过上述方法，本发明实现了对老年人情绪的识别分类。

技术特征：

1.一种老年人情绪分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的老年人情绪分类方法，其特征在于，所述面部表情视频数据为在自然状态下，所述待识别情绪老年人保持直视前方，摄像机所采集到的所述待识别情绪老年人的面部视频数据。

3.根据权利要求1所述的老年人情绪分类方法，其特征在于，所述语音数据为所述待识别情绪老年人在执行图片描述任务时，所采集得到的所述待识别情绪老年人的语音数据。

4.根据权利要求1所述的老年人情绪分类方法，其特征在于，所述与时间相关的语音特征包括与语速相关的时间特征。

5.根据权利要求4所述的老年人情绪分类方法，其特征在于，所述与时间相关的语音特征还包括说话时长、停顿时长以及说话比例。

6.根据权利要求1所述的老年人情绪分类方法，其特征在于，在将所述融合特征输入至训练好的情绪分类模型中之前，还包括：

7.根据权利要求1所述的老年人情绪分类方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的老年人情绪分类方法，其特征在于，在所述得到情绪分类结果之后，还包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适用于由处理器加载并执行权利要求1-8任一项所述的方法。

技术总结
本发明公开一种老年人情绪分类方法、计算机设备及介质，涉及语音处理和图像处理领域，该方法包括：获取待识别情绪老年人的面部表情视频数据和语音数据；对面部表情视频数据进行特征提取，得到面部表情特征；面部表情特征包括每一特定面部动作的存在表示以及强度表示；对语音数据进行特征提取，得到语音特征和文本特征；将面部表情特征、语音特征和文本特征进行融合，得到融合特征；将融合特征输入至训练好的情绪分类预测模型中，得到情绪分类结果；情绪分类结果包括正常、仅抑郁、仅焦虑、仅淡漠、抑郁合并焦虑、抑郁合并淡漠以及抑郁焦虑淡漠合并。通过上述方法，本发明实现了对老年人情绪的识别分类。

技术研发人员：周滢,李峥,韩伟,李迎新,薛家俊
受保护的技术使用者：北京协和医学院
技术研发日：
技术公布日：2024/1/15