一种基于面部动作特征的情绪识别方法和系统

本发明涉及人脸识别，特别涉及一种基于面部动作特征的情绪识别方法和系统。

背景技术：

1、描述人类情绪的最基本特征之一是面部表情，在对抑郁症等心理疾病的诊断过程中可以通过面部表情判断人的内心活动，从而判断受试者是否患有心理疾病。

2、现有技术中，对于心理疾病的诊断主要基于患者的症状、病史和心理评估，医生会使用标准化的心理评估量表来对患者进行调查问答，根据患者的量表得分与听到问题时观察患者面部的情绪变化进行主观判断，确认患者是否有心理疾病。

3、上述现有技术存在的缺陷是：主要依赖于医生通过自身经验来进行判断，由于门槛较高的原因，新手医生容易找不准情绪变化的差异性，致使情绪解读出错，导致心理疾病误诊率较高。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于面部动作特征的情绪识别方法和系统。

2、本发明实施例提供一种基于面部动作特征的情绪识别方法，包括：

3、获取测试者的贝克抑郁量表ⅱbdi-ⅱ、汉密尔顿抑郁量表hamd的得分数值以及人脸在积极positive、消极negative、中性natural情感问题刺激下的视频数据；

4、使用开源工具包py-feat对视频数据逐帧处理成数值数据，将所述数值数据与所述得分数值进行对比，得到当前视频帧各面部动作单位au的激活状态，计算各面部动作单位au的活跃度activate_au；

5、通过随机森林模型rf对所述活跃度activate_au进行筛选，将筛选后的所述活跃度activate_au输入人工神经网络模型ann分别得到人脸在积极positive、消极negative、中性natural情感问题刺激下的情绪预测，采用加权平均法对三种预测结果进行结合得到最终的情绪识别结果。

6、另外的，所述计算各面部动作单位au的活跃度activate_au具体包括：

7、假设视频数据为vface，其中有i个样本，每个样本中面部动作单位au的类别有j个，vface为：

8、vface＝{v1,v1,v1,v1...vi}

9、vn表示vface中第n个样本数据，vn内部数据格式为：

10、vn＝{frame(n),au_value(n,1),au_value(n,2),au_value(n,3)...au_value(n,j)}

11、au的活跃度activate_au为

12、

13、其中，frame(n)来表示第n个样本中的视频帧数，au_value(n,m)表示第n个样本中第m个au在该样本视频数据中所有分析帧的值，length(frame(n))是第n个样本中的视频分析帧数的长度即个数，sum(au_value(n,m))表示第n个样本中第m个au在该样本视频数据中所有分析帧的值的和，actuvate_au(n,m)表示第n个样本中第m个au在该样本视频数据中的au活跃度。

14、另外的，所述通过随机森林模型rf对所述活跃度activate_au进行筛选具体包括：

15、对于随机森林模型rf的每棵决策树t，计算每个特征i的平均减少基尼指数meandecreasegini：

16、

17、

18、其中gini(i)是整个决策树t上的基尼指数，gini(i,t)是决策树t在特征i上的基尼指数，t是rf中的决策树数量；

19、选出平均减少基尼指数meandecreasegini系数最大的活跃度activate_au。

20、另外的，所述人工神经网络模型ann包括输入层、隐藏层和输出层；

21、输入层为:

22、in＝{in1，in2...ina}；

23、隐藏层由多个神经元组成，假设ann具有l个隐藏层，每个隐藏层l包含有ml个神经元，隐藏层l的第j个神经元的输入为输出为激活函数为f，则有

24、

25、

26、假设输出层有k个神经元，输出层为：

27、out＝(out1,out1,...outk)；

28、输出层的第j个神经元的输入和输出为：

29、

30、

31、其中，是是连接第l-1层第i个神经元和第l层第j个神经元之间的权重系数，是第i层第j个神经元的偏置。

32、另外的，所述得到情绪识别结果具体为：

33、op＝wpositive·opositive+wnegative·opositive+wnatural·onatural

34、其中，opositive、opositive、onatural分别为积极positive、消极negative、中性natural三种情感问题刺激下的三种情绪预测，wpositive、wnegative、wnatural分别为积极positive、消极negative、中性natural三种情感问题的加权系数。

35、另外的，还包括通过计算曲线下面积auc对情绪识别结果进行评估：

36、计算真阳率tpr：

37、

38、计算假阳率fpr：

39、

40、其中，tp为真阳性，fn为假阴性，fp为假阳性，tn为真阴性；

41、以真阳率tpr为纵坐标，假阳率fpr为横坐标绘制最终判断的受试者特征曲线roc，计算下曲线面积auc；下曲线面积auc值越大，表示性能越好。

42、另外的，一种基于面部动作特征的情绪识别系统，包括：

43、数据获取模块，用于记录测试者的贝克抑郁量表ⅱbdi-ⅱ、汉密尔顿抑郁量表hamd的得分数值数据以及积极positive、消极negative、中性natural情感问题刺激下的人脸拍摄视频数据；

44、数据预处理模块，为开源工具包py-feat，用于将所述数据获取模块中的视频数据处理为数值数据；

45、诊断预测模型建立模块，包括随机森林模型rf和人工神经网络模型ann，所述随机森林模型rf用于筛选面部动作单位au的活跃度activate_au，将筛选后的活跃度activate_au输入所述人工神经网络模型ann分别得到人脸在积极positive、消极negative、中性natural情感问题刺激下的情绪预测；

46、模型融合模块，用于将所述诊断预测模型建立模块的三种预测结果进行结合得到情绪识别结果。

47、本发明实施例提供的上述一种基于面部动作特征的情绪识别方法和系统，与现有技术相比，其有益效果如下：

48、本发明通过数据获取模块获取量表的得分数据及人脸在积极positive、消极negative、中性natural情感问题刺激下的视频数据，将获取的视频数据通过数据预处理模块逐帧处理成数值数据，计算出活跃度activate_au，通过诊断预测模型建立模块中的随机森林模型rf对活跃度activate_au进行筛选，再通过人工神经网络模型ann分别得到人脸在积极positive、消极negative、中性natural情感问题刺激下的情绪预测，通过模型融合模块对三种预测结果进行结合得到情绪识别结果，对人脸情绪变化的判断更加准确，情绪变化的识别更加客观，能够减少对心理疾病的误诊率。