一种数据处理方法和装置与流程

本发明涉及数据处理，尤其涉及一种数据处理方法和装置。

背景技术：

1、在线上面试中，现有技术一般是采用语音识别技术来辅助，语音和言语容易被面试官掌握，而表情携带的信息则不容易被面试官接收。表情变化反应应聘者信息真实性，在缺少表情识别辅助的面试过程中，容易出现以下几个问题：应聘者表情信息容易被忽略，导致难以全面深入的了解应聘者各项信息；情绪影响应聘者面试发挥，且缺少题库、表情、情绪的关联关系，导致难以提供客观的面试评价。

技术实现思路

1、有鉴于此，本发明实施例提供一种数据处理方法和装置，至少能够解决现有技术中未充分考虑应聘者面部表情特征的现象。

2、为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：

3、接收客户端采集的用户回答每个问题的人脸图像数据，基于人脸表情识别模型，识别每帧人脸图像数据中的表情特征，确定每个表情特征的情绪类型；

4、确定每个情绪类型的开始时间和结束时间，将情绪类型、开始时间、结束时间、所述每个问题的第一参数，输入情绪数值计算模型中，得到用户回答所述每个问题的情绪数值；

5、确定用户回答所述每个问题的正确率，将情绪数值、正确率、每个问题的第二参数输入综合评价模型中，得到用户回答所有问题的综合评分，将所述综合评分返回给客户端进行显示。

6、可选地，所述将情绪类型、开始时间、结束时间、所述每个问题的第一参数，输入情绪数值计算模型中，得到用户回答所述每个问题的情绪数值，包括：

7、获取预先为每个情绪类型配置的第一分值，计算开始时间和结束时间的差值与所述第一分值的乘积，进而累加得到用户在回答所述每个问题时的情绪类型分值；

8、获取预先为每个问题配置的难度系数和第二分值，计算所述难度系数和所述第二分值的乘积，与所述情绪类型总分值累加，对所得和做量化处理，得到用户回答所述每个问题的情绪数值。

9、可选地，所述将情绪数值、正确率、每个问题的第二参数输入综合评价模型中，得到用户回答所有问题的综合评分，包括：

10、获取预先为每个问题配置的权重值，计算正确率、难度系数和权重值的第一乘积，以及确定预设数值与权重值的差值，以计算情绪数值和差值的第二乘积；

11、累加第一乘积和第二乘积，得到用户回答所述每个问题的综合得分，进而累加得到用户回答所有问题的综合评分。

12、可选地，所述方法还包括：

13、基于人脸微表情识别模型，识别每帧人脸图像数据中的微表情特征，确定每个微表情特征的情绪类型。

14、可选地，所述方法还包括：

15、针对每帧人脸图像数据，使用与微表情特征对应的情绪类型的分值，调整与表情特征对应的情绪类型的分值，得到每帧人脸图像数据的实际分值；

16、计算相邻帧人脸图像数据的实际分值的差值，判断差值是否落入预设情绪波动范围，根据判断结果、后一帧人脸图像数据的情绪类型，确定相应应对措施并返回客户端进行显示。

17、可选地，所述方法还包括如下一种或多种：

18、将每一帧人脸图像数据的实际分值返回客户端进行显示；

19、基于每一帧人脸图像数据的实际分值，生成情绪分值分布图返回客户端进行显示；

20、将每一帧人脸图像数据的表情特征的情绪类型以及微表情特征的情绪类型，返回客户端进行显示；

21、基于用户回答每个问题的情绪数值，生成答题情绪数值分布图返回客户端进行显示。

22、可选地，客户端还用于采集的用户在回答所述每个问题的语音数据，所述确定用户回答所述每个问题的正确率，包括：

23、对采集到的语音数据做文字转换处理，将转换到的文字与题库中与每个问题对应的预设答案做比对，根据重合率确定正确率；以及

24、显示用户回答所述每个问题的正确率，或对用户回答所有问题的正确率做平均并显示。

25、可选地，所述将所述综合评分返回给客户端进行显示，包括：

26、确定与所述综合评分对应的综合评价，以及基于整个面试过程中的问答内容，生成评价语言，将所述综合评分、所述综合评价以及所述评价语言，返回给客户端进行显示。

27、为实现上述目的，根据本发明实施例的另一方面，提供了一种数据处理装置，包括：

28、人脸表情识别模块，用于接收客户端采集的用户回答每个问题的人脸图像数据，基于人脸表情识别模型，识别每帧人脸图像数据中的表情特征，确定每个表情特征的情绪类型；

29、情绪数值计算模块，用于确定每个情绪类型的开始时间和结束时间，将情绪类型、开始时间、结束时间、所述每个问题的第一参数，输入情绪数值计算模型中，得到用户回答所述每个问题的情绪数值；

30、综合评价模块，用于确定用户回答所述每个问题的正确率，将情绪数值、正确率、每个问题的第二参数输入综合评价模型中，得到用户回答所有问题的综合评分，将所述综合评分返回给客户端进行显示。

31、可选地，所述情绪数值计算模块，用于：

32、获取预先为每个情绪类型配置的第一分值，计算开始时间和结束时间的差值与所述第一分值的乘积，进而累加得到用户在回答所述每个问题时的情绪类型分值；

33、获取预先为每个问题配置的难度系数和第二分值，计算所述难度系数和所述第二分值的乘积，与所述情绪类型总分值累加，对所得和做量化处理，得到用户回答所述每个问题的情绪数值。

34、可选地，所述综合评价模块，用于：

35、获取预先为每个问题配置的权重值，计算正确率、难度系数和权重值的第一乘积，以及确定预设数值与权重值的差值，以计算情绪数值和差值的第二乘积；

36、累加第一乘积和第二乘积，得到用户回答所述每个问题的综合得分，进而累加得到用户回答所有问题的综合评分。

37、可选地，所述装置还包括微表情识别模块，用于：

38、基于人脸微表情识别模型，识别每帧人脸图像数据中的微表情特征，确定每个微表情特征的情绪类型。

39、可选地，所述情绪数值计算模块，还用于：

40、针对每帧人脸图像数据，使用与微表情特征对应的情绪类型的分值，调整与表情特征对应的情绪类型的分值，得到每帧人脸图像数据的实际分值；

41、计算相邻帧人脸图像数据的实际分值的差值，判断差值是否落入预设情绪波动范围，根据判断结果、后一帧人脸图像数据的情绪类型，确定相应应对措施并返回客户端进行显示。

42、可选地，所述装置还包括如下一种或多种：

43、将每一帧人脸图像数据的实际分值返回客户端进行显示；

44、基于每一帧人脸图像数据的实际分值，生成情绪分值分布图返回客户端进行显示；

45、将每一帧人脸图像数据的表情特征的情绪类型以及微表情特征的情绪类型，返回客户端进行显示；

46、基于用户回答每个问题的情绪数值，生成答题情绪数值分布图返回客户端进行显示。

47、可选地，客户端还用于采集的用户在回答所述每个问题的语音数据，所述综合评价模块，用于：

48、对采集到的语音数据做文字转换处理，将转换到的文字与题库中与每个问题对应的预设答案做比对，根据重合率确定正确率；以及

49、显示用户回答所述每个问题的正确率，或对用户回答所有问题的正确率做平均并显示。

50、可选地，所述综合评价模块，用于：

51、确定与所述综合评分对应的综合评价，以及基于整个面试过程中的问答内容，生成评价语言，将所述综合评分、所述综合评价以及所述评价语言，返回给客户端进行显示。

52、为实现上述目的，根据本发明实施例的再一方面，提供了一种数据处理电子设备。

53、本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的数据处理方法。

54、为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的数据处理方法。

55、为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算程序产品。本发明实施例的一种计算程序产品，包括计算机程序，所述程序被处理器执行时实现本发明实施例提供的数据处理方法。

56、根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：加入表情、微表情识别机制，帮助面试官解读应聘者表情变化，识别情绪波动情况，以在情绪波动较大时，给面试官提供实时建议，帮助面试官维持一个良好的沟通氛围，进而提高应聘者过往经历和回答技能知识的真实性。最终生成面试报告，全面的展示应聘者的表情变化过程、情绪特征和综合面试评分，便于面试官决策。

57、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。