基于机器视觉开小差识别方法、网络设备及存储介质与流程

本说明书涉及通信，尤其涉及基于机器视觉开小差识别方法、网络设备及存储介质。

背景技术：

1、在课堂或会议场景下有人员开小差是常有的问题，为例提高效率需要及时提醒。传统的管理方法主要依赖于相关人员的经验和直觉进行判断，但这种方法往往存在盲区和不足，无法有效地识别开小差行为，因此需要一种更加高效、准确的方法来实现开小差的识别。

2、基于ai机器视觉的开小差识别方案通过利用计算机视觉技术和深度学习算法，可以实现对现场人员开小差行为的自动识别和分析。具体而言，该方案通过对人员的行为进行视频监控和分析，利用计算机视觉技术和深度学习算法来判断人员是否开小差，从而及时提醒在场人员，实现有效管理。

技术实现思路

1、为克服相关技术中存在的问题，本说明书提供了基于机器视觉开小差识别方法、网络设备及存储介质。

2、本申请说明书实施例第一方面提供了基于机器视觉开小差识别方法，包括：

3、获取场景视频流；

4、通过人形检测模型获取视频流中的人形区域；

5、通过人脸检测模型从人形区域获取人脸区域；

6、通过人脸关键点检测模型对获取的人脸区域进行检测，获取人员的头部关键点信息；

7、基于人员的头部关键点信息计算人脸中心坐标、左右眼中心坐标、鼻尖坐标以及嘴巴中心坐标；

8、基于人脸中心坐标、左右眼中心坐标及嘴巴中心坐标、鼻尖坐标判断头部姿态；

9、基于头部姿态判断人员是否开小差。

10、优选的，基于头部姿态判断人员开小差包括：头部姿态水平方向向左或向右偏转；和/或头部姿态垂直方向向上或向下偏转；和/或人员眼睛开闭状态。

11、进一步地，判断人员开小差还包括：设置视频帧数阈值，以及设置开小差动作的头部姿态频率；当视频帧数超过阈值，且属于开小差动作的头部姿态频率超过设定频次，则判断人员开小差。

12、进一步地，基于人员的头部关键点信息计算人脸中心坐标、左右眼中心坐标、鼻尖坐标以及嘴巴中心坐标方法包括：

13、鼻尖坐标n(xn,yn)可直接从头部关键点信息的特定点位置获取；

14、人脸中心坐标f(xf,yf)通过计算n个人脸关键点信息分别在x轴和y轴的平均值获取；

15、左眼中心坐标l(xl,yl)通过计算l个左眼关键点信息分别在x轴和y轴的平均值获取；

16、右眼中心坐标r(xr,yr)通过计算r个右眼关键点信息分别在x轴和y轴的平均值获取；

17、左右眼中心坐标e(xe,ye)通过计算左眼中心坐标与右眼中心坐标分别在x轴和y轴的平均值获取；

18、嘴巴中心坐标m(xm,ym)通过计算m个嘴巴关键点信息分别在x轴和y轴的平均值获取。

19、进一步地，基于人脸中心坐标、左右眼中心坐标判断头部水平方向偏转状态包括：

20、计算人员头部在水平方向偏转角度：

21、

22、假设人员头部水平方向发生偏转的阈值为θ1，则

23、若|α|＞θ1，且α＞0，判断头部向左偏转；α＜0，判断头部向右偏转；

24、若|α|＜θ1，则判断人员头部在水平方向处于正常状态。

25、进一步地，基于鼻尖坐标，左右眼中心坐标以及人脸中心坐标判断头部垂直方向偏转状态包括：

26、计算人员头部在垂直方向偏转角度：

27、

28、假设人员头部垂直方向发生偏转的阈值为θ2，则

29、若|β|＞θ2，且β＞0，判断头部向上偏转；β＜0，判断头部向下偏转；

30、若|β|＜θ2，则判断人员头部在垂直方向处于正常状态。

31、优选的，在获取到人脸区域信息后还包括：

32、通过人脸分类算法识别人员身份；

33、将人员身份信息与关联的人脸区域信息以及人形区域信息进行聚类作为人员队列；

34、将人员队列信息与预设的场景内的人员座位信息进行比对，确认缺席人员信息。

35、优选的，在获取到人脸关键点信息后还包括：

36、获取人脸关键点信息中的眼角信息、瞳孔信息、眉毛信息；

37、将获取的眼角信息、瞳孔信息以及眉毛信息输入到经过眼睛开闭状态样本训练过的二分类模型判断眼睛的开闭状态。

38、优选的，还包括：

39、通过人体关键点检测模型对获取的人体区域进行检测获取人员的人体关键点信息；

40、基于预置的人体关键点信息所构成的人体的姿态预先做目标分类；

41、通过目标分类的人体关键点信息做人体姿态分类检测模型训练；

42、将当前视频流获取的人体关键点信息进行坐标归一化；

43、将进行坐标归一化处理的人体关键点信息输入经过训练的人体姿态检测模型进行检测，判断当前人员的人体姿态。

44、进一步地，对人体的姿态进行目标分类的人体关键点信息进行不同分类标签；

45、用带有标签的人体关键点信息进行人体姿态分类检测模型训练；

46、对人体姿态分类检测模型设定阈值；

47、在对当前获取的人体关键点信息通过人体姿态检测模型检测时，若结果分数小于阈值则放弃该检测结果。

48、本申请第二方面提供了网络设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述基于机器视觉开小差识别方法。

49、本申请第三方面提供了存储介质，其上存储有计算机程序指令，程序指令被处理器执行时用于实现上述基于机器视觉开小差识别方法。

50、本说明书的实施例提供的技术方案可以包括以下有益效果：

51、本说明书实施例基于智能的机器视觉技术，实现自动化、智能化的开小差行为识别，减轻管理工作负担。

52、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

技术特征：

1.基于机器视觉开小差识别方法，其特征在于，包括：

2.根据权利要求1所述的基于机器视觉开小差识别方法，其特征在于，基于头部姿态判断人员开小差包括：

3.根据权利要求1所述的基于机器视觉开小差识别方法，其特征在于，判断人员开小差还包括：

4.根据权利要求1所述的基于机器视觉开小差识别方法，其特征在于，所述基于人员的头部关键点信息计算人脸中心坐标、左右眼中心坐标、鼻尖坐标以及嘴巴中心坐标方法包括：

5.根据权利要求4所述的基于机器视觉开小差识别方法，其特征在于，基于人脸中心坐标、左右眼中心坐标判断头部水平方向偏转状态包括：

6.根据权利要求4所述的基于机器视觉开小差识别方法，其特征在于，基于鼻尖坐标，左右眼中心坐标以及人脸中心坐标判断头部垂直方向偏转状态包括：

7.根据权利要求1所述的基于机器视觉开小差识别方法，其特征在于，在获取到人脸区域信息后还包括：

8.根据权利要求2所述的基于机器视觉开小差识别方法，其特征在于，在获取到人脸关键点信息后还包括：

9.根据权利要求2所述的基于机器视觉开小差识别方法，其特征在于，还包括：

10.根据权利要求9所述的基于机器视觉开小差识别方法，其特征在于，对人体的姿态进行目标分类的人体关键点信息进行不同分类标签；

11.网络设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行权利要求1-10任意一项所述的基于机器视觉开小差识别方法。

12.存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时用于实现权利要求1-10任一项中所述的基于机器视觉开小差识别方法。

技术总结
本申请提供基于机器视觉开小差识别方法、网络设备及存储介质，其中方法，包括获取场景视频流；通过人形检测模型获取视频流中的人形区域；通过人脸检测模型从人形区域获取人脸区域；通过人脸关键点检测模型对获取的人脸区域进行检测，获取人员的头部关键点信息；基于人员的头部关键点信息计算人脸中心坐标、左右眼中心坐标、鼻尖坐标以及嘴巴中心坐标；基于人脸中心坐标、左右眼中心坐标及嘴巴中心坐标、鼻尖坐标判断头部姿态；基于头部姿态判断人员是否开小差。本申请实施例基于智能的机器视觉技术，实现自动化、智能化的开小差行为识别，减轻管理工作负担。

技术研发人员：吴杰
受保护的技术使用者：新华三智能终端有限公司
技术研发日：
技术公布日：2024/1/15