人体目标的睡眠状态检测方法、装置和电子设备与流程

本发明涉及安全生产的，尤其是涉及一种人体目标的睡眠状态检测方法、装置和电子设备。

背景技术：

1、在煤矿生产等类似的高危险行业中，若集控室内的工作人员出现困倦，呈晕眩昏睡状态，则很容易忽略安全提示信息，从而产生潜在的安全风险，这种情况下很容易酿成重大的安全责任事故。

2、为了避免这样的事故发生，目前睡姿检测的方法分为穿戴式检测和非穿戴式检测两大类，但由于人们手腕的自由度非常大，人们不经意间的挠头、举手等动作都会造成睡姿的误识别。

技术实现思路

1、本发明的目的在于提供一种人体目标的睡眠状态检测方法、装置和电子设备，以缓解安全生产应用场景中人体睡眠状态检测可靠性不高的技术问题。

2、第一方面，本发明实施例提供了一种人体目标的睡眠状态检测方法，包括：

3、基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点；

4、根据所述骨骼关键点，确定所述人体目标的姿势类别、视线方向和脊柱方向；

5、基于所述姿势类别，以及预设坐标系与所述视线方向或预设坐标系与所述脊柱方向的夹角，判断所述人体目标是否处于睡眠状态。

6、结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点的步骤，包括：

7、通过yolov3深度学习神经网络结构的目标检测算法，确定目标区域中的人体目标在视频帧画面中的矩形框图像；

8、将所述矩形框图像进行裁剪，并输入alpha-pose深度学习神经网络结构进行预测回归，以使所述alpha-pose深度学习神经网络结构输出的人体目标的每个骨骼关键点的坐标和每个所述骨骼关键点的置信度。

9、结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述骨骼关键点包括耳朵关键点、眼睛关键点、臀部关键点、膝盖关键点和肩部关键点，所述姿势类别包括站立姿势、俯趴姿势和非站立且非俯趴姿势；根据所述骨骼关键点，确定所述人体目标的姿势类别、视线方向和脊柱方向的步骤，包括：

10、将位于所述人体目标同侧的耳朵关键点和眼睛关键点的方向向量定义为视线方向，将所述臀部关键点和所述肩部关键点的方向向量定义为脊柱方向，将所述臀部关键点和所述膝盖关键点的方向向量定义为大腿方向；

11、根据所述大腿方向与所述预设坐标系的x正半轴的第一夹角，判断所述人体目标是否呈站立姿势；

12、若否，则根据所述视线方向与所述预设坐标系的第二夹角，判断所述人体目标是否呈俯趴姿势。

13、结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，基于所述姿势类别，以及预设坐标系与所述视线方向或预设坐标系与所述脊柱方向的夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：

14、若所述人体目标呈俯趴姿势，则判断所述人体目标对应面部的骨骼关键点的可见状态；

15、若所述面部的骨骼关键点可见，则基于所述视线方向和所述预设坐标系的第三夹角，判断所述人体目标是否处于睡眠状态；

16、若所述面部的骨骼关键点不可见，则基于所述脊柱方向和所述预设坐标系的第四夹角，判断所述人体目标是否处于睡眠状态。

17、结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，若所述面部的骨骼关键点可见，则基于所述视线方向和所述预设坐标系的第三夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：

18、若所述人体目标呈俯趴姿势，且所述人体目标的耳朵关键点和眼睛关键点可见，则基于所述视线方向和所述预设坐标系的y正半轴的第三夹角，判断所述人体目标是否处于睡眠状态。

19、结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，若所述面部的骨骼关键点不可见，则基于所述脊柱方向和所述预设坐标系的第四夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：

20、若所述人体目标呈俯趴姿势，且所述人体目标的耳朵关键点和眼睛关键点不可见，则基于所述脊柱方向和所述预设坐标系的x正半轴的第四夹角，判断所述人体目标是否处于睡眠状态。

21、结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：

22、若所述人体目标呈非站立且非俯趴姿势，则基于所述视线方向和所述预设坐标系的y正半轴的第五夹角，判断所述人体目标是否处于睡眠状态。

23、结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：

24、若所述人体目标呈睡眠状态，则对计数器数值进行增加；

25、若所述人体目标呈非睡眠状态，则对计数器数值进行减少；

26、当所述计数器数值达到第一预设时长阈值时，则执行报警操作；

27、当所述计数器数值达到第二预设时长阈值时，则执行解除报警操作；其中，所述第一预设时长阈值大于所述第二预设时长阈值。

28、第二方面，本发明实施例还提供一种人体目标的睡眠状态检测装置，包括：

29、获取模块，基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点；

30、确定模块，根据所述骨骼关键点，确定所述人体目标的姿势类别、视线方向和脊柱方向；

31、检测模块，基于所述姿势类别，以及预设坐标系与所述视线方向或预设坐标系与所述脊柱方向的夹角，判断所述人体目标是否处于睡眠状态。

32、第三方面，实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。

33、第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。

34、本发明实施例带来了一种人体目标的睡眠状态检测方法、装置和电子设备，通过深度学习神经网络检测出摄像机监测区域内人体目标对应的视频帧画面中的骨骼关键点；根据这些骨骼关键点，能够确定出每个人体目标的所处姿势，视线方向以及脊柱方向；再基于每种姿势类别结合相应的视线方向或脊柱方向，与预设坐标系的坐标轴产生的方向夹角，进而判断出实际应用场景中呈各种复杂多变的姿势的人体目标是否为睡眠状态，以保证安全生产应用场景的睡眠状态识别可靠性，进一步提高生产安全。

35、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

36、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种人体目标的睡眠状态检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点的步骤，包括：

3.根据权利要求1所述的方法，其特征在于，所述骨骼关键点包括耳朵关键点、眼睛关键点、臀部关键点、膝盖关键点和肩部关键点，所述姿势类别包括站立姿势、俯趴姿势和非站立且非俯趴姿势；根据所述骨骼关键点，确定所述人体目标的姿势类别、视线方向和脊柱方向的步骤，包括：

4.根据权利要求3所述的方法，其特征在于，基于所述姿势类别，以及预设坐标系与所述视线方向或预设坐标系与所述脊柱方向的夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：

5.根据权利要求4所述的方法，其特征在于，若所述面部的骨骼关键点可见，则基于所述视线方向和所述预设坐标系的第三夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：

6.根据权利要求4所述的方法，其特征在于，若所述面部的骨骼关键点不可见，则基于所述脊柱方向和所述预设坐标系的第四夹角，判断所述人体目标是否处于睡眠状态的步骤，包括：

7.根据权利要求3所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.一种人体目标的睡眠状态检测装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1至8中任一项所述的方法。

技术总结
本发明提供了一种人体目标的睡眠状态检测方法、装置和电子设备，包括：基于深度学习神经网络，获取目标区域中的人体目标的骨骼关键点；根据骨骼关键点，确定人体目标的姿势类别、视线方向和脊柱方向；基于姿势类别，以及预设坐标系与视线方向或预设坐标系与脊柱方向的夹角，判断人体目标是否处于睡眠状态，以缓解安全生产应用场景中人体睡眠状态检测可靠性不高的技术问题。

技术研发人员：刘志,郭增洁,梁辉
受保护的技术使用者：精英数智科技股份有限公司
技术研发日：
技术公布日：2024/1/16