一种基于人体关键点识别及姿态估计的实验室不安全行为监测方法及系统

本发明涉及计算机视觉，涉及一种实验室不安全行为监测方法。具体为一种基于人体关键点识别及姿态估计的实验室不安全行为监测方法及系统。

背景技术：

1、近年来，随着我国高等教育迅速发展，高校实验室的规模不断扩大。随着实验室功能不断升级完善，高校实验室逐步向学生开放是必然的。然而近年的研究和调研表明，目前许多高校实验室存在一系列的问题，其中包括实验室管理人力不足、安全问题频发、资源配置随意、设备利用率低等问题。在传统的高校实验室管理模式下管理模式下，高校实验室绑定到负责人，负责人调配人力资源进行实验室管理。这一管理模式的优势在于其管理方式简洁明了，但会带来安全隐患、缺少责任约束且当实验室规模增大时需要付出更多人力资源。

2、现有的实验室管理方法和系统多局限于基于rfid等物联网或云端服务的门禁系统，而这些现有方法和系统仅能节省人力资源成本，而难以解决上述的安全隐患和责任约束等问题。

3、而姿态估计与动作识别技术能够通过计算机视觉和深度学习等方法对人体的姿态与动作进行估计，应用在实验室中时则可以实时监测出学生的不安全行为，并在发生部分特殊情况时将责任约束问题下落到实处。从而一举解决上述的实验室安全隐患、责任约束以及管理成本的问题。

4、常见的姿态估计方法可分为自顶向下和自底向上两种，其中，自顶向下算法主要包含两个步骤：首先利用目标检测算法估计人体位置选框，其次在选框内估计各个关节点位置。这一类算法的代表为deeppose，hrnet等。自顶向下的算法拥有更高的精度但计算量较大。而自底向上算法主要包含两个步骤：首先检测视频图像中所有的关键点位置，其次由各组关键点回归连接出单个人体。这类算法的代表为openpose，pifpaf等。自底向上的算法的计算量较小但代价为精度的损失。

5、现有姿态估计应用技术当中常使用openpose等自底向上算法，利用其计算量小运行速度快的特点实现实时姿态估计，但是这些方法的不足之处在于当系统处于实验室等具有较高前景遮挡的复杂环境下时，这类方法的准确率和精度均较低。

技术实现思路

1、本发明为了克服现有技术的不足，提供了一种基于人体关键点识别及姿态估计的实验室不安全行为监测方法及系统，通过前置目标识别方法提高姿态估计精度，能很好地克服实验室内的复杂环境和高遮挡情况，对实验室内不安全行为进行监测。

2、本发明的目的是通过如下技术方案来完成的。

3、本发明首先提供了一种基于人体关键点识别及姿态估计的实验室不安全行为监测方法，包括以下步骤：

4、s1:采集实验室内包含人体行为和部分异常行为、不安全行为的图像，形成图像训练数据集，并设置各幅图像的标签；

5、其中，所述步骤s1具体包括：

6、s11：在所采集的原始图像集上，针对人体目标进行目标识别标注，用于训练目标检测网络模型；

7、s12：利用所述的目标检测网络模型，对训练图像集合做进一步处理，提取出单人图像数据集；

8、s13：在单人图像数据集上，对人体目标进行关键点标注，用于训练关键点提取网络模型；

9、s2：在所采集的训练图像集合上对目标识别网络和关键点检测网络进行分步训练；

10、其中，所述步骤s2具体包括：

11、s21：在所采集的原始训练图像集上，训练目标检测网络模型；

12、s22：进一步在所述的单人图像数据集上，训练单人关键点检测网络；

13、s3：将视频帧数据输入网络模型，得到骨骼关键点坐标；

14、s4：基于骨骼关键点坐标进行动作识别；

15、其中，所述步骤s4具体包括：

16、s41：针对图像采集装置的距离、角度等对骨骼关键点坐标进行归一化；

17、s42:通过设置特征函数的方式对归一化的骨骼关键点坐标进行动作分类；

18、s5：基于动作识别结果，使系统采取相应措施。

19、优选的，所述步骤s1中所采集的数据集具体为：采用单目摄像头捕获包含人体行为和部分异常行为、不安全行为的连续视频帧。

20、优选的，所述步骤s1中需要分两个阶段对数据集和子数据集进行标注；其中，第一个阶段为在原始数据集上进行目标识别的人体选框标注，第二个阶段为在子数据集上进行姿态估计的人体关键点位置标注。

21、优选的，所述关键点检测网络包括卷积层，下采样层以及上采样层；一个或多个卷积层，下采样层，上采样层和激活层作为网络的一个单元，多个单元组合后得到所述的网络结构。

22、优选的，所述步骤s2中需要分两个阶段对目标识别和关键点检测网络进行训练；

23、其中第一个阶段为目标识别网络在原始数据集上的训练，第二个阶段为关键点检测网络在子数据集上的训练。

24、优选的，所述步骤s4结合目标检测信息以及人体关键点信息，对摔倒，进食，奔跑的异常行为及动作进行识别。

25、本发明还提供了一种基于人体关键点识别及姿态估计的实验室不安全行为监测系统，包括：

26、边缘终端模块：负责对其他模块的运行进行控制以及运行算法，所述的控制包括对其他模块进行数据的输入与输出，所述的算法包括目标检测网络、关键点检测网络以及异常行为分类识别方法；

27、图像采集模块：通过单目摄像头等方式进行连续视频图像帧数据的采集。

28、优选的，所述的基于人体关键点识别及姿态估计的实验室不安全行为监测系统包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现基于人体关键点识别及姿态估计的实验室不安全行为监测方法。

29、本发明的实验室不安全行为监测方法，能够检测出实验室中的不安全行为，并及时告警。

30、优选的，原始图像集的标注为目标识别网络所用的选框标注，使用人体选框和voc数据标注格式；单人图像数据集的标注为人体关键点标注，所包含的关键点采用coco数据标注格式；

31、构建目标识别网络；目标识别网络输入为包含单个或多个人体的图像，输出为人体提议框坐标；

32、所述目标识别网络包含卷积层、下采样层与池化层等，采用swish和mish函数作为激活函数；一个或多个卷积层，下采样层，上采样层和激活层作为网络的一个单元，多个单元组合后得到所述的网络结构。

33、其中swish激活函数公式为：

34、

35、mish激活函数公式为：

36、f(x)＝x·tanh(ln(1+ex))

37、其中，x为输入向量，β为常量或可学习参数。

38、本发明与现有技术相比，至少具有以下明显优点和效果：

39、1、提出了基于姿态估计和关键点识别的实验室不安全行为监测方法和系统，能够有效快速地检测出实验室中的不安全行为，并及时告警。

40、2、本发明中基于自顶向下进行姿态估计和行为动作分类，能更好地克服复杂环境和高遮挡的影响，具有较强的鲁棒性。

41、3、本发明中，采用关键点信息进行动作识别，能够更加准确地描述行为特征，提升行为识别效果。

42、4.该系统可以通过增加摄像头，覆盖更多区域，进行扩展，提高实验室安全保障的范围。