基于深度学习的工地动火行为检测判断方法及系统与流程

本发明涉及一种基于深度学习的工地动火行为检测判断方法及系统，属于目标检测。

背景技术：

1、目标检测指的是将指定物品从图像中识别出来，并进行定位，是计算机视觉方向的一大重要应用。目标检测方法的应用及其广泛，特别是在工业监控安全、自动驾驶、机器人视觉、军事检测等领域起着不可或缺的作用。近年来，随着深度学习算法的发展，目标检测方法也得到了突飞猛进的发展，也为工业领域的工地动火行为的检测提供了新的解决方案。

2、随着深度学习技术的快速发展，目前的目标检测算法大多是基于深度学习的。基于深度学习的目标检测方法可以分为两类：一类为两阶段目标检测方法，具体做法为是，首先提取可能存在目标的候选区域，再利用卷积神经网络(cnn)提取特征；另一类为单阶段目标检测方法，此方法是一种端对端的检测方法，省去选择区域阶段，仅进行cnn计算，便可回归到图像目标类别和位置信息。

3、然而，现有单阶段目标检测方法在工程应用中对小目标的检测还存在准确率较低的问题，这是由于边缘设备算力低下，传原图输入训练网络的速度较慢，需要对原始图像的尺寸大小进行重采样降低分辨率的缘故。对于尺寸较小的检测目标来说，分辨率的降低将会给检测过程带来更多困难。例如，对于工地施工人员的吸烟检测，如果利用现有算法进行模型训练，得到模型的检测率将远远低于实际应用要求。

技术实现思路

1、本发明要解决的技术问题是：现有单阶段目标检测的方法对于小目标的检测率较低。

2、为了解决上述技术问题，本发明的一个技术方案是提供了一种基于深度学习的工地动火行为检测判断方法，其特征在于，包括以下步骤：

3、步骤1、从工地作业真实作业区域采集各类动火真实场景的图像数据，对每幅图像进行矩形框标注，标注出常规大小的目标以及小目标，其中，常规大小的目标包括焊接火花、切割火花、明火、安全帽、安全服、人、氧气瓶、乙炔瓶、灭火器，小目标为香烟；

4、步骤2、对步骤1标注完毕的所有图像数据进行数据预处理后，获得训练数据集以及与测试集；

5、步骤3、构建并训练目标检测网络：

6、步骤301、使用跨层融合骨干网络cspdarknet以及路径聚合网络panet分别搭建两个目标检测网络：其中一个目标检测网络用于检测常规大小的目标，定义为目标检测网络一；另外一个目标检测网络用于检测小目标，即用于检测是否有人员在工地吸烟，定义为目标检测网络二；

7、步骤302、采用最优传输分配策略ota作为正负样本分配策略，将步骤2获得的训练数据集输入到目标检测网络一以及目标检测网络二中，使用随机梯度下降法训练目标检测网络一以及目标检测网络二；

8、训练时，目标检测网络一以及目标检测网络二的损失函数如下式所示：

9、

10、式中，lcls为分类损失、lreg为定位损失、lobj为目标置信度、λ为定位损失的平衡系数、npos为被分为正样本的锚点；

11、步骤303、利用测试集对训练后的目标检测网络一以及目标检测网络二进行测试，若满足要求，则完成目标检测网络一以及目标检测网络二的训练，若不满足要求，则返回步骤302重新对目标检测网络一以及目标检测网络二进行训练；

12、步骤4、获得实时图像数据后，利用训练后的目标检测网络一与目标检测网络二分别对实时图像数据中的常规大小的目标以及小目标进行检测，其中：

13、对于常规大小的目标的检测包括以下步骤：

14、将实时图像的分辨率降低至设定大小后输入目标检测网络一进行检测，获得常规大小的目标的检测结果；

15、对于小目标的检测包括以下步骤：

16、步骤401、将实时图像的分辨率降低至设定大小后输入目标检测网络一进行检测，提取目标检测网络一中经过非极大值抑制后的人员类别的预测框；

17、步骤402、将预测框映射到原始实时图像的分辨率大小；

18、步骤403、将经过步骤402处理的图像输入目标检测网络二，由目标检测网络二检测是否有小目标。

19、优选地，步骤2中，对数据的预处理包括以下步骤：

20、步骤201、将图像数据的分辨率降低至预设大小；

21、步骤202、对由所有图像数据组成的真实工地动火场景数据集进行数据增强；

22、步骤203、将数据增强后的真实工地动火场景数据按照一定比例划分为训练数据集与测试集。

23、优选地，步骤202中，进行数据增强时使用的方法包括：hsv色彩变换、mix-up融合增强与多尺度缩放。

24、优选地，步骤302中，分类损失lcls和目标置信度lobj采用的都是二值交叉熵损失，其表达式如下式所示：

25、

26、式中，xi表示训练数据集中的第i个训练样本、n表示训练数据集中的训练样本的总数、yi∈{0,1}表示训练样本xi的样本标签、f(xi,)表示目标检测网络一或目标检测网络二基于训练样本xi的预测输出、θ为模型参数。

27、优选地，步骤302中，定位损失lreg采用的是交并比损失iouloss，其表达式如下式所示：

28、iouloss＝1-iou

29、式中，是真实框a和预测框b的交集和并集之比。

30、本发明的另一个技术方案是提供了一种基于深度学习的工地动火行为检测判断系统，采用前述的工地动火行为检测判断方法，其特征在于，包括动火人员人脸验证模块以及动火检测模块，其中：

31、动火人员人脸验证模块，用于基于人脸识别对持有施工工地动火证并申请动火的人员进行身份核验；若人脸核对不成功，则不允许动火，只有在人脸核对成功后，相关人员才能领取动火设备进行施工，并启动动火检测模块；

32、在施工过程中，动火检测模块利用目标检测网络一与目标检测网络二对常规大小的目标以及小目标进行检测，依据检测结果判断是否存在如下违规情况：检测到意外火焰、动火人员抽烟、未穿戴安全帽和安全服、未配备灭火器、人员闯入、氧气瓶与乙炔瓶距离过近；若存在前述违规情况，则动火检测模块持续进行语音播报，直至检测不到违规情况，并上传视频和图像证据留存。

33、优选地，在施工过程中，每隔一段时间触发一次所述动火人员人脸验证模块，进行一次人脸核对。

34、本发明适用于检测不同尺寸大小的目标，重点提升了小目标的检测率对检测到的异常事件进行高准确度识别并报警警告提示，且满足24小时不间断实时警情监测，是一个端到端检测的系统。

技术特征：

1.一种基于深度学习的工地动火行为检测判断方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于深度学习的工地动火行为检测判断方法，其特征在于，步骤2中，对数据的预处理包括以下步骤：

3.如权利要求2所述的一种基于深度学习的工地动火行为检测判断方法，其特征在于，步骤202中，进行数据增强时使用的方法包括：hsv色彩变换、mix-up融合增强与多尺度缩放。

4.如权利要求1所述的一种基于深度学习的工地动火行为检测判断方法，其特征在于，步骤302中，分类损失lcls和目标置信度lobj采用的都是二值交叉熵损失，其表达式如下式所示：

5.如权利要求1所述的一种基于深度学习的工地动火行为检测判断方法，其特征在于，步骤302中，定位损失lreg采用的是交并比损失iouloss，其表达式如下式所示：

6.一种基于深度学习的工地动火行为检测判断系统，采用如权利要求1所述的工地动火行为检测判断方法，其特征在于，包括动火人员人脸验证模块以及动火检测模块，其中：

7.如权利要求6所述的一种基于深度学习的工地动火行为检测判断系统，其特征在于，在施工过程中，每隔一段时间触发一次所述动火人员人脸验证模块，进行一次人脸核对。

技术总结
本发明公开了一种基于深度学习的工地动火行为检测判断方法，其特征在于，包括以下步骤：获得训练数据集以及与测试集；构建并训练目标检测网络：获得实时图像数据后，利用训练后的目标检测网络一与目标检测网络二分别对实时图像数据中的常规大小的目标以及小目标进行检测。本发明的另一个技术方案是提供了一种基于深度学习的工地动火行为检测判断系统，其特征在于，包括动火人员人脸验证模块以及动火检测模块。本发明适用于检测不同尺寸大小的目标，重点提升了小目标的检测率对检测到的异常事件进行高准确度识别并报警警告提示，且满足24小时不间断实时警情监测，是一个端到端检测的系统。

技术研发人员：徐新,郭晓平,俞恩荣
受保护的技术使用者：上海电科智能系统股份有限公司
技术研发日：
技术公布日：2024/1/13