一种基于小目标检测的吸烟检测方法与流程

本发明属于违章行为识别，尤其涉及一种基于小目标检测的吸烟检测方法。

背景技术：

1、部分企业因其所处环境复杂、地域广袤，且作业点多面广、时间地点不确定性强、设备种类繁杂、作业人员复杂且操作频繁，整体管控难度大，有很多人员分布在各类作业现场，并且在实际作业现场中，涉及多家施工单位、监理单位等一起合作施工，往往存在以下几个问题：

2、一是作业人员多为男性，存在吸烟习惯，施工现场存在可燃和易爆物质，吸烟引发的火源可能导致火灾或爆炸的风险，吸烟违反安全规定；工人在工作时间应专注于工作，吸烟会分散注意力，造成安全隐患；

3、二是作业人员性质复杂，人员受安全知识教育程度良莠不齐，作业安全意识缺乏，个人所属岗位职责清晰度不足，可能存在个人习惯性的侥幸违章意识；

4、三是施工环境复杂，在单个作业现场中可能同时存在起重作业、登高作业、接线作业等多种作业场景，均需要工作负责人对当前作业场景进行实时监控，作业管理范围广，工作负责人分身乏术、管理压力大；

5、四是违章行为发现不及时，个别作业人员在作业现场中为急于完工和减少工作步骤，擅自违章操作，但因违章操作时间短且急促，且违章后既未被工作负责人发现也未发生实际安全事故，助长可作业人员习惯性侥幸违章意识，为以后的现场作业安全工作埋下隐患。

6、故此，对于分布在作业现场的不同作业场景及作业人员，传统的以作业负责人在作业现场进行人工巡检的形式不能及时的感知作业现场的安全问题，现场监督人员少且管理手段单一，无法对作业现场违章进行及时发现、制止并纠正，亟需通过数字化技术提升助力安全管控水平，以更优秀的方式感知作业现场中可能存在的作业行为违章问题。

技术实现思路

1、针对上述现有技术中存在的问题，本发明提供了一种基于小目标检测的吸烟检测方法，本发明要解决的技术问题是如何实现对于作业人员吸烟行为的检测识别。

2、为解决上述技术问题，本发明提供了一种基于小目标检测的吸烟检测方法，包括以下步骤：

3、步骤s1：采集训练样本图像数据，对数据进行增强处理；

4、步骤s2：基于yolov5算法模型，结合retinaface算法模型、ssh网络的检测模块和landmark回归，建立初始吸烟检测模型；

5、步骤s3：利用步骤s1中增强后的数据对初始吸烟检测模型中的yolov5算法模型进行训练，利用没有进行增强的训练样本图像数据对初始吸烟检测模型中的retinaface算法模型进行训练，生成完备吸烟检测模型；

6、步骤s4：将摄像头采集到现场的图像数据输入到完备吸烟检测模型中，进行目标检测、人脸框预测和人脸关键点预测，目标检测获取目标数据，人脸框预测和人脸关键点预测获取人脸关键点数据；

7、步骤s5：将人脸关键点数据和目标数据进行iou(intersection over union)运算，计算重合度，判断是否为吸烟行为。

8、进一步的，所述步骤s1中，增强处理包括随机裁剪、高斯模糊处理、随机进行仿射变换、复制粘贴、融合和随机调整色度、饱和度以及明度。

9、复制粘贴(copy paste)，将部分目标随机的粘贴到图片中，前提是数据要有分割(segments)数据才行，即每个目标的实例分割信息。

10、random affine(rotation,scale,translation and shear)，即随机进行仿射变换，使用缩放(scale)和平移(translation)操作。

11、融合(mixup)，就是将两张图片按照一定的透明度融合在一起。

12、augment hsv(hue,saturation,value)，即随机调整色度、饱和度以及明度。

13、进一步的，训练样本图像数据包括烟头的两个端点的数据，目标数据包括手部框位置数据和香烟数据。

14、进一步的，香烟数据包括烟头框位置和烟框的位置，即烟头的位置和整根烟的位置。

15、进一步的，所述步骤s4中，目标检测，用于判断先验框内部是否包括物体，从而获取手部框位置数据和香烟数据；人脸框预测，用于对先验框进行调整，从而获得预测框；人脸关键点预测，用于对先验框进行调整，从而获得人脸关键点数据，人脸关键点数据包括人脸关键点坐标。

16、进一步的，所述步骤s4中，人脸关键点数据，包括左眼中心关键点、右眼中心关键点、左嘴角、右嘴角和鼻尖关键点的坐标数据。

17、进一步的，所述步骤s4中，人脸框预测和人脸关键点预测包括先获取人脸关键点数据，然后进行人脸对齐，将人脸图像裁出来。

18、进一步的，所述步骤s5中，人脸对齐是通过图像变换，将人脸上的眼睛和嘴巴对准到一个预设的固定的位置上，从而实现将人脸从图像数据中裁出来。

19、进一步的，步骤s5中，当重合度大于零时，判断是吸烟行为。

20、进一步的，所述步骤s2中，landmark回归的损失函数为wing loss。

21、本发明一种基于小目标检测的吸烟检测方法，利用retinaface算法模型获取人脸关键点数据，利用yolov5算法模型获取手部框位置和香烟数据，再利用iou运算对人脸关键点数据和获取手部框位置与香烟数据进行重合度运算，当重合度大于零，则判断为吸烟行为。本方法提高了现场作业的管理效率，能够快速准确发现吸烟行为。

技术特征：

1.一种基于小目标检测的吸烟检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于小目标检测的吸烟检测方法，其特征在于，所述步骤s1中，增强处理包括随机裁剪、高斯模糊处理、随机进行仿射变换、复制粘贴、融合和随机调整色度饱和度以及明度。

3.根据权利要求1所述的基于小目标检测的吸烟检测方法，其特征在于，训练样本图像数据包括烟头的两个端点的数据，目标数据包括手部框位置数据和香烟数据。

4.根据权利要求3所述的基于小目标检测的吸烟检测方法，其特征在于，香烟数据包括烟头框位置和烟框的位置。

5.根据权利要求4所述的基于小目标检测的吸烟检测方法，其特征在于，所述步骤s4中，目标检测，用于判断先验框内部是否包括物体，从而获取手部框位置数据和香烟数据；人脸框预测，用于对先验框进行调整，从而获得预测框；人脸关键点预测，用于对先验框进行调整，从而获得人脸关键点数据，人脸关键点数据包括人脸关键点坐标。

6.根据权利要求1所述的基于小目标检测的吸烟检测方法，其特征在于，所述步骤s4中，人脸关键点数据，包括左眼中心关键点、右眼中心关键点、左嘴角、右嘴角和鼻尖关键点的坐标数据。

7.根据权利要求1所述的基于小目标检测的吸烟检测方法，其特征在于，所述步骤s4中，人脸框预测和人脸关键点预测包括先获取人脸关键点数据，然后进行人脸对齐，将人脸图像裁出来。

8.根据权利要求7所述的基于小目标检测的吸烟检测方法，其特征在于，所述步骤s5中，人脸对齐是通过图像变换，将人脸上的眼睛和嘴巴对准到一个预设的固定的位置上，从而实现将人脸从图像数据中裁出来。

9.根据权利要求1所述的基于小目标检测的吸烟检测方法，其特征在于，步骤s5中，当重合度大于零时，判断是吸烟行为。

10.根据权利要求1所述的基于小目标检测的吸烟检测方法，其特征在于，所述步骤s2中，landmark回归的损失函数为wing loss。

技术总结
本发明提供了一种基于小目标检测的吸烟检测方法，属于违章行为识别技术领域，包括以下步骤：采集训练样本图像数据，对数据进行增强处理；基于Yolov5算法模型，结合RetinaFace算法模型，建立初始吸烟检测模型；利用步骤S1中增强后的数据对初始吸烟检测模型中进行训练，生成完备吸烟检测模型；将摄像头采集到现场的图像数据输入到完备吸烟检测模型中，进行目标检测、人脸框预测和人脸关键点预测，目标检测获取目标数据，人脸框预测和人脸关键点预测获取人脸关键点数据；将人脸关键点数据和目标数据进行重合度计算，判断是否为吸烟行为。本方法提高了现场作业的管理效率，能够快速准确发现吸烟行为。

技术研发人员：赵金雄,牛继恩,张驯,狄磊,李林明,王海,魏峰,赵红,杨岚,王茵,刘怡彤
受保护的技术使用者：国网甘肃省电力公司电力科学研究院
技术研发日：
技术公布日：2024/5/10