一种面向电力焊接作业的防护面罩佩戴合规性检测方法及系统与流程

1.本发明涉及电力焊接作业防护技术领域，尤其涉及一种面向电力焊接作 业的防护面罩佩戴合规性检测方法及系统。


背景技术：

2.焊接是金属加工的主要方法之一，它是将两个或两个以上分离的工件， 按一定的形式和位置连接成一个整体的工艺过程。电力焊接作业通常是在电 力设备维修维护的时候使用，有的电力设备的制作过程也需要进行焊接作业。 焊接作业过程中，需要按规定佩戴防护面罩避免施工人员的眼睛和面部受到 弧光、碎渣飞溅物等伤害。
3.由于作业空间狭小或待焊接物体的位置较远等不利因素，时常存在焊接 人员未按规定佩戴防护面罩进行焊接作业的情况。违规使用防护面罩具体表 现为未佩戴、已佩戴但距离面部过远、已佩戴距离面部适中但未全部遮挡面 部等三种情况，对作业人员的身体健康造成严重威胁。
4.现有施工安全检查中，在进行焊接作业的区域，通常安排安全监督人员 巡视监督，若存在违规使用防护面罩的情况予以制止和纠正。该措施需要多 名监督人员，耗费人力，且不利于全面、及时地排查未按规定佩戴防护面罩 作用现象。


技术实现要素：

5.本发明提供一种面向电力焊接作业的防护面罩佩戴合规性检测方法，方 法能够实时检测电力焊接作业焊接人员佩戴防护面罩的情况，达到快速、准 确地判断防护面罩是否违规佩戴的目的，以促进电力焊接作业施工更加安全、 有序。
6.方法包括：
7.步骤一、从电力作业视频监控终端中实时获取视频流，使用ffmpeg或 opencv工具对视频流进行解码并提取待检图像；
8.步骤二、对所述待检图像进行预处理操作；
9.步骤三、将预处理后的图像输入yolov5模型，获得目标检测结果；
10.步骤四、分析所述目标检测结果，根据人体、面部、防护面罩、电焊火 花四种目标的相对位置关系，输出防护面罩佩戴状态的判断结果；
11.所述判断结果包括三种，一是违规佩戴，具体包括未佩戴和已佩戴但防 护面罩未有效保护面部；
12.二是合规佩戴；
13.三是未知状态。
14.步骤五、连续获取多帧，并检测是否合规佩戴防护面罩：若检测帧数小 于设定的阈值n，则重复步骤一至步骤四，否则进行步骤六；
15.所述阈值n用于提升合规检测方法的鲁棒性，根据实际工程需求以及焊 接作业监
控相机或监控视频的帧率f进行设置，n≥2f；
16.步骤六、输出综合判定结果：根据连续n帧的防护面罩佩戴状态，输出 综合判定结果；
17.所述结果包括两种情况，若存在违规佩戴的帧数超过设定阈值p，则判定 该施工人员违规佩戴防护面罩；反之，则判定为该施工人员合规佩戴防护面 罩。
18.在本发明的步骤二中：
19.第一步进行图像增强，包括高斯滤波和gamma变换；
20.所述高斯滤波用于降低图像噪声，gamma变化用于调整图像对比度；
21.第二步统一图像尺寸，使用线性插值的方式缩放图像至512
×
512；
22.最后将图像像素值除以255实现归一化处理。
23.在本发明的步骤三中：yolov5为基于深度学习的目标检测网络；检测 结果包括人体、面部、防护面罩、电焊火花四种目标的类别、置信度及最小 矩形包围框。
24.本发明的步骤三还包括：
25.(3.1)构建数据集：分别构建人体、面部、防护面罩、电焊火花四种目 标的训练集和测试集；
26.使用ffmpeg或opencv工具从作业视频片段中提取关键帧图像，将所 述图像按7:3划分为训练集和测试集；
27.(3.2)标注数据集：采用开源目标检测标注工具labelimg对图像中的目 标进行最小包围矩形框标注；火花的面积定义为火花在图像中所占的像素数；
28.(3.3)训练yolov5模型：使用步骤(3.2)中的训练集在nvidiagpu 上对yolov5模型进行迭代训练；
29.(3.4)评估模型：训练结束后，采用ms coco目标检测评估标准map 对yolov5模型进行评估；
30.若map指标小于阈值map
th
，则重复步骤(3.3)对网络进行微调训练， 直至满足要求；
31.得到人体、面部、防护面罩、电焊火花四个yolov5目标检测模型；
32.反之，终止训练。
33.本发明的步骤四还包括：
34.如待测图像中无人体，人体目标检测模型输出“无”，合规性判断结束；
35.如存在人体但不存在电焊火花，表明施工人员未进行焊接作业，无需佩 戴防护面罩，合规性判断结束；
36.如存在人体、电焊火花但不存在防护面罩，表明焊接作业人员正在焊接 但未使用防护面罩，合规性判断输出“违规”；
37.如存在人体、电焊火花、防护面罩但不存在面部目标；合规性判断输出“未 知”。
38.本发明的步骤四还包括：
39.如存在人体、电焊火花、防护面罩及面部目标；设置面部框与防护面罩 框的水平距离为d，两者的水平方向投影并集为u、交集为i；
40.防护面罩框为[x
min-s
,y
min-s
,x
max-s
,y
max-s
]，面部框为[x
min-f
,y
min-f
,x
max-f
,y
max-f
]
[0041]
水平距离
[0042]
水平方向投影交集u＝max(y
max-f
,y
max-s
)-min(y
min-f
,y
min-s
)
[0043]
水平方向投影并集i＝max(min(y
max-f
,y
max-s
)-max(y
min-f
,y
min-s
),0)
[0044]
水平方向投影交并比
[0045]
合规佩戴防护面罩的判断条件为：d《d
th
，且iou》iou
th
；其中d
th
为水 平距离阈值，iou
th
为水平方向投影交并比阈值；
[0046]
违规佩戴防护面罩的判断条件为：d》d
th
，则防护面罩距离面部超过设定 的阈值；
[0047]
违规佩戴防护面罩的判断条件为：y
min-f
》y
min-s
且iou《iou
th
；施工环境 中，焊接火花通常位于面部前方区域，若y
min-f
》y
min-s
且iou《iou
th
，表明防 护面罩位于面部偏上方，面部下方区域暴露在外；
[0048]
违规佩戴防护面罩的判断条件为：y
max-f
《y
max-s
且iou《iou
th
；表明防护 面罩位于面部的偏下方，致使面部上方区域暴露在外，无法得到全面保护。
[0049]
本发明还提供一种面向电力焊接作业的防护面罩佩戴合规性检测系统， 系统包括：电力作业视频监控终端以及监控服务器；
[0050]
电力作业视频监控终端与监控服务器通信连接，电力作业视频监控终端 将获取的视频流发送给监控服务器；
[0051]
监控服务器包括：图像数据获取模块、图像预处理模块、焊接作业关键 目标检测模块以及防护面罩佩戴合规性判断模块；
[0052]
图像数据获取模块用于从电力作业视频监控终端中实时获取视频流，对 视频流进行解码并提取待检图像；
[0053]
图像预处理模块用于对所述待检图像进行预处理操作；
[0054]
焊接作业关键目标检测模块用于将预处理后的图像输入yolov5模型， 获得目标检测结果；
[0055]
防护面罩佩戴合规性判断模块用于分析所述目标检测结果，根据人体、 面部、防护面罩、电焊火花四种目标的相对位置关系，输出防护面罩佩戴状 态的判断结果。
[0056]
从以上技术方案可以看出，本发明具有以下优点：
[0057]
本发明提供的防护面罩佩戴合规性检测方法及系统通过基于深度学习的 目标检测算法，对复杂的焊接作业进行建模，能够快速准确地检测出人体、 面部、防护面罩、电焊火花四种目标，提高对电力焊接作业的感知能力。
[0058]
本发明提供的防护面罩佩戴合规性检测方法及系统根据作业具体情况， 使用动态执行目标检测模型的策略，进一步降低系统资源消耗，提升处理速 度，达到实时检测的目的。
[0059]
本发明提供的防护面罩佩戴合规性检测方法及系统对防护面罩和面部的 相对位置关系进行建模，采用水平距离、水平投影交并比精确判断防护面罩 的佩戴状态，提升防护面罩佩戴合规性判断的准确性，降低误报率。
附图说明
[0060]
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附 图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0061]
图1为面向电力焊接作业的防护面罩佩戴合规性检测方法流程图；
[0062]
图2为本发明实施例中yolov5网络训练和测试流程图；
[0063]
图3为本发明实施例中电焊火花目标检测标注示意图；
[0064]
图4为本发明实施例中动态执行目标检测模型的流程图；
[0065]
图5为本发明实施例中防护面罩佩戴合规性判断流程图；
[0066]
图6为合规佩戴防护面罩示意图；
[0067]
图7为违规佩戴防护面罩示意图；
[0068]
图8为违规佩戴防护面罩示意图；
[0069]
图9为违规佩戴防护面罩示意图。
具体实施方式
[0070]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0071]
本发明提供的面向电力焊接作业的防护面罩佩戴合规性检测方法及系统 中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算 机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在 上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究 竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。 专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能， 但是这种实现不应认为超出本发明的范围。
[0072]
本发明提供的面向电力焊接作业的防护面罩佩戴合规性检测方法及系统 的附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相 对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模 块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控 制器装置中实现这些功能实体。
[0073]
在本发明提供的面向电力焊接作业的防护面罩佩戴合规性检测方法及系 统中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。 例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分， 仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单 元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不 执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是 通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的 或其它的形式连接。
[0074]
本发明提供的面向电力焊接作业的防护面罩佩戴合规性检测方法及系统 所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例 中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分 理解。然而，本领域技术人员将
意识到，可以实践本发明的技术方案而没有 特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。 在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模 糊本发明的各方面。
[0075]
本发明提供的面向电力焊接作业的防护面罩佩戴合规性检测方法及系统 架构可以包括电力作业视频监控终端，网络和监控服务器。网络是用以在电 力作业视频监控终端和监控服务器之间提供通信链路的介质。网络可以包括 各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0076]
电力作业视频监控终端可以是作业区域的监控摄像头，可以是具有摄像 功能的终端机，其目的是为了摄取作业人员的图像信息。
[0077]
本发明提供的面向电力焊接作业的防护面罩佩戴合规性检测方法将将图 像处理、深度学习与电力作业视频监控系统结合，实时检测焊接作业中防护 面罩的使用情况，有效保障安全生产作业。本发明使用ffmpeg或opencv 工具对获取的视频数据进行解码并提取待检图像；通过高斯滤波、gamma变 换、线性插值缩放图像、归一化处理方法对待检图像进行预处理；利用建立 的yolov5模型实现焊接作业关键目标检测，关键目标包含人体、面部、防 护面罩、电焊火花四种；对防护面罩和面部的相对位置关系进行建模，以判 断防护面罩佩戴的合规性；连续多帧检测是否合规佩戴防护面罩，最终输出 综合判定结果，判定施工人员是否合规佩戴防护面罩。
[0078]
具体的方法包括：如图1所示，
[0079]
步骤一、从电力作业视频监控系统中实时获取视频流，使用ffmpeg或 opencv工具对视频流进行解码并提取待检图像。
[0080]
步骤二、对所述待检图像进行预处理操作；
[0081]
预处理操作方式包括：
[0082]
第一步进行图像增强，包括高斯滤波和gamma变换。所述高斯滤波用于 降低图像噪声，gamma变化用于调整图像对比度。第二步统一图像尺寸，使 用线性插值的方式缩放图像至512
×
512。最后将图像像素值除以255实现归一 化处理。
[0083]
步骤三、将预处理后的图像输入yolov5模型，获得目标检测结果；
[0084]
其中，yolov5是一种基于深度学习的目标检测网络。所述检测结果包 括人体、面部、防护面罩、电焊火花四种目标的类别、置信度及最小矩形包 围框。
[0085]
其中，人体、面部、防护面罩、电焊火花四种目标的yolov5检测模型 构建流程如图2所示。
[0086]
(3.1)构建数据集：分别构建人体、面部、防护面罩、电焊火花四种目 标的训练集和测试集。数据集中的图像主要来源于作业视频片段及开源数据 集ms coco、pascal voc等。其中，使用ffmpeg或opencv工具从作业 视频片段中提取关键帧图像。将所述图像按7:3划分为训练集和测试集。
[0087]
(3.2)标注数据集：采用开源目标检测标注工具labelimg对图像中的目 标进行最小包围矩形框标注。其中，由于电焊火花多以焊接点为中心随机向 各个方向飞射，各个电焊火花大小不一，不易准确地检测出每一个火花。电 焊火花的具体标注方法为仅标注靠近焊接点具有最大面积的火花，标注示意 图参考图3。所述火花的面积定义为火花在图像中所占的像素数。
[0088]
(3.3)训练yolov5模型：使用步骤3.2中的训练集在nvidia gpu上 对yolov5模型进行迭代训练。batch size设置为64，epoch设置为300，初 始学习率设置为0.01，学习率采用onecycle算法进行衰减，使用随机梯度下 降的方式训练网络。所述batch size需要根据gpu硬件资源条件进行设置； epoch及初始学习率均为yolov5算法默认配置。
[0089]
(3.4)评估模型：训练结束后，采用ms coco目标检测评估标准map 对yolov5模型进行评估。若map指标小于阈值map
th
，则重复步骤3.3对 网络进行微调训练，直至满足要求；反之，终止训练。最终得到人体、面部、 防护面罩、电焊火花四个yolov5目标检测模型。所述阈值map
th
用于控制 模型精度，根据实际工程需求来设置该值。
[0090]
实际应用中，为提高算法执行效率，本发明采用动态执行目标检测的方 法，具体流程参考图4。将待检图像经预处理后按需输入至人体、电焊火花、 防护面罩、面部四个yolov5目标检测模型，输出目标检测结果。所述检测 结果包括5种情况，如表1所示：
[0091]
表1动态执行目标检测各种情况的检测结果
[0092][0093]
表1中，“有”、“无”均代表执行该目标检测算法，“有”代表yolov5模 型检测到该类别的目标；“无”代表yolov5模型未检测到该类别目标；
“‑”
代 表不执行该目标检测算法。yolov5模型输出的结果简称为目标框，包括最 小矩形包围框[x
min
,y
min
,x
max
,y
max
]、类别及置信度三部分信息。所述最小矩形 包围框左上角坐标为(x
min
,y
min
)，右下角坐标为(x
max
,y
max
)。
[0094]
步骤四、分析所述目标检测结果，根据人体、面部、防护面罩、电焊火 花四种目标的相对位置关系，输出防护面罩佩戴状态的判断结果；
[0095]
所述判断结果包括三种，一是违规佩戴，具体包括未佩戴和已佩戴但防 护面罩未有效保护面部；
[0096]
二是合规佩戴；
[0097]
三是未知状态。
[0098]
防护面罩合规性判断流程如图5所示。
[0099]
结合表1和图5对5种情况分别进行说明：
[0100]
情况1：待测图像中无人体，人体目标检测模型输出“无”，合规性判断结 束。
[0101]
情况2：存在人体但不存在电焊火花，表明施工人员未进行焊接作业，无 需佩戴防护面罩，合规性判断结束。
[0102]
情况3：存在人体、电焊火花但不存在防护面罩，表明焊接作业人员正在 焊接但未使用防护面罩，合规性判断输出“违规”。
[0103]
情况4：存在人体、电焊火花、防护面罩但不存在面部目标。受拍摄角度 或复杂的施工环境的影响，目标检测模型无法检测出焊接作业人员的面部目 标，即无法确定该作业人员是否正确佩戴防护面罩。合规性判断输出“未知”。
[0104]
情况5：存在人体、电焊火花、防护面罩及面部目标。此种情况参考图6 防护面罩合规性判断示意图，面部框与防护面罩框的水平距离为d，两者的水 平方向投影并集为u、交集为i。
[0105]
防护面罩框为[x
min-s
,y
min-s
,x
max-s
,y
max-s
]，面部框为[x
min-f
,y
min-f
,x
max-f
,y
max-f
]
[0106]
水平距离
[0107]
水平方向投影交集u＝max(y
max-f
,y
max-s
)-min(y
min-f
,y
min-s
)
[0108]
水平方向投影并集i＝max(min(y
max-f
,y
max-s
)-max(y
min-f
,y
min-s
),0)
[0109]
水平方向投影交并比
[0110]
图6为：合规佩戴防护面罩，d《d
th
，且iou》iou
th
。其中d
th
为水平距 离阈值，iou
th
为水平方向投影交并比阈值。
[0111]
图7为违规佩戴防护面罩，d》d
th
。防护面罩距离面部超过设定的阈值。 焊接产生的飞溅物易从面部与防护面罩之间的空隙飞入，对焊接作业人员造 成伤害。
[0112]
图8为违规佩戴防护面罩，y
min-f
》y
min-s
且iou《iou
th
。施工环境中，焊 接火花通常位于面部前方区域，若y
min-f
》y
min-s
且iou《iou
th
，表明防护面罩 位于面部偏上方，面部下方区域暴露在外。焊接人员的面部无法得到全面保 护，易受到焊接飞溅物的侵害。
[0113]
图9为违规佩戴防护面罩，y
max-f
《y
max-s
且iou《iou
th
。该类情况与图8相 似，表明防护面罩位于面部的偏下方，致使面部上方区域暴露在外，无法得 到全面保护。
[0114]
也就是说，如图6中防护面罩与面部不同位置关系时的合规性判断示意 图，根据防护面罩与面部不同位置关系，防护面罩佩戴是否合规分为4种情 况。仅当防护面罩水平距离面部小于预设阈值d
th
，且防护面罩与面部水平投 影iou大于预设阈值iou
th
时判断为合规，如图6；其他情况均属于违规，如 图7、图8以及图9所示。
[0115]
本发明实施例中，d
th
＝200、iou
th
＝0.3，可根据实际工程环境调整阈值d
th
及iou
th
。
[0116]
步骤五、连续获取多帧，并检测是否合规佩戴防护面罩：若检测帧数小 于设定的阈值n，则重复步骤一至步骤四，否则进行步骤六；
[0117]
所述阈值n用于提升合规检测方法的鲁棒性，根据实际工程需求以及焊 接作业监控相机或监控视频的帧率f进行设置，n≥2f。
[0118]
本发明实施例中视频的帧率为30帧/秒，则检测帧数阈值n设置为60。
[0119]
步骤六、输出综合判定结果：根据连续n帧的防护面罩佩戴状态，输出 综合判定结果；所述结果包括两种情况，若存在违规佩戴的帧数超过设定阈 值p，则判定该施工人员违规佩戴防护面罩；反之，则判定为该施工人员合规 佩戴防护面罩。
[0120]
所述阈值p＝15。
[0121]
本发明实施例中，数据集总计为30000张，其中训练集包含25000张、 测试集包含5000张。在使用nvidia tesla t4以及tensorrt的加速情况下， 处理原始分辨率为1280*720的视频时，平均检测速度约为25fps，准确率为 93％。
[0122]
基于上述方法本发明还提供一种面向电力焊接作业的防护面罩佩戴合规 性检测系统，系统包括：电力作业视频监控终端以及监控服务器；
[0123]
电力作业视频监控终端与监控服务器通信连接，电力作业视频监控终端 将获取的视频流发送给监控服务器；
[0124]
监控服务器包括：图像数据获取模块、图像预处理模块、焊接作业关键 目标检测模块以及防护面罩佩戴合规性判断模块；
[0125]
图像数据获取模块用于从电力作业视频监控终端中实时获取视频流，对 视频流进行解码并提取待检图像；
[0126]
图像预处理模块用于对所述待检图像进行预处理操作；
[0127]
焊接作业关键目标检测模块用于将预处理后的图像输入yolov5模型， 获得目标检测结果；
[0128]
防护面罩佩戴合规性判断模块用于分析所述目标检测结果，根据人体、 面部、防护面罩、电焊火花四种目标的相对位置关系，输出防护面罩佩戴状 态的判断结果。
[0129]
系统将将图像处理、深度学习与电力作业视频监控系统结合，实时检测 焊接作业中防护面罩的使用情况，有效保障安全生产作业。本发明结合电力 作业视频监控系统，分析实时视频数据，达到快速、准确地判断防护面罩是 否违规佩戴的目的，以促进电力焊接作业施工更加安全、有序。
[0130]
本发明提供的面向电力焊接作业的防护面罩佩戴合规性检测方法及系统 是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子 硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可 互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。 这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设 计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所 描述的功能，但是这种实现不应认为超出本发明的范围。
[0131]
所属技术领域的技术人员能够理解，本发明提供的面向电力焊接作业的 防护面罩佩戴合规性检测方法及系统的各个方面可以实现为系统、方法或程 序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬 件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面 结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0132]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。