一种电力领域危险工作区域内安全帽佩戴状态检测方法与流程

本发明涉及一种电力领域危险工作区域内安全帽佩戴状态检测方法，属于智能识别的技术领域。

背景技术：

变电站、电塔作业与输电线路巡视等场地环境复杂，存在着威胁人身的众多因素。头部作为人体的最关键部位，对其保护尤为重要，因此在此类作业场景中要求工作人员必须佩带安全帽。近年来，开展了许多工作尝试解决安全帽佩戴检测问题。传统的安全帽检测方法过程复杂、计算量大、误报以及漏报多。随着人工智能的发展，不少研究人员开始把深度学习技术和安全帽检测问题结合起来。然而现有的技术主要依赖于大量的标记数据进行模型的训练，进而在后端进行检测识别，没有充分利用前端的计算资源，在数据的传输上消耗太大，也降低了适用性。

本发明通过修改tiny-yolo模型，将其移植到安卓端进行安全帽佩戴状态检测。降低了图片传输的时间和流量消耗，最大程度地增加资源的利用率，同时修改后的模型在安卓端检测耗时少，结合多尺度训练以及难样本的挖掘，解决了目标尺寸差异大、安全帽部分遮挡、光线变化等因素的影响，进一步提高了安全帽检测的准确率。

中国文献《改进yolo_v3的安全帽佩戴检测方法》作者施辉等，虽然公开了yolo模型，但是改进的yolo_v3和本发明所述tiny-yolo模型的层数不一样，yolo_v3的层数为107层，而tiny-yolo的层数为24层，层数的减小可以达到更快的检测效率，使得模型可以更好的在安卓端发挥优势。文献中的yolov3模型未对网络层数做实质修改。本发明在试验后发现网络的第3到第9层中存在着大量接近0的权值，在考虑网络稀疏性的前提下，对此部分网络进行了适当地裁剪，缩小后的网络权值移植到安卓端性能更佳。同样的安卓设备，实验环境下yolo_v3检测一张照片需要5秒左右，而改进的tiny-yolo不到0.5秒。

中国专利文献cn103745226b公开了一种电力设施作业现场人员着装安全检测方法，基于hog特征训练svm分类器识别电力设施作业现场人员以及基于人员识别结果判断人员装备是否整齐，所述方法首先通过训练基于hog特征的分类器检测电力设施作业现场中出现的人员目标，接着基于所识别到的人员目标判断该人员的着装装备是否符合作业现场安全要求，主要包括安全帽是否佩戴，安全服装是否完整穿着(无皮肤露出)，杆上变工作人员是否正确佩戴安全带等安全项目。针对专利文献cn103745226b：其中安全帽检测为传统的图像处理方法，针对颜色进行安全帽佩戴检测，本发明中采用机器学习的方法，对数据进行训练，提取安全帽的特征进行检测识别。

中国专利文献cn106446926a公开一种基于视频分析的变电站工人安全帽佩戴检测方法。该方法基于变电站场景下选用vibe算法检测运动目标区域和hsv颜色特征初步定位安全帽区域，然后选用融合得haar特征、hsv颜色空间特征，采集现场场景下安全帽正负样本，利用adaboost算法进行分类器训练，对定位的安全帽区域提取融合特征，送入到训练好的安全帽分类器进行特征匹配检测，实现对安全帽精确识别定位。针对专利文献cn106446926a：其发明中采用的是adaboost算法进行训练，需要先对图像进行处理得到行人上半身区域，提取haar特征和hsv颜色空间特征，发明采用的是改进的tiny-yolo，针对标注区域进行特征提取。

中国专利文献cn108319934a公开了基于视频流数据的安全帽佩戴情况检测方法，包括以下步骤：视频流数据获取；活动目标提取；人体目标匹配；头部定位；安全帽颜色匹配；安全帽轮廓匹配；安全帽佩戴特征匹配。本发明采用基于视频流数据的安全帽佩戴情况检测方法，突破了单一的检测手段，结合了活动目标检测、人体目标匹配、头部定位、安全帽颜色和轮廓匹配以及安全帽佩戴特征匹配技术。针对专利文献cn108319934a：检测流程不一样，其专利需要检测轮廓、颜色，采用的是svm分类器。本发明采用机器学习的方法，对数据进行训练，提取安全帽的特征进行检测识别。

技术实现要素：

针对现有技术存在的技术问题，本发明公开一种电力领域危险工作区域内安全帽佩戴状态检测方法。本发明通过将修改后的tiny-yolo模型完美移植到安卓端，解决了资源配置问题，可以在无后端支持的情况下独立完成安全帽佩戴状态检测，在各种复杂作业环境下都具有较强的适应性，在视频流的检测上能够达到20fps，实现了实时检测。同时，修改后的模型在针对小目标的检测上更具有识别力。针对数据的训练标注了7000余张图片，其中包括工地、电站、电塔、室内等各种复杂环境，为了解决目标尺寸差异大、安全帽部分遮挡、光线变化等因素的影响，还可特别针对难样本进行训练。

本发明的技术方案如下：

一种电力领域危险工作区域内安全帽佩戴状态检测方法，其特征在于，所述检测方法包括以下步骤：

s1：对安全帽的数据集进行预处理；在此基础上构造难样本，完成具体场景的标注，在改进的tiny-yolo模型上进行训练，完成对：人、佩戴安全帽的人、未佩戴安全帽的人，上述三类情况的分类；

s2：对移动端捕获的视频进行抽帧处理，并通过神经网络模型得到抽取图片的深层表示；

s3：通过检测网络完成对特征的分类，实现对：人、佩戴安全帽的人、未佩戴安全帽的人上述三类检测，在tensorflowlite学习框架上完成对移动端的加速优化；

s4：对检测得到的所有boundingboxes进行非极大值抑制操作来过滤到多余的边界框，实现对目标的分类检测。

根据本发明优选的，所述步骤s1包括以下子步骤：

s11：采用的数据集来自实际应用场景，采用以下预处理方法：

针对目标尺寸差异大的问题：构造数据集时考虑不同尺度下的安全帽，使近、中、远距离佩戴的安全帽图片数量相近，在训练时加入图像增强技术，对同一张图片进行旋转得到新的训练数据来增强模型的识别力；

针对安全帽部分遮挡的问题：采用鲁棒误差编码中的加法模型，将有遮挡的图像y看作原始图像y⁰和误差e的加性合成体：y＝y⁰+e；

针对光线变化的问题：对数据集中的图片进行基于hdr的图像提亮操作，增强暗光下图片的亮度；

s12：在tiny-yolo模型的卷积运算中对网络的第3到第9层进行了裁剪；

s13：优化后的损失函数如下：

上述公式中，s²：表示tiny-yolo中分块的网格数目，横纵各s个，最终形成s²个网格；a:每个网格中的预测的边框数目；λcoord：坐标中心和长宽的系数；λnoord：预测没有物体的分数的系数；c:预测的是否存在物体的置信度；p(c):分类的类别的分数；iij^obj：当预测和groundtruth的iou大于规定阈值时为1，其他情况为0；iij^nobj：当预测和groundtruth的iou小于规定阈值时为1，其他情况为0；

最终形成修改后的神经网络模型。

根据本发明优选的，所述步骤s2包括以下子步骤：

s21：对移动端拍摄的视频进行抽帧处理，将图片送入修改后的神经网络模型；

s22：采用背景虚化的算法，突出前景工人，当人物检测的面积占整张图的面积比例大于阈值α时，启用背景虚化算法：

1)获取像素矩阵；

2)计算相似矩阵；

3)获取边缘像素点；

4)分割图像；

5)虚化背景值；

6)得到背景虚化图像。

根据本发明优选的，所述步骤s3包括以下子步骤：

s31：检测时，每个网格预测的类信息pr(classi|object)和boundingbox预测的置信度信息相乘，得到每个boundingbox的分类置信度得分：

s32：移动端检测将tiny-yolo训练的模型转成tensorflow的.h5文件。

根据本发明优选的，所述步骤s4包括以下子步骤：

s41：检测网络对目标检测过后会产生叠加的边框，利用非极大值抑制算法进行过滤，具体流程如下：

1)获得boundingbox列表b对应的分数s；

2)从所述列表b中选择具有最大分数的boundingboxm；

3)将boundingboxm从列表b集合中移除并加入最终返回结果d中；

4)计算其余boundingbox与当前最大分数的boundingboxm的iou，去除iou大于设定阈值的boundingbox；

5)重复以上过程，直至列表b为空，返回结果d；

s42：在统计结果时采用平均准确公式：

上述公式中，p(k)：在iou阈值为k时的准确性；δr(k)：在iou阈值为k时的召回率；tp：表示被模型预测为正值的正样本；fp：表示被模型预测为负值的正样本；fn：表示被模型预测为负值的负样本。

本发明的技术效果如下：

本发明通过在改进的深度学习模型tiny-yolo上进行图片的检测，将其分为三类，即人、佩戴安全帽的人和未佩戴安全帽的人，精简之后的模型可以使移动端，如安卓端的性能在其允许的范围内得到最好的发挥，无论是在视频还是图片的安全帽佩戴状态检测上都能达到较高的效率。

附图说明

图1是本发明对安全帽佩戴状态的检测流程图。

具体实施方式

下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。

实施例、

如图1所示。

一种电力领域危险工作区域内安全帽佩戴状态检测方法，所述检测方法包括以下步骤：

s1：对安全帽的数据集进行预处理；在此基础上构造难样本，完成具体场景的标注，在改进的tiny-yolo模型上进行训练，完成对：人、佩戴安全帽的人、未佩戴安全帽的人，上述三类情况的分类；

s2：对移动端捕获的视频进行抽帧处理，并通过神经网络模型得到抽取图片的深层表示；

s3：通过检测网络完成对特征的分类，实现对：人、佩戴安全帽的人、未佩戴安全帽的人上述三类检测，在tensorflowlite学习框架上完成对移动端的加速优化；

s4：对检测得到的所有boundingboxes进行非极大值抑制(nonmaximumsuppression)操作来过滤到多余的边界框，把目标检测问题转化成一个回归问题，来实现对目标的分类检测。

所述步骤s1包括以下子步骤：

s11：采用的数据集来自电站、电塔、室内外作业等实际应用场景，针对目标尺寸差异大、安全帽部分遮挡、光线变化等问题采用以下预处理方法：

针对目标尺寸差异大的问题：构造数据集时考虑不同尺度下的安全帽，使近、中、远距离佩戴的安全帽图片数量相近，在训练时加入图像增强技术，对同一张图片进行旋转得到新的训练数据来增强模型的识别力；

针对安全帽部分遮挡的问题：采用鲁棒误差编码中的加法模型，将有遮挡的图像y看作原始图像y⁰和误差e的加性合成体：y＝y⁰+e；

针对光线变化的问题：对数据集中的图片进行基于hdr的图像提亮操作，增强暗光下图片的亮度；

s12：在tiny-yolo模型的卷积运算中存在大量的乘法运算，检测时耗时最多，通过观察训练后的卷积核中的权值发现，网络的第3到第9层中存在着大量接近0的权值，在考虑网络稀疏性的前提下，对网络的第3到第9层进行了裁剪，缩小后的网络权值移植到安卓端性能更佳；

s13：优化后的损失函数如下：

上述公式中，s²：表示tiny-yolo中分块的网格数目，横纵各s个，最终形成s²个网格；a:每个网格中的预测的边框数目；λcoord：坐标中心和长宽的系数；λnoord：预测没有物体的分数的系数；c:预测的是否存在物体的置信度；p(c):分类的类别的分数；iij^obj：当预测和groundtruth的iou(intersectionoverunion，交并比)大于规定阈值时为1，其他情况为0；iij^nobj：当预测和groundtruth的iou小于规定阈值时为1，其他情况为0；

最终形成修改后的神经网络模型。

所述步骤s2包括以下子步骤：

s21：对移动端拍摄的视频进行抽帧处理，按每秒20帧的速度将图片送入修改后的神经网络模型，删减之后卷积层更能得到其深层表示；

s22：部分图片背景过于复杂，为提高泛化能力，采用背景虚化的算法，突出前景工人，当人物检测的面积占整张图的面积比例大于阈值α(默认0.2)时，启用背景虚化算法：

1)获取像素矩阵；

2)计算相似矩阵；

3)获取边缘像素点；

4)分割图像；

5)虚化背景值；

6)得到背景虚化图像。

所述步骤s3包括以下子步骤：

s31：检测时，每个网格预测的类信息pr(classi|object)和boundingbox预测的置信度信息相乘，得到每个boundingbox的分类置信度得分：

s32：移动端检测将tiny-yolo训练的模型转成tensorflow的.h5文件。

所述步骤s4包括以下子步骤：

s41：检测网络对目标检测过后会产生叠加的边框，利用非极大值抑制算法进行过滤，具体流程如下：

1)获得boundingbox列表b对应的分数s；

2)从所述列表b中选择具有最大分数的boundingboxm；

3)将boundingboxm从列表b集合中移除并加入最终返回结果d中；

4)计算其余boundingbox与当前最大分数的boundingboxm的iou，去除iou大于设定阈值的boundingbox；

5)重复以上过程，直至列表b为空，返回结果d；

s42：在统计结果时采用平均准确公式：

公式中，p(k)：在iou阈值为k时的准确性；δr(k)：在iou阈值为k时的召回率；tp：表示被模型预测为正值的正样本；fp：表示被模型预测为负值的正样本；fn：表示被模型预测为负值的负样本。

本发明从模型角度来看，在移动端，即安卓端利用修改后的tiny-yolo模型能很好地实现了对人、佩戴安全帽的人、未佩戴安全帽的人三类目标的分类检测。

表1分别是本发明所用tiny-yolo模型、fasterrcnn模型和yolo模型在titanx显卡上的速度、准确率、召回率的对比如下，其中采用的测试数据集为预留的1000张图片，

表1：本发明与现有主流模型的速度、准确率、召回率对比表

综上，本发明更符合未来电力行业发展的趋势：一方面增加了设备的适应能力，在没有后端支持时也可以独立的完成检测报警任务；另外一方面降低了时间的消耗和资源的浪费，现有技术中的检测工作还需要将设备拍摄的照片传到服务器上进行检测，浪费了安卓设备的计算能力，消耗大量的流量，然而本发明可以克服以上技术弊端，提高检测效果和检测准确率。