一种基于便携布控球的登高未系安全带识别系统的制作方法

1.本发明涉及计算机视觉技术领域，具体为一种基于便携布控球的登高未系安全带识别系统。


背景技术：

2.广东电网公司提出打造全过程可视化的现场智慧安全名片，当前电网公司每日作业点多面广，现场安全管控难度大，虽然当前作业现场可视化监督管理系统已经普及，但单纯依靠人力盯盘的方式进行现场安全管控，不仅效率低下且无法对现场作业违章或危险行为进行实时提醒与告警，目前，仅广东电网每日电力作业点就多达4000-6000个，每日作业现场人员多达4-6万，作业点多面广，现场安全管控难度大，面对这种严峻形势，单纯依靠人力安全督查来进行现场安全管控，存在监管效率低，人力成本高，极易出现监管盲区的问题，现场情况难以全面及时掌控，安全风险难以严格把控。
3.登高未系安全带是指：在进行高空作业的人员，未佩戴或者错误佩戴安全带，根据《中国南方电网有限责任公司电力安全工作规程》中规定，作业中出现该行为即属于违章处罚情况，因此，亟需依靠ai图像识别技术，保证在实际作业中能及时提醒和监督作业人员，避免其出现登高无人扶梯的违章情况。
4.与本发明最相近的现有技术：
5.1、目标检测
6.物体检测的任务是找出图像或视频中的感兴趣物体，同时检测出它们的位置和大小，是机器视觉领域的核心问题之一，物体检测过程中有很多不确定因素，如图像中物体数量不确定，物体有不同的外观、形状、姿态，加之物体成像时会有光照、遮挡等因素的干扰，导致检测算法有一定的难度。进入深度学习时代以来，物体检测发展主要集中在两个方向：two-stage算法如r-cnn系列和one-stage算法如yolo、ssd等，两者的主要区别在于two-stage算法需要先生成proposal(一个有可能包含待检物体的预选框)，然后进行细粒度的物体检测，而one-stage算法会直接在网络中提取特征来预测物体分类和位置，然而这些算法都无法解决摄像头距离物体很远导致的目标物体很小检测不到的问题。
7.现有技术的缺点：
8.1、现有的安全带检测算法在目标物体距离摄像头远的时候，会导致物体在画面中的尺寸很小，进而使得目标检测算法失效。
9.2、现有的安全带检测算法在实际应用中缺少对低质量、不可识别图片的过滤模块。会导致检测算法在实际应用中出现很多误检、漏检安全带的情况。
10.3、现有的安全带检测算法在安全带的形状、颜色可能和人员的外表衣着、背包的颜色相近，整体人员画面出现的整体颜色一致的情况下检测准确率下降，缺少图像增强模块对安全带区域图像进行补偿、校正。
11.4、现有的图像增强算法大多对整个布控球视频图像进行增强，导致画质增强算法所占用内存大，单帧图像处理时间长。
12.因此设计一种新型基于便携布控球的登高未系安全带识别系统以改变上述技术缺陷，显得尤为重要。


技术实现要素：

13.本发明的目的在于提供一种基于便携布控球的登高未系安全带识别系统，以解决上述背景技术中提出的问题。
14.为实现上述目的，本发明提供如下技术方案：
15.一种基于便携布控球的登高未系安全带识别系统，具体操作流程如下:
16.s1，全景抓拍；
17.s2，人员与爬高载体目标定位；
18.s3，载体与人员位置关系判断；
19.s4，控制布控球获取登高人员局部图；
20.s5，人员实例分割；
21.s6，安全带图像增强；
22.s7，图像质量评估；
23.s8，安全带佩戴识别。
24.作为本发明优选的方案，所述s1中全景抓拍具体包括：
25.系统通过onvif协议可以控制摄像头的拍摄角度与焦距，尽可能保证作业现场完整呈现在视频画面中，判断依据为画面中出现尽可能多的带安全帽的作业人员，当调整至合适位置时，通过控制摄像头进行全景抓拍留底。
26.作为本发明优选的方案，所述s2中人员与爬高载体目标定位具体包括：
27.经过s1摄像头采集抓拍全景画面后，通过yolo目标检测算法模型识别定位人员与爬高物体的大致方位，为了适应边缘计算平台的算力，对yolo目标检测算法模型进行模型压缩、加速，并通过特定神经网络加速框架进行模型的推理加速，保证检测算法的实时性。
28.作为本发明优选的方案，所述s3中载体与人员位置关系判断具体包括：
29.经过s2人员检测算法计算出全景画面中爬高物体和人员的位置后，算法模型判断目标画面中爬高物体与人物的位置关系，判断画面是否存在产生爬高行为。
30.作为本发明优选的方案，所述s4中控制布控球获取登高人员局部图具体包括：
31.经过s3算法分析识别出全景画面中爬高人员的位置后，通过onvif摄像头控制协议控制摄像头依据爬高物体的坐标框、爬高的人员的坐标框与摄像头预先设置的目标区域框的位置关系进行移动以及变焦控制、放大到爬高人员附近局部区域进行抓拍。
32.作为本发明优选的方案，所述s5中人员实例分割具体包括：
33.经过s4获取到的登高人员的局部图片可能包含着复杂背景，为了减少背景因素对安全带识别性能的影响，同时针对人体上的安全带图像进行后续的图像增强，人员实例分割算法能够对作业人员实现像素级别的分割，消除画面背景的影响，为后续安全带图像增强算法处理的区域提供准确定位，减少增强画面全图带来的计算损耗。
34.作为本发明优选的方案，所述s6中安全带图像增强具体包括：
35.经过s5人员实例分割步骤后，确定了画面中安全带的可能存在区域。由于安全带的形状、颜色可能和人员的外表衣着、背包的颜色相近，导致整体人员画面出现的整体颜色
一致的情况，此步骤通过安全带图像增强算法增大作业人员区域的图像对比度，凸显出安全带的外表、颜色特征，提升后续识别算法对安全带的识别性能。
36.作为本发明优选的方案，所述s7中图像质量评估具体包括：
37.图像质量评估算法可以对布控球捕获的低分辨率、遮挡严重的视频画面进行过滤处理，保留画面清晰、无遮挡的高质量安全带图片，为后续安全带识别算法提供质量较高的图片。
38.作为本发明优选的方案，所述s8中安全带佩戴识别具体包括：
39.经过s5、s6和s7的一系列图像处理之后，使用基于yolo安全带检测算法对高空作业人员进行安全带检测，在该步骤中，还需要进行安全带检测框和登高人员检测框的匹配，经过匹配的安全带能够对应一个穿戴的人，如果某个人的检测框中未匹配到对应的安全带，则这个人判断为存在登高未系安全带的危险行为。
40.与现有技术相比，本发明的有益效果是：
41.1、本发明中，本系统通过控制摄像头移动和变焦控制，实现实际作业场景的智能抓拍，能提升对作业人员登高行为和安全带佩戴的识别效果，解决了远距离下目标检测算法准确率低的问题。
42.2、本发明中，本系统在安全带检测算法前增加了图像质量过滤模块，滤除低质量的布控球视频画面，提高安全带检测算法的检测效果。
43.3、本发明中，本系统在安全带检测算法前增加了安全带图像增强模块，通过对图像进行质量补偿和对比度校正，突出显露出安全带的形状和颜色，提高安全带检测算法的检测效果。
44.4、本发明中，本系统使用了人员实例分割算法，将画面中行人与背景、其他物体分离开，并且只在人员区域进行图像增强，降低了图像增强算法所需要的时间。
附图说明
45.图1为本发明系统路线框架结构示意图。
具体实施方式
46.下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.为了便于理解本发明，下面将参照相关对本发明进行更全面的描述,给出了本发明的若干实施例,但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例,相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
48.需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件,当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件,本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
49.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的
技术人员通常理解的含义相同,本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明,本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
50.请参阅图1，本发明提供一种技术方案：
51.一种基于便携布控球的登高未系安全带识别系统，具体操作流程如下:
52.s1，全景抓拍；
53.s2，人员与爬高载体目标定位；
54.s3，载体与人员位置关系判断；
55.s4，控制布控球获取登高人员局部图；
56.s5，人员实例分割；
57.s6，安全带图像增强；
58.s7，图像质量评估；
59.s8，安全带佩戴识别。
60.进一步的，s1中全景抓拍具体包括：
61.系统通过onvif协议可以控制摄像头的拍摄角度与焦距，尽可能保证作业现场完整呈现在视频画面中，判断依据为画面中出现尽可能多的带安全帽的作业人员，当调整至合适位置时，通过控制摄像头进行全景抓拍留底。
62.进一步的，s2中人员与爬高载体目标定位具体包括：
63.经过s1摄像头采集抓拍全景画面后，通过yolo目标检测算法模型识别定位人员与爬高物体的大致方位，为了适应边缘计算平台的算力，对yolo目标检测算法模型进行模型压缩、加速，并通过特定神经网络加速框架进行模型的推理加速，保证检测算法的实时性。
64.进一步的，s3中载体与人员位置关系判断具体包括：
65.经过s2人员检测算法计算出全景画面中爬高物体和人员的位置后，算法模型判断目标画面中爬高物体与人物的位置关系，判断画面是否存在产生爬高行为。
66.进一步的，s4中控制布控球获取登高人员局部图具体包括：
67.经过s3算法分析识别出全景画面中爬高人员的位置后，通过onvif摄像头控制协议控制摄像头依据爬高物体的坐标框、爬高的人员的坐标框与摄像头预先设置的目标区域框的位置关系进行移动以及变焦控制、放大到爬高人员附近局部区域进行抓拍。
68.进一步的，s5中人员实例分割具体包括：
69.经过s4获取到的登高人员的局部图片可能包含着复杂背景，为了减少背景因素对安全带识别性能的影响，同时针对人体上的安全带图像进行后续的图像增强，人员实例分割算法能够对作业人员实现像素级别的分割，消除画面背景的影响，为后续安全带图像增强算法处理的区域提供准确定位，减少增强画面全图带来的计算损耗。
70.进一步的，s6中安全带图像增强具体包括：
71.经过s5人员实例分割步骤后，确定了画面中安全带的可能存在区域。由于安全带的形状、颜色可能和人员的外表衣着、背包的颜色相近，导致整体人员画面出现的整体颜色一致的情况，此步骤通过安全带图像增强算法增大作业人员区域的图像对比度，凸显出安全带的外表、颜色特征，提升后续识别算法对安全带的识别性能。
72.进一步的，s7中图像质量评估具体包括：
73.图像质量评估算法可以对布控球捕获的低分辨率、遮挡严重的视频画面进行过滤处理，保留画面清晰、无遮挡的高质量安全带图片，为后续安全带识别算法提供质量较高的图片。
74.进一步的，s8中安全带佩戴识别具体包括：
75.经过s5、s6和s7的一系列图像处理之后，使用基于yolo安全带检测算法对高空作业人员进行安全带检测，在该步骤中，还需要进行安全带检测框和登高人员检测框的匹配，经过匹配的安全带能够对应一个穿戴的人，如果某个人的检测框中未匹配到对应的安全带，则这个人判断为存在登高未系安全带的危险行为。
76.具体实施案例：
77.请参阅图1：
78.步骤一：全景抓拍；
79.系统通过onvif协议可以控制摄像头的拍摄角度与焦距，尽可能保证作业现场完整呈现在视频画面中，判断依据为画面中出现尽可能多的带安全帽的作业人员，当调整至合适位置时，通过控制摄像头进行全景抓拍留底；
80.步骤二：人员与爬高载体目标定位；
81.经过步骤一摄像头采集抓拍全景画面后，通过yolo目标检测算法模型识别定位人员与爬高物体的大致方位，为了适应边缘计算平台的算力，对yolo目标检测算法模型进行模型压缩、加速，并通过特定神经网络加速框架进行模型的推理加速，保证检测算法的实时性；
82.步骤三：载体与人员位置关系判断；
83.经过步骤二人员检测算法计算出全景画面中爬高物体和人员的位置后，算法模型判断目标画面中爬高物体与人物的位置关系，判断画面是否存在产生爬高行为；
84.步骤四：控制布控球获取登高人员局部图；
85.经过步骤三算法分析识别出全景画面中爬高人员的位置后，通过onvif摄像头控制协议控制摄像头依据爬高物体的坐标框、爬高的人员的坐标框与摄像头预先设置的目标区域框的位置关系进行移动以及变焦控制、放大到爬高人员附近局部区域进行抓拍；
86.步骤五：人员实例分割；
87.经过步骤四获取到的登高人员的局部图片可能包含着复杂背景，为了减少背景因素对安全带识别性能的影响，同时针对人体上的安全带图像进行后续的图像增强，人员实例分割算法能够对作业人员实现像素级别的分割，消除画面背景的影响，为后续安全带图像增强算法处理的区域提供准确定位，减少增强画面全图带来的计算损耗；
88.步骤六：安全带图像增强；
89.经过步骤五人员实例分割步骤后，确定了画面中安全带的可能存在区域。由于安全带的形状、颜色可能和人员的外表衣着、背包的颜色相近，导致整体人员画面出现的整体颜色一致的情况，此步骤通过安全带图像增强算法增大作业人员区域的图像对比度，凸显出安全带的外表、颜色特征，提升后续识别算法对安全带的识别性能；
90.步骤七：图像质量评估；
91.图像质量评估算法可以对布控球捕获的低分辨率、遮挡严重的视频画面进行过滤处理，保留画面清晰、无遮挡的高质量安全带图片，为后续安全带识别算法提供质量较高的
图片；
92.步骤八：安全带佩戴识别；
93.经过步骤五、步骤六和步骤七的一系列图像处理之后，使用基于yolo安全带检测算法对高空作业人员进行安全带检测，在该步骤中，还需要进行安全带检测框和登高人员检测框的匹配，经过匹配的安全带能够对应一个穿戴的人，如果某个人的检测框中未匹配到对应的安全带，则这个人判断为存在登高未系安全带的危险行为。
94.本发明的关键技术点：
95.1、基于变焦切换的作业场景智能抓拍技术
96.为了解决远距离下目标检测和行为识别算法准确率低的问题，本系统通过控制摄像头移动和变焦控制，实现实际作业场景的智能抓拍，能提升对作业人员登高行为和扶梯行为的识别效果。
97.详细技术描述：根据作业现场实际情况，可以通过onvif摄像头控制协议，控制摄像头调整焦距，切换不同视角(宏观视角和微观视角)来识别登高作业行为和扶梯行为，在宏观视角下，通过判断人、梯之间的空间位置，来识别是否有人员正在进行登高作业，在微观视角下，通过分析人员姿态来识别是否有扶梯人员，并且对画面中作业人员的异常行为进行抓拍。
98.2、基于深度学习的作业场景下的人员智能实例分割技术
99.基于深度学习的行人实例分割算法能够实现对人的像素级别的分割。本系统通过行人实例分割算法把人员从背景中分离，减少天空、电线和设备等对识别的干扰和影响，实例分割算法能够增加不同视角(宏观视角和微观视角)下的行人检测算法的性能，同时能作为非人体干扰物的滤除条件之一。
100.3、基于补偿校正的爬高作业人员的安全带图像增强技术
101.对于大部分布控球捕获的图像，会出现整体较暗或较亮的情况，这是由于图片的灰度值范围较小，即对比度低，对于对比度较低的图片，可以在进行目标检测算法和实例分割算法之前对图像进行一定程度的预处理(图像增强)来增加图片的对比度，提升识别性能。
102.本系统使用的本安全带图像增强技术是基于增益补偿和伽马变换的图像增强技术完成的，能够对爬高作业人员及其安全带图像进行清晰度增强和锐化处理，突显安全带穿戴在人员身体的细节效果。
103.4、基于亮度、清晰度及遮挡程度的爬高作业人员的图像过滤技术
104.对待识别图像进行过滤是保证系统不误报和错报的重要环节，登高作业人员识别由于环境因素(太阳光线照射、阴雨天气等)会造成图像亮度异常，摄像头变焦过程或未正确变焦的情况下捕获的图像的清晰度会降低，作业场景中电线等物体的遮挡导致识别精度下降。
105.本系统设计了图像质量过滤算法模块来判断人员亮度、清晰度和被遮挡程度，对低质量的图像进行过滤，避免误报和错报，是整个系统重要的环节。
106.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。