安全带佩戴情况的智能检测方法、装置、存储介质及设备与流程

1.本发明实施例涉及电力施工现场的智能检测技术领域，尤其涉及安全带佩戴情况的智能检测方法、装置、设备及存储介质。


背景技术：

2.随着电力系统建设的迅速发展，需要保证电网安全运行水平并提高客户服务水平，但目前电力系统的智能化发展还处于起步阶段，对于施工现场往往需要人工进行安全监管。高空作业安全带又称全身式安全带或五点式，新国标gb6095-2009规定材质需使用涤纶及更高强度的织带加工而成的。全身式安全带是高处作业人员预防坠落伤亡的重要防护用品，为保障人的生命财产安全，必须对安全带的佩戴进行人工监管，但传统的针对安全带佩戴情况的人工监管不仅效率低下，还容易产生监管不到位的情况，滋生安全隐患甚至导致安全事故，目前暂无一种针对电力施工现场作业人员安全带佩戴情况进行有效的智能检测与识别的方法，管理人员也不能够及时准确的知晓作业人员安全带佩戴是否违规，并进行提醒。


技术实现要素：

3.针对上述问题，本发明实施例提供了一种安全带佩戴情况的智能检测方法、装置、设备及存储介质，以实现电力施工现场安全带佩戴情况的智能化检测，大大的降低了现场监理的人力资源浪费和安全风险，提高了监理的效率和效果。
4.第一方面，本发明实施例提供的安全带佩戴情况的智能检测方法，其特征在于，包括：获取现场画面的视频数据；将所述视频数据发送到数据融合处理中心，以得到优化数据；结合目标检测网络和关键点检测网络对所述优化数据进行特征提取以得到安全带佩戴情况的检测结果。
5.优选地，通过无人机设备和/或监控摄像头获取所述现场画面的视频数据。
6.优选地，所述将所述视频数据发送到数据融合处理中心，以得到优化数据，包括：对所述视频数据进行优化筛重处理。
7.其中，所述结合目标检测网络和关键点检测网络对所述优化数据进行特征提取以得到安全带佩戴情况的检测结果，包括：获取特征信息；通过所述目标检测网络，将所述特征信息进行融合，获取人的检测区域，并在所述人的检测区域范围内检测所述安全带中的挂点、挂环、垂直主带和垂直附带；通过所述关键点检测网络，在所述人的检测区域中定位人的骨架点信息，并根据所述骨架点信息计算人的真实位置朝向；根据所述骨架点信息和所述朝向得到安全带佩戴情况的检测结果。
8.进一步地，所述获取特征信息包括：截取所述优化数据的单帧图片；对所述单帧图片进行尺寸归一化，并对所述单帧图片进行切片操作得到堆叠图片，并对所述堆叠图片进行卷积操作得到采样特征图；对所述采样特征图进行特征提取获取所述特征信息。
9.进一步地，所述在所述人的检测区域中定位人的骨架点信息，根据所述骨架点信息计算人的真实位置朝向，包括：根据人的检测区域中肩膀和臀部之间的像素长度计算所述朝向。
10.进一步地，所述根据所述骨架点信息和所述朝向得到安全带佩戴情况的检测结果，包括：根据所述骨架点信息和所述朝向的关系判断所述安全带的挂点和挂环是否超出预设阈值，若是，则输出安全带违规佩戴的结果。
11.第二方面，本发明实施例还提供了安全带佩戴情况的智能检测装置，包括：视频数据获取模块，所述视频数据获取模块用于获取现场画面的视频数据；数据处理模块，所述数据处理模块用于将所述视频数据发送到数据融合处理中心，以得到优化数据；检测结果获取模块，所述检测结果获取模块用于结合目标检测网络和关键点检测网络对所述优化数据进行特征提取以得到安全带佩戴情况的检测结果。
12.第三方面，本发明实施例还提供一种存储介质，其为计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述的塔基范围内人员进入情况的检测方法的步骤。
13.第四方面， 本发明还提供一种计算机设备，其包括处理器、存储器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现如上述的塔基范围内人员进入情况的检测方法的步骤。
14.本发明实施例通过上述方案，用户可使用无人机或监控摄像头等进行作业现场画面视频数据的采集，并将所述视频数据发送到数据融合处理中心，以得到优化数据，之后结合目标检测网络和关键点检测网络对所述优化数据进行特征提取以得到安全带佩戴情况的检测结果，实现了安全带佩戴情况的智能检测，提高了安全带佩戴情况的检测效率和准确性，降低现场监理的人力资源浪费和人员的安全风险。
附图说明
15.图1是本发明一个实施例提供的安全带佩戴情况的智能检测方法的流程示意图；图2是本发明一个实施例提供的安全带佩戴情况的智能检测方法的流程示意图；图3是本发明一个实施例提供的安全带佩戴情况的智能检测方法的流程示意图；图4是本发明一个实施例提供的安全带佩戴情况的智能检测装置的结构示意图；图5是本发明一个实施例提供的存储介质的结构示意图；图6是本发明一个实施例提供的计算机设备的结构示意图。
具体实施方式
16.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
17.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
18.此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一处理单元为第二处理单元，且类似地，可将第二处理单元称为第一处理单元。第一处理单元和第二处理单元两者都是处理单元，但其不是同一处理单元。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
19.图1为本发明实施例提供的安全带佩戴情况的智能检测方法的流程示意图，可适用于智能检测施工现场人员的安全带佩戴情况的场景，该方法可以由安全带佩戴情况的智能检测装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。
20.如图1所示，本发明实施例提供的安全带佩戴情况的智能检测方法包括：s10、获取现场画面的视频数据；s20、将所述视频数据发送到数据融合处理中心，以得到优化数据；s30、结合目标检测网络和关键点检测网络对所述优化数据进行特征提取以得到安全带佩戴情况的检测结果。
21.在本发明实施例中，可通过无人机设备和/或监控摄像头获取所述现场画面的视频数据。其中，所述无人机设备优选为四旋翼专业级无人机djim300rtk或精灵4/4pro大疆无人机等，所述四旋翼专业级无人机可搭载可见光载荷云台相机，负载采用禅思x5s云台相机，具有设计紧凑，扩展灵活，智能控制系统与飞行性能显著优化等优点，并新增飞行及数据安全等功能，在对施工现场的情况采集时具有良好的表现。所述精灵4大疆无人机具备优异的灵活性及便携性，phantom 4 pro的相机配备1英寸2000万像素影像传感器，并搭配后视视觉传感器与机身两侧的红外感知器，带来5向环境识别与4向避障能力，安全性更高，飞行更智能，用户可灵活的选择无人机设备进行现场画面的视频数据的获取。优选地，所述视频数据包括实时视频数据和离线视频数据。本发明实施例还可分别针对实时视频数据和离线视频数据进行后续步骤。
22.进一步地，将所述视频数据发送到数据融合处理中心，以得到优化数据包括：将所述视频数据发送到数据融合处理中心后对所述视频数据进行优化筛重处理。通过对视频数据进行优化筛重，只保留相同视频数据其中之一作为优化数据，可减少重复的视频数据带
net作为语义分割模型，检测垂直主带和垂直附带。将所有图像像素的数值全部归一化处理，通过u-net语义分割模型得到图像中每个像素为垂直主带或垂直附带的预测概率，此时通过把所有值乘以255把垂直主带以及垂直附带概率图转换成初步的绳索分割灰度图，然后采用最大类间方差算法做精细的阈值分割，提高绳索边缘分割的准确率以及剔除灰度值较小的像素，即可得到垂直主带和垂直附带。
29.之后，通过所述关键点检测网络，在上一步骤中获取的人的检测区域中定位人的骨架点信息，并根据所述骨架点信息计算人的真实位置朝向。其中，先在人的检测区域内定位出人的骨架点信息，所述骨架点信息可以包括头、肩膀、臀部和膝关节等。在实际实施中，利用概率统计方法，通过比较所有人中头-肩膀、肩膀-臀部以及臀部-膝关节的位置坐标的方差大小，得出肩膀-臀部的方差最小，这意味着，根据肩膀-臀部的像素长度关系，计算人在真实世界中的位置朝向是最准确的，比如，假设将所有人认为是同样身高或同样身体尺寸，使用骨架提取在图像上测量其肩膀-臀部的像素信息，从而可以得到人的真实位置朝向。具体的，在图像中，肩膀和臀部之间可构成三角形关系，通过三角形的像素长度关系可得出人的朝向，并可根据相似三角形原理计算其距离相机的距离，将图片中人员的位置信息映射到三维的坐标图上，定位出人的具体位置。
30.最后，根据所述骨架点信息、所述朝向以及安全带中的挂点、挂环、垂直主带和垂直附带的位置得到安全带佩戴情况的检测结果。在本发明实施例中，所述根据所述骨架点信息、所述朝向以及安全带中的挂点、挂环、垂直主带和垂直附带的位置得到安全带佩戴情况的检测结果的步骤s34包括：当所述安全带的挂点和挂环超出预设阈值时，则输出安全带违规佩戴的结果；当检测到所述垂直主带或垂直附带时，则输出安全带存在疑似未佩戴的结果。其中，垂直主带和垂直附带是指没有将安全带的主带和附带从身体绕到塔上，将身体和塔进行连接，而是将主带和附带只挂在身上，和塔完全没有连接点，即视为垂直在身上，此时成其为垂直主带和垂直附带，因此，在检测到所述垂直主带或垂直附带时，可以认为存在安全带疑似未佩戴的情况，因此，输出安全带存在疑似未佩戴的结果。
31.此外，在本发明实施例中，还可以在输出安全带违规佩戴的结果或输出安全带存在疑似未佩戴的结果后生成告警信号，并将所述告警信号上传至交互中心，还可以根据所述检测结果生成检测报告，并将所述检测报告上传至交互中心。在实际实施时，所述交互中心可包括：用户界面、数据管理模块和报告显示模块。所述数据管理模块可在用户界面进行视频数据的显示和管理，所述报告显示模块可用于显示根据所述告警信号生成的告警信息或检测报告，进一步地，用户也可以下载所述检测报告，可用于后续进行相关人员的行为评价或总结。此外，本发明实施例中的交互中心还包括告警模块，所述告警模块可用于根据所述告警信号生成告警提示，以及时通知管理人员或是现场人员随身佩戴的移动设备。
32.本发明实施例通过上述方案，用户可使用无人机或监控摄像头等进行作业现场画面视频数据的采集，并将所述视频数据发送到数据融合处理中心，以得到优化数据，之后结合目标检测网络和关键点检测网络对所述优化数据进行特征提取以得到安全带佩戴情况的检测结果，实现了安全带佩戴情况的智能检测，提高了安全带佩戴情况的检测效率和准确性，降低现场监理的人力资源浪费和人员的安全风险。
33.图4为本发明实施例所提供的安全带佩戴情况的智能检测装置的结构示意图，参考图4，本发明实施例所提供的安全带佩戴情况的智能检测装置包括：视频数据获取模块1、
数据处理模块2和检测结果获取模块3。
34.所述视频数据获取模块1用于获取现场画面的视频数据；所述数据处理模块2用于将所述视频数据发送到数据融合处理中心，以得到优化数据；所述检测结果获取模块3用于结合目标检测网络和关键点检测网络对所述优化数据进行特征提取以得到安全带佩戴情况的检测结果。
35.优选地，所述视频数据获取模块1位无人机设备和/或监控摄像头，可通过无人机设备和/或监控摄像头获取所述现场画面的视频数据。
36.进一步地，所述数据处理模块具体用于将所述视频数据发送到数据融合处理中心后对所述视频数据进行优化筛重处理。通过对视频数据进行优化筛重，只保留相同视频数据其中之一作为优化数据，可减少重复的视频数据带来的重复操作，提高处理效率。之后，结合目标检测网络和关键点检测网络对所述优化数据进行特征提取以得到安全带佩戴情况的检测结果。
37.在一个实施例中，检测结果获取模块3包括：第一处理单元，所述第一处理单元用于获取特征信息；第二处理单元，所述第二处理单元用于通过所述目标检测网络，将所述特征信息进行融合，获取人的检测区域，并在所述人的检测区域内检测所述安全带中的挂点、挂环、垂直主带和垂直附带；第三处理单元，通过所述关键点检测网络，在所述人的检测区域中定位人的骨架点信息，并根据所述骨架点信息计算人的真实位置朝向；第四处理单元，根据所述骨架点信息、所述朝向以及安全带中的挂点、挂环、垂直主带和垂直附带的位置得到安全带佩戴情况的检测结果。
38.具体地，所述第一处理单元还包括：第一处理子单元，所述第一处理子单元用于截取所述优化数据的单帧图片；第二处理子单元，所述第二处理子单元用于对所述单帧图片进行尺寸归一化，并对所述单帧图片进行切片操作得到堆叠图片，并对所述堆叠图片进行卷积操作得到采样特征图；第三处理子单元，所述第三处理子单元用于对所述采样特征图进行特征提取获取所述特征信息。
39.具体地，所述第三处理单元具体用于根据人的检测区域中肩膀和臀部之间的像素长度计算所述朝向。
40.所述第四处理单元具体用于：当所述安全带的挂点和挂环超出预设阈值时，则输出安全带违规佩戴的结果；当检测到所述垂直主带或垂直附带时，则输出安全带存在疑似未佩戴的结果。
41.首先，截取所述优化数据的单帧图片，即截取进行优化筛重处理后的视频中的单帧画面作为单帧图片，其次，对所述单帧图片进行尺寸归一化，并对所述单帧图片进行切片操作得到堆叠图片。具体地，可以从所述单帧图片中每隔一个像素拿到一个值，对图片进行切片，得到四张图片，这样一来，将w、h信息就集中到了通道空间，输入通道扩充了4倍，即拼接起来的图片相对于原先的rgb三通道模式变成了12个通道，提高了网络的速度且没有造
成信息丢失，之后对这四张图片进行堆叠得到所述堆叠图片，之后，对所述堆叠图片进行卷积操作得到采样特征图。
42.在本发明实施例中，对所述堆叠图片进行卷积操作得到采样特征图，首先对所述堆叠图片进行卷积和多次残差操作得到基础层，之后采用yolov5中的csp模块先将基础层的特映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时，可以保证准确率。之后，对所述采样特征图进行特征提取获取所述特征信息，可以包括：对网络输出的特征量分别进行归一化处理，使每个特征的数据分布变换为均值0，方差1。特征值数范围控制在[0,1]之间。降低了对一些超参数的敏感性，提高了泛化能力，能够获得更好的收敛速度和收敛效果。对任意尺寸的特征图直接进行固定尺寸的池化，来得到固定数量的特征，然后将每个池化得到的特征合起来即得到固定长度的特征个数，当特征点进行不断的下采样后，将拥有一堆具有高语义内容的特征层，然后重新进行上采样，使得特征层的长宽重新变大，之后可以将下采样中，与上采样中长宽相同的特征层进行堆叠，这样可以保证小目标的特征与信息。
[0043]
在获取特征信息后，通过所述目标检测网络，将所述特征信息进行融合从而获取人的检测区域，并在所述人的检测区域内检测所述安全带中的挂点、挂环、垂直主带和垂直附带。其中，将所述特征信息进行融合可以提取人的特征从而获得人的检测区域范围，在人的检测区域内寻找是否存在安全带中的挂点和挂环；此外，在人的检测区域内，可以采用u-net作为语义分割模型，检测垂直主带和垂直附带。将所有图像像素的数值全部归一化处理，通过u-net语义分割模型得到图像中每个像素为垂直主带或垂直附带的预测概率，此时通过把所有值乘以255把垂直主带以及垂直附带概率图转换成初步的绳索分割灰度图，然后采用最大类间方差算法做精细的阈值分割，提高绳索边缘分割的准确率以及剔除灰度值较小的像素，即可得到垂直主带和垂直附带。
[0044]
之后，通过所述关键点检测网络，在上一步骤中获取的人的检测区域中定位人的骨架点信息，并根据所述骨架点信息计算人的真实位置朝向。其中，先在人的检测区域内定位出人的骨架点信息，所述骨架点信息可以包括头、肩膀、臀部和膝关节等。在实际实施中，利用概率统计方法，通过比较所有人中头-肩膀、肩膀-臀部以及臀部-膝关节的位置坐标的方差大小，得出肩膀-臀部的方差最小，这意味着，根据肩膀-臀部的像素长度关系，计算人在真实世界中的位置朝向是最准确的，比如，假设将所有人认为是同样身高或同样身体尺寸，使用骨架提取在图像上测量其肩膀-臀部的像素信息，从而可以得到人的真实位置朝向。具体的，在图像中，肩膀和臀部之间可构成三角形关系，通过三角形的像素长度关系可得出人的朝向，并可根据相似三角形原理计算其距离相机的距离，将图片中人员的位置信息映射到三维的坐标图上，定位出人的具体位置。
[0045]
最后，根据所述骨架点信息、所述朝向以及安全带中的挂点、挂环、垂直主带和垂直附带的位置得到安全带佩戴情况的检测结果。所述当所述安全带的挂点和挂环超出预设阈值时，则输出安全带违规佩戴的结果；当检测到所述垂直主带或垂直附带时，则输出安全带存在疑似未佩戴的结果。其中，垂直主带和垂直附带是指没有将安全带的主带和附带从身体绕到塔上，将身体和塔进行连接，而是将主带和附带只挂在身上，和塔完全没有连接点，即视为垂直在身上，此时成其为垂直主带和垂直附带，因此，在检测到所述垂直主带或垂直附带时，可以认为存在安全带疑似未佩戴的情况，因此，输出安全带存在疑似未佩戴的
结果。
[0046]
此外，在本发明实施例中，还可以包括第五处理单元，具体用于在输出安全带违规佩戴的结果或输出安全带存在疑似未佩戴的结果后生成告警信号，并将所述告警信号上传至交互中心，还可以根据所述检测结果生成检测报告，并将所述检测报告上传至交互中心。在实际实施时，所述交互中心可包括：用户界面、数据管理模块和报告显示模块。所述数据管理模块可在用户界面进行视频数据的显示和管理，所述报告显示模块可用于显示根据所述告警信号生成的告警信息或检测报告，进一步地，用户也可以下载所述检测报告，可用于后续进行相关人员的行为评价或总结。此外，本发明实施例中的交互中心还包括告警模块，所述告警模块可用于根据所述告警信号生成告警提示，以及时通知管理人员或是现场人员随身佩戴的移动设备。
[0047]
参考图5，本发明实施例还提供了一种存储介质100，介质100中存储有计算机程序200，当其在计算机上运行时，使得计算机执行以上实施例所描述的安全带佩戴情况的智能检测方法。
[0048]
参考图6，本发明实施例还提供了一种包含指令的设备300，为一种计算机设备，当其在设备300上运行时，使得设备300通过其内部设置的处理器400执行以上实施例所描述的安全带佩戴情况的智能检测方法。
[0049]
本领域技术人员可以理解，本发明所述的安全带佩戴情况的智能检测方法、装置和上述所涉及用于执行本技术中所述方法中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序或应用程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备（例如，计算机）可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘（包括软盘、硬盘、光盘、cd-rom、和磁光盘）、rom（read-only memory，只读存储器）、ram（random access memory，随机存储器）、eprom（erasable programmable read-only memory，可擦写可编程只读存储器）、eeprom（electrically erasable programmable read-only memory，电可擦可编程只读存储器）、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备（例如，计算机）以能够读的形式存储或传输信息的任何介质。
[0050]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。