一种电力作业异常行为检测设备和方法与流程

[0001]
本发明属于异常行为识别技术领域，涉及一种电力作业异常行为检测设备和方法。


背景技术：

[0002]
在工业生产现场,生活社区,安全要求敏感等场合,视频监控有重要应用价值,对维护国家及公共安全有现实意义。人的异常行为检测和识别是提高视频监控智能化程度的一个主要途径,它融合了计算机视觉,模式识别,心理学,生理学等多项技术。在现代化的建筑工地或者电力维修等现场，工人们面临着因违规操作而受到伤害的危险，特别是在施工或维修过程中由于高空坠落等原因易造成人员伤亡，而如果能够正确穿戴防护设备，规范操作行为则能有效的减少对人员的伤害。因此，提供一台异常行为检测设备，对工人的穿着和行为进行检测，在未正确穿戴防护设备，和进行违规操作时进行语音报警和及时提醒，可以有效降低工人们受到人身伤害的风险。
[0003]
在计算机视觉技术飞速发展的今天，计算机能够识别的场景越来越多，因此越来越多的场合开始使用基于视频分析的安全检测技术。基于视频分析的异常行为检测也有所研究。中国专利cn102902972a中提到的人体行为特征提取方法、系统及异常行为检测方法和系统中的检测方法步骤繁多，处理繁琐，且精度不高，处理速度较慢，实时性较差，不利于应用在对实时性要求较高的场合；中国专利cn106295551a中提到的安全帽检测方法，虽然在一定条件下可以实现安全帽的检测，但是在其步骤四中提到的统计满足条件的像素点的个数与设定的像素点个数阈值作比较可以看出这个方法鲁棒性较差，而且只能单纯的实现安全帽检测，对比我们的方法，我们可以实现更多的目标检测，并且除了目标检测还集成了更多新的功能。


技术实现要素：

[0004]
本发明在现有的方法上，实现了检测类别多样化，提高了目标检测的准确率与鲁棒性，在不同的场景中均能够准确检测出工人是否正确穿戴防护设备和进入危险区域，是一种准确率高，鲁棒性好，能够实时检测的异常行为检测设备和方法。
[0005]
一种电力作业异常行为检测设备，包括信息收集单元，信息处理单元，信息显示单元，硬件控制单元；
[0006]
其中，信息收集单元用于收集图像信息和传感器信息，传输给信息处理单元；
[0007]
信息处理单元使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒；使用阈值判断的方法处理传感器信息，如果发现异常，即检测工作人员进入到危险区域，进行语音提醒，并为信息显示单元和硬件控制单元提供具体处理结果信息；
[0008]
信息显示单元用于显示收集到的现场图像信息和目标检测网络模型的检测结果，以及传感器信息处理结果，并且提供现场图像信息保存功能；
[0009]
硬件控制单元根据信息处理单元提供的检测结果信息进行传统图像处理，控制摄像头跟随工作人员移动，保证工作人员一直在监控范围之内。
[0010]
进一步的，所述信息收集单元包括两个usb摄像头，超宽带芯片，安全帽，zigbee，电源；其中一个usb摄像头1用于获取工作人员的工作图像另一个usb摄像头2用于获取接地桩的图像，超宽带芯片用于收集传感器信息；超宽带芯片和电源嵌入一个在安全帽中，另外有一个超宽带芯片布置在危险区域中，使用zigbee与信息处理单元进行通信。
[0011]
进一步的，使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒，其具体实现方式如下；
[0012]
首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模块；
[0013]
其中特征提取模块用于提取特征图f1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；
[0014]
多尺度融合模块的输入为特征提取模块提取的特征图f1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；
[0015]
特征检测模块包括依次连接的n层卷积层，其中前n层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；
[0016]
然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；
[0017]
训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型。
[0018]
检测阶段，将usb摄像头1和usb摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出usb摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出usb摄像头2中是否包含接地桩，如果不包含则为异常。
[0019]
进一步的，将usb摄像头2获取的rgb图像转换为hsv图像，利用训练好的目标检测网络模型检测hsv图像上是否包含接地桩，如果不包含则为异常。
[0020]
进一步的，使用阈值判断的方法对超宽带信息进行判断，即当两个超宽带芯片的距离小于一定阈值时，阈值即为危险区域半径，判断进入危险区域，进行语音提醒。
[0021]
本发明还提供一种电力作业异常行为检测方法，包括如下步骤：
[0022]
步骤1，收集图像信息和传感器信息；
[0023]
步骤2，使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒；使用阈值判断的方法处理传感器信息，如果发现异常，即检测工作人员进入到危险区域，进行语音提醒，并为信息显示单元和硬件控制单元提供具体处理结果信息；
[0024]
步骤3，显示收集到的现场图像信息和目标检测网络模型的检测结果，以及传感器信息处理结果，并且实时保存；
[0025]
步骤4，对目标检测网络模型的检测结果信息进行传统图像处理，控制摄像头跟随工作人员移动，保证工作人员一直在监控范围之内。
[0026]
进一步的，使用目标检测网络模型处理图像信息的具体实现方式如下；
[0027]
步骤2中使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒，其具体实现方式如下；
[0028]
首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模块；
[0029]
其中特征提取模块用于提取特征图f1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；
[0030]
多尺度融合模块的输入为特征提取模块提取的特征图f1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；
[0031]
特征检测模块包括依次连接的n层卷积层，其中前n层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；
[0032]
然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；
[0033]
训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型。
[0034]
检测阶段，将usb摄像头1和usb摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出usb摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出usb摄像头2中是否包含接地桩，如果不包含则为异常。
[0035]
进一步的，步骤1中收集图像信息和传感器信息的装置包括两个usb摄像头，超宽带芯片，安全帽，zigbee，电源；其中一个usb摄像头1用于获取工作人员的工作图像另一个usb摄像头2用于获取接地桩的图像，超宽带芯片用于收集传感器信息；超宽带芯片和电源嵌入一个在安全帽中，另外有一个超宽带芯片布置在危险区域中，使用zigbee与信息处理单元进行通信；
[0036]
使用阈值判断的方法对超宽带信息进行判断，即当两个超宽带芯片的距离小于一定阈值时，阈值即为危险区域半径，判断进入危险区域，进行语音提醒。
[0037]
总体而言，通过本发明所构思的以上技术方案与现有的技术相比，有以下优点:
[0038]
本发明能够同时识别工作人员，安全帽，工作服，手套，接地桩，工作绳等目标，能够判断工作人员是否进入危险区域，并且能够实时智能识别、提高各项检测的精度，相比于现有的实时检测方案，具有较好的鲁棒性与准确率的同时，具备了更多的功能。
附图说明
[0039]
图1为本发明提供的异常行为检测设备的一个实施例的示意图。
具体实施方式
[0040]
下面结合附图和实施例对本发明的技术方案作进一步说明。
[0041]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0042]
下面结合实例和示意图进一步阐释本发明:
[0043]
结合图1所示，是本发明提供的电力作业异常行为检测设备的一个实施例的示意图；实施例提供的这种异常行为检测设备包括信息收集单元、信息处理单元、信息显示单元和硬件控制单元；
[0044]
其中，信息收集单元用于收集图像信息和传感器信息，传输给信息处理单元；
[0045]
信息处理单元使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒；使用阈值判断的方法处理传感器信息，如果发现异常，即检测工作人员进入到危险区域，进行语音提醒，并为信息显示单元和硬件控制单元提供具体处理结果信息；
[0046]
信息显示单元用于显示收集到的现场图像信息和目标检测网络模型的检测结果，以及传感器信息处理结果，并且提供现场图像信息保存功能；
[0047]
硬件控制单元根据信息处理单元提供的检测结果信息进行传统图像处理，控制摄像头跟随工作人员移动，保证工作人员一直在监控范围之内。
[0048]
上述信息收集单元包括2个usb摄像头，超宽带芯片，zigbee，电源1和安全帽。其中usb摄像头1用于获取工作人员的工作图像，usb摄像头2用于获取接地桩的图像，usb摄像头采集图像信息经过usb口传输到信息处理单元，并由信息处理单元的电源2进行供电，超宽带采集的传感信息由zigbee传输到信息处理单元，并由信息收集单元的电源1进行供电。其中超宽带芯片，电源1嵌入在安全帽中，另外有一个超宽带芯片布置在危险区域中，使用zigbee与信息处理单元进行通信。
[0049]
上述信息处理单元包括，电源2，cpu，gpu，内存条，磁盘，主板等，由上述硬件组成一台服务器，提供算法运行平台，使用算法对信息收集单元传送过来的信息进行分析，发现异常进行语音报警，并将处理的结果信息传输到信息显示单元和硬件控制单元。
[0050]
上述信息显示单元包含一个显示屏，将信息处理单元的检测结果以图像的形式展示在显示屏中。
[0051]
上述硬件控制单元包括树莓派，机械臂，电源3。其中机械臂放置在工作区域内，由树莓派控制机械臂转动，机械臂夹带usb摄像头1，将usb摄像头1放在机械臂的正上方，摄像头捕捉到目标移动，树莓派控制机械臂左右上下转动，然后带着usb摄像头1一起转动，实现工作人员跟踪功能，电源3为树莓派和机械臂供电。
[0052]
上述信息处理单元中，使用目标检测网络模型处理图像信息的具体实现方式如下；
[0053]
使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒，其具体实现方式如下；
[0054]
首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模
块；
[0055]
其中特征提取模块用于提取特征图f1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；
[0056]
多尺度融合模块的输入为特征提取模块提取的特征图f1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；
[0057]
特征检测模块包括依次连接的n层卷积层，其中前n层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；
[0058]
然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；
[0059]
训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型。采用10000张电力作业现场数据进行训练，迭代次数为10000次，初始学习率为0.001，batch大小为256。
[0060]
检测阶段，将usb摄像头1和usb摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出usb摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出usb摄像头2中是否包含接地桩，如果不包含则为异常。
[0061]
由于hsv模型对颜色比较敏感，我们的检测的工作服，安全帽，接地桩都是颜色特征比较明显的物品，所以可以用hsv图像进行检测；而检测工作人员(人)、工作绳等颜色特征不是很明显，所以可以用rgb图像。具体实施时，也可以将usb摄像头2获取的rgb图像转换为hsv图像，利用训练好的目标检测网络模型检测hsv图像上是否包含接地桩，如果不包含则为异常。
[0062]
上述信息处理单元中，使用阈值判断的方法对超宽带信息进行判断，即当两个超宽带芯片的距离小于一定阈值时，阈值即为危险区域半径，判断进入危险区域，进行语音提醒。
[0063]
上述硬件控制单元接收到信息处理单元发送的工作人员位置信息后，将工作人员中心点在图像中的具体位置，和图像帧帧的大小进行运算，其具体方法为，使用中心点的横纵坐标和图像帧的宽高相减取绝对值，根据绝对值结果大小，使用树莓派控制机械臂的转动幅度以调整usb摄像头视角，实现工作人员跟踪功能。
[0064]
本发明实施例还提供一种电力作业异常行为检测方法，包括如下步骤：
[0065]
步骤1，收集图像信息和传感器信息；
[0066]
步骤2，使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒；使用阈值判断的方法处理传感器信息，如果发现异常，即检测工作人员进入到危险区域，进行语音提醒，并为信息显示单元和硬件控制单元提供具体处理结果信息；
[0067]
步骤3，显示收集到的现场图像信息和目标检测网络模型的检测结果，以及传感器信息处理结果，并且实时保存；
[0068]
步骤4，对目标检测网络模型的检测结果信息进行传统图像处理，控制摄像头跟随工作人员移动，保证工作人员一直在监控范围之内。
[0069]
其中，步骤2中使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒，其具体实现方式如下；
[0070]
首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模块；
[0071]
其中特征提取模块用于提取特征图f1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；
[0072]
多尺度融合模块的输入为特征提取模块提取的特征图f1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；
[0073]
特征检测模块包括依次连接的n层卷积层，其中前n层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；
[0074]
然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；
[0075]
训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型。
[0076]
检测阶段，将usb摄像头1和usb摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出usb摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出usb摄像头2中是否包含接地桩，如果不包含则为异常。
[0077]
其中，步骤1中收集图像信息和传感器信息的装置包括两个usb摄像头，超宽带芯片，安全帽，zigbee，电源；其中一个usb摄像头1用于获取工作人员的工作图像另一个usb摄像头2用于获取接地桩的图像，超宽带芯片用于收集传感器信息；超宽带芯片和电源嵌入一个在安全帽中，另外有一个超宽带芯片布置在危险区域中，使用zigbee与信息处理单元进行通信；
[0078]
使用阈值判断的方法对超宽带信息进行判断，即当两个超宽带芯片的距离小于一定阈值时，阈值即为危险区域半径，判断进入危险区域，进行语音提醒。
[0079]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。