一种电力作业视频中的安全帽佩戴识别方法与流程

1.本发明属于电力系统安全作业领域，更具体的，涉及一种电力作业视频中的安全帽佩戴识别方法。


背景技术：

2.随着深度学习技术的不断深入发展,视频图像处理技术已经被广泛地应用于社会生活中的各个领域。对于电力行业而言，安全对于每个人来说都不陌生，只有实现安全才能确保企业稳定地生产，安全事故所带来的损失巨大。在进行电力作业时安全帽对头部有一定的保护作用，这要求电力作业人员在施工的过程中必须佩带安全帽。然而，近年来由于电力作业人员违反电力安全规范不按要求佩戴安全帽所造成的电力安全事故还时有发生。为了防止电力安全事故的发生,保护电力作业人员的人身安全，开发一套能自动识别电力作业人员在作业时未佩带安全帽等异常状况的系统对于电力行业来说变得越来越重要。


技术实现要素：

3.为解决现有技术中存在的不足，本发明针对电力行业在作业过程中的安全佩戴情况自动检测问题，选取更快的区域卷积神经网络模型作为电力作业过程中的安全帽佩戴情况识别的基础网络模型进行训练，基于深度学习技术实现目标自动识别与检测，进而提出一种电力作业视频中的安全帽佩戴识别方法。
4.本发明采用如下的技术方案。
5.一种电力作业视频中的安全帽佩戴识别方法，包括如下步骤：
6.步骤1，获取电子作业的动态视频；
7.步骤2，基于前景探测的目标检测方法，从动态视频中提取多个包含作业人员信息的图片；
8.步骤3，运用卡尔曼滤波算法直接对多个包含作业人员信息的图片进行跟踪处理，锁定检测目标的位置；
9.步骤4，利用faster r-cnn网络，根据每一个包含作业人员信息的图片以及检测目标的位置，预测出图片中的作业人员是否佩戴安全帽。
10.进一步的，
11.步骤2具体包括：
12.步骤2.1，将动态视频分成若干帧图片，包括：第一帧图片、前m帧图片与后续图片；
13.步骤2.2，根据第一帧图片，创建至少一个混合高斯模型，并初始化混合高斯模型的参数；
14.步骤2.3，根据前m帧图片与混合高斯模型进行匹配，从而得到训练好的混合高斯模型；
15.步骤2.4，利用训练好的混合高斯模型，对后续图片进行处理，以提取多个包含作业人员信息的图片。
16.进一步的，
17.步骤3具体包括：
18.步骤3.1，将多个包含作业人员信息的图片作为卡尔曼滤波算法的输入；
19.步骤3.2，训练卡尔曼滤波算法参数，具体为：根据第k-1帧图片的目标位置来预测k时刻目标的位置；
20.步骤3.3，计算卡尔曼增益；
21.步骤3.4，根据k时刻目标的位置与卡尔曼增益hk，得到实际的k时刻目标的位置
22.进一步的，
23.步骤3.2具体包括：
24.xk＝α
k-1
×
x
k-1
+β
k-1
×uk-1
+γ
k-1
25.其中，k为动态视频中当前时刻下的帧图片，xk,x
k-1
分别表示对k时刻，k-1时刻状态的状态量，α
k-1
表示k-1时刻的状态转移矩阵，β
k-1
表示k-1时刻的控制矩阵，γ
k-1
为k-1时刻的过程噪声，服从正态分布，u
k-1
表示k-1时刻的控制量。
26.进一步的，
27.步骤3.3中卡尔曼增益hk：
28.hk＝p
k-1
×
γ
k-1
×
(γ
k-1
×
p
k-1
×
γk+rk)-1
29.其中，p
k-1
表示k-1时刻的误差协方差矩阵，pk表示k时刻的观察量协方差，γ
k-1
,γk为k-1时刻，k时刻的过程噪声。
30.进一步的，
31.步骤3.4中k时刻目标的位置yk：
32.yk＝xk+hk×
(m
k-xk)
33.其中，mk为k时刻状态的测量结果，hk为卡尔曼增益。xk表示对k时刻状态的状态量。
34.进一步的，
35.步骤4具体包括：
36.步骤4.1，对每一个包含作业人员信息的图片，根据faster r-cnn网络中的卷积层，得到特征图；faster r-cnn模型包括rpn网络、roi池层和全连接层；
37.步骤4.2，将特征图输入到rpn网络中，得到提议对象及其分数；
38.步骤4.3，将步骤4.2中的提议对象输入至roi池层，将所有提议对象降低到相同的大小；
39.步骤4.4，将步骤4.3处理过的提议对象传递到全连接层；
40.步骤4.5，在全连接层，采用softmax和线性回归对提议对象进行分类，从而输出每一张图片中的作业人员是否佩戴安全帽。
41.一种电力作业视频中的安全帽佩戴识别系统，包括：采集模块、目标检测模块、卡尔曼滤波算法模块与神经网络模块；
42.采集模块用于获取电子作业的动态视频；
43.目标检测模块用于基于前景探测的目标检测方法，从动态视频中提取多个包含作业人员信息的图片；
44.卡尔曼滤波算法模块用于运用卡尔曼滤波算法直接对多个包含作业人员信息的图片进行跟踪处理，锁定检测目标的位置；
45.神经网络模块用于利用faster r-cnn网络，根据每一个包含作业人员信息的图片以及检测目标的位置，预测出图片中的作业人员是否佩戴安全帽。
46.一种终端，包括处理器及存储介质；
47.所述存储介质用于存储指令；
48.所述处理器用于根据所述指令进行操作以执行一种电力作业视频中的安全帽佩戴识别方法的步骤。
49.计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种电力作业视频中的安全帽佩戴识别方法的步骤。
50.本发明的有益效果在于，与现有技术相比，本发明的优点在于：
51.1)已有的研究主要集中在对静态图像中的安全帽进行检测识别，本文研究动态视频中的安全帽佩戴检测与跟踪；
52.2)本文采用的faster r-cnn深度学习模型可以大大减少运算的时间和空间复杂度，提升个体识别的准确度；
53.3)本文根据行业应用背景，结合深度学习技术提出适合在复杂的电力作业环境中进行移动个体检测的方法。
附图说明
54.图1是前景探测器的流程图。
55.图2是一种电力作业视频中的安全帽佩戴识别方法的流程图。
具体实施方式
56.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本技术所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的有所其它实施例，都属于本发明的保护范围。
57.本发明公开了一种电力作业视频中的安全帽佩戴识别方法，包括如下步骤：
58.步骤1，获取电子作业的动态视频；
59.步骤2，基于前景探测的目标检测方法，从动态视频中提取多个包含作业人员信息的图片；
60.步骤2具体包括：
61.步骤2.1，将动态视频分成若干帧图片，包括：第一帧图片、前m帧图片与后续图片；
62.步骤2.2，根据第一帧图片，创建至少一个混合高斯模型，并初始化混合高斯模型的参数；
63.步骤2.3，根据前m帧图片与混合高斯模型进行匹配，从而得到训练好的混合高斯模型；
64.步骤2.4，利用训练好的混合高斯模型，对后续图片进行处理，以提取多个包含作业人员信息的图片。
65.步骤3，运用卡尔曼滤波算法直接对多个包含作业人员信息的图片进行跟踪处理，锁定检测目标的位置，即：作业人员的位置信息。
66.步骤3.1，将多个包含作业人员信息的图片作为卡尔曼滤波算法的输入；
67.步骤3.2，训练卡尔曼滤波算法参数，具体为：根据第k-1帧图片的目标位置来预测k时刻目标的位置：
68.xk＝α
k-1
×
x
k-1
+β
k-1
×uk-1
+γ
k-1
69.其中，k为动态视频中当前时刻下的帧图片，xk,x
k-1
分别表示对k时刻，k-1时刻状态的状态量，α
k-1
表示k-1时刻的状态转移矩阵，β
k-1
表示k-1时刻的控制矩阵，γ
k-1
为k-1时刻的过程噪声，服从正态分布，u
k-1
表示k-1时刻的控制量。
70.需要说明的是，xk是一个5维向量，即：xk＝[cx,cy,r,vx,vy]，其中，cx,cy分别表示目标的中心坐标，r为图像的宽高比，vx,vy为目标在x轴与y轴的速率。
[0071]
步骤3.3，计算卡尔曼增益hk：
[0072]hk
＝p
k-1
×
γ
k-1
×
(γ
k-1
×
p
k-1
×
γk+rk)-1
[0073]
其中，p
k-1
表示k-1时刻的误差协方差矩阵，rk表示k时刻的观察量协方差。
[0074]
需要说明的是，由于xk是一个5维向量，因此，误差协方差矩阵也是5*5矩阵。
[0075]
步骤3.4，根据k时刻目标的位置与卡尔曼增益hk，得到实际的k时刻目标的位置yk，如下式所示：
[0076]
yk＝xk+hk×
(m
k-xk)
[0077]
其中，mk为k时刻状态的测量结果。
[0078]
步骤4，利用faster r-cnn网络，根据每一个包含作业人员信息的图片以及检测目标的位置，预测出图片中的作业人员是否佩戴安全帽；
[0079]
步骤4具体包括：
[0080]
步骤4.1，对每一个包含作业人员信息的图片，根据faster r-cnn网络中的卷积层，得到特征图；faster r-cnn模型包括rpn网络、roi池层和全连接层；
[0081]
步骤4.2，将特征图输入到rpn网络中，得到提议对象及其分数；
[0082]
需要说明的是，faster r-cnn网络中rpn网络和fast r-cnn卷积神经网络通过交替训练阶段完成卷积层共享特征图，从而实现目标检测。rpn网络结构为：前五层基于zf网络，通过五层卷积和两层池化得到最后的卷积特征图；zf网络之后是一层卷积层和两条卷积输出支路：左支路输出候选区域为分数；右支路输出图片中的像素信息，即提议对象。rpn网络核心是anchor机制。
[0083]
步骤4.3，将步骤4.2中的提议对象输入至roi池层，将所有提议对象降低到相同的大小；
[0084]
步骤4.4，将步骤4.3处理过的提议对象传递到全连接层；
[0085]
步骤4.5，在全连接层，采用softmax和线性回归对提议对象进行分类，从而输出每一张图片中的作业人员是否佩戴安全帽。
[0086]
通过对电力行业的应用需求进行分析，本文的总体设计方案主要由三个部分构成：基于前景探测的目标检测、目标跟踪和目标个体识别。在对电力作业人员视频图像进行前景处理的同时，利用视频图像训练目标检测器，将训练好的目标检测器应用于经过前景检测处理后的图像并对其进行目标个体识别。最后，通过对来源于电力行业中针对安全作业的监控视频进行实验，实验结果验证了所设计的方案的可用性和高效性。
[0087]
其中，前景探测器是为了将待识别的对象从复杂的背景图像中分离出来，提高目
标识别准确度；目标探测的作用是识别戴安全帽和不戴安全帽的对象；目标跟踪技术是为了在视频中不丢失已识别的目标信息，在对电力作业视频图像进行前景处理的同时，利用该图像训练目标检测器，将训练好的目标检测器应用于经过前景检测处理后的图像并对其进行目标识别。
[0088]
其次，训练基于faster r-cnn的对象检测器，解压人物图像数据集，加载并插入roi标签，用randperm函数随机将数据拆分为训练集和测试集，配置训练选项。使用trainfasterrcnnobjectdetectorhanshu1训练基于faster r-cnn的对象检测器，其中特征选取网络选择resnet-50。接下来，导入在第一步处理过的视频，对其进行抽帧处理，并用训练好的目标检测器对其进行目标识别，使用卡尔曼滤波算法对多目标进行跟踪。使用detectobjects函数导入训练好的检测器对目标进行检测，并用predictnewlocationsoftracks函数预测使用卡尔曼滤波器预测当前帧中每个轨道的质心，并相应地更新其边界框。使用system object函数的distance方法进行计算为每个轨道分配每个检测的成本。
[0089]
该成本考虑了轨道的预测质心与检测的质心之间的欧几里德距离，它还包括预测的置信度，其由卡尔曼滤波器维持，结果存储在m
×
n矩阵中，其中m是轨道数，n是检测数。然后使用新检测更正对象位置的估计值，然后用检测到的边界框替换预测的边界框。
[0090]
最后，将训练好的目标检测器应用于经过前景检测处理后的图像，对视频中佩戴安全帽和未佩戴安全帽的作业人员进行目标识别。
[0091]
相应的，本公开还提出了一种电力作业视频中的安全帽佩戴识别系统，包括：采集模块、目标检测模块、卡尔曼滤波算法模块与神经网络模块；
[0092]
采集模块用于获取电子作业的动态视频；
[0093]
目标检测模块用于基于前景探测的目标检测方法，从动态视频中提取多个包含作业人员信息的图片；
[0094]
卡尔曼滤波算法模块用于运用卡尔曼滤波算法直接对多个包含作业人员信息的图片进行跟踪处理，锁定检测目标的位置；
[0095]
神经网络模块用于利用faster r-cnn网络，根据每一个包含作业人员信息的图片以及检测目标的位置，预测出图片中的作业人员是否佩戴安全帽。
[0096]
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
[0097]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0098]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0099]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0100]
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0101]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其它设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0102]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0103]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动
作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0104]
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。