一种电网基建现场人体异常行为识别方法及系统与流程

1.本发明属于电力系统安全监测技术领域，具体涉及一种电网基建现场人体异常行为识别方法及系统。


背景技术：

2.近年来，将人工智能应用于基建现场的异常行为识别显得尤为迫切。异常行为可分为单人异常行为、交互异常行为及群体异常行为，其定义取决于现实生活的应用场景并且会受到一定程度的主观影响。目前，在电网基建现场人体异常行为检测领域，最通用的做法是通过日常的人工巡检或通过监控设备人工监督。
3.电网基建作业具有类型多样，基建规模大、施工人员多的特点，完全依靠人工巡检的办法已无法实时掌握所有施工人员的状态，而通过视频监控设备辅助的方式对于电网基建现场作业人员的监督作用也较为有限，且很多异常状态的发现均已处于事后阶段，没有达到预防电网基建现场作业人员异常行为发生的初衷。由此可见，研究电网基建现场人体异常行为检测方法有重要的理论意义和实用价值。
4.目前针对电网基建现场人体异常行为检测技术的研究比较少，但是国内外专家学者针对相关难点问题基于人工智能理论提出了一些卓有成效的实现方案。基于深度学习的行为识别在国内外也已经有了多方面的研究，一种基于双流卷积神经网络被提出，这种网络可以独立的使用rgb图片帧和连续帧之间的光流图像来获取静态特征和动态特征，最后将两个分支在全连接层进行分数的融合，将融合后分数最高的类别作为当前行为的类别。一种双分辨率卷积神经网络被提出，这种网络的一个通道输入原始分辨率的图片帧，另一个通道输入低分辨率的图片帧，独立训练两个模型后在全连接层进行融合，将融合后的特征用于后续的行为识别中。研究人员通过对原始的二维卷积神经网络进行改进，提出了三维卷积神经网络，更好的描述了视频的时序信息。
5.上述基于卷积神经网络的深度学习方法虽然检测准确率较高，但算法精度很大程度上受限于异常数据的数据规模；且整体算法的检测无法实时进行，这就意味着无法实时检测电网基建现场作业人员的异常行为，无法做到事前预防。
6.鉴于此，本文充分运用电网基建现场人员作业数据，基于双通道特征融合的方法，使用三维卷积神经网络解决传统模型实时性差，无法充分利用视频帧间时序信息的问题，进而科学有效的实现电网基建现场人体异常检测任务。


技术实现要素：

7.为解决现有技术中存在的不足，本发明的目的在于，提供一种电网基建现场人体异常行为识别方法及系统，解决传统模型实时性差，无法充分利用视频帧间时序信息的问题，进而科学有效的实现电网基建现场人体异常检测任务。
8.本发明采用如下的技术方案。一种电网基建现场人体异常行为识别方法，其特征在于，包括以下步骤，
9.步骤1，搭建双通道三维卷积神经网络和双流特征融合网络，在双通道三维卷积神经网络和双流特征融合网络后分别接入3层全连接层，利用电网基建现场作业监控装置采集的历史工作人员作业视频数据集对双通道三维卷积神经网络和双流特征融合网络进行训练，得到电网基建现场人体异常行为识别模型；
10.步骤2，从电网基建现场作业监控装置实时采集电网基建现场工作人员作业视频数据，获取实时视频流及光流图；
11.步骤3，将最新视频流和光流图输入至电网基建现场人体异常行为识别模型，得到行为分类结果输出；
12.步骤4，根据步骤3的分类结果判断，若无异常发生，则返回继续执行电网基建现场人体异常行为检测任务；若有异常发生，则进行报警处理，然后继续执行电网基建现场人体异常行为检测任务。
13.优选地，
14.步骤1中，双通道三维卷积神经网络包括：空间流三维卷积神经网络和时间流三维卷积神经网络，空间流三维卷积神经网络用来提取和行为相关的空间特征，时间流三维卷积神经网络用来提取时间特征。
15.步骤1中，空间流三维卷积神经网络和时间流三维卷积神经网络网络参数共享，网络参数包括：网络权重和偏置值。
16.步骤1中，双通道三维卷积神经网络包括：8个三维卷积层和5个三维池化层，搭建双流特征融合网络，包括：1个拼接层，1个三维卷积层和1个三维池化层。
17.步骤2中，视频流为rgb视频流，实时获取16帧视频流，通过计算16帧视频流得出光流图。
18.优选地，步骤1包括：建立空间流三维卷积神经网络模型，其输入为x
rgb
即 rgb视频帧，输出特征记作输出的特征为x
′
rgb
；
19.建立时间流三维卷积网络模型，其输入为x
flow
即rgb图像的光流图，输出时间流特征x
′
flow
；具体包括：
20.空间流三维卷积神经网络输入为
21.其中，
22.x
rgb
表示输入空间流三维卷积神经网络的连续16帧rgb视频帧，
23.表示包含若干连续16帧rgb视频帧的集合，
24.d1表示输入视频帧通道数，
25.t表示输入视频帧数，
26.w1和h1分别表示视频帧的宽和高；
27.时间流三维卷积网络输入为
28.其中,
29.x
flow
表示输入时间流三维卷积神经网络的x和y轴光流提取方向的光流图，
30.表示包含若干x和y轴光流提取方向的光流图的集合，
31.d2表示输入视频帧通道数，
32.b表示光流提取方向数，
33.w2和h2分别表示光流图的宽和高；
34.空间流三维卷积网络输出的特征为时间流三维卷积网络输出的特征为
35.其中，
36.d1′
表示空间流三维卷积网络输出的视频帧通道数，
37.t
′
表示空间流三维卷积网络输出的视频帧数，
38.w1′
表示空间流三维卷积网络输出的视频帧的宽，
39.h1′
表示空间流三维卷积网络输出的视频帧的高，
40.d2′
表示时间流三维卷积网络输出的视频帧通道数，
41.b
′
表示时间流三维卷积网络输出的光流提取方向数，
42.w2′
表示时间流三维卷积网络输出的光流图的宽，
43.h2′
表示时间流三维卷积网络输出的光流图的高，
44.d1′
＝d2′
，t
′
＝b
′
，w1＝w2′
，h1＝h2′
。
45.步骤1.2，对时间流三维卷积网络输出特征和空间流三维卷积网络输出特征融合；首先将x
′
rgb
和x
′
flow
进行通道维度上的拼接，然后使用一层三维卷积层和一层三维池化层对拼接后的结果进行时间特征融合得到时间特征融合后的融合特征集合z；具体包括：
46.对步骤1.1中输出的特征进行空间融合和时间融合，
47.首先，进行空间融合，将x
′
rgb
和x
′
flow
进行通道维度上的拼接：
48.z
cat
＝concat(x
′
rgb
,x
′
flow
)
49.其中，
50.z
cat
表示空间流神经网络网络输出的空间特征和时间流网络输出的时间特征拼接后的空间融合特征集合为，
51.其中，
52.表示经过双流特征拼接融合后的融合特征的集合，
53.2d
′×u×w′×h′
表示经过双流特征拼接融合后的融合特征维度，
54.2d
′
＝d1′
+d2′
，u＝t
′
＝b
′
，w
′
＝w1′
＝w2′
，h
′
＝h1′
＝h2′
；
55.接着，再使用一层三维卷积层和一层三维池化层对z
cat
进行时间特征融合，得到时间特征融合后融合特征集合为
56.其中，
57.z表示降维处理后的融合特征，
58.d
″×u′×w″×h″
表示降维处理后的融合特征的维度，d
″
＝d
′
，u
′
＝u， w
″
＝w
′
，h
″
＝h
′
。
59.步骤1.3，将融合特征集合z输入3层全连接层，将特征降维，最终在最后一层全连接层输出所预测的第i个行为发生的概率；具体包括：
60.经过步骤1.2融合后的结果输入3层全连接层，将特征降维，最终在最后一层全连接层输出
61.其中，
62.n表示电网基建现场人体异常行为类别的数量，
63.表示融合网络输出所预测的第i个行为发生的概率。
64.步骤1.4，经过步骤1.1双通道三维卷积神经网络所输出的空间流特征x
′
rgb
和时间流特征x
′
flow
分别输入各自的3层全连接层，分别得到空间流网络输出所预测的第i个行为发生的概率和时间流网络输出所预测的第i个行为发生的概率；具体包括：
65.经过步骤1.1双通道三维卷积神经网络所输出的空间流特征x
′
rgb
和时间流特征x
′
flow
分别输入各自的3层全连接层，将特征降维，最终在最后一层全连接层输出和和
66.其中，表示空间流网络输出所预测的第i个行为发生的概率。
67.表示时间流网络输出所预测的第i个行为发生的概率。
68.步骤1.5，利用电网基建现场作业视频监控装置采集的历史作业人员监控视频数据集，进行人工标注，得到视频样本x与标注真值y，将视频样本x输入步骤1.1至步骤1.4中搭建的网络训练，得到对应输出的空间流网络输出所预测行为发生的概率、时间流网络输出所预测行为发生的概率以及基于融合特征所输出的预测行为发生的概率，采用交叉熵损失计算法确定对视频样本x的拟合程度，从而确定空间流三维卷积神经网络、时间流三维卷积神经网络以及空间流特征与时间流特征融合的交叉熵损失影响因子，
69.交叉熵损失计算公式如下：交叉熵损失计算公式如下：
70.其中，
71.λ1表示空间流三维卷积神经网络交叉熵损失影响因子，
72.λ2表示时间流三维卷积神经网络交叉熵损失影响因子，
73.λ3表示空间流特征与时间流特征融合交叉熵损失影响因子，
74.i∈[1,n]，表示电网基建现场人体异常行为类别之一，
[0075]
通过训练过程确定λ1，λ2，λ3具体数值。
[0076]
一种电网基建现场人体异常行为识别系统，包括：模型搭建模块，数据采集模块，分类识别模块和结果输出模块，其中，
[0077]
模型搭建模块用于搭建双通道三维卷积神经网络和双流特征融合网络，在双通道三维卷积神经网络和双流特征融合网络后分别接入3层全连接层，利用电网基建现场作业监控装置采集的历史工作人员作业视频数据集对网络进行训练，得到电网基建现场人体异常行为识别模型；
[0078]
数据采集模块用于从电网基建现场作业监控装置实时采集电网基建现场工作人员作业视频数据，获取实时视频视频流及光流图；
[0079]
分类识别模块用于将最新视频流和光流图输入至电网基建现场人体异常行为识别模型，得到行为分类结果输出；
[0080]
结果输出模块用于对分类识别模块的分类损失结果判断，若无异常发生，则返回继续执行电网基建现场人体异常行为检测任务；若有异常发生，则进行报警处理，然后继续执行电网基建现场人体异常行为检测任务。
[0081]
本发明的有益效果在于，与现有技术相比，
[0082]
(1)本发明采用基于双通道三维卷积神经网络的电网基建现场人体异常行为识别方法，在保证准确度的前期下，实现了电网基建现场人体异常行为的实时检测任务；
[0083]
(2)本发明不同于现有技术仅使用二维卷积网络构建特征提取器的方法，提出了一种基于三维卷积神经网络的特征提取器，且通过双通道的方式，分别提取视频的空间特征和时间特征，实现端到端融合，提取到的时间维度上视频序列间的时间特征。在兼顾实时性和准确性的基础上解决了模型在电网基建现场人体异常数据上不能很好的学习视频帧间长时信息的问题；
[0084]
(3)本发明不同于现有技术采取决策级融合的方法，本发明在网络模型训练过程中对空间网络和时间网络进行特征融合而不是决策分数的融合。采取在 5b卷积层进行空间流特征与时间流特征的融合，通过特征融合的方法可以获得更高维度的信息，有利于正确率的提升。
附图说明
[0085]
图1是本发明提出的一种电网基建现场人体异常行为识别方法流程图；
[0086]
图2是本发明搭建的双通道三维卷积神经网络结构示意图。
具体实施方式
[0087]
下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
[0088]
实施例1。
[0089]
如图1所示，一种电网基建现场人体异常行为识别方法。包括以下步骤，
[0090]
步骤1，搭建双通道三维卷积神经网络和融合网络，在双通道三维卷积神经网络和双流特征融合网络后分别接入3层全连接层，双通道三维卷积神经网络包括：空间流三维卷积神经网络和时间流三维卷积神经网络，利用电网基建现场作业监控装置采集的历史工作人员作业视频数据对双通道三维卷积神经网络和双流特征融合网络网络进行训练，得到电网基建现场人体异常行为识别模型；
[0091]
本实施例优选地，空间流三维卷积神经网络和时间流三维卷积神经网络网络参数共享，网络参数包括：网络权重和偏置值。
[0092]
步骤1.1，搭建双通道三维卷积神经网络，如图2所示为空间流三维卷积神经网络和时间流三维卷积神经网络，两个网络均由8个三维卷积层和5个三维最大池化层组成，分别用以提取工作人员作业视频数据的空间特征和时间特征。
[0093]
建立空间流三维卷积神经网络模型，其输入为x
rgb
即rgb视频帧，输出特征记作输出的特征为x
′
rgb
；
[0094]
建立时间流三维卷积网络模型，其输入为x
flow
即rgb图像的光流图，输出时间流特征x
′
flow
；
[0095]
空间流三维卷积神经网络输入为
[0096]
其中，
[0097]
x
rgb
表示输入空间流三维卷积神经网络的连续16帧rgb视频帧，
[0098]
表示包含若干连续16帧rgb视频帧的集合，
[0099]
d1表示输入视频帧通道数，
[0100]
t表示输入视频帧数，
[0101]
w1和h1分别表示视频帧的宽和高。
[0102]
时间流三维卷积网络输入为
[0103]
其中,
[0104]
x
flow
表示输入时间流三维卷积神经网络的x和y轴光流提取方向的光流图，
[0105]
表示包含若干x和y轴光流提取方向的光流图的集合，
[0106]
d2表示输入视频帧通道数，
[0107]
b表示光流提取方向数，
[0108]
w2和h2分别表示光流图的宽和高。
[0109]
空间流三维卷积网络输出特征为时间流三维卷积网络输出特征为
[0110]
其中：
[0111]
d1′
表示空间流三维卷积网络输出的视频帧通道数，
[0112]
t
′
表示空间流三维卷积网络输出的视频帧数，
[0113]
w1′
表示空间流三维卷积网络输出的视频帧的宽，
[0114]
h1′
表示空间流三维卷积网络输出的视频帧的高，
[0115]
d2′
表示时间流三维卷积网络输出的视频帧通道数，
[0116]b′
表示时间流三维卷积网络输出的光流提取方向数，
[0117]
w2′
表示时间流三维卷积网络输出的光流图的宽，
[0118]
h2′
表示时间流三维卷积网络输出的光流图的高，
[0119]
″
[0120]
d1′
＝d2′
，t
′
＝b
′
，w1＝w2′
，h1＝h2′
；
[0121]
此步骤的目的是为了双通道神经网络提取出相同维度的空间流特征和时间流特征。
[0122]
步骤1.2，对时间流三维卷积网络输出特征和空间流三维卷积网络输出特征融合；首先将x
′
rgb
和x
′
flow
进行通道维度上的拼接，然后使用一层三维卷积层和一层三维池化层对拼接后的结果进行时间特征融合得到时间特征融合后的融合特征集合z；
[0123]
构建双流特征融合网络，如图2所示，融合网络用以融合空间流三维卷积神经网络输出的空间特征x
′
rgb
和时间流三维卷积神经网络输出的时间特征x
′
flow
。
[0124]
本实施例优选地，双流特征融合网络，包括：1个拼接层、1个三维卷积层和1个三维池化层，
[0125]
首先，进行空间融合，将x
′
rgb
和x
′
flow
进行通道维度上的拼接：
[0126]zcat
＝concat(x
′
rgb
,x
′
flow
)
[0127]zcat
表示空间流神经网络网络输出的空间特征和时间流网络输出的时间特征拼接后的空间融合特征集合为，
[0128]
其中，
[0129]
表示经过双流特征拼接融合后的融合特征的集合，
[0130]
2d
′×u×w′×h′
表示经过双流特征拼接融合后的融合特征维度，
[0131]
2d
′
＝d1′
+d2′
，u＝t
′
＝b
′
，w
′
＝w1′
＝w2′
，h
′
＝h1′
＝h2′
；
[0132]
接着，再使用一层三维卷积层和一层三维池化层对z
cat
进行时间特征融合，得到时间特征融合后融合特征集合为，
[0133]
其中，
[0134]
z表示降维处理后的融合特征，
[0135]d″×u′×w″×h″
表示降维处理后的融合特征的维度，
[0136]d″
＝d
′
，u
′
＝u，w
″
＝w
′
，h
″
＝h
′
。
[0137]
得到通过空间和时间特征的融合，可以提取更高维度的特征，有利于算法正确率的提升。
[0138]
步骤1.3，将融合特征集合z输入3层全连接层，将特征降维，最终在最后一层全连接层输出所预测的第i个行为发生的概率；经过步骤1.2融合后的结果输入3层全连接层，将特征降维，最终在最后一层全连接层输出征降维，最终在最后一层全连接层输出
[0139]
其中，
[0140]
n表示电网基建现场人体异常行为类别的数量，
[0141]
表示融合网络输出所预测的第i个行为发生的概率。
[0142]
步骤1.4，经过步骤1.1双通道三维卷积神经网络所输出的空间流特征x
′
rgb
和时间流特征x
′
flow
分别输入各自的3层全连接层，分别得到空间流网络输出所预测的第i个行为发生的概率和时间流网络输出所预测的第i个行为发生的概率；具体包括：经过步骤1.1双通道三维卷积神经网络所输出的空间流特征x
′
rgb
和时间流特征x
′
flow
分别输入各自的3层全连接层，将特征降维，最终在最后一层全连接层输出和和
[0143]
其中，
[0144]
n为电网基建现场人体异常行为类别的数量，
[0145]
表示空间流网络输出所预测的第i个行为发生的概率，
[0146]
表示时间流网络输出所预测的第i个行为发生的概率。
[0147]
步骤1.5，利用电网基建现场作业视频监控装置采集的历史作业人员监控视频数据集，进行人工标注，得到视频样本x与标注真值y，将视频样本x输入步骤1.1至步骤1.4中搭建的网络训练，得到对应输出的空间流网络输出所预测行为发生的概率、时间流网络输出所预测行为发生的概率以及基于融合特征所输出的预测行为发生的概率，采用交叉熵损失计算法确定对视频样本x的拟合程度，从而确定空间流三维卷积神经网络、时间流三维卷积神经网络以及空间流特征与时间流特征融合的交叉熵损失影响因子。
[0148]
利用电网基建现场作业视频监控装置采集的历史作业人员监控视频数据集，进行人工标注，得到视频样本x与标注真值y＝{y1,y2,
…
,yn}，将视频样本x输入上述步骤中的搭建的网络训练，得到对应输出和采用交叉熵损失计算算法输出和对视频样本x的拟合程度，使之尽可能接近标注真值y：
[0149][0150]
其中，
[0151]
λ1表示空间流三维卷积神经网络交叉熵损失影响因子，
[0152]
λ2表示时间流三维卷积神经网络交叉熵损失影响因子，
[0153]
λ3表示空间流特征与时间流特征融合交叉熵损失影响因子，
[0154]
i∈[1,n]，表示电网基建现场人体异常行为类别之一。
[0155]
通过训练过程确定λ1、λ2、λ3具体数值。
[0156]
通过计算损失函数，利用反向传播算法更新网络参数，使得最终损失函数收敛至一个极小的数值，即可完成算法的训练，生成电网基建现场人体异常行为识别模型。
[0157]
步骤2，从电网基建现场作业监控装置实时采集电网基建现场作业视频数据，获取实时视频流及光流图，形成电网基建现场人体异常行为识别模型的输入x；
[0158]
本实施例优选地，视频流为rgb视频流，实时获取16帧视频流，通过计算 16帧视频流得出光流图。
[0159]
步骤3，将数据输入至上述算法训练阶段生成的电网基建现场人体异常行为识别模型，得到行为分类结果输出；
[0160]
步骤4，根据步骤3中电网基建现场人体异常行为识别模型所得到的行为分类结果，若模型输出为异常行为类别，则进行报警，然后继续执行电网基建现场人体异常行为检测任务；若模型输出正常行为类别，则返回继续执行电网基建现场人体异常行为检测任务。
[0161]
实施例2。
[0162]
一种电网基建现场人体异常行为识别系统，包括：模型搭建模块，数据采集模块，分类识别模块和结果输出模块，其中，
[0163]
模型搭建模块用于搭建双通道三维卷积神经网络和双流特征融合网络，利用电网基建现场作业监控装置采集的历史工作人员作业视频数据集对网络进行训练，得到电网基建现场人体异常行为识别模型；
[0164]
数据采集模块用于从电网基建现场作业监控装置实时采集电网基建现场工作人员作业视频数据，获取实时视频最新16帧rgb图像及计算这16帧rgb图像的光流图；
[0165]
分类识别模块用于将最新视频流和光流图输入至电网基建现场人体异常行为识别模型，得到行为分类结果输出；
[0166]
结果输出模块用于对分类识别模块的分类损失结果判断，若无异常发生，则返回继续执行电网基建现场人体异常行为检测任务；若有异常发生，则进行报警处理，然后继续执行电网基建现场人体异常行为检测任务。
[0167]
本发明的有益效果在于，与现有技术相比，
[0168]
(1)本发明采用基于双通道三维卷积神经网络的电网基建现场人体异常行为识别方法，在保证准确度的前期下，实现了电网基建现场人体异常行为的实时检测任务；
[0169]
(2)本发明不同于现有技术仅使用二维卷积网络构建特征提取器的方法，提出了一种基于三维卷积神经网络的特征提取器，且通过双通道的方式，分别提取视频的空间特征和时间特征，实现端到端融合，提取到的时间维度上视频序列间的时间特征。在兼顾实时
性和准确性的基础上解决了模型在电网基建现场人体异常数据上不能很好的学习视频帧间长时信息的问题；
[0170]
(3)本发明不同于现有技术采取决策级融合的方法，本发明在网络模型训练过程中对空间网络和时间网络进行特征融合而不是决策分数的融合。采取在 5b卷积层进行空间流特征与时间流特征的融合，通过特征融合的方法可以获得更高维度的信息，有利于正确率的提升。
[0171]
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。