一种基于卷积神经网络的电厂人员周界入侵检测方法与流程

本发明涉及计算机视觉，具体涉及一种基于卷积神经网络的电厂人员周界入侵检测方法。

背景技术：

1、在电厂中均会存在一些人员禁止入内的高风险区域，电厂往往会对这些危险区域进行人工增设围栏和警告牌，对现场的施工人员进行提醒和警告，但是往往有心存侥幸的工作人员因为缺乏安全意识或者贪图路近，会存在翻越围栏的违规行为，在攀爬围栏过程中可能存在摔伤、磕碰的危险。另外，如带有运煤轨道的煤场区域，一旦人员翻入围栏区域将会存在造成重大事故的隐患。

2、为防止上述事故发生，目前有很多传统的周界入侵检测技术，包括红外、泄露电缆、振动电缆、脉冲电子围栏、光纤围栏等。红外技术，其主要特点是采用对射的方式进行布防，在实际的运用中，经常会将多束红外光进行对射形成长排，即“红外栅栏”，一旦有人入侵周界，人体遮挡红外线信号，系统便会报警。电缆在户外周界入侵监测中应用也十分广泛，基于泄漏电缆传感器的入侵检测方案有误报率低、隐蔽性强的特点，并且不易受到环境和地形的影响。脉冲电子围栏由脉冲发生器发出和接收高压脉冲信号，与前端围栏组成智能型周界系统，当前端探知到围栏处于短路、断路等状态时，便触发报警系统。光纤围栏是一种分布式围栏传感系统，其原理是利用光纤作为传感介质，对光纤传感器布防范围内的对象进行远程和实时的安全监测。

3、上述周界安防检测技术虽然一定程度上起到了安防效果，但受自身技术条件限制存在诸多功能缺陷，如：可监测的距离短，单位距离成本高，在需要进行长距离监测的情况下，系统造价高昂；传感器单元的寿命较短，长时间连续使用，维护成本较高；干扰机会多(电磁干扰、信号干扰、串扰等)，灵敏性下降，误报率、漏报率上升；对于大范围监控，以上传统方案本身没有定位功能，遇上侵入行为，无法快速定位。这意味着无法及时、准确地确定危险地点，无法及时采取制止措施减少侵入行为导致事故损失。

技术实现思路

1、为解决上述问题，本发明提供一种基于卷积神经网络的电厂人员周界入侵检测方法，是基于深度学习中的人体关键点检测和图像分类方法，深度提取图像特征，融合网络模型，设置置信规则，输出更为准确的识别结果，具有价格低廉、效率高、实时检测、不漏死角的优势，节省人力，物力，财力，对周界防范问题的解决具有非常重要的意义。

2、本发明技术方案如下：

3、本发明提供了一种基于卷积神经网络的电厂人员周界入侵检测方法，包括算法模型训练和算法预测训练两个过程；

4、所述算法模型训练过程包括以下步骤：

5、s11、数据集准备及数据预处理：在电厂的监控数据库中，选取多个场景、多个角度的含有人员攀爬行为和正常行走的视频录像，按照一定的帧率间隔，对视频进行抽帧处理，选取正常行为和攀爬行为的视频帧；准备好人体关键点检测数据集并进行划分；

6、s12、构建特征提取神经网络：在vgg-16分类网络的基础上，设置卷积步长为2替代每层的池化结构(池化结构会降低目标检测、分割等任务特征提取能力)，增加残差结构，加深整体网络深度，为了增加网络的感知能力和特征提取能力，分别在网络的2、3、4层添加注意力模块和膨胀系数为2的膨胀卷积模块，增大有效特征过滤的能力和网络的感受野；

7、s13、构建关键点检测神经网络：关键点检测神经网络基于原始的openpose关键点检测算法，其算法原理为：首先通过卷积神经网络提取一张图片的部位置信特征图和部位亲和向量场特征图，然后将两者结合通过贪心推理和图方法匹配输出每个人的姿态，即：对于一张图像，首先找到画面中出现的所有人的全部关键点，然后对这些点进行分组，让同一个人的点匹配相连；

8、s14、关键点检测模型训练，构建模型数据集：将划分好数据比例的人体关键点检测数据集送入关键点检测神经网络和骨架提取网络，利用梯度下降法对模型训练迭代优化，并保存最优的模型训练权重w1；

9、s15、利用关键点生成的骨架图制作分类数据集；

10、s16、构建攀爬动作分类网络：攀爬动作分类网络采用两层全连接的神经网络；

11、s17、采用骨架数据集训练分类模型：将步骤s15中处理得到的骨架模型送入步骤s16中的网络进行训练，设置分类loss为交叉熵损失函数(crossentropy loss)；最后使用adam梯度下降法进行网络优化得到训练权重w2；

12、所述算法预测训练过程包括以下步骤：

13、s21、获取输入视频流；

14、s22、将特征提取神经网络、关键点检测神经网络和攀爬动作分类网络进行融合并增设判断攀爬行为逻辑：将三种网络模型融合并集成到程序中。对于识别出的关键点与人为划定的周界进行判断，计算有多少个关键点落入周界范围内；

15、s23、输出实时的预测结果。

16、根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤s11中，所述数据集采用开源ms coco人体关键点检测数据集，并将数据集按照8:1:1的比例划分为关键点检测模型的训练数据、验证数据和测试数据。

17、根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤s12中，所述注意力膨胀卷积模块算法流程如下：假设注意力膨胀卷积的输入是任意一个中间特征图f∈rh×w×c，f首先会输入模块的注意力层，经过全局平均池化操作压缩特征通道得到c×1×1的特征标识，之后通过基于简单的门机制和sigmoid激活函数，得到一维通道注意力图fc∈r1×1×c，在得到fc之后，fc会与输入特征图f作矩阵乘积运算得到加权后的特征图，之后将特征图送入级联的膨胀卷积层，最后得到经过注意力膨胀卷积模块之后的输出特征图，注意力图提取过程可以公式化如下：

18、

19、其中，σ1代表sigmoid激活函数，σ0代表relu激活函数，w*，b*分别代表卷积层的权重和偏置，代表元素乘积运算。

20、根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤s13中，所述关键点检测神经网络承接步骤s12中的特征提取神经网络得到的特征图，该步骤中的关键点提取模型首先会将特征图f送入一个初始关键点提取网络，其网络是由3×3的卷积和1×1卷积级联而成；这部分包括两个分支，分别对应生成的关键点热度图(keypointheatmap)和部分向量场热度图(paf heatmap)，之后是2组的关键点增强提取网路，其作用是为了进一步生成更加精确的特征图。原始的openpose是5组增强提取网络，通过实验发现，5层网络对准确率并没有太大的提升，因此本模块经过实验去掉3组模块，对模型的推理速度和精度做一定取舍。

21、进一步的，根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤s14中，所述关键点检测模型的训练loss如下：

22、

23、

24、其中，代表部位置信图标签，表示部位亲和向量场图标签，w(p)是一个二值掩码，当标注在图像的p缺失时，w(p)＝0。

25、根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤s15中，加载步骤s14中得到的权重w1，启动骨架生成模型对步骤s11中提取得到的电厂实际攀爬场景中的视频帧进行识别得到二值化的正常和攀爬行为的骨架图，并将两种类型的骨架图进行分类，打上类别标签，并按照训练集、验证集和测试集为8:1:1的比例制作成攀爬分类数据集。

26、根据本发明所述的基于集成混合模型的电厂再热烟气挡板操作预测方法，步骤s16中，所述两层全连接的神经网络，设置第一层网络的节点为(16384,100)，激活函数为relu，第二层网络的结点设置为(100,2)，分类网络的分类激活函数为softmax函数，将攀爬行为与正常行为进行分类优化。

27、8.根据权利要求1或7所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤s17中，所述交叉熵损失函数数学化公式为：其中q代表某像素点的真实值，p代表某像素点的预测值。

28、进一步的，根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤s17中，所述交叉熵损失函数数学化公式为：其中q代表某像素点的真实值，p代表某像素点的预测值。

29、根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤s21中，使用电厂中的枪机摄像头对几个具体场景布控，实时监测场景中作业人员的行为，程序将对多个摄像头进行多线程采集并将采集的视频数据进行抽帧处理，送入待预测图像队列。

30、根据本发明所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤s23中，将待预测图像队列送入融合之后的算法模型中，加载算法模型的权重，并根据步骤s22中设定的判断逻辑对攀爬越界行为进行计算，并实时展现预测结果。

31、根据本发明提出的基于卷积神经网络的电厂人员周界入侵检测方法，具有以下优点：(1)本发明采用基于深度学习的卷积神经网络算法，相较于传统的浅层机器学习算法，能够解决学习深度特征提取不足的问题，对数据特征进行深度提取，使风险诊断和预测结果更准确。(2)本发明使用残差结构加深特征提取网络的网络深度，使得提取到的特征更加充分、丰富。(3)本发明使用注意力模块，通过注意力层的掩码加权使得特征提取网络更加注重某些特征层和图像区域的关键特征，同时抑制图像背景等空间区域的无效特征。(4)在特征提取网络的每个注意力模块后使用膨胀卷积代替普通2d卷积操作，增大特征提取卷积的感受野，使得卷积单位范围能感知更大范围的特征区域，使特征下采样过程更加平滑。(5)本发明利用基于人体关键点检测和图像分类的方法，通过计算周界内人体关键点占比和攀爬行为检测的加权判别，增加了算法的鲁棒性和准确性。(6)本发明防周界入侵检测预警解决方案简单、方便、快捷，不需额外增加硬件传感设备，只需利用现场监控即可完成布控，施工维护简单，适用于大范围、远距离场景周界防入侵检测。(7)本发明可实时采集入侵周界相关数据进行智能分析，对周界范围内进行监控，用户可在视线区域内划定任意多边形虚拟周界，若有人闯入，则报警。只检测人形，误报率极低，不受环境干扰。(8)本发明可以实时调取监控，保存报警图像和报警时间，方便电厂工作人员纠察风险事件，与普通电子围栏方案相比，可做到有据可循。