一种输电线防外破的车辆识别与危险行为判别系统与方法与流程

本发明属于电力供应技术及其智能化领域，具体涉及一种输电线防外破的车辆识别与危险行为判别系统与方法。

背景技术：

高压输电线路具有覆盖范围大、分布区域广、传输距离长、自然和地理条件复杂多变、破坏源头多等特点，它们给线路的日常运行、维护和检修带来极大挑战，特别是杆塔或线路附近的泵车、工程车等大型车辆经过、附近吊车施工等潜在的外破行为给输电线路的正常运行造成威胁。

近来年，各种新的技术和装备不断引入用于对电力设施的外破行为进行自动检测和预警，基于机器视觉的模式识别方法是一种重要的方法。

目前，主流的应用于输电线路防外破预警系统的模式识别的方法是SIFT特征提取、SVM分类为主，用于识别大型施工车辆，该方法使用SIFT方法提取前景区域的颜色和角点，再使用预先训练好的SVM分类器进行车型判断。但该方法的缺陷是特征向量的维数过高，容易产生“维数灾难”，另SIFT提取的特征由人工设计，很难描述复杂场景下的车辆特征，适应性差、泛化能力较差、识别精度较低、预警可靠性不足。

技术实现要素：

本发明的目的是提出一种基于联合前后端的深度学习方法，针对输电线环境的大型施工车辆识别与危险行为分析方法，该方法结合前端智能和后端分析，深度学习中后端实现模型训练，前端实现分类判别。本发明既降低了前端训练模型的复杂度，又解决后端智能分析中海量视频数据传输问题、实时性问题、准确率问题，可实时实现各种对线路构成潜在危害的车辆和行为进行预警、阻止作用。

为实现上述目的，本发明采用的技术方案为一种输电线防外破的车辆识别与危险行为判别系统，该系统包括输电线路前端的智能防外破预警装置、后端的中心管理平台和移动客户端，中心管理平台通过3/4G网络与输电线路智能防外破预警装置通信，移动客户端通过3/4G网络与输电线路智能防外破预警装置和中心管理平台通信，前端的智能防外破预警装置和后端的中心管理平台分别装有深度学习模块，该前、后端的深度学习模块协作运行，完成传输线防外破的车辆识别与车辆危险行为预警判别。

进一步，上述前端输电线路智能防外破预警装置由3/4G智能摄像机、太阳能电池板、电源控制器、蓄电池组成。

上述3/4G智能摄像机由视频成像模块、深度学习模块、预警模块、PTZ模块、压缩模块、存储模块及通信模块部件组成，视频成像模块实现图像采集与预处理；预警模块实现预警信息管理与信息上报；PTZ模块实现摄像机上下左右转动和镜头拉近或拉远，调整摄像机视野；压缩模块实现对包含大型施工车辆的原始YUV数据压缩为JPEG图片和H.264/5视频；存储模块实现对压缩后的图片和视频在SD存储介质上进行存储和基于预警事件和时间戳的索引。

进一步，深度学习算法分别部署于系统的前、后端，后端的中心管理平台实现深度学习算法中网络模型的建模、标注、训练，调整后端的深度学习网络网络模型及参数，并定时在线将最新的深度学习网络模型及参数传送到前端；前端收到后端发来的深度学习网络模型及参数后更新前端智能摄像机的深度学习网络及参数；前端的智能摄像机抓拍监测点过往车辆的图像，对采集的图像采用实时更新深度学习网络模型与参数进行分类识别和行为分析，判别出危险情况时，在线预警并将预警事件、图片及发生预警的车辆过往时前后短视频进行时间戳标注、压缩、存储并发往后端中心管理平台。

前端智能摄像机中的深度学习模块的模型及参数配置是动态可调整的，其根据后端中心管理平台发来的数据及参数进行模型及参数更新。

前端的深度学习网络实现图像前景区域中自动检测车辆、自动提取特征、分类处理、行为分析，完成对输电线路监测点的过往大型施工车辆识别与危险行为的判别预警。

后端的中心管理平台确定深度学习网络的层数和卷积核大小，根据不同天气条件及车型训练深度学习网络，获得相关参数；深度学习网络采用经过压缩降维的亚采样像素特征、颜色分布特征、纹理特征、结构特征、运动特征，可识别各类工程车辆及其危险行为。

后端中心管理平台基于深度学习的工程车辆识别方法实现包括背景建模、目标检测、车型分类、车辆行为分析在内的训练和识别。

在前端的深度学习网络模型及参数更新期间，前端进行完全录像、标注后传输到后端中心管理平台，由后端的深度学习网络完成车辆检测与识别，确保不漏检。

本发明还进一步提供一种实现上述输电线防外破的车辆识别与危险行为判别系统的判别方法，具体包含以下步骤：

步骤1，后端中心服务器确定深度卷积神经网络层数和卷积核大小，使其能识别输电线塔架周围的工程车车辆以及经过、逗留与危险行为；

步骤2，训练深度卷积神经网络，具体的步骤如下：

步骤21，采集在不同天气、时段下的不同车型图片作为训练的样本，并进行标注、参数化；

步骤22，对样本图像进行预处理；

步骤23，训练深度卷积神经网络；

步骤24，得到深度卷积神经网络的参数；

步骤25，将参数传递给前端深度卷积神经网络；

步骤26，智能摄像机获得经过训练的深度卷积分神经网络模型和分类器；

步骤3，前端的智能摄像机进行目标获取和识别，具体的步骤如下：

步骤31，获取实时图像；

步骤32，对获取到的图像进行预处理；

步骤33，采用混合神经网络进行背景建模和前景识别；

步骤34，训练好的深度卷积神经网络对识别出的前景进行特征提取；

步骤35，深度卷积神经网络提取的特征由训练好的分类器进行分类；

步骤36，输出前景是否为工程车和车辆危险行为判别结果。

与现有技术相比，本发明具有以下有益技术效果：

1，本发明中，前端的深度学习模块的模型和参数由后端训练后提供和在线更新，后端中心管理平台确定深度学习网络的层数和卷积核大小，并对深度学习网络进行训练，这样可以避免前端深度学习网络的训练代价，降低了前端系统复杂。

2，本发明可以解决后端智能分析中海量视频数据传输问题、实时性问题、准确率问题，可实时实现各种对线路构成潜在危害的车辆和行为进行预警、阻止作用。

附图说明

图1为输电线路智能防外破预警系统的系统图。

图2为3/4G智能摄像机功能模块图。

图3为大型施工车辆的训练流程图。

图4为大型施工车辆的识别流程图。

图5为深度卷积神经网络结构示意图。

图6为深度学习降维建模流程图。

具体实施方式

现结合附图对本发明作进一步详细的说明。

本发明提供一种用于输电线路防外破预警的大型车辆检测与行为判别系统，图1是系统组成示意图。该系统由前端的输电线路智能防外破预警装置、后端的中心管理平台和移动客户端组成；中心管理平台通过3/4G网络与输电线路智能防外破预警前端装置通信，前端的输电线路智能防外破预警装置由3/4G智能摄像机、太阳能电池板、电源控制器、蓄电池组成。

其中，3/4G智能摄像机由视频成像、深度学习、预警、PTZ、压缩、存储等部件组成，如图2所示。3/4G智能摄像机由视频成像、深度学习、预警、PTZ、压缩、存储及通信等部件组成，前端智能摄像机成像模块实现图像采集与预处理，聚焦、白平衡、曝光、噪声处理；预警模块实现预警信息管理与信息上报；PTZ实现摄像机上下左右转动和镜头拉近或拉远，调整摄像机视野，压缩实现对包含大型施工车辆的原始YUV数据压缩为JPEG图片和H.264/5视频，存储实现对压缩后的图片和视频在SD存储介质上进行管理存储。中心管理平台中包括深度学习功能模块和信息管理模块等部件。

系统采用深度学习网络实现大型施工车辆的监测及危险行为的判别，深度学习网络采用经过压缩降维的亚采样像素特征、颜色分布特征、纹理特征、结构特征、运动特征，实现背景建模、目标检测、车型分类、车辆行为分析的训练，可识别挖掘车、泵车、吊车、工程车等车辆及其危险行为；

在系统的前后端建立深度学习模块，前端智能摄像机中的深度学习网络模型及参数配置是动态可调整的，前端深度学习网络实现图像前景区域中自动检测车辆、自动提取特征、分类处理、行为分析，完成对传输线路监测点的过往大型施工车辆进行识别与危险行为的判别预警。

后端中心管理平台确定深度学习卷积神经网络的层数和卷积核大小，完成前后端深度学习算法的建模和训练，对深度学习算法进行标注，训练，调整深度学习模型及参数，并定期在线将深度学习网络模型及参数传送到前端；后端中心管理平台深度学习网络同样检测车辆、提取特征、分类处理、行为分析，对传输线路监测点视频的过往大型施工车辆进行识别与危险行为的判别预警。

本发明还进一步提供一种用于输电线路防外破预警的大型车辆检测与行为判别方法，后端中心管理平台接收前端传输来的预警车辆图像和短视频和前端更新期间的视频，进行标注，训练，根据实际情况调整前后端深度学习网络的模型和参数，定期在线将最新的深度学习模型及参数传送到前端；前端收到后端发来的模型和参数后更新前端智能摄像机的深度学习神经网络及参数；在前端算法模型及参数更新期间，前端进行完全录像、标注后传输到中心管理平台完成车辆检测与识别，确保不漏检。

前端的输电线路智能防外破预警装置中的摄像机抓拍监测点过往车辆的图像、对采集的图像采用深度学习方法进行分类识别；发生危险时将预警信息发往相关手机和中心管理平台，同时将发生预警的车辆过往时前后短视频进行时间戳标注、压缩、存储并发往后端中心管理平台。所述的前后端协作的深度学习网络实现输电线路防外破预警的大型车辆检测与行为判别方法的主要步骤：

步骤1，确定深度卷积神经网络层数和卷积核大小，使其能识别输电线塔架周围的挖掘车、泵车、吊车、工程登高车等车辆经过、逗留与危险行为；

步骤2，训练深度卷积神经网络，其示意图如图3，步骤如下：

步骤21，采集在不同天气(晴天，雨、雪、雾霾等恶劣天气)下的不同车型图片，作为训练的样本，并进行标注、参数化；

步骤22，对样本图像进行预处理；

步骤23，训练深度卷积神经网络；

步骤24，得到深度卷积神经网络的参数；

步骤25，将参数传递给前端深度卷积神经网络；

步骤26，获得经过训练的深度卷积分神经网络和分类器。

步骤3，前端智能摄像机进行目标获取和识别，其示意图如图4，步骤如下：

步骤31，获取实时图像；

步骤32，对获取到的图像进行预处理；

步骤33，采用混合神经网络进行背景建模和前景识别；

步骤34，训练好的深度卷积神经网络对识别出的前景进行特征提取；

步骤35，深度卷积神经网络提取的特征由训练好的分类器进行分类；

步骤36，获取前景是否为挖掘车、泵车、吊车的结果。

所述的深度卷积神经网络(DCNN)其结构示意图如图5所示，包括输入层、卷积层、次抽样层、全连接层、输出层。输入层为车型图片和实际自然场景；卷积层包含多个特征图，特征图中的每个神经元与前一层的局域感受野连接，并与具有学习能力的卷积核进行卷积获取局部特征，由激活函数输出得到该层的特征图，卷积层的计算公式和激活函数分别为：

其中l为网络层数，k为卷积核，M_j为输入层的感受野，b为每个输出图的一个偏置值，e为自然指数，约取2.71828。

次抽样层是对输入层进行采样，降低输入特征图的分辨率，减小特征维数，次抽样层的公式为：

其中down(.)为池化函数，β为权重系数。

卷积层和次抽样层用于提取输入图像的特征，并将其全部反馈到全连接层进行特征分类，由输出层输出最终结果。

为了提高运行效率和减低运算复杂度，深度学习神经网络需要进行降维建模，其流程如图6所示：

步骤1：采集原始图像像素作为输入数据；

步骤2：设置初始节点数，比如2000；

步骤3：根据色彩分布于纹理特征设置第二层神经网络初始节点，比如1000；

步骤4：根据运动信息设置第三层神经网络初始节点，比如500；

步骤5：输出降维后的特征空间数据；

步骤6：卷积运算输出特征图；

步骤7：通过非线性处理输出矫正特征图；

步骤8：最大池化输出池化特征数据；

步骤9：进入车辆分类器，输出车辆类型识别结果。

需要说明的是，虽然本发明已以较佳实施例公开如上，但上述实施例内容并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰同样属于本发明之保护范围。