一种输电线通道入侵目标识别告警方法与流程

1.本发明属于输电线路通道入侵异物的识别和告警领域，具体涉及一种输电线通道入侵目标识别告警方法。


背景技术：

2.输电线路通道是指由高压架空电力输电线路向两侧延展出的指定宽度的区域下方的带状区域。在该区域地面部分，进出人员以及相关农业或生产活动都受到严格限制；同时为了保证人身财产安全，在高压线周围，还需留有必要的净空间，从而让高压线的静电感应电场强度减弱到不危及人身安全的程度。例如一条单回500千伏超高压输电线路，杆塔高度要求在 30米以上，线路通道宽度约45米。
3.虽然正常情况下，人员和车辆等都会自觉避开输电设施；但是在电力输电线通道内进行必要的施工和电力设施检修时，因培训、监管不力，还是会存在部分超高工程车辆误闯入的情况，进而由此引发人员伤亡事故。因而十分有必要在电力输电线路通道内设置相关智能化的监控、识别、告警设备，以此及时提醒闯入人员，保障生命财产安全。


技术实现要素：

4.本发明的目的是提供一种能够解决输电线路通道中入侵目标的识别问题，从而保障生产、生活安全的输电线通道入侵目标识别告警方法。
5.为达到上述目的，本发明采用的技术方案是：
6.一种输电线通道入侵目标识别告警方法，用于对输电线路通道中的入侵异物进行识别并告警，所述输电线通道入侵目标识别告警方法包括以下步骤：
7.步骤1：利用双目测量系统获得所述输电线路通道的图像；
8.步骤2：对所述图像进行目标识别，从而识别出所述图像中的输电线和入侵异物；
9.步骤3：对所述图像中的所述输电线和所述入侵异物进行特征提取和特征匹配；
10.步骤4：基于特征提取和特征匹配的结果对所述输电线和所述入侵异物进行三维重建；
11.步骤5：基于三维重建的结果计算所述入侵异物与所述输电线之间的距离，判断所述距离是否小于预设的安全距离，若是则进行告警。
12.所述步骤2中，利用深度学习框架对所述图像进行目标识别，所述深度学习框架包括经域自适应网络训练的yolo v4检测器框架。
13.所述步骤2中，所述yolo v4检测器框架提取三个不同尺度的特征，所述域自适应网络将所述yolo v4检测器框架提取的三个不同尺度的所述特征作为输入，且三个所述特征分别通过对应的三个梯度逆转层接入所述域自适应网络，每个所述特征在所述域自适应网络中分别经过两个卷积层预测域类别概率后，再经过域分类器层计算域分类损失，所述域分类损失的计算函数为：
[0014][0015]
其中ti为第i个训练图像的ground truth域标签，ti＝1时，为源域；ti＝0时，为目标域；为第i个训练图像在位置(x,y)处的特征图。
[0016]
所述yolo v4检测器框架通过最小化损失函数来优化其主干网络，其中，为检测损失函数，λ为所述梯度逆转层的一个负标量。
[0017]
所述步骤3中，提取所述输电线的边缘和所述入侵异物的特征点，并对所述双目测量系统采集到的两幅所述图像中的同一特征点进行匹配。
[0018]
所述步骤3中，利用hough变换直线检测法提取所述输电线的边缘，利用sift特征提取算法提取所述入侵异物的特征点。
[0019]
进行特征匹配时利用ransac算法剔除两幅所述图像中的误匹配点。
[0020]
所述步骤4中，利用双目立体视觉三维测量法求取进行特征提取所提取的特征点的三维空间坐标，将所述输电线视作由若干特征点构成的直线并求取相应的直线方程，从而对所述输电线和所述入侵异物进行三维重建。
[0021]
所述步骤5中，利用空间中点到直线的距离计算公式，计算所述入侵异物上的特征点到所述输电线的特征点所在直线之间的距离。
[0022]
所述步骤5中，利用所述入侵异物上的特征点到所述输电线的特征点所在直线之间的距离的最小值判断其是否小于预设的安全距离。
[0023]
由于上述技术方案运用，本发明与现有技术相比具有下列优点：本发明实施简单、可实施性较强；能够实现全程智能化的监控、识别、告警，极大降低人工运维负担。
附图说明
[0024]
附图1为本发明的输电线通道入侵目标识别告警方法的流程图。
[0025]
附图2为本发明的输电线通道入侵目标识别告警方法中采用的深度学习框架的结构图。
[0026]
附图3为输电线路通道异物入侵示意图。
具体实施方式
[0027]
下面结合附图所示的实施例对本发明作进一步描述。
[0028]
实施例一：如附图1所示一种用于对输电线路通道中的入侵异物进行识别并告警的输电线通道入侵目标识别告警方法，包括以下步骤：
[0029]
步骤1：图像获取
[0030]
利用双目测量系统获得输电线路通道的图像。
[0031]
在电力线塔杆附近搭建双目摄像机来构成双目测量系统，用于拍摄获取输电线路通道范围内的图像，双目测量系统的双目摄像机能够在同一时刻分别从不同的拍摄位置对目标区域进行拍摄，即可以同时获得目标区域的两幅图像。所采用的双目测量系统既可以采用市面上现有的双目摄像机产品，也可以通过两台摄像机自行搭建。
[0032]
步骤2：目标识别
[0033]
对图像进行目标识别，从而识别出图像中的输电线和入侵异物。
[0034]
在该步骤中，基于所获得的两幅图像，利用深度学习框架对图像中的输电线和入侵异物 (例如闯入输电线路通道内的工程车辆等)进行目标识别。深度学习框架采用多尺度自适应深度学习框架，其包括经域自适应网络训练的yolo v4检测器框架，通过在yolo v4检测器的不同尺度上使用多个域自适应路径和相应的域分类器，生成域不变特征。
[0035]
如附图2所示的深度学习框架，其在yolo v4检测器框架的基础上，增加一个域自适应网络。yolo v4检测器框架提取三个不同尺度的特征，其包括三个主要部分，分别为主干网络、瓶颈模块和预测模块。主干网络负责提取所输入图像不同尺度下的多层特征，包括特征 f1、f2和f3；瓶颈模块通过上采样层将主干网络中提取到的三种不同尺度的特征(f1、f2 和f3)聚集在一起，并将它们输入预测模块；预测模块计算待识别目标周围的边界框以及与每个边界框相关联的类别概率，由此实现图像中目标的检测识别。域自适应网络仅在训练时附加到yolo v4中，以学习域不变特征；而在训练完成后，仍然使用原本的yolo v4检测器(不附加域自适应网络)进行目标检测识别。
[0036]
域自适应网络将yolo v4检测器框架提取的三个不同尺度的特征f1、f2和f3作为输入，且三个特征分别通过对应的三个梯度逆转层接入域自适应网络。在每个尺度上，每个特征在域自适应网络中分别经过两个卷积层预测域类别概率后，再经过域分类器层计算域分类损失。具体的，梯度逆转层之后分别连接有两个卷积层，其中第一个卷积层将特征通道减少一半，也即特征f1所对应的第一个卷积层为128通道、特征f2所对应的第一个卷积层为 256通道、特征f3所对应的第一个卷积层为512通道，三个特征对应的第二个卷积层均为1 通道，用来预测域类别概率；最后，卷积层后连接域分类器层，利用域分类器层计算域分类损失。
[0037]
域分类损失的计算函数为：
[0038][0039]
其中ti为第i个训练图像的ground truth域标签，ti＝1时，为源域；ti＝0时，为目标域；为第i个训练图像在位置(x,y)处的特征图。通过最小化上述损失函数，来区分源域和目标域。
[0040]
在yolo v4检测器框架中，通过最小化检测损失函数来进行优化。而另一方面，对于域分类损失函数则是，通过最小化优化域自适应网络、最大化优化主干网络，也即采取的是一种对抗学习策略；因此最终yolo v4检测器框架通过最小化损失函数来优化其主干网络，其中，为检测损失函数，λ为梯度逆转层的一个负标量，用来平衡检测损失函数和域分类损失函数
[0041]
通过上述改进后的yolo v4检测器框架，能够提升目标域的检测性能，适用于电力输电线通道所在复杂环境下的异物目标检测识别。
[0042]
步骤3：特征提取
[0043]
对图像中的输电线和入侵异物进行特征提取和特征匹配，具体为提取输电线的边缘和入侵异物的特征点，并对双目测量系统采集到的两幅图像中的同一特征点进行匹配。由于双目摄像机是同时采集两个拍摄位置下的图像，故在分别提取出两幅图像中目标物的
特征点后，还要对两幅图像中的同一特征点进行匹配。
[0044]
3.1输电线的边缘提取
[0045]
输电线可近似看成是一条直线，并且在图像中由若干特征点连接而成。该步骤中，利用 hough变换直线检测法提取输电线的边缘。首先利用canny边缘提取算法，提取出输电线的 roi区域(感兴趣区域，图像识别领域的术语)图像边缘，之后利用高斯函数平滑所提取的边缘轮廓，使得对图像噪声具有较强的鲁棒性；之后通过hough变换，提取输电线图像边缘。
[0046]
对于两幅图像中提取到的输电线边缘，利用对极几何约束，并结合ransac算法剔除两张图像中的误匹配点，实现两张图像间特征点的精确配准。
[0047]
3.2入侵异物的特征点提取
[0048]
为减小外部环境光线对特征提取的影响，利用sift特征提取算法提取入侵异物的roi 区域内的特征点，之后利用ransac算法剔除两幅图像中的误匹配点，实现两张图像间的 sift特征点的精确配准。
[0049]
步骤4：三维重建
[0050]
基于特征提取和特征匹配的结果对输电线和入侵异物进行三维重建。
[0051]
该步骤利用双目立体视觉三维测量法求取进行特征提取所提取的特征点的三维空间坐标，将输电线视作由若干特征点构成的直线并求取相应的直线方程，从而对输电线和入侵异物进行三维重建。
[0052]
双目立体视觉三维测量法是基于视差原理，假定双目摄像机的两个镜头分别为“左镜头”和“右镜头”，并且两镜头所拍图像在同一平面上；对于空间中同一特征点p，设其在实际三维空间中的坐标为(xc，yc，zc)，并且特征点p在左镜头拍摄图像上的坐标 p
l
＝(x
l
，y
l
)、在右镜头拍摄图像上的坐标pr＝(xr，yr)，则：
[0053][0054]
其中，f为摄像机镜头的焦距，b为基线距离，即两镜头投影中心连线的距离。
[0055]
根据视差d＝x
l-xr，则特征点p的三维坐标可由公式：
[0056][0057]
计算得到。
[0058]
通过上述方法，便可得到各个特征点所在的三维空间坐标；其中对于输电线，通过确定出其中特征点的空间坐标，便可得到其在实际三维空间中的直线方程ax+by+cz+d＝0；
而对于入侵异物，则只需通过判断zc的大小确定其最高位置的特征点。
[0059]
步骤5：距离计算和判断
[0060]
基于三维重建的结果计算入侵异物与输电线之间的距离，判断距离是否小于预设的安全距离，若是则进行告警。
[0061]
在已知输电线以及入侵异物在三维空间中的位置信息后，利用空间中点到直线的距离计算公式，计算入侵异物上的特征点到输电线的特征点所在直线之间的距离。
[0062]
如附图3所示，将输电线视作直线，设其中第i条输电线的直线方程为 aix+bix+ciz+di＝0，设入侵异物最高位置的特征点坐标为(x0，y0，z0)，则入侵异物距离第 i条输电线的距离为：
[0063][0064]
依次求取入侵异物距离每条输电线的距离，利用入侵异物上的特征点到各条输电线的特征点所在直线之间的距离的最小值判断其是否小于预设的安全距离，即通过比较得到其中最小距离：
[0065]dmin
＝min(di)
[0066]
最后通过判断最小间距d
min
是否小于规定的安全距离，来判定电力输电线通道是否存在安全隐患，并发出相应告警信息。
[0067]
本发明提供了一种输电线通道入侵目标识别告警方法，通过在输电线通道监控范围内架设双目摄像机，之后通过图像识别技术识别出图像中的目标物，并基于双目立体视觉三维测量法，依据双目摄像机所采集到的两个不同拍摄位置下的图像，重建出目标物在三维空间中的位置信息，最终以此计算得到入侵异物至输电线的距离，从而以距离精确判断出是否存在异物入侵风险。其有益效果在于：(1)所需硬件设备相对较为简单，主要硬件设备仅为双目摄像机，且双目摄像机属于现有成熟产品，因此本发明的识别告警方法可实施性较强；(2) 能够实现全程智能化的监控、识别、告警，极大降低人工运维负担。
[0068]
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。