本发明属于图像处理和模式识别技术领域，特别涉及一种基于远距离拍摄图像的震区电线杆判断方法和系统。
背景技术：
地震救援是指在地震发生后迅速组织人力、物力、财力进行被地震破坏地区重要设施、财产以及生命的搜索、维护及营救等的有效行动。在地震发生初期，进行地震灾区基础设施的勘察，并迅速制定灾害救援方案是现代灾害救援技术发展的重要趋势。采用信息技术手段进行地震灾区的道路、桥梁、电力系统、水利系统、通讯系统等基础设施的勘测，并进行地震破坏程度的评估，能够为后期灾害救援方案的设计提供重要依据。
近年来旋翼无人机技术得到快速发展，在灾害救援(如公开号为cn107464046a，发明名称为“一种基于无人机的地质灾害监测评估系统”的中国专利文件；公开号为cn206460335u，发明名称为“一种野外搜救无人机”的中国专利文件；公开号为cn107145146a，发明名称为“用于灾区搜救的无人机及其搜救方法”的中国专利文件；公开号为cn106598067a，发明名称为“基于多无人机的联合医学灾害救援系统及方法”的中国专利文件)、城市管理与基础设施维护(如公开号为cn107392901a，发明名称为“一种用于输电线路部件智能自动识别的方法”的中国专利文件；公开号为cn107352032a，发明名称为“一种人流量数据的监控方法及无人机”的中国专利文件；公开号为cn107356339a，发明名称为“一种无人机光伏电站检测方法”的中国专利文件；公开号为cn107293125a，发明名称为“一种基于无人机的逃逸车辆识别跟踪系统”的中国专利文件；公开号为cn107094245a，发明名称为“一种人工智能无人机城市管理目标识别与报警推送系统”的中国专利文件；公开号为cn107396051a，发明名称为“一种采用无人机进行人脸识别监控的方法”的中国专利文件；公开号为cn107330380a，发明名称为“基于无人机航拍影像的车道线自动提取和识别方法”的中国专利文件)以及环境监测与保护领域(如公开号为cn107449780a，发明名称为“基于无人机的水面污染物监测预警方法及系统”的中国专利文件；公开号为cn107292339a，发明名称为“一种无人机山火勘探控制方法及系统”的中国专利文件；公开号为cn106485200a，发明名称为“环保无人机用的水面物体识别系统及其识别方法”的中国专利文件；公开号为cn106970050a，发明名称为“无人机载多波段光电溢油智能检测系统”的中国专利文件)等方面得到广泛应用。
传统无人机系统的应用主要采用多种成像传感器进行地物信息的收集，并采用图像处理与模式识别技术进行所采集信息的处理。通过比较现有专利与公开发表的文献可以看出，针对地震灾害救援领域的应用，传统方法仍然存在一定的不足。首先，在系统装备方面，传统方法所采用的无人机系统与成像传感系统装备体积较大、重量较重，不太适合于灾害救援队的单兵使用；其次，在系统信息处理能力方面，传统方法主要针对近距离目标或远距离大场景地物进行数据处理与分析，这种情况下要么是大气环境对成像影响较弱，要么虽然大气会对成像产生一定影响，但系统对图像处理的精细程度要求较低。
技术实现要素：
为了至少解决在远距离拍摄地物时大气环境对成像影响较大，进而影响后续的地物识别及判断，本发明一方面提供了一种基于远距离拍摄图像的震区电线杆姿态判断方法，其包括：种基于远距离拍摄图像的震区电线杆姿态判断方法，其特征在于，所述方法包括如下步骤：步骤s1，获取由无人机上搭载的成像传感器采集的震区地面图像，所述无人机的飞行航迹与电线杆间的距离大于1公里；步骤s2，对所述震区地面图像进行成像环境感知计算以得到感知结果，根据所述感知结果对所述震区地面图像进行图像增强处理以得到增强图像；步骤s3，识别所述增强图像中的电线杆，并判断识别出的电线杆的空间姿态。
在如上所述的震区电线杆姿态判断方法中，优选地，在步骤s2中，所述对所述震区地面图像进行成像环境感知计算以得到感知结果，包括：根据所述震区地面图像获取所述震区地面图像的图像质量特征参数；根据所述图像质量特征参数得到感知结果。
在如上所述的震区电线杆姿态判断方法中，优选地，所述图像质量特征参数包括：图像模糊度mb、图像对比度mc、图像熵值me和图像空间梯度msg；所述感知结果miq由以下公式得到，
miq＝w1×(1-m′b)+w2×m′c+w3×m′e+w4×m′sg
m′b、m′c、m′e、m′sg分别为对mb、mc、me、msg进行归一化处理后得到的结果，w1、w2、w3、w4均为权重且均∈[0,1]；其中，m′b指标越大表征图像越模糊，mc指标越大表征图像区域反差越大，me指标越大表征细节越丰富，msg指标越大表征边缘越清晰。
在如上所述的震区电线杆姿态判断方法中，优选地，在步骤s2中，所述根据所述感知结果对所述震区地面图像进行图像增强处理以得到增强图像，包括：基于小波域图像增强方法对所述震区地面图像进行图像增强处理以得到增强图像，其中，小波域图像增强方法中涉及的控制参数根据所述感知结果得到。
在如上所述的震区电线杆姿态判断方法中，优选地，所述计算效果控制参数包括小波系数中的低频分量和高频分量中的参数。
在如上所述的震区电线杆姿态判断方法中，优选地，在步骤s3中，所述识别所述增强图像中的电线杆，包括：采用深度学习神经网络对所述增强图像中的电线杆进行识别。
在如上所述的震区电线杆姿态判断方法中，优选地，在步骤s3中，所述判断识别出的电线杆的空间姿态，包括：基于hough变换直线检测的方法检测识别出的电线杆两侧的外轮廓直线以确定所述电线杆两侧的外轮廓直线的中间线；根据所述中间线与含有此电线杆的震区地物图像的上、下边缘的夹角判断识别出的电线杆的空间姿态。
在如上所述的震区电线杆姿态判断方法中，优选地，在步骤s3之后，所述方法还包括：步骤s4，若判断出电线杆的空间姿态为倾斜或倾倒姿态，则输出报警信息，以使所述无人机在地面操作人员的控制下飞抵电线杆的正上方，并获取当前位置处的位置信息。
在如上所述的震区电线杆姿态判断方法中，优选地，所述无人机为旋翼无人机。
本发明另一方面提供了一种基于远距离拍摄图像的震区电线杆姿态判断系统，其包括：成像传感器、无人机和地面控制终端；所述成像传感器用于对震区地物进行拍摄以采集震区地面图像；所述无人机搭载有所述成像传感器，与所述成像传感器电连接，用于在震区上方以与震区内电线杆相隔大于1公里的距离飞行，并将所述震区地面图像回传至所述地面控制终端，优选地，所述无人机为旋翼无人机；所述地面控制终端用于获取所述震区地面图像，对所述震区地面图像进行成像环境感知计算以得到感知结果，根据所述感知结果对所述震区地面图像进行图像增强处理以得到增强图像，识别所述增强图像中的电线杆，并判断识别出的电线杆的空间姿态。
本发明实施例提供的技术方案带来的有益效果是：
(1)本发明所提出方法的环境适应性较强。采用可见光相机拍摄远距离地物，所采集的图像极易受复杂大气环境的影响，发生严重的图像降质与退化，进而对后续图像识别算法的计算产生极大的影响。为克服上述问题，本发明在方法设计中采用图像质量评估特征进行环境感知计算，并以此计算结果作为图像增强算法增强效果自适应控制的依据，有效提高了整体算法的环境适应性。
(2)本发明所提出方法的识别精度较高。在原始图像数据采集较差的情况下，远距离拍摄的电线杆在图像中往往只占几十个像素，传统的特征提取算法很难在这种情况下提取到足够多的特征用来进行水泥电线杆的识别。深度学习神经网络则可以在同等条件下实现更高的识别率，同时可以有效克服局部遮挡、复杂光线变化等问题。
附图说明
图1为本发明实施例提供的一种基于远距离拍摄图像的震区电线杆姿态判断方法的流程示意图；
图2为本发明实施例提供的另一种基于远距离拍摄图像的震区电线杆姿态判断方法的流程示意图；
图3为本发明实施例提供的一种电线杆的中间线与左、右外轮廓线(左轮廓线与外轮廓线有夹角的情况)的示意图；
图4为本发明实施例提供的另一种电线杆的中间线与左、右外轮廓线(左轮廓线与外轮廓线平行的情况)的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
发生地震灾害后，地震灾区环境中电力基础设施的电线杆的空间姿态会发生变化，如由竖直姿态变为倾倒或倾斜姿态，也就是说，电线杆与水平面之间的夹角发生了变化，从而会影响到震区电力的输送。为了在震后迅速掌握电线杆的空间姿态，通常采用搭载成像传感器的无人机对震区地物(即地面上的物体)电线杆进行勘察。如果成像传感器与电线杆距离太近，电线杆在图像中显示太大，充满了整个视场则无法判断其姿态。同时基于存在因碰撞电线产生潜在坠机风险的考虑，无人机必须与电线杆距离一定的距离，因此导致拍摄距离较远。由于拍摄距离较远，存在变化的光线及雾气条件的大气将对成像传感器的拍摄结果产生较大影响，所拍摄的图像会发生严重的图像降质与退化，同时电线杆在成像视场中显示太小，从而对后续图像的识别及判断的计算产生极大的影响。
为了提高对震区环境的适应性，尤其是变化的光线及雾气环境，参见图1，本发明实施例提供了一种基于远距离拍摄图像的震区电线杆姿态判断方法，其包括如下步骤：
步骤s1，获取搭载于无人机上的成像传感器采集的震区地面图像，成像传感器与震区内电线杆间的距离大于1公里。
地震发生后，震区环境恶劣，存在着诸多不安全因素。为了获取震区内电线杆的图像，因固定翼无人机的体型较大，优选采用旋翼无人机，其具有小型、轻便和便于救援人员携带的优点，如四旋翼无人机，控制其在震区中飞行，对震区地面图像进行拍摄以采集数据，拍摄后采集的图像回传到终端，由终端进行处理。飞行时，旋翼无人机为低空飞行，此时称旋翼无人机为低空旋翼无人机。低空飞行是指旋翼无人机的离地飞行高度不超过15米。拍摄时，旋翼无人机在震区上空可悬停飞行或低速巡航飞行。成像传感器优选为可见光运动相机。需要说明的是：成像传感器与电线杆之间的距离大于1公里即无人机的飞行航迹与电线杆之间的距离大于1公里。实际应用时，保证成像传感器与电线杆之间的间距大于1公里的方法主要有两种：一种是起飞前在地面站软件中设置好飞行航迹，在设置飞行航迹的过程中，根据电力系统提供的已知的电线杆的位置，可以控制无人机的飞行航迹与电线杆间的距离大于1公里；另一种是通过操作人员手动控制无人机的飞行航迹。
步骤s2，对震区地面图像进行成像环境感知计算以得到感知结果，根据感知结果对震区地面图像进行图像增强处理以得到增强图像。即采用了具有成像环境感知机制的图像增强方法进行图像增强处理，如此可以突出所采集图像中的细节信息并降低自然光照对成像产生的不利影响，提高本方法的环境适应能力。
其中，该步骤中的对震区地面图像进行成像环境感知计算以得到感知结果，包括但不限于：
根据震区地面图像获取震区地面图像的图像质量特征参数，根据图像质量特征参数得到感知结果。即通过对自然光照环境的分析(图像质量特征)进行成像环境感知计算。
具体地，图像质量特征参数包括：图像模糊度、图像对比度、图像熵值和图像空间梯度。在其他的实施例中，还可以在前述四种参数的基础上再包括以下一种或几种：图像亮度、图像高反光区域特征参数和图像噪声级。
其中，图像模糊度mb表征图像的边缘模糊度水平，其指标越大(即值越大)表征图像越模糊，可由公式(1)获得。
该式中，i(xi1,yi1)、i(xi2,yi2)为像素(xi1,yi1)与(xi2,yi2)位置处梯度方向图像灰度值；(xi1,yi1)与(xi2,yi2)表示位置信息；θ表示图像区域；wi为像素(xi1,yi1)与(xi2,yi2)位置处的梯度扩散边缘的大小。
图像对比度mc表征图像区域反差性能，其指标越大(即值越大)表征图像区域反差越大，可由公式(2)获得。
该式中，k表示采样块个数，
图像熵值me表征图像细节信息，其指标越大(即值越大)表征细节越丰富，可由公式(3)获得。
该式中，p(i)表示灰度值为i的像素数与图像总像素数的比值，l表示参与计算点的个数。
图像空间梯度msg表征图像的边缘信息，其指标越大(即值越大)表征边缘越清晰，可由公式(4)和(5)获得。
在公式(4)和(5)中，fx和fy是sobel算子沿水平和竖直方向的梯度值，(i，j)表示像素的位置，l表示参与计算点的个数。
将几种图像质量特征参数分别进行归一化处理后再进行加权计算，以获得对图像质量特征的综合评估指标即感知结果。以上述4种图像质量特征参数为例，对感知结果miq的计算方法进行说明，如公式(6)和(7)所示：
miq＝w1×(1-m′b)+w2×m′c+w3×m′e+w4×m′sg(6)
该式中，m′b、m′c、m′e、m′sg分别为对mb、mc、me、msg进行归一化处理后的特征计算结果，即m′b∈[0，1]、m′c∈[0，1]、m′e∈[0，1]、m′sg∈[0，1]；w1、w2、w3、w4均为权重且均∈[0，1]，优选地，w1＝0.3、w2＝0.35、w3＝0.25、w4＝0.1。由上述可得miq∈[0，1]。
其中，在该步骤中，根据感知结果对震区地面图像进行图像增强处理以得到增强图像，包括但不限于：
基于小波域图像增强方法对震区地面图像进行图像增强处理以得到增强图像，小波域图像增强方法中涉及的计算效果控制参数根据感知结果得到。
具体地，首先，计算效果控制参数为小波系数中的低频分量和高频分量中的参数，低频分量中的参数：第一阈值t1和第二阈值t2；高频分量中的参数：第三阈值t和增益因子g。
采用如下述表1中的映射方法进行计算效果控制参数的设定。
其次，基于小波域图像增强方法对拍摄图像进行图像增强以获得增强图像。该过程包括如下几步骤：①将原始采集到的图像(即拍摄图像)由rgb颜色空间变换到hsv颜色空间；②在hsv颜色空间针对v分量做小波分解，优选地，采用sym4小波基进行分解；③对小波系数进行增强处理；④进行小波重构以得到增强图像。上述过程中，对于小波系数中的低频分量，采用公式(8)与(9)进行计算；对于小波系数中的高频分量，采用公式(10)进行计算。
lm(i,j)＝k×[l(i,j)-lmin(i,j)](8)
其中，lm是处理后的低频分量；lmin是低频系数中的最小值，lmax是低频系数中的最大值；k表示拉伸因子；1/(lmax-lmin)为调节因子判据；(i，j)表示像素的位置；t1和t2为设定的第一阈值和第二阈值。
其中，t为阈值门限，t＝t×hmax；hmax为高频系数的最大值；(i，j)表示像素的位置；t为第三阈值；g为增益因子。
需要说明的是，在步骤s2中，计算效果控制参数的获得可以在感知结果得到之后，且在采用小波域图像方法进行图像增强处理之前进行，也可以在小波域增强方法的第三步：对小波系数进行增强处理中进行，本实施例对此不进行限定。
步骤s3，识别增强图像中的电线杆，并判断识别出的电线杆的空间姿态。
具体地，在原始图像数据采集较差的情况下，由于远距离拍摄的电线杆在震区地物图像中往往只占几十个像素，为了提高同等条件下的识别率，克服局部遮挡、复杂光线变化等问题，优选采用神经网络法进行电线杆的自动识别，进一步优选地，采用基于ssd(singleshotmultiboxdetector)的深度学习神经网络进行电线杆的自动识别以进一步提高识别率。识别时将目标的检测过程整合成一个单深度审计网络，如此便于网络的训练与优化，同时能有效提高目标检测的速度。在进行ssd深度学习神经网络训练时，一般采用大于3000个手工圈定的电线杆原始图像数据集，该数据集中包含不同光照、不同距离条件下采集的不同材质的各类电线杆图像数据；在进行网络的性能评估时，要求网络最终的识别率大于99％时，网络方可终止训练。
识别出电线杆后，采用hough变换直线检测方法来确定电线杆的空间姿态，电线杆的空间姿态根据电线杆与水平面之间的夹角确定。具体地：首先，采用hough变换直线检测方法检测电线杆两侧的外轮廓直线：左外轮廓直线a1和右外轮廓直线a2。其次，根据所检测出的两根外轮廓直线，确定两根直线的中间线c。计算示意图如图3～4中所示。实际应用中，因为电线杆的两根外轮廓直线往往不为互相平行的直线，因此在计算中间线时，将中间线c与左外轮廓直线a1和右外轮廓直线a2的夹角分别标记为α、β，将两根外轮廓直线的交点做为中间线上的一个点，然后沿与两根外轮廓直线夹角相等(α＝β)的方向做中间线；若两根外轮廓直线恰巧平行，将中间线c与左外轮廓直线a1和右外轮廓直线a2的距离分别标记为d1、d2，则取与两根外轮廓直线均相等(d1＝d2)的直线为中间线。无人机上包括成像传感器的吊舱通常在拍摄过程中始终与水平面保持平行，所以最后计算所检测出的电线杆两根外轮廓直线的中间线在该电线杆的震区地物图像中与图像上边缘、下边缘的夹角，以此来判断电线杆与水平面之间的夹角，根据该夹角的大小对电线杆的空间姿态进行判断，其中图像的水平方向可由旋翼无人机安装的惯性传感器提供计算基准。判断准则如下表2所示：
表2
在表2中，b1＝80，b2＝60，本领域的技术人员可以知道：上述表中关于空间姿态的划分种类及姿态判断结果和中间线与地面的夹角范围的对应关系只是示例性的，并不是用于限定，在其他的实施例中，还可以为其他对应关系，如空间姿态为三种，b1＝70，b2＝50，即：当中间线与地面的夹角范围为(70°，90°]时，空间姿态判断结果为正常姿态；当中间线与地面的夹角范围为(50°，70°]时，空间姿态判断结果为发生倾斜；当中间线与地面的夹角范围为(0°，50°]时，空间姿态判断结果为发生倾倒，本实施例对此不进行限定。
当判断电线杆发生倾斜和倾倒后，为了将这种情况提示给用户以使用户及时发现电线杆的异常姿态，参见图2，在步骤s3之后，该方法还包括：步骤s4，若判断出电线杆的空间姿态为倾斜或倾倒姿态，则输出报警信息，即进行可视化报警，以使无人机在地面操作人员的控制下，如采用视觉导航和手动控制的方式控制，飞抵电线杆的正上方，并获取当前位置处的位置信息。
通过对采集的震区地面图像进行成像环境感知计算以得到感知结果，然后根据感知结果对震区地面图像进行图像增强处理以得到增强图像，接着识别增强图像中的电线杆，并判断识别出的电线杆的空间姿态，降低了复杂大气环境对震区地面图像的影响，提高了环境适应性。
本发明另一实施例还提供了一种基于远距离拍摄图像的震区电线杆姿态判断系统，其包括：成像传感器、无人机和地面控制终端。
成像传感器用于对震区地物进行拍摄以采集震区地面图像。
无人机搭载有成像传感器，与成像传感器电连接，用于在震区上方以与震区内电线杆相隔大于1公里的距离飞行，并将震区地面图像回传至地面控制终端。优选地，无人机为旋翼无人机。
地面控制终端用于获取震区地面图像，对震区地面图像进行成像环境感知计算以得到感知结果，根据感知结果对震区地面图像进行图像增强处理以得到增强图像，识别增强图像中的电线杆，并判断识别出的电线杆的空间姿态。
当判断电线杆的空间姿态为倾斜和倾倒时，为了将这种情况提示给用户以使用户及时发现电线杆的异常姿态，地面控制终端还用于在判断出电线杆的空间姿态为倾斜或倾倒姿态时，输出报警信息，以使无人机在地面操作人员的控制下飞抵电线杆的正上方，并获取当前位置处的位置信息。
其中，关于成像传感器、无人机和地面控制终端的处理方式具体可参见上述实施例中步骤s1～s4的内容，此处不再一一赘述。
通过使地面控制终端对采集的震区地面图像进行成像环境感知计算以得到感知结果，然后根据感知结果对震区地面图像进行图像增强处理以得到增强图像，接着识别增强图像中的电线杆，并判断识别出的电线杆的空间姿态，降低了复杂大气环境对震区地面图像的影响，提高了环境适应性。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。