本发明涉及输电线路巡检领域，具体涉及一种基于双目视觉的无人机输电线路自动跟踪方法。
背景技术
随着经济的快速发展，社会对电力的需求激增，输电线路巡检成为保障国民用电安全的重要手段。但输电线路具有跨度长、所经区域地形复杂等特点，人工巡检已无法满足需求，因此现各电力公司大多采用“机巡为主、人巡为辅”的协同巡检模式进行输电线路巡检。而现有的无人机巡检均为人工操作无人机作业，要保证无人机与输电线路之间始终保持一定的安全距离，要求无人机操作员具有丰富的累积经验。但是，传统的无人机巡检依赖人眼观察无人机和电力线的距离，对员工的经验、视角、工作状态要求高，难以保证无人机巡检的高安全性，且拍摄距离忽近忽远，易导致拍摄质量差，降低巡检效率，甚至影响输电线路正常运作等问题。因此，准确测量无人机巡检中无人机和高压输电线路的距离，自动跟踪高压输电线路，避免无人机对输电线路的安全威胁的同时，保证无人机的拍摄质量，成为影响无人机输电线路巡检系统的关键因素。
在实际测量环境中，电力线所处背景复杂，准确地从图像中提取出电力线，并配准电力线上特征点，是进行输电线路距离测量和输电线路跟踪的重要前提。
在利用无人机进行电力线检测时，由于无人机飞行于电力线侧下方，拍摄画面中的电力线几乎平行于飞行器前进方向。图像边缘能够在一定程度上反映出图像中目标的主要特征，canny作为经典的边缘检测算法可以有效地检测出所有物体的边界，但是不能突出显著目标的边缘。而dog算法可以达到激励局部中央区域并抑制周围邻域的效果，符合人眼视觉特性，从而能够在一定程度上反映图像的显著度。所以本发明采用dog(differenceofgaussian)算法结合canny边缘检测算法提取显著性边缘、提取电力线，可以减弱背景带来的影响，迅速从复杂背景中筛选出电力线，适用面更广。
本发明利用双目视觉模型结合辅助光源标记特征点实现无人机到电力线的自动距离测量。现有的无人机大多采用单目相机作为图像获取方法，但是单目视觉包含的信息量少，未能体现三维信息，同时视野范围有限，容易受外界环境影响。与单目视觉相比，双目视觉技术是模拟人类双目视觉系统，利用左右目图像中的视差信息获取环境与目标的三维信息。双目图像进行实际的距离测量最重要的步骤就是识别同名点、进行图像匹配，常见匹配算法可分为稠密匹配和稀疏匹配两类。稠密匹配算法在理论上可完成完整画面的深度计算，获取图像中每个点的三维坐标，实现三维重建，但该算法的精度与运行速度都难以满足实时巡行的需求。稀疏匹配算法有sift算法和surf算法，surf算法作为sift的改进算法，其优点是速度快且稳定性好，在视角、光照、尺度变化等情形下，仍能保持高特征点识别率和准确率。但传统稀疏匹配算法难以保证一定会识别到电力线上的特征点，使之无法用于无人机和电力线的测距，本发明利用一字线激光作为辅助光源进行特征点标记，利用柱型透镜把激光细柱分散折光，形成扇形光束，进行电力线的标记，保证特征点的精确匹配，实现无人机与电力线间的准确测距，从而确保无人机和输电线路始终在安全距离内，提高无人机拍摄画面的稳定性。
技术实现要素：
本发明针对现存无人机输电线路巡检无法自动检测、跟踪输电线路，且难以保证无人机与输电线路的安全距离的问题，提供一种基于双目视觉的无人机输电线路自动跟踪方法。
发明所采用的技术方案是：一种基于双目视觉的无人机输电线路自动跟踪方法，结合无人机机载的双目摄像机和线激光发射器，采用视觉显著性检测和双目测距技术实现电力线的提取、测距和跟踪。
包括以下步骤：
1)双目相机的标定：利用张氏标定法完成双目相机的标定，获取该双目相机的内外参数，包括焦距、基线距、旋转矩阵和平移矩阵等；
2)采集待测双目图像：线激光发射器发射红色线激光，利用柱型透镜把线激光分散折光，形成扇形光束，保持线激光发射器照射出的一字线竖直，照射至每一条电力线，用于实现电力线的标记；无人机在指定位置起飞后，首先对跟踪巡检的电力线拍摄双目图像，并将图像传输到嵌入式芯片，根据双目相机的内外参数对图像进行矫正与校正处理；
3)检测电力线区域：对于步骤2)得到的左右目图像，首先利用高斯差分方法计算出显著点，再利用canny算法进行边缘检测，根据边缘上显著点数量进行筛选，得到电力线候选基元；
4)检测电力线并标号：由于无人机与电力线接近平行的方向飞行，所以电力线呈近似平行状态。计算每一条电力线候选基元的斜率，保留斜率倾角小于设定值的电力线候选基元，进一步根据每个电力线候选基元的中点到其它所有电力线候选基元所在直线的距离，将断裂的候选电力线基元分组，属于同一条电力线的电力线候选基元分为一组，将同一组内的所有电力线候选基元拼接成为一条完整的电力线，同时对每条电力线按从上至下的顺序标号；
5)所有电力线上激光标记点的提取：根据像素颜色，针对步骤4)提取的所有电力线，按照标号搜索提取每条电力线左右目图像激光标记点的位置；
6)无人机-电力线距离计算：根据上一步提取出左右目图像的激光标记点的视差和相机参数，利用双目视觉模型计算两个点对的三维坐标，计算无人机到每条电力线的距离；
7)根据求得的无人机与电力线之间的距离调整无人机飞行方向，如果无人机和每一条电力线的距离大小都大于最小距离阈值threshmin，并小于最大距离阈值threshmax，证明当前方向正确，继续向前飞行；如果无人机和每一条电力线的距离小于最小距离阈值threshmin，控制无人机向电力线相反方向斜飞；如果无人机和每一条电力线的距离大于设置的最大距离阈值threshmax，则控制无人机向靠近电力线的方向倾斜飞行，并且将提取的电力线位置、相应gps信息和双目摄像头录制的视频通过无线传输模块一同传输回地面。
本发明有益效果是：本发明利用人眼视觉显著性检测电力线，利用双目视觉模型实现无人机与电力线测距，将检测结果作为飞行指令传输至飞控系统，调整无人机的飞行方向与姿态，完成无人机对输电线路的自动跟踪，并运用无线传输模块将拍摄画面及对应gps定位信息传回地面，为电力线障碍检测等功能预留了接口，方便进行功能的扩展。本发明设计系统具有巡检效率高、安全性高、通用性强等优点。
附图说明
图1为本发明的无人机输电线路自动跟踪方法的作业示意图；
图2为本发明的无人机输电线路自动跟踪系统结构图；
图3为双摄像头和红外激光发射器示意图；
图4为本发明的无人机输电线路自动跟踪方法的算法流程图；
图5(a)为显著性边缘提取过程中原图的灰度图；
图5(b)显著性边缘提取过程中dog显著图；
图5(c)显著性边缘提取过程中canny边缘检测效果图；
图5(d)显著性边缘提取过程中电力线候选效果图；
图6为激光标记点距离测量示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步的详细说明。
本发明为一种基于双目视觉的无人机输电线路自动跟踪系统及方法，无人机输电线路自动跟踪系统搭载gps模块、无线传输模块和搭载了双目摄像头、线激光发射器的云台模块，采用视觉显著性和双目测距技术实现电力线的提取、测距和无人机对电力线的跟踪，该系统作业示意图如图1所示。
图2所示为本发明的无人机输电线路自动跟踪系统结构图。该系统包括嵌入式平台a、无人机飞控模块b、gps模块c、无线传输模块d、云台e。其中嵌入式平台a应采用radarrock微型电脑对无人机飞控系统b做控制及巡航路线规划、解析gps模块c所接收的数据包、分析双目摄像头获取的图像并对云台e做控制；无人机飞控模块b根据巡航路线控制无人机飞行并接收嵌入式平台a传来的指令对无人机进行飞行姿态调整；gps模块c接收相关地理信息的数据包并传给嵌入式平台a进行解析；无线传输模块d采用4g通信模块将处理后的信息和视频一同发回地面；云台e采用三轴云台，左右摄像头和线激光发射器保持水平，保证线激光的平面竖直，如图3所示。
首先由工作人员对嵌入式平台a设定巡检路线及无人机与输电线路的安全距离范围为[threshmin，threshmax]，利用视觉显著性检测技术检测电力线所在区域，在利用辅助光结合双目视觉模型精确测量无人机与电力线间距离，保证无人机与电力线是指保持在安全距离范围内，实现输电线路的安全自动巡检，最后利用无线传输模块d将录制视频结合gps信息传回地面。
图4为本发明的无人机输电线路自动跟踪方法的流程图，首先利用张氏标定法对双目相机进行标定，使用标定后的双目相机拍摄待测目标的左右目图像，利用高斯差分算法(dog)和canny算法结合计算显著性边缘作为候选电力线基元，然后根据显著性边缘的统计特性，将断裂的候选电力线基元分组拼接成为真实电力线，对所有电力线从上至下排序并标号，调整云台角度分别使每条电力线移至图像中心的水平面，重新拍摄双目图像，即可根据对应电力线上的激光标记点在左右目中的位置，求解无人机和这根电力线的距离，然后根据无人机和每条电力线的距离调整无人机的飞行方向，进而完成电力线的自动跟踪，如果跟踪丢失电力线目标，就首先根据预设巡检电力线区域调整自己位置，之后通过云台角度调整，重新拍摄电力线，重新进行电力线分割和跟踪。
下面对利用视觉显著性和双目测距技术进行无人机-电力线测距的步骤进行详细阐述：
1)利用张氏标定法对双目相机进行标定。利用7×7的棋盘模型拍摄若干组双目图像，完成相机标定，获取双目相机的内外参数，包括焦距、基线距、旋转矩阵和平移矩阵等。
2)采集电力线双目图像：无人机在指定位置起飞后，首先对跟踪巡检的电力线拍摄双目图像，并将图像传输到嵌入式芯片，根据双目相机的内外参数对双目图像进行矫正与校正处理。
3)利用视觉显著性检测与电力线特征统计分析结果检测电力线区域：
由于canny算法提取的边缘是图像中所有的连续的边缘，这里所有的边缘不只是电力线边缘，根据显著性的相关原理，要保证边缘上都有一定数量的显著点，这是在构造电力线过程中的第一次筛选。
(31)如图5(b)所示，分别提取左右目图像的高斯差分显著点图，differenceofgaussian(dog)是指在某一尺度上的特征检测可以通过对两个相邻高斯尺度空间的图像相减，得到dog的响应值图像，达到激励局部中央区域并抑制周围邻域的效果，符合人眼视觉特性，从而能够在一定程度上反映图像的显著度，本发明中按下式计算左右目图像的初始高斯差分显著点图：
其中，σ1和σ2分别表示兴奋和抑制带宽，可取值σ1＝0.7，σ2＝0.9，i为灰度图像，符号
将显著性度量值dog(x,y)产生的负值设置为0，并设置显著性度量值均值为阈值t：
其中，count(dog＞0)表示dog中显著性度量值大于0的显著点数，sum(dog＞0)表示大于0的显著性度量值总和；
最后计算显著点图d(x,y)：
(32)如图5(c)所示，利用canny边缘检测算法检测出图像所有连续的边缘，这里的边缘不仅仅是电力线边缘，还有背景的各种边缘信息。由于无人机对电力线的拍摄图像背景相对复杂，在这种情况下，canny检测结果中有很多由阴影、反光等因素导致的短边缘，无法突出电力线的显著性，不利于目标边缘的提取，为了保证图像中电力线提取的准确性，本发明利用dog的显著点约束canny边缘，提取目标的显著性边缘作为电力线候选基元，效果如图5(d)；
(33)对canny边缘检测算法得到的结果进行处理，具体过程是，首先为了去除误检测边界，提炼边缘信息，对边缘的长度进行筛选，删除图像中长度小于设定像素长度的边缘，如10像素；之后根据每个有效边界上高斯差分显著点的个数对边缘显著性度量值降序排序，保留排在前面设定比例值的边缘作为电力线候选基元；
4)对于提取出来的所有电力线候选基元，计算所有候选基元的斜率，由于无人机与电力线保持接近平行的方向飞行，因此双目画面中的电力线应该都是接近水平的，因此保留倾角小于设定度数的电力线候选基元，如保留倾角小于15°的电力线候选基元。
通过计算电力线候选基元两两之间的侧向距离，判断两条电力线候选基元在原始图像中是否属于同一条电力线，侧向距离的计算方法为：假设电力线候选基元l1左右端点为a、b，方程为a1x+b1y+c1＝0,电力线候选基元l2的端点为c、d，方程为a2x+b2y+c2＝0,且a、b、c、d四点坐标为a(a1,b1)、b(a2,b2)、c(a3,b3)、d(a4,b4)，a1，b1，c1，a2，b2，c2为常数，
根据直线的两点式方程，电力线候选基元对应直线段l1、l2分别可表示为：
两点式转化为一般式得：
根据点到直线的距离公式可得，线段一中点到线段2的距离为d1：
利用上述公式计算主方向上每个电力线候选基元中点到其它所有电力线候选基元所在直线的距离，即侧向距离，然后对得到的所有侧向距离进行排序；当某个电力线候选基元和另一个电力线候选基元所在直线距离小于一定阈值(这里阈值取2mm)，则认为这两个电力线候选基元属于同一条电力线，可以归为一组；统计侧向距离在图像中大于50像素的电力线候选基元，如果一条电力线候选基元所在直线和其他电力线候选基元构成的直线的距离都大于50像素，则认为该电力线候选基元为与主方向相同的非电力线基元，剔除。在每一组电力线基元中，将每个电力线基元左右两个端点的横坐标从左到右依次首尾连接，获取一条完整电力线覆盖的所有坐标，即每条电力线的位置；最后对图像从上至下的每条电力线进行标号；
5)因为电力线大多数颜色单一，激光标记点在电力线是明显的红点，找到根据步骤4)提取的电力线位置，步骤4)里没有说明)，提取电力线区域中连续的红色的像素点，并计算这些像素点的中点，所述中点为一字线激光在这根电力线上的标记点。这里要依次对所有电力线进行处理，才能求出无人机和每条电力线的距离。电力线位置就是再连接首尾后可以求出这个电力线所经过的所有坐标，这就是电力线的准确位置。
根据双目图像中两个红外激光标记点的双目视差及相机参数计算两个点对的三维坐标，获取无人机到每条电力线的距离，已知双目视觉摄像机间的基线距离选取为b，摄像机的焦距为f，双目视差用d来表示，假设左右目图像已经过配准，视差由激光进行标记的点进行确定，同一个激光标记点的位置差表示为d＝(xl-xr)，其中，xl、xr分别是激光标记点在左右目图像中的横坐标，计算无人机和被标记电力线的距离，即左摄像机坐标系中红外激光标记点p的深度：
6)最后根据无人机和电力线的距离调整无人机飞行方向和飞行姿态，如果无人机当前和每一条电力线的距离大于最小距离阈值threshmin，并距离小于最大距离阈值threshmax，证明当前方向正确，继续向前飞行；如果距离小于最小距离阈值threshmin，控制无人机向电力线反方向倾斜飞行；如果无人机到达设置的最大距离阈值threshmax，则控制无人机向靠近电力线的方向倾斜飞行。在不同地方的风力等环境不同，不同无人机飞行在空中的稳定性也不确定，因此无人机相对于输电线路的最小距离阈值threshmin和最大距离阈值threshmax都由工作人员自行设定，以满足不同使用环境，在保证安全的基础上再保证拍摄的质量。
本发明完成了无人机对输电线路的自动跟踪，并准确计算无人机与电力线上激光标记点的距离，保证了无人机对输电线路的安全跟踪，进而保证了无人机拍摄画面的稳定，具有巡检效率高、通用性高、安全性高等特点。