本发明涉及电网巡检技术领域，具体涉及一种二三维交互式无人机电力杆塔巡检辅助方法。
背景技术：
近年来国家电网建设发展迅速，已建成的六大跨省区电网，输电线总长度超过115万千米，而且电力杆塔的分布区域多为地形复杂、自然环境恶劣地域，因此传统的依靠人工定期巡检的方式(劳动强度大、效率低、耗时且巡检工人具有安全隐患)已无法满足保障电力系统安全和稳定工作的需求。近年来伴随着航空、遥感以及信息处理技术的快速发展，电力系统巡检也在机械化和自动化方向上进行积极探索，其中无人机巡检以其高灵活性(速度快、不受地形限制)、低成本、高安全性等优点，逐渐成为电力系统巡检的最高效的方式之一。搭载不同的传感器，无人机可以近距离，多角度对待检的电力杆塔进行全方位的信息采集，生成图像或者视频，供检测工人在线或离线进行缺陷和隐患检测。
由于电力杆塔的巡检任务非常复杂，包括：1)巡检目标具有多样性，电力杆塔的类型多达上百种，而电力杆塔上的电力设施，例如绝缘子也有多种类别；2)拍摄图像具有多样性，拍摄距离的变化、拍摄角度的变化；3)待检问题的多样性，材料腐蚀、老化、破损、发热、污秽等，目前基于计算机视觉、机器学习(深度学习)的问题区域检测方法，不管是目标提取还是问题检测，漏检和误检率较高，鲁棒性较难满足实际作业需求。自动的提取和识别目标并进行问题检测，仍是一个有待攻克的课题。
因此对采集回来的影像或者视频进行分析进而完成检测的工作，最有效的手段还是靠人工。人工的方法，虽然在一定程度上可以保证提取结果的准确性并且具有较强的鲁棒性，但同时也引入了人为带来的误差，更重要的是此方法耗能耗时效率较低。随着对无人机巡检的广泛应用，巡检的频率会大幅提高，待分析的图像或视频的数据量也会大幅增长，而人工检测的时间大部分都用来，在图像或视频中查找有效的图像并在该图像中定位待检目标上，且为了获取一个待检目标的全面信息，还要对各个角度的图像进行检索。因此一个行之有效的辅助系统，能够对待检图像或视频的进行预处理，进而快速定位待检图像(多角度)以及图像中待检目标的位置，是提升人工巡检效率的有效手段之一。
现有的技术大多采用基于杆塔模型、位置和无人机高精度定位来获取备选图像的方式。该方法可以自动的完成巡检飞行，并得到最少化的待检图像，并且待检目标在图像中的位置和大小相对固定。但是此类方法需要已知待检杆塔的高精度位置以及类型，同时还需要获取无人机在相同基准下的高精度位置以及预设相机拍摄的角度及姿态。然而采集全国杆塔的高精度位置本身就是一个繁重的任务，还需要考虑现势性需求带来的重复采集，再加上建立统一的位置基准目前也是无人机巡检应用的痛点之一，极大的影响了上述方法的可用性。另外电力杆塔的类型有上百种，目前对电力杆塔的自动匹配，需要创建模型(包括特征选择、数据类型、属性类型等参数)才能进行，并且杆塔匹配的准确性直接影响无人机巡检的参数设置。错误的杆塔模型选取轻则导致采集图像选取有误，重则导致飞行事故。近年来三维模型重建技术逐渐被应用到电力设施巡检中来，其应用主要有两种方式。一方面应用激光雷达技术生成点云，进而对点云进行分析。但激光雷达设备昂贵，并且要搭配已经标定好的数码相机，因此此方案成本较高。另一方面是通过航测的方式生成待检区域的三维模型(dsm、dem以及dom)，此方案能够得到较精细的三维模型，但过程相对较重、比较耗时。而上述两种方式都缺乏二三维信息的交互和融合，进而提升巡检的效率，减轻人工的负担。
技术实现要素：
现实中基于无人机的电力杆塔巡检，目前最有效的方式是人工检测，而最繁重的任务就是在众多的图像或视频中查找有效的图像并定位待检目标。在缺乏有效输入(杆塔模型、无人机位置、拍摄角度等)的情况下，由于拍摄角度、拍摄距离等影响造成目标在图像中的大小、位置、拍摄部位各异，在二维图像中较难快速、准确定位待检目标。而在重建的三维点云中，可以360度查看并且快速定位待选目标，但因点云信息量不足，较难用于目标问题及区域检测。本发明所要解决的技术问题是，在机器还无法替代人工完成检测工作的情况下，如何减轻人工检测的负担进而提升效率。
基于此，本发明采用的技术方案如下：
本发明需要的输入是对待检电力杆塔进行扫描式拍摄得到的连续图像或者视频(推荐进行螺旋上升式或交叉拱门式拍摄轨迹(可手动飞行，也可在已知较易获得的电力杆塔高度和直径情况下自动采集))，包括以下步骤：
步骤1，基于关键帧提取技术，选取满足重建需求的图像最小集合。
步骤2，基于显著性和连通性在提取的图像中提取电力塔信息，已缩减参与重建的特征点数量。
步骤3，基于sfm(structurefrommotion，从运动中恢复结构)和mvs(multi-viewstereo，多视角)技术完成半稠密三维点云重建并获取二三维对应关系。
步骤4，基于opengl完成二三维交互式可视化系统构建。
步骤5，基于用户在三维点云中选择的一个视角下的待检目标，自动分割得到完整的待检目标点云。
步骤6，基于二三维对应关系，自动将拥有该目标的图像找出，标记出目标在图像中的位置，并对所有候选图像智能排序，以最大化地减轻人工检测的工作量。
本发明引入针对电力杆塔的轻量级三维点云重建，生成电力杆塔的半稠密三维点云模型，基于重建过程中得到的二维图像与三维点云的应对关系，构建二三维交互式辅助电力杆塔巡检系统，以提升电力杆塔人工巡检过程中的效率。
附图说明
图1是本发明一种二三维交互式无人机电力杆塔巡检辅助方法流程图。
具体实施方式
本发明通过三维重建的方式，生成待检杆塔的三维点云并获取二维图像与三维点云的对应关系。基于此对应关系构建二三维交互式电力杆塔巡检可视化辅助系统，以融合二三维的特点，使其互补优缺点以提升人工检测的效率。下文中，结合附图和实施例对本发明作进一步阐述。
图1是本发明一种二三维交互式无人机电力杆塔巡检辅助方法流程图，具体如下：
1、图像预处理
本发明的输入为待检电力杆塔的无人机拍摄高清图像，为了全面获取待检杆塔的三维信息，推荐无人机采集时的飞行轨迹为螺旋上升或者交叉拱门形。为了简化对拍摄的需求，本发明支持视频作为输入(当然具有一定重叠度的图像也可作为输入)，进一步的本发明不需要相机的参数以及无人机的位置作为输入。基于高清图像的点云三维重建是一个比较耗时的流程，为了提高其效率，引入两个操作：关键帧提取以及图像中电力杆塔目标区域提取，以减少重建过程中的计算量。
以视频作为输入，极大地降低了无人机图像采集的复杂度，但是无形的增加了输入图像的数据量，目前相机的拍摄帧率都较高，因此视频中有大量的冗余帧。关键帧选取的方法有较多选择，比如基于时域或空间域的帧比较，聚类、目标/时间提取等方法。针对巡检的特点，视频具有时间连续性，可使用基于时间域的相邻帧比较的方法进行关键帧提取。比较的度量可选用图像的相似度，基于psnr(peaksignaltonoiseratio)峰值信噪比及ssim(structuralsimilarity)结构相似性的融合决策，可以客观的评价图像间的相似度。
以巡检为目的采集的图像和视频都具有较高的分辨率，这就带来了提取的特征点数量庞大进而增大重建中计算量的问题。并且电力杆塔是镂空结构，这也导致了提取出的特征点大部分都不是想重建的杆塔上的点。为了解决此问题，引入了在抽取的关键帧图像上进行电力杆塔提取的步骤。基于电力塔多分布在偏远的山区的特点，即电力塔与周边环境有较大差异，通过显著性区域提取的方法，本发明优选采用ft算法(frequencytunedsalientregiondetection，频率调谐方法的显著区域检测)，可将电力杆塔与背景分割开来。由于电力塔具有镂空结构，而显著性区域提取的方式对镂空结构中间填充部分的分离结果不佳，另外图像中也可能存在其它显著性区域，因此在显著性区域提取的基础上，引入基于连通性的二次提取。电力杆塔具有较强的线性连通性，因此基于连通性的二次提取，可将镂空部分的背景区域以及其它小部分的显著性区域过滤掉。经过这两步处理可以将电力塔与背景分离开来。
2、三维重建
基于单目相机的三维重建目前是一个较成熟的技术，其中基于sfm(structurefrommotion，从运动中恢复结构)和mvs(multi-viewstereo，多视角)技术的重建pipeline在工业上取得了非常好的效果。一些商业软件，例如pix4d、photoscan、smart3d等都得到了广泛的应用。而一些开源工具例如colmap、openmvg、pmvs、mve等也得到了认可。本发明优选采用openmvg(sfm工具)和cmvs/pmvs(mvs工具)这两个被广泛应用的开源工具作为三维重建的主要工具。在完成基于sfm的稀疏点云重建和相机内外参数估计之后，在生成稠密点云的过程中，只针对上一步骤分离的电力杆塔上的特征点进行匹配和重建，进而大大缩减参与重建的点云数量，以提升算法的效率。经过此步骤，得到重建的电力杆塔的半稠密点云、相机的内外参数以及二维图像与三维点云的对应关系(三维点云中的点对应哪些图像的那个像素)。
3、二三维交互式辅助系统搭建
本发明优选使用opengl进行三维场景及点云的渲染及交互。如果没有无人机飞行时的真实位置数据作为输入，那么重建的点云是在相对坐标系下并没有真实的方向。为解决此问题，基于电力杆塔点云的分布特点，首先对点云进行pca(principalcomponentanalysis)主成分分析，得到三个主方向，其中最大特征值对应的方向，即电力塔纵向分布方向，作为z轴，另外两个方向构成的平面作为xy平面。当然如果具有无人机飞行的真实位置数据，重建的坐标系即为真实世界坐标系。交互系统可以在三维下显示三维的电力杆塔点云数据，以及估计的相机位置及投影方向。其二三维交互的特性，点击任一相机，即可显示该相机对应的拍摄图像以及该相机可以看到的点云数据。相应的任一点选杆塔模型上的点，即可显示可以看到该点的图像以及其对应的相机位置。
为了进一步简化人工检测的工作量，提升效率，采用以下三个技术：
第一，电力杆塔上待检目标都是三维物体，较难在点云上一次选取，这就需要检测人员，旋转不同角度进行多次点选才能选取完整的待检目标。鉴于电力杆塔上的目标配件，例如绝缘子，都具有线性分布的特征，在这里优选使用基于初始化选取的点云分割算法。检测人员只需要在任一角度下，沿着待检目标的点集方向线性选取部分点云，基于点集的方向构建外扩体以及几何特性(曲率变化较大的部分)，将该目标的完整点云分离出来。
第二，三维点与二维图像是一对多的关系，即一个三维点可同时出现在多幅图像当中，为了降低检测人员的工作量，采用待选图像智能化排序算法。首先基于图像拍摄的角度将待选图像分成4类(基于xy平面，每90度区间构成1类)，在每一类图像集中基于目标物所占面积以及分布位置(靠近中心)为标准进行排序。这样就做到检测人员选择一个视角下的待检目标点集，辅助系统显示4张不同角度(如果存在)的排名第一的图像。
第三，借助二三维对应关系，可以在显示的图像中高亮待选目标点云对应的像素。当然因为点云的分布及密度，会出现图像中只有部分像素被选中的情况。在这种情况下，基于grabcut算法(opencv中的图像分割算法之一)，以选中像素作为初始化，可以将整个待选物体分割出来，并高亮显示其最小包围盒，供检测人员进行分析判断。
本发明所用到的图像预处理、三维重建、二三维交互式系统构建等算法及工具均可任意选择，本发明提供的是框架性流程方法。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。