一种输电线路杆塔线段匹配方法以及设备与流程

本发明涉及线段匹配领域，尤其涉及一种输电线路杆塔线段匹配方法以及设备。

背景技术：

随着信息技术的迅猛发展，三维重建在许多领域有越来越多的应用，如文化遗产保护、文物研究、视频监控、动画电影制作、医学图像处理以及虚拟现实等。在计算机视觉中，基于图像的三维重建技术是根据场景的两张或两张以上的二维图像，由计算机自动计算并匹配场景的二维几何信息和深度信息，最后建立三维模型的过程。传统三维重建是基于点的特征提取与匹配三维点云模型在缺少纹理的地方重建精度较差，三维线段模型能提供更充分的结构信息，反映场景的几何拓扑关系回。要生成一个基于线段的三维重建模型需要建立来自不同图片的二维线段的对应关系，线段匹配指在两组线段中建立对应关系的过程。然而，电力杆塔主要是由互相连接的钢结构组成，导致在二维图像中呈现大量相交的线段，目前尚未有针对电力杆塔的三维图像进行线段匹配的方法。

综上所述，现有技术中存在着尚未有针对电力杆塔的三维图像进行线段匹配的方法技术问题。

技术实现要素：

本发明提供了一种输电线路杆塔线段匹配方法以及设备，用以解决现有技术中存在着尚未有针对电力杆塔的三维图像进行线段匹配的方法技术问题。

本发明提供了一种输电线路杆塔线段匹配方法，包括以下步骤：

获取无人机采集的输电线路杆塔图像，从所述输电线路杆塔图像中的提取出杆塔区域图像；

从杆塔区域图像中提取线段，对线段间的交点进行条件约束，得到所有原始交点；

对所有原始交点进行聚类分析，得到若干个聚类类别和每个聚类类别对应的聚类中心，将每个聚类类别对应的聚类中心作为新交点；

合并每个聚类类别中的新交点所对应的线段，对合并后的新交点所对应的线段进行平面优化的线段匹配，得到多个候选匹配点以及多个候选匹配点所对应的候选匹配线段；

计算新交点到多个候选匹配点的共面代价，选择出新交点的匹配点以及新交点所对应的匹配线段；

拟合新交点所对应的线段和新交点所对应的匹配线段所在的平面；

遍历每个新交点所对应的线段所在的平面，统计新交点所对应的匹配线段在每个平面的条数，取匹配线段条数最大的平面作为该新交点所对应线段的正确所在平面；

从每个新交点所对应线段的正确所在平面中选择出主要平面，计算出每个主要平面中线段所对应的三维坐标；

对每个主要平面中线段所对应的三维坐标进行匹配，寻找出满足近似共线条件的其他主要平面的三维坐标，得到电力杆塔匹配的三维线段。

优选的，无人机采集的输电线路杆塔图像要求图像的航向重叠率大于60％，旁向重叠率大于30％。

优选的，采用lsd算法从杆塔区域提取出每一条线段。

优选的，对线段之间的交点进行条件约束，得到所有原始交点的具体过程为：

对从杆塔区域图像中提取到的每一条线段，保留以该线段为中心，预置长宽的矩形区域内，与该线段相交的其他所有线段中离该线段两端点最近的交点，得到所有原始交点。

优选的，采用dbscan算法对所有原始交点进行聚类分析。

优选的，进行平面优化的线段匹配，得到多个候选匹配点以及所对应的多个候选匹配线段的具体过程为：

计算ii、ij两张输电线路杆塔图像的核线，并在ii图像中沿核线方向搜索与ij图像的交点，若交点到核线距离小于ii图像中原始交点到合并后的新交点的最大距离，则该交点为新交点的候选匹配点，该交点所对应的线段为候选匹配线段。

优选的，计算新交点到多个候选匹配点的共面代价，选择出新交点的匹配点以及所对应的匹配线段的具体过程为：

计算ij图像的新交点到核线的垂足点，利用共线方程计算垂足点与候选匹配点相交汇的三维坐标点；

给定ij图像与新交点所在的射线方向的单位向量作为初始法向量，基于初始法向量以及三维坐标点，计算出新交点所对应的线段的三维坐标点；

将新交点所对应的线段的三维坐标点投影到ij图像中形成二维线段；

将与新交点之间垂直距离最短的二维线段中的点作为新交点的匹配点，并通过匈牙利最小二分图算法计算出新交点所对应的匹配线段。

优选的，从每个新交点所对应线段的正确所在平面中选择出主要平面的具体过程为：

计算每个新交点所对应线段的正确所在平面中的二维线段对应的三维坐标，

将三维坐标投影到其他输电线路杆塔图像中，寻找其他输电线路杆塔图像中存在满足约束的二维匹配线段；

计算二维匹配线段对应的三维线段，对三维线段所在的三维平面进行合并；

计算每个新交点所对应线段的正确所在平面中所包含三维线段的条数，基于条数数量选择出主要平面。

优选的，寻找出满足近似共线条件的其他主要平面的三维坐标，得到电力杆塔匹配的三维线段的具体过程为：

通过查找三维坐标一定半径范围内的其他三维坐标，若在该范围内没有其他三维坐标，则匹配错误，该三维坐标需要剔除；若存在其他三维坐标，判断其他三维坐标是否与该三维坐标近似共线，若近似共线，则将该三维坐标所对应的三维线段作为电力杆塔匹配的三维线段。

一种输电线路杆塔线段匹配设备，包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述的一种输电线路杆塔线段匹配方法。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例通过从输电线路杆塔图像中的杆塔区域提取出每一条线段，对每一条线段之间的交点进行条件约束，得到所有原始交点；

对所有原始交点进行聚类分析，得到若干个聚类类别和每个聚类类别对应的聚类中心，将每个聚类类别对应的聚类中心作为新交点；

合并每个聚类类别中的新交点所对应的线段，对合并后的新交点所对应的线段进行平面优化的线段匹配，得到多个候选匹配点以及所对应的多个候选匹配线段；

计算新交点到多个候选匹配点的共面代价，选择出新交点的匹配点以及新交点所对应的匹配线段；

拟合新交点所对应的线段和新交点所对应的匹配线段所在的平面；

遍历每个新交点所对应的线段所在的平面，统计新交点所对应的匹配线段在每个平面的条数，取匹配线段条数最大的平面作为该新交点所对应线段的正确所在平面；

从每个新交点所对应线段的正确所在平面中选择出主要平面，计算出每个主要平面中线段所对应的三维坐标；

对每个主要平面中线段所对应的三维坐标进行匹配，寻找出满足近似共线条件的其他主要平面的三维坐标，得到电力杆塔匹配的三维线段。

本发明实施例通过从输电线路杆塔图像中的杆塔区域提取出线段，对线段之间的交点进行条件约束得到所有原始交点，对原始交点进行聚类，将每个聚类类别对应的聚类中心作为新交点，并基于平面优化以及共面代价的方法对新交点所对应的线段进行匹配，选择出新交点的匹配点以及新交点所对应的匹配线段；通过拟合线段所在的平面，从平面中选择出主要平面，根据主要平面中的三维坐标寻找出满足近似共线条件的其他主要平面的三维坐标，从而得到电力杆塔匹配的三维线段。本发明实施例利用线段交点的约束条件来剔除图像中的大量无用的线段，并通过平面优化以及共面代价的方法来剔除线段的多个无用的交点，最后根据近似共线条件进行电力杆塔三维线段匹配，从而使得能够在大量相交的线段中实现对电力杆塔三维图像的线段匹配，解决了现有技术中存在着尚未有针对电力杆塔的三维图像进行线段匹配的方法技术问题。从而使得技术人员能够根据无人机采集到的图像构建出输电线路杆塔的三维线段模型，从三维线段模型中充分获得输电线路杆塔的结构信息以及场景的几何拓扑关系，从而判断输电线路杆塔的结构是否正常，保障电力网络的运行安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种输电线路杆塔线段匹配方法以及设备的方法流程图。

图2为本发明实施例提供的一种输电线路杆塔线段匹配方法以及设备的对线段之间的交点进行条件约束的示意图。

图3为本发明实施例提供的一种输电线路杆塔线段匹配方法以及设备的基于平面优化的线段匹配的示意图。

图4为本发明实施例提供的一种输电线路杆塔线段匹配方法以及设备的设备框架图。

具体实施方式

本发明实施例提供了一种输电线路杆塔线段匹配方法以及设备，用以解决现有技术中存在着尚未有针对电力杆塔的三维图像进行线段匹配的方法技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种输电线路杆塔线段匹配方法以及设备的方法流程图。

本发明实施例提供的一种输电线路杆塔线段匹配方法，包括以下步骤：

获取无人机采集的输电线路杆塔图像，利用深度学习技术faster-rcnn从输电线路杆塔图像中的提取出杆塔区域；

从杆塔区域提取出线段，对线段之间的交点进行条件约束，得到所有原始交点；由于在二维平面中，直线之间的位置关系为平行和相交，若直接对所有线段所在的直线进行相交，则存在大量交点，不利于后续匹配，需要对线段交点计算条件进行约束，从而减少后续的计算量。

对所有原始交点进行聚类分析，得到若干个聚类类别和每个聚类类别对应的聚类中心，在每个聚类类别中，合并该类别中的所有交点，将这些交点的聚类中心点作为新交点。

合并每个聚类类别中的新交点所对应的线段，由于每个计算的原始交点都记录了该交点是由哪两条线段所计算得到的信息，在对交点聚类后计算该类的中心点作为新交点时，需要把原始交点记录的对应线段信息合并到该新交点的属性中。例如：给定已聚类好的交点集p1,p2,p3，其中心点为p'，p1是由l1和l2计算得到的，p2是由l1和l3计算得到的，p3是由l3和l4计算得到的，则p'合并所对应的线段集为l1,l2,l3,l4。在合并交点之后，计算每个原始交点到新交点的距离，取最大值作为该新交点的半径。对合并后的新交点所对应的线段进行平面优化的线段匹配，得到多个候选匹配点以及所对应的多个候选匹配线段；

计算新交点到多个候选匹配点的共面代价，选择出新交点的匹配点以及新交点所对应的匹配线段；由于每个新交点在其他图像中有多个候选待匹配的交点，需要通过一定的代价函数来剔除一部分候选交点，选择出正确的匹配点，减少后续的计算量。

利用最小二乘法拟合新交点所对应的线段和新交点所对应的匹配线段所在的平面，为后续的剔除错误匹配线段做准备；

遍历每个新交点所对应的线段所在的平面，统计新交点所对应的匹配线段在每个平面的条数，取匹配线段条数最大的平面作为该新交点所对应线段的正确所在平面；由于共面的线段在不同图像中正确匹配的线段仍保持共面性，根据这一特征，可在二维线段匹配的候选匹配线段中找到正确的匹配线段。在匹配完所有交点以及对应线段之后，通过遍历每条线段所在的平面，并统计其他图像中的匹配线段在该平面的个数，取共面线段个数最大的平面作为该线段所在平面，并保留该平面记录的其他图像中匹配的线段对为正确匹配线段，通过这一步骤，可剔除大量错误匹配线段以及平面信息。

从每个新交点所对应线段的正确所在平面中选择出主要平面，计算出每个主要平面中线段所对应的三维坐标；

对每个主要平面中线段所对应的三维坐标进行匹配，寻找出满足近似共线条件的其他主要平面的三维坐标，得到电力杆塔匹配的三维线段。由于输电线路杆塔的线段匹配是通过两种图像进行的，而输电线路杆塔在多张图片中可见，输电线路杆塔中同一个三维线段可以通过不同的图像两两匹配得到，而这些匹配后计算得到的三维线段是满足近似共线条件的。

作为一个优选的实施例，无人机采集的输电线路杆塔图像要求图像的航向重叠率大于60％，旁向重叠率大于30％。航向重叠是为了满足立体观测的需要，旁向重叠是为了相邻航线地物可以进行衔接，在一条航线上航向重叠度60％的最大重叠像片数为3张，旁向重叠度30％，为重叠像片数2张，故航摄像片所能达到的最大重叠像片数为2×3＝6张。

作为一个优选的实施例，采用lsd算法从杆塔区域提取出每一条线段。lsd算法是一个直线提取算法，其主要思想是通过求导得到灰度的梯度，因为灰度梯度的方向的垂直方向就是线条的方向，将有相同方向的向量用矩形圈起来，再将举行精细化，最后能够得到每一条线段，具体的过程如下：

1.以s＝0.8的尺度对输入的输电线路杆塔图像进行高斯下采样。

2.计算每一个点的梯度值以及梯度方向(level-lineorientation)。

3.根据梯度值对所有点进行伪排序(pseudo-ordered)，建立状态列表，所有点设置为unused。

4.将梯度值小于ρ的点状态表中相应位置设置为used。

5.取出列表中梯度最大(伪排列的首位)的点作为种子点(seed)，状态列表中设为used。

do：

a.以seed为起点，搜索周围unused并且方向在阈值[-t,t]范围内的点，状态改为used。

b.生成包含所有满足点的矩形r。

c.判断同性点(alignedpt)密度是否满足阈值d，若不满足，截断(cut)r变为多个矩形框，直至满足。

d.计算nfa。

e.改变r使nfa的值更小直至nfa<＝ε，r加入输出列表。

作为一个优选的实施例，对每一条线段之间的交点进行条件约束，得到所有原始交点的具体过程为：

如图2所示，对于在单张图像中提取的线段li，定义沿该线段为中心并且长和宽分别|li|+2w和h的矩形区域r，对于在该矩形区域r范围内的线段lj，计算li和lj的交点，并只保留离线段li两个端点最近的交点。图2中虚线矩形区域为以l1为中心外扩的r，其中l2与l3与该矩形r相交，这两条线段参与交点计算，而l4不与矩形r相交，不参与交点计算。其中l2与l1的交点为p1，l3与l1的交点为p2，且p1到线段l1端点的距离小于p2到l1端点的距离，此时只保留p1，并记录p1是由l1和l3两条线段相交计算的。

作为一个优选的实施例，采用dbscan算法对所有原始交点进行聚类分析。dbscan算法是一个比较有代表性的基于密度的聚类算法，与划分和层次聚类方法不同，dbscan算法将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。在本实施例中，将dbscan中的两个参数eps和minpts根据图像分辨率以及经验设置为30和3，以保证较稳健的线段正确匹配率。

作为一个优选的实施例，进行平面优化的线段匹配，得到多个候选匹配点以及所对应的多个候选匹配线段的具体过程为：

计算ii、ij两张输电线路杆塔图像的核线，并在ii图像中沿核线方向搜索与ij图像的交点，若交点到核线距离小于ii图像中原始交点到合并后的新交点的最大距离，则该交点为新交点的候选匹配点，该交点所对应的线段为候选匹配线段。在本实施例中以图3进行举例说明，设分别为图像ii、ij的相机投影中心,ri、rj为其相应的旋转矩阵；为图像ii的第m个合并计算后的新交点，其半径为(聚类的原始交点到合并后的新交点的最大距离)，所对应的二维线段集合为每条线段的端点坐标为为以ci、cj为基线并过点所计算的核线，由公式计算得到，其中f为基础矩阵。给定两张图像ii、ij，以及图像ii中的交点计算其对应核线并在图像ij中沿核线方向搜索交点，若交点到核线距离小于该交点的半径，则为的候选匹配点，接着进一步计算匹配到的共面代价，判断其是否满足共面约束条件。

作为一个优选的实施例，计算新交点到多个候选匹配点的共面代价，选择出新交点的匹配点以及所对应的匹配线段的具体过程为：

计算ij图像的新交点到核线的垂足点利用共线方程计算垂足点与候选匹配点前方相交汇的三维坐标点

给定ij图像与新交点所在的射线方向的单位向量作为初始法向量，基于初始法向量以及三维坐标点，计算出新交点所对应的线段的三维坐标点，具体过程如下：

给定该交点初始的法向量为ci与所在的射线方向的单位向量，以及三维坐标点假设所对应的线段共面，利用初始化的法向量以及三维点可计算出所对应的线段的三维坐标点，其中以端点计算其三维坐标为例：

其中

其中为第i张图像的旋转矩阵的转置，(cx,cy,f)为图像的像主点以及像主距。

将新交点所对应的线段的三维坐标点投影到ij图像中形成二维线段；具体过程为：将三维坐标点形成的三维线段投影到图像ij中的对应二维线段通过最小化投影线段到所对应线段的最小距离来优化与将物方点沿过投影中心射线方向优化zn，法向量由两个角度α、β表示，其中：

由此得到的最小目标方程为

其中为到中所匹配的线段的最小垂直距离。

将与新交点之间垂直距离最短的二维线段中的点作为新交点的匹配点，并通过匈牙利最小二分图算法计算出新交点所对应的匹配线段。对于给定线段以及中任一线段匈牙利最小二分图算法的匹配权重计算函数为

w＝angle/exp(overlap/(d1+d2+1)

其中angle、overlap为此两条线段的夹角以及重叠率，d1和d2为线段的两个端点分别到线段的距离。

需要进一步说明的是：由于输电线路杆塔为镂空结构，不同平面的线段在图像中会前后叠加相交，因此在利用上述匹配算法进行匹配时，采用任意两条线段和依次进行优化匹配，若优化后计算的像素差小于8，则认为和在最小化垂直距离优化所匹配到中对应线段和分别为和的候选匹配线段，并统计中每条线段匹配到中各个线段的个数，取最大的匹配线段个数为该线段的可能匹配线段，并根据匹配的线段计算这些线段所在的平面。若中线段个数小于3，则直接利用最小二乘拟合一个平面；若中线段个数大于3，则每两条直线利用最小二乘拟合平面，并根据平面到平面的距离以及法向量夹角合并这些拟合的平面。在利用最小二乘拟合平面时，若三维线段到拟合平面的平均距离大于0.2m，则认为拟合平面失败，不记录该平面信息。同时，拟合的平面记录对应在该平面内的所有三维线段以及这些三维线段由哪些图像中的二维线段匹配信息。

作为一个优选的实施例，从每个新交点所对应线段的正确所在平面中选择出主要平面的具体过程为：

对每个新交点所对应线段的正确所在平面中的二维线段，依次与该线段的正确所在平面相交计算其对应的三维坐标，并投影到其他图像中，利用重叠率以及角度约束来判断其他图像中是否存在满足关系的二维匹配线段(其中重叠率大于0.25，夹角小于5度)，计算二维匹配线段的三维线段坐标以及对应的三维平面，对三维平面进行合并，计算每个新交点所对应线段的正确所在平面中所包含三维线段的条数，并按照条数数量从大到小进行排序，保留排列在前20％的每个新交点所对应线段的正确所在平面作为主要平面。

作为一个优选的实施例，寻找出满足近似共线条件的其他主要平面的三维坐标，得到电力杆塔匹配的三维线段的具体过程为：

通过查找三维坐标一定半径范围内的其他三维坐标，若在该范围内没有其他三维坐标，则匹配错误，该三维坐标需要剔除；若存在其他三维坐标，判断其他三维坐标是否与该三维坐标近似共线，若近似共线，则将该三维坐标所对应的三维线段作为电力杆塔匹配的三维线段。

如图3所示，一种输电线路杆塔线段匹配设备30，所述设备包括处理器300以及存储器301；

所述存储器301用于存储程序代码302，并将所述程序代码302传输给所述处理器；

所述处理器300用于根据所述程序代码302中的指令执行上述的一种输电线路杆塔线段匹配方法中的步骤。

示例性的，所述计算机程序302可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器301中，并由所述处理器300执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序302在所述终端设备30中的执行过程。

所述终端设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器300、存储器301。本领域技术人员可以理解，图4仅仅是终端设备30的示例，并不构成对终端设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器300可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器301可以是所述终端设备30的内部存储单元，例如终端设备30的硬盘或内存。所述存储器301也可以是所述终端设备30的外部存储设备，例如所述终端设备30上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器301还可以既包括所述终端设备30的内部存储单元也包括外部存储设备。所述存储器301用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器301还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。