一种电力线巡检影像密集匹配方法与流程

[0001]
本发明涉及电力巡检技术领域，具体涉及一种电力线巡检影像密集匹配方法。


背景技术：

[0002]
无人机影像进行电力巡线相比于人工巡线有着高效、安全等多方面的优点。其中，利用航空影像进行密集匹配，从而获得逐个像素的视差值是恢复电力沿线真实三维模型的重要步骤。在实现无人机影像密集匹配的过程中，按照是否采用深度学习的方法可以分为基于传统算法的密集匹配和基于深度学习算法的密集匹配。
[0003]
传统的影像密集匹配方法往往会因受到光照不均匀、低纹理或重复纹理等一系列病态问题导致匹配精度，鲁棒性受到影响。近些年随着深度学习的不断发展，学者们意识到基于深度学习的图像处理方法能够大幅度地提高图像处理的效果。在影像密集匹配领域，不少学者也提出各种基于深度学习的密集匹配方法。
[0004]
中国专利cn109146937a公开了一种基于深度学习的电力巡检影像密集匹配方法，其基于的是一种名为psmnet的新的密集匹配网络，这种网络结构结合了金字塔池化方法和3d卷积神经网络方法，能够较好的搜集匹配区域周围的上下文信息，从而使得该方法在纹理缺乏、遮挡等病态区域有更好的表现，这也是本文的主要研究方法。但是psmnet网络没有顾及到不同特征之间的重要性关系，没有对重要性大的特征进行加权。


技术实现要素：

[0005]
为了克服现有技术所存在的缺陷，本发明提供了一种电力线巡检影像密集匹配方法，能够实现电力线巡航的自动化巡检工作，而且能够快速高效地实现大规模的巡检工作，并且在多尺度卷积的作用下，使得匹配的结果能够适应不同尺度的匹配变化。
[0006]
为解决上述技术问题，本发明提供以下技术方案：
[0007]
一种电力线巡检影像密集匹配方法，基于的是级联多尺度残差学习网络，采用级联学习的策略，分为两个网络进行学习；第一个网络将输入的立体影像进行初步特征提取和初步视差估计；第二个网络在第一个网络的基础上，对初步视差估计过程进行视差精化，从而得到最终的匹配结果。
[0008]
进一步的，在初步特征提取的阶段，采用多尺度卷积神经网络来获得不同尺度大小的特征信息，从而增加网络对于不同特征信息的提取。
[0009]
进一步的，采用的尺度分别是3x3，5x5以及7x7，从而能够保证网络对于多尺度特征的适应性。
[0010]
进一步的，在第一个网络中，采用连续的五层共享权值的卷积神经网络对立体影像的左右影像进行特征提取，接下来通过拼接的方式将左右影像的初步特征进行一个重叠，最后通过三层的卷积神经网络对视差进行预测估计。
[0011]
进一步的，在网络设计的过程中也加入残差网络的思想，通过将前一层学习的结果加到当前层的特征图，从而使得网络能够结合低层次和高层次的特征，加入了残差学习
网络的另一个优点是防止网络出现梯度消失和梯度爆炸的情况出现，该层网络采用adam梯度下降算法对网络的权重进行更新。
[0012]
进一步的，在连接层的部分，直接将第五层提取的左右影像特征图在特征通道上进行叠加，叠加后的特征通道数增加一倍，本发明没有采用对左右特征图的值直接相加的方法，因为直接相加处理加入了人为因素，而本网络是一种端到端的训练过程，因此，叠加后的特征图由后续的卷积操作进行学习。
[0013]
进一步的，叠加处理完成之后，采用连续的三个卷积层来提取出初步的视差结果，最终输出一张视差图，网络采用回归的方式获得最终的视差结果，因此视差图的精度可以达到子像素的精度。
[0014]
进一步的，在第二个网络中，采用编码-反编码的网络结构对初步的视差结果进行精化。
[0015]
进一步的，编码-反编码结构主要分为通过卷积的下采样和通过反卷积的上采样过程。
[0016]
进一步的，通过卷积的下采样过程中，利用三个连续的步长为二的卷积操作，使得输入的影像大小缩小为原始图像的八分之一，从而获得编码以后的影像，然后再通过三个连续的步长为二的反卷积过程，使得编码后的影像恢复到原始影像的大小，从而获得解码以后的特征图。
[0017]
进一步的，在编码-反编码结构的过程使用的是大小为3x3的卷积核，在通过连续的三个编码反解码的卷积操作之后，初步视差估计得到进一步的精化，从而得到最终的匹配结果。
[0018]
进一步的，视差初步估计过程采用的真实值和视差精化过程中采用的真实值相同，在经过这一系列的编码解码网络之后，便能获得最终的精化结果。
[0019]
与现有技术相比，本发明具有以下有益效果：
[0020]
能够实现电力线巡航的自动化巡检工作，而且能够快速高效地实现大规模的巡检工作，并且在多尺度卷积的作用下，使得匹配的结果能够适应不同尺度的匹配变化。
附图说明
[0021]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据附图获得其他的附图。
[0022]
图1为密集匹配网络多尺度卷积结构示意图；
[0023]
图2为密集匹配网络编码反编码结构示意图；
[0024]
图3为视差初步估计网络示意图；
[0025]
图4为视差精化网络示意图。
具体实施方式
[0026]
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范
围。
[0027]
本发明实施例包括：
[0028]
实施例一：
[0029]
一种电力线巡检影像密集匹配方法，基于的是级联多尺度残差学习网络，采用级联学习的策略，分为两个网络进行学习；第一个网络将输入的立体影像进行初步特征提取和初步视差估计；第二个网络在第一个网络的基础上，对初步视差估计过程进行视差精化，从而得到最终的匹配结果。
[0030]
如图1所示，在初步特征提取的阶段，采用多尺度卷积神经网络来获得不同尺度大小的特征信息，从而增加网络对于不同特征信息的提取。
[0031]
如图1所示，采用的尺度分别是3x3，5x5以及7x7，从而能够保证网络对于多尺度特征的适应性。
[0032]
如图3所示，在第一个网络中，采用连续的五层共享权值的卷积神经网络对立体影像的左右影像进行特征提取，接下来通过拼接的方式将左右影像的初步特征进行一个重叠，最后通过三层的卷积神经网络对视差进行预测估计。
[0033]
在本实施例中，在网络设计的过程中也加入残差网络的思想，通过将前一层学习的结果加到当前层的特征图，从而使得网络能够结合低层次和高层次的特征，加入了残差学习网络的另一个优点是防止网络出现梯度消失和梯度爆炸的情况出现，该层网络采用adam梯度下降算法对网络的权重进行更新。
[0034]
在本实施例中，在连接层的部分，直接将第五层提取的左右影像特征图在特征通道上进行叠加，叠加后的特征通道数增加一倍，本发明没有采用对左右特征图的值直接相加的方法，因为直接相加处理加入了人为因素，而本网络是一种端到端的训练过程，因此，叠加后的特征图由后续的卷积操作进行学习。
[0035]
在本实施例中，叠加处理完成之后，采用连续的三个卷积层来提取出初步的视差结果，最终输出一张视差图，网络采用回归的方式获得最终的视差结果，因此视差图的精度可以达到子像素的精度。
[0036]
经过了视差初步估计网络，可以得到一系列的无人机场景初步匹配结果，这些结果的精确度虽然有限，但是可以作为后续视差精化部分的初始值，其具体网络结构如下表所示：
[0037]
表1初步视差估计网络结构
[0038][0039]
在本实施例中，在第二个网络中，采用编码-反编码的网络结构对初步的视差结果进行精化。
[0040]
在本实施例中，编码-反编码结构主要分为通过卷积的下采样和通过反卷积的上采样过程。
[0041]
如图2和4所示，通过卷积的下采样过程中，利用三个连续的步长为二的卷积操作，使得输入的影像大小缩小为原始图像的八分之一，从而获得编码以后的影像，然后再通过三个连续的步长为二的反卷积过程，使得编码后的影像恢复到原始影像的大小，从而获得解码以后的特征图。
[0042]
在本实施例中，在编码-反编码结构的过程使用的是大小为3x3的卷积核，在通过连续的三个编码反解码的卷积操作之后，初步视差估计得到精化，从而得到最终的匹配结果。
[0043]
视差精化网络结构如下表所示：
[0044]
表2视差精化网络结构
[0045][0046]
在本实施例中，视差初步估计过程采用的真实值和视差精化过程中采用的真实值相同，在经过这一系列的编码解码网络之后，便能获得最终的精化结果。
[0047]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。