基于图像配准的输电线路巡检方法、系统和存储介质与流程

1.本发明涉及智能巡检领域，尤其涉及一种基于图像配准的输电线路巡检方法。


背景技术：

2.近年来，输电线路巡检逐渐向智能化方向发展，除了常用的无人机巡检外，输电线路巡检机器人也开始被应用于输电线路巡检领域。在巡检过程中，巡检设备搭载的高倍数变焦云台摄像机及红外相机，能够采集输电线路各部件的高清可见光图像和红外图像，并按照巡检目标类型对照片进行归档，用于缺陷自动识别。输电线路的缺陷往往非常细小，因此采集到高质量的巡检图像成为自动化巡检中关键的步骤之一。
3.目前，工程上常用的巡检图像采集方法是通过预先手工配置巡检目标实现。理想情况下，通过记录作业目标位置及每个巡检目标对应的云台相机焦距和角度，即可复现所有巡检目标的最佳拍摄位置并采集高质量的图像。但是，受运行环境和设备定位精度的影响，按照预先设置的位置参数和相机参数进行拍摄，很容易出现角度偏差，导致采集的图片中出现目标偏移的问题。另外，一基杆塔包含了上百个精细巡检目标且每个巡检目标都需要添加编号及描述，人工配置巡检目标耗时耗力且很容易混乱。
4.为提升巡检作业的智能化程度，基于线路三维模型及拍摄距离约束的自主巡检方法被提出。但是，这种方法需要采用激光雷达扫描数据建立整个输电线路的三维模型，建模过程非常复杂，也难以保证精度，在工程上应用较少。另外，基于图像配准的自主巡检方法在变电站巡检中已有应用，其通过将不同视角获取的目标图像匹配并基于匹配目标进行矫正以消除存在的畸变，从而实现拍摄目标的定位。但是，直接配准的方法需要对每个场景都单独建模，在输电线路巡检场景中杆塔数量众多，需要建模的工作量很大。


技术实现要素：

5.本发明旨在提供一种基于图像配准的输电线路巡检方法，本发明结合杆塔图像配准技术及目标跟踪技术，以解决现有技术中存在的巡检目标图像采集配置工作量大，受环境干扰大，以及每基杆塔的巡检目标模型无法通用的问题。本发明主要在输电线路巡检机器人上应用，也可以移植到无人机巡检场景中。
6.为实现上述技术目的，本发明采用以下技术方案。
7.一方面，本发明提供基于图像配准的输电线路巡检方法，包括：获取选定类型杆塔的杆塔模板图像，并对杆塔模板图像中的巡检目标进行建模获得杆塔巡检目标模板图像；从输电线路巡检画面中提取杆塔区域图像；将提取的杆塔区域图像与杆塔巡检目标模板图像配准以矫正畸变；将杆塔巡检目标模板图像中的巡检目标逐一映射到配准后的杆塔区域图像中；对杆塔区域图像中的巡检目标进行图像巡检。
8.进一步地，对杆塔区域图像中的巡检目标进行巡检，其特征在于，包括
利用云台相机跟踪巡检目标；计算巡检目标处于当前杆塔区域图像画面中的相对位置；当巡检目标位于当前杆塔区域图像画面中心并且尺寸大于阈值时利用云台相机完成拍摄。
9.进一步地，获取选定类型杆塔的杆塔模板图像，并对杆塔模板图像中的巡检目标进行建模获得杆塔巡检目标模板图像，包括：采集选定类型杆塔的正面全景巡检画面，去除背景提取杆塔区域，生成杆塔模板图像；在杆塔模板图像上利用目标框标注所有巡检目标的位置和尺寸；保存所有巡检目标框左上角和右下角的像素坐标生成杆塔巡检目标模板图像。
10.进一步地，从输电线路巡检画面中提取杆塔区域图像。包括：使用训练好的mask-rcnn深度学习模型完成对输电线路巡检画面中杆塔的实例分割；提取实例分割结果中尺度最大的一个杆塔区域就是当前巡检杆塔区域。
11.进一步地，将提取的杆塔区域图像与杆塔巡检目标模板图像配准以矫正畸变，包括：对杆塔区域图像及杆塔巡检目标模板图像分别提取surf特征点；利用flann匹配器对提取的特征点进行匹配；利用ransac特征点对筛选法去除匹配错误的特征点对；计算单应性矩阵，通过仿射变换，矫正杆塔区域图像畸变，完成配准。
12.再进一步地，将杆塔巡检目标模板图像中的巡检目标逐一映射到配准后的杆塔区域图像中，包括：基于单应性矩阵，对每一个巡检目标的中心坐标进行仿射变换，即获取在当前杆塔区域图像中的巡检目标中心坐标位置；进一步地，跟踪巡检目标并计算巡检目标处于当前巡检画面中的相对位置，包括：利用滤波算法对巡检画面中每一个巡检目标进行跟踪；将当前杆塔区域图像画面中分为9个区域，分别为中心、左、右、上、下、左上、左下、右上和右下；根据目标跟踪中心点所在区域，判断巡检目标在当前巡检画面中的相对位置， 生成对应生成云台相机角度转动指令；计算巡检目标区域面积占全景巡检画面的比例，用于云台相机焦距调节。
13.第二方面，本发明提供了基于杆塔区域图像配准的输电线路巡检系统，包括：巡检目标模板建立模块、图像配准模块和图像巡检模块；巡检目标模板建立模块，用于获取选定类型杆塔的杆塔模板图像，并对杆塔模板图像中的巡检目标进行建模获得杆塔巡检目标模板图像；图像配准模块，用于从输电线路巡检画面中提取杆塔区域图像；将提取的杆塔区域图像与杆塔巡检目标模板图像配准以矫正畸变；将杆塔巡检目标模板图像中的巡检目标逐一映射到配准后的杆塔区域图像中；图像巡检模块，用于对杆塔区域图像中的巡检目标进行图像巡检。
14.进一步地，所述系统还包括目标跟踪模块，目标跟踪模块，用于利用云台相机跟踪巡检目标；计算巡检目标处于当前杆塔区域图像画面中的相对位置；当巡检目标位于当前杆塔区域图像画面中心并且尺寸大于阈值时利用云台相机完成拍摄。
15.第三方面，本发明还提供了一种计算机可读存储介质,所述存储介质上存储有计算机可执行命令,所述计算机可执行命令用于执行如第一方面任意一种可能的实施方式提
供的所述的基于图像配准的输电线路巡检方法的步骤。
16.本发明所取得的有益技术效果：虽然一条输电线路包含很多杆塔，但是同类型的杆塔外型及巡检目标相对位置差异较小，若杆塔巡检目标建模获得模板可以复用，则可以显著提升巡检配置工作效率；本发明通过构建杆塔巡检目标模板图像，可在输电线路巡检中可重复利用，显著提高了巡检工作效率；本发明在巡检画面中分割出杆塔区域图像，将杆塔区域图像于杆塔巡检目标模板图像进行配准，并对巡检目标逐一映射标注，完成对同一种类型杆塔的建模，其过程简单易操作，具有较好的工程实用性；基于已知类型杆塔的巡检点模型，结合杆塔区域图像的配准，实现了同类型杆塔的巡检配置文件复用，显著减少了配置巡检点的工作量；巡检时，通过目标跟踪技术实时修正云台相机的角度，克服了环境变化导致的晃动及预制点偏移问题，保证了采集图像的质量。
附图说明
17.图1 是本发明实施例提供的输电线路巡检方法的流程图。
18.图2是本发明具体实施例中输电线路巡检画面；图3是本发明具体实施例中杆塔模板图像；图4是本发明实施例中杆塔巡检目标模板图像。
19.图5是本发明实施例中基于杆塔区域配准的巡检目标映射过程示意图。
具体实施方式
20.在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
21.为了实现对输电线路的智能化巡检，巡检机器人需要自动采集线路各个部件的高清局部图像，用于缺陷识别。需要采集的巡检图像数量众多，且尺度多变，包括了地基、杆塔基础等杆塔主要部件，以及绝缘子、线夹、防震锤等线路金具。一基杆塔包含了上百个巡检点（即巡检目标），每个巡检点需要采集多张不同尺寸的照片，因此人工配置每个巡检点是非常耗时耗力的。另外采集尺寸较小的零部件时，云台相机需要多倍变焦才能拍清细节特征，这将很容易受到机器人摆动以及定位精度误差的影响，导致拍摄角度的偏移。
22.如图1和图5所示的一种基于杆塔区域图像配准输电线路巡检方法的工作流程如下：步骤1：采集各种不同类型的输电线路杆塔正面照片，对已知类型杆塔进行巡检点建模，获得杆塔巡检目标模板图像。
23.步骤2：利用机器人搭载的云台相机采集初始位置巡检图像，从初始巡检画面中提取杆塔区域图像。
24.步骤3: 将提取的巡检杆塔区域图像与杆塔巡检目标模板图像中的关键点特征进行特征匹配，通过特征匹配完成图像配准以矫正畸变。
25.步骤4：根据步骤3配准得到的单应性矩阵，将杆塔巡检目标模板图像的巡检点坐
标逐一映射到杆塔区域图像中。
26.步骤5：利用相关滤波跟踪算法跟踪巡检目标并计算目标处于当前画面中的相对位置；本发明中采用kcf核化相关滤波算法跟踪巡检目标。
27.步骤6：根据步骤5计算的目标位置信息，实时调整云台相机角度与焦距。
28.步骤7：当巡检目标位于画面中心并且尺寸大于阈值时完成拍摄。
29.其中，本发明按照杆塔类型对巡检点进行建模，在配准时，提取杆塔所在区域，去除了杆塔背景对配准精度的影响，实现了同类型杆塔之间的模板通用。本发明利用跟踪算法对每一个映射的巡检点进行跟踪，同时根据跟踪结果实时调整云台相机的角度，保证巡检目标始终处于画面中心，克服了环境因素对拍摄精度的影响。kcf核化相关滤波算法的跟踪速度很快，在nvidiajetsontx2平台上可以到达100fps，满足对巡检目标实时定位的需求。云台相机微调过程中，本发明将当前巡检画面分为9个区域，分别为中心、左、右、上、下、左上、左下、右上、右下。根据目标跟踪中心点所在区域，判断巡检目标在画面中的相对位置，即可对应生成云台相机角度转动指令。云台相机的角度通过点云方式调整，一旦巡检目标中心坐标加入画面中心区域，立即停止云台转动。云台相机的焦距根据巡检目标需要的屏占比提前设置阈值，当目标画面尺寸较小时放大相机焦距，当尺寸达到阈值后停止焦距放大，并停留5秒自动对焦。
30.如图2~图4所示本发明中的杆塔巡检点建模过程如下：首先利用机器人搭载的云台相机采集杆塔的正面全景巡检画面（如图2所示）；然后去除杆塔背景并提取杆塔区域，即获得杆塔模板图像（如图3所示）；再在杆塔模板图像上标注所有巡检目标的位置和尺寸；最后保存所有巡检目标框左上角和右下角点坐标，生成杆塔巡检目标模板图像（如图4所示），用于所有同类型杆塔的配准。
31.如图5所示本发明中基于杆塔区域配准的巡检点映射的工作流程如下：步骤1：利用机器人搭载的云台相机采集初始位置巡检图像，由于线路巡检机器人沿着地线行走，云台只需要将初始方向设为机器人行走方向即可，将焦距调至最小值。
32.步骤2：从初始巡检画面中自动提取巡检杆塔区域图像。本发明中使用基于深度学习的mask-rcnn实例分割模型，对当前巡检图像进行实例分割。由于云台相机正对杆塔，视野中一般存在由近到远多基杆塔，本发明提取尺寸最大的一个杆塔实例作为当前巡检杆塔。
33.步骤3:对巡检杆塔区域图像及杆塔巡检目标模板图像分别提取surf特征点描述子；利用flann匹配器对提取的特征点进行匹配；然后利用ransac特征点对筛选法去除匹配错误的点对，计算单应性矩阵；最后通过仿射变换，矫正杆塔图像畸变，完成巡检杆塔区域图像与模板杆塔的配准。
34.步骤4：根据步骤3配准得到的单应性矩阵，将模板杆塔中巡检目标的左上角及右下角坐标逐一映射到巡检杆塔区域图像中，即可获得当前画面中所有巡检目标的位置信息。
35.其中，本发明采用mask-rcnn模型作为杆塔图像实例分割模型，有效地克服了复杂背景对杆塔分割的影响。另外为了保证实例分割的处理速度，本发明采用resnet50作为mask-rcnn模型的特征提取网络，另外将杆塔区域图像从1920*1080像素压缩到384*216像素，使模型在nvidiajetsontx2上的推理速度达到10fps，然后将杆塔分割的掩膜放大到原
始分辨率尺寸。由于基于特征点描述子的匹配方式对匹配区域的边缘精度的要求不高，分割结果掩膜放大后并不会影响特征点匹配效果。为了保证特征点匹配的速度，本发明采用了flann匹配器算法有效避免了特征点暴力匹配。在完成杆塔区域图像配准后，即可获得用于视角变换的单应性矩阵。
36.本发明通过巡检点建模及目标跟踪技术，代替了手工控制云台相机的配置过程，显著提升了巡检点配置的效率和便利程度；通过对杆塔区域配准，实现了同类型杆塔的巡检配置文件复用，显著减少了配置巡检点的工作量；通过目标跟踪技术实时修正云台相机的角度，克服了环境变化导致的晃动及预制点偏移问题，有效地保证了采集图像的质量。本发明不仅可以在输电线路巡检机器人上应用，也可以移植到无人机巡检场景中。
37.与以上实施例相对应地，本发明实施例还提供了基于杆塔区域图像配准的输电线路巡检系统，包括：巡检目标模板建立模块、图像配准模块和图像巡检模块；巡检目标模板建立模块，用于获取选定类型杆塔的杆塔模板图像，并对杆塔模板图像中的巡检目标进行建模获得杆塔巡检目标模板图像；图像配准模块，用于从输电线路巡检画面中提取杆塔区域图像；将提取的杆塔区域图像与杆塔巡检目标模板图像配准以矫正畸变；将杆塔巡检目标模板图像中的巡检目标逐一映射到配准后的杆塔区域图像中；图像巡检模块，用于对杆塔区域图像中的巡检目标进行图像巡检。
38.进一步地，所述系统还包括目标跟踪模块，目标跟踪模块，用于利用云台相机跟踪巡检目标；计算巡检目标处于当前杆塔区域图像画面中的相对位置；当巡检目标位于当前杆塔区域图像画面中心并且尺寸大于阈值时利用云台相机完成拍摄。
39.本发明还提供了一种计算机可读存储介质,所述存储介质上存储有计算机可执行命令,所述计算机可执行命令用于执行如以上实施例任意一种可能的实施方式提供的所述基于图像配准的输电线路巡检方法的步骤:本领域内的技术人员应明白,本技术的实施例可提供为方法、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质上实施的计算机程序产品的形式。
40.以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。