一种输电线路巡检机器人单目检测与定位方法与流程

本发明属于模式识别与人工智能技术领域，涉及一种输电线路巡检机器人单目检测与定位方法。

背景技术：

智能高压线巡检机器人是一个研究热点，由于智能高压线巡检机器人的一个必要的功能就是要能够翻越多种障碍物，而针对前方的可能障碍物具体执行什么样的越障操作，一个非常重要的前提就是需要知道障碍物的具体类型与位置。对于输电线路的障碍物检测与定位问题，准确率与实时性是最重要的两个指标，在实际应用中要综合考虑两个指标。

目前，进行障碍物检测识别的基本方法主要有两类：基于多传感器融合的障碍物识别和基于视觉的障碍物识别。这两类方法的基本构件都是各种智能的传感器。而由于线路运行环境复杂，容易受到光照等自然环境的影响，导致传统的障碍物检测与识别方法很难满足准确率与实时性的要求，对障碍物的定位功能不完善，且较为依赖功能强大的传感器使得制作成本较高。所以，寻求一种能满足准确率与实时性要求且成本较低的障碍物检测方法已经势在必行。

技术实现要素：

为解决上述技术问题，本发明的目的是提供一种输电线路巡检机器人单目检测与定位方法，具有较高的识别定位准确率。

本发明提供一种输电线路巡检机器人单目检测与定位方法，包括如下步骤：

步骤1：采集不同种类线路障碍的彩色图像与深度图像，标注出彩色图片中障碍物区域部分作为目标区域，按照目标区域中障碍物的种类进行分类从而构建数据集一；

步骤2：对数据集一中的彩色图像进行图像预处理，并送入yolov3卷积神经网络模型进行训练，直到损失函数≤0.0001并对模型进行评估；

步骤3：根据yolov3卷积神经网络输出结果，得到目标障碍物种类和区域，在对应的深度图像中找到同样的区域，便可获得其深度信息，由yolov3卷积神经网络得到输出张量和与其对应的深度信息便构成数据集二；

步骤4：将数据集二送入线性回归模型进行训练，并对模型进行评估；

步骤5：利用已训练好的yolov3卷积神经网络与线性回归模型共同组成的检测系统进行障碍物识别与定位测试，自动框出障碍物并显示种类和距离。

在本发明的输电线路巡检机器人单目检测与定位方法中，步骤1中利用kinect2深度相机采集线路障碍图像。

在本发明的输电线路巡检机器人单目检测与定位方法中，步骤1中障碍物的种类包括：防震锤，悬垂线夹，间隔器，耐张线夹，合成绝缘子；分类完成后按照pascalvoc数据集格式制作数据集一。

在本发明的输电线路巡检机器人单目检测与定位方法中，步骤2具体包括：

步骤2.1：构建yolov3卷积神经网络；

步骤2.2：设定yolov3卷积神经网络的训练参数；

步骤2.3：在yolov3卷积神经网络中，将原图片均划分成10×10个矩形，在每个矩形中产生3个边框，以供回归；每个边框对应输出4个坐标和目标置信度，同时输出对应5种障碍类别的概率，最终detection层的输出张量大小为10×10×3×(4+1+5)；

步骤2.4：yolov3卷积神经网络采用leaky激活函数；

步骤2.5：权值初始化：共享卷积层的权值使用imagenet分类任务训练模型进行初始化，其余新的层采用零均值高斯分布进行初始化；

步骤2.6：对边框的坐标进行参数化；

步骤2.7：在yolov3卷积神经网络中，10×10中的每个矩形预测3个输出，然后根据最大的置信度保留一个，再对其进行回归。

在本发明的输电线路巡检机器人单目检测与定位方法中，步骤2中的损失函数采用binarycrossentropy损失函数，公式如下：

式中n为样本数量，yi为真实值，为预测输出值。

在本发明的输电线路巡检机器人单目检测与定位方法中，步骤3中yolov3卷积神经网络的输出结果为包含着目标区域坐标、大小、置信度、种类信息的张量，在对应的深度图像中找到相同的区域，进而在其几何中心获得深度信息，由yolov3卷积神经网络输出张量与对应的深度信息可构成数据集二。

在本发明的输电线路巡检机器人单目检测与定位方法中，所述步骤4中的线性回归模型为岭回归，采用l2正则化方法，并用交叉验证法验证结果。

在本发明的输电线路巡检机器人单目检测与定位方法中，所述步骤5具体为：

步骤5.1：通过单目相机采集图像；

步骤5.2：将图像输入到已训练好的yolov3卷积神经网络中，获得障碍物的种类与目标区域；

步骤5.3：将yolov3卷积神经网络的输出作为输入送入已训练好的线性回归模型中，得到障碍物与机器人之间的距离；

步骤5.4：判断障碍物与机器人之间的距离是否符合越障要求，若不符合，则从头继续检测下一张图片，若符合，则按照障碍物的种类控制巡检机器人跨越障碍。

本发明的一种输电线路巡检机器人单目检测与定位方法至少具有如下有益效果：

1、本发明的一种输电线路巡检机器人障碍物检测与定位方法，采用的yolov3是一种新型目标检测算法，借鉴了resnet网络的思想，加深了网络深度，提高了检测精度，且较之前的版本提高了对于小目标的检测效果，满足场景条件下识别率和实时性的要求。

2、yolov3输出张量与同步在深度图像上获得的深度信息组成数据集二，送入线性回归模型训练，可学得目标障碍物的距离信息，完善了巡检机器人的视觉检测系统。

3、采用本发明的一种输电线路巡检机器人障碍物检测与定位方法，在测试与实用阶段只需要简单的单目相机，较现有的技术相比，明显简化了巡检机器人的结构，降低了成本。

综上，应用本发明的技术方案只需要简单的单目相机，便可通过yolov3网络可识别障碍物种类，再通过线性回归模型可计算出障碍物距离，本方法完善了巡检机器人的视觉检测系统，且精度高，速度快，成本低。因此本发明的技术方案解决了现有技术中的传统方法过于依赖先进传感器，成本较高，且不能满足实时性与准确率要求的问题。发明可在智能巡检机器人等领域广泛推广。

附图说明

图1为本发明方法的算法流程示意图；

图2为本发明的输电线路巡检机器人障碍物检测与定位系统的测试流程图。

具体实施方式

如图1所示，本发明的一种输电线路巡检机器人单目检测与定位方法，包括如下步骤：

步骤1：利用深度相机采集不同种类线路障碍的彩色图像与深度图像，彩色图像与深度图像一一对应，标注出彩色图像中障碍物区域部分作为目标区域，按照目标区域中障碍物的种类进行分类从而构建数据集一；

具体实施时，障碍物的种类包括防震锤，悬垂线夹，间隔器，耐张线夹，合成绝缘子。使用kinect2深度相机采集线路障碍图像，并通过编写程序使其能够在同一时刻获取彩色图像与对应的深度图像。对于数据集中的彩色图片，利用labelimg工具框选出障碍物区域，标注出障碍物种类并生成xml文件，待所有图片标注完毕后，分类后按照pascalvoc数据集格式制作数据集一。

步骤2：对数据集一中的彩色图像进行图像预处理，并送入yolov3卷积神经网络模型进行训练，直到损失函数≤0.0001，得到训练好的网络模型，计算模型的map值与运行时间并对模型进行评估；

具体实施时，对数据集一中的彩色图像进行裁剪，裁剪后的图像大小为320×320。损失函数采用binarycrossentropy损失函数，公式如下：

式中n为样本数量，yi为真实值，为预测输出值。

步骤2具体包括：

步骤2.1：构建yolov3卷积神经网络；

步骤2.2：设定yolov3卷积神经网络的训练参数；

步骤2.3：在yolov3卷积神经网络中，将原图片均划分成10×10个矩形，在每个矩形中产生3个边框，以供回归；每个边框对应输出4个坐标和目标置信度，同时输出对应5种障碍类别的概率，最终detection层的输出张量大小为10×10×3×(4+1+5)；

步骤2.4：yolov3卷积神经网络采用leaky激活函数；

步骤2.5：权值初始化：共享卷积层的权值使用imagenet分类任务训练模型进行初始化，其余新的层采用零均值高斯分布进行初始化；

步骤2.6：对边框的坐标进行参数化；

步骤2.7：在yolov3卷积神经网络中，10×10中的每个矩形预测3个输出，然后根据最大的置信度保留一个，再对其进行回归。

此yolov3卷积神经网络模型用于识别目标障碍物种类并确定目标区域，模型的输入为包含障碍物的彩色图片，输出为包含目标区域坐标与种类信息的张量；

本申请采用的yolov3网络是一种具有53层卷积层的目标检测神经网络，加入了残差网络来解决随着网络深度变深导致的性能退化的问题，对于小物体、密集和遮挡的情况都有良好的表现。

步骤3：根据yolov3卷积神经网络输出结果，得到目标障碍物种类和区域，在对应的深度图像中找到同样的区域，便可获得其深度信息，由yolov3卷积神经网络得到输出张量和与其对应的深度信息便构成数据集二；

具体实施时，yolov3卷积神经网络的输出结果为包含着目标区域坐标、大小、置信度、种类信息的张量，在对应的深度图像中找到相同的区域，进而在其几何中心获得深度信息，由yolov3卷积神经网络输出张量与对应的深度信息可构成数据集二。

步骤4：将数据集二送入线性回归模型进行训练，计算确定系数r²并对模型进行评估；

具体实施时，线性回归模型为岭回归，采用l2正则化方法，并用交叉验证法验证结果。

步骤5：利用已训练好的yolov3卷积神经网络与线性回归模型共同组成的检测系统进行障碍物识别与定位测试，自动框出障碍物并显示种类和距离。

如图2所示，步骤5具体为：

步骤5.1：通过单目相机采集图像；

步骤5.2：将图像输入到已训练好的yolov3卷积神经网络中，获得障碍物的种类与目标区域；

步骤5.3：将yolov3卷积神经网络的输出作为输入送入已训练好的线性回归模型中，得到障碍物与机器人之间的距离，每张照片中的障碍物被自动框出，并能显示种类与距离；

步骤5.4：判断障碍物与机器人之间的距离是否符合越障要求，若不符合，则从头继续检测下一张图片，若符合，则按照障碍物的种类控制巡检机器人跨越障碍。

以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。