一种飞行上下线绝缘子串检测机器人自主落串方法及系统与流程

本公开属于机器人控制技术领域，涉及一种飞行上下线绝缘子串检测机器人自主落串方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

飞行上下线绝缘子串检测机器人是一种带有飞行机构，通过飞控系统能够进行飞行控制并能对架空输电线路绝缘子串进行检测的机器人。机器人检测的前提是要降落在绝缘子串上，由于绝缘子串周围环境较为复杂，且处在高空中，人工控制落串方式可靠性较低，若人员出现操作失误，容易引起安全事故。

而如果要实现自主落串，首要是对绝缘子串进行识别与定位，但据发明人了解，传统的测距等传感器无法对目标进行识别分类、并且感知范围有限。

技术实现要素：

本公开为了解决上述问题，提出了一种飞行上下线绝缘子串检测机器人自主落串方法及系统，本公开通过定位捕捉目标绝缘子串，解算出机器人相对绝缘子中心的水平和垂直距离以及角度偏差，飞控通过相对偏差对机器人位置、朝向进行实时修正，并测算机器人与绝缘子串的距离，实现精准降落。

当然，本公开提到的机器人可以利用无人机飞行原理，具体结构在此不作限定，一般可进行飞行控制与调整的绝缘子串检测机器人，都能够实现本发明公开提到的自主落串。

根据一些实施例，本公开采用如下技术方案：

一种飞行上下线绝缘子串检测机器人自主落串方法，包括以下步骤：

控制检测机器人飞行至绝缘子串上方位置，利用携带的相机垂直向下采集绝缘子串图像；

利用训练好的深度学习神经网络模型，，对每片绝缘子在采集图像中的位置进行自动识别；

根据得出的绝缘子片识别结果，计算每片绝缘子的中心，拟合出两个绝缘子串的中间线；

计算机器人相对绝缘子串的中间线的水平和垂直距离以及角度偏差，实时修正机器人位置和姿态，使机器人运动至两个绝缘子串的中间线的正上方，控制机器人垂直降落，实时测定机器人与绝缘子串的高度差，实现自主落串。

作为可选择的实施方式，利用机器人的相机对机器人下方环境进行垂直拍摄，对拍摄的图像利用神经网络提取特征，并用深度学习算法进行目标识别。

作为可选择的实施方式，所述深度学习算法，接收缩放至设定尺寸的图像，采用多尺度特征图进行检测，对特征图上的每一个像素生成若干个不同长宽比的候选框，最后对候选框进行分类回归，得到目标的位置。

作为可选择的实施方式，所述神经网络经过深度学习算法进行训练，在训练时对于训练样本采用单个绝缘子片逐一标记的方式，通过训练好的神经网络模型对图像中的所有绝缘子片进行识别，综合所有绝缘子片的识别结果，精确计算机器人与绝缘子串的相对位置。

作为可选择的实施方式，利用最小二乘算法，拟合出两个绝缘子串的中间线，并得到拟合后的中间线的曲线斜率，依据所述曲线斜率计算机器人偏航角与绝缘子串在相机坐标系中的方向角。

作为可选择的实施方式，根据相机坐标系相对于机器人坐标系的角度，计算得出绝缘子串在机器人坐标系中的方向角，根据此方向角和机器人落串角度的要求，调整飞行绝缘子串检测机器人航向，使机器人处在绝缘子串的正上方。

作为可选择的实施方式，利用视觉测距算法得到机器人相对绝缘子串的高度。

作为可选择的实施方式，机器人搭载的是双目视觉相机，对双目相机采集到的图像进行绝缘子串的识别，然后利用双目视觉相机在同一时刻采集的图像进行特征点匹配，最后采用双目视觉测距算法求解机器人相对绝缘子串的高度。

作为进一步的限定，根据位置将双目相机中左侧相机采集到的图片中的绝缘子片中心从上到下分别编号，将双目相机中右侧相机采集到的图片中绝缘子片中心从上到下分别编号，得到特征点对，根据双目视觉测距原理，计算出机器人相对于绝缘子串的高度值。

一种飞行上下线绝缘子串检测机器人自主落串系统，包括：

自动识别模块，被配置为对机器人采集的图像利用训练好的深度学习神经网络模型，对每片绝缘子在图像中的位置进行自动识别；

位姿调整模块，被配置为根据得出的绝缘子片识别结果，计算每片绝缘子的中心，拟合出两个绝缘子串的中间线，计算机器人相对绝缘子串的中间线的水平和垂直距离以及角度偏差，实时修正机器人位置和姿态，使机器人运动至两个绝缘子串的中间线的正上方，控制机器人垂直降落，实现自主落串。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的飞行上下线绝缘子串检测机器人自主落串方法。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的飞行上下线绝缘子串检测机器人自主落串方法。

一种机器人，所述机器人本体上设置有相机，所述相机被配置为采集绝缘子串图像，还包括上述系统，或使用上述落串方法进行落串。

与现有技术相比，本公开的有益效果为：

本发明提出了一种高效率的深度学习绝缘子串检测算法，优化了检测流程，特征提取后直接对绝缘子串进行分类、回归，实现了对绝缘子串的智能、快速化检测。

本发明提出了基于图像伺服的飞行上下线绝缘子串检测机器人姿态调整方法，依据绝缘子串在图像中的位置分布，自主调整飞行机器人位置与偏航角，实现了机器人到绝缘子串正上方的自动运动。

本发明创新性采用自主识别的图像绝缘子片中心点作为双目视觉测距特征匹配的特征点，攻克了传统特征点提取过程计算复杂、特征匹配容易出现误匹配的难题，提高了双目视觉测距的效率与准确度，实现了落串过程中机器人与绝缘子串距离的实时测定。

整套系统能够集成在嵌入式终端设备中，提高了飞行上下线绝缘子串检测机器人的终端智能化水平。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是绝缘子串检测机器人自主落串流程图；

图2是绝缘子片识别结果图；

图3是机器人位置调整方向图；

图4是机器人偏航角调整后航拍图；

图5(a)-(d)是机器人位置调整过程拍摄图像示意图；

图6是机器人绝缘子匹配图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种飞行上下线绝缘子串检测机器人自主落串方法，通过视觉系统定位捕捉目标绝缘子串，解算出机器人相对绝缘子中心的水平和垂直距离以及角度偏差，飞控通过相对偏差对机器人位置、朝向进行实时修正，并利用双目视觉原理测算机器人与绝缘子串的距离，实现精准降落。

本公开提到的机器人可以利用无人机飞行原理，具体结构在此不作限定，一般可进行飞行调整的绝缘子串检测机器人，都能够实现本公开提到的自主落串。

目前已有的飞行上下线绝缘子串检测机器人均具有飞控系统，能够控制机器人半自主或自主飞行，保持机器人的飞行姿态。飞控系统一般有陀螺仪、加速计、地磁感应、气压传感器、超声波传感器、光流传感器、gps模块以及控制电路等部分组成，整体实现姿态控制。在此不再赘述。

该方法的具体实施过程如下：

1、基于视觉信息的绝缘子串智能识别

本实施例飞行上下线绝缘子串检测机器人具有飞行能力，能够飞行至绝缘子串上方位置，再自主降落在绝缘子串上，为了实现自主落串首先需要对绝缘子进行智能识别，从而发现绝缘子串目标。为了实现绝缘子的精确识别，本实施例采用了基于深度学习的图像识别技术，通过绝缘子串检测机器人的相机载荷对机器人下方的环境进行垂直拍摄，对拍摄的图像利用神经网络提取特征，基于提取的特征对绝缘子在图像中的位置进行自动识别。

为了提高神经网络学习模型对于室外复杂场景的适应性，本实施例采用了图像增广技术对训练样本库进行扩充，通过对训练样本进行旋转、加噪、亮度及对比度调整等多种单一方式或叠加方式，形成丰富的训练样本库。本实施例对于训练样本采用了单个绝缘子片逐一标记的方式，通过训练好的神经网络模型对图像中的所有绝缘子片进行识别，综合所有绝缘子片的识别结果，精确计算机器人与绝缘子串的相对位置。在对单片绝缘子检测的过程中，由于其在图像中的尺寸较小，容易造成漏检，本实施例针对该问题，对神经网络结构进行了调整，特征提取时融合上下层特征，增强特征的表达能力，避免目标丢失的情况。本实施例采用上述方法，对机器人采集的图像进行检测，检测结果如图2所示。

本实施例在实施时采用了one-stage深度学习算法，one-stage算法相比two-stage算法速度更快，能够较好地满足实时性要求。one-stage算法通常将输入图像缩放到固定尺寸，然后送入神经网络中进行特征提取后，直接进行分类与回归。在对目标进行检测时，本实施例采用多尺度特征图进行检测，在低层特征图上由于相对的感受野较小，容易对尺寸小的目标进行检测，在高层特征图上，由于同样的范围对应的感受野更大，容易检测大尺寸目标，从而提高算法对尺度变化的泛化能力。同时结合anchor思想，对特征图上的每一个像素生成若干个不同长宽比的候选框，最后对候选框进行分类回归。

2、飞行绝缘子串检测机器人位置与偏航角调整

本实施例根据步骤1得出的绝缘子片识别结果，计算每个绝缘子片的中心，然后利用最小二乘算法，拟合出两个绝缘子串的中间线，效果如图3所示。图3虚线l(y＝kx+b)为通过最小二乘算法，拟合出的绝缘子串中间线，以图像中心点p为机器人位置，由p到l作垂线，图3所示垂线方向即为机器人待调整方向。通过机器人多次调整，使得其位置位于两个绝缘子串的中间线附近，即机器人位于绝缘子串的正上方。

最小二乘法通过最小化误差来寻找数据的最佳匹配函数，能够对线性关系进行拟合。在二维空间中，若已知有n个点(x1,y1),(x2,y2)...(xn,yn)，使用最小二乘法对这n个点进行直线拟合。目标是找到常数k,b，使得数据与直线y＝kx+b的误差平方和函数最小，则此时的常数k,b就是这n个数据点的最佳匹配函数，同时也得到了这n个点的回归方程y＝kx+b。误差平方和函数ζ表示为：

飞行绝缘子串检测机器人偏航角基于绝缘子串中间线的曲线斜率k进行计算调整。根据如下公式计算绝缘子串在相机坐标系中的方向角α：

然后根据相机坐标系相对于机器人坐标系的角度，计算得出绝缘子串在机器人坐标系中的方向角，根据此方向角和机器人落串角度的要求，调整机器人航向，调整后的图像如图4所示(图中相机坐标系与机器人坐标系重合)。

3、飞行绝缘子串检测机器人自主落串

机器人姿态位置调整好之后，即可进行自主落串，本实施例采用双目视觉定位技术，实时获取机器人相对绝缘子串的高度信息，用以控制机器人降落。具体过程为：利用训练好的神经网络模型，对双目相机采集到的图像进行绝缘子串的识别，然后对双目视觉相机在同一时刻采集的图像进行特征点匹配，最后利用双目视觉测距算法求解机器人相对绝缘子串的高度。

机器人垂直降落过程中双目相机的左右图像只在垂直于绝缘子串方向上移动，根据这一前提，本实施例采用绝缘子片中心点作为特征点进行特征点的匹配，相比于传统的图像匹配算法，运算效率大幅提升。绝缘子特征点匹配如图6所示，图6中红点代表绝缘子片的中心，根据位置将双目相机中左侧相机采集到的图片中的绝缘子片中心从上到下分别命名为ll1,ll2,…,lln(中线左侧)和lr1,lr2,…,lrn(中线右侧)，将双目相机中右侧相机采集到的图片中绝缘子片中心从上到下分别命名为rl1,rl2,…,rln(中线左侧)和rr1,rr2,…,rrn(中线右侧)，即可得到得到特征点对(ll1,rl1),(lr1,rr1)…,(lln,rln),(lrn,rrn)。根据双目视觉测距原理，多组匹配点可以相应计算得出多组机器人相对于绝缘子串的高度值，本实施例为保障运算的准确性，采用中值滤波算法按一定比例剔除小值和大值，留取中间部分的距离值，进行平均运算，以平均值作为机器人相对于绝缘子串的高度值。

机器人根据相对于绝缘子串的高度信息进行自主落串，当相机视野中不再有完整绝缘子且机器人上的测距传感器发现与障碍物的距离小于限定阈值时，自动停桨。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。