一种变电站巡检机器人视觉定位导航方法及系统与流程

本发明涉及导航领域，特别是涉及一种变电站巡检机器人视觉定位导航方法及系统。

背景技术：

随着社会经济的不断发展，用电量急剧增长，从而输电线路长度和变电站数量急剧上升。变电站和输电线路的安全监测，大都还依靠人工完成，人工巡检电力设备劳动强度大、效率低，已经跟不上时代的步伐，为保证安全和可靠地供电，电力设备的运营自动化和现代化已日益显示出其迫切性。现代科技发展迅速，各种巡检机器人应运而生，能代替或辅助传统人工进行巡检作业，提高工作效率，降低劳动强度，减少作业风险，为变电站无人值守、自动运营提供了新思路。

当前巡检机器人基于固定巡检路线、固定巡视位置采集设备图像。巡检机器人平台采用磁传感器实现导航，但该导航方式成本高、不够灵活；导航线路确定后，需要通过人工现场施工，填埋磁轨，磁轨迹线路一旦实施，较难改变；且变电站环境中可填埋磁轨迹的区域有限，这成为约束巡检机器人行驶范围的主要原因，进而使得巡检机器人必须在距离设备较远的地方采集图像，为后续的图像处理和分析引入了较多问题。另外，由于变电站环境属于非结构环境，会不定期的进入人员进行设备维护，以及存在车辆进入的情况，如何保证巡检机器人不会对人进行伤害，以及避免与行进道路上的车辆进行避让，是新一代智能巡检机器人必须具备的能力。

因此，如何为巡检机器人增加更灵活的感知环境的方式，使其导航精确度高，是本领域技术人员亟待解决的技术问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种变电站巡检机器人视觉定位导航方法及系统，实施简单、稳定性好、成本低、定位精度高，能够准确实现避障和导航功能。其具体方案如下：

一种变电站巡检机器人视觉定位导航方法，包括：

对采集到的环境的二维彩色图像进行预处理，提取所述二维彩色图像的特征点，确定所述特征点的描述子；

对相邻两帧所述描述子进行匹配，使用随机采样一致性算法去除误匹配点，得到特征匹配结果，并根据所述特征匹配结果，确定巡检机器人的相对位置和姿态变化；

根据所述巡检机器人的相对位置和姿态变化、所述特征点的位置、以及所述特征点对应于采集到的环境的深度图像位置的深度值，建立变电站的三维空间模型；

将所述二维彩色图像与所述三维空间模型进行匹配，定位所述巡检机器人的所在位置，并根据所述三维空间模型构建二维占据网络，确定避障路径。

优选地，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，对采集到的环境的二维彩色图像进行预处理，提取所述二维彩色图像的特征点，确定所述特征点的描述子，具体包括：

利用高斯核函数对采集到的环境的二维彩色图像进行高斯滤波处理，去除噪声；

在处理后的所述二维彩色图像上提取特征点，利用非极大值抑制去除距离密集的特征点，计算除了所述去除的特征点的其它特征点的描述子。

优选地，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，对相邻两帧所述描述子进行匹配，使用随机采样一致性算法去除误匹配点，得到特征匹配结果，具体包括：

计算相邻两帧所述描述子之间的汉明距离；

若所述汉明距离小于预设阈值，则视为匹配正确；

匹配结束后，使用随机采样一致性算法去除误匹配点，得到特征匹配结果。

优选地，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，根据所述特征匹配结果，确定巡检机器人的相对位置和姿态变化，具体包括：

根据所述特征匹配结果，利用对极几何约束计算巡检机器人的运动状态；

构建一个最小化重投影误差和三维匹配最近点误差的代价函数对所述巡检机器人的运动状态进行迭代优化处理，得到所述巡检机器人的相对位置和姿态变化。

优选地，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，采用下列公式利用对极几何约束计算所述巡检机器人的运动状态：

其中，t为所述巡检机器人的运动状态，r为所述巡检机器人的相对旋转角度，t为所述巡检机器人的相对位移，x1为所述二维彩色图像i(x,y)的特征点归一化坐标，x2为所述二维彩色图像j(x,y)的特征点归一化坐标，e为包含所述巡检机器人运动状态的本质矩阵；

所述巡检机器人的相对旋转角度和相对位移由包含所述巡检机器人运动状态的本质矩阵进行奇异值分解而得。

优选地，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，根据所述巡检机器人的相对位置和姿态变化、所述特征点的位置、以及所述特征点对应于采集到的环境的深度图像位置的深度值，建立变电站的三维空间模型，具体包括：

根据所述巡检机器人的相对位置和姿态变化、所述特征点的位置以及所述特征点对应于采集到的环境的深度图像位置的深度值，确定所述特征点的三维空间位置；

利用三角化技术将所述特征点的三维空间位置进行处理，得到变电站的三维空间模型。

优选地，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，采用下列公式确定所述特征点的三维空间位置：

其中，p为所述特征点的三维空间位置，p为所述特征点在二维彩色图像中的齐次坐标，k为深度相机内参，d为所述特征点对应深度图像的深度值，t为所述巡检机器人的运动状态。

优选地，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，将所述二维彩色图像与所述三维空间模型进行匹配，定位所述巡检机器人的所在位置，具体包括：

根据所述巡检机器人当前位置下的二维彩色图像提取特征点并计算描述子后，与地图模型中保留的前一帧的描述子进行特征匹配；

根据所述巡检机器人当前位置下的深度图像信息，利用所述特征点的三维空间位置以及所述三维空间模型，进行求解迭代最近点算法计算巡检机器人当前位置的运动状态；

根据所述计算出的巡检机器人当前位置的运动状态，利用最小化重投影误差和迭代最近点匹配误差进行所述巡检机器人的精准定位，确定所述巡检机器人的所在位置。

优选地，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，根据所述三维空间模型构建二维占据网络，确定避障路径，具体包括：

根据所述三维空间模型构建所述巡检机器人可执行路径规划的栅格地图，根据三维点在地平面上的投影个数，对栅格进行填充，形成二维占据网络；

根据所述二维占据网络和所述巡检机器人的所在位置，使用马尔科夫路径规划算法，对所述巡检机器人进行路径规划，得到避障路径。

本发明实施例还提供了一种变电站巡检机器人视觉定位导航系统，包括：

特征提取模块，用于对采集到的环境的二维彩色图像进行预处理，提取所述二维彩色图像的特征点，确定所述特征点的描述子；

特征匹配模块，用于对相邻两帧所述描述子进行匹配，使用随机采样一致性算法去除误匹配点，得到特征匹配结果，并根据所述特征匹配结果，确定巡检机器人的相对位置和姿态变化；

三维空间模型建立模块，用于根据所述巡检机器人的相对位置和姿态变化、所述特征点的位置、以及所述特征点对应于采集到的环境的深度图像位置的深度值，建立变电站的三维空间模型；

路径规划模块，用于将所述二维彩色图像与所述三维空间模型进行匹配，定位所述巡检机器人的所在位置，并根据所述三维空间模型构建二维占据网络，确定避障路径。

本发明所提供的一种变电站巡检机器人视觉定位导航方法及系统，包括：对采集到的环境的二维彩色图像进行预处理，提取二维彩色图像的特征点，确定特征点的描述子；对相邻两帧描述子进行匹配，使用随机采样一致性算法去除误匹配点，得到特征匹配结果，并根据特征匹配结果，确定巡检机器人的相对位置和姿态变化；根据巡检机器人的相对位置和姿态变化、特征点的位置、以及特征点对应于采集到的环境的深度图像位置的深度值，建立变电站的三维空间模型；将二维彩色图像与三维空间模型进行匹配，定位巡检机器人的所在位置，并根据三维空间模型构建二维占据网络，确定避障路径。本发明基于图像信息分析及相关算法，将巡检机器人当前采集的图像信息与变电站的三维空间结构做匹配，可以定位巡检机器人的准确位置，且可自动检测全局范围内的障碍物，并根据障碍物以及巡检机器人的所在位置，进行路径规划，该方法实施简单、成本低、稳定性好、精确度高，能够准确使巡检机器人实现避障和导航功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的变电站巡检机器人视觉定位导航方法的流程图；

图2为本发明实施例提供的变电站巡检机器人视觉定位导航方法的具体流程图之一；

图3为本发明实施例提供的变电站巡检机器人视觉定位导航方法的具体流程图之二；

图4为本发明实施例提供的变电站巡检机器人视觉定位导航系统的结构图。

具体实施方式

随着传感器技术及处理器技术的发展，机器人技术朝着越来越智能化的方向发展。计算机视觉理论的形成和发展，让机器人具备了类似人类双眼的视觉系统，让机器人可以根据视觉系统获得更多的环境信息。视觉导航技术主要包括基于单目的、基于双目立体视觉的、三目及多目摄像机结构。单目视觉主要利用摄像机采集到的图像信息，对结构场景中的标识进行识别，直接利用图像平面信息对场景进行判断，也有利用基于运动的三维信息恢复的方法，基于单目相机结构进行导航。立体视觉技术主要利用由两幅或两幅以上的图像重构得到的三维信息，在此基础上进行障碍物检测和路况检测，最终实现避障和导航等功能。如早期的火星探测车，使用了双目立体视觉技术进行视觉避障和导航。

另外，避障功能是智能机器人必备的一个功能，基于该功能机器人可以对变化的环境实时做出反应，避免发生碰撞危险，并且可以自动避开环境障碍物，继续原始路径行驶，提高了机器人的自主性和系统安全性。避障功能主要包括障碍物检测和路径规划两部分内容。其中，障碍物检测就是通过对传感器采集的信息，进行处理、分析，得到障碍物的位置、尺寸等信息；路径规划就是利用当前检测到的障碍物信息以及其他道路信息构成地图，并对可行驶的路径进行规划，给出机器人可以行驶的路径。当前，基于视觉系统的障碍物检测方法可以分为基于三维信息恢复的障碍物检测方法、基于逆向投影的障碍物检测方法、基于视差直方图的检测方法。

通过分析巡检机器人利用单目视觉和双目立体视觉的定位导航方法发现：单目视觉的定位导航方法存在尺度不确定性，往往无法构建准确的三维场景模型，导致定位精度低、机器人无法准确达到目的地；双目立体视觉的定位导航方法存在计算复杂度高，无法实时定位机器人位置，影响后续的路径规划。

基于此，本发明提供了一种变电站巡检机器人视觉定位导航方法及系统，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种变电站巡检机器人视觉定位导航方法，如图1所示，包括以下步骤：

s101、对采集到的环境的二维彩色图像进行预处理，提取二维彩色图像的特征点，确定特征点的描述子；

s102、对相邻两帧描述子进行匹配，使用随机采样一致性算法去除误匹配点，得到特征匹配结果，并根据特征匹配结果，确定巡检机器人的相对位置和姿态变化；

s103、根据巡检机器人的相对位置和姿态变化、特征点的位置、以及特征点对应于采集到的环境的深度图像位置的深度值，建立变电站的三维空间模型；

s104、将二维彩色图像与三维空间模型进行匹配，定位巡检机器人的所在位置，并根据三维空间模型构建二维占据网络，确定避障路径。

在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，首先对采集到的环境的二维彩色图像进行预处理，提取特征点，确定特征点的描述子；然后对相邻两帧描述子进行匹配，得到特征匹配结果，并确定巡检机器人的相对位置和姿态变化；之后根据巡检机器人的相对位置和姿态变化、特征点位置、以及特征点对应于深度图像位置的深度值，建立变电站的三维空间模型；最后将二维彩色图像与三维空间模型进行匹配，定位巡检机器人的所在位置，并构建二维占据网络，确定避障路径。这样基于图像信息分析及相关算法，可以定位巡检机器人的准确位置，且可自动检测全局范围内的障碍物，并根据障碍物以及所在位置，进行路径规划，该方法实施简单、成本低、稳定性好、精确度高。

需要说明的是，在执行步骤s101之前，如图2所示，需要先采用深度相机执行步骤s201和步骤s202：

s201、采集环境的二维彩色图像；便于执行步骤s101；

s202、采集环境的深度图像；便于执行步骤s103。

在具体实施时，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，如图3所示，执行步骤s101对采集到的环境的二维彩色图像进行预处理，提取二维彩色图像的特征点，确定特征点的描述子，具体可以包括以下步骤：

s301、利用高斯核函数对采集到的环境的二维彩色图像进行高斯滤波处理，去除噪声；

s302、在处理后的二维彩色图像上提取特征点，利用非极大值抑制去除距离密集的特征点，计算除了去除的特征点的其它特征点的描述子。

具体地，在提取特征点的过程中，根据高斯核对采集到的二维彩色图像进行高斯滤波，去除噪点；

对高斯滤波后的二维彩色图像进行特征点提取，将提取到的特征点与其周围固定距离的256个位置的像素灰度进行比较，以二进制记录结果，0表示特征点的像素灰度小于周围固定距离256个像素灰度的其中一个，1表示特征点的像素灰度大于周围固定距离256个像素灰度的其中一个，将结果保存在256维的向量中作为该特征点的描述子。

在具体实施时，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，如图3所示，执行步骤s102对相邻两帧描述子进行匹配，使用随机采样一致性算法去除误匹配点，得到特征匹配结果，具体可以包括以下步骤：

s303、计算相邻两帧描述子之间的汉明距离；

s304、若汉明距离小于预设阈值，则视为匹配正确；

s305、匹配结束后，使用随机采样一致性算法去除误匹配点，得到特征匹配结果。

具体地，将相邻两帧二维彩色图像根据步骤s302计算得到的描述子进行对比，计算其汉明距离。若汉明距离小于预设阈值，则视为匹配正确。匹配结束后。使用少数服从多数的随机采样一致性算法，剔除匹配方向与其他大多数特征点匹配方向不一致的特征点，使得最终的匹配的结果方向一致。

在具体实施时，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，如图3所示，执行步骤s102根据特征匹配结果，确定巡检机器人的相对位置和姿态变化，具体可以包括以下步骤：

s306、根据特征匹配结果，利用对极几何约束计算巡检机器人的运动状态；

s307、构建一个最小化重投影误差和三维匹配最近点误差的代价函数对巡检机器人的运动状态进行迭代优化处理，得到巡检机器人的相对位置和姿态变化。

进一步地，在具体实施时，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，采用下列公式利用对极几何约束计算巡检机器人的运动状态：

其中，t为巡检机器人的运动状态，r为巡检机器人的相对旋转角度，t为巡检机器人的相对位移，x1为二维彩色图像i(x,y)的特征点归一化坐标，x2为二维彩色图像j(x,y)的特征点归一化坐标，e为包含巡检机器人运动状态的本质矩阵；

巡检机器人的相对旋转角度和相对位移由包含巡检机器人运动状态的本质矩阵进行奇异值分解而得。

具体地，根据步骤s305得到的匹配结果，使用对极几何约束计算巡检机器人的运动状态t；

设二维彩色图像i(x,y)的特征点相机归一化坐标为二维彩色图像j(x,y)的特征点相机归一化坐标为对极几何约束为：为包含巡检机器人运动状态的本质矩阵。将本质矩阵e进行奇异值分解，得到巡检机器人的相对旋转和相对位移巡检机器人运动状态

由于上述机器人运动状态t是存在误差的，因此需要进一步进行优化：

根据彩色图像的特征点位置，通过检索深度图像对应位置得到特征点在相机坐标下的三维空间位置；根据特征匹配，特征点三维空间位置以及巡检机器人初步的相对位置以及姿态变换信息，构建一个最小化重投影误差和三维匹配最近点误差的代价函数j＝argmint((x2-π(tp1))+(p2-tp1)),其中x2为当前帧特征点坐标，p1，p2分别是前一帧和当前帧的特征点三维空间位置，π(tp1)表示将p1旋转到当前帧相机坐标系下，并投影到当前帧的相机平面上；

对上述代价函数进行迭代优化，不断调整变换矩阵t使得代价函数j最小，当代价函数j的代价值收敛时，巡检机器人的变换矩阵t是最优的，此时即得到了巡检机器人精确的相对位置以及姿态变换。

在具体实施时，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，如图3所示，执行步骤s103根据巡检机器人的相对位置和姿态变化、特征点的位置、以及特征点对应于采集到的环境的深度图像位置的深度值，建立变电站的三维空间模型，具体可以包括以下步骤：

s308、根据巡检机器人的相对位置和姿态变化、特征点的位置以及特征点对应于采集到的环境的深度图像位置的深度值，确定特征点的三维空间位置；

s309、利用三角化技术将特征点的三维空间位置进行处理，得到变电站的三维空间模型。

进一步地，在具体实施时，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，采用下列公式确定特征点的三维空间位置：

其中，p为特征点的三维空间位置，p为特征点在二维彩色图像中的齐次坐标，k为深度相机内参，d为特征点对应深度图像的深度值，t为巡检机器人的运动状态。

具体地，将步骤s307计算得到的特征点投影回其三维空间位置：p＝tdk^-1p,为特征点在二维彩色图像中的齐次坐标，为深度相机内参，d为特征点对应深度图像的深度值，为巡检机器人运动状态，为特征点在三维空间中的具体位置；利用三角化技术将特征点的三维空间位置进行处理，得到变电站的三维空间模型。

在具体实施时，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，如图3所示，执行步骤s104将二维彩色图像与三维空间模型进行匹配，定位巡检机器人的所在位置，具体可以包括以下步骤：

s310、根据巡检机器人当前位置下的二维彩色图像提取特征点并计算描述子后，与地图模型中保留的前一帧的描述子进行特征匹配；

s311、根据巡检机器人当前位置下的深度图像信息，利用特征点的三维空间位置以及三维空间模型，进行求解迭代最近点算法计算巡检机器人当前位置的运动状态；

s312、根据计算出的巡检机器人当前位置的运动状态，利用最小化重投影误差和迭代最近点匹配误差进行巡检机器人的精准定位，确定巡检机器人的所在位置。

具体地，根据巡检机器人当前位置下的二维彩色图像提取特征点并计算描述子后，与地图模型中保留的前一帧的描述子信息进行特征匹配；

根据巡检机器人当前位置下的深度图像信息，利用p＝tdk^-1p将特征点还原到其三维空间位置，并与前一帧的特征点在变电站的三维空间模型中的位置进行求解迭代最近点算法计算巡检机器人运动状态；

根据上述计算出的巡检机器人的运动状态，利用最小化重投影误差和迭代最近点匹配误差进行巡检机器人的精准定位；

代价函数j＝argmint((x2-π(tp1))+(p2-tp1)),若迭代若干次后j收敛，则此时的t即为巡检机器人最优的运动状态，即可准确定位当前巡检机器人的所在位置。

在具体实施时，在本发明实施例提供的上述变电站巡检机器人视觉定位导航方法中，如图3所示，执行步骤s104根据三维空间模型构建二维占据网络，确定避障路径，具体可以包括以下步骤：

s313、根据三维空间模型构建巡检机器人可执行路径规划的栅格地图，根据三维点在地平面上的投影个数，对栅格进行填充，形成二维占据网络；

s314、根据二维占据网络和巡检机器人的所在位置，使用马尔科夫路径规划算法，对巡检机器人进行路径规划，得到避障路径。

具体地，根据步骤s309得到的变电站的三维空间模型构建巡检机器人可执行路径规划的二维栅格地图，根据三维点在地平面的投影个数，对栅格地图进行填充；

根据得到的二维占据网络及目标点，以及当前巡检机器人的所在位置，使用马尔科夫路径规划算法，对巡检机器人进行路径规划，得到避障路径，即新的路径。

基于同一发明构思，本发明实施例还提供了一种变电站巡检机器人视觉定位导航系统，由于该变电站巡检机器人视觉定位导航系统解决问题的原理与前述一种变电站巡检机器人视觉定位导航方法相似，因此该变电站巡检机器人视觉定位导航系统的实施可以参见变电站巡检机器人视觉定位导航方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的变电站巡检机器人视觉定位导航系统，如图4所示，具体包括：

特征提取模块1，用于对采集到的环境的二维彩色图像进行预处理，提取二维彩色图像的特征点，确定特征点的描述子；

特征匹配模块2，用于对相邻两帧描述子进行匹配，使用随机采样一致性算法去除误匹配点，得到特征匹配结果，并根据特征匹配结果，确定巡检机器人的相对位置和姿态变化；

三维空间模型建立模块3，用于根据巡检机器人的相对位置和姿态变化、特征点的位置、以及特征点对应于采集到的环境的深度图像位置的深度值，建立变电站的三维空间模型；

路径规划模块4，用于将二维彩色图像与三维空间模型进行匹配，定位巡检机器人的所在位置，并根据三维空间模型构建二维占据网络，确定避障路径。

本发明实施例提供的一种变电站巡检机器人视觉定位导航方法及系统，包括：对采集到的环境的二维彩色图像进行预处理，提取二维彩色图像的特征点，确定特征点的描述子；对相邻两帧描述子进行匹配，使用随机采样一致性算法去除误匹配点，得到特征匹配结果，并根据特征匹配结果，确定巡检机器人的相对位置和姿态变化；根据巡检机器人的相对位置和姿态变化、特征点的位置、以及特征点对应于采集到的环境的深度图像位置的深度值，建立变电站的三维空间模型；将二维彩色图像与三维空间模型进行匹配，定位巡检机器人的所在位置，并根据三维空间模型构建二维占据网络，确定避障路径。本发明基于图像信息分析及相关算法，将巡检机器人当前采集的图像信息与变电站的三维空间结构做匹配，可以定位巡检机器人的准确位置，且可自动检测全局范围内的障碍物，并根据障碍物以及巡检机器人的所在位置，进行路径规划，该方法实施简单、成本低、稳定性好、精确度高，能够准确使巡检机器人实现避障和导航功能。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的变电站巡检机器人视觉定位导航方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。