一种智能巡检机器人像机角度自适应调整方法与流程

本发明属于机器视觉测量技术领域，尤其涉及一种智能巡检机器人的像机角度自适应调整方法。

背景技术：

智能巡检机器人在特殊环境中替代人工巡检，不仅提高了现场巡检效率，降低了现场维护成本，而且减小了人工巡检的局限性，拓展了人工智能技术在特殊环境中的应用。智能巡检机器人在运行过程中，通过搭载云台和摄像机来获取要检测的设备信息和周围环境信息，利用图像处理和模式识别技术来实现特殊环境目标状态的分析和判断。在变电站、重要机房场合等特殊环境中，智能巡检机器人已经投入使用，对特殊环境中有关设备的智能检测、故障判断和周围环境异常预警取得了良好的效果。

基于单目视觉的智能巡检机器人在巡检过程中，机器人在行走与驻停时存在一定的导航和定位误差，智能巡检机器人搭载的云台也存在一定的转动误差，导致机器人要巡检的目标偏离摄像机成像的视野中心，严重情况下造成目标完全偏离像机成像视野范围，无法对要检测的目标成像，给后续目标的智能检测和设备故障预警判断带来一定困难。

技术实现要素：

发明目的：针对现有技术中智能巡检机器人搭载的云台存在一定的转动误差的缺陷，本发明公开了一种智能巡检机器人的像机角度自适应调整方法，解决了智能巡检机器人在工作时目标偏离机器人像机视野中心位置的问题，帮助机器人对同一目标点在像机获取的图像的固定位置处成像，实现目标精准定位与准确识别。

技术方案：本发明公开了一种智能巡检机器人的像机角度自适应调整方法，其特征在于：包括以下步骤：

步骤a、根据摄像机的针孔成像模型，利用平面方格点的摄像机标定方法，建立单目移动式测量系统模型；

步骤b、根据三维空间坐标点与平面二维坐标点的映射关系，求出像机的内参数矩阵；其中内参数矩阵指像机自身特性相关的参数，包括像机的焦距和像素大小；

步骤c、通过智能巡检机器人的像机，获得在同一位置处两个不同时刻的机器人拍摄的两幅图像，得出基础矩阵和本质矩阵的表达式；其中基础矩阵表示两视图对极几何的内在射影关系，本质矩阵表示归一化图像坐标下的基本矩阵；

步骤d、根据步骤c所得两幅图像的投影方程，提取两个图像特征点的位置信息，包括特征点的二维坐标值；

步骤e、结合步骤四提取的图像特征点，利用8点算法，求解出基础矩阵，再结合步骤b获得的内参数矩阵，求解出本质矩阵，对本质矩阵分解，可以求得摄像机外参矩阵；外参矩阵实现了把点从世界坐标系转换到摄像机坐标系的方法；其中摄像机外参矩阵包括旋转矩阵和平移矩阵；

步骤f、根据两幅图像之间的至少4对匹配特征点，结合svd算法，求解两幅图像之间的单应性矩阵；其中单应性矩阵是指一个图像平面到另外一个图像平面的投影映射；

步骤g、利用机器人前后两个时刻获取的两幅图像的特征点对应的图像位置，根据步骤f求出的单应性矩阵，结合双目立体视觉测量原理和步骤e求出的像机内参数和外部结构参数，求出像机需要转动的角度，其中像机转动的角度就是机器人云台转动的角度；这个角度是在像机坐标系下的角度，可以按照像机坐标系的x和y轴进行分解，即是像机的左右和上下的转动角度，一般通过分解之后，传递给像机的云台，即可实现像机角度的调整。

优选地，所述步骤d还包括：

d1：在图像的重叠区域对sift特征点进行提取和匹配；

d2：利用ransac算法剔除图像对中的误匹配点，实现两幅图像间的sift特征点的精确配准。

优选地，所述步骤f还包括：

f1：根据像机的透视投影模型两个时刻的图像之间的匹配点的图像坐标系和世界坐标系之间的关系式；

f2：根据至少4对匹配特征点，利用svd(奇异值分解法)求解两幅图像之间的单应性矩阵。

优选地，所述步骤c中基础矩阵和本质矩阵的表达式为：

e＝sr

其中f为基础矩阵，e为本质矩阵，r为旋转矩阵，s为反对称矩阵，ar和al为两不同时刻像机内参数矩阵。

优选地，所述步骤g中像机转动的角度表达式为：

其中，p为步骤d中两幅图像匹配特征点中的一组匹配特征点对中其中一个特征点对应的空间特征点，p′为根据步骤g计算得出的虚拟空间三维点，所求出的像机坐标系下的角度，根据像机坐标系的x和y轴进行分解，分别代表像机的左右和上下的转动角度，分解之后传递给像机的云台，实现像机角度的调整。

有益效果：本发明公开了一种智能巡检机器人的像机角度自适应调整方法，结合单目视觉技术，利用机器人在同一位置不同时刻拍摄的两幅图像，实现两幅图像特征的提取和匹配，利用移动式单目视觉定位技术，完成目标点的三维重建。通过求解出的两组对应点的图像坐标和世界坐标系下的三维坐标，实现在多种定位误差存在的情况下机器人搭载的摄像机角度的自适应调整。本发明解决了智能巡检机器人在工作时目标偏离机器人像机视野中心位置的问题，在机器人定位误差和云台转动误差存在的情况下，可以自适应调整像机角度，实现目标精准定位与准确识别，完成了对机器人目标的智能巡检、故障诊断、识别和预警。

附图说明

图1为本发明的流程图；

图2为本发明的单目移动式智能巡检机器人结构图；

其中1为智能巡检机器人搭载的摄像机，2为可以左右和上下移动的具有四自由度的云台，3为激光雷达，4为探沟传感器，5为四驱底盘，6为防撞开关；

图3为本发明的特征的提取与匹配图；

图4为本发明的单目移动式机器人组成的双目视觉测量系统和求取像机角度偏转示意图。

具体实施方式

本发明公开了一种智能巡检机器人的像机角度自适应调整方法，其特征在于：包括以下步骤：

步骤a、根据摄像机的针孔成像模型，利用平面方格点的摄像机标定方法，建立单目移动式测量系统模型；移动式单目视觉测量系统是通过一个像机经过移动，虚拟成多个像机，形成多目视觉测量系统。本发明以在某一位置处两个不同时刻的机器人拍摄的两幅图像构成两视图视觉测量为例，分析移动式单目视觉组成的双目立体视觉测量系统原理。

步骤b、根据三维空间坐标点与平面二维坐标点的映射关系求出像机的内参数矩阵；假定靶标平面的三维点的齐次坐标记为图像平面的二维点齐次坐标为二者之间的射影关系为

其中，s为一任意的非零尺度因子，[rt]是一个3行4列的矩阵，称为像机外参数矩阵，r称为旋转矩阵，t＝(t1，t2，t3)^t，称为平移矩阵，a称为摄像机的内部参数矩阵。αx、αy是u轴和v轴的尺度因子，(u0，v0)为主点坐标，r是u轴和v轴的不垂直因子。由张氏平面标定法，可以求出像机的内参数矩阵a。

步骤c、通过智能巡检机器人的像机，获得在某一位置处两个不同时刻的机器人拍摄的两幅图像，得出基础矩阵和本质矩阵的表达式；假设空间一点p的世界三维齐次坐标为xw，分别在两个时刻拍摄的两幅图像中二维图像齐次坐标为p1和p2，则由式(1)可以得到两个时刻摄像机的投影方程为

其中，s1和s2是两个像机的非零尺度因子，a1和a2分别是像机在时刻1和时刻2的像机内参，因为像机只有刚性移动，内部结构参数没有变化，所以a1＝a2。

优选地，所述步骤c中结合极线几何约束关系，由(2)式可以求出基本矩阵f和本质矩阵e的表达式，分别如下：

e＝sr(4)

其中，s为反对称矩阵，

从(3)式可以看出，基础矩阵f只与两个摄像机的内部参数和系统的外部结构参数有关，而搭载摄像机由于通过云台转动，只做刚体运动，像机内部参数不变。因此，可以得到(4)式的本质矩阵e，可以看出e只与视觉系统的外部参数有关，e可以分解求出移动式单目视觉测量系统的两视图模型之间的外部结构参数r和t。

步骤d、根据步骤c所得两幅图像的投影方程，提取两个图像特征点；

优选地，所述步骤d还包括：

d1：在图像的重叠区域对sift特征点进行提取和匹配；

d2：利用ransac算法剔除图像对中的误匹配点，实现两幅图像间的sift特征点的精确配准。

本发明利用sift特征点(尺度不变特征变换)的特性，即sift特征对图像旋转、尺度缩放以及亮度变化等保持不变，对两不同时刻在某一位置处由机器人像机捕获的具有重叠区域的图像对进行sift特征提取，并利用ransac算法剔除图像对中的误匹配点，实现两幅图像间的sift特征点的精确配准。如图3所示，在某一位置处，由于巡检机器人存在导航定位误差和云台角度转动误差，搭载的像机在不同时刻对同一目标成像，会获得具有重叠区域的两幅图像，在图像的重叠区域对sift特征点进行提取和匹配。结合公式(3)和(4)，利用上述分析的8点算法，可以求出两视图像机坐标系下之间的外部结构参数r和t，外部参数对空间三维点的重建具有重要作用。

步骤e、结合步骤四提取的图像特征点，利用8点算法，求解出基础矩阵，再结合步骤b获得的内参数矩阵，求解出本质矩阵，对本质矩阵分解，可以求得两个图像之间的外部结构参数矩阵；从极线几何约束关系以及本质矩阵的定义可以看出，基础矩阵为具有7个自由度、秩为2的矩阵，通过两幅图像特征点的提取和匹配，利用8点算法，可以求出两视图图像之间的基础矩阵f，结合像机的内部参数，可以求出本质矩阵e。通过对本质矩阵e的分解，可以最终求得两视图之间的外部结构参数r和t。

步骤f、根据两幅图像间至少4对匹配点，利用svd(奇异值分解法)，可以求解两幅图像之间的单应性矩阵；

优选地，所述步骤f还包括：

f1：根据像机的透视投影模型两个时刻的图像之间的匹配点的图像坐标系和世界坐标系之间的关系式；

f2：根据svd分解法求解单应性矩阵。

结合两幅图像匹配特征点的信息，利用像机的透视投影模型，可以分别得到两个时刻的图像之间的匹配点的图像坐标系和世界坐标系之间的关系式，

由公式(5)和(6)可得，

令h为3×3的矩阵，h矩阵反映了两幅图像特征点之间的映射关系，如图3所示，定义h为两幅平面之间的单应性矩阵，假设代入公式(7)可以得到

由公式(8)可以得到

其中，(ua，va)和(ub，vb)为两幅图像上的匹配点对。

由公式(9)可知，每一对特征点可以得到两个方程，h矩阵为秩为8的奇异矩阵，则至少4对匹配点即可解出两幅平面的单应性矩阵h。求解单应性矩阵h的一个常用方法为svd分解法。

步骤g、根据步骤f求出的单应性矩阵，求出两幅图像特征点对应的虚拟空间三维点，结合双目立体视觉测量原理和系统外部结构参数矩阵，求出像机转动的角度；这个角度是在像机坐标系下的角度，可以按照像机坐标系的x和y轴进行分解，即是像机的左右和上下的转动角度，一般通过分解之后，传递给像机的云台，即可实现像机角度的调整。

优选地，所述步骤g中像机转动的角度表达式为：

其中，p为步骤d中两幅图像匹配特征点中的一组匹配特征点对中其中一个特征点对应的空间特征点，p′为根据步骤g计算得出的虚拟空间三维点，所求出的像机坐标系下的角度，根据像机坐标系的x和y轴进行分解，分别代表像机的左右和上下的转动角度，分解之后传递给像机的云台，实现像机角度的调整。

在求解出两幅图像的单应性矩阵h与两视图像机坐标系外部结构参数r和t之后，以第一幅图像作为基准图像，选取两幅图像中匹配特征点中的一组匹配特征点对p和q，对应的空间特征点为p，其在对应两幅图像中的图像坐标分别为p＝(xa，ya)和q＝(xb，yb)，如图4所示。结合双目立体视觉测量原理，对经过精确标定后的两视图像机测量系统，已知两点的图像坐标和外部结构参数r和t，可以精确求取空间点p的三维世界坐标系，此时把世界坐标系建立在像机2坐标系下，从而计算像机旋转的角度。假设此时计算出的空间点p的世界三维坐标为p＝(x1，y1，z1)。

由于机器人存在导航和定位误差，不同时刻拍摄的两幅图像的匹配特征点图像坐标存在偏差，如图4所示的匹配特征点对p和q，一个在主点右侧，一个在主点左侧。假设机器人导航和定位精准，不存在上述误差，在图像1中设图像坐标为p＝(xa，ya)，那么时刻1像机所在位置和角度应与时刻2像机位置和角度相同，所以在第2幅图像中，与其在图像1中的p点对应的匹配点的图像坐标应为q′＝(xa，ya)。而实际上由于误差的存在，导致在时刻2像机位置和角度偏离在时刻1的像机位置和角度。

本发明是在导航误差存在的情况下，不改变巡检机器人的位置，通过转动云台角度，调整像机的拍摄位置，达到目标不偏离图像中心位置。云台转动角度，通过像机计算的角度误差来求出。

由上述分析可知，目标点如果要想达到在时刻2拍摄的图像上的位置与在时刻1拍摄的图像上具有相同的图像坐标，在保持机器人不移动的情况下，位置2时刻的像机应该移动角度为∠qo2q′。

实际上，由上述求出两幅图像的单应性矩阵h，可以求出与在图像2中的点q′＝(xa，ya)对应的在图像1中的匹配点p′，如图4所示，即

p′＝h^-tq′＝h^-t(xa，ya，1)(10)

其中p′与q′为虚拟图像匹配点对，二者对应的空间点为p′，即为虚拟空间三维点。同理，已知对应点对p′与q′图像坐标，和系统外部结构参数r和t，结合双目立体视觉测量原理，可以求出虚拟空间点p′的三维世界坐标，假设计算出的p′＝(x′1，y′1，z′1)。由图4分析，因为空间点的三维坐标建立在像机2坐标系下，∠qo2q′＝∠po2p′，像机2移动的角度应该由下式来计算，即

通过对(11)式进行分解，即可以求出像机应该旋转的角度，也即是机器人云台应该转动的角度。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。