一种大间距模式下基于双目视觉图像的行星车定位方法
【专利摘要】本发明公开一种大间距模式下基于双目视觉图像的行星车定位方法，包括以下步骤：行星车在大间距的两个位置分别拍摄图像；对两个位置拍摄的左相机图像进行A-SIFT匹配；双目相机左右相机图像的立体匹配；匹配特征点的正确性检查；行星车当前位置与姿态的计算。采用本发明的技术方案，使行星车在未知环境行进时精确计算自身位置和姿态，实现行星车自主定位。
【专利说明】一种大间距模式下基于双目视觉图像的行星车定位方法
【技术领域】
[0001]本发明涉及行星车定位【技术领域】，尤其涉及一种大间距模式下基于视觉图像的行星车定位方法。
【背景技术】
[0002]计算机视觉技术，早在上个世纪70年代的探月活动中就开始得到应用。美国上世纪90年代开始研制的无人导航车，多采用双目视觉测量的导航技术。2003年JPL研发的勇气号和机遇号，以及2012年研发的好奇号,依靠自身的立体相机,实现了在火星表面的长距离安全行走。我国一些高校和科研院所也开始了行星车的研制。目前利用深空站跟踪数据和同波束干涉测量对行星车进行相对定位的精度约在百米量级，该指标远不能满足行星车在陆面行进的定位精度要求，因此行星车一般采用双目视觉系统来实现行星车的自主定位，通过双目视觉系统拍摄图像之间的匹配与特征点的空间关系解算行星车的位置和姿态。然而在大间距模式下利用双目视觉系统进行定位过程中，很难自动匹配图像特征点，并且构建多站点双相机测量定位模型，无法使行星车在未知环境行进时精确计算自身位置和姿势，实现行星车自主定位。
【发明内容】
[0003]本发明要解决的技术问题是，提供一种大间距模式下基于双目视觉图像的行星车定位方法，实现行星车自主定位。
[0004]为解决上述问题，本发明采用如下的技术方案:
[0005]一种大间距模式下基于双目视觉图像的行星车定位方法包括以下步骤:
[0006]S1、行星车在大间距的两个位置分别拍摄图像:将行星车分别移动到两个不同的位置，利用行星车的双目相机拍摄图像，两个位置分别称为上一站和当前站；
[0007]S2、行星车在不同位置拍摄图像的Affine-SIFT匹配:根据行星车在上一站和当前站拍摄图像时相机方向，分为同方向拍摄图像的Affine-SIFT匹配和对望图像的Affine-SIFT匹配,提取上一站和当前站图像的匹配特征点集；当选用同方向模式时，将上一站的左图像与当前站的左图像直接进行Affine-SIFT匹配；当选用对望模式时，首先将上一站和当前站的左图像生成相应的DOM正射影像图，然后将所述相应的DOM正射影像图进行Affine-SIFT匹配；
[0008]S3、双目相机左右相机图像的立体匹配:根据同一站点左右相机图像和上一站与当前站点的匹配特征点集，通过相关系数匹配的方法，确定左右图像素点的匹配关系；再根据同一站点左右相机图像和相关系数匹配得到的匹配点坐标，通过左右图像的最小二乘匹配，将图像匹配精度提高到子像素等级；
[0009]S4、匹配特征点的正确性检查:利用前方交会算法对立体匹配的结果进行检查，剔除错误的匹配特征点；
[0010]S5、计算行星车当前站点位置与姿态:利用光束平差法以共线方程为依据，根据行星车在上一站点左右相机的位置和姿态以及左右相机图像的匹配特征点集，构建多站点双相机测量定位模型，形成包含相机位置和姿态信息与匹配特征点坐标信息的统一误差方程和法方程，进而求解行星车在当前站点的位姿信息。
[0011]本发明利用Affine-SIFT算法对上一站与当前站拍摄的左相机图像进行匹配，然后将匹配特征点作为输入，通过相关系数匹配算法进行上一站左、右图像和当前站左、右图像的特征匹配，利用最小二乘法使得影像匹配精度达到子像素等级；利用前方交会算法对上述的匹配结果进行检查，剔除错误匹配点，确保最终定位结算中匹配点输入的正确性；利用行星车双目摄像头在不同位置对目标区的拍摄关系，构建了多站点双相机测量定位模型，实现了通过光束平差算法对行星车位姿的求解。通过S2、S3、S4、S5四个步骤，能够准确地求解行星车的定位问题，通过S2、S3很好地解决行星车在大间距模式下拍摄图像的自动匹配问题，通过S5的行星车定位模型很好地实现了行星车位姿的解算。采用本发明技术方案，使行星车在未知环境行进时精确计算自身位置和姿态，实现行星车自主定位。
【专利附图】
【附图说明】
[0012]图1为大间距模式下基于双目视觉对行星车进行定位的流程图；
[0013]图2为立体匹配中左图像目标区和右图像搜索区的关系示意图；
[0014]图3为立体匹配中最小二乘图像匹配的迭代过程示意图。
【具体实施方式】
[0015]如图1所示，本实施例提供一种大间距模式下基于双目视觉图像的行星车定位方法包括以下步骤:
[0016]S1、行星车在大间距的两个位置分别拍摄图像
[0017]将行星车分别移动到两个不同的位置，利用行星车的双目相机拍摄图像，两个位置分别称为上一站和当前站。
[0018]S2、行星车在不同位置拍摄的图像进行特征提取与匹配
[0019]Affine-SIFT方法是一种具备完全仿射不变特征的特征提取与匹配算法。该算法是在SIFT算法的基础上通过增加仿射变换处理改进而来的，能够处理旋转和相对倾斜较大的图像间的匹配；Aff ine-SIFT通过模拟相机的光轴旋转对图像进行预处理来模拟图像的倾斜变化，实现完全意义上的仿射，能够提高匹配的成功率与正确性。结合AfTine-SIFT匹配算法的特点，将行星车在不同位置拍摄的图像进行特征提取与匹配。
[0020]根据行星车在上一站和当前站拍摄图像时相机方向，分为同方向拍摄图像的Affine-SIFT匹配和对望图像的Affine-SIFT匹配，提取上一站拍摄的左图像和当前站拍摄的左图像的匹配特征点集(右,^)U_ = 0，1,_..，#}。
[0021]当为同方向模式时，将上一站相机拍摄的左图像与当前站相机拍摄的左图像(即L上、L当)直接进行Affine-SIFT特征提取与匹配。
[0022]当为对望模式时，先将上一站相机和当前站相机拍摄的左图像(即L±、L3)生成相应的DOM正射影像图，即L'上、L'当，再对所述相应的DOM正射影像图(即L' ±和17当)进行Affine-SIFT特征提取与匹配。
[0023]其中，将上一站和当前站的左图像(即L±、La)生成相应的DOM正射影像图，SPL'上、L, 3，包括四个步骤:
[0024]I)确立像点坐标与地面点坐标的转换关系
[0025]地面坐标P (X，Y, Z)、相机的外方位参数(A, Ys, Zs, φ, ω, κ)、原始图像上相应的像点坐标P (X，y)满足相机拍摄过程的共线方程，即满足:
【权利要求】
1.一种大间距模式下基于双目视觉图像的行星车定位方法，其特征在于，包括以下步骤: 51、行星车在大间距的两个位置分别拍摄图像:将行星车分别移动到两个不同的位置，利用行星车的双目相机拍摄图像，两个位置分别称为上一站和当前站； 52、行星车在不同位置拍摄图像的Affine-SIFT匹配:根据行星车在上一站和当前站拍摄图像时相机方向，分为同方向拍摄图像的Affine-SIFT匹配和对望图像的Affine-SIFT匹配，提取上一站拍摄的左图像和当前站拍摄的左图像的匹配特征点集；当选用同方向模式时，将上一站的左图像与当前站的左图像直接进行Affine-SIFT匹配；当选用对望模式时，首先将上一站和当前站的左图像生成相应的DOM正射影像图，再将所述相应的DOM正射影像图进行Affine-SIFT匹配； 53、双目相机左右相机图像的立体匹配:根据同一站点左右相机图像和上一站与当前站点的匹配特征点集，通过左右图像的相关系数匹配方法，得到上一站与当前站点的匹配特征点集；再通过左右图像的最小二乘匹配方法，将图像匹配精度提高到子像素等级； 54、匹配特征点的正确性检查:利用前方交会算法对立体匹配的结果进行检查，剔除错误的匹配特征点； 55、计算行星车当前位置与姿态:利用光束法平差以共线方程为依据，根据行星车在上一站点左右相机的位置和姿态以及左右相机图像的匹配特征点集，构建多站点双相机测量定位模型，形成包含相机位置和姿态信息与匹配特征点坐标信息的统一误差方程和法方程，进而求解行星车在当前站点的位姿信息。
2.如权利要求1所述的一种大间距模式下基于双目视觉图像的行星车定位方法，其特征在于，在S2中，当为对望模式时，将上一站和当前站的左图像生成相应DOM正射影像图，包括四个步骤: 1)确立像点坐标与地面点坐标的转换关系 地面坐标P (X，Y，Z)、相机的外方位参数?S，n,(p, ω, κ)、原始图像上相应的像点坐标P (X，y)满足相机拍摄过程的共线方程，即满足:
3.如权利要求1或2所述的一种大间距模式下基于双目视觉图像的行星车定位方法，其特征在于，S5具体包括以下步骤: 1)根据行星车在上一站的位置和姿态(XFLS，^FLS , ^FLS , fPFL，03FL , KFL )和(XFRS，Yfrs，Zfrs，φΡΗ, coFR, Kfr )，通过 ?υ 方父会计算图像匹配特征点(XpLt, yFLt, xCLl，ycu)和
>4,)对应的观测点的地面坐标初值Pi (\，Yi, Zi)，然后根据观测点地面坐标初值采用后方交会方法计算当前站相机位置和姿态初值垃.5，^i)和(4，H zH W0cr, K0cr)，作为光束法平差迭代计算的初始输入值； 2)将空间交会共线方程线性化，使用精确匹配特征点的像点坐标为观测值建立误差方程并线性化，则有公式(4):
【文档编号】G06T7/00GK103927738SQ201410015292
【公开日】2014年7月16日 申请日期:2014年1月10日 优先权日:2014年1月10日
【发明者】王保丰, 刘传凯, 王镓, 申敬松, 唐歌实, 张强, 卜彦龙, 罗建军, 许柏 申请人:北京航天飞行控制中心