基于异构视觉传感器系统的导航装置和方法

专利名称：基于异构视觉传感器系统的导航装置和方法
技术领域：
本发明涉及一种行星探测机器人技术领域的导航装置和方法，尤其涉及一种 基于异构视觉传感器系统的导航装置和方法。
背景技术：
随着我国探月计划的不断开展，针对行星探测器的自主功能的研究也逐渐深 入。对于行星探测车来说，因为传输的滞后和干扰等原因，需要具备自主获取操 作环境信息并在此基础上进行分析形成决策的能力，以此来实现行星探测器的自 主导航。在自主机器人导航系统的设计中一般采用声纳、激光与视觉传感器等实 现机器人工作环境的探测任务。然而由于体积、功耗及探测周期等原因，声纳及 激光传感器在行星探测任务中具有较大的局限性，而视觉传感器具有信号探测范 围宽，目标信息完整、精度高等优势，是行星探测器理想的环境信息的获取方式。
传统的单个视觉传感器由于其无法有效的提取距离信息等不足，已逐渐减少 在机器人导航中的应用。在此基础上，现在应用于机器人导航的视觉系统有两种 常见的形式立体视觉传感器和全维视觉传感器。立体视觉技术是一种被动式的 测距方法，它模拟人类视觉处理景物的方式，由多幅图像灵活地测量景物的立体 信息。全维视觉传感器利用镜面的反射原理来扩大视觉系统的视野，它具有更深 更广的探测范围。同时由于省去了旋转摄像机的机械结构，降低了机构的复杂性 同时縮短了探测周期。
这两种视觉传感器均可以应用于行星探测器的视觉导航。立体视觉可以恢复 探测器周围的行星表面地貌，获得障碍物的形状和位置，为避障运动规划提供信 息。卡耐基-梅隆大学研制的Ralter探测车利用一对摄像机组成立体视觉传感器 实现探测车的自主导航。但是由于立体视觉传感器只能探测两个摄像机视野重叠 区域的环境信息，其探测到环境范围较小。对此，美国的火星探测器"勇气号" 采用了两套安装在不同位置的立体视觉系统。其中安装在探测器前方的立体视觉 传感器用来快速探测障碍物，另一安装在桅杆顶部的立体视觉传感器通过旋转360°来探测探测器四周较大范围内的环境信息。增大探测范围使立体匹配的复 杂性大大增加，同时完成以此探测要求传感器旋转360。，这增大了实现探测器 实时性的难度。对于全维视觉传感器，根据镜面反射原理，远处物体所发出的光 线经过取景器的凸面镜反射后，集中地通过正下方的摄像器件的镜头成像。这样， 只用一个摄像头就可以观察到系统360。的周围环境，扩大了系统的视野，提高 了设备利用率，可以明显减少系统设计的复杂性和难度，降低系统的成本。
在行星探测器的自主运行过程中，通过视觉传感器探测到的环境信息是有限 的，所以仅仅根据每次获得的信息做出的避障运动规划，即局部规划常常会"近 视"，甚至是错误的，所以基于视觉传感器的单次规划是不可靠的，在探测器运 行过程中必须比较规划结果和探测得到的环境信息，在需要时能够根据更新的环 境信息做出新的规划。
经对现有技术的文献检索发现，中国发明专利"一种复合式视觉导航方法与 装置"(申请号200710120737. 7)公开了一种基于复合式传感器的视觉导航方案。 提出了结合结构光传感器和立体视觉传感器实现全局和局部导航功能模块，其总 计包含五个CCD与一个激光传感器，系统相对复杂且导航功能主要专注于如何避 开障碍物。系统过于复杂，系统的实时性较差。

发明内容
本发明的目的在于针对现有技术的不足，提供一种基于异构视觉传感器系统 的导航装置和方法，结合立体视觉与全维视觉实现行星探测器更安全、可靠的导 航。同时降低结构设计的复杂性，优化功耗设计，提高导航系统的实时性，使之 能够适应非平坦及松软地面上的自主导航功能需求。
本发明是通过以下技术方案实现的
本发明所涉及的基于异构视觉传感器系统的导航装置，是一个异构式的视觉 传感器，由立体视觉传感器与全维视觉传感器结合而成，其中立体视觉传感器由 两个CCD组成，安装于探测器前部，实现探测器前方0.3至3米范围内的环境探 测，为避障和导航功能提供信息。全维视觉传感器由CCD和一组透镜镜面构成， 环境信息经过透镜镜面的折射与反射投影到CCD上。全维视觉传感器通过全维视 觉支架安装在行星探测器的桅杆顶部，实现3至10米范围内的通过性分析与特 征检测，为导航和探测器的定位提供信息。全维视觉传感器通过全维视觉支架构成一个全维视觉传感器通过全维视觉系统。
本发明所涉及的基于异构视觉传感器系统的导航方法，包括以下步骤
a. 根据任务开始时行星探测器的位置与姿态初始化全局坐标系；
b. 启动立体视觉和全维视觉传感器，进行全局路径规划，得到探测器出发点 与给定目标点之间的最优路径。路径由一系列子目标点序列组成；
c. 在根据全局规划结果向当前子目标点运动的过程中，利用立体视觉实时的 检测障碍物，并根据局部避障规划修正探测器向子目标点运动的路径；
在立体视觉和全维视觉探测到可通过性信息不一致的情况下，以立体视觉探 测得到的信息为准。当局部避障规划不能获得探测器与当前子目标点之间的路径 时，返回步骤b;
d. 在根据全局规划结果向当前子目标点运动的过程中，利用全维视觉获得的 图像序列确定探测器相对全局坐标系零点(即出发点)的位置和姿态，并将不同 时刻异构视觉传感器探测获得的环境信息保存在同一全局2. 5D栅格地图中；
e. 判断当前探测器的位置是否为给点的目标点， 若探测器的位置是给定的全局目标点，导航流程结束，
若探测器的位置不是给定的全局目标点，返回步骤C:在根据全局规划结果
向当前子目标点运动的过程中，利用立体视觉实时的检测障碍物，并根据局部避 障规划修正探测器向子目标点运动的路径。
较佳地，步骤b进一步包括，建立环境的可视图模型进行全局规划。所述环
境的可视图模型为环境的栅格。其中立体视觉探测到信息表达为2. 5D栅格，全 维视觉探测到信息表达为2D栅格。
本发明利用异构视觉传感器探测环境信息，结合行星探测器自身的动态性 能，实时地探测环境中的不可通过区域以此实现自主导航，实现探测器与环境的 动态协商(negotiation)机制。与现有技术相比，具有如下优点和特点
1、 由全维视觉和立体视觉模块结合构成，结构简单，容易实现。
2、 全维视觉可以直接获得探测器周围360°范围内的环境信息，省去了旋 转机构，简化了机构，同时具有更好的实时性。
3、 充分利用两种视觉传感器的优点，将导航问题合理的分解为全局路径规 划和局部避障规划，使行星探测器在未知环境中能够准确可靠地从起始出发点移动至目标点，方法简单，实时性好，易于实现。


图1为本发明基于异构视觉传感器系统的导航装置的结构示意图； 图2为本发明基于异构视觉传感器系统的导航方法的总体流程图。
具体实施例方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案 为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护 范围不限于下述的实施例。
本实施例基于异构视觉传感器系统的导航装置，如图l所示，上部虚线框内 为全维视觉传感器21和全维视觉支架24构成全维视觉系统11，其安装在桅杆 23顶部用以进行3至10米范围内的环境探测和探测器的定位。下部虚线框内为 两个CCD摄像机构成立体视觉传感器12，其安装在机械支架25上用以探测环境 信息，重构出探测器工作环境的三位场景。全维视觉传感器ll和立体视觉传感 器12组合构成本装置。
所述全维视觉传感器为市购产品，其包含了 CCD摄像机、镜头以及相关的镜面。
本实施例基于异构视觉传感器的行星探测器导航方法流程，如图2所示，包 括以下步骤
步骤01:以在任务开始时刻行星探测器的初始位置与姿态初始化环境的全 局坐标系，(此步骤对应发明内容中的步骤a)。 步骤02:启动异构视觉传感器。
步骤03:根据异构视觉传感器探测到的信息结合探测器的动力学性能进行
可通过性分析。其中立体视觉传感器通过重构出探测器前方0. 3至3米范围内的 三维场景，根据地形的几何特性区别探测器能够通过的区域；全维视觉传感器通 过分析全维图像的颜色与纹理信息得到探测器周围3至10米范围内的可通过性。
当两种视觉传感器探测所得的可通过性存在不一致时，以立体视觉传感器探测所 得的可通过性结果为准。
步骤04:根据可通过性分析建立的环境的可视模型进行全局的路径规划 采用A4最优搜索方法获得从出发点到目标点之间的最优路径，这里最优路径有一系歹仔目标点序歹鹏成。A+算法可参考"Path planning for a mobile robot" (C. Alexopoulos， 1992)，在此不再详述。
上述环境的可视模型信息来源包含两种。其中立体视觉探测得到的信息用以 环境的三维重构，形成2.5D栅格，它包含两种状态，即未探测与已探测两种。 这里己探测栅格记录了栅格区域内地面的平均高度。全维视觉探测得到的环境信 息以2D栅格地图记录，它包含三种状态，阻塞、自由和未探测。阻塞表明该栅 格范围内存在探测其无法通过的区域，自由表明探测器可以通过栅格对应的地 面。
以上步骤02至步骤04对应发明内容中步骤b的具体实施顺序。 步骤05:根据步骤04的全局路径规划结果，获得当前的子目标点，控制探 测器向当前目标点移动。
步骤06:周期性的根据异构视觉传感器探测得到的环境信息进行可通过性 分析，其分析过程与步骤03相同。其中根据立体视觉信息的可通过性分析每3 秒执行一次，根据全维视觉信息的可通过性分析每io秒运行以此。
步骤07:判断立体视觉传感器是否探测到新的障碍物如探测到新的障碍
物，则执行步骤08，如未探测到新的障碍物，则继续根据规划路径向当前子目 标点运动，执行步骤09。
立体视觉每3秒探测前方环境信息，重构三维地面，建立环境的可视图模型 即2.5D栅格。每个栅格记录了其内部地面的平均高度，结合探测器的动力学性 能与当前位置区可将栅格区分为可通过区域与不可通过区域。如果当前依据的规 划路径通过新检测得到的不可通过区域则判定为发现障碍。
步骤08:进行局部避障规划。采用势场法(potential field)修改探测器 当前位置与子目标点之间的路径。
步骤09:如果局部规划显示在出现新的障碍物时，探测器仍能由当前位置 运动到子目标点，则执行步骤10;如果局部规划显示在出现新的障碍物时，探 测器当前位置与目标点之间不存在可行的路径，则执行步骤04，重新进行全局 路径规划，更新探测器的子目标点序列。
以上步骤05至步骤09对应于发明内容中步骤c的具体实施顺序。
步骤10:在全维图像序列中寻找相同的特征，包含颜色与纹理。步骤ll:根据步骤10中搜索获得特征信息在不同图像中的位置，可以计算 出其在全局坐标系中的位置信息，当出现三个或三个以上的特征时可以采用三角 法计算获得探测器相对于其初始位置的位置和朝向，实现探测器的自主定位。
步骤12:根据定位结果，将不同时刻异构传感器的通过性分析结果在全局 地图中进行注册，建立环境的全局可视化模型，步骤04中的全局路径规划釆用 更新后的环境可视化模型作为规划的依据。
其中立体视觉传感器通过重构出探测器前方0. 3至3米范围内的三维场景， 建立相应的2. 5D栅格；全维视觉传感器通过分析全维图像的颜色与纹理信息得 到探测器周围3至IO米范围内的可通过性，建立2D栅格。这两种栅格形式的区 别为2. 5D栅格记录了其内部地形的平均高度，需要根据探测器的动力学性能、 进入栅格方向等因素来共同决定该栅格的可通过性，所以2. 5D栅格不直接记录 可通过性分析结果。2D栅格则直接记录根据全维视觉传感器图像分析获得的可 通过性分析结果。
以上步骤10至步骤12对应于发明内容中步骤d的具体实施顺序。
步骤13:根据步骤11中计算获得的探测器的位置判断探测器是否已经运动 到制定的目标点，如果到达全局目标点，流程结束；如未到达全局目标，返回步 骤05:根据步骤04的全局路径规划结果，获得当前的子目标点，控制探测器向 当前目标点移动。(此步骤对应于发明内容中步骤e)。
本实施例将立体视觉传感器与全维视觉传感器这两类不同性能的视觉传感 器结合，省去了旋转机构，降低了结构复杂性，提高了导航系统的实时性。本实 施例的方法，将全局路径规划和局部避障规划有机集合，充分利用两种视觉传感 器的长处，实现行星探测器在非平台及松软表面上的可靠导航，引导探测器在未 知环境下由起始出发点自主运动到给定的目标点。
权利要求
1、一种基于异构视觉传感器系统的导航装置，其特征在于，由立体视觉传感器与全维视觉传感器结合而成，其中所述立体视觉传感器由两个CCD组成，安装于探测器前部，实现探测器前方0.3至3米范围内的环境探测，为避障和导航功能提供信息；所述全维视觉传感器由CCD与透镜镜面组组成，其安装于行星探测器的桅杆顶部，实现3至10米范围内的通过性分析与特征检测，为导航和探测器的定位提供信息。
2、 根据权利要求1所述的基于异构视觉传感器系统的导航装置，其特征是， 所述全维视觉传感器通过全维视觉支架安装在行星探测器的桅杆顶部。
3、 一种基于异构视觉传感器系统的导航方法，其特征在于，包括以下步骤a. 根据任务开始时行星探测器的位置与姿态初始化全局坐标系；b. 启动立体视觉和全维视觉传感器，进行全局路径规划，得到探测器出发点 与给定目标点之间的最优路径，路径由一系列子目标点序列组成；c. 在根据全局规划结果向当前子目标点运动的过程中，利用立体视觉实时的 检测障碍物，并根据局部避障规划修正探测器向子目标点运动的路径；d. 在根据全局规划结果向当前子目标点运动的过程中，利用全维视觉获得的 图像序列确定探测器相对全局坐标系零点即出发点的位置和姿态，并将不同时刻 异构视觉传感器探测获得的环境信息保存在同一全局2. 5D栅格地图中；e. 判断当前探测器的位置是否为给点的目标点，若探测器的位置是给定的全 局目标点，导航流程结束，若探测器的位置不是给定的全局目标点，返回步骤c。
4、 根据权利要求3所述的基于异构视觉传感器系统的导航方法，其特征是， 在立体视觉和全维视觉探测到可通过性信息不一致的情况下，以立体视觉探测得 到的信息为准，当局部避障规划不能获得探测器与当前子目标点之间的路径时， 返回步骤b。
5、 根据权利要求3或4所述的基于异构视觉传感器系统的导航方法，其特 征是，所述的步骤b，具体为步骤l:启动异构视觉传感器，包括立体视觉传感器与全维视觉传感器； 步骤2:根据异构视觉传感器探测到的信息结合探测器的动力学性能进行可 通过性分析,其中立体视觉传感器通过重构出探测器前方0. 3至3米范围内的三 维场景，根据地形的几何特性区别探测器能够通过的区域；全维视觉传感器通过 分析全维图像的颜色与纹理信息得到探测器周围3至10米范围内的可通过性， 当两种视觉传感器探测所得的可通过性存在不一致时，以立体视觉传感器探测所 得的可通过性结果为准；步骤3:根据可通过性分析建立的环境的可视模型进行全局的路径规划采 用A^l^最优搜索方法获得从出发点到目标点之间的最优路径，这里最优路径有一系列子目标点序列构成。
6、 根据权利要求5所述的基于异构视觉传感器系统的导航方法，其特征是， 所述环境的可视图模型为环境的栅格，其中立体视觉探测到信息表达为2. 5D栅 格，全维视觉探测到信息表达为2D栅格。
7、 根据权利要求5或者6所述的基于异构视觉传感器系统的导航方法，其 特征是，所述环境的可视模型信息来源包含两种，其中立体视觉探测得到的信息 用以环境的三维重构，形成2.5D栅格，它包含两种状态，即未探测与已探测两 种，这里已探测栅格记录了栅格区域内地面的平均高度；全维视觉探测得到的环 境信息以2D栅格地图记录，它包含三种状态，阻塞、自由和未探测，阻塞表明 该栅格范围内存在探测其无法通过的区域，自由表明探测器能通过栅格对应的地 面。
8、 根据权利要求5所述的基于异构视觉传感器系统的导航方法，其特征是， 所述的步骤c，具体为步骤l:根据全局路径规划结果，获得当前的子目标点，控制探测器向当前 目标点移动；步骤2:周期性的根据立体视觉传感器与全维视觉传感器探测得到的环境信 息进行可通过性分析，其中根据立体视觉信息的可通过性分析每3秒执行一次， 根据全维视觉信息的可通过性分析每10秒运行以此；步骤3:判断立体视觉传感器是否探测到新的障碍物如探测到新的障碍物， 则执行步骤4，如未探测到新的障碍物，则继续根据规划路径向当前子目标点运动，执行步骤5;步骤4:进行局部避障规划，釆用势场法修改探测器当前位置与子目标点之 间的路径；步骤5:如果局部规划显示在出现新的障碍物时，探测器仍能由当前位置运 动到子目标点，则执行步骤d;如果局部规划显示在出现新的障碍物时，探测器 当前位置与目标点之间不存在可行的路径，则执行进行全局的路径规划，重新进 行全局路径规划，更新探测器的子目标点序列。
9、 根据权利要求5所述的基于异构视觉传感器系统的导航方法，其特征是， 所述的步骤d，具体为步骤l:在全维图像序列中寻找相同的特征，包含颜色与纹理；步骤2:根据步骤l中搜索获得特征信息在不同图像中的位置，计算出其在全局坐标系中的位置信息，当出现三个或三个以上的特征时采用三角法计算获得探测器相对于其初始位置的位置和朝向，实现探测器的自主定位；步骤3:根据定位结果，将不同时刻立体视觉传感器与全维视觉传感器的通过性分析结果在全局地图中进行注册，建立环境的全局可视化模型，全局路径规划采用更新后的环境可视化模型作为规划的依据。
10、 根据权利要求9所述的基于异构视觉传感器系统的导航方法，其特征是， 所述立体视觉传感器通过重构出探测器前方0. 3至3米范围内的三维场景，建立 相应的2. 5D栅格；全维视觉传感器通过分析全维图像的颜色与纹理信息得到探 测器周围3至10米范围内的可通过性，建立2D栅格，这两种栅格形式的区别为 2.5D栅格记录了其内部地形的平均高度，根据探测器的动力学性能、进入栅格 方向共同决定该栅格的可通过性，所以2. 5D栅格不直接记录可通过性分析结果， 2D栅格则直接记录根据全维视觉传感器图像分析获得的可通过性分析结果。
全文摘要
本发明提出一种机器人技术领域的基于异构视觉传感器系统的导航装置和方法，装置由立体视觉传感器与全维视觉传感器结合而成，立体视觉传感器由两个CCD组成，安装于探测器前部，实现探测器前方0.3至3米范围内的环境探测，为避障和导航功能提供信息；全维视觉传感器由一个CCD及透镜与镜面组合而成，其安装于行星探测器的桅杆顶部，实现3至10米范围内的通过性分析与特征检测，为导航和探测器的定位提供信息。本发明方法将全局路径规划和局部避障规划有机集合，充分利用两种视觉传感器的长处，实现行星探测器在非平台及松软表面上的可靠导航，引导探测器在未知环境下由起始出发点自主运动到给定的目标点。
文档编号G05D1/12GK101308023SQ200810038550
公开日2008年11月19日 申请日期2008年6月5日 优先权日2008年6月5日
发明者镇 张, 曹其新, 扬 杨, 缪寿洪, 顾嘉俊 申请人:上海交通大学