阵列式高速视觉里程计的制作方法
【专利摘要】本实用新型为一种阵列式高速视觉里程计。本实用新型包括若干个视觉测量单元、数据采集电路板和工控机。本实用新型包括若干个视觉测量单元，呈平面或空间的几何阵列分布，用于观测机器人的姿态和位置参数，并行计算，独立输出，多个视觉测量单元设置图像各个方向上不同的长宽比，所提取的特征点在图像中均匀分布；数据采集电路板，连接各个视觉测量单元，用于采集所述视觉测量单元监测到的图像数据并对其进行数据校验和故障诊断，然后传送给工控机；工控机，用于将多个视觉测量单元间的数据进行融合，输出最终的机器人的姿态和位置。本实用新型具有响应速度快、鲁棒性好、参数估计精度高、能耗低、隐蔽性好和使用方便等优点，完全可以满足机器人在非结构环境下对自主定位导航方法的实时性和鲁棒性的要求。
【专利说明】阵列式高速视觉里程计
【技术领域】
[0001] 本实用新型属于机器人自主定位导航领域，具体为一种阵列式高速视觉里程计。
【背景技术】
[0002] 在机器人自主定位导航领域中，传统的机器人定位定姿方法主要包括：以码盘式 里程计和惯导等设备以及相应的航迹推算算法（Dead-Reckoning)实现的相对定位方法； 以固定路标和GPS技术为代表的绝对定位方法。其中，相对定位方法通过码盘式里程计实 现定位，但由于码盘式里程计存在车轮半径测量误差带来的系统误差和车轮滑动造成的非 系统误差，在高滑动地形条件下误差累积的速度非常快，因此往往与惯导组合使用，利用惯 导实时估计机器人的姿态变化并推算其位置变化，通过数据融合相互校正。然而惯导存在 以时间次方速率产生漂移的问题，当机器人进行长时间、大范围作业时，仍需要进行周期性 校正。在人工环境下，这个问题可以通过设置固定路标或使用GPS解决，但在不存在固定路 标的野外环境等非人工环境下，这种相对定位方法对GPS的依赖就十分严重了。但是由于 GPS技术的敏感性(主要由美国掌握)、不确定性(受到干扰或卫星故障)、定位精度和应用空 间的局限性，导致其在野外环境中的应用受限甚至无法应用，在这种情况下，传统技术方法 的缺点更加突出，已明显无法满足机器人的技术要求。
[0003] 为了满足机器人在非结构化环境下长时间、长距离作业时的精确自主导航技术要 求，上世纪80年代中期以来，出现了被称为视觉里程计（Visual Odometry)的机器人实时 定位定姿方法，是计算机视觉理论在机器人领域的一个重要应用。视觉里程计仅利用视觉 系统获得的环境图像，对机器人运动过程中的姿态和位置变化进行精确估计，属于被动非 接触式测量方法，具有精度高、隐蔽性好、不依赖GPS校正以及不受环境地表特性和应用空 间限制等突出的优点。虽然视觉里程计仍是一种相对定位方法，但已有的研究表明，视觉里 程计的误差呈非单应性，即使机器人在高滑动地形条件(滑动比>100 % )下进行长距离（作 业距离>lkm)导航时，仍能有效将累积误差控制在一定范围内，并且当与测角仪和惯导等组 合使用时，累积误差的范围更小。2004年美国国家航空和宇宙航行局（NASA)将视觉里程计 应用于火星探测并取得了巨大的成功，充分说明了视觉里程计方法的有效性以及在某些特 定环境下的不可替代性。
[0004] 目前，现有的视觉里程计方法基本上都采用了"特征一特征三维位置一运动估计" 的方法框架，只是在结构上有单目和双目之分，以及具体实现方法的差异。现有的方法都存 在实时性差的瓶颈问题(处理速度〈15Hz)。这主要是由于现有的这些方法对环境图像的处 理过程采用的都是逐帧逐点的计算方式，这就造成当图像尺寸较大时，待处理的数据量很 大，而计算机的处理能力与之相比就明显不够。而通过减小图像大小，降低数据量，将导致 视觉里程计精度的大幅下降。此外，在非结构化环境下，存在各种导致视觉里程计失效的不 确定性因素。现有的视觉里程计方法仅采用单目或双目结构，遇到相机或线路损坏等情况 时，整个视觉里程计就完全失效，鲁棒性差。 实用新型内容
[0005] 针对现有技术中存在的上述不足之处，本实用新型要解决的技术问题是提供一种 解决机器人作业过程中实时精确定位定姿问题的高速鲁棒三维视觉里程计。
[0006] 本实用新型为实现上述目的所采用的技术方案是：一种阵列式高速视觉里程计， 包括
[0007] 若干个视觉测量单元，呈平面或空间的几何阵列分布，用于观测机器人的姿态和 位置参数，并行计算，独立输出，多个视觉测量单元设置图像各个方向上不同的长宽比，所 提取的特征点在图像中均匀分布；
[0008] 数据采集电路板，连接各个视觉测量单元，用于采集所述视觉测量单元监测到的 图像数据并对其进行数据校验和故障诊断，然后传送给工控机；
[0009] 工控机，用于将多个视觉测量单元间的数据进行融合，输出最终的机器人的姿态 和位置。
[0010] 所述视觉测量单元包括：
[0011] 相机，用于拍摄机器人图像；
[0012] 固化算法的专用电路板，连接相机，用于计算图像特征点的空间三维位置。
[0013] 所述相机采集的图像大小不大于10000像素，数据传输速率不低于2Mbps。
[0014] 所述数据采集电路板还用于关闭失效的视觉测量单元通道。
[0015] 1.本实用新型以小尺寸图象作为输入，通过底层并行计算的高速视觉测量单元阵 列，实现了高速处理，解决了由于对整帧大尺寸图像逐点计算的低效串行计算方式和计算 机处理能力不足所导致的现有视觉里程计方法实时性差的瓶颈问题。
[0016] 2.本实用新型通过多个高速视觉测量单元组成阵列、各测量单元定向敏感和测量 单元间的数据融合，实现在大幅提高视觉里程计实时性的同时，保证其高精度的参数估计 输出，解决了现有视觉里程计方法通过减小图像大小提高实时所导致的精度下降的问题。
[0017] 3.由于非结构化环境下存在各种导致视觉里程计失效的不确定因素，而现有视觉 里程计方法仅采用单目或双目结构，当某一相机失效时，整个视觉里程计就完全失效，鲁棒 性差。在本实用新型中，由多个高速视觉测量单元组成的阵列为方法的鲁棒性提供了硬件 实现条件，通过在数据采集和处理过程中，建立故障诊断和阵列重构机制，从而即使出现多 个相机同时失效的极端条件下，仍可以保证视觉里程计底层数据输出的有效性，具有很好 的鲁棒性。
[0018] 4.在本实用新型中，多个高速视觉测量单元的阵列分布设计不局限于实例中所示 的圆周分布，理论上可以为任意分布。在应用中，由于测量单元的定向敏感，用户仅需要将 高速视觉测量单元尽可能地在各个方向上均匀分布，即可很好地保证系统精度。因此，用户 的使用十分方便。
[0019] 5.本实用新型是一种三维视觉里程计，并且不依赖环境先验知识（已知的环境信 息)，属于被动式非接触测量方法，不受环境地质地貌条件的限制，非常适用于环境信息动 态变化或复杂未知的非结构化环境。
[0020] 6.本实用新型精度高、误差累积小，既可不依赖GPS独立使用，也可与GPS、码盘、 惯导和测角仪等设备组合使用，应用灵活且不受环境空间的限制(如GPS尚无法应用于外 太空星球探测等)。
[0021] 7.本实用新型为模块化设计，系统结构简单，通用性好，适用于各种机器人平台， 具有能耗低、成本低廉和维护保养方便等突出的性价比优势。
[0022] 8.本实用新型的底层硬件设备，如高速CCD相机、数据采集卡等已有成熟的技术 产品，无需独立研制，因此，可以大大降低制造成本，便于迅速产业化。
【专利附图】
【附图说明】
[0023] 图1为本实用新型的系统结构示意图；
[0024] 图2为本实用新型的系统硬件结构示意图；
[0025] 其中，1为工控机，2为数据采集电路板，3为多个视觉测量单元组成的阵列，4为固 化算法的专用电路板，5为相机；
[0026] 图3为本实用新型的视觉测量单元算法结构示意图；
[0027] 图4a为本实用新型实施实例的视觉测量单元的阵列分布俯视图；
[0028] 图4b为本实用新型实施实例的视觉测量单元的阵列分布右视图；
[0029] 图5为本实用新型实施实例的视觉测量单元定向敏感的图像采集示意图。
【具体实施方式】
[0030] 下面结合附图及实施例对本实用新型做进一步的详细说明。
[0031] 本实用新型的原理是受昆虫复眼特性的启发。蜜蜂等具有复眼结构的昆虫具有惊 人的自主导航能力和运动敏感性，如蜜蜂飞行4. 5 X 105km却不会迷路，对移动目标的反应 时间仅为〇. ois。生物神经学家Wehner等人对苍蝇等昆虫复眼（Compound Eye)的研究成 果表明，这种复眼属于阵列式结构，由数目不等的小眼依次排列组成，其视觉系统分为视网 膜层和中枢神经层，其中视网膜层由许多面向不同方向的视神经感杆组成，每个视神经感 杆由8个单向垂直交叉的感光器（Photoreceptor)组成，而且这些感光器仅对与其同向的 偏振光（Polarized Light)敏感。这就在视网膜上形成了一个偏振敏感阵列，最后由中枢 神经进行处理，从而为昆虫带来了全向快速的运动感知能力。根据昆虫复眼视觉系统的结 构和特性，本实用新型以底层硬件并行计算、视觉单元单向敏感和集中处理的思想作为框 架，建立故障诊断和阵列重构机制，以计算机视觉理论为基础，形成一种新的高速鲁棒视觉 里程计方法。
[0032] 本实用新型是一种阵列式高速鲁棒三维视觉里程计，：主要贡献（创新）有以下 四个方面（1)由多个算法硬件化高速测量单元组成的阵列，各个测量单元以小尺寸图像作 为输入，并行计算，独立输出，实现高速的视觉处理过程；（2)如图5所示，根据昆虫复眼偏 振敏感的特点，在本实用新型中的高速视觉测量单元设计中，将测量单元阵列分布，通过设 置图像的不同长宽比和提取的特征点在图像中均匀分布，使每个视觉测量单元对某一方向 上的机器人姿态和位置参数变化估计具有很高的精度，从而实现测量单元的定向敏感性； (3)通过多个测量单元间的数据融合，实现机器人全部姿态和位置变化参数的精确估计，有 效解决了小尺寸图像对单一视觉测量单元精度的影响，保证了高速视觉里程计方法的终端 输出精度；（4)在本实用新型中，多个视觉测量单元组成的阵列为提高视觉里程计方法的 鲁棒性提供了硬件实现条件，在此基础上，我们在测量单元数据采集过程中，将引入故障诊 断和阵列重构的机制，以保证高速视觉里程计方法的底层数据输出有效性，从而实现方法 的鲁棒性。
[0033] 如图1所示，本实施例包括三个部分：（1)由8个高速视觉测量单元组成圆周阵 列，各测量单元并行计算、独立输出；（2)阵列数据集中采集，在数据采集过程中对各测量 单元进行输出数据校验和故障诊断，并关闭失效的测量单元数据通道，进行阵列分布重构； (3)对各测量单元的进行数据融合，并反馈阵列信息，对阵列信息进行校正。具体为：
[0034] (1) 8个高速视觉测量单元组成的圆周阵列。
[0035] 本实施例中，视觉里程计的高速视觉测量单元阵列分布俯视及右视图如图4所 示，可实现实时精确估计机器人本体6个自由度的姿态参数变化和空间三维位置变化。这 样的阵列设计来源于我们从昆虫复眼结构获得的启发。与昆虫小眼类似，每个测量单元偏 重于某一姿态参数的精度，因此，这样的设计非常有利于提高数据融合的精度。同时这样 做的另一个好处是可在圆心建立一个平面坐标系，仅由半径r以及各测量单元和圆心的连 线与坐标轴所成的夹角Θ两个参数，就可以表示各个测量单元的平面坐标（即阵列分布 信息)，这样阵列分布信息的重构和校正过程就变成了对两个参数的调整过程，十分简单方 便。
[0036] 每个高速视觉测量单元的硬件组成主要包括：一个高速图像采集相机，采集的图 像大小不大于10000像素，相机数据传输速率不低于2Mbps ;固化算法的专用电路板。在高 速测量单元的算法方面，每个测量单元将独立计算其图像特征点的空间三维位置，通过设 置相机镜头方向（如图2所示）和均匀提取特征，使其对设定方向的参数估计精确；其中每 个视觉测量单元的算法流程如图3所示：在相机已经标定的条件下，在高频图像序列中用 Harris算子提取特征点，通过MNCC相关性对特征点进行跟踪；然后根据相机标定后得到的 基础矩阵和本质矩阵来计算相机的旋转矩阵R和平移向量T ;最后利用结合特征点跟踪的 结果进行特征点的三维重建。
[0037] 通过3帧图像来优化计算图像中的特征点空间三维位置，计算过程实际上是三个 三角测量值的最小二乘加权平均，算法复杂度很低；根据测量单元的阵列分布位置，为每一 个测量单元设置相应的精度加权系数，加权系数将随阵列分布校正或重构同步进行校正和 重置，并与特征点的三维空间位置信息一起被用于测量单元间的数据融合。
[0038] (2)数据采集、故障诊断和阵列重构
[0039] 通过硬件通讯，对各测量单元的计算数据进行集中采集，并在数据采集过程中，利 用数据间的阵列分布关系进行相互校验，根据数据校验的结果进行故障诊断，如果某一测 量单元被认为已失效，则关闭其数据通道，将其从阵列中剔除，并对阵列信息进行重构。重 构的阵列信息将随有效测量单元计算数据一起输出。通过硬件通讯，对各测量单元的计算 数据进行集中采集
[0040] (3)数据融合和阵列反馈
[0041] 利用特征点集的三维位置变化，通过无色卡尔曼滤波（UKF)方法进行数据融合和 处理，得到高精度的机器人姿态和位置变化估计。此外，在视觉里程计初始化校正过程中对 阵列设计分布和实际分布之间的误差进行校正。
[0042] 本实用新型所述的改进的MNCC算法为现有技术，参考杜英魁，韩建达，唐延东， Feature Matching And Tracking For Visual Odometry Of Mobile Robot【C^Proceedings of The International Conference Information Computing and Automation, Volsl-3. Singapore. World Scientific Publ Co Pte Ltd. 2007, 927-930.
[0043] 本实用新型所述的外极线校正、视差约束、双向一致性约束、唯一性约束和极线约 束条件在马颂德，张正友所著：计算机视觉一计算理论与算法基础【M】北京：科学出版社， 1998.中有论述。
[0044] 本实用新型所述的 Hartley 八点法参考：R. Hartley，In Defense of The8_Point algorithm [J]IEEE Transaetions on Pattern Analysis and Machine Intelligence, 1 997, 19(6) :580-593.
[0045] 本实用新型所述的RANSAC法、计算逆投影误差的方法、加权最小二乘法、稀疏LM 算法、位姿推算算法在周船，杜英魁所著：一种基于双目重建不确定性分析的运动估计方法 【J】仪器仪表学报，2007, 28⑶：15-17.中有论述。
【权利要求】
1. 一种阵列式高速视觉里程计，其特征在于，包括 若干个视觉测量单元，呈平面或空间的几何阵列分布，用于观测机器人的姿态和位置 参数，并行计算，独立输出，多个视觉测量单元设置图像各个方向上不同的长宽比，所提取 的特征点在图像中均匀分布； 数据采集电路板，连接各个视觉测量单元，用于采集所述视觉测量单元监测到的图像 数据并对其进行数据校验和故障诊断，然后传送给工控机； 工控机，用于将多个视觉测量单元间的数据进行融合，输出最终的机器人的姿态和位 置。
2. 根据权利要求1所述的阵列式高速视觉里程计，其特征在于，所述视觉测量单元包 括： 相机，用于拍摄机器人图像； 固化算法的专用电路板，连接相机，用于计算图像特征点的空间三维位置。
3. 根据权利要求2所述的阵列式高速视觉里程计，其特征在于，所述相机采集的图像 大小不大于10000像素，数据传输速率不低于2Mbps。
4. 根据权利要求1所述的阵列式高速视觉里程计，其特征在于，所述数据采集电路板 还用于关闭失效的视觉测量单元通道。
【文档编号】G01C11/00GK203848826SQ201320890660
【公开日】2014年9月24日 申请日期:2013年12月31日 优先权日:2013年12月31日
【发明者】杜英魁, 韩建达 申请人:中国科学院沈阳自动化研究所