一种基于双目视觉的无人机自主障碍物检测系统及方法
【技术领域】
[0001] 本发明属于无人机技术领域，尤其是一种基于双目视觉的无人机自主障碍物检测 系统及方法。
【背景技术】
[0002] 随着飞行器相关技术的不断发展及其应用场景的复杂化，对其环境感知能力提出 了更高的要求。基于视觉的导航技术具有探测范围宽、信息容量大等优势，此外其具有对飞 行环境变化捕捉迅速、反应敏锐等特点，因此在飞行器导引导航研究中得到了越来越多的 关注。
[0003] 基于视觉的环境感知属于被动测量方式，与激光、雷达及超声等主动测量方式相 比，可减少多个测量装置在检测过程中的相互干扰，更为重要的是可降低在某些特定环境 (如战场）使用时被发现的概率，具有较强的隐蔽性。
[0004] 基于视觉的飞行环境中障碍物感知应用可使用单目或双目视觉，其中双目视觉可 获得较单目视觉更高的精度，而应用较为广泛。单目视觉使用一台机载摄像机获取飞行图 像，然而飞行环境的三维信息会在图像投影过程中丢失，虽可利用多帧图像或离线训练的 方法还原环境的深度信息，但处理过程复杂，导致机载嵌入式处理器难以实现实时处理，目 前只能做到将图像传回地面站解算后再返回无人机的方式进行障碍物规避控制。而双目视 觉基于视差原理，其产生的立体视觉信息可以直接恢复目标环境的三维坐标，进而可获得 环境的深度信息，对于未知飞行环境中的障碍物及潜在碰撞的检测具有重要的实用意义。
[0005] 双目视觉是计算机视觉的一个重要分支，双目视觉可以模仿人的眼睛和人类立体 视觉感知的过程，是计算机视觉研究的核心主题之一。近年来，双目视觉技术在障碍物检 测、工业自动化生产、智能安防系统等领域得到了广泛的应用。但是，现有的基于视觉的障 碍物感知方法存在的诸多问题，计算机视觉方法在飞行器中的应用主要集中于自主着陆、 景象匹配与目标识别以及视觉惯性组合导航等。自主着陆中的视觉方法着眼于飞行器着陆 阶段，且需要已知着陆场信息，无法应用于飞行器的任务执行阶段；景象匹配及目标识别， 需要建立景象匹配的机载数据库以查找已知目标信息并采用视觉方法得到目标的相对位 置，但在飞行器飞行过程中所处的自然环境却无能为力；而将计算机视觉技术与机载惯导 数据结合在一起的导航方法计算量较大，当飞行环境复杂时无法满足实时导航的要求。因 此，虽有将视觉方法应用于飞行器导航的研究，但这些方法一方面需要已知目标信息或人 工设置参考信息，另一方面存在潜在的实时性缺陷，无法满足飞行器执行任务时所处自然 环境中的导航应用需求。
[0006] 众所周知，视觉图像处理需要在单位时间内处理大量数据，需要快速的数据运算 能力，然而数据运算过程却相对简单。目前可用于视觉图像处理的计算平台主要有CPU、 GPU、ASIC、DSP、FPGA等。
[0007] 嵌入式CPU的计算能力有限，对于一些计算复杂度很高的视觉算法，其处理速度 常常难以满足系统的实时性需要。
[0008] GPU具有高度的并行计算能力，可以较好地解决计算速度的问题，然而，基于GPU 的计算机视觉系统存在着功耗较高、体积较大的缺点，难以满足依靠自身所带电池供电并 长时间工作的无人机系统的需要。
[0009] 利用专用集成电路ASIC实现视觉处理算法，可以解决视觉系统性能和体积、功耗 之间的矛盾，是高性能嵌入式视觉系统的一种有效的解决方案。然而，ASIC开发周期长，修 改性及通用性较差。
[0010] FPGA可以通过编程方便地修改其内部的逻辑功能，从而实现高速的硬件计算和并 行运算，是高性能嵌入式视觉系统的一种更加方便的解决方案。基于FPGA的嵌入式视觉系 统的功耗远远低于基于CPU和GPU的视觉系统，FPGA的功耗通常不到1W，而高性能CPU和 GPU的功耗通常都在100W以上。随着技术的不断进步，FPGA的集成度越来越高，可以实现 的设计规模越来越大，而功耗则越来越低。因此，基于FPGA的嵌入式视觉系统成为计算机 视觉系统的重要发展方向。
[0011] 可编程片上系统技术在单个芯片上集成包括处理器核心和主要外设在内的逻辑 功能，这些逻辑功能可以随着应用目的的改变而重新配置，这使得系统可以随时减裁、扩充 或升级，使得FPGA可以在片内配置嵌入式处理器的内核，使得FPGA也可具有片内高速的存 储单元，丰富的IP核资源和足够的片上逻辑资源。
[0012]与通用计算机相比，嵌入式系统在功耗、体积和成本上有着不可比拟的优势。基于ARM的嵌入式系统因此被广泛应用于工业、民用甚至军事等领域。Linux操作系统具有很高 的性能，在计算相同的数据量时，对嵌入式系统的功率索取量极小，这也使得Linux得以在 嵌入式领域有很强的竞争力。
[0013] 综上所述，虽然国内外无人机领域的许多学者针对无人机避障系统开展了大量研 究，针对环境信息完全机载处理，且在保证测量精度的前提下，目前的避障系统还无法达到 小体积、低功率及低重量的需求，进而实现无人机完全本地自主飞行的功能。
【发明内容】
[0014] 本发明的目的在于克服现有技术的不足，提供一种基于双目视觉的无人机自主障 碍物检测系统及方法，该检测系统能够在满足无人机对功耗及载重的需求前提下，获得实 时的较高精度的飞行环境三维信息，该检测方法能够实现基于嵌入式实时双目视觉的无人 机避障系统的三维环境信息重建算法，使得算法具有较高精度及实时性能。
[0015] 本发明解决其技术问题是采取以下技术方案实现的：
[0016] -种基于双目视觉的无人机自主障碍物检测系统，包括无人机，在无人机上装载 有双目视觉系统、其他传感器模块及飞行控制系统；
[0017] 所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄 像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境 信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成 图像的串行算法以及结果的发布的嵌入式处理器ARM模块构成；
[0018] 所述其他传感器模块包含惯性测量单元頂U、全球定位系统GPS、磁罗盘及气压 计；
[0019] 所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉感知信息 和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；
[0020] 所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行 功能。
[0021] 进一步，所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过 AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列 FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模 块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输；所述嵌入式处理器ARM 模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互。
[0022] 进一步，所述双目视觉系统和其他传感器模块与飞行控制系统之间采用CAN总线 的方式进行通信。
[0023] 进一步，所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及 无人机之间以无线链路的方式进行通信。
[0024] 一种基于双目视觉的无人机自主障碍物检测方法，包括以下步骤：
[0025] 步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信 息；
[0026] 步骤2、其他传感器单元获取无人机的状态信息；
[0027] 步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞 行控制指令并向无人机发送；
[0028] 步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行。
[0029] 进一步，所述步骤1的具体实现方法为：
[0030] 步骤⑴、两台机载摄像机获取无人机的视觉信息；
[0031] 步骤⑵、视觉采集处理单元获取同步图像；
[0032] 步骤⑶、视觉采集处理单元对两路图像信息进行校正；
[0033] 步骤⑷、视觉采集处理单元处理获取视差图像；
[0034] 步骤(5)、视觉采集处理单元利用视差图进行环境信息的三维重建，从而获得障碍 物信息。
[0035] 进一步，所述步骤⑵视觉采集处理单元获取同步图像的具体方法为：现场可编程 门阵列FPGA模块通过控