(103):飞行控制系统(103)通过CAN总线(107)接收来自于双目视觉系统(101)及其他传感器单元(102)的视觉感知信息和无人机飞行状态数据，通过融合后，将结果发送至飞行控制器(1032)，以根据视觉感知信息得到无人机(106)所在的飞行环境中的障碍物信息，以及根据障碍物信息和无人机状态信息规划无人机(106)的飞行路径，并根据飞行路径生成飞行控制指令，用于控制无人机(106)的障碍物规避飞行。所述飞行控制系统(103)通过控制无人机(106)机载舵机组实现对无人机运动的控制功能。所述的障碍物信息包括但不限于:障碍物与所述无人机之间的相对位姿、所述障碍物的种类、尺寸、形状及运动状态等信息。
[0041]飞行控制系统(103)包括数据融合模块(1031)和飞行控制器(1032)及数据传输模块(未在示例图中标注)。所述飞行控制系统(103)中具有可拓展的模块化数据融合处理功能，即利用无人机机载双目视觉系统(101)进行视觉感知，同时通过无人机机载其他传感器模块(102)中頂U单元(1021)获取惯导数据，通过三轴磁罗盘单元(1022)获取航向角信息，通过GPS单元(1023)获取飞行位置、速度、航向及高度数据，通过气压计单元(1024)获取无人机高度数据，并在飞行控制系统中利用融合模块(1031)将各传感器数据与视觉感知相融合处理，以便向无人机发送飞行路径控制和路径规划指令以对障碍物进行规避。
[0042]飞行控制系统(103)还用于根据视觉感知信息判断障碍物是否位于无人机(106)的原飞行路径上，且在判断障碍物位于无人机(106)的原飞行路径上时根据障碍物信息和无人机状态信息建立新的飞行路径，并根据新的飞行路径生成飞行控制指令。
[0043]遥控器(104):通过无线链路(108)直接控制无人机(106)运行，或者通过无线链路(108)经飞行控制系统(103)对无人机(106)进行控制。
[0044]地面站(105):通过无线链路(108)经飞行控制系统(103)对无人机(106)进行控制，并可以接收无人机(106)的飞行状态信息。
[0045]无人机(106):通过双目视觉系统(101)获取无人机的视觉信息，并根据飞行控制系统(103)的飞行控制指令进行飞行，实现对障碍物的规避。
[0046]在本实施例中，飞行控制系统(103)、遥控器(104)、地面站(105)及无人机(106)之间以无线链路(108)的方式进行无线通信。具体地，将无人机(106)的数据通过无线链路传递给地面站进行显示，同时当设定为手动或远程控制时，遥控器(104)及地面站(105)通过无线链路(108)将控制指令发送给飞行控制器(103)及无人机(106)。
[0047]需要说明的是，无人机不同于其他地面机器人系统，其需要考虑飞行过程中的载重及供电等约束，因此，本实用新型将视觉信息与其他传感器信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避。可以解决无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力，可行性好、载重小，同时功耗较低。
[0048]双目视觉系统(101)内部的视觉采集处理单元(1012)采用FPGA(202)与ARM(201)相结合设计，由完成图像的并行算法的现场可编程门阵列FPGA模块(202)和完成图像的串行算法以及结果的发布的嵌入式处理器ARM模块(201)构成。图2给出了 FPGA及ARM的嵌入式系统架构图。其中，ARM嵌入式系统通过AMBA (2012)与外部10单元(205)进行连接，包括 SPI (2051)、IIC(2052)、CAN(2053)、UART (2054)、GP10(2055)、SD10(2056)、USB (2057)及GigE (2058)接口，同时可通过AMBA (2012)实现对静态内存单元(203)的控制，支持多种接口的能力使本实用新型的嵌入式系统可以扩展连接多种机载摄像机设备。FPGA (202)模块内含有标准10接口(2021)，与外部设备进行，可以实现本实用新型机载摄像机(1011)的同步控制，通过GigE模块(2022)，也可实现GigE摄像机的视频采集，并通过PCIe接口(2025)进行内部数据传输。本实施例中，ARM(201)与FPGA (202)通过AXI接口(2011)进行信息交互，通过AXI接口(2011)，ARM(201)可将视频流快速的传输给FPGA(202)模块进行处理。
[0049]需要说明的是，在对图像数据的操作中，单位时间内数据量很大，要求数据运算速度快，且为了获得较快的处理速度，需采用并行的方式对双目摄像机获取的图像进行分析理解，因此，本实施例中ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理。
[0050]图3给出了双目视觉系统(101)的框架图。本实用新型的ARM模块(201)通过USB接口采集两路机载摄像机(302)的图像数据，通过AXI接口(2011)高速的将视频流传输给FPGA模块(202)，进行两路视觉信息的并行处理，并将处理结果反馈给ARM模块(201)，进行后续处理，处理结果通过CAN总线等传输接口发送给飞行控制系统(103)。需要说明的是，两路机载摄像机(302)的同步控制信号，由FPGA控制同步触发单元(301)产生。
[0051]需要强调的是，本实用新型所述的实施例是说明性的，而不是限定性的，因此本实用新型包括并不限于【具体实施方式】中所述的实施例，凡是由本领域技术人员根据本实用新型的技术方案得出的其他实施方式，同样属于本实用新型保护的范围。
【主权项】
1.一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，其特征在于:在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统； 所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息; 所述其他传感器模块用于获取无人机的飞行状态信息； 所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行； 所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功會K。2.根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于:所述视觉采集处理单元包括现场可编程门阵列FPGA模块和嵌入式处理器ARM模块，所述嵌入式处理器ARM模块通过AMBA与外部10单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准10接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输。3.根据权利要求2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于:所述嵌入式处理器ARM模块通过USB接口与两路机载摄像机相连接，通过AXI接口与现场可编程门阵列FPGA模块进行信息交互。4.根据权利要求2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于:所述外部 10 单元包括 SP1、IIC、CAN、UART、GP10、SD10、USB 及 GigE 接口。5.根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于:其他传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计。6.根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于:所述飞行控制系统包括数据融合模块、飞行控制器及数据传输模块，所述数据融合模块与双目视觉系统、其他传感器模块相连接，数据融合模块还与飞行控制器的输入端相连接，飞行控制器的输出端与数据传输模块相连接，数据传输模块与无人机进行数据传输。7.根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于:所述双目视觉系统、其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通?目Ο8.根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于:所述机载摄像机为高速摄像机。9.根据权利要求1至8任一项所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于:所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。
【专利摘要】本实用新型涉及一种基于双目视觉的无人机自主障碍物检测系统，其主要技术特点是：在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；双目视觉系统由两台机载摄像机、视觉采集处理单元构成；其他传感器模块用于获取无人机的飞行状态信息；飞行控制系统通过融合处理生成飞行控制指令，用于控制无人机飞行；无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。本实用新型将双目视觉系统与其他传感器单元结合在一起，进行飞行路径控制和路径规划以对障碍物进行规避，实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，有效地解决了无人机视觉避障的问题。
【IPC分类】G05D1/10, G08C17/02, G01C11/02
【公开号】CN205049143
【申请号】CN201520820313
【发明人】齐俊桐, 卢翔
【申请人】一飞智控(天津)科技有限公司
【公开日】2016年2月24日
【申请日】2015年10月22日