专利名称：基于视觉的无人直升机目标跟踪系统的制作方法
技术领域：
本发明涉及智能控制和机器视觉技术领域，是用于无人旋翼直升机的 基于视觉的目标识别与跟踪系统，可通过视觉，提高无人直升机自主执行 任务的能力，实现局部的智能飞行，以及实现对地面或空中指定目标的跟3示。
背景技术：
本发明基于两大
背景技术：
微小型直升机控制技术和计算机视觉技 术。微小型直升机控制技术是利用控制理论和传感器技术来实现微小型直 升机的自主飞行，计算机视觉技术是利用成像技术对目标进行识别和测量 目标位置、运动状态信息的技术。目前围绕微小型直升机控制技术和计算机视觉技术分别展开了很多 研究，但是把计算机视觉技术和微小型直升机控制技术集成到一个大系统 中，实现无人机自主识别目标并跟踪的功能，提高无人直升机的智能化水 平的应用目前还没有。本发明解决了这两大技术的集成，极大地提高了无 人直升机的智能化水平。发明内容本发明的目的是为微小型直升机提供一种可实现视觉跟踪与局部视 觉导航的系统，以实现微小型直升机的自动驾驶控制和自主目标跟踪，支 持遥控驾驶和自动驾驶之间的自由切换，实现微小型直升机的智能控制。 该系统可适用于各种遥控航模直升机的局部视觉导航与跟踪，实现微小型 直升机、旋翼机的自动目标识别与跟踪，在人为可控制或可限制的范围内， 自动识别操作员指定的目标，在视觉系统捕捉到目标后，保证地面或者空 中目标处于机载相机的视野范围之内，完成自主跟踪的任务。为达到上述目的，本发明的技术解决方案是提供一种基于视觉的无人直升机目标跟踪系统，其包括地面控制中心，和空中飞行载体两部分；地 面控制中心包括控制计算机、无线通讯模块、手动遥控器，控制计算机与 无线通讯模块之间为电器连接；空中飞行载体包括无人直升机、中心处理 单元、视觉单元、GPS单元和陀螺仪惯性导航单元、无线通讯装置和电池 组，各部分之间电连接；其中，中心处理单元包括嵌入式计算机系统，为机载控制中心；PGS 接收机和航空天线，惯性导航单元，高度计传感器，及传感器设备采集的 数据全部进入到嵌入式控制中心中，由控制中心进行数据处理，并实现自 动导航；无人直升机的遥控回路中设有一个多路切换装置，该切换装置能够通 过地面控制计算机或遥控器的一个通道实现自动导航和手动驾驶之间的 切换；视觉单元设有摄像头和图像处理装置，图像处理装置与中心处理单元 电器连接；各部件固装于无人直升机的起落架上；地面部分和空中飞行载体部分之间为无线通讯连接，无线通讯部分包 括无人直升机的手动驾驶遥控器和接收器，自动导航系统提供的无线通讯 模块建立的无线链路，以及无线视频传输链路。所述的目标跟踪系统，其所述地面控制中心的无线通讯模块和手动遥 控器的无线通讯分别在两个频段上，这两个频段不为倍频关系，以保证二 者之间的通讯不受干扰，无线视频链路的通讯频率为1. 2G或2. 4G。所述的目标跟踪系统，其所述无人直升机，是在现有的遥控直升机基 础上改造而成，起落架换成自制的起落架，增加了起落架的高度和强度， 以便安装各种电器、电子装置。所述的目标跟踪系统，其所述视觉单元与标准摄像机连接后，具有图 像采集和处理功能，通过图像处理算法，能够获取目标图像的空间位置。所述的目标跟踪系统，其所述中心处理单元，以ARM9.0为中央控制 器，以便实现导航控制、数据采集、数据处理和无线通讯的功能，并将摄 像头采集的图像传回到地面控制计算机显示。所述的目标跟踪系统，其所述GPS单元包括GPS接收器和高精度GPS5天线，在同时锁定4颗以上卫星的情况下，以1HZ的速率更新定位数据。 所述的目标跟踪系统，其所述惯性导航单元，结合了三个方向角速率陀螺仪，三向加速度计，三轴磁强计，在三轴360度的运动状态下，能够提供角度在欧拉角和矩阵格式的数据。本发明的突出特点是利用嵌入式计算机系统作为机载控制中心，在原 有的遥控模型直升机上进行必要的电器和机械改造，使得遥控模型直升机具有自主导航飞行、视觉跟踪的功能。进行的机械改造包括将遥控直升 机原有的起落架去掉，更换为适合安装自动导航设备的起落架。电器改造 包括在原有的遥控回路中增加了一个多路切换装置，该切换装置能够通 过地面控制计算机或遥控器的一个通道实现自动导航和手动驾驶之间的 切换；在遥控直升机上，安装了多种传感器设备，包括PGS接收机和航空天线，惯性导航设备，高度计传感器，这些传感器设备采集的数据全部进入到嵌入式控制中心中，由控制中心进行数据处理，并实现自动导航；在 遥控直升机上，安装了CCD摄像头和基于DSP的视觉处理板，从而实现直 升机的视觉跟踪和视觉导航。本发明所述的系统，能够适用于各种遥控航模直升机的自动导航需要。
图l (a)、图l (b)为本发明的无人直升机视觉导航系统示意图；其 中图1 (a)是直升机和机载设备；图1 (b)是地面控制站； 图2为本发明的视觉跟踪与目标锁定系统结构框图。
具体实施方式
请参阅图1 (a)、图1 (b)，为本发明的无人直升机视觉导航系统， 本发明的系统由两部分组成 一部分是直升机和机载设备，参见图1 (a); 另一部分是地面控制站，参见图1 (b)。其中，直升机和机载设备，包括 微型直升机l，设备外壳2，起落架3，柔性连接4，设备托盘5，高度计6，嵌入式控制器(包含多路开关)7，无线通讯模块8， GPS接收机9，惯 性导航单元10，电池组11， GPS接收天线12，视觉单元和无线视频发送 模块13，摄像头和陀螺锁定装置14，无线通讯模块15;地面控制站，包 括地面控制计算机16，地面操作员17，模型直升机遥控器18，无线视频 接收模块19，视频转换模块20。在直升机和机载设备中，微小型直升机1的起落架3为特制的装置， 尺寸比原有的起落架大，以便适合安装机载自动导航设备和视觉处理单 元。机载自动导航设备和视觉处理设备包括高度计6，嵌入式控制器(ARM) 7，无线通讯模块8、 GPS接收机9和GPS天线12，惯性导航装置10，视 觉处理单元13，以及为这些设备提供电能的电池组ll。其中高度计6、嵌 入式控制器(ARM) 7、无线通讯模块8、 GPS接收机9、惯性导航装置10、 电池组11、视觉处理单元13集中安装在一个铝制的外壳2内，外壳2在 受到外力冲击的时候起到保护内部设备的作用。起落架3通过固定螺丝与 直升机1连接，起落架下部带有一个设备托盘5，用于支撑机载导航设备。 托盘5通过四个柔性连接4连接在起落架3上的固定环上，柔性连接4为 橡胶带，目的是减小直升机飞行过程中的高频震动对自动导航设备的影 响。高度计6，无线通讯模块8， GPS接收机9以及惯性导航装置10分别 通过串行接口与嵌入式控制器(A固9) 7连接，电池组11分别为上述设备 提供电源。地面控制站主要由地面控制计算机16、无线通讯模块15、无线视频 接收模块19、视频转换模块20、模型直升机遥控器18和地面操作员17 组成。其中无线通讯模块15通过串口与地面控制计算机16连接，地面操 作员直接操作地面控制计算机16和遥控器18，以切换直升机的导航与驾 驶方式手动遥控驾驶或自动导航驾驶，无线视频接收模块19通过视频 转换模块20与地面控制计算机16相连，地面控制计算机16为笔记本电 脑，把机载摄像头和陀螺锁定装置14的摄像头采集的视频输入到笔记本 电脑中，供地面站操作员17监控。 本发明的工作原理使用本发明系统进行直升机自动导航时，首先，由地面操作员启动地 面控制计算机和机载导航装置，建立无线通讯模块的通讯连接，机载嵌入式控制器采集高度计、GPS，惯性导航设备的数据，使GPS至少锁定4个 卫星。以当前GPS的经纬度作为惯性导航单元的初始值。然后操作员通过 地面控制计算机的键盘和人机界面，将直升机的驾驶方式设定为手动遥控 驾驶方式，使用遥控器手动驾驶模型直升机启动并进入正常飞行状态。在 手动遥控驾驶过程中，机载的自动导航设备不间断地记录下直升机的飞行 路径和姿态，并通过无线通讯模块将数据发送到地面控制计算机中。接下 来，操作员可通过地面控制计算机的键盘按键切换到自动导航状态，机载 的导航设备进入自动导航控制方式。此时嵌入式控制器一边监听地面站的 指令， 一边是直升机处于悬停状态，当接收到地面控制站给定的目标点之 后，嵌入式控制器以当前直升机的位置和姿态为起始点，以接收到的目标 点为终点，通过计算规划出直升机的运动方向和速度，并控制直升机到达 目标点。直升机到达目标点之后，进入悬停状态，等待地面站的指令。
使用本发明系统进行直升机视觉跟踪时，首先是直升机处于悬停待命 状态，然后通过地面站给直升机发视觉跟踪的命令，此时系统中视觉处理 单元启动，监测机载摄像机的视野中是否有感兴趣的目标出现，如果没有 出现，直升机保持悬停状态，如果目标出现，直升机将跟随目标运动。在 直升机跟踪目标的同时，把机载摄像机采集的图像通过无线频道发回到地 面站，供地面操作人员监测。
本实施例中，遥控模型直升机采用了美国产的雷虎90型混合燃料直 升机，遥控器为9通道，频率设定为27腿Z，遥控距离为半径1500米，GPS 设备为美国产superstar接收机和航空天线，嵌入式系统选用了基于ARM9 系列AT91脂9200芯片的恒颐高科的H9200F ARM板，惯性制导单元为 3DM-GX1复合惯性导航单元，视觉处理系统采用基于TI函642 DSP处理器 的realtime公司的ICETEK DM642-B嵌入式DSP板，。地面控制计算机为 IBM-51R系列笔记本电脑，无线通讯模块为SRWF 506，其通讯距离2000 米，频率430MHZ，功率0.5瓦，电压5伏。无线视频模块为柏通公司的无 线影音专家，使用1.2GHZ频段，电压12伏，功率400毫瓦。机载电池组 选用了 2组锂电池[其中无线模块和摄像头使用12V， DSP和ARM系统为 5V]。
使用本发明系统，采用实现实例的配置，通过实验验证了本发明系统的有效性。
本发明中系统的工作过程如下首先由操作员将模型直升机启动并使 用遥控器是直升机处于正常平稳飞行状态，然后通过地面控制计算机或遥 控器上的切换按钮，将控制方式切换至自主导航状态，此时直升机为空中 悬停状态，机载的嵌入式控制中心将GPS采集的位置信息通过无线通讯连 路传输的地面控制计算机中，并显示在显示器上。此时操作员可通过地面 控制计算机输入目标点的坐标位置和期望的运动速度，直升机将以当前位 置作为起点，以操作员输入的速度沿着直线轨迹向目标点运动，到达目标 点之后仍然处于悬停状态。然后启动视觉单元，如果有感兴趣的目标出现 在机载摄像机的视野中，直升机就跟踪目标运动，如果没有感兴趣的目标 出现在机载摄像机的视野中，直升机仍旧保持悬停状态。
权利要求
1、一种基于视觉的无人直升机目标跟踪系统，其特征在于包括地面控制中心，和空中飞行载体两部分；地面控制中心包括控制计算机、无线通讯模块、手动遥控器，控制计算机与无线通讯模块之间为电器连接；空中飞行载体包括无人直升机、中心处理单元、视觉单元、GPS单元和陀螺仪惯性导航单元、无线通讯装置和电池组，各部分之间电连接；其中，中心处理单元包括嵌入式计算机系统，为机载控制中心；PGS接收机和航空天线，惯性导航单元，高度计传感器，及传感器设备采集的数据全部进入到嵌入式控制中心中，由控制中心进行数据处理，并实现自动导航；无人直升机的遥控回路中设有一个多路切换装置，该切换装置能够通过地面控制计算机或遥控器的一个通道实现自动导航和手动驾驶之间的切换；视觉单元设有摄像头和图像处理装置，图像处理装置与中心处理单元电器连接；各部件固装于无人直升机的起落架上；地面部分和空中飞行载体部分之间为无线通讯连接，无线通讯部分包括无人直升机的手动驾驶遥控器和接收器，自动导航系统提供的无线通讯模块建立的无线链路，以及无线视频传输链路。
2、 如权利要求1所述的目标跟踪系统，其特征在于，所述地面控制 中心的无线通讯模块和手动遥控器的无线通讯分别在两个频段上，这两个 频段不为倍频关系，以保证二者之间的通讯不受干扰，无线视频链路的通 讯频率为1.2G或2.4G。
3、 如权利要求1所述的目标跟踪系统，其特征在于，所述无人直升 机，是在现有的遥控直升机基础上改造而成，起落架换成自制的起落架， 增加了起落架的高度和强度，以便安装各种电器、电子装置。
4、 如权利要求1所述的目标跟踪系统，其特征在于，所述视觉单元 与标准摄像机连接后，具有图像采集和处理功能，通过图像处理算法，能 够获取目标图像的空间位置。
5、 如权利要求1所述的目标跟踪系统，其特征在于，所述中心处理单元，以A脂9.0为中央控制器，以便实现导航控制、数据采集、数据处 理和无线通讯的功能，并将摄像头采集的图像传回到地面控制计算机显 示。
6、 如权利要求1所述的目标跟踪系统，其特征在于，所述GPS单元 包括GPS接收器和高精度GPS天线，在同时锁定4颗以上卫星的情况下， 以1HZ的速率更新定位数据。
7、 如权利要求1所述的目标跟踪系统，其特征在于，所述惯性导航 单元，结合了三个方向角速率陀螺仪，三向加速度计，三轴磁强计，在三 轴360度的运动状态下，能够提供角度在欧拉角和矩阵格式的数据。
全文摘要
本发明一种基于视觉的无人直升机目标跟踪系统，涉及智能控制技术，由无人直升机、视觉采集和处理单元，中心处理单元、GPS单元和陀螺仪惯性导航单元组成。无人直升机由遥控航模赛直升机雷虎90改造而成，能够在自动驾驶和手动驾驶模式之间切换；视觉采集和处理单元由realtime公司的ICETEK DM642-B嵌入式DSP板组成；中心处理单元由恒颐高科的H9200F ARM板组成；GPS单元由美国产superstar接收机和天线组成；惯性导航单元由MicroStrain公司的3DM-GX1组成。本发明的基于视觉的无人直升机目标跟踪系统，实现了无人直升机在局部范围内的视觉导航控制和跟踪目标的功能。
文档编号G05B19/418GK101667032SQ20081011958
公开日2010年3月10日 申请日期2008年9月3日 优先权日2008年9月3日
发明者侯增广, 超 周, 曹志强, 猛 柏, 王晓东, 胡勇强, 民 谭, 赵晓光, 邓海波 申请人:中国科学院自动化研究所