基于视觉伺服的感知与规避方法及系统的制作方法
【专利摘要】本发明提供一种基于视觉伺服的感知与规避系统，包括无人机、图像采集系统、视觉伺服控制系统和导航定位系统，所述视觉伺服系统包括视觉目标检测与跟踪模块、安全包络模块和视觉伺服控制器。本发明还提供一种基于所述感知与规避系统的规避方法，本发明实现了对周围空域环境的快速感知，以及在不加装任何测距传感器且不需地面操作人员进行干预和操作的情况下，独立自主完成对空间飞行目标的规避机动；本发明载荷要求低、控制精度高、具有较高的智能性，能够提高无人机的空域飞行安全能力。
【专利说明】基于视觉伺服的感知与规避方法及系统
【技术领域】
[0001] 本发明涉及无人机导航与控制领域，特别涉及一种基于视觉伺服的感知与规避方 法及系统。
【背景技术】
[0002] 近来，随着军事应用与民用领域对无人机的需求日益强烈，加上我国民用空域领 域的进一步开放，未来空域将呈现多种类型功能的无人机、有人机进行空域共享和集成的 局面，空域将日趋密集。在此情况下，无人机感知与规避（Sense and Avoid,即SAA)能力将 成为进入空域飞行、保障无人机飞行安全的先决条件。无人机感知与规避是指无人机利用 机载传感器或地面监视系统完成对空域飞行环境的监视和飞行目标的状态获取，对潜在碰 撞威胁的目标进行规避路径规划，完成规避机动动作，从而保证无人机的航路飞行安全。
[0003] SAA技术是目前无人机【技术领域】亟待解决的关键技术难题。2013年，在美国 FAA(Federal Aviation Administration)发布的无人机系统空域集成路线图中，明确提出 SAA能力是无人机进行国家空域飞行的必备能力。其主要功能分为：目标检测与跟踪、碰撞 威胁估计、规避路径规划、规避机动。
[0004] 无人机机载SAA传感器包括T-CAS，ADS-B、雷达、激光雷达、光电、红外传感器等。 其中，光电传感器作为对非合作目标非常重要和有效感知与规避手段，特别是在轻小型无 人机系统载荷、任务、成本有限，无法搭载大型感知设备如雷达、激光雷达等情况下，基于光 电传感器的视觉SAA系统在质量、功耗、成本方面的优势使其更易在轻小型系统集成和应 用；视觉SAA被动式感知的特点适用于战场环境、隐身任务等特定任务场合；且与ADS-B、 TCAS等相比，视觉SAA不依靠应答机制，不需要地面控制信息和卫星定位信息，即能够提供 对非合作目标独立的感知与规避能力。因此，研究基于光电传感器的视觉SAA系统具有重 要意义。
【发明内容】
[0005] 本发明的目的在于提供一种基于视觉伺服的感知与规避方法及系统，以解决现有 传感器体积大、功耗较大，不利于在轻小型无人机系统中的集成应用的问题，并且本发明能 够实现对周围空域环境的快速感知，通过角度安全包络建立视觉反馈控制模型，控制无人 机完成对空域目标的感知与规避。
[0006] 本发明提供一种基于视觉伺服的感知与规避系统，包括：
[0007] 无人机，所述无人机上设置自动驾驶仪，所述自动驾驶仪接收飞行控制指令进行 飞行并完成无人机对障碍物的规避动作；
[0008] 图像采集系统，搭载在所述无人机上，用于采集无人机的飞行空域图像信息，采用 多相机多视角集中式阵列构型，并通过相机接口实时传输图像信息；
[0009] 视觉伺服控制系统，设置在所述无人机上，包括视觉目标检测与跟踪模块、安全包 络模块和视觉伺服控制器，视觉目标检测与跟踪模块接收图像采集系统传输的图像信息并 实现对图像中飞行目标的检测、定位和跟踪，安全包络模块根据获取的目标状态信息进行 图像平面角度安全包络的生成，并基于该安全包络生成图像规避角度，以此角度输入至视 觉伺服控制器，视觉伺服控制器输出规避机动角度，并将该角度通过串口传输至自动驾驶 仪完成规避动作；
[0010] 导航定位系统，设置在所述无人机上，用于建立航路回归机制，导航定位系统检测 到无人机不在航路且不存在威胁时，进行航路回归，使无人机返回原始航路。
[0011] 作为一种优选方式，本发明中所述视觉目标检测与跟踪模块采用多路高清图像处 理平台DM8168。
[0012] 本发明还提供一种基于视觉伺服的感知与规避系统的规避方法，包括：
[0013] 步骤一，通过无人机机载图像采集系统实现对飞行视场角内的空域的完全覆盖， 获取无人机的飞行空域图像信息；
[0014] 步骤二，机载视觉伺服控制系统中视觉目标检测与跟踪模块接收步骤一中图像信 息并进行处理，完成对空域图像中飞行目标的检测、定位和跟踪；
[0015] 步骤三，根据步骤二中获取的飞行目标状态信息，视觉伺服控制系统中安全包络 模块进行图像平面角度安全包络生成，通过安全包络确定无人机是否存在碰撞威胁，针对 碰撞威胁，计算得到图像意义下的规避角度；
[0016] 步骤四，将步骤三中的规避角度输入视觉伺服控制系统中的视觉伺服器，视觉伺 服器输出需要的规避机动俯仰和偏航角度，并传送至无人机自动驾驶仪完成规避机动；
[0017] 步骤五，利用导航定位系统建立航路回归机制，当无人机不存在威胁时，使无人机 返回原始航路。
[0018] 作为一种优选方式，所述步骤二的具体实现方法如下：
[0019] 步骤一中图像采集系统获取的图像数据通过相机数据线传送至机载视觉伺服控 制系统中视觉目标检测与跟踪模块，其中图像采集系统中共设置A、B、C三台相机，视觉目 标检测与跟踪模块采用多路高清图像处理平台DM8168,利用DM8168实现对获取的多路视 频进行处理，通过检测算法获取目标k时刻在图像采集系统中某一相机图像平面的位置信 息p k = [pxk，pyk]，获得目标相对于该相机的相对角度：
【权利要求】
1. 一种基于视觉伺服的感知与规避系统，其特征在于，包括： 无人机，所述无人机上设置自动驾驶仪，所述自动驾驶仪接收飞行控制指令进行飞行 并完成无人机对障碍物的规避动作； 图像采集系统，搭载在所述无人机上，用于采集无人机的飞行空域图像信息，采用多相 机多视角集中式阵列构型，并通过相机接口实时传输图像信息； 视觉伺服控制系统，设置在所述无人机上，包括视觉目标检测与跟踪模块、安全包络模 块和视觉伺服控制器，视觉目标检测与跟踪模块接收图像采集系统传输的图像信息并实现 对图像中飞行目标的检测、定位和跟踪，安全包络模块根据获取的目标状态信息进行图像 平面角度安全包络的生成，并基于该安全包络生成图像规避角度，以此角度输入至视觉伺 服控制器，视觉伺服控制器输出规避机动角度，并将该角度通过串口传输至自动驾驶仪完 成规避动作； 导航定位系统，设置在所述无人机上，用于建立航路回归机制，导航定位系统检测到无 人机不在航路且不存在威胁时，进行航路回归，使无人机返回原始航路。
2. 根据权利要求1所述的基于视觉伺服的感知与规避系统，其特征在于，所述视觉目 标检测与跟踪模块采用多路高清图像处理平台DM8168。
3. -种基于视觉伺服的感知与规避系统的规避方法，其特征在于，包括： 步骤一，通过所述无人机机载图像采集系统实现对飞行视场角内的空域的完全覆盖， 获取无人机的飞行空域图像信息； 步骤二，机载视觉伺服控制系统中视觉目标检测与跟踪模块接收所述步骤一中图像信 息并进行处理，完成对空域图像中飞行目标的检测、定位和跟踪； 步骤三，根据所述步骤二中获取的飞行目标状态信息，视觉伺服控制系统中安全包络 模块进行图像平面角度安全包络生成，通过安全包络确定无人机是否存在碰撞威胁，针对 碰撞威胁，计算得到图像意义下的规避角度； 步骤四，将所述步骤三中的规避角度输入视觉伺服控制系统中的视觉伺服器，视觉伺 服器输出需要的规避机动俯仰和偏航角度，并传送至无人机自动驾驶仪完成规避机动； 步骤五，利用导航定位系统建立航路回归机制，当无人机不存在威胁时，使无人机返回 原始航路。
4. 根据权利要求3所述的规避方法，其特征在于，所述步骤二的具体实现方法如下： 所述步骤一中图像采集系统获取的图像数据通过相机数据线传送至机载视觉伺服控 制系统中视觉目标检测与跟踪模块，其中图像采集系统中共设置A、B、C三台相机，视觉目 标检测与跟踪模块采用多路高清图像处理平台DM8168,利用DM8168实现对获取的多路视 频进行处理，通过检测算法获取目标k时刻在图像采集系统中某一相机图像平面的位置信 息p k = [pxk，pyk]，获得目标相对于该相机的相对角度：
其中，w和h分别是以像素为单位的图像的宽度和高度，f为相机镜头焦距，μ为象元 尺寸； 根据相机安装位置，可获得目标k时刻相对于无人机的相对角度为〇k= [〇k，Yk]，其 中
Yk = γ ,
分别表示检测到的目标来自于图像采集系统中的相 机A、相机B和相机C ; 根据前后时刻的角度变化确定目标的角速度Qk= [c〇xk，coyk] = 0k+1-0k，k>0。
5. 根据权利要求3所述的规避方法，其特征在于，所述步骤三中安全包络的生成步骤 及规避角度的计算步骤包括： ① 建立目标安全包络圆，圆心为目标点，选取一个半径初始值，并以固定速度进行增 长； ② 根据目标尺寸建立安全包络椭圆，椭圆圆心为目标点，椭圆短轴的长度与包络圆的 半径相等，椭圆长轴的长度为短轴的长度与目标在当前角速度下在预留时间内的外推长度 之和，长轴方向平行于目标的运动方向； ③ 前述生成的包络圆和包络椭圆形成平面角度安全包络，该安全包络由以椭圆短轴为 分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成； ④ 基于前述平面角度安全包络进行目标威胁估计，建立基于安全包络的威胁标示函 数，以此判断是否存在碰撞威胁； ⑤ 根据最小规避距离原则，在平面角度安全包络寻找距离初始目标最近的点。
6. 根据权利要求5所述的规避方法，其特征在于，所述步骤三中安全包络的具体生成 步骤及规避角度的具体计算步骤如下： ① 建立目标安全包络圆，圆心选为目标k时刻相对于无人机的相对角度位置〇k = [〇 k，Y k]，选取一个半径初始值r。，并以固定速度进行增长，贝1J rk+i = rk+ ε，k = 1，2, 3... rk = r〇, k = 〇 其中ε是固定增长速度，rk+1代表k+1时刻的安全包络圆半径； ② 根据目标尺寸建立安全包络椭圆，椭圆圆心为目标点?k= [〇k，Yk]，长轴方向平 行于目标的运动方向，即目标角速度的方向，长轴和短轴的长度分别按下列公式选取： a = rk(l+a || Qk || ), b = rk, 式中，a和b分别代表包络椭圆的长轴和短轴，rk为k时刻包络圆的半径，a为角速度 转化为轴长的比例因子，该因子代表规避预留时间，II Ω, ||为目标运动角速度向量的模； ③ 前述生成的包络圆和包络椭圆形成平面角度安全包络，该安全包络由以椭圆短轴为 分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成； ④ 基于前述平面角度安全包络进行目标威胁估计，建立基于时间k的威胁标示函数lk， 当lk〈0时，认为存在碰撞威胁，以此判断是否存在碰撞威胁，其中
其中§= 表示相机B的主轴方向相对于无人机主轴方向的角度，通常可认为
|是符号函数； ⑤当lk〈〇时，根据最小规避距离原则，在平面角度安全包络寻找距离#最近的点f = [〇' 作为最小规避机动点
： 其中gJJIjt代表k时刻垂直于目标角速度向量的单位向量。
7.根据权利要求3所述的规避方法，其特征在于，所述步骤四中规避机动俯仰和偏航 角度的具体计算步骤如下： ①定义交互矩阵为
在视觉伺服控制系统的视觉伺服控制器中建立速度控制器，反馈量为 e = 完成误差的指数衰减，输出速度控制量V，视觉伺服控制器表达 为
式中，λ为误差指数衰减系数，if表示的伪逆； 由于在交互矩阵Le中无法获取目标与本机的距离d的信息，将交互矩阵进行分割如 下：
式中，U表示中的角度控制分量，Lt表示速度运动控制分量； 得到距离无关的视觉伺服控制器：
式中，表示U的伪逆； 为消除稳态误差，对视觉伺服控制器进行补偿，如下：
式中，Ω表不目标运动的角速度，表不误差的方向向量，ωχ、ωγ、〇^分别表不ω 的三个分量； ②输出的俯仰角和偏航角为
式中，外(1C)和(K(k)表示自动驾驶仪输出姿态的俯仰角和偏航角，和Φ (k)表 示无人机当前姿态的俯仰角和偏航角，At表示视觉伺服控制器输出时间间隔步长，c〇y(k) 和ωζ〇〇分别表示当前时刻视觉伺服控制器输出的俯仰角速度控制量和偏航角速度控制 量，g表示重力加速度，V(k)表示当前时刻无人机的速度。
8.根据权利要求3所述的规避方法，其特征在于，所述步骤五中航路回归机制的具体 建立步骤如下： ① 通过本机导航定位系统确定无人机是否在航路中，当本机不在航路时，进行航路回 归； ② 确认时刻k的回归航路角度
式中，y|、代表了航路回归时的最小机动规避点位置； 其中Pd是当不存在规避机动时，本机在原本航路上的位置，Pdl2和Pdl3分别是本机在XY 和XZ平面的二维位置； Ps是通过本机导航定位系统获得的本机当前位置，Psl2和Psl3分别是本机在XY和XZ平 面的二维位置； es是通过本机导航定位系统获得的本机方向向量，esl2和esl3分别是本机在XY和XZ平 面的二维方向向量。
【文档编号】G05D1/02GK104102218SQ201410305109
【公开日】2014年10月15日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】吕洋, 潘泉, 赵春晖, 张夷斋, 刘流, 席庆彪, 刘慧霞, 吴薇, 朱海峰, 程承, 康青青 申请人:西北工业大学