一种空地协同的无人机感知规避系统及其规避方法
【技术领域】
[0001] 本发明属于无人机技术领域，具体设及一种空地协同的无人机感知规避系统及其 规避方法。
【背景技术】
[0002] 近来，随着军事应用与民用领域对无人机的需求日益强烈，加上我国民用空域领 域的进一步开放，未来空域将呈现多种类型功能的无人机、有人机进行空域共享和集成的 局面，空域将日趋密集。在此情况下，无人机感知与规避（Sense and Avoid,即SAA)能力将 成为进入空域飞行、保障无人机飞行安全的先决条件。无人机感知与规避是指无人机利用 机载传感器或地面监视系统完成对空域飞行环境的监视和飞行目标的状态获取，对潜在碰 撞威胁的目标进行规避路径规划，完成规避机动动作，从而保证无人机的航路飞行安全。
[0003] SAA技术是目前无人机技术领域亟待解决的关键技术难题。2013年，在美国 FAA(Federal Aviation A血inistration)发布的无人机系统空域集成路线图中，明确提出 SAA能力是无人机进行国家空域飞行的必备能力。其主要功能分为：目标检测与跟踪、碰撞 威胁估计、规避路径规划、规避机动。
[0004] 验证SAA技术受到各种客观因素的限制，不能应用无人机完全自主的再空中进行 威胁评估和规避决策。因此，需要进行地面和空中的进行协同管理，防止无人机在完全自主 飞行避撞的情况下不安全和不确定性。
【发明内容】
[0005] 本发明的目的是提供一种空地协同的无人机感知规避系统及其规避方法，W解决 现有技术中存在的纯地面控制无人机飞行航迹的来规避飞行器飞行轨迹的不确定性，W及 单纯无人机自主空中规避障碍物的不确定性。
[0006] 本发明所采用的第一种技术方案是，一种空地协同的无人机感知规避系统，包括 在飞机上设置的视觉感知系统、图像处理系统和飞行控制系统；视觉感知系统用于采集目 标的图像信息，再传输至图像处理系统，图像处理系统将目标的图像信息分两路输出，一路 是将未经处理的图像信息直接传输出至地面系统；另一路是将经过处理得到的目标航点信 息传输至飞行控制系统，飞行控制系统与地面系统交互。
[0007] 进一步的，地面系统包括地面数传接收系统，地面图传系统，地面图像处理系统， 地面决策任务规划系统；地面数传系统接收无人机下行飞行状态信息，包括飞行位置、速 度、检测目标、规避点信息等；地面图传系统接收图像处理系统传输的没有处理的图像信 息；地面图像处理系统接收地面图传系统传来的图像信息，处理空中目标检测信息；地面 决策任务规划系统，即通过地面图像处理系统传送来的地面检测信息作出的规避机动与到 地面数传系统得到的规避信息进行决策，将处理结果发送至飞行控制系统。
[000引本发明所采用的第二种技术方案是，一种空地协同的无人机感知规避系统的规避 方法，包括W下步骤：
[0009] 步骤一、视觉感知系统采集目标图像信息，并将其发送至图像处理系统；
[0010] 步骤二、对步骤中进入图像处理系统的视频信息不进行处理，直接通过地面图传 系统传送至地面图像处理系统，地面图像处理系统通过背景目标预测法，检测得到目标所 在图像坐标系中的位置
【主权项】
1. 一种空地协同的无人机感知规避系统，其特征在于，包括在飞机上设置的视觉感知 系统（1)、图像处理系统（2)和飞行控制系统（3);所述的视觉感知系统用于采集目标的图 像信息，再传输至所述的图像处理系统（2)，所述的图像处理系统（2)将目标的图像信息分 两路输出，一路是将未经处理的图像信息直接传输出至地面系统（4);另一路是将经过处 理得到的目标航点信息传输至飞行控制系统（3)，所述的飞行控制系统（3)与地面系统（4) 交互。
2. 如权利要求1所述的一种空地协同的无人机感知规避系统，其特征在于，所述的地 面系统（4)包括地面数传接收系统（11)，地面图传系统（12)，地面图像处理系统（13)，地面 决策任务规划系统（14);所述地面数传系统（11)接收无人机下行飞行状态信息，包括飞行 位置、速度、检测目标、规避点信息等；所述地面图传系统（12)接收图像处理系统（2)传输 的没有处理的图像信息；所述地面图像处理系统（13)接收地面图传系统（12)传来的图像 信息，处理空中目标检测信息；所述地面决策任务规划系统（14)，即通过地面图像处理系 统（13)传送来的地面检测信息作出的规避机动与到地面数传系统（11)得到的规避信息进 行决策，将处理结果发送至飞行控制系统（3)。
3. 如权利要求1所述的一种空地协同的无人机感知规避系统的规避方法，其特征在 于，包括以下步骤： 步骤一、视觉感知系统（1)采集目标图像信息，并将其发送至图像处理系统（2); 步骤二、对步骤（1)中进入图像处理系统（2)的视频信息不进行处理，直接通过地面图 传系统（12)传送至地面图像处理系统（13)，地面图像处理系统（13)通过背景目标预测法， 检测得到目标所在图像坐标系中的位置
步骤三、地面决策任务规划系统（14)根据步骤二中检测到的
廿算得到目标相对 于相机的位置以及目标相对于飞机的距离，再计算出目标相对于本机的距离，并建立飞行 安全包络圈以及告警级别H(n+1); 步骤四、对步骤一中进入图像处理系统（2)的视频信息进行视频滤波和检测，检测得 到目标所在图像坐标系中的位置
步骤五、将步骤四中得到的
依次通过飞行控制系统（3)和地面数传接收系统 (11)传送至地面决策任务规划系统（14)，地面决策任务规划系统（14)计算出目标相对于 相机的位置以及目标相对于飞机的距离，再计算出目标相对于本机的距离，并建立飞行安 全包络圈以及告警级别H' (n+1); 步骤六，地面决策任务规划系统（14)将步骤五中得到规避决策结果H' (n+1)和步骤 三中得到的规避决策结果H(n+1)进行对比，设定威胁判断函数：P = Ii1EI p ^k2EI p 2- ξ， 其中，pl、p2分别为机上检测和地面检测评定等级（ρ = 1，规避，ρ = O不规避），ξ是 地面操作人员根据实时情况，设定的一个控制飞机运动状态的系数， 这样，定义避撞门限阈值P〇,当P > Ptl时，执行机上规避决策结果H(n+1)，并根据避撞 指令做出避撞飞行动作；当Ρ〈Ρ〇时，执行地面规避决策结果H' (n+1)，将最终的规避决策 结果上传至飞行控制系统（3)，做出相应的机动决策。
4. 如权利要求3所述的一种空地协同的无人机感知规避系统的规避方法，其特征在 于，所述的步骤一的视觉感知系统（1)包括若干个相机呈环形设置，所述的各个相机将拍 摄到的目标图像通过数据采集模块传送至图像处理系统（2)。
5. 如权利要求3所述的一种空地协同的无人机感知规避系统的规避方法，其特征在 于，所述的步骤二中的背景目标预测法具体为： 建立基本预测模型为：
m = 0, · · ·，M-1 ;n = 0, · · ·，N-1 式中：Χ为尺寸为M*N的输入图像，Y为预测图像，1Wj为第j级的权重矩阵，j = m*M+n 对应着当前位置，S#t应着局域背景选取点的范围集合，属于\的像素点是有限的，设为 L ； 预测图像与输入图像之间的残差图像为：
式中：χ为原始输入图像，Y为预测图像，这样对边缘检测问题就转化为在残差图像上 进行阈值检测； 对E (m，η)进行目标检测，检测算法为： (1) 利用sobel边缘检测法对原图像X进行边缘提取得到图像和E' (m，η); (2) 将⑴中处理的结果E' (m，η)与E (m，η)以3*3窗口 ga进行对比，将两个不同制 度领域内的点分为亮点和暗点两类。分别求出两个不同图像尺度的亮点数ml，m2以及领域 灰度值gal, ga2。其中
ga为点（m，η)点的领域3*3像素区域； (3) 当Im1I2I < δ ,m# 0，m2# 0时，则可以证明，在门限值在（gain ga2)即可以证 明是目标点，否则不是目标点，目标位置即（gal n ga2)所在的位置； 目标点相对于第k个相机中位置为
6. 如权利要求3所述的一种空地协同的无人机感知规避系统的规避方法，其特征在 于，所述的步骤三的具体算法为： pxk为第k个相机坐标系中目标的水平方向的位置信息，pyk为垂直方向的坐标信息， 3. 1)计算目标相对于相机的位置的方法：
其中，w和h分别为以像素为单位的图像的宽度和高度，f为相机镜头焦距，u为像元尺 寸； 3. 2)计算目标相对于机体坐标的位置的方法： 视觉感知系统共接收六路视频采集信息，每个相机视场角为60°，形成360°全视角 的观测范围。每个视场角的观测根据相对于自身相机相对于对相机分别编号k(0 1 2 3 4 5)，编号为0的相机为与机体坐标系相固连的相机，相机水平放置，这样只有水平方向上与 机体坐标系之间有视角差，垂直方向为目标相对于机体的相对姿态角。这样相对角度为：
3. 3)计算目标相对于本机的距离的方法： 根据本机机动执行动作，设本机的速度为（vpx，vpy，vpz)，该速度为机体坐标下的无人机 速度，即惯性测量元件直接测量得到的。定义机体坐标系为轴与机头方向相同，z轴朝 下，y轴符合右手定则； 这样，目标相对于飞机的距离可以根据时间积分得到：
7.如权利要求3所述的一种空地协同的无人机感知规避系统的规避方法，其特征在 于，所述的步骤四中视频的滤波算法为形态学滤波法，具体方法为： 4. 1)首先需要对原始图像进行腐蚀和膨胀操作； 图像腐蚀操作为：
图像的膨胀矩阵为：
其中，E是原始图像，B是腐蚀/膨胀因子（矩阵，为3*3矩阵）。 4.2)采用开闭运算，然后进行形态学相减法，： 开运算：先腐蚀，再膨胀，El = {X->Y} 闭运算：先膨胀，再腐蚀，Ε2 = {Υ->Χ} 形态学滤波得到结果：开运算-闭运算，E' =Ε1-Ε2 这样，从开闭运算结果中进行二值化处理后，通过设定指定阈值Ε0,通过二值化处理的 图像E' >Ε0出现的位置来判断目标的相对位置。 其中，pxk为第k个相机坐标系中目标的水平方向的位置信息，pyk为垂直方向的坐标
信息。
【专利摘要】本发明公开了一种空地协同的无人机感知规避系统，包括在飞机上设置的视觉感知系统、图像处理系统和飞行控制系统；视觉感知系统用于采集目标的图像信息，再传输至图像处理系统，图像处理系统将目标的图像信息分两路输出，一路是将未经处理的图像信息直接传输出至地面系统；另一路是将经过处理得到的目标航点信息传输至飞行控制系统，飞行控制系统与地面系统交互。本发明还提供了一种空地协同的无人机感知规避系统的规避方法，解决了现有技术中存在的纯地面控制无人机飞行航迹的来规避飞行器飞行轨迹的不确定性，以及单纯无人机自主空中规避障碍物的不确定性。
【IPC分类】G08G5-04
【公开号】CN104537898
【申请号】CN201510009094
【发明人】朱海锋, 潘泉, 吕洋, 赵春晖, 康青青, 唐统国, 程承, 王晓华, 吴薇
【申请人】西北工业大学
【公开日】2015年4月22日
【申请日】2015年1月8日