一种基于光流的无人机自动降落引导方法

一种基于光流的无人机自动降落引导方法
【专利摘要】本发明提出一种基于光流的无人机自动降落引导方法，在降落过程中通过对光流模块的相机拍摄的实时图像进行处理，确定标志物，估计标志物相对无人机的位置和姿态；将相对位置、姿态信息发送给飞行控制器，从而控制无人机逐步逼近降落目标，最终实现无人机全自主降落。由于无人机在自主飞行和降落过程中，使用下视的光流传感器实现自身的定位，所以能够在无GPS情况下完成自身的视觉定位。而且在GPS失效的情况下，使用光流模块进行辅助定位，能够保证无人机准确的找到降落场地，从而提高无人机降落的可靠性，该方法设计合理，能够在不同情况下实现准确降落，适用性广泛。
【专利说明】
一种基于光流的无人机自动降落引导方法
技术领域
[0001] 本发明涉及无人机、机器人自主导航领域，具体为一种基于光流的无人机自动降 落引导方法。
【背景技术】
[0002] 近几年，微型无人机由于其体积小、重量轻、隐蔽性好等特点被广泛应用于摄像、 监控、侦查、追踪、测绘等各个领域，并开启了无人机技术爆炸的时代。而动态追踪拍摄时微 小平台（如汽车顶）回收拍摄装备、快递行业定点投送物品等民用无人机使用的新需求，都 对微型无人机的自动降落技术提出了新挑战。
[0003] 基于GPS的自动降落时目前最常用的解决方法，但是这类基于GPS导航的自动降落 技术均存在一些不足：1)目前民用GPS定位精度仅能达到10米，对于一些地形复杂的区域， 如建筑群密集的城市中心，很有可能由于导航误差造成无人机在低空进近时坠毁;2 )GPS信 号受非空气介质干扰大，在遮挡物较多的地域(如森林)会造成误差加大甚至信号缺失;3) 专业级高精度GPS设备造价高昂，经济性不足。GPS的精度不是特别高，若在偏离降落地点上 方时，GPS失效，可能会导致无法降落。
[0004] 通过计算机视觉的方式能够克服GPS定位的缺陷，目前较为常用的方法是光流方 法。光流的概念是由Gibson于1950年首提出的，是指空间运动的物体在成像面上的像素运 动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到 与上一帧之间存在的对应关系，从而计算出相邻帧之间的运动信息的一种方法。它表征了 二维图像的灰度变化和场景中物体及其运动的关系，它根据像素灰度的时域变化和相关性 确定各个像素的运动速度，因此，可被观察者用来确定目标的运动情况。1981年，Barron等 人对多种光流计算技术进行总结，按照理论基础与数学方法的区别把光流计算方法分为四 种:基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法。但实际应用过程 中，定位有两种:一种为标志物定位，一种是光流定位。
[0005] 目前的无人机着陆系统主要包括设置在无人机上的图像采集模块、图像处理模块 和导航参数计算模块。已有的方法有：
[0006] 上海理工大学的夏云龙、魏国亮等人提出了基于声源时延和气压高度传感器的无 人机精确降落技术，该项技术在降落点安置声源，在无人机上构造基于全向性驻极体麦克 风的正四面体麦克风接收阵列，利用声源时延技术计算无人机的俯仰角和偏航角，再通过 无人机上安装的气压高度传感器感知无人机的高度，从而精确引导无人机降落。但声源时 延方法仍会受到环境干扰。
[0007] 在审中的发明专利"针对小型无人机自主降落的视觉分级地标定位识别方法"，利 用GPS将无人机导航到降落场地上方，然后通过视觉分级地标定位识别，对机载摄像头获取 的图像进行处理，给出降落地标的地位信息。该方法还是需要依赖GPS。

【发明内容】

[0008] 为解决现有技术存在的问题，本发明提出了一种基于光流的无人机自动降落引导 方法，其特点是:在无人机接收到降落指令时，在GPS引导无人机飞往降落场上方数米大概 位置的过程中，若GPS失效，则利用本发明的基于光流的辅助定位方法，使无人机可以找到 降落场，进行降落。
[0009] 为了实现上述任务，本发明的技术方案为：
[0010] 所述一种基于光流的无人机自动降落引导方法，其特征在于:包括以下步骤：
[0011]步骤1:无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载 相机清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍 摄降落场地图像，并将拍摄的图像转换为灰度图；
[0012] 步骤2:根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度：
[0013] 利用SAD算法对相邻两帧灰度图像进行匹配，以N*N的像素区域作为研究区域，选 择若干对研究区域中匹配度最好的一对研究区域;再对得到的该对匹配度最好的研究区域 中的每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方 向进行统计，将统计值最大的运动方向作为光流场方向；
[0014] 在相机坐标系下的光流场速度^及^利用以下公式得到：
[0017] 其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹 配像素点P的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面 的轴为Z轴;x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的 垂直高度，f为相机焦距，《 X、《 y、《 z为点P的运动角速度；
[0018] 步骤3:根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中 无人机的运动方向与光流场方向相反，无人机在世界坐标系下的速度V x、Vy根据以下公式得 到：
[0021] 无人机按照确定的运动方向和速度飞行；
[0022] 步骤4:循环进行步骤2和步骤3,直至无人机机载相机拍摄的图像中出现降落场地 地标，进入步骤5;
[0023] 步骤5:所述降落场地地标包括外部标记和内部标记;所述内部标记嵌套在外部标 记内；
[0024] 当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域， 无人机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机 的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速下降飞行；
[0025] 当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域， 无人机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机 的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落。
[0026] 所述一种基于光流的无人机自动降落引导方法，其特征在于:包括以下步骤：
[0027] 步骤1:无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载 相机清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍 摄降落场地图像，并将拍摄的图像转换为灰度图；
[0028] 步骤2:根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度：
[0029] 利用SAD算法对相邻两帧灰度图像进行匹配，以N*N的像素区域作为研究区域，选 择若干对研究区域中匹配度最好的一对研究区域;再对得到的该对匹配度最好的研究区域 中的每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方 向进行统计，将统计值最大的运动方向作为光流场方向；
[0030] 在相机坐标系下的光流场速度^及^利用以下公式得到：
[0033] 其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹 配像素点P的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面 的轴为Z轴;x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的 垂直高度，f为相机焦距，《 X、《 y、《 z为点P的运动角速度；
[0034] 步骤3:根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中 无人机的运动方向与光流场方向相反，无人机在世界坐标系下的速度V x、Vy根据以下公式得 到：
[0037] 无人机按照确定的运动方向和速度飞行；
[0038] 步骤4:以步骤3确定的运动方向为初始方向，以阿基米德螺旋线为飞行轨迹进行 飞行，直至无人机机载相机拍摄的图像中出现降落场地地标，进入步骤5;
[0039] 步骤5:所述降落场地地标包括外部标记和内部标记;所述内部标记嵌套在外部标 记内；
[0040] 当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域， 无人机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机 的位姿，调整无人机的飞行方向，无人机根据得到的飞行方向减速下降飞行；
[0041] 当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域， 无人机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机 的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落。
[0042] 进一步的优选方案，所述基于光流的无人机自动降落引导方法，其特征在于:所述 外部标记为由N*N个完全相同的方格构成的正方形区域;外部标记的最外圈方格区域为黑 色，其余的方格区域为黑色或白色；内部标记为由N*N个完全相同的方格构成的正方形区 域，且内部标记嵌套在外部标记内；内部标记的最外圈方格区域为黑色，其余的方格区域为 黑色或白色，且与内部标记最外圈方格相邻的外部标记方格为白色;所述外部标记的方格 大于内部标记的方格;所述外部标记方格区域黑白布局与内部标记方格区域黑白布局不 同。
[0043] 进一步的优选方案，所述基于光流的无人机自动降落引导方法，其特征在于:所述 降落场地地标还包括有卫星标记;卫星标记为由N*N个完全相同的方格构成的正方形区域， 卫星标记的最外圈方格区域为黑色，其余的方格区域为黑色或白色，卫星标记的方格小于 内部标记的方格，卫星标记面积小于内部标记面积的1/3;卫星标记放置在外部标记最外圈 方格区域及其内侧，当与卫星标记最外圈方格相邻的外部标记方格或内部标记方格为黑色 时，在卫星标记最外圈方格边缘设计有白色间隙。
[0044] 进一步的优选方案，所述基于光流的无人机自动降落引导方法，其特征在于:步骤 5中，当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域，无人 机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机的位 姿，调整无人机的飞行方向，无人机根据得到的飞行方向减速下降；当外部标记完整呈现并 占满无人机机载相机全景框时，无人机机载相机继续持续拍摄图像，根据图像中的内部标 记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向，无人机根据得到的 飞行方向减速降落;在无人机进入第二进近域下降过程中，若没有出现过外部标记完整呈 现并占满无人机机载相机全景框情况时，无人机上升回到第一进近域，重新进近。
[0045] 进一步的优选方案，所述基于光流的无人机自动降落引导方法，其特征在于:步骤 5中，在无人机根据得到的飞行方向减速降落过程中，若无人机机载相机拍摄的图像中没有 完整的内部标记时，则根据图像中的卫星标记确定无人机降落场地方位和无人机的位姿， 调整无人机的飞行方向，使无人机机载相机拍摄的图像中重新出现完整的内部标记。
[0046] 进一步的优选方案，所述基于光流的无人机自动降落引导方法，其特征在于:步骤 5中，当无人机进入第一进近域后，无人机机载相机持续拍摄图像，根据图像中的外部标记 确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向的过程为：
[0047] 1)、将拍摄的图像转化为灰度图，并得到二值化的边缘分布图；然后提取边缘分布 图的轮廓树信息；
[0048] 2)、根据轮廓树信息，滤除面积小于2/3外部标记面积的轮廓，以及所有无子轮廓 的轮廓，在剩余轮廓中选择凸四边形作为候选的外部标记轮廓；
[0049] 3)、对每个候选的外部标记轮廓进行如下处理：
[0050] 将候选的外部标记轮廓图像信息映射到方形区域，所述方形区域为由N*N个完全 相同的方格构成的正方形区域；当方格内不少于2/3的像素点为黑色，则判定该方格为黑 色;得到方形区域中所有方格颜色;若方形区域最外圈方格不全为黑色，则将该候选外部标 记轮廓丢弃，否则按照设定的规则根据方形区域的方格颜色和方向得到二进制码值；
[0051] 4)、将二进制码值中的ID信息与无人机内部存储的ID信息进行对比，得到对比一 致的ID信息对应的外部标记，并根据该外部标记的二进制码值中的方位信息确定无人机降 落场地方位；
[0052] 5)、依据4)中外部标记最外圈方格的4个角点在相机坐标系中的坐标，结合无人机 机载相机参数，利用PnP算法解算得到相机的姿态;根据无人机与无人机机载相机的相对位 置关系，得到无人机位姿。
[0053] 进一步的优选方案，所述基于光流的无人机自动降落引导方法，其特征在于:步骤 5中，当无人机进入第二进近域后，无人机机载相机持续拍摄图像，根据图像中的内部标记 确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向的过程为：
[0054] 1)、将拍摄的图像转化为灰度图，并得到二值化的内部标记轮廓图；
[0055] 2)、将内部标记轮廓图映射到方形区域，所述方形区域为由N*N个完全相同的方格 构成的正方形区域；当方格内不少于2/3的像素点为黑色，则判定该方格为黑色;得到方形 区域中所有方格颜色;按照设定的规则根据方形区域的方格颜色和方向得到二进制码值；
[0056] 3)、根据内部标记二进制码值中的方位信息确定无人机降落场地方位；
[0057] 4)、依据内部标记最外圈方格的4个角点在相机坐标系中的坐标，结合无人机机载 相机参数，利用PnP算法解算得到相机的姿态;根据无人机与无人机机载相机的相对位置关 系，得到无人机位姿。
[0058] 进一步的优选方案，所述基于光流的无人机自动降落引导方法，其特征在于:步骤 5中，根据图像中的卫星标记确定无人机降落场地方位和无人机位姿的过程为：
[0059] 1)、将拍摄的图像转化为灰度图，并得到二值化的边缘分布图；然后提取边缘分布 图的轮廓树信息；
[0060] 2)、根据轮廓树信息，得到若干卫星标记轮廓；
[0061 ] 3)、对每个卫星标记轮廓进行如下处理：
[0062]将卫星标记轮廓图像信息映射到方形区域，所述方形区域为由N*N个完全相同的 方格构成的正方形区域；当方格内不少于2/3的像素点为黑色，则判定该方格为黑色;得到 方形区域中所有方格颜色;按照设定的规则根据方形区域的方格颜色和方向得到该卫星标 记的二进制码值；
[0063] 4)、根据拍摄图像中的所有卫星标记二进制码值中的方位信息，解算得到无人机 降落场地方位；
[0064] 5)、依据4)中所有卫星标记最外圈方格的角点在相机坐标系中的坐标，结合无人 机机载相机参数，利用PnP算法解算得到相机的姿态;根据无人机与无人机机载相机的相对 位置关系，得到无人机位姿。
[0065] 有益效果
[0066] 本发明的方法是无人机在自主飞行和降落过程中，使用下视的光流传感器实现自 身的定位，所以能够在无GPS情况下完成自身的视觉定位。本方法中，在降落过程中通过对 光流模块的相机拍摄的实时图像进行处理，确定标志物，估计标志物相对无人机的位置和 姿态;将相对位置、姿态信息发送给飞行控制器，从而控制无人机逐步逼近降落目标，最终 实现无人机全自主降落。因此在GPS失效的情况下，使用光流模块进行辅助定位，能够保证 无人机准确的找到降落场地，从而提高无人机降落的可靠性，该方法设计合理，能够在不同 情况下实现准确降落，适用性广泛。
[0067] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0068]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得 明显和容易理解，其中：
[0069]图1:本发明的方法流程图。
[0070] 图2:进近域示意图。
[0071] 图3:降落场地地标示意图。
[0072]图4:二值化示意图。
【具体实施方式】
[0073]下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而 不能理解为对本发明的限制。
[0074]如图1所示，展示了本发明在将无人机引至降落场地上方大致范围内GPS失效，利 用光流模块引导无人机移动至降落场地上方大致范围内，以及无人机自主降落的精确过 程，首先以GPS、光流模块依次优先的方法进行导航定位将无人机引导到降落场地上方数米 大概位置。本发明以6*6(降落场地可以划分成N*N个完全相同的方格区域组成的正方形区 域，称为N*N的标志物)的二维码标志物方案作为降落场地为案例展开。
[0075] 有GPS时，利用GPS导航将无人机引至降落场地上方数米处(这个高度和机场的大 小成正比，高度是机场边长的15倍，此时无人机刚好可以识别到降落场地）；当GPS失效时， 降落地标还没有全部呈现在无人机机载相机视野内，则采用光流模块对无人机进行引导， 直到其机载相机能够拍摄到整个降落地标;若无GPS且光流模块失效时，无人机会利用姿态 増稳和惯性导航，即导航具有优先级选择的标准。
[0076] 在GPS失效的情况下，无人机选择光流模块进行导航，将其引导至降落场地上方， 光流模块起作用时，光流法应用的前提假设是:相邻帧之间的亮度是恒定;相邻视频帧的取 帧时间连续，或者，相邻帧之间物体的运动比较"微小"；保持空间一致性。光流模块应用的 前提条件是:图像必须为单通道，将光流场的计算与陀螺仪测得高度相结合。
[0077] 在光流模块起作用时，具体操作步骤如下：
[0078] 步骤1:无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载 相机清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍 摄降落场地图像，并将拍摄的图像转换为灰度图。
[0079] 步骤2:根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度：
[0080] 利用SAD算法对相邻两帧灰度图像进行匹配，以3*3的像素区域作为研究区域，选 择若干对研究区域中匹配度最好的一对研究区域;再对得到的该对匹配度最好的研究区域 中的每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方 向进行统计，作出折线图，寻找其峰值，将峰值对应的运动方向作为光流场方向；
[0081 ]在相机坐标系下的光流场速度^及^利用以下公式得到：

[0084] 其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹 配像素点P的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面 的轴为Z轴;x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的 垂直高度，f为相机焦距，《 y、为点P的运动角速度。
[0085] 步骤3:根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中 无人机的运动方向与光流场方向相反，无人机在世界坐标系下的速度V x、Vy根据以下公式得 到：
[0088] 无人机按照确定的运动方向和速度飞行。
[0089] 步骤4:在得到无人机的运动方向和速度后，有两种方式寻找无人机降落位置，一 是循环进行步骤2和步骤3,完全依据光流指引，直至无人机机载相机拍摄的图像中出现降 落场地地标，进入步骤5;二是以步骤3确定的运动方向为初始方向，以阿基米德螺旋线为飞 行轨迹进行飞行，直至无人机机载相机拍摄的图像中出现降落场地地标，进入步骤5。
[0090] 步骤5:所述降落场地地标包括外部标记和内部标记;所述内部标记嵌套在外部标 记内；
[0091] 当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域， 无人机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机 的位姿，调整无人机的飞行方向，无人机根据得到的飞行方向减速下降飞行；
[0092] 当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域， 无人机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机 的位姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落。
[0093] 步骤5实现的是精确降落阶段，在精确降落阶段基于地标分级进行视觉引导。精确 降落分为两个阶段进近:第一个阶段为大致进近，这个阶段所在区域称为第一进近域，此时 外部标记起作用;第二个阶段为精确进近，这个阶段所在的区域称为第二进近域，降落标示 物的内部标记起作用;两个进近域都是由相机的参数和设置的降落场地的大小决定的。本 发明采用的降落场地地标如图3所示。
[0094]所述外部标记为由6*6个完全相同的方格构成的正方形区域；外部标记的最外圈 方格区域为黑色，其余的方格区域为黑色或白色；内部标记为由6*6个完全相同的方格构成 的正方形区域，且内部标记嵌套在外部标记内；内部标记的最外圈方格区域为黑色，其余的 方格区域为黑色或白色，且与内部标记最外圈方格相邻的外部标记方格为白色;所述外部 标记的方格大于内部标记的方格;所述外部标记方格区域黑白布局与内部标记方格区域黑 白布局不同。
[0095] 所述降落场地地标还包括有卫星标记;卫星标记为由6*6个完全相同的方格构成 的正方形区域，卫星标记的最外圈方格区域为黑色，其余的方格区域为黑色或白色，卫星标 记的方格小于内部标记的方格，卫星标记面积小于内部标记面积的1/3;卫星标记放置在外 部标记最外圈方格区域及其内侧，当与卫星标记最外圈方格相邻的外部标记方格或内部标 记方格为黑色时，在卫星标记最外圈方格边缘设计有白色间隙。
[0096] 无人机降落到第一进近域时，需要对拍摄到的图像进行一系列的处理，估算降落 场地方向和无人机实时位姿并进行位姿调整，当无人机从第一进近域进入到第二进近域 时，判断是否需要重新进近：
[0097] 当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域， 无人机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机 的位姿，调整无人机的飞行方向，无人机根据得到的飞行方向减速下降；当外部标记完整呈 现并占满无人机机载相机全景框时，无人机机载相机继续持续拍摄图像，根据图像中的内 部标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向，无人机根据得 到的飞行方向减速降落;在无人机进入第二进近域下降过程中，若没有出现过外部标记完 整呈现并占满无人机机载相机全景框情况时，无人机上升回到第一进近域，重新进近。
[0098] 在无人机根据得到的飞行方向减速降落过程中，若无人机机载相机拍摄的图像中 没有完整的内部标记时，则根据图像中的卫星标记确定无人机降落场地方位和无人机的位 姿，调整无人机的飞行方向，使无人机机载相机拍摄的图像中重新出现完整的内部标记。
[0099] 下面分别说明无人机在不同阶段的图像处理与解算过程：
[0100] 当无人机进入第一进近域后，无人机机载相机持续拍摄图像，根据图像中的外部 标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向的过程为：
[0101] 1)、将拍摄的图像转化为灰度图，并利用Canny算子得到二值化的边缘分布图；然 后提取边缘分布图的轮廓树信息；
[0102] 2)、根据轮廓树信息，滤除面积小于2/3外部标记面积的轮廓(无人机由自身携带 的超声波设备得到其所在高度，根据这个高度和拍摄到的图像的面积，根据相机模型计算 出图像对应的三维空间的面积，根据这个面积进行滤除），以及所有无子轮廓的轮廓，在剩 余轮廓中选择凸四边形作为候选的外部标记轮廓；
[0103] 3)、对每个候选的外部标记轮廓进行如下处理：
[0104] 将候选的外部标记轮廓图像信息映射到方形区域，并利用k-means算法将方形区 域中的像素点分为黑白两种;所述方形区域为由6*6个完全相同的方格构成的正方形区域； 当方格内不少于2/3的像素点为黑色，则判定该方格为黑色;得到方形区域中所有方格颜 色;若方形区域最外圈方格不全为黑色，则将该候选外部标记轮廓丢弃，否则按照设定的规 则根据方形区域的方格颜色和方向得到二进制码值;本实施例中将方形区域内部4*4的区 域转换为16位无符号整形，并根据4个方向，分别计算出四个朝向的码值，共同组成二进制 码值；
[0105] 4)、将二进制码值中的ID信息与无人机内部存储的ID信息进行对比，得到对比一 致的ID信息对应的外部标记，并根据该外部标记的二进制码值中的方位信息确定无人机降 落场地方位；
[0106] 5)、依据4)中外部标记最外圈方格的4个角点在相机坐标系中的坐标，结合无人机 机载相机参数，利用PnP算法解算得到相机的姿态;根据无人机与无人机机载相机的相对位 置关系，得到无人机位姿。
[0107] 当无人机进入第二进近域后，无人机机载相机持续拍摄图像，根据图像中的内部 标记确定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向的过程为：
[0108] 1)、将拍摄的图像转化为灰度图，并利用Canny算子得到二值化的内部标记轮廓 图；
[0109] 2)、将内部标记轮廓图映射到方形区域，所述方形区域为由6*6个完全相同的方格 构成的正方形区域；当方格内不少于2/3的像素点为黑色，则判定该方格为黑色;得到方形 区域中所有方格颜色;按照设定的规则根据方形区域的方格颜色和方向得到二进制码值； [0110] 3)、根据内部标记二进制码值中的方位信息确定无人机降落场地方位；
[0111] 4)、依据内部标记最外圈方格的4个角点在相机坐标系中的坐标，结合无人机机载 相机参数，利用PnP算法解算得到相机的姿态;根据无人机与无人机机载相机的相对位置关 系，得到无人机位姿。
[0112] 根据图像中的卫星标记确定无人机降落场地方位和无人机位姿的过程为：
[0113] 1)、将拍摄的图像转化为灰度图，并利用Canny算子得到二值化的边缘分布图；然 后提取边缘分布图的轮廓树信息；
[0114] 2)、根据轮廓树信息，得到若干卫星标记轮廓；
[0115] 3)、对每个卫星标记轮廓进行如下处理：
[0116]将卫星标记轮廓图像信息映射到方形区域，所述方形区域为由6*6个完全相同的 方格构成的正方形区域；当方格内不少于2/3的像素点为黑色，则判定该方格为黑色;得到 方形区域中所有方格颜色;按照设定的规则根据方形区域的方格颜色和方向得到该卫星标 记的二进制码值；
[0117] 4)、根据拍摄图像中的所有卫星标记二进制码值中的方位信息，解算得到无人机 降落场地方位；
[0118] 5)、依据4)中所有卫星标记最外圈方格的角点在相机坐标系中的坐标，结合无人 机机载相机参数，利用PnP算法解算得到相机的姿态;根据无人机与无人机机载相机的相对 位置关系，得到无人机位姿。
[0119] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨 的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
【主权项】
1. 一种基于光流的无人机自动降落引导方法，其特征在于:包括以下步骤： 步骤1:无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载相机 清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍摄降 落场地图像，并将拍摄的图像转换为灰度图； 步骤2:根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度： 利用SAD算法对相邻两帧灰度图像进行匹配，以n*n的像素区域作为研究区域，选择若 干对研究区域中匹配度最好的一对研究区域;再对得到的该对匹配度最好的研究区域中的 每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方向进 行统计，将统计值最大的运动方向作为光流场方向； 在相机坐标系下的光流场速度vx及vy利用以下公式得到：其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹配像 素点P的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面的轴 为Z轴;x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的垂直 高度，f为相机焦距，《 X、《y、为点P的运动角速度； 步骤3:根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中无人 机的运动方向与光流场方向相反，无人机在世界坐标系下的速度Vx、Vy根据以下公式得到：无人机按照确定的运动方向和速度飞行； 步骤4:循环进行步骤2和步骤3,直至无人机机载相机拍摄的图像中出现降落场地地 标，进入步骤5; 步骤5 :所述降落场地地标包括外部标记和内部标记；所述内部标记嵌套在外部标记 内； 当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域，无人 机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机的位 姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速下降飞行； 当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域，无人 机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机的位 姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落。2. -种基于光流的无人机自动降落引导方法，其特征在于:包括以下步骤： 步骤1:无人机根据自身飞行高度判断是否需要降低飞行高度，以满足无人机机载相机 清晰拍摄降落场地图像要求；当无人机飞行高度满足要求后，无人机机载相机持续拍摄降 落场地图像，并将拍摄的图像转换为灰度图； 步骤2:根据相邻两帧灰度图像，利用以下方法得到光流场方向和速度： 利用SAD算法对相邻两帧灰度图像进行匹配，以n*n的像素区域作为研究区域，选择若 干对研究区域中匹配度最好的一对研究区域;再对得到的该对匹配度最好的研究区域中的 每对对应像素点的位置作矢量运算，得到像素点的运动方向，对所有像素点的运动方向进 行统计，将统计值最大的运动方向作为光流场方向； 在相机坐标系下的光流场速度vx及vy利用以下公式得到：其中：Tx、Ty、Tz为世界坐标系下，相邻两帧灰度图像中运动方向为光流场方向的匹配像 素点P的运动平移分量，所述世界坐标系以降落场所所在平面作为XY平面，垂直该平面的轴 为Z轴;x、y为像平面上的点p在相机坐标系下的坐标，Z为相机成像平面距离降落点的垂直 高度，f为相机焦距，《 X、《y、为点P的运动角速度； 步骤3:根据步骤2得到的光流场方向和速度确定无人机的运动方向和速度，其中无人 机的运动方向与光流场方向相反，无人机在世界坐标系下的速度Vx、Vy根据以下公式得到：无人机按照确定的运动方向和速度飞行； 步骤4:以步骤3确定的运动方向为初始方向，以阿基米德螺旋线为飞行轨迹进行飞行， 直至无人机机载相机拍摄的图像中出现降落场地地标，进入步骤5; 步骤5 :所述降落场地地标包括外部标记和内部标记；所述内部标记嵌套在外部标记 内； 当无人机机载相机拍摄图像出现清晰完整外部标记时，无人机进入第一进近域，无人 机机载相机持续拍摄图像，根据图像中的外部标记确定无人机降落场地方位和无人机的位 姿，调整无人机的飞行方向，无人机根据得到的飞行方向减速下降飞行； 当无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域，无人 机机载相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机的位 姿，调整无人机的飞行方向；无人机根据得到的飞行方向减速降落。3. 根据权利要求1或2所述一种基于光流的无人机自动降落引导方法，其特征在于:所 述外部标记为由N*N个完全相同的方格构成的正方形区域;外部标记的最外圈方格区域为 黑色，其余的方格区域为黑色或白色；内部标记为由N*N个完全相同的方格构成的正方形区 域，且内部标记嵌套在外部标记内；内部标记的最外圈方格区域为黑色，其余的方格区域为 黑色或白色，且与内部标记最外圈方格相邻的外部标记方格为白色;所述外部标记的方格 大于内部标记的方格;所述外部标记方格区域黑白布局与内部标记方格区域黑白布局不 同。4. 根据权利要求3所述基于光流的无人机自动降落引导方法，其特征在于:所述降落场 地地标还包括有卫星标记;卫星标记为由N*N个完全相同的方格构成的正方形区域，卫星标 记的最外圈方格区域为黑色，其余的方格区域为黑色或白色，卫星标记的方格小于内部标 记的方格，卫星标记面积小于内部标记面积的1/3;卫星标记放置在外部标记最外圈方格区 域及其内侧，当与卫星标记最外圈方格相邻的外部标记方格或内部标记方格为黑色时，在 卫星标记最外圈方格边缘设计有白色间隙。5. 根据权利要求3所述基于光流的无人机自动降落引导方法，其特征在于:步骤5中，当 无人机机载相机拍摄图像出现清晰完整内部标记时，无人机进入第二进近域，无人机机载 相机持续拍摄图像，根据图像中的内部标记确定无人机降落场地方位和无人机的位姿，调 整无人机的飞行方向，无人机根据得到的飞行方向减速下降；当外部标记完整呈现并占满 无人机机载相机全景框时，无人机机载相机继续持续拍摄图像，根据图像中的内部标记确 定无人机降落场地方位和无人机的位姿，调整无人机的飞行方向，无人机根据得到的飞行 方向减速降落;在无人机进入第二进近域下降过程中，若没有出现过外部标记完整呈现并 占满无人机机载相机全景框情况时，无人机上升回到第一进近域，重新进近。6. 根据权利要求4所述基于光流的无人机自动降落引导方法，其特征在于:步骤5中，在 无人机根据得到的飞行方向减速降落过程中，若无人机机载相机拍摄的图像中没有完整的 内部标记时，则根据图像中的卫星标记确定无人机降落场地方位和无人机的位姿，调整无 人机的飞行方向，使无人机机载相机拍摄的图像中重新出现完整的内部标记。7. 根据权利要求5所述基于光流的无人机自动降落引导方法，其特征在于:步骤5中，当 无人机进入第一进近域后，无人机机载相机持续拍摄图像，根据图像中的外部标记确定无 人机降落场地方位和无人机的位姿，调整无人机的飞行方向的过程为： 1) 、将拍摄的图像转化为灰度图，并得到二值化的边缘分布图；然后提取边缘分布图的 轮廓树信息； 2) 、根据轮廓树信息，滤除面积小于2/3外部标记面积的轮廓，以及所有无子轮廓的轮 廓，在剩余轮廓中选择凸四边形作为候选的外部标记轮廓； 3) 、对每个候选的外部标记轮廓进行如下处理： 将候选的外部标记轮廓图像信息映射到方形区域，所述方形区域为由N*N个完全相同 的方格构成的正方形区域；当方格内不少于2/3的像素点为黑色，则判定该方格为黑色;得 到方形区域中所有方格颜色;若方形区域最外圈方格不全为黑色，则将该候选外部标记轮 廓丢弃，否则按照设定的规则根据方形区域的方格颜色和方向得到二进制码值； 4) 、将二进制码值中的ID信息与无人机内部存储的ID信息进行对比，得到对比一致的 ID信息对应的外部标记，并根据该外部标记的二进制码值中的方位信息确定无人机降落场 地方位； 5) 、依据4)中外部标记最外圈方格的4个角点在相机坐标系中的坐标，结合无人机机载 相机参数，利用PnP算法解算得到相机的姿态;根据无人机与无人机机载相机的相对位置关 系，得到无人机位姿。8. 根据权利要求5所述基于光流的无人机自动降落引导方法，其特征在于:步骤5中，当 无人机进入第二进近域后，无人机机载相机持续拍摄图像，根据图像中的内部标记确定无 人机降落场地方位和无人机的位姿，调整无人机的飞行方向的过程为： 1 )、将拍摄的图像转化为灰度图，并得到二值化的内部标记轮廓图； 2 )、将内部标记轮廓图映射到方形区域，所述方形区域为由N*N个完全相同的方格构成 的正方形区域；当方格内不少于2/3的像素点为黑色，则判定该方格为黑色;得到方形区域 中所有方格颜色;按照设定的规则根据方形区域的方格颜色和方向得到二进制码值； 3 )、根据内部标记二进制码值中的方位信息确定无人机降落场地方位； 4)、依据内部标记最外圈方格的4个角点在相机坐标系中的坐标，结合无人机机载相机 参数，利用PnP算法解算得到相机的姿态;根据无人机与无人机机载相机的相对位置关系， 得到无人机位姿。9.根据权利要求6所述基于光流的无人机自动降落引导方法，其特征在于:步骤5中，根 据图像中的卫星标记确定无人机降落场地方位和无人机位姿的过程为： 1)、将拍摄的图像转化为灰度图，并得到二值化的边缘分布图；然后提取边缘分布图的 轮廓树信息； 2 )、根据轮廓树信息，得到若干卫星标记轮廓； 3) 、对每个卫星标记轮廓进行如下处理： 将卫星标记轮廓图像信息映射到方形区域，所述方形区域为由N*N个完全相同的方格 构成的正方形区域；当方格内不少于2/3的像素点为黑色，则判定该方格为黑色;得到方形 区域中所有方格颜色;按照设定的规则根据方形区域的方格颜色和方向得到该卫星标记的 二进制码值； 4) 、根据拍摄图像中的所有卫星标记二进制码值中的方位信息，解算得到无人机降落 场地方位； 5) 、依据4)中所有卫星标记最外圈方格的角点在相机坐标系中的坐标，结合无人机机 载相机参数，利用PnP算法解算得到相机的姿态;根据无人机与无人机机载相机的相对位置 关系，得到无人机位姿。
【文档编号】G05D1/12GK106054929SQ201610480771
【公开日】2016年10月26日
【申请日】2016年6月27日
【发明人】布树辉, 杨君, 赵勇, 张臻炜
【申请人】西北工业大学