一种基于视觉定位降落末端的无人机降落方法与流程

本发明涉及无人机控制技术领域，具体涉及一种基于视觉定位降落末端的无人机降落方法。

背景技术：

近几年，微型无人机由于其体积小、重量轻、隐蔽性好等特点被广泛应用于摄像、监控、侦查、追踪、测绘等各个领域，并开启了无人机技术爆炸的时代。而动态追踪拍摄时微小平台(如汽车顶)回收拍摄装备、快递行业定点投送物品等民用无人机使用的新需求，都对微型无人机的自动降落技术提出了新挑战。

2016年国际消费类电子产品展览会(International Consumer Electronics Show，简称CES)上，大疆、零度、亿航等知名无人机公司展出的新型无人机都将无人机自动降落作为必备技能，其中Parrot公司推出的新型无人机Disco提出“一键回家”的超简化无人机自动降落操作更是吸睛无数。

由于GPS的精度等级仍无法满足无人机高精度降落的要求，通过设计具有标志性特征的降落场地来达到精确降落的潮流越来越明显。开源飞控PixHawk展示了一种基于红外降落标志物，无人机可通过搭载相应的红外摄像降落模块引导自身进行厘米级别的精确降落。亚马逊也展示了其利用标志性降落板给用户无人机送货上门的方案。

但以上降落场地往往只为一架飞机设计，无法同时降落多架飞机，而且无人机只有到达降落场地上方很小的范围内时才能对自身进行相对定位。

技术实现要素：

针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于视觉定位降落末端的无人机降落方法，利用无人机上的机载相机对拍摄到的机场图像进行处理，拟采用多个、多层次带有ID标识的识别物，建立了一个可容纳成百上千无人机降落需求的大型无人机机场，同时本方法成本极低，适用于单个、多个无人机降落使用。

为了实现上述任务，本发明采用以下技术方案：

一种基于视觉定位降落末端的无人机降落方法，包括以下步骤：

步骤一，建立无人机机场

步骤S10，设置停机位Marker，停机位Marker的设计规则是：

停机位Marker均是由N*N个方格区域构成的正方形结构；在每一个停机位Marker中，最外圈的方格区域内至少2/3填充为黑色，其余的方格区域为黑色或白色；

步骤S11，在停机位Marker内设置嵌套Marker，嵌套Marker与停机位Marker的设计规则相同，不同的是嵌套Marker的规格较Marker小，并且嵌套Marker有多种规格，分布在停机位Marker的内部；

步骤S12，建立无人机机场，机场是由N*N个方格区域构成的正方形结构，机场的最外圈方格区域均为黑色，而其余区域均为白色；在机场的白色区域内有序或无序地分布有多个所述的停机位Marker，停机位Marker之间不重叠；

步骤二，无人机的降落过程

步骤S20，无人机接收到降落指令，降落指令包含所有无人机机场的GPS位置信息、每个无人机机场内停机位Marker的位置信息、无人机所需要降落的无人机机场ID、无人机所需要降落的停机位Marker的ID；

步骤S21，利用无人机机场的GPS位置信息将无人机引导至机场上方，待无人机到达机场上方后，以固定的速率边下降边采集机场的图像，并对采集到的每一帧图像进行步骤S210至S213的处理：

步骤S210，边缘检测和轮廓提取

将采集的图像转化为灰度图，利用Canny算子得到二值化的边缘分布图，利用腐蚀、膨胀算法进行噪点滤除，然后提取图像的轮廓信息，轮廓信息包含机场内所有停机位Marker以及机场的轮廓；

步骤S211，筛选无人机机场

在轮廓信息中滤除以下两类轮廓：

第一类：面积小于2/3无人机机场面积的轮廓；

第二类：内部无子轮廓的轮廓；

滤除以上两类轮廓后，选取外部为凸四边形的无人机机场作为候选机场；

步骤S212，将候选机场映射到方形区域中，利用k-means算法将候选机场的像素分为黑白两类，从而得到候选机场的二值化图像；利用二值化图像进行编码，得到一个N*N的二值矩阵，对于二值矩阵，首先判断二值矩阵的最外圈是否为全零，如果非全零则丢弃；然后将二值矩阵除了最外圈的二进制编码转换为无符号整型；

步骤S213，根据每一个候选机场的无符号整型进行码值计算，得到每一个候选机场的ID，将候选机场的ID与无人机接收到的降落指令中需要降落的无人机机场ID进行匹配，选择ID匹配成功的候选机场作为待降落机场；

步骤S22，待降落机场找到后，停止对无人机采集到的图像进行步骤S210至S213的处理，此时无人机飞行至待降落机场的上方；

步骤S23，无人机到达待降落机场上方后，以固定的速率边下降边采集待降落机场的图像，并对采集到的每一帧图像进行以下处理：

步骤S230，将采集的图像转化为灰度图，利用Canny算子得到二值化的边缘分布图，利用腐蚀、膨胀算法进行噪点滤除，然后提取图像的轮廓信息；

步骤S231，筛选停机位Marker

在轮廓信息中滤除以下两类轮廓：

第一类：面积小于2/3停机位Marker的轮廓；

第二类：内部无子轮廓的轮廓；

滤除以上两类轮廓后，选取外部为凸四边形的停机位Marker作为候选停机位Marker；

步骤S232，将候选停机位Marker映射到方形区域中，利用k-means算法将候选停机位Marker的像素分为黑白两类，从而得到候选停机位Marker的二值化图像；利用二值化图像进行编码，得到一个N*N的二值矩阵，对于二值矩阵，首先判断二值矩阵的最外圈是否为全零，如果非全零则丢弃；然后将二值矩阵除了最外圈的二进制编码转换为无符号整型；

步骤S233，根据每一个候选停机位Marker的无符号整型进行码值计算，得到每一个候选停机位Marker的ID，将候选停机位Marker的ID与无人机接收到的降落指令中需要降落的候选停机位Marker的ID进行匹配，选择ID匹配成功的候选停机位Marker待降落停机位Marker；

步骤S24，无人机根据待降落停机位Marker的位置信息飞行至待降落停机位Marker上方位置后进行降落。

进一步地，所述的停机位Marker内还设置有卫星Marker，卫星Marker与停机位Marker的设计规则相同，不同的是卫星Marker的面积小于构成嵌套Marker的方格区域面积的1/3。

本发明与现有技术相比具有以下技术特点：

1.本发明提供的降落方法，无人机在降落过程中根据ID值确定停机方位，且保持不变，不受外界因素的影响。

2.本发明提供的无人机机场，由于每个无人机都能够利用整个机场提供的所有标识信息给自身定位，因此在数米甚至数百米的距离上就能给自身定位，同时小尺度的Marker可为无人机降落末端提供毫米级的定位精度。依靠整个过程的精确定位信息，无人机可高效、安全、高精度地降落到目标停机位；

3.本发明提供的无人机机场可为多个不同的无人机提供降落服务，统一的框架可低成本地实现在整个无人机调度中全自主飞行降落，具有很好的推广前景。

附图说明

图1为停机位Marker的结构示意图；

图2为无人机降落过程的流程图；

图3为一个无人机机场的结构示意图；

具体实施方式

遵从上述技术方案，如附图所示，本发明提供一种基于视觉定位降落末端的无人机降落方法，包括以下步骤：

步骤一：建立无人机机场

本发明的无人机机场是由多个Marker(也可采用其他具有标志性的地标)组成，每个停机位Marker都具有有鲜明的特征，并可通过明暗条纹进行二进制编码，通过解读编码可以获取其ID信息；无人机通过机载图像设备获取视野中的停机位Marker，通过二进制编码计算每个停机位Marker的ID并校验，通过与对应的全局坐标系下的三维点进行拟合计算位姿，从而很好地估计自身位置，以进行精确降落。

停机位Marker均是由N*N(N为整数)个完全相同的方格区域构成的正方形结构；在每一个停机位Marker中，最外圈的方格区域内至少2/3填充为黑色(或者全部填充为黑色)，这样才能保证最外圈的方格区域为黑色，这是停机位Marker的重要标志；其余的方格区域为黑色或白色，这是为了保证嵌套性的特点；本方案中所提及的停机位Marker以及无人机机场均处于一个平面当中，并且均只有黑白二色，以便于图像处理。整个机场嵌套的多个独立的停机位，每一个停机位Marker均可以用于引导一架无人机停在其上，停机位Marker为正方形结构，可看作是由N*N各方格区域拼成的。

除了停机位Marker，在其内部还设置有嵌套Marker，用于末端辅助降落，确保降落精度与稳定性；

步骤S11，在停机位Marker内设置嵌套Marker，嵌套Marker与停机位Marker的设计规则相同，这里的规则相同是指嵌套Marker也是由N*N个方格区域构成的正方形结构，且在其外圈的方格区域也至少填充2/3黑色，其余的方格区域为黑色或白色；不同的是嵌套Marker的规格较Marker小，且每个嵌套Marker和对应的停机位Marker的ID值是不相同的；嵌套Marker有多种规格，在保证原有停机位Marker的编码规则不改变的情况下，分布在停机位Marker的内部；这里的多种规格是指嵌套Marker的大小不一样，即边长不一样，并且每个嵌套Marker内部的黑色、白色区域分布也是不同的，这样每个嵌套Marker的ID互不相同。嵌套Marker分布在停机位Marker中。

优选地，在停机位Marker内部还可以设置卫星Marker，卫星Marker与停机位Marker的设计规则相同(也可以看作是停机位Marker的缩小版)，不同的是卫星Marker的面积小于构成嵌套Marker的方格区域面积的1/3，以免影响到嵌套Marker发挥其作用。它的主要作用是在降落过程中避免无人机受风动影响偏离停机位；卫星Marker最好分布在停机位Marker的内圈位置。卫星Marker分布在停机位Marker中时，卫星Marker可以部分或全部与停机位Marker的最外圈(黑色圈)重叠，如图1所示；当嵌套Marker与停机位Marker上的黑色区域有重叠时，嵌套Marker重叠部分的边缘留有白色间隙，以便于计算和区分。

总而言之，停机位Marker、嵌套Marker、卫星Marker一样都是由N*N的方格区域构成的，且最外圈均为或至少2/3填充黑色，区别是它们的ID、面积各不相同，其中卫星Marker的面积最小，嵌套Marker的面积次之。

步骤S12，建立无人机机场，如图3所示，机场是由N*N个方格区域构成的正方形结构，机场的最外圈方格区域均为黑色，而其余区域均为白色；在机场的白色区域内有序或无序地分布有多个所述的停机位Marker(停机位Marker和无人机机场必须构成可以识别的二维码标志物，使得无人机可以在整个场地内定位)，停机位Marker之间不重叠，但停机位Marker可部分与机场最外圈的黑色方格区域重叠，并且重叠部分的边缘留有白色间隙以便于区分。机场内的不同停机位Marker的朝向可以相同，也可以不同，按实际需求设计分布。停机位Marker的分布直接影响着机场的ID值，机场的ID是识别机场的重要标志。

无人机机场可以在同一大片区域内间隔分布多个，用于大规模无人机的停放。

步骤二：无人机的降落过程

步骤S20，无人机接收到地面控制中心(或控制设备)的降落指令，降落指令包含所有无人机机场的GPS位置信息、每个无人机机场内停机位Marker的位置信息(ID值，相对于无人机机场的坐标等)、无人机所需要降落的无人机机场ID、无人机所需要降落的停机位Marker的ID；

本方案中利用GPS进行辅助性地定位，因为GPS受到天气、所处区域的影响较大，导致在不同情况下GPS的精度有差异，不能满足无人机精确降落的需求。为此，本方案中只利用GPS对无人机进行大致位置的引导，当无人机的图像设备可以拍摄并解析地面的无人机机场图像后，即可通过二维码标志物引导无人机精确降落。

步骤S21，利用无人机机场的GPS位置信息将无人机引导至机场上方(具体高度根据相机的内参和机场大小而定，一般为15倍机场的大小)，待无人机到达机场上方后，以固定的速率边下降边采集机场的图像，并对采集到的每一帧图像进行步骤S210至S213的处理：

步骤S210，边缘检测和轮廓提取

将采集的图像转化为灰度图，利用Canny算子得到二值化的边缘分布图，利用腐蚀、膨胀算法进行噪点滤除，然后提取图像的轮廓信息，轮廓信息包含机场内所有停机位Marker以及机场的轮廓；

步骤S211，筛选无人机机场

在轮廓信息中滤除以下两类轮廓：

第一类：面积小于2/3无人机机场面积的轮廓，因为这个轮廓大小不符合无人机机场的面积，可能为地面其他物体，需要滤除；(无人机由自身携带的超声波设备得到其所在高度，根据这个高度和拍摄到的图像的面积，根据相机模型计算出图像对应的三维空间的面积)

第二类：内部无子轮廓的轮廓；这里的自轮廓即为停机位Marker的轮廓，由于一个正确的无人机机场内部必然包含停机位Marker，因此当某一个轮廓内部没有子轮廓时，说明该轮廓并不是机场。

滤除以上两类轮廓后，选取外部为凸四边形的无人机机场(轮廓)作为候选机场；由于在一片区域中无人机机场可能有多个，因此筛选出来的候选机场也可能有多个；

步骤S212，将候选机场映射到方形区域中(机载相机拍摄到的图像可能会产生畸变，映射是为了还原其原来的图像的形状)，利用k-means算法将候选机场的像素分为黑白两类(当每个方块的黑色面积大于这个方块面积的2/3，则划分为黑色，白色亦是如此)，从而得到候选机场的二值化图像；利用二值化图像进行编码，得到一个N*N的二值矩阵，对于二值矩阵，首先判断二值矩阵的最外圈是否为全零，如果非全零则丢弃；然后将二值矩阵除了最外圈(即里面的(N-2)*(N-2)区域)的二进制编码转换为无符号整型；

步骤S213，根据每一个候选机场的无符号整型进行码值计算，由于机场有四个朝向，因此分别计算四个朝向的码值并选取4个朝向中码值最小值作为ID；从而得到每一个候选机场的ID，将候选机场的ID与无人机接收到的降落指令中需要降落的无人机机场ID进行匹配，选择ID匹配成功的候选机场作为待降落机场；

步骤S22，待降落机场找到后，停止对无人机采集到的图像进行步骤S210至S213的处理，此时无人机根据待降落机场在地面的位置信息、无人机当前的高度以及无人机采集的机场的图像信息，确定待降落机场相对于无人机的位置，然后调整自身姿态并飞行至待降落机场的上方；

当无人机到达停机位上方后，将能够识别停机位Marker并给自身定位，此时无人机可调整Yaw方向(围绕Y方向旋转，即偏航角)并最终降落到相应位置，具体过程如下：

步骤S23，无人机到达待降落机场上方后，以固定的速率边下降边采集待降落机场的图像，并对采集到的每一帧图像进行以下处理：

步骤S230，将采集的图像转化为灰度图，利用Canny算子得到二值化的边缘分布图，利用腐蚀、膨胀算法进行噪点滤除，然后提取图像的轮廓信息；

步骤S231，筛选停机位Marker

在轮廓信息中滤除以下两类轮廓：

第一类：面积小于2/3停机位Marker的轮廓；

第二类：内部无子轮廓的轮廓；

滤除以上两类轮廓后，选取外部为凸四边形的停机位Marker作为候选停机位Marker；(这里的滤除过程的原理与前面相同)

步骤S232，将候选停机位Marker映射到方形区域中，利用k-means算法将候选停机位Marker的像素分为黑白两类，从而得到候选停机位Marker的二值化图像；利用二值化图像进行编码，得到一个N*N的二值矩阵，对于二值矩阵，首先判断二值矩阵的最外圈是否为全零，如果非全零则丢弃；然后将二值矩阵除了最外圈的二进制编码转换为无符号整型；

步骤S233，根据每一个候选停机位Marker的无符号整型进行码值计算，得到每一个候选停机位Marker的ID，将候选停机位Marker的ID与无人机接收到的降落指令中需要降落的候选停机位Marker的ID进行匹配，选择ID匹配成功的候选停机位Marker待降落停机位Marker；

步骤S24，无人机根据待降落停机位Marker的位置信息飞行至待降落停机位Marker上方位置后进行降落。

在精确降落过程中，无人机以中速进行降落并计算无人机的实时位姿，提取降落停机位Marker的4个角点对应的坐标，并与图像像素点对应。结合相机内参，利用PnP算法可得到相机的姿态。根据无人机与相机的相对位置关系可推导得到无人机位姿。

在无人机降落到一定的位置时，停机位Marker已经不能完全呈现在相机平面内，此时，嵌套Marker起作用，此时无人机只需要按照步骤S210-S213(或者S230-S233)中的ID解析算法，进行嵌套Marker的ID匹配即可(该停机位Marker内的嵌套Marker)。此时无人机开始减速下降，在下降过程中就容易受到风的影响，当无人机被吹离降落点时，无人机通过对拍摄到的卫星Marker的ID来解析其偏离方向并进行修正。