一种基于视觉的远近距引导无人机自主降落方法

本发明涉及无人机降落控制，尤其是涉及一种基于视觉的远近距引导无人机自主降落方法。

背景技术：

1、无人机具有体积小、使用方便、可靠性高等优点，早期被广泛应用于国防军事，随着视觉等相关技术的快速迭代，无人机逐步民用化，扩展至农业等民生领域。然而，以电池为动力的农用无人机携药量有限、续航能力弱，每次飞行作业后需返回降落点进行二次补药或更换电池，大幅降低了作业效率，故设计采用配合无人车的方案，利用无人车载重大、续航长的优点，能够为无人机提供药液、电池等补充支持。因此，为了提高无人机作业效率、有效缩短无人机装药和更换电池的时间、保证全天候任务的可靠执行，有必要对无人机的自主降落进行精准控制，这对于无人机与无人车异构平台协同作业而言，是十分重要的。

2、现有技术已有一些对无人机自主降落的研究，比如申请号为202110674469.3的中国专利，其公开的方案中，无人机通过gps飞行到降落上空区域准备降落，无人机识别降落区域上的大二维码，控制无人机悬停在大二维码上空，再识别小二维码进行精确降落，从而解决了无人机降落精度低的问题，但这种方式的视觉识别角度较小、识别距离较近，因此实际应用中具有一定的局限性；

3、申请号为201910336752.8的中国专利，其设计了一个由正三角形和同心圆环组成的视觉识别标志，首先通过识别标志的正三角形，以解算出无人机与识别标志中心的位置参数，然后利用同心圆环及其内部的航向参考线，以确定无人机与识别标志中心的位置偏差和偏航角，最终完成无人机的姿态调整和自主降落，但该方式的识别同样受到视角的限制，只能进行近距离识别检测。

4、综上所述，传统对于无人机自主降落的研究大多局限于对近处固定靶标的识别，受靶标自身大小与无人机视角限制，无人机可准确识别靶标的视野范围较小，目前的技术改进也仅仅是对靶标的形状进一步优化，或者对识别性能进行优化完善，这些都难以真正有效地精准控制无人机自主降落至无人车平台。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于视觉的远近距引导无人机自主降落方法，不仅通过设计新的靶标来提高定位识别准确性，同时通过设计远近距引导来延长降落引导有效距离，进而提高无人机自主降落的精准性。

2、本发明的目的可以通过以下技术方案来实现：一种基于视觉的远近距引导无人机自主降落方法，包括以下步骤：

3、s1、预先采集无人车图像数据集；

4、s2、利用无人车图像数据集，结合yolov5神经网络，训练得到无人车检测模型；

5、s3、将无人车检测模型搭载至无人机上的控制模块；

6、s4、无人机在降落过程中按照设定时间间隔采集获取无人机下方区域图像，并输入至无人车检测模型进行识别检测；

7、s5、若识别出无人机下方区域存在无人车，则进一步通过图像分析确定出无人车的位置信息、之后执行步骤s6，否则返回步骤s4；

8、s6、根据无人车的位置信息，由控制模块输出远距离引导控制指令使无人机飞行至无人车上方设定距离位置；

9、s7、无人机采集无人车上安装的靶标图像，并识别定位出靶标的位置信息；

10、s8、根据靶标的位置信息，由控制模块输出近距离引导控制指令使无人机降落至无人车平台上。

11、进一步地，所述步骤s2具体包括以下步骤：

12、s21、对无人车图像数据集进行预处理，之后按照预设比例划分为训练集和验证集；

13、s22、利用标注工具对训练集中的图像标注上相应标签，记录类别进行聚类分析，以构建yolov5神经网络；

14、s23、基于训练集和验证集，对yolov5神经网络进行训练和验证，得到无人机检测模型。

15、进一步地，所述步骤s21中预处理具体采用mosaic数据增强方式，包括但不限于随机水平或垂直翻转、裁剪、尺度变换操作。

16、进一步地，所述步骤s23中，在对yolov5神经网络进行训练和验证之前，需要统一图像大小和像素：先将图片按照yolov5神经网络所需要的输入尺寸进行缩小处理，之后对于较短边添加黑色条以构成正方形，从而满足608像素*608像素的输入规格。

17、进一步地，所述步骤s23中对yolov5神经网络进行训练时，具体采用giou(generalized intersection over union，并集上的广义交集)损失函数来计算边界框的损失：

18、giou＝|a∩b||a∪b|-|c\(a∪b||c|＝iou-|c\(a∪b||c|

19、即针对两个任意框a、b，找到一个最小的封闭形状c，其中，c能够将a、b包含在内，之后计算c没有覆盖a和b的面积占其总面积的比值，最后将a与b的iou(intersection overunion，交并比)减去这个比值，就得到边界框的损失值。

20、进一步地，所述无人车上安装的靶标图案由两个apriltag码与h形几何图案组成，所述两个apriltag码分别位于h形几何图案的上下两个凹槽内。

21、进一步地，所述靶标的尺寸为0.5m*0.5m。

22、进一步地，所述步骤s7具体包括以下步骤：

23、s71、无人机采集无人车上安装的靶标图像；

24、s72、对靶标图像进行分析处理，得到apriltag码在靶标图像中的位置信息；

25、s73、对apriltag码在靶标图像中的位置信息进行坐标系转换，再通过单应矩阵获取欧拉角，即获得apriltag的实时位置。

26、进一步地，所述无人机的控制模块包括识别单元、处理单元和驱动单元，所述识别单元内搭载有无人车检测模型；

27、所述处理单元用于计算无人机与无人车或靶标之间的距离信息、并输出相应控制信号给驱动单元；

28、所述驱动单元根据控制信号相应调整无人机的飞行状态。

29、进一步地，所述驱动单元具体是用于调整无人机的飞行方向、飞行高度、飞行速度、悬停、降落速度和降落高度。

30、与现有技术相比，本发明具有以下优点：

31、一、本发明提出一种远近距引导无人机降落的方案，即首先通过对无人车图像进行检测识别，以远距离引导无人机飞行至无人车上方设定距离位置；再通过对无人车上安装的靶标图像进行识别定位，以近距离引导无人机降落至无人车平台上。由此能够大大延长视觉着陆引导有效距离，突破现有技术中视觉识别引导的局限性，从而提高无人机自主降落的精准性。

32、二、本发明采用apriltag技术，设计靶标图案由两个apriltag码与h形几何图案组成，其中，apriltag码由黑色和白色所组成，能够携带多种信息。当采集到靶标图像后，即可通过图像处理分析得到靶标的实时位置信息，从而方便无人机在降落时进行精准定位识别，减少定位偏差、提高无人机自主降落的容错率。

技术特征：

1.一种基于视觉的远近距引导无人机自主降落方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于视觉的远近距引导无人机自主降落方法，其特征在于，所述步骤s2具体包括以下步骤：

3.根据权利要求2所述的一种基于视觉的远近距引导无人机自主降落方法，其特征在于，所述步骤s21中预处理具体采用mosaic数据增强方式，包括但不限于随机水平或垂直翻转、裁剪、尺度变换操作。

4.根据权利要求2所述的一种基于视觉的远近距引导无人机自主降落方法，其特征在于，所述步骤s23中，在对yolov5神经网络进行训练和验证之前，需要统一图像大小和像素：先将图片按照yolov5神经网络所需要的输入尺寸进行缩小处理，之后对于较短边添加黑色条以构成正方形，从而满足608像素*608像素的输入规格。

5.根据权利要求2所述的一种基于视觉的远近距引导无人机自主降落方法，其特征在于，所述步骤s23中对yolov5神经网络进行训练时，具体采用giou损失函数来计算边界框的损失：

6.根据权利要求1所述的一种基于视觉的远近距引导无人机自主降落方法，其特征在于，所述无人车上安装的靶标图案由两个apriltag码与h形几何图案组成，所述两个apriltag码分别位于h形几何图案的上下两个凹槽内。

7.根据权利要求6所述的一种基于视觉的远近距引导无人机自主降落方法，其特征在于，所述靶标的尺寸为0.5m*0.5m。

8.根据权利要求6所述的一种基于视觉的远近距引导无人机自主降落方法，其特征在于，所述步骤s7具体包括以下步骤：

9.根据权利要求1～8任一所述的一种基于视觉的远近距引导无人机自主降落方法，其特征在于，所述无人机的控制模块包括识别单元、处理单元和驱动单元，所述识别单元内搭载有无人车检测模型；

10.根据权利要求9所述的一种基于视觉的远近距引导无人机自主降落方法，其特征在于，所述驱动单元具体是用于调整无人机的飞行方向、飞行高度、飞行速度、悬停、降落速度和降落高度。

技术总结
本发明涉及一种基于视觉的远近距引导无人机自主降落方法，包括：预先采集无人车图像数据集，结合yolov5神经网络，训练得到无人车检测模型；无人机在降落过程中按照设定时间间隔采集获取无人机下方区域图像，并输入至无人车检测模型进行识别检测；若识别出存在无人车，则进一步确定出无人车的位置信息、由控制模块输出远距离引导控制指令使无人机飞行至无人车上方设定距离位置；无人机采集靶标图像，并识别定位出靶标的位置信息、由控制模块输出近距离引导控制指令使无人机降落至无人车平台上。与现有技术相比，本发明不仅通过设计新的靶标来提高定位识别准确性，同时通过设计远近距引导来延长降落引导有效距离，进而提高无人机自主降落的精准性。

技术研发人员：苗中华,朴胜杰,李楠,胡博,李云辉,何创新
受保护的技术使用者：上海大学
技术研发日：
技术公布日：2024/1/14