一种无人机多阶段视觉精准降落方法和装置与流程

1.本发明涉及一种无人机自主精准降落技术领域，尤其涉及一种无人机多阶段视觉精准降落方法和装置。


背景技术：

2.随着传感技术和无人机技术的发展，无人机已被广泛应用于执行电力巡检、物流运输、警务安防、环境监测等各类军民任务。着陆过程作为无人机事故频发的一个阶段，饱受社会诟病。因此，无人机的自主精准降落技术一直是业界的关注重点。
3.近年来随着机载处理器、视觉传感器等相关硬件产品成本下降以及计算机视觉技术的兴起与应用，基于视觉的无人机自主着陆技术受到了广泛关注和研究。目前常见的视觉着陆技术有两类，一类是被动式自主着陆系统。该类技术在地面放置多个相机和图像处理平台，将无人机作为被拍摄的目标，通过视觉测量实现无人机位姿参数的获取，典型代表是光学动作捕捉系统。这种方法精度高，但成本高，机动性差，多用于实验室环境，无法满足无人机在任意地点快速自主降落的需求。另一类基于主动视觉机制的着陆导航系统多以无人机搭载摄像头、通过地面架设合作目标或者相机捕捉其他标志物来获取图像，进而计算无人机位姿实现降落控制。申请人研究发现，此类方法研究重点在于合作目标设计与构型优化、识别和位姿解算算法，通常只采用一个标签或多个尺寸相差不大的标签辅助降落。现有技术对单一标签的识别定位精度高，但是在实际应用过程中，随着无人机降落高度的变化，其机载俯视相机的视野也发生相应变化。尤其在降落初始阶段和完成阶段，单一标签在相机成像中出现目标过大或过小问题，导致无人机对降落目标点的检测定位失效，存在一定高度区间的盲降现象，给安全着陆带来较大隐患。盲降问题的存在，进一步导致现有主动视觉降落技术无法实现较大降落高度（＞30米）的精准、安全着陆。
4.为此，我们提供了一种无人机多阶段视觉精准降落方法和装置以此解决上述技术问题。


技术实现要素：

5.本发明的目的在于提供一种无人机多阶段视觉精准降落方法和装置，解决了现有技术中降落初始阶段和完成阶段，单一标签在相机成像中出现目标过大或过小问题，导致无人机对降落目标点的检测定位失效，存在一定高度区间的盲降现象，给安全着陆带来较大隐患。盲降问题的存在，进一步导致现有主动视觉降落技术无法实现较大降落高度（＞30米）的精准、安全着陆的问题。
6.本发明采用的技术方案如下：一种无人机多阶段视觉精准降落方法，包括以下步骤：步骤s1：获取机载俯视相机的内部参数和无人机实际降落高度需求，构建多尺度多合作标签的地面视觉降落标志；步骤s2：对所述地面视觉降落标志进行检测计算，完成每一降落阶段对应的所述
多尺度多合作标签的降落目标识别和角点检测；步骤s3：根据所述降落目标识别和所述角点检测的结果，利用相机姿态估计算法计算降落目标位置在机载俯视相机坐标系下的三维相对位置；步骤s4：根据所述三维相对位置结合无人机实时三维位置信息，解算机体坐标系下的降落目标位置，采用逐阶段减小降落速度的方式完成降落。
7.进一步地，所述步骤s1中所述多尺度多合作标签包括多尺度标签和多合作标签，所述多合作标签为形状不同的标签，每类所述多合作标签对应一个降落阶段；所述多尺度标签为尺寸不同的同心圆标签，尺寸最大的同心圆标签的中心视为目标降落点和同心圆圆心，其余同心圆标签按尺寸大小围绕圆心，在最大的同心圆标签上进行同心圆分布，尺寸越小越接近同心圆圆心，尺寸最小的标签占据同心圆圆心位置，所述多尺度标签和所述多合作标签共同组成地面视觉降落标志。
8.进一步地，每类所述多合作标签的数量均不少于1个。
9.进一步地，所述步骤s1中所述地面视觉降落标志采用二维码、降落标志或者带角点的标志用于进行降落目标识别和角点检测。
10.进一步地，所述步骤s1中降落飞行流程按所述多尺度多合作标签的类别，将无人机的降落过程分为多个降落阶段，每个所述降落阶段映射不同的高度区间，无人机在每个所述降落阶段内至少能识别一类所述多尺度多合作标签，实时计算无人机相对于目标降落点的位置和姿态，并采用相应的位姿控制参数完成飞行，通过多阶段、无缝衔接的检测、定位、控制，实现无人机全程自主精准降落。
11.进一步地，所述步骤s2包括无人机完成每一阶段的降落过程中，根据所述地面视觉降落标志进行检测计算每类所述多尺度多合作标签对应的降落目标识别和角点检测。
12.进一步地，所述步骤s3包括以下子步骤：步骤s31：利用相机姿态估计算法计算降落目标位置在机载俯视相机坐标系下的三维相对位置,无人机的降落目标位置为所述多尺度多合作标签的三维位置与无人机实时三维位置之和，并继续降落；步骤s32：无人机下降一定高度后，进入下一阶段，此时机载俯视相机开始检测下一阶段的所述多尺度多合作标签的降落目标识别及其对应的角点检测，并应用相机姿态估计算法对计算目标在相机坐标系下的三维相对位置，无人机的降落目标位置为下一阶段的所述多尺度多合作标签的三维位置与无人机实时三维位置之和，每一阶段的降落速度低于上一阶段的降落速度继续降落；进一步地，所述步骤s4包括根据所述三维相对位置结合无人机实时三维位置信息，所述多尺度多合作标签进入机载俯视相机有效检测范围时，即进入最后的着陆阶段，解算机体坐标系下的降落目标位置完成自主着陆。
13.本发明还提供一种无人机多阶段视觉精准降落装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例任一项所述的一种无人机多阶段视觉精准降落方法。
14.本发明还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述实施例任一项所述的一种无人机多阶段视觉精准降落方法。
15.本发明的有益效果是：
1、与现有技术比，本发明提供的一种无人机多阶段视觉精准降落方法，能让无人机在不同的降落高度，通过对地面不同的多尺度多合作标签的检测，实现全程无盲区识别定位，从而完成安全、精准、顺滑的降落；2、本发明所提供的地面视觉降落标志设计及其对应的分阶段控制方法理论简单，操作便利，技术人员可按实际需求进行多尺度多合作标签数量及其对应降落阶段数量的增减，具有成本低、移动性好、拓展性好、泛化能力强等优势。
附图说明
16.图1为本发明实施例提供的一种无人机多阶段视觉精准降落方法的多尺度多合作标签示意图；图2是本发明实施例提供的一种无人机多阶段视觉精准降落方法的流程示意图；图3为本发明一种无人机多阶段视觉精准降落装置的结构图。
具体实施方式
17.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.一种无人机多阶段视觉精准降落方法，包括以下步骤：步骤s1：获取机载俯视相机的内部参数和无人机实际降落高度需求，构建多尺度多合作标签的地面视觉降落标志；所述多尺度多合作标签包括多尺度标签和多合作标签，所述多合作标签为形状不同的标签，每类所述多合作标签对应一个降落阶段；所述多尺度标签为尺寸不同的同心圆标签，尺寸最大的同心圆标签的中心视为目标降落点和同心圆圆心，其余同心圆标签按尺寸大小围绕圆心，在最大的同心圆标签上进行同心圆分布，尺寸越小越接近同心圆圆心，尺寸最小的标签占据同心圆圆心位置，所述多尺度标签和所述多合作标签共同组成地面视觉降落标志。
19.所述多尺度多合作标签的尺寸设计与机载俯视相机感光芯片的物理尺寸、视场角、镜头焦距等内部参数和无人机实际降落高度需求等外部参数呈特定的分段映射关系。
20.所述地面视觉降落标志采用二维码、降落标志（如直升机停机坪的h标志）或者带角点（如自行设计的logo标志）的标志用于进行目标识别和角点检测。
21.见图1所示，在类别上，包含n类大小不同的多合作标签，101表示尺寸最大的多合作标签，记为label_begin；104表示尺寸最小的多合作标签，记为label_end；102表示尺寸大小排序为i的多合作标签，记为label_i；103表示尺寸大小排序为i+1的多合作标签，记为label_i+1.每一类多合作标签对应一个降落阶段，多合作标签类别数量n≥2。
22.在数量上，label_begin和label_end均只有一个。中间大小的label_i和label_i+1数量均不少于1个。
23.在分布上，尺寸不同的同心圆标签为多尺度标签，以label_begin为底板，将其中心202视为目标降落点。其余按尺寸大小围绕中心点进行同心圆201分布，其中尺寸越小越接近中心，label_end标签占据中心位置，共同组成地面视觉降落标志。
24.不同类别的多尺度多合作标签的尺寸与机载俯视相机内参及实际降落高度相关，尺寸设计为： , ；
ꢀꢀ
；；其中，
ꢀꢀ
表示 label_begin（尺寸最大的多尺度多合作标签）的尺寸，
ꢀꢀ
表示第i个 label_i（尺寸中间大小的多尺度多合作标签）的尺寸， 表示第i+1个 label_i+1（尺寸中间大小的多尺度多合作标签）的尺寸， 表示 label_end（尺寸最小的多尺度多合作标签）的尺寸； 表示无人机设计的最大降落高度， 表示无人机降落后，机载俯视相机相对于地面的高度； 表示机载俯视相机成像芯片的物理尺寸， 表示机载俯视相机的焦距， 表示机载俯视相机采用的目标识别算法，在同一距离能有效检测的最小物体尺寸与最大物体尺寸间的比例。
25.步骤s2：对所述地面视觉降落标志进行检测计算，完成每一降落阶段对应的所述多尺度多合作标签的降落目标识别和角点检测；无人机完成每一阶段的降落过程中，根据所述地面视觉降落标志进行检测计算每类所述多尺度多合作标签的降落目标识别及其对应的角点检测，检测算法可采用现有成熟的方法，如模板匹配等传统的图像处理算法或基于卷积神经网络的深度学习算法，本发明不做约束。
26.步骤s3：根据所述降落目标识别和所述角点检测的结果，利用相机姿态估计算法计算降落目标位置在机载俯视相机坐标系下的三维相对位置；所述降落飞行流程按多尺度多合作标签的类别，将无人机的降落过程分为多个降落阶段，每个降落阶段映射不同的高度区间。无人机在每个降落阶段内至少能识别一类多尺度多合作标签，实时计算无人机相对于地面视觉降落标志中心的位置和姿态，采用相应的位姿控制参数完成飞行。通过多阶段、无缝衔接的检测、定位、控制，实现无人机全程自主精准降落。
27.所述不同降落阶段中，对地面视觉降落标志的检测算法可采用已有成熟方法，如模板匹配等传统的图像处理算法或基于卷积神经网络的深度学习算法。完成降落目标识别和角点检测后，应用相机姿态估计算法计算降落目标位置在相机坐标系下的三维相对位置，结合无人机实时三维位置信息，解算机体坐标系下的降落目标位置。
28.在不同的降落阶段获取降落目标位置后，无人机采用不同位姿控制参数，达到不同的降落速度。越接近地面的降落阶段，对应的降落速度越小。通过多阶段降落速度的控制，完成平顺、合理、安全的无人机降落。
29.见图2，步骤s31：利用相机姿态估计算法计算降落目标位置在机载俯视相机坐标系下的 （三维相对位置），无人机的降落目标位置为 ，其中 是无人机实时三维位置，以 作为所述多尺度多合作标签的三维位置，降落速度为 继续降落；步骤s32：无人机下降一定高度后，进入第i阶段，此时机载俯视相机开始检测第i
个label_i（尺寸中间大小的多尺度多合作标签）的降落目标识别及其对应的角点检测，并应用相机姿态估计算法对计算目标在相机坐标系下的三维相对位置 ，此阶段无人机的降落目标位置为 , 并以 为目标点对无人机进行位置控制，此时降落速度 继续降落，且降落速度 低于上一阶段 的降落速度继续降落；步骤s33：完成第i阶段降落后，进入第i+1阶段降落流程，此时机载俯视相机开始检测第i+1个label_i+1（尺寸中间大小的多尺度多合作标签）的降落目标识别及其对应的角点检测，并应用相机姿态估计算法对计算目标在相机坐标系下的三维相对位置 ，此阶段无人机的降落目标位置为 ，以 为目标点对无人机进行位置控制，降落速度 低于上一阶段 的速度继续降落。
30.步骤s4：根据所述三维相对位置结合无人机实时三维位置信息，解算机体坐标系下的降落目标位置，采用逐阶段减小降落速度的方式完成降落。
31.label_end（尺寸最小的多尺度多合作标签）进入机载俯视相机有效检测范围时，即进入最后的着陆阶段，此时以 完成自主着陆，其中，每一阶段的降落速度都要小于上一阶段的降落速度，即 。
32.与前述一种无人机多阶段视觉精准降落方法的实施例相对应，本发明还提供了一种无人机多阶段视觉精准降落装置的实施例。
33.参见图3，本发明实施例提供的一种无人机多阶段视觉精准降落装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的一种无人机多阶段视觉精准降落方法。
34.本发明一种无人机多阶段视觉精准降落装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明一种无人机多阶段视觉精准降落装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
35.上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
36.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
37.本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种无人机多阶段视觉精准降落方法。
38.所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（smart media card，smc）、sd卡、闪存卡（flash card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
39.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。