基于Apriltag的无人机降落方法、装置、介质和电子设备与流程

基于apriltag的无人机降落方法、装置、介质和电子设备
技术领域
1.本发明涉及无人机技术领域，特别是涉及一种基于apriltag的无人机降落方法、装置、存储介质以及电子设备。


背景技术：

2.apriltag是一种视觉基准系统，适用于各种任务，包括增强现实、机器人和相机校准，apriltag检测软件计算apriltag标签相对于摄像机的精确3d位置、方向和标识。
3.然而，目前市面上通过apriltag库进行编译使用，识别apriltag标签的效率可能达不到无人机飞控处理速率，从而导致飞机降落断断续续。


技术实现要素：

4.基于此，本发明的目的在于，提供一种基于apriltag的无人机降落方法、装置、存储介质以及电子设备，其具有提高apriltag标签识别效率、使无人机降落更具有连续性的优点。
5.根据本技术实施例的第一方面，提供一种基于apriltag的无人机降落方法，包括如下步骤：
6.获取无人机对目标降落中心点拍摄的当前帧图像，并从所述当前帧图像中识别获得apriltag标签；其中，所述目标降落中心点设置有所述apriltag标签；
7.计算所述无人机相对于所述apriltag标签的位置偏移量，并对所述位置偏移量的计算过程进行计时；
8.若所述计算过程的计时时长超过预设时长，获取所述当前帧图像之前的预设数量帧图像；
9.根据所述预设数量帧图像，获得对应的预设数量的位置偏移量；
10.利用二次指数平滑方法对所述预设数量的位置偏移量进行拟合，建立位置偏移量预测模型；
11.根据所述位置偏移量预测模型，预测获得当前帧图像对应的位置偏移量；
12.根据所述当前帧图像对应的位置偏移量，调整所述无人机的飞行速度，使所述无人机降落至所述目标降落中心点。
13.根据本技术实施例的第二方面，提供一种基于apriltag的无人机降落装置，包括：
14.当前帧图像获取模块，用于获取无人机对目标降落中心点拍摄的当前帧图像，并从所述当前帧图像中识别获得apriltag标签；其中，所述目标降落中心点设置有所述apriltag标签；
15.位置偏移量计算模块，用于计算所述无人机相对于所述apriltag标签的位置偏移量，并对所述位置偏移量的计算过程进行计时；
16.预设数量帧图像获取模块，用于若所述计算过程的计时时长超过预设时长，获取所述当前帧图像之前的预设数量帧图像；
17.位置偏移量获得模块，用于根据所述预设数量帧图像，获得对应的预设数量的位置偏移量；
18.模型建立模块，用于利用二次指数平滑方法对所述预设数量的位置偏移量进行拟合，建立位置偏移量预测模型；
19.位置偏移量预测模块，用于根据所述位置偏移量预测模型，预测获得当前帧图像对应的位置偏移量；
20.无人机降落模块，用于根据所述当前帧图像对应的位置偏移量，调整所述无人机的飞行速度，使所述无人机降落至所述目标降落中心点。
21.根据本技术实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上述任意一项所述的基于apriltag的无人机降落方法。
22.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的基于apriltag的无人机降落方法。
23.本发明实施例通过获取无人机对目标降落中心点拍摄的当前帧图像，并从所述当前帧图像中识别获得apriltag标签；其中，所述目标降落中心点设置有所述apriltag标签；计算所述无人机相对于所述apriltag标签的位置偏移量，并对所述位置偏移量的计算过程进行计时；若所述计算过程的计时时长超过预设时长，获取所述当前帧图像之前的预设数量帧图像；根据所述预设数量帧图像，获得对应的预设数量的位置偏移量；利用二次指数平滑方法对所述预设数量的位置偏移量进行拟合，建立位置偏移量预测模型；根据所述位置偏移量预测模型，预测获得当前帧图像对应的位置偏移量；根据所述当前帧图像对应的位置偏移量，调整所述无人机的飞行速度，使所述无人机降落至所述目标降落中心点。本发明实施例通过利用二次指数平滑方法对超过预设时长的偏移量计算进行模型预测偏移量值的替换，提高了apriltag标签识别效率，从而使无人机降落更具连续性。
24.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
25.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
26.图1为本发明基于apriltag的无人机降落方法的流程示意图；
27.图2为本发明基于apriltag的无人机降落方法中s10的流程示意图；
28.图3为本发明基于apriltag的无人机降落方法中s50的流程示意图；
29.图4为本发明基于apriltag的无人机降落方法中s60的流程示意图；
30.图5为本发明基于apriltag的无人机降落方法中s70的流程示意图；
31.图6为本发明基于apriltag的无人机降落装置的结构框图。
具体实施方式
32.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
33.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
34.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
35.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
36.此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
37.请参阅图1，本发明实施例提供一种基于apriltag的无人机降落方法，包括的步骤如下：
38.s10.获取无人机对目标降落中心点拍摄的当前帧图像，并从所述当前帧图像中识别获得apriltag标签；其中，所述目标降落中心点设置有所述apriltag标签。
39.在本技术实施例中，将apriltag标签设置于目标降落中心点，无人机位于所述目标降落中心点的上空。将无人机云台上搭载的摄像头调整至向下垂直方向，使得apriltag标签出现在摄像头视野范围内。在无人机降落过程中，无人机开启摄像头对目标降落中心点进行实时拍摄，获得当前帧图像，并从所述当前帧图像中识别获得apriltag标签。
40.s20.计算所述无人机相对于所述apriltag标签的位置偏移量，并对所述位置偏移量的计算过程进行计时。
41.在本技术实施例中，无人机的位置默认为所述当前帧图像的正中心，获取所述apriltag标签在所述当前帧图像的像素坐标。根据正中心的像素坐标以及所述当前帧图像的像素坐标之间的坐标差，获得所述无人机相对于所述apriltag标签的位置偏移量，并且对所述位置偏移量的计算过程进行计时，从而实时得到所述计算过程的计时时长。
42.s30.若所述计算过程的计时时长超过预设时长，获取所述当前帧图像之前的预设数量帧图像。
43.在本技术实施例中，所述预设时长为无人机飞控的处理数据时长。发明人在实现本发明的过程中，发现：若所述计算过程的计时时长超过所述预设时长，表示所述计算过程可能遇到网络故障或者未知错误，此时，最终计算得到的位置偏移量的计算时长可能偏长，导致无人机降落断断续续，或者计算出的位置偏移量有问题，导致无人机降落不准确。因此，本技术获取所述当前帧图像之前的预设数量帧图像来预测所述当前帧图像对应的位置偏移量。其中，所述预设数量帧图像为摄像头对目标降落中心点拍摄的相邻帧图像。
44.s40.根据所述预设数量帧图像，获得对应的预设数量的位置偏移量。
45.在本技术实施例中，对所述预设数量帧图像识别获得apriltag标签，计算所述无人机相对于所述预设数量帧图像的apriltag标签的位置偏移量，并对所述位置偏移量的计算过程进行计时。其中，所述计算过程的计时时长小于所述预设时长。
46.s50.利用二次指数平滑方法对所述预设数量的位置偏移量进行拟合，建立位置偏移量预测模型。
47.二次指数平滑法是对一次指数平滑值作再一次指数平滑的方法。它不能单独地进行预测，必须与一次指数平滑法配合，建立预测的数学模型，然后运用数学模型确定预测值。在本技术实施例中，利用二次指数平滑方法对所述预设数量的位置偏移量进行拟合，建立位置偏移量预测模型，所述位置偏移量预测模型用于预测计时时长大于预设时长的位置偏移量。
48.s60.根据所述位置偏移量预测模型，预测获得当前帧图像对应的位置偏移量。
49.在本技术实施例中，由于当前帧图像对应的位置偏移量的计算过程对应的计时时长超过预设时长，通过所述位置偏移量预测模型预测的位置偏移量作为为当前帧图像对应的位置偏移量，从而提高apriltag标签的识别效率。
50.s70.根据所述当前帧图像对应的位置偏移量，调整所述无人机的飞行速度，使所述无人机降落至所述目标降落中心点。
51.在本技术实施例中，在无人机降落过程中，对所有计算时长大于预设时长的位置偏移量进行替换，从而提高apriltag标签识别效率，使所述无人机降落至所述目标降落中心点更加连续。
52.应用本技术实施例，通过获取无人机对目标降落中心点拍摄的当前帧图像，并从所述当前帧图像中识别获得apriltag标签；其中，所述目标降落中心点设置有所述apriltag标签；计算所述无人机相对于所述apriltag标签的位置偏移量，并对所述位置偏移量的计算过程进行计时；若所述计算过程的计时时长超过预设时长，获取所述当前帧图像之前的预设数量帧图像；根据所述预设数量帧图像，获得对应的预设数量的位置偏移量；利用二次指数平滑方法对所述预设数量的位置偏移量进行拟合，建立位置偏移量预测模型；根据所述位置偏移量预测模型，预测获得当前帧图像对应的位置偏移量；根据所述当前帧图像对应的位置偏移量，调整所述无人机的飞行速度，使所述无人机降落至所述目标降落中心点。本发明实施例通过利用二次指数平滑方法对超过预设时长的偏移量计算进行模型预测偏移量值的替换，提高了apriltag标签识别效率，从而使无人机降落更具连续性。
53.在一个可选的实施例中，请参阅图2，所述步骤s10，包括s11～s14，具体如下：
54.s11.采用自适应阈值方法对所述当前帧图像进行分割，获得二值图像。
55.在本技术实施例中，采用自适应阈值进行图像分割，主要考虑了光照不均和黑暗照明对当前帧图像的影响，提高分割的准确性，而自适应阈值的主要思想就是在像素领域内寻找一个合理的阈值进行分割，选取灰度均值和中值。
56.s12.使用union-find方法查找所述二值图像的连通域，获得所述二值图像的轮廓。
57.通过自适应阈值后，得到一张二值图像，接下来就是要寻找可能组成apriltag标签的轮廓，由于连通域查找的简单方法就是计算二值图像中的黑白边缘，但是这样查找的连通域很容易出现两个apriltag标签公用一条边时导致连通域查找错误，因此采用了
union-find方法来求连通域，使得每个连通域都有一个唯一的id。其中，union-find即并查集，是解决动态连通性问题的一类非常高效的数据结构。
58.s13.对所述轮廓进行直线拟合，获得拟合四边形。
59.轮廓有了之后，对每一个轮廓进行分割，产生一个残差最小的凸四边形，作为apriltag标签位置的候选，首先对无序的轮廓点按照对重心的角度进行排序，然后就是按部就班的按照顺序选取距离中心点一定范围内的点进行直线拟合，不断迭代索引，计算每条直线的误差总和。对误差总和进行一个低通滤波，使系统更加鲁棒，然后选取误差总和最大的四条直线对应的角点索引作为四边形角点，然后取角点间的点拟合直线，获得拟合四边形。
60.s14.对所述拟合四边形进行编解码，识别获得所述apriltag标签。
61.利用apriltag编解码方法，先做透视校正，再找到apriltag标签的期望姿势和实际姿势之间的坐标转换，识别获得所述apriltag标签。
62.在本技术实施例中，由于识别的apriltag标签只有一个，可以减少四边形检测的阈值。具体地，通过对当前帧图像进行缩放，从而减少检测时间，提高apriltag标签识别方法的处理效率。
63.在一个可选的实施例中，请参阅图3，所述步骤s50，包括s51～s53，具体如下：
64.s51.将预设数量的位置偏移量进行编号，获得编号序列y
t
，t＝1，2，...，k；
65.s52.根据所述编号序列y
t
计算所述二次指数平滑方法的一次指数平滑序列和二次指数平滑序列
66.s53.根据所述一次指数平滑序列和所述二次指数平滑序列计算所述位置偏移量预测模型的参数a
t
和b
t
；
67.s54.建立位置偏移量预测模型：其中，l表示第k期，即l＝k，a
l
和b
l
分别表示l＝k时的参数，t是预测超前期数，是第l+t期的位置偏移量预测值。
68.在本技术实施例中，k值可以预设，例如，获取连续10帧图像对应的10个位置偏移量，第11帧图像(即当前帧图像)对应的位置偏移量的计时时长超过预设时长，将所述10个位置偏移量进行编号，获得编号序列y1，y2，...，y
10
。根据所述编号序列以及二次指数平滑方法，分别计算一次指数平滑序列和二次指数平滑序列即获得和获得所述一次指数平滑序列和所述二次指数平滑序列之后，可以计算所述位置偏移量预测模型的参数a
t
和b
t
，即获得a
10
和b
10
。根据所述参数a
t
和b
t
，从而建立位置偏移量预测模型：进而可以获得第11帧图像的位置偏移量为：
69.在一个可选的实施例中，通过以下公式计算所述一次指数平滑序列和二次指数平滑序列
[0070][0071][0072]
其中，a是预设的平滑系数，
[0073]
在本技术实施例中，令在本技术实施例中，令为第零期的一次指数平滑值，为第零期的二次指数平滑值，y1为第一个位置偏移量。例如，第1期的一次指数平滑预测值和二次指数平滑预测值计算为：
[0074][0075][0076]
从而，已知所述第零期的一次指数平滑值和所述第零期的二次指数平滑值，以及设定平滑系数a，可以计算出每期的一次指数平滑预测值和二次指数平滑预测值。
[0077]
在一个可选的实施例中，通过以下公式计算所述位置偏移量预测模型的参数a
t
和b
t
：
[0078][0079][0080]
在本技术实施例中，对于第1期的参数a1和b1，计算结果为：
[0081][0082][0083]
类似地，根据上述公式可以计算出每期位置偏移量预测模型的参数a1，a2，...，a
10
和b1，b2，...，b
10
，从而获得位置偏移量预测模型。
[0084]
在一个可选的实施例中，请参阅图4，所述步骤s60，包括s61～s62，具体如下：
[0085]
s61.根据所述位置偏移量预测模型，计算第k+1期的位置偏移量预测值；
[0086]
s62.将所述第k+1期的位置偏移量预测值作为当前帧图像对应的位置偏移量；其
中，通过以下公式计算所述第k+1期的位置偏移量预测值：
[0087][0088]
在本技术实施例中，根据位置偏移量预测模型，可以计算出第11期的位置偏移量预测值，即为：
[0089][0090]
在一个可选的实施例中，请参阅图5，所述步骤s70，包括s71～s72，具体如下：
[0091]
s71.将所述当前帧图像对应的位置偏移量与所述预设时长的比值作为无人机的降落速度；
[0092]
s72.根据所述降落速度，将无人机降落至所述无人机降落中心点。
[0093]
无人机的降落速度包括水平方向移动速度、竖直方向移动速度以及垂直方向降落速度，对无人机在所述水平方向、竖直方向和垂直方向的位置偏移量均采用二次指数平滑方法进行拟合，将所述当前帧图像对应的位置偏移量与所述预设时长的比值作为无人机的降落速度，根据所述降落速度，将无人机降落至所述无人机降落中心点，使无人机降落更连续。
[0094]
相应于上述方法实施例，请参阅图6，本发明实施例提供一种基于apriltag的无人机降落装置8，包括：
[0095]
当前帧图像获取模块81，用于获取无人机对目标降落中心点拍摄的当前帧图像，并从所述当前帧图像中识别获得apriltag标签；其中，所述目标降落中心点设置有所述apriltag标签；
[0096]
位置偏移量计算模块82，用于计算所述无人机相对于所述apriltag标签的位置偏移量，并对所述位置偏移量的计算过程进行计时；
[0097]
预设数量帧图像获取模块83，用于若所述计算过程的计时时长超过预设时长，获取所述当前帧图像之前的预设数量帧图像；
[0098]
位置偏移量获得模块84，用于根据所述预设数量帧图像，获得对应的预设数量的位置偏移量；
[0099]
模型建立模块85，用于利用二次指数平滑方法对所述预设数量的位置偏移量进行拟合，建立位置偏移量预测模型；
[0100]
位置偏移量预测模块86，用于根据所述位置偏移量预测模型，预测获得当前帧图像对应的位置偏移量；
[0101]
无人机降落模块87，用于根据所述当前帧图像对应的位置偏移量，调整所述无人机的飞行速度，使所述无人机降落至所述目标降落中心点。
[0102]
可选的，所述当前帧图像获取模块81，包括：
[0103]
图像分割单元812，用于采用自适应阈值方法对所述当前帧图像进行分割，获得二值图像；
[0104]
连通域查找单元814，用于使用union-find方法查找所述二值图像的连通域，获得所述二值图像的轮廓；
[0105]
直线拟合单元816，用于对所述轮廓进行直线拟合，获得拟合四边形；
[0106]
编解码单元818，用于对所述拟合四边形进行编解码，识别获得所述apriltag标签。
[0107]
可选的，所述模型建立模块85，包括：
[0108]
位置偏移量编号单元852，用于将预设数量的位置偏移量进行编号，获得编号序列y
t
，t＝1，2，...，k；
[0109]
指数平滑序列计算单元854，用于根据所述编号序列y
t
计算所述二次指数平滑方法的一次指数平滑序列和二次指数平滑序列
[0110]
参数计算单元856，用于根据所述一次指数平滑序列和所述二次指数平滑序列计算所述位置偏移量预测模型的参数a
t
和b
t
；
[0111]
模型建立单元858，用于建立位置偏移量预测模型：其中，l表示第k期，即l＝k，a
l
和b
l
分别表示l＝k时的参数，t是预测超前期数，是第l+t期的位置偏移量预测值。
[0112]
可选的，所述无人机降落模块87，包括：
[0113]
降落速度计算单元872，用于将所述当前帧图像对应的位置偏移量与所述预设时长的比值作为无人机的降落速度；
[0114]
无人机降落单元874，用于根据所述降落速度，将无人机降落至所述无人机降落中心点。
[0115]
应用本技术实施例，通过获取无人机对目标降落中心点拍摄的当前帧图像，并从所述当前帧图像中识别获得apriltag标签；其中，所述目标降落中心点设置有所述apriltag标签；计算所述无人机相对于所述apriltag标签的位置偏移量，并对所述位置偏移量的计算过程进行计时；若所述计算过程的计时时长超过预设时长，获取所述当前帧图像之前的预设数量帧图像；根据所述预设数量帧图像，获得对应的预设数量的位置偏移量；利用二次指数平滑方法对所述预设数量的位置偏移量进行拟合，建立位置偏移量预测模型；根据所述位置偏移量预测模型，预测获得当前帧图像对应的位置偏移量；根据所述当前帧图像对应的位置偏移量，调整所述无人机的飞行速度，使所述无人机降落至所述目标降落中心点。本发明实施例通过利用二次指数平滑方法对超过预设时长的偏移量计算进行模型预测偏移量值的替换，提高了apriltag标签识别效率，从而使无人机降落更具连续性。
[0116]
本技术还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述实施例的方法步骤。
[0117]
本技术还提供一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述实施例的方法步骤。
[0118]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。