一种用于无人机的航路高度估计方法及系统与流程

1.本发明涉及无人机航路高度测量的技术领域，尤其涉及一种用于无人机的航路高度估计方法及系统。


背景技术：

2.近年来，随着无人机的普及和深入日常生活，人们对无人机飞行的安全性要求也越来越高。感知无人机所处当前环境的信息和定位结果，对无人机航行、避障及着陆等应用发挥着重大作用。其中，航路高度数据作为定位数据中的一环，为无人机在不同位置的定位提供了尺度信息。
3.在现有的技术方案中，无人机的高度数据通常由气压计或超声探测仪进行获取。然而，气压计的方式只能得到无人机的绝对海拔高度和相对于起飞点的相对高度，无法获取航路中相对于地面的高度。另一方面，超声探测仪的探测距离有限，激光雷达成本高昂。


技术实现要素：

4.本发明的目的在于提供一种用于无人机的航路高度估计方法及系统，用以解决现有无人机高度估计成本高昂、无法直接得到无人机相对于地表的高度的问题。
5.一方面，本发明实施例提供了一种用于无人机的航路高度估计方法，包括以下步骤：
6.s1，通过机载视觉模块采集图像，获取图像序列和无人机的定位信息并基于像素位移聚类进行地面特征点的提取；
7.s2，基于定位位移和视觉像素位移对无人机进行高度估计；
8.s3，当视觉识别失败时，使用气压进行高度值补偿后执行s4，否则直接执行s4；
9.s4，构建高度队列并进行平滑处理，得到无人机相对于地面的高度值。
10.进一步的，所述s1还包括以下步骤：
11.s1-1，通过机载视觉模块采集地面图像，进行图像特征提取和匹配；
12.s1-2，计算每个特征点对之间的像素位移，并进行聚类；
13.s1-3，选取地面类别，获取地面类别中的特征点对。
14.进一步的，所述s1-3还包括以下步骤：
15.s1-3-1，计算各类别的聚类中心centerk和位移量
16.s1-3-2，根据位移量对各类别进行排序；
17.s1-3-3，进行类别合并，选取地面类别并根据地面类别获取其对应的特征点对。
18.进一步的，所述s1-3-2中，对各类别进行排序还包括：将位移量最小的对应类别标记为类别cluster_low，将将位移量最大的对应类别标记类别cluster_high，将剩余位移量的对应类别标记为类别cluster_mid。
19.进一步的，所述s1-3-3还包括：根据类别cluster_low的聚类中心center
low
与类别
cluster_high的聚类中心center
high
之间的距离d
lh
与之间的关系，以及类别cluster_low的聚类中心center
low
与类别cluster_mid的聚类中心center
mid
之间的距离d
lm
与之间的关系选取地面类别：
20.判断d
lh
与之间的关系，若则将所有类别合并作为地面类别；
21.若则进一步判断d
lm
与之间的关系，若则将类别cluster_low和类别cluster_mid合并作为地面类别；
22.若则将类别cluster_low作为地面类别。
23.进一步的，所述s1-3-3还包括：所述s2还包括以下步骤：
24.s2-1，获取单应矩阵h，并分解得到旋转分量r和平移分量t；
25.s2-2，基于无人机定位位置，获取无人机距离地面的高度。
26.进一步的，所述s1-3-3还包括：所述s2-2还包括：
27.s2-2-1，获取i-1时刻和i时刻的无人机卫星定位位置pos
i-1
和posi，本实施例中可以通过gps定位信息获取，并计算无人机位移：
28.shift
gps
＝pos
i-pos
i-1
29.其中，shift
gps
表示i-1时刻和i时刻之间的无人机位移；
30.s2-2-2，计算当前时刻无人机距离地面的高度，计算式为：
[0031][0032]
其中，hi为当前时刻无人机距离地面的高度，f
x
为相机焦距与像素大小的比值。
[0033]
进一步的，当s2中视觉识别失败时，获取相邻时刻的气压高度和其中，和分别为i时刻和i-1时刻的气压高度；
[0034]
计算相邻时刻的气压高度差δhi，
[0035]
根据相邻时刻的气压高度差δhi进行高度补偿：
[0036]hi
＝hi+δhi[0037]
其中，hi表示第i时刻无人机距离地面的高度，h
i-1
表示第i-1时刻无人机距离地面的高度。
[0038]
进一步的，所述s4还包括：构建高度队列heights，heights＝[h
i-n
,h
i-n+1
,...,hi]，高度队列heights中包含一段时间窗口内各时间点的高度估计结果，其中，n为时间窗口大小。
[0039]
对高度队列heights进行平滑处理，本实施例采用中值滤波法实现，即：
[0040]hil
＝median(heights)
[0041]
其中，h
il
表示最终估计得到的无人机相对于地面的高度值。
[0042]
另一方面，本发明实施例还提供了一种用于无人机的航路高度估计系统，包括：机载视觉模块、定位模块、气压计和处理模块；
[0043]
其中，机载视觉模块用于进行地面图像的采集；定位模块设置于无人机上，能够实时获取无人机的位置信息；气压计设置于无人机上，用于获取无人机飞机中各时刻的气压高度；处理模块能够接收机载视觉模块、定位模块和气压计的数据，并对其进行处理，得到无人机相对于地面的高度值。
[0044]
本发明的有益效果为：本发明提出的无人机航路高度估计方法，基于机载视觉系统和定位系统估计无人机相对于地面的高度值，并在视觉识别失败时，使用气压高度差进行高度值补偿，通过该方法可以直接得到无人机相对于地表的高度，且使用视觉的方式成本较低，具有更好地实用性。
附图说明
[0045]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0046]
图1为本发明实施例中提供的无人机航路高度估计方法的整体流程示意图；
[0047]
图2为本发明实施例中提供的无人机航路高度估计系统的整体结构示意图。
具体实施方式
[0048]
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
[0049]
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本技术的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
[0050]
本发明实施例中提供了一种用于无人机的航路高度估计方法，图1为该用于无人机的航路高度估计方法的整体流程示意图，如图1所示，该方法包括：
[0051]
s1，通过机载视觉模块采集图像，获取图像序列和无人机的定位信息并基于像素位移聚类进行地面特征点的提取；
[0052]
具体的，s1还包括以下步骤：
[0053]
s1-1，通过机载视觉模块采集地面图像，进行图像特征提取和匹配；
[0054]
其中，机载视觉模块设置于无人机上，机载视觉模块可以采用摄像头进行图像采集，本实施例中优选采用usbfhd01m摄像头模组。
[0055]
优选地，本实施例中机载视觉模块每秒采集10帧图像。
[0056]
设第i-1帧时刻和第i帧时刻的图像分别为img
i-1
和imgi，第i-1帧时刻与第i帧时刻为相邻时刻，获取到的各时刻图像数据为一个矩阵，其每个位置上的值为整数，整数范围
为[0，255]。
[0057]
对相邻时刻的图像img
i-1
和imgi进行特征点提取和匹配，得到匹配的特征点对的集合kps
i-1
和kpsi，其中，kps
i-1
＝{p1，p2，...，pm}，kpsi＝{q1，q2，...，qm}，m为匹配成功的特征点对的总数。
[0058]
其中，对于特征点对pj和qj，pj∈kps
i-1
，qj∈kpsi，且j∈[1，m]，且特征点pj和qj均为二维数组，分别表示i-1时刻和i时刻在x和y位置的像素坐标。
[0059]
优选地，本实施例采用orb特征提取算法和bruteforce-hamming(暴力汉明)匹配算法实现图像的特征点提取和匹配。
[0060]
s1-2，计算每个特征点对之间的像素位移，并进行聚类；
[0061]
具体的，特征点对pj和qj之间的像素位移sj的计算式为：
[0062]
sj＝q
j-pj[0063]
其中，sj表示特征点qj相对于特征pj点在x和y方向上的像素位移量，因此sj是一个2维向量。
[0064]
由于特征点对共有m对，因此能够计算得到m个像素位移sj，像素位移序列shifts满足：
[0065]
shifts＝[s1，s2，...，sm]
t
[0066]
其中，像素位移序列shifts为一个2
×
m的矩阵，上标t表示矩阵的转置。
[0067]
进一步的，对所有特征点对的像素位移进行聚类，将shifts分成n个类别，使用聚类算法进行聚类，本实施例中采用kmeans聚类算法。
[0068]
得到各类别的像素位移序列为：
[0069]
ss1，ss2，...，ssn＝kmeans(shifts，n)
[0070]
其中，kmeans()表示kmeans聚类算法处理，ssk表示第k个类别的像素位移序列，且k∈[1，n]，本实施例中n＝3。
[0071]
s1-3，选取地面类别，获取地面类别中的特征点对；
[0072]
具体的，步骤1-3还包括以下步骤，
[0073]
s1-3-1，计算各类别的聚类中心centerk和位移量计算式如下：
[0074]
centerk＝mean(ssk)
[0075][0076]
其中，mean()表示计算均值，
[0077]
表示计算模长。
[0078]
s1-3-2，根据位移量对各类别进行排序；
[0079]
具体的，将位移量最小的对应类别标记为类别cluster_low，将将位移量最大的对应类别标记类别cluster_high，将剩余位移量的对应类别标记为类别cluster_mid。
[0080]
s1-3-3，进行类别合并，选取地面类别并根据地面类别获取其对应的特征点对；
[0081]
具体的，分别计算类别cluster_low的聚类中心cluster
low
与类别cluster_high的聚类中心center
high
、类别cluster_mid的聚类中心center
mid
之间的距离，计算式如下：
[0082]
[0083][0084]
其中，d
lh
表示类别cluster_low的聚类中心center
low
与类别cluster_high的聚类中心center
high
之间的距离，d
lm
表示类别cluster_low的聚类中心center
low
与类别cluster_mid的聚类中心center
mid
之间的距离。
[0085]
根据d
lh
与之间的关系以及d
lm
与之间的关系选取地面类别，具体的：
[0086]
判断d
lh
与之间的关系，若则将所有类别合并作为地面类别；
[0087]
若则进一步判断d
lm
与之间的关系，若则将类别cluster_low和类别cluster_mid合并作为地面类别；
[0088]
若则将类别cluster_low作为地面类别。
[0089]
其中，表示类别cluster_low的聚类中心的位移量，表示类别cluster_loww聚类中心位移量的阈值，本实施例中取0.2。
[0090]
进一步的，根据选取的地面类别，获取地面类别中的特征点对，并记为kps_pairs。
[0091]
s2，基于定位位移和视觉像素位移对无人机进行高度估计；
[0092]
具体的，s2还包括以下步骤，
[0093]
s2-1，获取单应矩阵h，并分解得到旋转分量r和平移分量t；
[0094]
根据s1中得到的地面类别特征点对kps-pairs，使用4点法计算相邻两帧图像间的单应矩阵h，h∈r3×3，h＝[h1,h2,h3]，其中，h1、h2、h3分别表示单应矩阵h第1、2、3列向量，且h1、h2、h3均为3
×
1向量。
[0095]
若单应矩阵h为空，则表示该帧匹配失败；
[0096]
若单应矩阵h不为空，则对单应矩阵h进行位姿分解得到相机坐标系下的水平位移分量shift
pix
＝(x,y)。其中，x和y分别表示水平x和y方向上的位移大小。
[0097]
s2-2，基于无人机定位位置，获取无人机距离地面的高度。
[0098]
具体的，s2-2还包括以下步骤：
[0099]
s2-2-1，通过定位模块获取i-1时刻和i时刻的无人机卫星定位位置pos
i-1
和posi，本实施例中可以通过gps(全球定位系统)定位信息获取，并计算无人机位移：
[0100]
shift
gps
＝pos
i-pos
i-1
[0101]
其中，shift
gps
表示i-1时刻和i时刻之间的无人机位移。
[0102]
s2-2-2，计算第i时刻无人机距离地面的高度，计算式为：
[0103][0104]
其中，hi为第i时刻无人机距离地面的高度，f
x
为采集图像的相机焦距与像素大小的比值。
[0105]
s3，当视觉识别失败时，使用气压进行高度值补偿后执行s4，否则直接执行s4；
[0106]
其中，视觉识别失败包括：视野中能够得到地面图像特征点对数量小于阈值m，或
计算得到的单应矩阵h为空矩阵。
[0107]
具体的，当s1中获取到的地面图像特征点对的对数小于阈值m时，会导致s2的视觉识别失败，本实施例中m＝20。例如图像模糊、光线暗淡或位于缺乏纹理的区域等情况均可能导致视觉识别失败。
[0108]
进一步的，当s2中视觉识别失败时，需要先通过计算气压高度差对高度进行补偿，具体的，获取相邻时刻的气压高度和其中，和分别为i时刻和i-1时刻的气压高度，气压高度可以通过气压计获取。
[0109]
计算相邻时刻的气压高度差δhi，
[0110]
根据相邻时刻的气压高度差δhi进行高度补偿：
[0111]hi
＝h
i-1
+δhi[0112]
其中，hi表示第i时刻无人机距离地面的高度，h
i-1
表示第i-1时刻无人机距离地面的高度。
[0113]
s4，构建高度队列并进行平滑处理，得到无人机相对于地面的高度值。
[0114]
构建高度队列heights，heights＝[h
i-n
,h
i-n+1
,...,hi]，高度队列heights中包含一段时间窗口内各时间点的高度估计结果，其中，n为时间窗口大小。
[0115]
对高度队列heights进行平滑处理，本实施例采用中值滤波法实现，即：
[0116]hil
＝median(heights)
[0117]
其中，h
il
表示最终估计得到的无人机相对于地面的高度值。
[0118]
参照图2的示意，本发明还提出了一种用于无人机的航路高度估计系统，包括：机载视觉模块、定位模块、气压计和处理模块；
[0119]
其中，机载视觉模块用于进行地面图像的采集，机载视觉模块为摄像头，优选为usbfhd01m摄像头模组；定位模块设置于无人机上，能够实时获取无人机的位置信息，定位模块可以选用gps；气压计设置于无人机上，用于获取无人机飞机中各时刻的气压高度；处理模块能够接收机载视觉模块、定位模块和气压计的数据，并对其进行处理，得到无人机相对于地面的高度值。
[0120]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0121]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0122]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0123]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0124]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。