一种无人机飞行速度的测量方法及装置与流程

本发明涉及无人机技术领域，特别是涉及一种无人机飞行速度的测量方法及装置。

背景技术：

无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。一般情况下，采用gps定位系统与惯性测量系统相结合的方式来实现无人机的飞行控制，在无gps的情况下，则需要获取无人机的飞行速度来控制无人机的飞行状态。

目前，在无gps的情况下，借助安装于无人机底部的摄像头采集图像数据，然后采用金字塔光流算法或块匹配光流算法计算两帧图像的运动矢量，进而得到光流速度，最后根据高度测量传感器获取高度和光流速度即可计算得到无人机的飞行速度。

在现有技术中，块匹配方法最小只能测量一个像素的精度，当无人机以较低的速度移动时计算不出实际的飞行速度；金字塔光流算法适用于小运动，图像随时间的运动比较缓慢，当无人机以较高的速度移动时，计算速度缓慢，并且速度测量范围较小，无法满足实际应用情况。因此，如何更精确、更快地测量无人机飞行速度成为本领域技术人员要解决的技术问题。

技术实现要素：

本发明主要解决的技术问题是提供一种无人机飞行速度的测量方法及装置，实现更精确、计算速度更快的无人机飞行速度的测量。

为了解决上述技术问题，本发明包括以下技术方案：

提供一种无人机飞行速度的测量方法，所述方法包括：

s1：获取图像信息，并做灰度化处理，获取图像灰度图；

s2：采用金字塔光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度；

s3：更新图像灰度图，同时判断所述飞行速度是否大于第一阈值；

s4：当所述飞行速度大于第一阈值，转换至块匹配光流算法获取光流速度；反之，继续使用所述金字塔光流算法获取光流速度；

s5：根据步骤s4中所述光流速度和无人机的高度数据获取无人机的飞行速度；

s6：循环步骤s3-s5。

进一步地，所述步骤s3中的第一阈值由如下公式得出：

vmax＝hwnffps/f

其中，vmax为第一阈值；

h为无人机飞行的相对高度值；

w为金字塔光流算法测量的最大宽度；

n为单个像素的宽度；

ffps为图像频率；

f为图像传感器镜头的焦距值。

进一步地，所述步骤s4中块匹配光流算法获取光流速度的具体步骤为：

(1)获取前后两帧图像灰度图，从当前帧图像灰度图中随机选取待匹配块；

(2)根据匹配准则从后一帧图像灰度图内搜索与当前帧图像灰度图中所述待匹配块对应的搜索块，并获取所述搜索块相对于所述待匹配块的位置信息变化情况；

(3)进一步基于匹配准则以及所获取搜索块的位置信息找出待匹配块在后一帧图像灰度图中匹配度最好的匹配位置；

(4)根据匹配位置相对于待匹配块的位置信息变化情况得到光流向量，通过差分，获取光流速度。

进一步地，所述步骤(3)具体为：

将所述待匹配块和搜索块分别分割成对应的多个小像素块，分别对应建立以一个小像素块为中心的周围8个方向的搜索区域；

分别获取所述搜索块内所有小像素块与待匹配块中对应的小像素块的8个方向的灰度差值；

将所有小像素块对应的8个方向的灰度差值进行加权平均，得出灰度差值最大的方向，即为匹配位置相对于所述搜索块的偏移方向；

求取所述匹配位置相对于搜索块的水平方向偏移量以及垂直方向偏移量，从而获取匹配位置相对于待匹配块的位置信息变化情况。

进一步地，所述步骤s2中采用金字塔光流算法获取光流速度的具体步骤为：

对获取的前后两帧图像灰度图进行金字塔分层；

从当前帧图像灰度图中提取特征点；

根据所述当前帧图像灰度图的特征点从所述后一帧图像中搜索对应的特征点；

根据所述当前帧图像的最顶层图像的特征点和所述后一帧图像的最顶层图像相对应的特征点获取特征点在顶层图像层中的速度；

依次获取所述特征点在分层后其它各图层中的速度，金字塔最底层的图像层中的特征点速度即为光流速度。

进一步地，所述的无人机飞行速度的测量方法，步骤s2和s3之间还包括以下步骤：

判断图像频率是否满足预设条件，所述图像频率满足预设条件，则执行步骤s3。

进一步地，所述图像频率不满足预设条件时，还包括以下步骤：

a.更新图像灰度图，并进一步判断所述飞行速度是否大于第二阈值；

b.当所述飞行速度大于所述第二阈值，则使用金字塔光流算法获取光流速度；反之，则使用块匹配光流算法获取光流速度；

c.根据所述光流速度和无人机的高度数据获取无人机的飞行速度；

d.循环步骤a-c。

本发明还提供了一种无人机飞行速度的测量装置，包括：

图像传感器，用于获取图像；

高度传感器，用于采集无人机的相对高度数据；

处理器，与所述图像传感器/所述陀螺仪和所述高度测量仪均电性连接，所述处理器用于执行计算机指令以对图像传感器获取的图像信息进行灰度化处理，获取图像灰度图，采用金字塔光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度，更新图像灰度图，同时判断所述飞行速度是否大于第一阈值，当所述飞行速度大于第一阈值，转换至块匹配光流算法获取光流速度，反之，继续使用所述金字塔光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度。

进一步地，所述处理器判断图像频率是否满足预设条件，所述图像频率满足预设条件，更新图像灰度图，同时判断所述飞行速度是否大于第一阈值，当所述飞行速度大于第一阈值，转换至块匹配光流算法获取光流速度，反之，继续使用所述金字塔光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度。

进一步地，所述图像频率不满足预设条件时，更新图像灰度图，并进一步判断所述飞行速度是否大于第二阈值，当所述飞行速度大于所述第二阈值，则使用金字塔光流算法获取光流速度，反之，则使用块匹配光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度。

采用上述技术方案，包括以下有益效果：本发明采用金字塔光流算法和块匹配光流算法获取光流速度，对块匹配光流算法提出了改进，根据匹配准则进一步获取更精确的匹配位置，与现有技术相比，提高了块匹配光流算法的测量精度，并根据阈值选择更加适合的光流算法，提高了无人机飞行速度的测量精度和计算速度。

附图说明

图1为本发明第一实施例的无人机的飞行速度的测量方法的流程图；

图2为本发明第一实施例的依据块匹配光流算法获取光流速度的流程图；

图3为本发明第一实施例的待匹配块的示意图；

图4为本发明第一实施例的搜索块的示意图；

图5为本发明第一实施例的一个小像素块为中心的周围8个方向的搜索区域的示意图；

图6为本发明第二实施例的无人机的飞行速度的测量方法的流程图；

图7为本发明实施例的无人机的飞行速度的测量装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

除非另有说明，“多个”的含义为两个或两个以上。

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

实施例一：

图1为本发明实施例一提供的一种无人机的飞行速度的测量方法的流程图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法具体包括：

s110：获取图像信息，并做灰度化处理，获取图像灰度图。

其中，由图像传感器获取地面的实时图像信息，对获取的实时图像信息作灰度化处理，获取连续的图像灰度图。

s120：采用金字塔光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度。

需要说明的是，金字塔光流算法将二维速度场与灰度相联系，引入光流约束方程，得到光流计算的基本算法。基于物体移动的光学特性提出了两个假设：①运动物体的灰度在很短的间隔时间内保持不变；②时间连续或者运动是小运动，图像随时间的运动比较缓慢，实际中指的是时间变化相对图像中的运动的比例要足够小。基于上述两个假设的前提，使用金字塔光流算法计算光流速度存在以下问题：对无人机的飞行速度、图像频率以及处理器硬件有一定的要求，并且速度测量范围较小，当无人机的飞行速度过快，容易出现误差较大甚至完全错误的问题，而提高图像频率能够解决飞行速度过快时导致的误差或错误问题，但是同时会带来计算速度的问题，提高图像频率将导致处理器计算量增大，对处理器的硬件配置要求较高，无法实现低成本地准确测量。对于小运动，即无人机飞行速度较慢时，使用金字塔算法计算光流速度的准确度较高，实时性较强。

s130：更新图像灰度图，同时判断所述飞行速度是否大于第一阈值。

其中，飞行速度是步骤s120得到的飞行速度，此步骤用于判断下一图像灰度图采用何种光流算法获取光流速度。

s140：当所述飞行速度大于第一阈值，转换至块匹配光流算法获取光流速度，反之，继续使用所述金字塔光流算法获取光流速度。

其中，虽然金字塔光流算法计算光流速度准确度较高，实时性较强，但其具有一定的局限性，当无人机飞行速度过快时，实时性较差，而块匹配光流算法是光流算法中最为快速的一类方法，具有运算速度快、易实现等优点，但同时也存在运算不准确的缺点。在本实施例中根据第一阈值，选择更适合的光流算法获取光流速度。

s150：根据所述光流速度和无人机的高度数据获取无人机的飞行速度。

需要说明的是，当获取无人机的飞行速度后，将重复步骤s130至s150。获取无人机的飞行速度后，更新图像灰度图，并同时判断所述飞行速度是否大于第一阈值，假设获取的无人机飞行速度大于第一阈值，则使用块匹配光流算法获取光流速度，并根据所述光流速度和无人机的高度数据获取无人机的飞行速度；反之，则使用金字塔光流算法获取光流速度，最后根据获取的光流速度和无人机的高度数据获取无人机的飞行速度。

在本实施例中，所述步骤s130中的第一阈值由如下公式得出：

vmax＝hwnffps/f

其中，vmax为第一阈值；

h为无人机飞行的相对高度值，由高度传感器获取；

w为金字塔光流算法测量的最大宽度；

n为单个像素的宽度；

ffps为图像频率；

f为图像传感器镜头的焦距。

其中，第一阈值的大小与金字塔光流算法能够测量的最大范围有关，相关因素有无人机飞行的相对高度、图像分辨率、单个像素的宽度、图像频率、图像传感器镜头的焦距。例如，假设无人机飞行的相对高度为1m，图像分辨率为320*240，金字塔光流算法计算精度为0.1pix，测量的最大宽度为10pix，单个像素的宽度为3*10^-6m，图像频率为50hz，图像传感器镜头的焦距为2.6mm，在不进行降采样的情况下，

第一阈值的大小为vmax＝10*10*3*10^-6*50/28*10^-3≈0.58(m/s)，在其他条件不变、无人机飞行的相对高度为2m时，第一阈值的大小为1.16m/s，依次类推，可以得到不同的相对高度对应下的第一阈值大小。

需要说明的是，若图像进行降采样，则第一阈值的大小随之发生变化，变化的大小与降采样的变化相对应。

本实施例中，针对块匹配光流算法运算不准确的缺点提出如下解决方案，所述块匹配光流算法获取光流速度的具体步骤为：

s201：获取前后两帧图像灰度图，从当前帧图像灰度图中随机选取待匹配块。

其中，特征块可以为方形区域，也可以为其他形式的区域，在此不作限制。

s202：根据匹配准则从后一帧图像灰度图内搜索与当前帧图像灰度图中所述待匹配块对应的搜索块，并获取所述搜索块相对于所述待匹配块的位置信息变化情况。

其中，根据匹配准则在后一帧图像灰度图中给定的搜索范围内找出与所述待匹配块最为相似的一块，从而获取所述待匹配块在后一帧图像灰度图中对应的搜索块。

本实施例采用绝对误差和准则(sad算法)的匹配准则找到对应的特征块，也可以采用其他匹配准则，在此不做限制。

具体方法，如图3和图4所示，t时刻对应当前帧图像灰度图，在t’时刻对应后一帧图像灰度图，sad算法通过以下公式进行计算：

其中，g0为当前帧图像的灰度值，(i，j)为当前帧图像待匹配块中某一个像素点的x、y轴方向的坐标，g0(i，j)为当前帧图像待匹配块内部像素点的灰度值，m表示像素块的x轴方向像素点个数，n为像素块x轴方向的像素个数，g1为后一帧图像的灰度值，u表示x轴方向的搜索像素个数，v表示y轴方向上的像素个数，g1(i+u，j+v)为当前帧图像待匹配块投射到后一帧图像中相同位置后并沿x轴方向、y轴方向分别移动u、v像素的像素块中每一个像素点的灰度值。

其中，通过令当前帧图像的待匹配块在后一帧灰度图内搜索灰度差和最小，获取所述搜索块相对于所述待匹配块的位置信息变化情况。

需要说明的是，sad算法可通过采用汇编语言或者提高图像分辨率来提高sad算法的计算速度。sad算法还可通过降采样的方式达到更广的测量范围，尤其适合较高的飞机速度，确保测量数据的准确性和计算速度。

s203：将所述待匹配块和搜索块分别分割成对应的多个小像素块，分别对应建立以一个小像素块为中心的周围8个方向的搜索区域。

其中，如图4和图5所示，将所述待匹配块与搜索块分割成多个小像素块，取其中一个像素块s0，坐标为(i0，j0)，灰度值记为s0(i0，j0)，建立以像素块s0为中心的周围8个小像素块的搜索区域，搜索区域内各像素块灰度值为s1(i1，j1)、s2(i2，j2)，s3(i3，j3)、s4(i4，j4)、s5(i5，j5)、s6(i6，j6)、s7(i7，j7)和s8(i8，j8)。

s204：分别获取所述搜索块内所有小像素块与待匹配块中对应的小像素块的8个方向的灰度差值。

其中，以像素块s0在当前帧图像灰度图中的8个方向的灰度值为：

根据相同的方法得出，像素块s0在后一帧图像灰度图中的8个方向的灰度值为：

q’1、q’2、q’3、q’4、q’5、q’6、q’7、q’8；

像素块s0在当前帧图像与后一帧图像中各方向的灰度差值为qk＝q’k-qk，依次求出像素块s0在当前帧图像与后一帧图像中8个方向的灰度差值。

其中，依据上述方法分别获取所述搜索块内所有的小像素块与待匹配块中对应的小像素块的8个方向的灰度差值。

s205：将所有小像素块对应的8个方向的灰度差值进行加权平均，得出灰度差值最大的方向，即为匹配位置相对于所述搜索块的偏移方向。

其中，将所有小像素块对应的8个方向的灰度差值进行加权平均，最终得出灰度差值最大的一个方向。例如，求得的所有小像素块q1方向的灰度差值q1最大，则匹配位置整体向x轴负方向、y轴负方向移动。

s206：求取所述匹配位置相对于搜索块的水平方向偏移量以及垂直方向偏移量，从而获取匹配位置相对于待匹配块的位置信息变化情况。

其中，水平方向偏移量为所述小像素块水平方向的像素的一半，垂直方向偏移量为所述小像素块垂直方向的像素的一半。假设分割的小像素块分辨率为16x16，则匹配位置在水平方向的偏移量为16/2，在垂直方向上的偏移量为16/2。

s207：根据匹配位置相对于待匹配块的位置信息变化情况得到光流向量，通过差分，获取光流速度。

其中，根据s205步骤中得出的偏移方向，扣除或增加所述水平方向和垂直方向的偏移量，进一步提高块匹配光流算法的计算精度。承接上述举例，所述搜索块整体向x轴负方向、y轴负方向移动，得出搜索块整体向x轴负方向移动8个像素点，向y轴负方向移动8个像素点，即为匹配度最好的匹配位置，将所述待匹配块与搜索块的位置信息变化(u，v)扣除所述偏移量，得到光流向量(u-8，v-8)，通过差分，获得光流速度。

需要说明的是，本发明将所述待匹配块与搜索块进一步分割成多个小像素块，进一步基于匹配准则以及所获取搜索块的位置信息找出待匹配块在后一帧图像灰度图中匹配度最好的匹配位置，从而求得更精确的匹配位置，提高了块匹配光流算法的精确度。

在本实施例中，所述金字塔光流算法获取光流速度包括：

(1)对获取的前后两帧图像灰度图进行金字塔分层。

(2)从当前帧图像灰度图中提取特征点。

其中，求取金字塔分层后位于金字塔塔顶的当前帧图像的顶层图像曾中各像素沿图像x轴和图像y轴的灰度值，并利用harris角点算法、sift特征点检测算法或者fast特征点检测算法从当前帧图像中提取特征点，其中，特征点理解为与相邻像素点相比灰度发生明显变化的像素点。

(3)根据所述当前帧图像灰度图的特征点从所述后一帧图像中搜索对应的特征点。

(4)根据所述当前帧图像的最顶层图像的特征点和所述后一帧图像的最顶层图像相对应的特征点获取特征点在顶层图像层中的速度。

(5)依次获取所述特征点在分层后其它各图层中的速度，金字塔最底层的图像层中的特征点速度即为光流速度。

需要说明的是，金字塔光流算法计算光流速度采用现有的计算算法，优选lk光流改进算法。

本发明实施例提供了一种无人机飞行速度的测量方法，采用金字塔光流算法和块匹配光流算法获取光流速度，对块匹配光流算法提出了改进，根据匹配准则进一步获取更精确的匹配位置，与现有技术相比，提高了块匹配光流算法的测量精度，并根据第一阈值选择更加适合的光流算法，提高了无人机飞行速度的测量精度和计算速度。

实施例二：

由于金字塔光流算法的计算量大，图像频率或处理器也会影响金字塔光流算法获取光流速度的速度。当频率达到一定的阈值，采用金字塔光流算法计算的光流速度的延时就会比较长，计算速度会变慢。在没有gps的情况下，依靠飞行速度实现无人机的定位时，延时较长，将会严重影响无人机的定位准确性。

本实施例针对上述问题，在实施例一的基础上提出如下解决方案，图7为本发明实施例二提供的一种无人机的飞行速度的测量方法的流程图，具体包括：

获取图像信息，并做灰度化处理，获取图像灰度图；

采用金字塔光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度；

判断图像频率是否满足预设条件，所述图像频率满足预设条件，则更新图像灰度图，同时判断所述飞行速度是否大于第一阈值；

当所述飞行速度大于第一阈值，转换至块匹配光流算法获取光流速度，反之，继续使用所述金字塔光流算法获取光流速度；

根据所述光流速度和无人机的高度数据获取无人机的飞行速度。

其中，所述图像频率满足预设条件，则达到了金字塔光流算法对计算速度的要求，但是金字塔光流算法还需要满足运动是小运动条件，则进一步，更新图像灰度图，同时判断所述飞行速度是否在设定的第一阈值范围内。

其中，所述预设条件为图像频率小于频率阈值，频率阈值的大小与金字塔光流算法的计算速度密切相关，所述频率阈值的计算公式为

fmax＝1/t

fmax为频率阈值；

t为金字塔光流算法计算光流速度所花的时间。

例如，假设图像分辨率为320*240，所述处理器型号为高通骁龙810，金字塔分层为3层，提取的特征点数目为10个。经实验，在上述条件下，使用金字塔光流算法获取光流速度的时间为20ms，则频率阈值fmax的大小为50hz。

在本实施例中，所述图像频率不满足预设条件时，还包括以下步骤：

a.更新图像灰度图，并同时判断所述飞行速度是否大于第二阈值；

b.当所述飞行速度大于第二阈值，则使用金字塔光流算法获取光流速度；反之，则使用块匹配光流算法获取光流速度；

c.根据所述光流速度和无人机的高度数据获取无人机的飞行速度；

d.循环步骤a-c。

其中，当图像频率不满足预设条件，则判断所述飞行速度是否大于第二阈值，块匹配光流算法具有运算速度快的优势，当图像频率过大时，采用块匹配光流算法计算速度会比金字塔光流算法快很多，但同时块匹配光流算法具有计算不够精确的缺点，设定的第二阈值为块匹配光流算法能够计算准确的最大范围，超过第二阈值使用块匹配光流算法准确度大大下降，虽然此时使用金字塔光流算法实时性上会略低，但其准确性会比块匹配光流算法高很多。

其中，第二阈值的具体计算公式为

v0＝hwmnffps/f

其中，v0为第二阈值；

h为无人机飞行的相对高度值，由高度传感器获取；

wm为块匹配光流算法测量的最大宽度；

n为单个像素的宽度；

ffps为图像频率；

f为图像传感器镜头的焦距。

具体的，第二阈值的大小与无人机飞行的相对高度、块匹配光流算法可测量的最大宽度、单个像素的宽度、图像频率、图像传感器镜头的焦距相关。例如，假设无人机飞行的相对高度为1m，块匹配光流算法测量的最大宽度为4.5pix，单个像素的宽度为3*10^-6m，图像频率为50hz，图像传感器镜头的焦距为2.6mm，在不进行降采样处理的情况下，

第二阈值的大小为v0＝1*4.5*3*10-6*50/2.6*10^-3≈0.26(m/s)。在其他条件不变、无人机飞行的相对高度为2m时，第二阈值的大小为0.52m/s，依次类推，可以得到不同的相对高度对应下的第二阈值大小。

需要说明的是，若图像进行降采样，则第一阈值的大小随之发生变化，变化的大小与降采样的变化相对应。

实施例三：

本实施例提供了一种无人机飞行速度的测量装置，包括：

图像传感器，用于获取图像；

高度传感器，用于采集无人机的高度数据；

处理器，与所述图像传感器/所述陀螺仪和所述高度测量仪均电性连接，所述处理器用于执行计算机指令以对图像传感器获取的图像信息进行灰度化处理，获取图像灰度图，采用金字塔光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度，更新图像灰度图，同时判断所述飞行速度是否大于第一阈值，当所述飞行速度大于第一阈值，转换至块匹配光流算法获取光流速度，反之，继续使用所述金字塔光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度。

在本实施例中，所述处理器判断图像频率是否满足预设条件，所述图像频率满足预设条件，更新图像灰度图，同时判断所述飞行速度是否大于第一阈值，当所述飞行速度大于第一阈值，转换至块匹配光流算法获取光流速度，反之，继续使用所述金字塔光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度。

在本实施例中，所述图像频率不满足预设条件时，更新图像灰度图，并进一步判断所述飞行速度是否大于第二阈值，当所述飞行速度大于所述第二阈值，则使用金字塔光流算法获取光流速度；反之，则使用块匹配光流算法获取光流速度，根据所述光流速度和无人机的高度数据获取无人机的飞行速度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。