障碍物识别方法、设备及无人飞行器与流程

本发明涉及无人飞行器技术领域，特别是涉及一种障碍物识别方法、设备及无人飞行器。

背景技术：

无人机是一种有动力、可控制、能携带多种任务设备、执行多种任务并能重复使用的飞行器。能够利用无线遥控设备和自身的控制装置进行控制的不载人飞行器，例如无人直升机、无人固定翼机、无人伞翼机等等。该无人机可以用于挂载拍摄装置，用于航拍、测绘、侦查等等。

目前，随着无人机应用越来越普及，常常发生人为操作失误而导致无人机与飞行场所内的障碍物发生碰撞的事故，为此人们越来越关注无人机的避障技术。现有技术中的无人机避障技术大多采用红外传感测距避障、超声波测距避障和视觉避障等技术，其中，红外传感测距避障技术在遇到玻璃或镜面反射时效果很差，超声波测距避障则只是用于距离较近的情况，而且超声波受到环境干扰的可能性很大。在视觉避障方面，对比文件1（cn105787447a）公开一种无人机基于双目视觉的全方位避障的方法及系统。无人机四周均布设有双目摄像装置，并且所述双目摄像装置实时拍摄，其使用至少8个相机，一方面耗电量高，另一方面对处理器芯片的运算能力要求和硬件设施的散热性能要求都相当高。而且，现有技术中采用双目摄像装置时并未考虑遮挡物出现等情况，对障碍物判断未必准确。另外，采用双目摄像装置其成本也较高，芯片运算量还是较大，尤其是无人飞行器飞行时电源能耗大，影响了无人飞行器在飞行时的续航时间。

技术实现要素：

本发明正是基于以上一个或多个问题，提供一种障碍物识别方法、设备及无人飞行器，用以解决现有技术中存在成本高、芯片运算量大以及无人飞行器飞行时续航时间短的技术问题。

本发明提供一种障碍物识别方法，所述障碍物识别方法主要包括以下步骤：

s1控制单目摄像机在第一时刻拍摄包括障碍物的场景的第一图像；

s2控制所述单目摄像机在第二时刻拍摄包括障碍物的场景的第二图像，其中，所述第二时刻与所述第一时刻的时间间隔小于预设阈值；

s3对所述第一图像的每一第一特征点，获取所述第二图像与所述第一图像的每一第一特征点一一相匹配的第二特征点，形成多个匹配点对；

s4针对每一匹配点对，分别构建基础矩阵和本征矩阵；

s5分解各所述本征矩阵获得相应的旋转矩阵，并依据各所述旋转矩阵获得相应的投影矩阵；

s6依据各所述投影矩阵，获得各匹配点对的空间坐标，之后整合各匹配点对的空间坐标，重建所述障碍物的三维图像。

优选地，所述步骤s3具体包括：

s31构建所述第一图像与第二图像各图层的尺度空间，并检测第一图像的第一极值点和第二图像的第二极值点；

s32以所述第一极值点作为所述第一特征点，所述第二极值点作为所述第二特征点；

s33滤除不符合预设条件的第一特征点与第二特征点，定位符合所述预设条件的第一特征点与第二特征点；

s34对符合预设条件的第一特征点与第二特征点，提取特征描述符，并为所述第一特征点与所述第二特征点分配方向值；

s35生成各所述第一特征点与各所述第二特征点的描述子；

s36依据所述描述子，确定各所述第一特征点与相对应的第二特征点，生成匹配点对。

优选地，所述步骤s31具体包括以下步骤：

s311将所述第一图像不同图层的尺度空间与所述第二图像不同图层的尺度空间构成高斯金字塔；

s312构建dog尺度空间；

s313在所述dog尺度空间下检测所述极值点。

优选地，所述步骤s33具体为：滤除对比度低于预设对比度阈值和边缘效应不稳定的第一特征点与第二特征点，定位对比度高于所述预设阈值和不受边缘效应影响的第一特征点与第二特征点。

优选地，所述步骤s35具体包括：

s351建立一个坐标轴，然后将坐标轴旋转为第一特征点的方向或所述第二特征点的方向；

s352选择一个以所述第一特征点或第二特征点为中心的16×16的窗口，将所述第一特征点或所述第二特征点周围16×16的窗口分解为16个4*4的子窗口，在每个4*4的子窗口中，计算出梯度的大小和方向，并用一具有8个方向的梯度方向直方图来统计子窗口的平均方向，获得128个方向数据；

s352将所述128个方向数据组成的向量进行单位化，单位化后的128维向量即为所述特征描述子。

优选地，所述步骤s5具体包括：

s51将所述本征矩阵用奇异值分解得到旋转矩阵和平移向量；

s52判断所述旋转矩阵的有效性，当所述旋转矩阵的行列式为1且所述旋转矩阵的主对角线上的三个元素接近1时，所述旋转矩阵有效；

s53依据各有效的所述旋转矩阵获得相应的投影矩阵。

本发明还提供一种障碍物识别设备，其中，所述障碍物识别设备包括：

第一拍摄模块，用于控制单目摄像机在第一时刻拍摄包括障碍物的场景的第一图像；

第二拍摄模块，用于控制所述单目摄像机在第二时刻拍摄包括障碍物的场景的第二图像，其中，所述第二时刻与所述第一时刻的时间间隔小于预设阈值；

特征点匹配模块，用于对所述第一图像的每一第一特征点，获取所述第二图像与所述第一图像的每一第一特征点一一相匹配的第二特征点，形成多个匹配点对；

矩阵构建模块，用于针对每一匹配点对，分别构建基础矩阵和本征矩阵；

投影矩阵获得模块，用于分解各所述本征矩阵获得相应的旋转矩阵，并依据各所述旋转矩阵获得相应的投影矩阵；

三维图像重建模块，用于依据各所述投影矩阵，获得各匹配点对的空间坐标，之后整合各匹配点对的空间坐标，重建所述障碍物的三维图像。

优选地，所述特征点匹配模块进一步包括：

极值点检测单元，用于构建所述第一图像与第二图像各图层的尺度空间，并检测第一图像的第一极值点和第二图像的第二极值点；

特征点生成单元，用于以所述第一极值点作为所述第一特征点，所述第二极值点作为所述第二特征点；

滤波单元，用于滤除不符合预设条件的第一特征点与第二特征点，定位符合所述预设条件的第一特征点与第二特征点；

特征描述符提取单元，用于对符合预设条件的第一特征点与第二特征点，提取特征描述符，并为所述第一特征点与所述第二特征点分配方向值；

描述子生成单元，用于生成各所述第一特征点与各所述第二特征点的描述子；

匹配点对生成单元，用于依据所述描述子，确定各所述第一特征点与相对应的第二特征点，生成匹配点对。

本发明还提供一种障碍物识别设备，其中，所述障碍物识别设备包括处理器和存储器以及单目摄像机，所述处理器控制所述障碍物识别设备，所述存储器存储一段可被所述处理器执行的程序指令，所述单目摄像机拍摄包括障碍物的场景生成图像，其中，所述处理器调用所述存储器存储的程序指令以执行以下步骤：

s1控制单目摄像机在第一时刻拍摄包括障碍物的场景的第一图像；

s2控制所述单目摄像机在第二时刻拍摄包括障碍物的场景的第二图像，其中，所述第二时刻与所述第一时刻的时间间隔小于预设阈值；

s3对所述第一图像的每一第一特征点，获取所述第二图像与所述第一图像的每一第一特征点一一相匹配的第二特征点，形成多个匹配点对；

s4针对每一匹配点对，分别构建基础矩阵和本征矩阵；

s5分解各所述本征矩阵获得相应的旋转矩阵，并依据各所述旋转矩阵获得相应的投影矩阵；

s6依据各所述投影矩阵，获得各匹配点对的空间坐标，之后整合各匹配点对的空间坐标，重建所述障碍物的三维图像。

本发明进一步提供一种无人飞行器，所述无人飞行器包括一种障碍物识别设备，所述障碍物识别设备至少包括：

第一拍摄模块，用于控制单目摄像机在第一时刻拍摄包括障碍物的场景的第一图像；

第二拍摄模块，用于控制所述单目摄像机在第二时刻拍摄包括障碍物的场景的第二图像，其中，所述第二时刻与所述第一时刻的时间间隔小于预设阈值；

特征点匹配模块，用于对所述第一图像的每一第一特征点，获取所述第二图像与所述第一图像的每一第一特征点一一相匹配的第二特征点，形成多个匹配点对；

矩阵构建模块，用于针对每一匹配点对，分别构建基础矩阵和本征矩阵；

投影矩阵获得模块，用于分解各所述本征矩阵获得相应的旋转矩阵，并依据各所述旋转矩阵获得相应的投影矩阵；

三维图像重建模块，用于依据各所述投影矩阵，获得各匹配点对的空间坐标，之后整合各匹配点对的空间坐标，重建所述障碍物的三维图像。

本发明提供的障碍物识别方法、装置及无人飞行器，具有运算量少，障碍物辨识清晰度高，续航时间长的优点。

附图说明

图1是本发明实施例一的障碍物识别方法的流程示意图；

图2是图1中步骤s3的详细流程示意图；

图3是本发明实施例二的障碍物识别设备的结构示意图；

图4是本发明实施例三的障碍物识别设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。

实施例一

如图1所示，本发明提供一种障碍物识别方法，所述障碍物识别方法主要包括以下步骤：

s1控制单目摄像机在第一时刻拍摄包括障碍物的场景的第一图像；

s2控制所述单目摄像机在第二时刻拍摄包括障碍物的场景的第二图像，其中，所述第二时刻与所述第一时刻的时间间隔小于预设阈值；这里的预设阈值可以依据无人飞行器的飞行速度来确定，当飞行速度较低时，拍摄两幅图像的场景变化可忽略的时间间隔最大值作为预设阈值；

s3对所述第一图像的每一第一特征点，获取所述第二图像与所述第一图像的每一第一特征点一一相匹配的第二特征点，形成多个匹配点对；

s4针对每一匹配点对，分别构建基础矩阵和本征矩阵；具体来说，首先，根据正确匹配的点对集求解基础矩阵f；

基础矩阵f将一幅图像中的点p和另外一幅图像中的匹配点q结合起来，并且满足qtfp=0，当有很多正确的匹配点对（p,q）时，上述方程即为一个超定方程组，采用最小二乘即可求解出基础矩阵f；

其次，根据基础矩阵f和相机内参矩阵k求解本征矩阵e；基础矩阵和本征矩阵满足如下关系式：f=ktek，k为标定出的相机内参矩阵，则可以由相机内参矩阵k和基础矩阵f求解出相机本征矩阵e；

s5分解各所述本征矩阵获得相应的旋转矩阵，并依据各所述旋转矩阵获得相应的投影矩阵；具体来说，根据本征矩阵e用奇异值（singularvaluedecomposition，svd）分解得到旋转矩阵r和平移向量t，检查旋转矩阵r是否有效，这里判断旋转矩阵的有效性可以利用旋转矩阵r的特性来判断，即旋转矩阵的行列式为1，并且主对角线上的三个元素接近1，满足这两个特征即可以认为是有效的旋转矩阵。

之后，再根据得到的有效旋转矩阵构造投影矩阵p和p'。

s6依据各所述投影矩阵，获得各匹配点对的空间坐标，之后整合各匹配点对的空间坐标，重建所述障碍物的三维图像。具体来说，设（u,v）为空间点在物理成像平面中的坐标，则u=(u1,v1,1)和u'=(u2,v2,1)为空间点在物理成像平面中的匹配点对的两个齐次坐标，xw=(x,y,z)为该点的空间坐标。由此可得线性方程组：u=pxw和u'=p'xw，通过求解该线性方程组，得到xw的坐标值。对所有匹配点对应的空间点坐标进行求解，再将这些点进行整合，即可得到对障碍物的三维重建。

本发明提供的障碍物识别方法，可以用于对三维空间内障碍物的识别，进而控制无人飞行器采取各种有效的避障措施。其只需要使用一个摄像头，简化了无人飞行器的结构。通过一个摄像头在较短时间内、不同位置上拍摄两幅图像的方式，模拟两个摄像头在不同位置同时拍摄两幅图像的情形。由于采用单目摄像机，具有成本低廉，运算量少，障碍物辨识清晰度高，续航时间长的优点。

如图2所示，在一个具体实施例中，本发明的障碍物识别方法中的所述步骤s3具体包括：

s31构建所述第一图像与第二图像各图层的尺度空间，并检测第一图像的第一极值点和第二图像的第二极值点；

s32以所述第一极值点作为所述第一特征点，所述第二极值点作为所述第二特征点；

s33滤除不符合预设条件的第一特征点与第二特征点，定位符合所述预设条件的第一特征点与第二特征点；

s34对符合预设条件的第一特征点与第二特征点，提取特征描述符，并为所述第一特征点与所述第二特征点分配方向值；

s35生成各所述第一特征点与各所述第二特征点的描述子；

s36依据所述描述子，确定各所述第一特征点与相对应的第二特征点，生成匹配点对。

具体来说，所述步骤s3采用sift特征点匹配，包括以下步骤：

第一步：构建尺度空间，检测极值点，其中包括3个步骤：

（1）构建高斯金字塔

设i(x,y)是原始图像，g(x,y,σ)是尺度空间可变的高斯函数，则一个图像的一层尺度空间可以定义为

l(x,y,σ)=g(x,y,σ)∗i(x,y)

其中，∗表示的是卷积运算，σ表示尺度空间的大小，σ越大则表示越模糊，表示图像的概貌，σ越小则表示越清晰，表示图像的细节。选择不同的σ值，就可以得到不同的尺度空间层，这些不同层的尺度空间就构成了高斯金字塔。

（2）构建dog（differenceofgaussian）尺度空间

高斯金字塔构建成功后，将每一组相邻的两层相减就可以得到dog尺度空间。dog的表达式定义为：d(x,y,σ)=l(x,y,kσ)-l(x,y,σ)。

（3）在dog尺度空间下检测极值点

将每一个采样点与它所有的相邻点比较，这些相邻点不仅包括与该点同层的8个点，还包括其上层和下层各9个像素点，从而可以确保能够检测到极值点。如果该检测点的像素值为最大值或者最小值，则该点为图像在该尺度下的一个候选极值点。

第二步：特征点过滤以及精确定位

由于计算机中存储的图像数据是离散的，之前所找到的极值点也就是在离散空间中获得的极值点，所以有些极值点并非真实的极值点，如一些低对比度的特征点和不稳定的边缘响应点，需要剔除掉这两种不符合要求的点，以提高准确性。

（1）滤除低对比度的特征点

将dog尺度空间函数做二阶泰勒级数展开，如下所示

令上式对x的偏导数为0，得到一个修正值x1，再将x1带入上式得到d(x1),若d(x1)的绝对值小于一定阈值，则该极值点为无效极值点，该阈值通常设为0.03。

（2）去除不稳定的边缘响应点

dog算子会产生较强的边缘响应，需要剔除不稳定的边缘响应点。获取特征点处的hessian矩阵，主曲率通过一个2x2的hessian矩阵h求出：

设该矩阵的两个特征值a和b分别表示x和y方向的梯度，且a=rb，则有：

t(h)=dxx+dyy=a+b

det(h)=dxxdyy-(dxy)2=ab

[t(h)]2/det(h)=(a+b)2/ab=(r+1)2/r

r越大，表示该特征点越有可能在边缘，一般令r取10，则当[t(h)]2/det(h)小于12.1时，该特征点为有效特征点。

第三步：提取特征描述符，为特征点分配方向值

对上面提取的每个有效特征点，围绕该有效特征点选择一个以3×1.5σ为半径的圆形窗口，窗口内各采样点的梯度方向构成一个方向直方图，直方图的横轴是梯度的方向，纵轴为梯度方向对应梯度幅值的累加值，直方图中最高峰所对应的方向即为特征点的方向。

第四步：生成特征描述子

首先将坐标轴旋转为特征点的方向，选择一个以特征点为中心的16×16的窗口，将特征点周围16*16的窗口分解为16个4*4的子窗口，在每个4*4的子窗口中，计算出梯度的大小和方向，并用一个8个方向的梯度方向直方图来统计子窗口的平均方向，最后获得4*4*8即128个数据，然后将这128个数组成的向量进行单位化，单位化后的128维向量就是sift的特征描述子，即特征向量。

第五步：确定匹配点

当第一图像与第二图像的特征向量（特征描述子）生成以后，从一幅图像中取出某个关键点，通过遍历找到另一幅图中与该点距离最近的两个关键点。这个距离采用欧式距离即两点之间的真实距离。在这两个关键点中，比较最近邻距离与次近邻距离的方法，距离比率ratio小于某个阈值的认为是正确匹配，这里可以令ratio=0.5。

优选地，所述步骤s31具体包括以下步骤：

s311将所述第一图像不同图层的尺度空间与所述第二图像不同图层的尺度空间构成高斯金字塔；

s312构建dog尺度空间；

s313在所述dog尺度空间下检测所述极值点。

优选地，所述步骤s33具体为：滤除对比度低于预设对比度阈值和边缘效应不稳定的第一特征点与第二特征点，定位对比度高于所述预设阈值和不受边缘效应影响的第一特征点与第二特征点。

优选地，所述步骤s35具体包括：

s351建立一个坐标轴，然后将坐标轴旋转为第一特征点的方向或所述第二特征点的方向；

s352选择一个以所述第一特征点或第二特征点为中心的16×16的窗口，将所述第一特征点或所述第二特征点周围16×16的窗口分解为16个4*4的子窗口，在每个4*4的子窗口中，计算出梯度的大小和方向，并用一具有8个方向的梯度方向直方图来统计子窗口的平均方向，获得128个方向数据；

s352将所述128个方向数据组成的向量进行单位化，单位化后的128维向量即为所述特征描述子。

优选地，所述步骤s5具体包括：

s51将所述本征矩阵用奇异值分解得到旋转矩阵和平移向量；

s52判断所述旋转矩阵的有效性，当所述旋转矩阵的行列式为1且所述旋转矩阵的主对角线上的三个元素接近1时，所述旋转矩阵有效；

s53依据各有效的所述旋转矩阵获得相应的投影矩阵。

此外，对单目摄像机在使用前，可先进行标定。这种标定方法是将单目摄像机处于不同的位置，采用张氏棋盘标定法，分别得到摄像机在不同位置时的内参、外参和畸变参数。

实施例二

如图3所示，本发明还提供一种障碍物识别设备，其中，所述障碍物识别设备包括：

第一拍摄模块10，用于控制单目摄像机在第一时刻拍摄包括障碍物的场景的第一图像；

第二拍摄模块20，用于控制所述单目摄像机在第二时刻拍摄包括障碍物的场景的第二图像，其中，所述第二时刻与所述第一时刻的时间间隔小于预设阈值；

特征点匹配模块30，用于对所述第一图像的每一第一特征点，获取所述第二图像与所述第一图像的每一第一特征点一一相匹配的第二特征点，形成多个匹配点对；

矩阵构建模块40，用于针对每一匹配点对，分别构建基础矩阵和本征矩阵；

投影矩阵获得模块50，用于分解各所述本征矩阵获得相应的旋转矩阵，并依据各所述旋转矩阵获得相应的投影矩阵；

三维图像重建模块60，用于依据各所述投影矩阵，获得各匹配点对的空间坐标，之后整合各匹配点对的空间坐标，重建所述障碍物的三维图像。

本发明提供的障碍物识别设备，可以用于对三维空间内障碍物的识别，进而控制无人飞行器采取各种有效的避障措施。其只需要使用一个摄像头，简化了无人飞行器的结构。通过一个摄像头在较短时间内、不同位置上拍摄两幅图像的方式，模拟两个摄像头在不同位置同时拍摄两幅图像的情形。由于采用单目摄像机，具有成本低廉，运算量少，障碍物辨识清晰度高，续航时间长的优点。

优选地，所述特征点匹配模块进一步包括：

极值点检测单元，用于构建所述第一图像与第二图像各图层的尺度空间，并检测第一图像的第一极值点和第二图像的第二极值点；

特征点生成单元，用于以所述第一极值点作为所述第一特征点，所述第二极值点作为所述第二特征点；

滤波单元，用于滤除不符合预设条件的第一特征点与第二特征点，定位符合所述预设条件的第一特征点与第二特征点；

特征描述符提取单元，用于对符合预设条件的第一特征点与第二特征点，提取特征描述符，并为所述第一特征点与所述第二特征点分配方向值；

描述子生成单元，用于生成各所述第一特征点与各所述第二特征点的描述子；

匹配点对生成单元，用于依据所述描述子，确定各所述第一特征点与相对应的第二特征点，生成匹配点对。

实施例三

如图4所示，本发明还提供一种障碍物识别设备，其中，所述障碍物识别设备包括处理器100和存储器300以及单目摄像机200，所述处理器100控制所述障碍物识别设备，所述存储器300存储一段可被所述处理器执行的程序指令，所述单目摄像机200拍摄包括障碍物的场景生成图像，其中，所述处理器100调用所述存储器300存储的程序指令以执行以下步骤：

s1控制单目摄像机在第一时刻拍摄包括障碍物的场景的第一图像；

s2控制所述单目摄像机在第二时刻拍摄包括障碍物的场景的第二图像，其中，所述第二时刻与所述第一时刻的时间间隔小于预设阈值；

s3对所述第一图像的每一第一特征点，获取所述第二图像与所述第一图像的每一第一特征点一一相匹配的第二特征点，形成多个匹配点对；

s4针对每一匹配点对，分别构建基础矩阵和本征矩阵；

s5分解各所述本征矩阵获得相应的旋转矩阵，并依据各所述旋转矩阵获得相应的投影矩阵；

s6依据各所述投影矩阵，获得各匹配点对的空间坐标，之后整合各匹配点对的空间坐标，重建所述障碍物的三维图像。

本发明提供的障碍物识别设备，可以用于对三维空间内障碍物的识别，进而控制无人飞行器采取各种有效的避障措施。其只需要使用一个摄像头，简化了无人飞行器的结构。通过一个摄像头在较短时间内、不同位置上拍摄两幅图像的方式，模拟两个摄像头在不同位置同时拍摄两幅图像的情形。由于采用单目摄像机，具有成本低廉，运算量少，障碍物辨识清晰度高，续航时间长的优点。

此外，本发明还提供一种具有上述障碍物识别设备的无人飞行器，由于采用单目摄像机，具有成本低廉，运算量少，障碍物辨识清晰度高，续航时间长的优点。

以上对本发明所提供的一种障碍物识别方法、设备及无人飞行器，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。不应理解为对本发明的限制。