一种无人机避障方法及系统与流程

本发明属于无人机技术领域，尤其涉及一种无人机避障方法及系统。

背景技术：

无人机(Unmanned Aerial Vehicle,简称UAV)以其重量轻、体积小、飞行灵活、价格便宜等优点，被广泛的应用于航空拍摄、资源勘探、地图测绘、货物运输、城市安全之中。然而，随着无人机的普及，一些安全问题也随之而来，无人机躲避障碍的能力十分重要，它不仅能保障无人机飞行的安全，更在一定程度上提高了无人机的智能化。完善实用的自主避障系统能够避免因操作失误而造成的财产损失和人身安全威胁，是无人机技术的重要研究方向之一，一套完善的避障系统是当今无人机的必备能力。

传统的无人机避障系统一般采用超声波、激光以及雷达等传感器进行障碍物识别。然而，超声波和激光对障碍物的反射能力要求较高，遇到反射能力弱的障碍物就无法准确识别，存在一定的安全隐患。另外，雷达由于体积和重量大，不适合用于小型无人机。

因此，如何提供一种解决上述问题的无人机避障方法及系统是本领域技术人员目前需要解决的问题。

技术实现要素：

为解决上述问题，本发明提供一种无人机避障方法及系统，通过两个摄像头来对障碍物进行识别，对障碍物的反射能力没有要求，能够对障碍物进行准确识别，提高了无人机的安全性能。

一种基于双目视觉的无人机避障方法，包括以下步骤：

步骤1：利用两个摄像头采集无人机前方环境的信息，得到第一视频图像信息和第二视频图像信息；

步骤2：分别从第一视频图像信息中选取第一图像以及从第二视频图像信息中选取同一时刻的第二图像，并依据第一图像和第二图像得到前方环境的三维图像以及无人机与前方环境之间的距离；

步骤3：判断无人机与前方环境之间的距离是否小于避障安全距离，如果小于，则前方环境中存在障碍物，并进入步骤4；否则，前方环境中无障碍物，并进入步骤6；

步骤4：将无人机投影在三维图像的视差图上，并判断无人机的投影面积与所述障碍物的面积是否相交，如果是，进入步骤5，否则，进入步骤6；

步骤5：生成并发送避障指令至无人机，并进入步骤7；

步骤6：生成并发送正常飞行指令至无人机；

步骤7：依据正常飞行指令控制无人机正常飞行或者依据避障指令控制无人机进行避障。

一种基于双目视觉的无人机避障方法，步骤2中依据第一图像和第二图像得到前方环境的三维图像以及无人机与前方环境之间的距离的具体步骤为：

步骤21：对第一图像和第二图像均进行滤波预处理，得到第一预处理图像和第二预处理图像；

步骤22：依据两个摄像头之间的旋转矩阵、平移向量以及两个摄像头的畸变系数对第一预处理图像和第二预处理图像进行校正，得到视图像素行对准的第一校正图像和第二校正图像；

其中两个摄像头之间的旋转矩阵、平移向量采用标准的2D或3D精密靶标，通过摄像头图像坐标与三维世界坐标的对应关系计算得到；

同时，视图像素行对准为在计算机的处理过程中，使第一校正图像和第二校正图像的对极线恰好在同一水平线上；则对齐后一副图像上任意点与其在另一幅图像上的对应点必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。整体减小了匹配的难度，减少了处理时间，增加了准确率；

步骤23：对第一校正图像和第二校正图像进行基于灰度值的特征匹配，得到前方环境的第一校正图像与第二校正图像之间的视差值；

其中基于灰度值的特征匹配具体为将第一校正图像和第二校正图像各点的灰度值做差，得到各点灰度值之差的绝对值之和，使该绝对值之和的最小点为第一校正图像和第二校正图像的匹配点，对应两个点的坐标之差为视差值；

步骤24：依据第一校正图像与第二校正图像之间的视差值以及两个摄像头的焦距得到前方环境的三维图像以及无人机与前方环境之间的距离。

其中距离为无人机与前方环境中第一个障碍物的距离。

一种基于双目视觉的无人机避障方法，步骤4中将无人机投影在三维图像的视差图上的具体步骤为：

将无人机按照投影关系式投影到三维图像的视差图上，其中，所述投影关系式为：

其中α、β分别为摄像头的水平视场角和垂直视场角；D为避障安全阈值；m、n分别为无人机的长和高；u、v分别为视差图的图像分辨率的长和宽，单位为像素；a、b分别为无人机在视差图上的投影长和投影宽。

一种基于双目视觉的无人机避障方法，步骤5中生成避障指令的具体步骤为：

步骤51：以障碍物为圆心、预设威胁距离为半径的圆作为威胁圆；

步骤52：以无人机质心为点向威胁圆做切线；

步骤53：生成控制无人机按照切线作为避障轨迹飞行的避障指令。

一种基于双目视觉的无人机避障方法的避障系统，包括双目视觉检测模块、通信模块、处理模块以及机载飞行控制模块；

双目视觉检测模块包括两个摄像头，设置在无人机的上方，用于采集第一视频图像信息和第二视频图像信息；

通信模块将第一视频图像信息和第二视频图像信息无线传送至处理模块；

处理模块处理第一视频图像信息和第二视频图像信息并分别得到第一图像和第二图像，同时生成并发送正常飞行控制指令或避障指令至机载飞行控制模块；

机载飞行控制模块根据正常飞行指令控制无人机正常飞行，或者根据据避障指令控制无人机进行避障。

一种基于双目视觉的无人机避障方法的避障系统，处理模块具体包括基本信息生成单元和指令生成单元；

基本信息生成单元依据第一图像和第二图像得到前方环境的三维图像以及无人机与前方环境之间的距离；

指令生成单元用于判断无人机与前方环境之间的距离是否小于避障安全距离；同时根据无人机的投影面积与障碍物的面积是否相交来生成并发送正常飞行指令或者避障指令至机载飞行控制模块。

一种基于双目视觉的无人机避障方法的避障系统，两个摄像头相互平行设置在无人机下方。

一种基于双目视觉的无人机避障方法的避障系统，两个摄像头均为CCD摄像头。

一种基于双目视觉的无人机避障方法的避障系统，通信模块为无线通信模块。

一种基于双目视觉的无人机避障方法的避障系统，处理模块设置在地面。

有益效果：

1、本发明提供了一种无人机避障系统及方法，将无人机与前方环境之间的距离是否小于避障安全距离作为一个判断条件，无人机在三维图像的视差图上的投影面积与障碍物的面积是否相交作为另一个判断条件，从而确定是否控制无人机进行避障；本发明通过两个摄像头来对障碍物进行识别，对障碍物的反射能力没有要求，能够对障碍物进行准确识别，提高了无人机的安全性能；此外，摄像头体积小，重量轻，成本低。

2、本发明的无人机避障方法通过图像采集环境信息，能够避免无线电、电磁的干扰。

3、本发明的无人机避障系统适应性强，能够适应大部分环境。

附图说明

图1为本发明的无人机避障方法过程的流程图；

图2为本发明的无人机避障系统的结构示意图；

图3为本发明无人机图像投影障碍检测原理图；

图4为本发明威胁圆避障策略示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为本发明的一种基于无人机避障系统的避障方法过程的流程图，该方法具体步骤包括：

步骤1：双目视觉检测模块采集无人机的前方环境的环境信息，得到第一视频图像信息和第二视频图像信息，其中，双目视觉检测模块包括两个摄像头；

步骤2：通信模块将第一视频图像信息和第二视频图像信息无线传送至处理模块；

步骤3：处理模块分别从第一视频图像信息中选取第一图像以及从第二视频图像信息中选取同一时刻的第二图像，并依据第一图像和第二图像得到前方环境的三维图像以及无人机与前方环境之间的距离；

其中距离为无人机与前方环境中第一个障碍物的距离。

作为优选地，步骤3中，依据第一图像和第二图像得到前方环境的三维图像以及无人机与前方环境之间的距离的过程具体为：

对第一图像和第二图像均进行滤波预处理，得到第一预处理图像和第二预处理图像；

依据两个摄像头之间的旋转矩阵、平移向量以及两个摄像头的畸变系数对第一预处理图像和第二预处理图像进行校正，得到视图像素行对准的第一校正图像和第二校正图像；

其中两个摄像头之间的旋转矩阵、平移向量采用标准的2D或3D精密靶标，通过摄像头图像坐标与三维世界坐标的对应关系计算得到；

同时，视图像素行对准为在计算机的处理过程中，使第一校正图像和第二校正图像的对极线恰好在同一水平线上；则对齐后一副图像上任意点与其在另一幅图像上的对应点必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。整体减小了匹配的难度，减少了处理时间，增加了准确率。

对第一校正图像和第二校正图像进行基于灰度值的特征匹配，得到前方环境的第一校正图像和第二校正图像的视差值；

其中基于灰度值的特征匹配具体为将第一校正图像和第二校正图像各点的灰度值做差，得到各点灰度值之差的绝对值之和，使该绝对值之和的最小点为第一校正图像和第二校正图像的匹配点，对应两个点的坐标之差为视差值；

依据第一校正图像和第二校正图像的视差值以及两个摄像头的焦距得到前方环境的三维图像以及无人机与前方环境之间的距离。

步骤4：处理模块判断距离是否小于避障安全距离，如果是，则前方环境中存在障碍物，并进入步骤5；否则，前方环境中无障碍物，并进入步骤7；其中安全距离是根据无人机的飞行速度与反应时间而人为设定的经验距离；

步骤5：将无人机投影在三维图像的视差图上，并判断无人机的投影面积与障碍物的面积是否相交，如果是，进入步骤6，否则，进入步骤7；

作为优选地，步骤5中，将无人机投影在三维图像的视差图上的过程具体为：

将无人机按照投影关系式投影到三维图像的视差图上，其中，投影关系式为：

其中：

α、β：摄像头的水平视场角和垂直视场角；以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。水平视场角和垂直视场角分别是指两个方向上的最大拍摄角度。相同的摄像头，其视场角相同。

D：避障安全阈值；

m、n：无人机的长和高；

u、v：视差图的图像分辨率的长和宽，单位为像素；

a、b：无人机在视差图上的投影长和投影宽。

本方法将复杂的障碍物判断简化为二维面积的比较，在图3中给出两种可能出现的情况，其中以左下角为坐标原点建立对应坐标轴，圆形代表障碍物，其在视差图上的位置坐标是计算机将拍摄得到的图像物体直接处理得到，同时圆形面积为拍摄得到图像上障碍物的大致面积；小矩形即为无人机在图像平面投影大小，值得注意的是，无人机在视差图上的投影中心坐标是固定的，与摄像头与无人机放置的相对位置有关，根据投影关系式计算得到的a和b，即确定无人机在视差图上矩形投影的四个顶点的位置坐标。如图3中左图所示，障碍物与无人机投影没有相交，没有造成威胁，不用进行障碍躲避。如图3中右图，障碍物与无人机投影面积相交，即为威胁，需要进行避障。

步骤6：生成并发送避障指令至机载飞行控制模块，并进入步骤8；

作为优选地，步骤6中，生成避障指令的过程具体为：

将以障碍物为圆心、预设威胁距离为半径的圆作为威胁圆；

以无人机为点向威胁圆做切线；

处理模块生成控制无人机按照切线作为避障轨迹飞行的避障指令。

以图4为例，A点为无人机当前位置，在飞行前方有一障碍物B，A点与其威胁圆相切于两点C、E。当无人机与障碍物距离低于安全阈值D时，就需要做出避障行为，将C或者E作为新的航迹点，无人机改变反向飞向新航迹点，避开障碍物。

步骤7：处理模块生成并发送正常飞行指令至机载飞行控制模块；

步骤8：机载飞行控制模块依据正常飞行指令控制无人机正常飞行或者依据避障指令控制无人机进行避障。

如图2所示，为本发明提供的一种无人机避障系统的结构示意图；该系统包括双目视觉检测模块、通信模块、处理模块以及机载飞行控制模块；

双目视觉检测模块设置在无人机上方，用于采集无人机的前方环境的环境信息，得到第一视频图像信息和第二视频图像信息，其中，双目视觉检测模块包括两个摄像头；

作为优选地，两个摄像头以其中心轴向相互平行的设置在无人机下方。

作为优选地，两个摄像头均为CCD摄像头，且屏幕像素尺寸为320：240。

可以理解的是，两个摄像头也可以不平行设置，例如可以竖直设置，另外，这里的摄像头还可以为其他类型的摄像头，本发明在此不作特别的限定，能实现本发明的目的即可。

通信模块，用于将第一视频图像信息和第二视频图像信息无线传送至处理模块；

作为优选地，通信模块为无线通信模块。

处理模块，用于分别从第一视频图像信息中选取第一图像以及从第二视频图像信息中选取同一时刻的第二图像，并依据第一图像和第二图像得到前方环境的三维图像以及无人机与前方环境之间的距离；判断如果距离小于避障安全距离，则前方环境中存在障碍物，则将无人机投影在三维图像的视差图上，并判断无人机的投影面积与障碍物的面积是否相交，如果是，则生成并发送避障指令至机载飞行控制模块，否则，生成并发送正常飞行指令至机载飞行控制模块；如果距离不小于避障安全距离，则生成并发送正常飞行指令至机载飞行控制模块；

作为优选地，处理模块具体包括：

基本信息生成单元，用于分别从第一视频图像信息中选取第一图像以及从第二视频图像信息中选取同一时刻的第二图像，并对第一图像和第二图像均进行滤波预处理，得到第一预处理图像和第二预处理图像；依据两个摄像头之间的旋转矩阵、平移向量以及两个摄像头的畸变系数对第一预处理图像和第二预处理图像进行校正，得到视图像素行对准的第一校正图像和第二校正图像；对第一校正图像和第二校正图像进行基于灰度值的特征匹配，得到前方环境的第一校正图像和第二校正图像的视差值；依据第一校正图像和第二校正图像的视差值以及两个摄像头的焦距得到前方环境的三维图像以及无人机与前方环境之间的距离；

指令生成单元，用于判断如果距离小于避障安全距离，则前方环境中存在障碍物，将无人机按照投影关系式投影到三维图像的视差图上，并判断无人机的投影面积与障碍物的面积是否相交，如果是，则生成并发送避障指令至机载飞行控制模块，否则，生成并发送正常飞行指令至机载飞行控制模块；如果距离不小于避障安全距离，则生成并发送正常飞行指令至机载飞行控制模块；其中，避障指令用于控制无人机按照切线作为避障轨迹飞行，切线为以无人机为点与威胁圆之间的切线，威胁圆为以障碍物为圆心、预设威胁距离为半径所做的圆。其中安全距离是根据无人机的飞行速度与反应时间而人为设定的经验距离。

作为优选地，处理模块为地面处理模块，并设置在地面。

机载飞行控制模块，用于依据正常飞行指令控制无人机正常飞行，或者依据避障指令控制无人机进行避障。

本发明提供的一种无人机避障方法，包括通过双目视觉检测模块对无人机前方环境的环境信息采集得到的第一视频图像信息和第二视频图像信息得到前方环境的三维图像以及无人机与前方环境之间的距离，然后再将该距离是否小于避障安全距离作为一个判断条件，将无人机在三维图像的视差图上的投影面积与障碍物的面积是否相交作为另一个判断条件，从而确定是否控制无人机进行避障，与现有技术相比，本发明通过两个摄像头来对障碍物进行识别，对障碍物的反射能力没有要求，如果不止一个障碍物，则首先对最近的那个障碍物进行判断，依次往后，能够对障碍物进行准确识别，提高了无人机的安全性能；另外，摄像头体积小，重量轻，成本低。

需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。