基于双目视觉的无人机低空避障系统及控制方法与流程

本发明涉及无人机避障技术领域，尤其涉及一种基于双目视觉的无人机低空避障系统及控制方法。

背景技术：

随着科技的进步，无人机的运用越来越广泛，但手柄式的无人机一旦到复杂的环境或者视角盲区更或者是突发情况时很有可能发生危险，所以无人机避障系统应运而生，如超声波避障、双目避障、雷达避障、激光避障等各式各样的避障系统。

无人机避障系统非常重要，它很大程度上决定了无人机的实用性。现有的超声波避障系统，测距短，测距的精度与物体的材质有关。雷达避障，使用费用高；而双目避障，测距远，范围广，精度较高。这种避障系统能够大大提升无人机的安全性以及可靠性，使得无人机能够适用于更多的地方。

当无人机倾斜的时候双目测出的并不是地面或障碍物之间实际距离，它导致的结果就是无人机避障不精确，无人机不能按照我们预期的形态进行避障，无人机发生碰撞的可能性大大提升，使得双目避障系统的实用性以及可靠性大大降低。

在无人机双目避障领域，有许多的避障方法。例如，公开号为cn107703951a的中国专利申请公布了一种基于双目视觉的无人机避障方法及系统，其在低空飞行时判断地面不需避障，其方法利用等分视角读取深度值，每个深度值的比值和阈值的比较，判断是否为地面，该方法的主要缺陷是，当读取的深度值在障碍物和地面接触的附近时，可能会误判为地面，且所述的阈值没有准确的计算。

现有技术中，目前遇到的问题：使用视场角等分方法避障时需要检测的精度、效率、阈值。即每几度分割视场角，所选角度过大时检测的精度大大下降，所选的角度过小时检测的效率大大降低，未给出所选的阈值的计算方法。

技术实现要素：

本发明专利所解决的技术问题是无人机低空下遇到障碍物时判断是否需要避障，以及忽略无人机自身倾斜的问题，提出一种基于双目视觉的无人机低空避障系统及控制方法，克服无人机自身倾斜带来的误差，解决了无人机在低空复杂环境下的避障问题。

本发明专利解决其技术问题所采用的技术方案是：

基于双目视觉的无人机低空避障系统包括无人机姿态识别模块，双目摄像头模块以及飞行控制模块。

所述双目摄像头模块包括一个双目摄像头、树莓派，用于实现双目避障。其中双目摄像头垂直设于无人机前方，双目摄像头的两个摄像头上下设置且互相平行；树莓派为双目摄像头的处理系统，通过usb连接双目摄像头，用于处理视差图的深度值，判断是否进行避障，通过io口连接飞控，控制无人机的飞行姿态；

所述姿态识别模块包括加速度计，陀螺仪，磁力计，气压计，用于获得无人机自身的姿态角和高度。

所述飞行控制模块主要为嵌入式单片机和地面站，控制无人机的飞行姿态。

基于双目视觉的无人机低空避障控制方法包括以下步骤：

步骤1.通过双目摄像机获取无人机前方的环境图像；所述环境图像为双目摄像机的两个摄像头同一时刻分别所拍摄的第一图像和第二图像；

步骤2.根据获取的环境图像识别无人机前方是否有目标对象；

步骤3.若存在目标对象，则基于无人机当前姿态信息以及根据图像获取的目标对象深度值，判断前方目标物是否低于飞行高度，做出相应避障；无人机姿态信息为设于无人机的姿态传感器所获取的无人机俯仰角，姿态传感器为三轴陀螺仪和三轴加速度计；目标对象深度值通过双目视差图获取；所述双目摄像机获取无人机前方的环境图像包括第一图像和第二图像；所述双目摄像机的两个摄像头通过张氏标定法，获取摄像头的内外参数，再通过摄像头的外部参数和畸变系数对第一图像和第二图像进行矫正；将矫正后的第一图像和第二图像使用sgbm算法进行立体匹配，得到两个图像的视差图；基于所述视差图获取深度图像，根据所述深度图像提取目标对象深度值。

步骤4.若目标对象中存在障碍物则基于目标深度值获取无人机与障碍物间的距离选择避障；如果前方识别出目标对象，则基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离，并根据无人机与目标对象的水平和垂直距离选择是否进行避障；如果前方所识别的目标对象的垂直距离低于或等于阈值，则无人机选择避障；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行。

进一步的，基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行，具体方法为：步骤3中的无人机俯仰角在(-30°，30°)内，其中无人机机体坐标系所在平面为基准线，基准线以下角度为负，视场角在(-35°，35°)内；

进一步的，所述步骤4中根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行，具体步骤如下：

(1)垂直方向上视场角等分，对应的角度为θ1、θ2、θ3、....θn，视场角范围内由上到下识别出目标对象所对应的深度值x1、x2、x3、....xn，各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝35°-θn；对应的计算角β1、β2、β3、....βn，βn＝90°+αn-γ，其中0°<θn<70°，35°为相机广角的一半，γ为飞机姿态识别模块识别的俯仰角；从上到下计算h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算s1＝h2-h1、s2＝h3-h2、s3＝h4-h3、....sn＝hn-hn-1、若sn>阈值ω、则表示垂直距离突变；

(2)若从开始计算起连续n次hn<＝阈值ω，则判定前方有障碍物，无人机根据水平距离选择避障；若从开始计算所有hn>阈值ω，则判定前方无障碍物，无人机继续向前飞行；

(3)安装在无人机上的双目摄像头的垂直方向上的视角为(-35°,35°)，在其视角范围内每5度识别个深度值x1、x2、x3、....xn，每个深度值所对应的角度为θ1、θ2、θ3、....θn,各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝35°-θn；对应的计算角β1、β2、β3、....βn，βn＝90°+αn-γ；

(4)设定的阈值为30cm。由上到下依次计算h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算s2＝h2-h1、s3＝h3-h2、s4＝h4-h3、....sn＝hn-hn-1、若sn>35cm则表示垂直距离突变，具体解决方案如下：

①当sn>35cm则计算出障碍物与无人机的距离ln＝xn*sinβn，由上述角度求出hn-1的对应角an-1＝θn-1+γ-35°，再求出对应的hc＝ln*tan(an-1)；若hc<＝30cm,则作为第一个有效的障碍物点。

②由上到下依次计算障碍物与无人机的水平距离l1＝x1*sinβ1、l2＝x2*sinβ2、l3＝x3*sinβ3、....ln＝xn*sinβn；

③若从开始计算起连续n次hn<＝30cm，则判定前方有障碍物，依次计算出障碍物与无人机的水平距离，无人机根据水平距离选择避障；

④若从开始计算所有hn>30cm,则判定前方无障碍物，无人机继续向前飞行；障碍物与无人机的距离ln＝xn*sinβn，将n次测得的水平距离求平均，减少测得的误差；

阈值ω的具体计算方式如下所述：设无人机能测的最远距离lmax、无人机飞行时视场角下边界相对于水平线角度γ＝γ+35°，无人机所设定的飞行高度h，计算最大高度：

若h>hmax：阈值

若h<hmax：阈值

进一步的，基于双目视觉的无人机低空避障方法：当hn小于设定的阈值，求出障碍物与无人机的水平距离ln；ln与设定的阈值比较，若ln大于设定的阈值，则无人机向前飞行，若ln与小于设定的阈值则无人机选择相应的模式避障；具体的，ln小于15m大于10m时进入第一安全距离，无人机调整俯仰角适当减小速度；ln小于10m大于5m时进入第二安全距离，无人机报警灯光闪烁减速刹车；ln小于5m时进入危险距离，无人机紧急制动，并退回5m处。通过数传模块和图传模块发送信息，提示人为遥控。

本发明的有益效果主要表现在：

1.基于树莓派的双目视觉测距模块，价格低，安装简单，同时减小了嵌入式处理器的负荷，使得无人机姿态控制更加自如；

2.通过角度修正了无人机倾斜对双目测距的干扰，并将检测到的范围根据距离及无人机速度分为三部分分别处理，使无人机的回避路线规划更加合理、准确。

附图说明

图1是基于双目视觉的无人机低空避障系统的结构图；

图2是基于双目视觉的无人机低空避障控制方法的流程图；

图3是无人机飞行时连续3次h小于阈值的示意图；

图4是无人机飞行时连续3次h大于阈值的示意图；

图5是无人机检测到垂直距离突变；

图6是无人机与障碍物之间距离处理方式的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图1-6，对本发明进一步详细描述。

参照图1，本发明所提供的基于双目视觉的无人机低空避障系统包括无人机姿态识别模块，双目摄像头模块，飞行控制模块。

所述双目摄像头模块包括一个双目摄像头、树莓派，用于实现双目避障。双目摄像头垂直设于无人机前方，双目摄像头的两个摄像头上下设置且互相平行。树莓派为双目摄像头的处理系统，通过usb连接双目摄像头，用于处理视差图的深度值，判断是否进行避障，通过io口连接飞控，控制无人机的飞行姿态。

所述姿态识别模块包括加速度计，陀螺仪，磁力计，气压计。用于获得无人机自身的姿态角和高度。

所述飞行控制模块主要为嵌入式单片机和地面站，控制无人机的飞行姿态。

如图2所示，基于双目视觉的无人机低空避障控制方法步骤如下：

步骤1.通过双目摄像机获取无人机前方的环境图像；所述环境图像为双目摄像机的两个摄像头同一时刻分别所拍摄的第一图像和第二图像；

步骤2.根据获取的环境图像识别无人机前方是否有目标对象；

步骤3.若存在目标对象，则基于无人机当前姿态信息以及根据图像获取的目标对象深度值，判断前方目标物是否低于飞行高度，做出相应避障；无人机姿态信息为设于无人机的姿态传感器所获取的无人机俯仰角，姿态传感器为三轴陀螺仪和三轴加速度计；目标对象深度值通过双目视差图获取；其中所述目标对象深度值通过如下方法获得；所述双目摄像机获取无人机前方的环境图像包括第一图像和第二图像；所述双目摄像机的两个摄像头通过张氏标定法，获取摄像头的内外参数，再通过摄像头的外部参数和畸变系数对第一图像和第二图像进行矫正；将矫正后的第一图像和第二图像使用sgbm算法进行立体匹配，得到两个图像的视差图；基于所述视差图获取深度图像，根据所述深度图像提取目标对象深度值。

步骤4.若目标对象中存在障碍物则基于目标深度值获取无人机与障碍物间的距离选择避障；如果前方识别出目标对象，则基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离，并根据无人机与目标对象的水平和垂直距离选择是否进行避障；如果前方所识别的目标对象的垂直距离低于或等于阈值，则无人机选择避障；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行。

在本实施例中，基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行，具体方法为：本实例中步骤3的无人机俯仰角在(-30°，30)内，其中一无人机机体坐标系所在平面为基准线，基准线以下角度为负，视场角在(-35，35)内；

参照图3-6，所述步骤四中根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行，具体步骤如下：

(1)如图3和图4所示，垂直方向上视场角等分，对应的角度为θ1、θ2...θn，视场角范围内由上到下识别出目标对象所对应的深度值x1、x2、x3、....xn，各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝35°-θn；对应的计算角β1、β2、β3、....βn，βn＝90°+αn-γ，其中0°<θ<70°，35°为相机广角的一半，γ为飞机姿态识别模块识别的俯仰角；上到下计算h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算s1＝h2-h1、s2＝h3-h2、s3＝h4-h3、....sn＝hn-hn-1、若sn>阈值ω、则表示垂直距离突变；

(2)若从开始计算起连续n次hn<＝阈值ω，则判定前方有障碍物，无人机根据水平距离选择避障；若从开始计算所有hn>阈值ω,则判定前方无障碍物，无人机继续向前飞行；

(3)安装在无人机上的双目摄像头的垂直方向上的视角为(-35°,35°)，在其视角范围内每5度识别个深度值x1、x2、x3、....xn，每个深度值所对应的角度为θ1、θ2、θ3、....θn,各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝35°-θn；对应的计算角β1、β2、β3、....βn，βn＝90°+αn-γ；

(4)设定的阈值为30cm。由上到下依次计算h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算s2＝h2-h1、s3＝h3-h2、s4＝h4-h3、....sn＝hn-hn-1、若sn>35cm则表示垂直距离突变，将会遇到图5的情况，具体解决方案如下：

①当sn>35cm则计算出障碍物与无人机的距离ln＝xn*sinβn，由上述角度求出hn-1的对应角an-1＝θn-1+γ-35°，再求出对应的hc＝ln*tan(an-1)；若hc<＝30cm,则作为第一个有效的障碍物点；

②由上到下依次计算障碍物与无人机的水平距离l1＝x1*sinβ1、l2＝x2*sinβ2、l3＝x3*sinβ3、....ln＝xn*sinβn；

③若从开始计算起连续n次hn<＝30cm，则判定前方有障碍物，依次计算出障碍物与无人机的水平距离，无人机根据水平距离选择避障；

④若从开始计算所有hn>30cm,则判定前方无障碍物，无人机继续向前飞行；障碍物与无人机的距离ln＝xn*sinβn，将n次测得的水平距离求平均，减少测得的误差；

本实例阈值ω的具体计算方式如下所述：设无人机能测的最远距离lmax、无人机飞行时视场角下边界相对于水平线角度γ＝γ+35°，无人机所设定的飞行高度h，计算最大高度若h>hmax：阈值

若h<hmax：阈值

参照图6，基于双目视觉的无人机低空避障方法：当hn小于设定的阈值，求出障碍物与无人机的水平距离ln；ln与设定的阈值比较，若ln大于设定的阈值，则无人机向前飞行，若ln与小于设定的阈值则无人机选择相应的模式避障；具体的，ln小于15m大于10m时进入第一安全距离，无人机调整俯仰角适当减小速度；ln小于10m大于5m时进入第二安全距离，无人机报警灯光闪烁减速刹车；ln小于5m时进入危险距离，无人机紧急制动，并退回5m处。通过数传模块和图传模块发送信息，提示人为遥控。

上述的具体实施方式，对本发明的目的、技术方案和有益效果进行了详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。