一种基于双目视觉技术的无人机实时避障方法与流程

本发明属于无人机飞行控制领域，尤其涉及一种基于双目视觉的无人机实时避障方法。

背景技术：

随着无人机市场的发展，对无人机自动感知与控制提出了越来越高的要求，尤其是主动避障方面，使无人机能在复杂环境中自主安全的飞行，而不会发生碰撞及炸机情况。目前有少数无人机企业将毫米波雷达、超声波雷达、光流、红外等传感器安装在无人机上，进行避障应用，但是上述方案存在检测距离和范围受限、精度不高等缺点，进而容易引发漏检和误检等意外情况。另外，目前存在通过双目视觉进行无人机避障判断的相关研究，但大部分因为控制策略问题，未能良好地与飞控系统结合，将俯仰、偏航、滚转的控制自然稳定地融入系统控制环中。

技术实现要素：

本发明的目的在于提供一种基于双目视觉的无人机实时避障方法，克服现有技术中毫米波雷达、超声波雷达、光流、红外等传感器的不足，同时与飞行控制系统自然稳定地融合，从而快速稳定地进行自主避障的技术问题。

为了解决上述问题，本发明采取如下技术方案：

一种基于双目视觉技术的无人机实时避障方法，其特征在于，双目视觉实时避障系统包括无人机本体、遥控器和设置在无人机本体上控制器、双目相机，双目相机与控制器之间电连接，遥控器与控制器之间通过无线通信模块进行通讯；

基于该系统进行无人机实时避障的方法，包括如下步骤：

步骤一、无人机在飞行过程中，通过双目相机采集视差图，并进行三维重构，计算深度；

步骤二、设置无人机避障阈值zmax，识别小于避障阈值zmax范围内的障碍物，大于避障阈值zmax则清零，低于则保留；

步骤三、对视差图进行阈值截断之后，则获取了包含zmax距离内物信息的图像，将该图像分成n行、m列的小格单元，计算每个小格单元内的障碍物填充率δi，i＝1,2,...,n*m，n>2，m>2为正整数，设置两个不同的填充率门限值a和b，a>b；

1)、如果δi>a，则认为该小格单元区域不能飞行，存在障碍物；

2)、如果b<δi<a，则认为该小格单元区域暂定为不确定区域，存在风险；

3)、如果δi<b，则认为该小格单元没有障碍物，属于安全区域；

将所有δi>a的区域填充一种颜色，将所有b<δi<a的区域填充另一种颜色，将所有δi>a的区域填充第三种颜色，统计当前帧视差图的安全区域情况；

步骤五、分析安全区域的尺寸大小和分布情况，结合无人机当前在上下、左右、前后三个方向上的角度和偏航方向，控制无人机前后、左右、上下的运动速度，以及旋转角速率，引导无人机至安全区域飞行，其具体策略是视野内的所有安全区域的分布进行综合判断，分别判断上半视场和下半视场、左半视场和右半视场内安全格子的数量，设定旋翼机趋向于安全格子居多的视场飞行，以此决策飞行方向。

当障碍物布满整个飞行器观察视场时，不能进行前飞动作，此时无人机首先需要切换到悬停状态，然后仅进行航向偏转，试图寻找可引导的安全区域，然后切换到之前的预设决策。

步骤六、进行双目视觉避障的同时，允许用户操纵遥控器，遥控无人机额外的前后、左右、上下的运动速度v，以及旋转角速率ω；在双目视觉的避障判断与主动操纵遥控器的避障指令间选取时，通过优先级进行决策，决策方法如下：

1)、当通过双目视觉判断无人机处于安全阈值范围内时，可允许用户通过遥控器发送的避障指令发挥作用，同时根据安全距离情况对遥控避障值做阈值限制；

2)、当通过双目视觉判断无人机处于危险阈值区域内时，则遥控指令无效。

步骤八、在地面站中即时显示填充率和指令具体情况，以及避障策略。

优选的，所述计算单元为嵌入式计算平台jetsontx2。双目相机固定于无人机正前方，将采集到的深度图像实时传输到机载计算单元jetsontx2，然后由预设避障策略进行判断，产生规避动作；若与此同时有发来遥控器的操作，则需进行优先级判断。

优选的，所述设置无人机避障阈值zmax包括如下过程：

1)、设定障碍物到相机光心连线的垂直的距离z，

上式中，b为两个相机光心之间的距离，d为两个光心与障碍物连线与焦距所在平面的交点间距，f发为相机的焦距，设定两个相机的焦距相同，b、f可由标定获得，为定值；

2)、在测量障碍物到相机光心连线的垂直的距离时，会存在测量误差：

2.1)、确定绝对误差δz：

绝对误差δz和相机光心连线的垂直的距离z的平方成正比，δd为视差的测量误差，认定为1个像素；

因此，障碍物到相机的距离在双目测距中的测量结果为

所以最极端的情况为无人机距离障碍物的测量距离为设定飞行速度为v，那么无人机与障碍物碰撞发生的时间将为：

设定处理一帧深度图像的耗时为tf，且暂时不考虑数据传输与指令执行时间，则要保证无人机避障安全则必须满足：

t≥tf(0.9)，

由此，计算出t＝tf、且v为无人机最大飞行速度时，无人机与障碍物之间的距离z1；

2.2)、相对测量误差约束

由公式(1.3)和(1.4)已经可以直接计算飞行速度与避障距离的对应关系，在理论上保证飞行安全，但还应该考虑相对测量误差——当相对测量误差过大时，测量结果本身的可信度较低，仅依靠公式(1.4)的约束不足以保证安全，还需要考虑相对测量误差，相对测量误差s的计算公式如式：

由上式可知当距离增加时测量误差随之增大，设定相对测量误差门限设为c，由此计算出s＝c时的距离z2；

比较z1、z2，选取数值较小者作为障碍物的判断阈值zmax。

优选的，所述在进行阈值截断之后，获取了包含特定距离内障碍物信息的图像，图像中不同的颜色表征了物体的相机距离障碍物的远近，方法，依据这些颜色表征的深度信息对障碍物进行检测；设定同一障碍物的深度变化相对于该物体到相机的距离可以视为定值，在深度图像中检测障碍物的方法以opencv开源库中的轮廓检测方法为核心，加以开闭运算等图像处理方法，使深度图中产生闭合的单连通区域，同时使用凸包或者外接矩形框进行描述。

优选的，所述填充率门限值a＝40％—60％，b＝7％—20％。

优选的，所述相对测量误差门限设为c＝1％—5％。

优选的，所述步骤三中，将双目相机拍摄到的图像分成4行4列共计16个小格单元，即n＝m＝4，i＝16。

与现有技术相比，本方案具有如下有益效果：

本发明通过引入一种基于双目视觉的实时避障技术，克服了毫米波雷达、超声波雷达、光流、红外等传感器的不足；同时通过分块的检测和判断策略，以及优先级决策中枢，控制无人机实际输出的前后、左右、上下目标运动速度v，以及目标旋转角速率ω，并与飞行控制系统自然稳定地融合，从而快速稳定地进行自主避障。

附图说明

图1双目相机测距原理示意图。

图2避障决策示意图。

图3双目视觉控制与摇杆控制的数据流向示意图。

图4为本发明所述基于双目视觉的无人机实时避障方法的流程图。

具体实施方式

为使本发明的目的和技术方案更加清楚，下面结合本发明实施例对本发明的技术方案进行清楚，完整的描述。

实施例一：

一种基于双目视觉技术的无人机实时避障方法，双目视觉实时避障系统包括无人机本体、遥控器和设置在无人机本体上嵌入式计算平台jetsontx2、双目相机。双目相机固定于无人机正前方，将采集到的深度图像实时传输到机载计算单元jetsontx2，然后由预设避障策略进行判断，产生规避动作；若与此同时有发来遥控器的操作，则需进行优先级判断。如图3所示。

基于该系统进行无人机实时避障的方法，如图4所示，包括如下步骤，：

1)、通过双目相机采集视差图，并进行三维重构，计算深度；

2)、增加阈值，识别小于避障半径zmax范围内的障碍，高于避障半径zmax则清零，低于则保留；

3)、对视差图进行阈值截断之后，则获取了包含zmax距离内物信息的图像，将该图像分成四行、四列的小格单元，共计十六个小格单元，计算每个小格单元内的障碍物填充率，设置两个不同的填充率门限值a和b，a>b；a＝50％，b＝10％认定填充率大于50％，存在障碍物；填充率在10％—50％内，认为未知，存在风险；填充率小于10％，认为安全。统计当前帧的安全区域情况。

4)、分析安全区域的大小和分布情况，进而输出控制无人机前后、左右、上下的运动速度，以及旋转角速率；

5)、进行双目视觉避障的同时，允许用户操纵遥控器，产生无人机额外的前后、左右、上下的运动速度v，以及旋转角速率ω。

在本申请中，双目测距原理如下，如图1所示，为双目测距的三角测量原理的示意图，o1、or为分别为双目相机模型的光心，障碍物点p的深度信息的测量公式如式(1.1)所示，通过视差转换为深度：

上式中，z为光轴方向上物体到相机光心的距离，b为基线距离(即两个相机光心之间的距离)，f为相机的焦距(假设两个相机的焦距相同)。其中基线距离b和焦距f可由标定获得，一般为定值。

所述设置无人机避障阈值zmax包括如下过程：

1)、设定障碍物到相机光心连线的垂直的距离z，

上式中，b为两个相机光心之间的距离，d为两个光心与障碍物连线与焦距所在平面的交点间距，f发为相机的焦距，设定两个相机的焦距相同，b、f可由标定获得，为定值；

2)、在测量障碍物到相机光心连线的垂直的距离时，会存在测量误差：

2.1)、确定绝对误差δz：

绝对误差δz和相机光心连线的垂直的距离z的平方成正比，δd为视差的测量误差，认定为1个像素；

因此，障碍物到相机的距离在双目测距中的测量结果为

所以最极端的情况为无人机距离障碍物的测量距离为设定飞行速度为v，那么无人机与障碍物碰撞发生的时间将为：

设定处理一帧深度图像的耗时为tf，且暂时不考虑数据传输与指令执行时间，则要保证无人机避障安全则必须满足：

t≥tf(0.15)，

由此，计算出t＝tf、且v为无人机最大飞行速度时，无人机与障碍物之间的距离z1；

2.2)、相对测量误差约束

由公式(1.3)和(1.4)已经可以直接计算飞行速度与避障距离的对应关系，在理论上保证飞行安全，但还应该考虑相对测量误差——当相对测量误差过大时，测量结果本身的可信度较低，仅依靠公式(1.4)的约束不足以保证安全，还需要考虑相对测量误差，相对测量误差s的计算公式如式：

由上式可知当距离增加时测量误差随之增大，设定相对测量误差门限设为c，由此计算出s＝c＝1％时的距离z2；

比较z1、z2，选取数值较小者作为障碍物的判断阈值zmax。

3)、障碍物检测方法

在进行阈值截断之后，获取了包含特定距离内障碍物信息的图像，图像中不同的颜色表征了物体的相机距离障碍物的远近。本发明对障碍物的检测方法，主要依据这些颜色表征的深度信息。提出一个基本假设，同一障碍物的深度变化相对于该物体到相机的距离可以视为定值。

基于上述假设，在深度图像中检测障碍物的方法以opencv开源库中的轮廓检测方法为核心，加以开闭运算等图像处理方法，使深度图中产生闭合的单连通区域，同时使用凸包或者外接矩形框进行描述。

4)、避障策略

在检测出障碍物的具体范围之后，进一步对视野中的安全区域进行判断。在视野中寻找可以使飞行器安全通过的区域作为引导。飞行器视野中心为前进方向，当发现前进方向上有障碍物阻挡时，则转到相关预设避障策略。具体避障策略如下：

首先，将双目相机拍摄到的图像分成4行4列共计16个小格，然后分别判断各个小格是否安全，根据16个决策结果综合判断安全的飞行区域，然后进行避障决策，在不同需求下也可将图像分成其它数量的小格子。

如图2所示，第一幅为阈值截断后深度图的示意图，将整个视野划分为16个小格，如图上细线所示；然后再将检测的障碍物通过轮廓检测凸包描述，如第二幅图的虚线轮廓所示；通过计算各个像素障碍情况，进而检测各个小格中障碍物的填占比例δi，其中δi(i＝1,2,...,16)分别为16个方格的填占比。设置两个门限a和b，如果超过门限a，则认为该区域不能飞行；如果小于门限a，但仍大于b，则认为暂定为不确定区域，存在风险；填占比小于b的部分，即没有障碍物的部分不做标记。目前a、b的值分别取50％和10％。在其他实施例中，图像可以分成更多的小格单元，分成的小格单元越多计算结果越精确。

将飞行器引导至安全区域，需要结合飞行器的具体飞行方向，考虑上下、左右、前后三个飞行方向和偏航方向。具体决策时对视野内的所有安全区域的分布进行综合判断，分别判断上半视场和下半视场、左半视场和右半视场内安全格子的数量，设定旋翼机趋向于安全格子居多的视场飞行，以此决策飞行方向。

当障碍物布满整个飞行器观察视场时，不能进行前飞动作，此时无人机首先需要切换到悬停状态，然后仅进行航向偏转，试图寻找可引导的安全区域，然后切换到之前的预设决策。

在双目视觉的避障判断与主动操纵遥控器的避障指令间选取时，通过优先级进行决策。决策方法如下：当通过双目视觉判断无人机处于安全阈值范围内时，可允许用户通过遥控器发送的避障指令发挥作用，但根据安全距离情况对遥控避障值做阈值限制；当通过双目视觉判断无人机处于危险阈值区域内时，则遥控指令无效。

实施例二：

在本实施例中，所述填充率门限值a＝60％，b＝20％，相对测量误差门限设为c＝5％。其他部分与实施例中相同。

实施例三：

在本实施例中，所述填充率门限值a＝40％，b＝70％，相对测量误差门限设为c＝1％。其他部分与实施例中相同。

本发明中未做特别说明的均为现有技术或者通过现有技术即可实现，而且本发明中所述具体实施案例仅为本发明的较佳实施案例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应作为本发明的技术范畴。