一种基于双目视觉系统的无人机避障方法与流程

本发明涉及无人机视觉与数字图像处理领域，具体为一种基于双目视觉系统的无人机避障方法。

背景技术：

随着科学技术的不断深入，机器无人化成为当今的趋势，市场不断扩大，无人机经常会执行一些特殊任务，这无疑向无人机对障碍的识别速度、躲避障碍的灵活性提出了更高的要求。基于视觉的控制系统的特点是组成结构简单、成本低、性价比高等等，同时，相比较而言，双目视觉系统比单目视觉系统获得的信息更多，同时由于双目视觉系统可以将得到的图像进行共面处理，得到无畸变且行对准图像，此时比单目系统测量精度更高，有利于无人机的准确避障，双目视觉系统目前在机器导航、目标追寻等相关领域使用广泛。

广泛使用的降噪方法，一般是利用形态开闭操作对深度图进行降噪，每进行一次开操作为腐蚀-膨胀，目的是消除图像中大于领域内点的孤立异常值。闭操作为膨胀-腐蚀，目的是消除图像中小于领域内点的孤立异常值。但开闭操作彼此独立，操作结束后图像效果并不是很理想，噪声区域内与非噪声区域灰度值相差相对较小的像素点并未完全消除，因此还具有一定的改善空间。

指数加权移动平均值算法，从传递函数的角度分析，它具有很好的鲁棒性，同时表现出很好的低通滤波性，对于图像像素而言，可视为对图像的进一步腐蚀。但单独使用的话需要待处理的深度图像噪声区域与非噪声区域内各像素点灰度值差别在一定范围内才会有较好的表现。

所以，目前对于深度图像的降噪处理效果不理想，这使得无人机的测距结果不准确，进而导致无人机在障碍物时判断出现误差使其控制失误。

技术实现要素：

本发明克服现有技术存在的不足，在基于深度图像处理的基础上，提出了一种基于双目视觉系统的无人机避障方法，目的是为了解决深度图降噪效果不理想，使得测距结果不精确，导致无人机控制不准确的问题。

本发明是通过如下技术方案实现的。

一种基于双目视觉系统的无人机避障方法，具体包括以下步骤：

1）利用双目摄像机获取无人机正前方的图像，得到左图像和右图像。

2）对图像进行灰度化，得到图像的各像素点特征信息，对这些信息进行立体匹配，从而得到深度图信息。

3）获取深度图，依次使用形态学方法和指数加权移动平均值算法进行深度图去噪；所述的形态学方法是将深度图转换为二值深度图，三次形态开放操作在二值深度图，三次形态关闭操作在进程图像；所述的指数加权移动平均值算法具体计算公式为。

ewma(t)=ay(t)+(1-a)ewma(t-1)，t=1，2，……，n。

其中，ewma(t)为t时刻的估计值，y(t)为t时刻的测量值，n为观察总时间，a(0<a<1)为历史测量值权重系数；取多个a值，并通过信噪比曲线来确定最大信噪比所对应a值。

4）用基于区域生长的阈值分割算法提取障碍轮廓，同时用矩形框进行拟合。

5）得到视差值，从而得到障碍物与无人机之间的距离。

6）设置无人机避障阈值距离，将得到距离与阈值进行比较，并将这些数据信息传入飞行控制器，飞行控制器根据这些信息进行判断，从而做出相应的动作。

进一步优选的，步骤1所述利用双目摄像头获取无人机的图像具体为：将双目摄像头安装在无人机正前方，对双目摄像头进行标定，从而得出内参矩阵、外参矩阵、畸变参数，利用摄像头获得的图像，根据获得的内外参矩阵以及畸变参数对摄像头进行校正，得到无畸变且行对准图像。

更进一步的，所述步骤2为：将得到的无畸变且行对准图像进行灰度化，灰度化的图像经过高斯滤波法滤波，拉普拉斯算子锐化和提高图像边缘，得到像素信息。

进一步优选的，步骤2所述立体匹配为：利用区块匹配算法对处理后的图像进行立体匹配，得到深度图，在区块匹配算法中，用sad窗口计算出左右两幅图像中像素点灰度区别之和，具体计算公式为：

其中，为左图像像素灰度，为右图像像素灰度，为邻域窗口，d为视差值。

进一步优选的，步骤3所述获取深度图具体过程为：利用视差图和校正参数，在三维空间中重投影左右图像平面的图像点，重投影矩阵q的计算公式为。

q=

其中，（）为左图像的主点，f为左镜头的焦距，为右图像上与左图像中对应的位置。

由二维坐标转换为三维坐标的具体计算公式为：

q

其中，d为视差值。

所以，利用重投影矩阵q可获得深度信息z，具体计算公式为形式为：

z=z/w。

进一步优选的，步骤6所述设置无人机避障阈值距离，将得到距离与阈值进行比较是通过三角形的相似定理得出理论距离，与所设定的阈值距离进行比较，得到不同的飞行模式。

更进一步的，所述的飞行模式包括：自然飞行模式、报警模式和避障模式；所述自然飞行模式是理论距离大于阈值距离时，无人机将信息传送给飞行控制器，飞行控制器下达继续保持前进的指令；所述报警模式是理论距离等于阈值距离时，无人机将信息传送给飞行控制器，飞行控制器下达led灯闪烁红色指令；所述避障模式是理论距离小于阈值距离时，无人机将信息传送给飞行控制器，飞行控制器下达避障指令。

无人机飞行途中，通过双目视觉传感器获得实际图像，得到标定参数，通过立体匹配，得到深度图，对深度图进行图像预处理，得到视差值，从而得到测距数值，设置阈值距离，将无人机飞行模式划分为自然飞行模式、报警模式以及避障模式三种，传输到飞行控制器，飞行控制器根据不同模式发出不同指令，无人机做出相应动作。

本发明相对于现有技术所产生的有益效果为。

本发明结合形态学开闭操作算法与指数加权移动平均值算法相结合的降噪方法，形态学开闭操作处理深度图像后，由于指数加权移动平均值算法良好的低通滤波性，利用指数加权移动平均值算法对深度图像继续降噪处理是对形态学操作的完善，进一步消除深度图像中领域内点的孤立异常值，因此两者结合可能有更理想的降噪效果，从而使无人机测距结果更加精确，无人机控制更加准确。

本发明在深度图像处理时利用形态学开闭操作结合指数加权移动平均值算法，提高了无人机控制的准确率。相对于现有的单一生态学方法处理深度图像，本发明测量的视差值精度更高，深度图像去噪程度更高，提高了无人机控制的准确性，从某种程度上可以视为提高了无人机的灵活程度，降低了无人机的失事率，从而提高了无人机执行任务的效率。

附图说明

图1是本发明中标定相机的标定图。

图2是本发明基于双目视觉系统的无人机控制方法的硬件结构图。

图3是本发明基于双目视觉系统的无人机控制方法的算法流程图。

图4是本发明中指数加权移动平均值算法处理图像信噪比曲线图。

图5是本发明实施例中障碍物原始左图像。

图6是本发明实施例中障碍物原始右图像。

图7是实施例中通过现有的形态学开闭操作对障碍物深度图降噪效果图。

图8是本发明所述的形态学开闭操作融合指数加权移动平均值算法对障碍物深度图降噪效果图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合实施例及附图详细说明本发明的技术方案，但保护范围不被此限制。

如图3所示，本发明提供了一种面向无人机避障的控制系统，包括定位模块、惯性测量模块、图像获取模块以及嵌入式图像处理模块。

其中，图像获取模块包含双目视觉系统，其位置固定在无人机前方，水平安装。

图像获取模块将左右图像同步传输到嵌入式图像处理模块：cpu模块负责速度校正，gpu模块负责计算相机标定参数；定位模块和惯性测量模块负责无人机的实际位置和姿态测量，除此之外，测量模块还承担将测量数据传输到嵌入式图像处理模块的责任，从而调节计算出的速度信息；飞行控制器接受嵌入式图像处理模块产生的信息，判断当前所处模式，发出相应的指令，无人机做出对应的动作。

本例中图像获取模块利用双目摄像头，分辨率为680*240，基线距离为5cm，基线距离与镜头焦距均可调整，通过usb接口将图像信息传入嵌入式图像处理模块。

如图3所示，本发明基于双目视觉系统的无人机避障控制方法的算法流程具体过程为：首先利用图1所示的标定图对双目摄像头进行标定，得到镜头的内参矩阵、畸变参数矩阵以及两摄像头之间的外参矩阵，将获得的数据信息在嵌入式图像处理模块存储。

通过双目摄像头对物体进行拍照，将所获图像灰度化且进行图像分割，得到如图5所示灰度化后的原始左图像和如图6所示灰度化后的原始右图像，利用之前所获得的内外参数矩阵以及畸变参数矩阵对左右两幅图像进行校正，生成两幅无畸变行对准图像；将这两幅图像进行灰度化，灰度化的图像经过高斯滤波法滤波，拉普拉斯算子锐化和提高图像边缘，得到像素信息。

利用区块立体匹配算法对处理后的图像进行立体匹配，得到深度图,在区块匹配算法中，用sad窗口计算出左右两幅图像中像素点灰度区别之和，具体计算公式为：

其中，为左图像像素灰度，为右图像像素灰度，为邻域窗口，d为视差值。

在获取深度图的过程中，利用视差图和校正参数，在三维空间中重投影左右图像平面的图像点，重投影矩阵q的计算公式为：

q=

其中，（）为左图像的主点，f为左镜头的焦距，为右图像上与左图像中对应的位置。

由二维坐标转换为三维坐标的具体计算公式为：

q

其中，d为视差值。

所以，利用重投影矩阵q可获得深度图像z，具体计算公式为形式为：

z=z/w。

对所得深度图进行去噪操作，将深度图转换为二值深度图，三次形态开放操作在二值深度图，三次形态关闭操作在进程图像，形态学开闭操作后的深度图效果如图7所示，并加以融合指数加权移动平均值算法进行去噪，指数加权移动平均值算法(ewma)的具体计算公式为：

ewma(t)=ay(t)+(1-a)ewma(t-1),t=1,2,……,n;

其中，ewma(t)为t时刻的估计值，y(t)为t时刻的测量值，n为观察总时间，a(0<a<1)为历史测量值权重系数。

本次实施方案中选用0.75赋值给历史测量值权重系数，参考图4信噪比曲线图可知此时信噪比最大，用于去噪效果最好，降噪效果如图8所示。

设置阈值距离，通过三角形的相似定理得出理论距离，与所设定的阈值距离进行比较，将飞行模式分为三种：理论距离大于阈值距离时，无人机将信息传送给飞行控制器，飞行控制器下达保持前进指令，称为自然飞行模式；理论距离等于阈值距离时，无人机将信息传送给飞行控制器，飞行控制器下达led灯闪烁红色指令，称为报警模式；理论距离小于阈值距离时，无人机将信息传送给飞行控制器，飞行控制器下达避障指令，称为避障模式。

区别于现有技术，本发明提供了一种基于双目视觉系统的无人机控制方法，无人机在执行任务的过程中，对机身控制准确性的要求极高，利用形态学方法结合指数加权移动平均值算法，可以有效提高深度图的去噪效果，促使得出更准确的障碍距离，从而使得无人机控制的准确性更高。本发明基于双目视觉系统的无人机控制方法，提高了无人机在作业过程的工作效率，降低了无人机的失事风险。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。