基于毫米波雷达与视觉融合的无人机避障装置及避障方法与流程

本发明属于无人机避障应用领域，特别涉及一种基于毫米波雷达与视觉融合的无人机避障装置及避障方法，适用于获取障碍物的三维立体信息。

背景技术：

雷达通过主动发射电磁波并接收检测范围内目标的反射波并进行目标检测，并且雷达的作用距离远、可靠性高，不受天气、雾霾等影响，具有全天候、全天时工作的优势，特别是随着毫米波芯片的飞速发展，毫米波雷达的尺寸重量小、分辨率和探测精度也越来越高；但是单个毫米波雷达只能获得障碍物的距离信息，无法获得障碍物的方位信息。

当前无人机避障主流方法是采用光学传感器，单个的光学传感器只能获得障碍物的方位信息，无法获取障碍物的距离信息；而采用多个光学传感器的系统虽然能够获得障碍物的三维立体信息，但是在数据处理阶段对处理器性能要求很高，目前的嵌入式处理器难以实时的完成多光学传感器的数据处理任务。

当前基于毫米波雷达与视觉传感器融合的方法中，通常都是用多个毫米波雷达获得障碍物的三维立体信息而视觉传感器起辅助性作用，或者用多个光学传感器获得障碍物的三维立体信息而雷达起辅助性作用，但是多个光学传感器融合存在繁重的数据处理任务，增大了避障系统对处理器性能的要求，也无法保证无人机的飞行安全。

技术实现要素：

为解决上述现有技术存在的不足，本发明的目的在于提出一种基于毫米波雷达与视觉融合的无人机避障装置及避障方法，该种基于毫米波雷达与视觉融合的无人机避障装置及避障方法公布了一种基于毫米波雷达与单目视觉融合的无人机避障装置和方法，通过融合毫米波雷达和视觉传感器的数据对障碍物三维立体定位，能够减少多光学传感器融合繁重的数据处理任务，降低了避障系统对处理器性能的要求，保证无人机的飞行安全。

为达到上述目的，本发明采用如下技术方案予以实现。

技术方案一：

一种基于毫米波雷达与视觉融合的无人机避障装置，安装于无人机上，其特征在于，包括：雷达模块、视觉模块、电子罗盘模块、信息融合处理模块和飞行控制模块；

所述信息融合处理模块包括三个输入端，分别电连接雷达模块输出端、视觉模块输出端和电子罗盘模块输出端，信息融合处理模块输出端电连接飞行控制模块输入端；

所述雷达模块用于发射毫米波，并接收无人机检测范围内的障碍物反射回来的障碍物毫米波，从所述反射回来的障碍物毫米波得到n点采样后的数据，并将所述n点采样后的数据发送至信息融合处理模块；n为大于0的正整数；

所述视觉模块用于获取无人机检测范围内的障碍物视觉信息，得到t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据，并将所述t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据发送至信息融合处理模块；

所述电子罗盘模块用于获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块；

所述信息融合处理模块分别用于对所述n点采样后的数据做恒虚警检测，得到无人机到障碍物的距离信息；用于通过对t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据做高斯滤波和求差，进而得到二值图像；然后信息融合处理模块对无人机检测范围内的障碍物到无人机的距离信息、二值图像进行融合处理，进而得到无人机检测范围内的障碍物三维立体信息，并将无人机检测范围内的障碍物三维立体信息发送至飞行控制模块；

所述飞行控制模块用于根据无人机检测范围内的障碍物三维立体信息避开障碍物。

技术方案二：

一种基于毫米波雷达与视觉融合的无人机避障方法，应用于权利要求1至3所述的基于毫米波雷达与视觉融合的无人机避障装置，所述基于毫米波雷达与视觉融合的无人机避障装置，安装于无人机上，包括：雷达单元1、…、雷达单元g、雷达控制与采集单元、视觉传感器单元、视觉控制传输单元、电子罗盘模块、信息融合处理模块、飞行控制模块；所述基于毫米波雷达与视觉融合的无人机避障方法，其特征在于，包括以下步骤：

步骤1，雷达单元i发射毫米波并接收从障碍物反射回来的毫米波，通过将反射回来的毫米波与雷达单元i发射的毫米波做混频，得到混频后的单频正弦信号；雷达单元i为从g个雷达单元中任意选取的一个雷达单元；g为大于0的正整数；

将混频后的单频正弦信号发送至雷达控制与采集单元，设雷达控制与采集单元的采样率为fs，采样持续时间为tp，则持续时间tp内的采样点数n＝fs*tp；对混频后的单频正弦信号进行n点采样，得到n点采样后的数据，并将n点采样后的数据发送至信息融合处理模块；

步骤2，视觉控制传输单元在t时刻控制视觉传感器单元对无人机检测范围内的障碍物拍照两次，分别得到第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2，并发送至信息融合处理模块；t表示时间变量；

所述电子罗盘模块获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块，所述无人机的三维倾角信息包括无人机的横滚角α、无人机的俯仰角β和无人机的航向角γ；

步骤3，信息融合处理模块中对n点采样后的数据做傅里叶变换获得频谱，通过对所述频谱做恒虚警检测得到障碍物到无人机的距离r；

信息融合处理模块对第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2进行高斯滤波并求差，进而得到二值图像；

步骤4，信息融合处理模块对二值图像进行形态学腐蚀和膨胀处理，得到形态学腐蚀和膨胀后的图像，然后根据无人机的三维倾角信息和障碍物到无人机的距离r，计算得到无人机检测范围内的障碍物三维立体信息；

飞行控制模块利用无人机检测范围内的障碍物三维立体信息避开障碍物。

与现有技术相比，本发明的有益效果：

在本发明公布的无人机避障装置中，具有雷达单元和单目视觉单元，处理雷达回波携带的障碍物信息以及处理单个视觉单元传输至信息融合处理模块中的障碍物信息就能实现三维立体定位，具有数据处理量小的特点，有效避开了双目视觉或者多传感器融合系统繁重的数据处理任务；本发明提供的避障方法中，同时利用了雷达的障碍物信息和单目视觉的障碍物信息有效克服了双目或者多传感器融合的繁重数据处理困难。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细说明。

图1为本发明的一种基于毫米波雷达与视觉融合的无人机避障装置示意图；

图2为本发明的一种基于毫米波雷达与视觉融合的无人机避障方法流程图。

具体实施方式

参照图1，为本发明的一种基于毫米波雷达与视觉融合的无人机避障装置示意图；其中所述基于毫米波雷达与视觉融合的无人机避障装置，包括：雷达模块1、视觉模块2、电子罗盘模块4、信息融合处理模块3、飞行控制模块5；其中雷达模块1包括6个雷达单元，分别为雷达单元1、雷达单元2、雷达单元3、雷达单元4、雷达单元5、雷达单元6和雷达控制与采集单元17，视觉模块2包括视觉传感器单元21和视觉控制传输单元22。

雷达控制与采集单元17包括6个输入端，分别电连接雷达单元1输出端、雷达单元2输出端、雷达单元3输出端、雷达单元4输出端、雷达单元5输出端和雷达单元6输出端，雷达控制与采集单元17输出端电连接信息融合处理模块3，视觉传感器单元21输出端电连接视觉控制传输单元22输入端，所述信息融合处理模块3包括三个输入端，分别电连接雷达控制与采集单元17输出端、视觉控制传输单元22和电子罗盘模块4输出端，信息融合处理模块3输出端电连接飞行控制模块5输入端。

雷达单元1至雷达单元6中的任意一个雷达单元、视觉传感器单元21以及电子罗盘模块4用于同时获得障碍物信息和无人机的三维倾角信息，并将障碍物信息和三维倾角信息传输至信息融合处理模块3。

雷达单元i发射毫米波，雷达单元i发射的毫米波持续时宽为tp，雷达单元i发射的毫米波带宽为b'；假如无人机前方距离为r处存在障碍物，该障碍物能够反射接收到的毫米波；雷达单元i为从g个雷达单元中任意选取的一个雷达单元；g为大于0的正整数；。

在无人机的飞行过程中，把该无人机避障装置安装在无人机上，为了实现无人机前后左右上下六个维度的避障，雷达模块1中安装了6个雷达单元，分别为雷达单元1、雷达单元2、雷达单元3、雷达单元4、雷达单元5、雷达单元6，且6个雷达单元都为分时工作，比如无人机要避开飞行中前方的障碍物，雷达控制与采集单元17控制让雷达单元1工作，同时将其余5个雷达单元关闭。

雷达单元i用于发射毫米波并接收从障碍物反射回来的毫米波；通过将反射回来的毫米波与雷达单元i发射的毫米波做混频，得到混频后的单频正弦信号；其中雷达单元i为从g个雷达单元中任意选取的一个雷达单元。

将混频后的单频正弦信号发送至雷达控制与采集单元17，设雷达控制与采集单元17的采样率为fs，采样持续时间为tp，则持续时间tp内的采样点数n＝fs*tp；对混频后的单频正弦信号进行n点采样，得到n点采样后的数据，并将n点采样后的数据发送至信息融合处理模块3；n为大于0的正整数。

视觉控制传输单元22用于在t时刻控制视觉传感器单元21对无人机检测范围内的障碍物拍照两次，分别得到第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2，并发送至信息融合处理模块3；t表示时间变量。

所述电子罗盘模块4用于获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块3，所述无人机的三维倾角信息包括无人机的横滚角α、无人机的俯仰角β和无人机的航向角γ。

信息融合处理模块3用于对n点采样后的数据做傅里叶变换获得频谱，通过对所述频谱做恒虚警检测得到障碍物到无人机的距离r。

信息融合处理模块3用于将第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2做高斯滤波，高斯滤波模板为3*3大小，滤除第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2中由于环境和基于毫米波雷达与视觉融合的无人机避障装置中引入的高斯噪声；进而得到高斯滤波后第一无人机检测范围内的障碍物视觉图像数据g1和高斯滤波后第二无人机检测范围内的障碍物视觉图像数据g2，计算g1与g2的差值图像s，s＝g1-g2；统计差值图像s中不为0的像素点,将差值图像中不为0的所有像素点都标记为1，差值图像中为0的像素点都保持不变，进而得到二值图像。

信息融合处理模块3同于使用形态学腐蚀和膨胀方法对二值图像进行形态学腐蚀和膨胀处理，填充二值图像内部的空洞，并分离不同的障碍物，得到形态学腐蚀和膨胀后的图像；a为视觉传感器单元21获取第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2的时间间隔，所述障碍物在形态学腐蚀和膨胀后的图像中的横坐标为b，所述障碍物在形态学腐蚀和膨胀后的图像中的纵坐标为c，b和c为无人机检测范围内的障碍物方位信息，然后计算比例系数k和过渡矩阵p，进而得到无人机检测范围内的障碍物三维立体信息(x',y',z')，将所述无人机检测范围内的障碍物三维立体信息(x',y',z')发送至飞行控制模块5。

飞行控制模块5用于利用无人机检测范围内的障碍物三维立体信息(x',y',z')避开无人机检测范围内的障碍物；其表达式分别为：

x＝a·k

y＝b·k

z＝c·k-f

其中，r表示障碍物到无人机的距离，x表示第一中间参数，y表示第二中间参数，z表示第三中间参数。

计算过渡矩阵p，其表达式为：

其中，θ1表示无人机的横滚角，θ2表示无人机的俯仰角，θ3表示无人机的航向角，sin表示正弦函数，cos表示余弦函数。

进而计算得到无人机检测范围内的障碍物三维立体信息(x',y',z')，其表达式为：

飞行控制模块5利用无人机检测范围内的障碍物三维立体信息避开障碍物。

一种基于毫米波雷达与视觉融合的无人机避障方法，应用于基于毫米波雷达与视觉融合的无人机避障装置，所述基于毫米波雷达与视觉融合的无人机避障装置，安装于无人机上，包括：雷达模块1、视觉模块2、电子罗盘模块4、信息融合处理模块3、飞行控制模块5；其中雷达模块1包括雷达单元1、雷达单元2、雷达单元3、雷达单元4、雷达单元5、雷达单元6和雷达控制与采集单元17，视觉模块2包括视觉传感器单元21和视觉控制传输单元22；所述基于毫米波雷达与视觉融合的无人机避障方法，包括以下步骤：

步骤1，雷达发射毫米波，雷达发射的毫米波持续时宽为tp，雷达发射的毫米波带宽为b'；假如无人机前方距离为r处存在障碍物，该障碍物能够反射接收到的毫米波。

在无人机的飞行过程中，把该无人机避障装置安装在无人机上，为了实现无人机前后左右上下六个维度的避障，雷达模块1中安装了6个雷达单元，分别为雷达单元1、雷达单元2、雷达单元3、雷达单元4、雷达单元5、雷达单元6，且6个雷达单元都为分时工作，比如无人机要避开飞行中前方的障碍物，雷达控制与采集单元17控制让雷达单元1工作，同时将其余5个雷达单元关闭。

雷达单元i发射毫米波并接收从障碍物反射回来的毫米波，通过将反射回来的毫米波与雷达单元i发射的毫米波做混频，得到混频后的单频正弦信号；其中雷达单元i为从g个雷达单元中任意选取的一个雷达单元。

将混频后的单频正弦信号发送至雷达控制与采集单元17，设雷达控制与采集单元17的采样率为fs，采样持续时间为tp，则持续时间tp内的采样点数n＝fs*tp；对混频后的单频正弦信号进行n点采样，得到n点采样后的数据，并将n点采样后的数据发送至信息融合处理模块3。

视觉控制传输单元22在t时刻控制视觉传感器单元21对无人机检测范围内的障碍物拍照两次，分别得到第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2，并发送至信息融合处理模块3。

所述电子罗盘模块4获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块3，所述无人机的三维倾角信息包括无人机的横滚角α、无人机的俯仰角β和无人机的航向角γ。

步骤2，信息融合处理模块3中对n点采样后的数据做傅里叶变换获得频谱，通过对所述频谱做恒虚警检测得到障碍物到无人机的距离r，f表示视觉传感器单元21获取第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2的时间间隔，tp表示雷达发射的毫米波持续时宽，c表示光速，b'表示雷达发射的毫米波带宽。

分别设定无人机检测范围内的障碍物到无人机的最近距离为rmin，设定无人机检测范围内的障碍物到无人机的最远距离rmax，

如果无人机检测范围内的障碍物到无人机的距离r满足：所有障碍物的距离都满足r>rmax，则说明无人机处于安全区域，不改变飞行速度和方向。

如果无人机检测范围内的障碍物到无人机的距离r满足：rmin<r<rmax时，此时降低无人机飞行速度。

如果无人机检测范围内的障碍物到无人机的距离r满足：r<rmin，此时无人机处于危险区域，则无人机避开其检测范围内的障碍物。

信息融合处理模块3将第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2做高斯滤波，高斯滤波模板为3*3大小，滤除第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2中由于环境和基于毫米波雷达与视觉融合的无人机避障装置中引入的高斯噪声；进而得到高斯滤波后第一无人机检测范围内的障碍物视觉图像数据g1和高斯滤波后第二无人机检测范围内的障碍物视觉图像数据g2，计算g1与g2的差值图像为s，s＝g1-g2；统计差值图像s中不为0的像素点,将差值图像中不为0的所有像素点都标记为1，差值图像中为0的像素点都保持不变，进而得到二值图像。

步骤3，信息融合处理模块3使用形态学腐蚀和膨胀方法对二值图像进行形态学腐蚀和膨胀处理，填充二值图像内部的空洞，并分离不同的障碍物，得到形态学腐蚀和膨胀后的图像；将a记为视觉传感器单元21获取第一无人机检测范围内的障碍物视觉图像数据f1和第二无人机检测范围内的障碍物视觉图像数据f2的时间间隔，所述障碍物在形态学腐蚀和膨胀后的图像中的横坐标为b，所述障碍物在形态学腐蚀和膨胀后的图像中的纵坐标为c，b和c为无人机检测范围内的障碍物方位信息，然后计算比例系数k，其表达式为：

x＝a·k

y＝b·k

z＝c·k-f

其中，r表示障碍物到无人机的距离，x表示第一中间参数，y表示第二中间参数，z表示第三中间参数。

计算过渡矩阵p，其表达式为：

其中，θ1表示无人机的横滚角，θ2表示无人机的俯仰角，θ3表示无人机的航向角，sin表示正弦函数，cos表示余弦函数。

进而计算得到无人机检测范围内的障碍物三维立体信息(x',y',z')，其表达式为：

飞行控制模块5利用无人机检测范围内的障碍物三维立体信息避开障碍物。