一种无人机飞行着陆视觉处理系统及方法与流程

本发明涉及无人机领域，特别涉及一种无人机飞行着陆视觉处理系统及无人机飞行着陆视觉处理方法。

背景技术：

由于无人机具有灵活轻便、低廉高效等特点，无人机在农业植保、电力巡检、地形探测、物流运输等领域有较大的发展空间。目前，无人机技术已经具备了自主飞行的功能，并且也能实现自主降落，但是在自主着陆系统为基于gps的无人机自主着陆系统，仍然存在着陆精度不够高、着陆安全性不足、无人机负载重、对停机坪要求高的缺点。

技术实现要素：

基于上述问题，一方面，本发明提供一种无人机飞行着陆视觉处理系统，该无人机飞行着陆视觉处理系统一方面减少了图像分割并定位无人机的相对位置的数据量，加快了图像处理速度，另一方面，由于无人机识别模块仅进行是否无人机的识别，识别特征容易提取，特征明显，有利于提高识别的速度及识别的准确性。

技术方案是：一种无人机飞行着陆视觉处理系统，包括：

拍摄模块，其拍摄摄像头摄像范围内的图像；

无人机识别模块，其识别拍摄模块拍摄的图像是否为无人机；和

无人机相对位置定位模块，其将无人机识别模块识别出的无人机图像进行图像分割并定位无人机的相对位置。

可选地，所述无人机识别模块为深度学习模型框架模块，深度学习模型框架模块使用基于yolo_v3的网络结构进行图像识别预测功能，通过训练数据集和测试预测数据集构建深度学习网络，构建的特征提取网络加入后续层；其中训练数据集和测试预测数据集均为由地面拍摄的各种相对位置和天气条件下天空中无人机的仰视图图片的集合，其中训练数据作为训练数据，测试预测数据集作为测试预测数据。

可选地，所述基于yolo_v3的网络结构包括darknetconv2d_bn_leaky，darknetconv2d_bn_leaky包括不可分割的卷积层、批量标准化bn、激活函数leaky。

可选地，所述无人机相对位置定位模块包括灰阶处理模块、多阈值分割模块和无人机相对位置输出模块，灰阶处理模块将彩色图片转换为灰度图，多阈值分割模块将灰阶处理模块处理后的灰阶图像进行多阈值分割处理，无人机相对位置输出模块根据帧间无人机位置变化，使用滤波器后输出位置和速度信息，反馈给无人机。

可选地，所述灰阶处理模块计算公式为：

gray＝0.299*red+0.587*green+0.114*blue

可选地，所述多阈值分割模块对灰阶图像求取多次平滑直方图，参数sigma控制高斯平滑结果的平滑程度，平滑程度决定最终分割的细致程度，灰度图中出现最多的灰度像素值作为峰值，以直方图中的波谷最大峰值对应的峰谷作为分割阈值进行图像分割。

可选地，所述滤波器为卡尔曼滤波器。

另一方面，本发明还提供一种无人机飞行着陆视觉处理方法。

技术方案是：一种无人机飞行着陆视觉处理方法，包括以下步骤：

启动目标搜索算法，捕捉无人机的相对位置；开启视觉标定功能，视觉标定功能根据帧间图像运动信息差异运行卡尔曼滤波器以识别无人机运动信息。

可选地，所述视觉标定功能包括以下步骤：拍摄摄像头摄像范围内的图像；识别所拍摄的图像是否为无人机；将识别出的无人机图像进行图像分割并定位无人机的相对位置。

可选地，所述无人机识别为深度学习模型框架，深度学习模型框架模块使用基于yolo_v3的网络结构进行图像识别预测功能，通过训练数据集和测试预测数据集构建深度学习网络，构建的特征提取网络加入后续层；和/或

无人机相对位置定位包括灰阶处理、多阈值分割和无人机相对位置输出，灰阶处理将彩色图片转换为灰度图，多阈值分割将灰阶处理后的灰阶图像进行多阈值分割处理，无人机相对位置输出根据帧间无人机位置变化，使用滤波器后输出位置和速度信息，反馈给无人机。灰阶处理和多阈值分割确定了无人机相对于视场中的位置，无人机相对位置输出根据帧间无人机位置变化，使用滤波器后即可输出位置和速度信息，反馈给无人机。

发明有益效果：

本发明通过将视觉处理系统安装在停机坪，一方面降低了无人机的重量，另一方面由于视觉处理系统安装于停机坪，因此不受重量、空间的限制，视觉处理系统可以采用精度与准确性较高的视觉处理系统，从而实现无人机高精度飞行着陆。

本发明通过白天的视觉标定模式，一方面减少了图像分割并定位无人机的相对位置的数据量，加快了图像处理速度，另一方面，由于无人机识别模块仅进行是否无人机的识别，识别特征容易提取，特征明显，有利于提高识别的速度及识别的准确性。本发明通过红外发射系统和红外接收系统，红外发射系统安装在无人机上，对地面发射红外信号，红外接收系统接收红外信号，红外发射系统和红外接收系统用以解决夜间缺乏可见光信息而的缺陷，满足夜间降落需求。

本发明通过时间序列分析模型模块解决了停机坪运动引起的位移变化及震动会给无人机降落接触平台带来非常恶劣的影响，实现了无人机在运动机场平台上的精准降落。

附图说明

图1为本发明车载无人机机场全自动高精度飞行着陆系统原理框图；

图2为本发明车载无人机机场全自动高精度飞行着陆方法的流程示意图。

具体实施方式

下面将结合附图对本发明作进一步说明。

请参考图1，图1为本发明车载无人机机场全自动高精度飞行着陆系统原理框图。

一种车载无人机机场全自动高精度飞行着陆系统，包括位于机载控制系统、惯性导航系统、高度测量系统、rtk-gps系统和视觉处理系统，惯性导航系统、高度测量系统、rtk-gps系统分别与机载控制系统连接，机载控制系统包括飞控单元，机载控制系统、惯性导航系统、高度测量系统、rtk-gps系统安装在无人机上，视觉处理系统安装在停机坪。通过将视觉处理系统安装在停机坪，一方面降低了无人机的重量，另一方面由于视觉处理系统安装于停机坪，因此不受重量、空间的限制，视觉处理系统可以采用精度与准确性较高的视觉处理系统，从而实现无人机高精度飞行着陆。高度测量系统为飞控单元提供相对相对高度信息。rtk-gps系统提供前置差分高精度定位绝对位置信息，视觉处理系统实时对空检测识别飞机相对于降落平台的相对位置信息并提供给飞控单元。飞控单元接收并发送信息，控制无人机飞行与着路。

可选地，高度测量系统为气压计。

可选地，惯性导航系统包括第一惯性导航系统、第二惯性导航系统和第三惯性导航系统。其中，第一惯性导航系统为三轴磁力计，以800hz的频率以通用can总线方式向飞控单元发送磁航向信息，第二惯性导航系统为三轴加速度计，以1000hz频率以通用can总线方式向飞控单元发送加速度状态信息，第三惯性导航系统为以8000hz的频率以通用can总线方式向飞控单元发送角速率信息。通过第一惯性导航系统、第二惯性导航系统和第三惯性导航系统给飞控单元提供惯性导航组合信息，协同保证了传感器的高可靠性。

可选地，rtk-gps系统与飞控单元之间通过通用can总线连接，rtk-gps系统以20hz频率向飞控单元输送无人机绝对位置信息。

可选地，车载无人机机场全自动高精度飞行着陆系统还包括红外发射系统和红外接收系统，红外发射系统安装在无人机上，对地面发射红外信号，红外接收系统接收红外信号，红外发射系统和红外接收系统用以解决夜间缺乏可见光信息而的缺陷，满足夜间降落需求。

可选地，视觉处理系统包括拍摄模块、无人机识别模块和无人机相对位置定位模块，拍摄模块拍摄摄像头摄像范围内的图像，无人机识别模块识别所拍摄的图像是否为无人机，无人机相对位置定位模块将无人机识别模块识别识别出的无人机图像进行图像分割并定位无人机的相对位置。通过无人机识别模块先进行是否为无人机后，对于识别后为无人机的再进行图像分割并定位无人机的相对位置，一方面减少了图像分割并定位无人机的相对位置的数据量，加快了图像处理速度，另一方面，由于无人机识别模块仅进行是否无人机的识别，识别特征容易提取，特征明显，有利于提高识别的速度及识别的准确性。

可选地，无人机识别模块为深度学习模型框架模块，深度学习模型框架模块使用基于yolo_v3的网络结构进行图像识别预测功能，通过训练数据集和测试预测数据集构建深度学习网络，构建的特征提取网络加入后续层。其中训练数据集和测试预测数据集均为由地面拍摄的各种相对位置和天气条件下天空中无人机的仰视图图片的集合，其中训练数据作为训练数据，测试预测数据集作为测试预测数据。深度学习模型框架统一了网络，在模型训练过程中，不需要反复训练rpn网络及fastrcnn网络，做到了候选框提取和分类一次成型的效果，并且将整个识别过程统一为一个回归问题，简化了识别过程。识别可以大致50fps的速率实时识别平台上空无人机。

可选地，基于yolo_v3的网络结构包括darknetconv2d_bn_leaky，darknetconv2d_bn_leaky包括不可分割的卷积层、批量标准化bn、激活函数leaky。

可选地，无人机相对位置定位模块包括灰阶处理模块、多阈值分割模块和无人机相对位置输出模块，灰阶处理模块将彩色图片转换为灰度图，多阈值分割模块将灰阶处理模块处理后的灰阶图像进行多阈值分割处理，无人机相对位置输出模块根据帧间无人机位置变化，使用滤波器后输出位置和速度信息，反馈给无人机。灰阶处理模块和多阈值分割模块确定了无人机相对于视场中的位置，无人机相对位置输出模块根据帧间无人机位置变化，使用滤波器后即可输出位置和速度信息，反馈给无人机。无人机的飞控单元指引飞机实时调整动力输出，以保持无人机始终处在视场中部位置进行降落，从而保证无人机精准降落到平台指定位置中。

可选地，灰阶处理模块中，将无人机识别模块识别出为无人机照片的彩色图片每个像素点的rgb三个分量按一定权值相乘后加起来就转化为灰度值了，公式如下：

gray＝0.299*red+0.587*green+0.114*blue

可选地，多阈值分割模块中，对灰阶图像求取多次平滑直方图，参数sigma控制高斯平滑结果的平滑程度，平滑程度决定最终分割的细致程度，灰度图中出现最多的灰度像素值作为峰值，以直方图中的波谷最大峰值对应的峰谷作为分割阈值进行图像分割。sigma大小不同，得到的目标分割结果的差异性，不同的直方图峰谷可以得到不同的分割结果。选取合适的sigma值进行灰度图像分割后，寻找灰度图中出现最多的灰度像素值作为峰值，以直方图中的波谷最大峰值对应的峰谷作为分割阈值进行图像分割。

可选地，滤波器为卡尔曼滤波器。

可选地，视觉处理系统还包括时间序列分析模型模块。当停机坪处于运动状态时，时间序列分析模型模块启用，时间序列分析模型模块采集停机坪水平和垂直方向的周期运动信息，计算预测结果后反馈给无人机引导其在停机坪垂直方向加速度最小时刻进行着陆，从而避免运动过程中的接触弹跳引起的安全问题。时间序列分析模型模块解决了停机坪运动引起的位移变化及震动会给无人机降落接触平台带来非常恶劣的影响，实现了无人机在运动机场平台上的精准降落。时间序列分析模型模块对停机坪进行运动规律建模，预估停机坪未来的短时运动信息，从而提供位置速度补偿，从而增强精准降落的鲁棒性。时间序列分析模型模块实现了无人机降落时与停机坪处于水平相对静止状态，而竖直方向着陆接触时刻尽量靠近周期运动中加速度最小的时刻。

可选地，时间序列分析模型模块包括自回归模型p，自回归模型p负责量化当前数据与前期数据之间的关系通过不断循环迭代能够从未来数据中不断学习优化，从而使得自回归滑动平均模型具备预测移动停机坪未来短时运动信息的能力。时间序列分析模型采用的公式为：

x(k)＝a1*x(k-1)+a2*x(k-2)+……ap*x(k-p)+kesi(k)

其中，模型阶次p为模型特征信息，a1,a2,a3……ap为模型参数，x1,x2,x3……x(k-p)为停机坪的升降位移的测量数据序列，kesi(k)为模型的残差，k为预测的时刻，k-1表示当前时刻，k-2是前1时刻，k-3是前2时刻，以此类推。

可选地，车载无人机机场全自动高精度飞行着陆系统还包括故障复飞系统，故障复飞模块与非控单元相连。当无人机丢失相对引导进近信息时，故障复飞模块启动，故障复飞功能阶段重新进入返航程序。

基于上述的车载无人机机场全自动高精度飞行着陆系统，本发明提供一种车载无人机机场全自动高精度飞行着陆方法。

请参考图2，图2为本发明车载无人机机场全自动高精度飞行着陆方法的流程示意图。

一种车载无人机机场全自动高精度飞行着陆方法，包括以下步骤：

s01:建立高度阶段；无人机接到着陆请求，建立安全返航高度，准备返航。

本步骤中，通过rtk-gps系统、九轴惯性导航系统及气压计获取无人机位置信息，建立安全返航高度，进行返航导航。

s02:大范围领航阶段；无人机使用gps信息为主信息指引飞机向自动降落平台(即停机坪)以经济巡航速度13m/s飞行。

本步骤中，通过rtk-gps系统、九轴惯性导航系统及气压计获取无人机位置信息，进行返航导航。

s03:目标搜索及锁定下滑道阶段；当无人机接近自动降落平台(即停机坪)上空时，rtk-gps系统捕捉无人机的绝对位置，同时安装在自动降落平台的视觉处理模组启动目标搜索算法，捕捉无人机的相对位置，并建立起下滑道，指令飞机进入后一阶段-末段引导下降阶段。

s04:末段引导下降及判断阶段；rtk-gps系统的绝对位置、信标引导系统的相对引导及视觉标定系统的视觉标定为无人机末段的降落提供导引信息，指引飞机以高速下降速度5m/s进行下降。

s05:故障复飞阶段；若末段引导下降中判断无人机丢失相对引导进近信息，则启动故障复飞功能阶段重新进入返航程序，重新进行s01-s04。

可选地，本步骤中，当启动故障复飞功能阶段重新进入返航程序，重新进行s01-s04后，当s01-s03中的任一中如无人机信息重新出现，立即进入s04进行末段引导下降及判断阶段。

s06:终段接触阶段；距离自动降落平台(即停机坪)1米高度处时，无人机逐渐降低下降速度到0.3m/s。

s07:接触着陆自动降落停机坪；若s05中判断无人机未丢失相对引导进近信息，在车辆起伏相对运动加速度最低时进行接触着陆。

s01-s07中，九轴惯性导航系统为全程提供测量信息，气压计为全程提供无人机高度信息。

可选地，九轴惯性导航系统有三组，分别为三轴磁力计、三轴加速度计、三轴陀螺仪，分别以800hz、1000hz、8000hz的分组频率以通用can总线方式向飞控单元发送磁航向、加速度状态、角速率信息。

可选地，rtk-gps系统在确定截获准确下滑道前均为无人机提供绝对位置导航信息，视觉处理模组识别定位无人机后，无人机即确定截获准确下滑道。此后，rtk-gps系统不再提供位置服务，而转用视觉处理模组提供相对降落平台的位置导航信息。

可选地，s03-s04中，在白天模式时，视觉处理模组开启视觉标定功能，视觉标定功能根据帧间图像运动信息差异运行卡尔曼滤波器以识别无人机运动信息。在黑夜模式时，安装在无人机上的红外信号源向视觉处理模组发送位置信息，视觉处理模组开启红外，接收该位置信息并根据帧间图像运动信息差异运行卡尔曼滤波器以识别无人机的相对运动信息。

可选地，s03-s04中，在白天模式时，视觉处理模组拍摄摄像头摄像范围内的图像，识别所拍摄的图像是否为无人机，将识别出的无人机图像进行图像分割并定位无人机的相对位置。识别可以大致50fps的速率实时识别平台上空无人机。

可选地，无人机识别为深度学习模型框架，深度学习模型框架模块使用基于yolo_v3的网络结构进行图像识别预测功能，通过训练数据集和测试预测数据集构建深度学习网络，构建的特征提取网络加入后续层。其中训练数据集和测试预测数据集均为由地面拍摄的各种相对位置和天气条件下天空中无人机的仰视图图片的集合，其中训练数据作为训练数据，测试预测数据集作为测试预测数据。深度学习模型框架统一了网络，在模型训练过程中，不需要反复训练rpn网络及fastrcnn网络，做到了候选框提取和分类一次成型的效果，并且将整个识别过程统一为一个回归问题，简化了识别过程。识别可以大致50fps的速率实时识别平台上空无人机。

可选地，无人机相对位置定位包括灰阶处理、多阈值分割和无人机相对位置输出，灰阶处理将彩色图片转换为灰度图，多阈值分割将灰阶处理后的灰阶图像进行多阈值分割处理，无人机相对位置输出根据帧间无人机位置变化，使用滤波器后输出位置和速度信息，反馈给无人机。灰阶处理和多阈值分割确定了无人机相对于视场中的位置，无人机相对位置输出根据帧间无人机位置变化，使用滤波器后即可输出位置和速度信息，反馈给无人机。无人机的飞控单元指引飞机实时调整动力输出，以保持无人机始终处在视场中部位置进行降落，从而保证无人机精准降落到平台指定位置中。

可选地，灰阶处理中，将无人机识别识别出为无人机照片的彩色图片每个像素点的rgb三个分量按一定权值相乘后加起来就转化为灰度值了，公式如下：

gray＝0.299*red+0.587*green+0.114*blue

可选地，多阈值分割中，对灰阶图像求取多次平滑直方图，参数sigma控制高斯平滑结果的平滑程度，平滑程度决定最终分割的细致程度，灰度图中出现最多的灰度像素值作为峰值，以直方图中的波谷最大峰值对应的峰谷作为分割阈值进行图像分割。sigma大小不同，得到的目标分割结果的差异性，不同的直方图峰谷可以得到不同的分割结果。选取合适的sigma值进行灰度图像分割后，寻找灰度图中出现最多的灰度像素值作为峰值，以直方图中的波谷最大峰值对应的峰谷作为分割阈值进行图像分割。

可选地，s06中，当停机坪为非静止的移动停机坪时，平台计算模组启动时间序列模型分析移动停机坪相对运动信息，补偿移动停机坪移动的带来的瞬时高差和水平速度差，防止末段着陆的弹跳事故。

可选地，s06中，时间序列分析模型采用的公式为：

x(k)＝a1*x(k-1)+a2*x(k-2)+……ap*x(k-p)+kesi(k)

其中，模型阶次p为模型特征信息，a1,a2,a3……ap为模型参数，x1,x2,x3……x(k-p)为停机坪的升降位移的测量数据序列，kesi(k)为模型的残差，k为预测的时刻，k-1表示当前时刻，k-2是前1时刻，k-3是前2时刻，以此类推。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。