基于无人机视觉系统下的追踪移动车辆的降落方法与流程

本发明属于无人机降落控制领域，涉及视觉图像处理技术，具体是基于无人机视觉系统下的追踪移动车辆的降落方法。

背景技术：

1、随着社会和科学技术的发展，无人机的出现大大方便了各行各业的生产作业。无人机可分为军用和民用，军用方面，无人机分为侦察机和靶机；民用方面，无人机+行业应用，是无人机真正的刚需。与载人飞机相比，无人机具有体积小、造价低、使用方便等优点。

2、目前针对无人机的起飞和降落已经有着成熟的技术，针对无人机的精准降落，一般有固定的降落地点和移动的降落地点，其中移动的降落地点使得无人机降落过程较为复杂。在现有技术中，当未能找到合适的降落地点，一般采用将无人机降落在移动的车辆上，目前已采用基于rtk gps的无人机精准降落方案和基于视觉的无人机精准降落方案；其中针对基于视觉的无人机精准降落在移动车辆上，大多采用在移动车辆的车顶放置二维码或者一些由开发者设计的图像作为标识物，并开发机器视觉算法对标识物进行识别，从而控制无人机精准降落。但此方法的标识物一般较为复杂，从而导致后台存储的算法较为复杂，需要大量的计算量，导致无人机降落可能存在时延；且有很多标识物存在相似，算法容易被攻破，导致无人机错误降落，导致不必要的财产损失。

3、为此，本发明提出了基于无人机视觉系统下的追踪移动车辆的降落方法。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出基于无人机视觉系统下的追踪移动车辆的降落方法，该基于无人机视觉系统下的追踪移动车辆的降落方法解决了基于无人机视觉系统下的追踪移动车辆的降落方案中，如何让标识物更加简单，若机器算法被攻破后，如何防止无人机降落至其他非法降落位置的问题。

2、为实现上述目的，根据本发明的第一方面的实施例提出基于无人机视觉系统下的追踪移动车辆的降落方法，包括：

3、在目标移动车辆的降落位置放置标识物；

4、获取降落指令，无人机机载自主下降至第一飞行高度范围；

5、获取当前移动车辆的车牌号图像，并进行图像处理，确认当前移动车辆是否为目标移动车辆；

6、获取目标移动车辆移动视频图像进行分析处理，控制无人机机载移动至目标移动车辆的正上方；

7、获取目标移动车辆的降落位置的标识物，并进行图像分析，控制无人机机载降落至第二飞行高度范围；

8、对降落位置的标识物图像进行进一步的分析处理，从而控制无人机机载精准降落。

9、进一步地，所述标识物为与目标移动车辆不同颜色的正方体纯色图像或其他形状的纯色图像，所述标识物的面积为无人机机载的外切矩形面积。

10、进一步地，当客户端根据需要对无人机机载进行启动降落指令，或者当无人机机载的剩余电量达到预设电量阈值，则无人机机载的中央处理模块发送定位坐标信息提取信号至与之无线连接的gps基站，获取目标移动车辆的实时定位坐标信息和无人机机载自身实时定位坐标信息；无人机机载的中央处理模块对获取的自身实时定位坐标信息和目标移动车辆的实时定位坐标信息进行处理，从而获取飞行路线信息，并输送至无人机飞控模块；无人机飞控模块控制无人机机载沿着飞行路线飞往目标移动车辆的方向。

11、进一步地，无人机机载在飞行过程中，中央处理模块间隔单位时间实时获取无人机机载和目标移动车辆的定位坐标信息，并对无人机机载与目标移动车辆后方在水平方向上的垂直距离进行计算，若获取的垂直距离在第一间隔距离范围之内，则中央处理模块通知无人机飞控模块将无人机机载移动至与目标移动车辆的后方，以及将无人机机载子在竖直方向上降落至第一飞行高度范围内。

12、进一步地，当无人机机载处于第一飞行高度范围时，则中央处理模块提示摄像头对前方移动车辆后方的车牌号进行拍摄，第一图像处理单元将对含有车辆的图像进行处理，将其转化为数字图像，通过检测数字图像中的字符以及与当前字符相邻的结构和颜色一致的其他字符来定位车牌，对车牌进行矫正，根据字符的结构特征、字符的相似性以及字符间含有间隙将车牌区域内各个字符分割开，对分割后的字符的数字图像进行归一化处理以及特征处理；将获取的字符发送至与中央处理模块连接的数据库，通过数据库中存储的大量字符与该获取的字符进行匹配，选取匹配度最高的结果作为当前的车牌号识别结果，并发送至第一图像处理单元；

13、第一图像处理单元将获取的车牌号与预设的目标移动车辆的车牌号进行比较，若相同，则第一图像处理单元确认当前追踪的移动车辆为目标移动车辆，并发送确认信息至第二图像处理单元。

14、进一步地，第二图像处理单元从摄像头提取当前拍摄的视频图像信息，通过对获取的连续时间内的多个视频帧图像进行图像处理，从而计算获取无人机机载相对目标移动车辆的移动速度；并根据当前无人机机载相对目标移动车辆的水平方向上的直线距离进行加速度计算，以及到达目标移动车辆上方的时间进行预测计算，并发送至无人机飞控模块进行无人机机载的飞行速度控制。

15、进一步地，当无人机机载加速到达目标移动车辆的上方时，摄像头拍摄到目标移动车辆上方的标识物，第三图像处理单元对标识物图像进行预处理，将车顶背景与标识物分离，获取仅含标识物的图像，根据前期标识物样本数据训练所建立的神经网络模型，识别当前标识物为目标移动车辆上降落位置的标识物；第三图像处理单元根据标识物的像素坐标、摄像头的图像坐标转化以及无人机机载的世界坐标的转换，获取标识物的实时定位坐标信息，并发送至无人机飞控模块；无人机飞控模块获取到降落位置的标识物的实时定位坐标信息后，根据标识物的移动速度，控制无人机机载以相同的速度移动，并下降至第二飞行高度范围内。

16、进一步地，当无人机机载下降到第二飞行高度范围内，无人机摄像头的视野获取到纯色视频图像；第四图像处理单元对纯色视频图像进行rgb颜色分析，若获取的rgb值为预设的目标移动车辆的降落位置的标识物的rgb值，则发送继续降落的提示信息至无人机飞控模块，所述无人机飞控模块控制无人机机载逐渐降落至目标移动车辆的降落位置。

17、进一步地，无人机到达第一高度范围时，无人机的摄像头与地面成一定角度的旋转，使得无人机的摄像头能够实时拍摄到前方移动车辆的车牌号；

18、当无人机到达车辆上方时，将无人机的摄像头旋转至与目标移动车辆垂直的方向，使得无人机的摄像头能够实时拍摄降落位置的标识物。

19、与现有技术相比，本发明的有益效果是：

20、1、本发明通过在目标移动车辆的降落位置放置无人机机载外切矩形面积大小的纯色图像作为无人机机载降落的标志物图像；当客户端对无人机机载发送降落的控制指令或者无人机机载自身的中央处理模块判断剩余电量达到预设电量阈值，则无人机开始进行自主降落；具体通过无人机机载的中央处理模块从gps基站获取自身定位坐标信息和目标移动车辆的定位坐标信息进行分析处理，从而控制无人机飞控模块控制无人机机载前往目标移动车辆的方向进行移动；在飞行过程中，中央处理模块每间隔单位时间对无人机机载和目标移动车辆的定位坐标信息进行分析处理，当无人机机载与目标移动车辆后方在水平方向上的垂直距离在预设第一间隔拒绝范围之内，则提示无人机飞控模块控制无人机机载飞行至目标移动车辆的后方，并控制无人机机载在竖直方向上下降至第一飞行高度范围内；此时中央处理模块中的第一图像处理单元对获取的含有车牌号的图像进行分析处理是否为预设的目标移动车辆的车牌号，若是，则发送确认信息至第二图像处理单元；第二图像处理单元从摄像头提取当前连续时间内的多个视频帧图像进行图像处理，从而计算获取无人机机载相对目标移动车辆的移动速度，并根据当前无人机机载相对目标移动车辆的水平方向上的直线距离进行加速度计算，以及到达目标移动车辆上方的时间进行预测计算，并发送至无人机飞控模块进行无人机机载的飞行速度控制；当无人机机载加速到达目标移动车辆的上方时，摄像头即可拍摄到目标移动车辆上方的标识物，此时第三图像处理单元对获取的标识物图像进行分析处理，根据前期标识物样本数据训练所建立的神经网络模型，识别出当前标识物即为目标移动车辆上降落位置的标识物，从而输出标识物的定位坐标信息发送至无人机飞控模块，从何控制无人机机载降落与标识物相同的速度飞行，并下降至第二飞行高度；此时无人机摄像头获取到纯色视频图像，第四图像处理单元对获取的视频图像进行rgb颜色分析，若获取的rgb值与预设的目标移动车辆的降落位置的标识物的rgb值，则提示无人机飞控模块控制无人机机载逐渐降落至目标移动车辆的降落位置。

21、2、在本发明中，采用了gps定位，从而能够控制无人机机载飞往目标移动车辆的方向，因gps定位坐标信息的获取有时延误差，则通过视觉图像处理进行无人机机载的降落，通过第一图像处理单元确认当前追踪的移动车辆是否为目标移动车辆，避免了无人机机载降落错误，防止无人机降落至相似标识物的其他降落位置，并通过第二图像处理单元计算无人机到达目标移动车辆上方的加速度和时间，从而精准控制无人机机载到达目标移动车辆的上方，并通过摄像头垂直拍摄目标移动车辆的车顶获取标识物图像，根据第三图像处理单元对当前标识物图像是否为降落位置标识物图像，以及根据第四图像处理单元对无人机摄像头的视野中的颜色进行分析，从而控制无人机机载能够精准降落至目标移动车辆的降落位置，本发明摒弃了复杂设计的标识物图像，使得无人机机载在降落的过程中更加简单有效；解决了基于无人机视觉系统下的追踪移动车辆的降落方案中，如何让标识物更加简单，若机器算法被攻破后，如何防止无人机降落至其他非法降落位置的问题。