一种基于图像识别的无人机自主飞行系统的制作方法
【技术领域】
[0001]本发明属于无人机控制与决策领域。具体地说是一种基于图像识别的无人机自主飞行系统。
【背景技术】
[0002]近年来，无人机因其在枯燥、恶劣的环境中出色的执行高危险任务，已被广泛运用到通信、气象、军事等领域。无人机技术在小型化、隐身化以及智能化方向得到了快速的发展。
[0003]但是，目前主流设计的无人机自主飞行系统，所涉及的地面控制基站程序一一无论是单纯的借助程序或者是基于智能Agent的分层递阶结构控制体系一一底层的导航控制都是借由方向定位系统(主要包括GPS定位系统、罗盘系统以及高度传感器这三部分)来确定无人机实时位置，再通过预先设定的直角坐标系进行飞行路线的执行，从而完成对预设飞行路线的执行。
[0004]然而，面对现实中受到多因素影响的复杂环境，这种控制模式已经不能满足对非预见威胁的有效避免。同时在一些小范围复杂地形环境中，无人机躲避障碍物的成功率大幅下降。
【发明内容】
[0005]本发明是为了克服现有技术存在的不足之处，提供一种基于图像识别的无人机自主飞行系统，以期无人机在自主飞行时，能根据随机发生的环境变化做出更及时应答和调整，以确保无人机自主飞行的稳定与灵活。
[0006]本发明为达到上述发明目的采用如下技术方案:
[0007]本发明一种基于图像识别的无人机自主飞行系统，是应用于由η个无人机和一个地面指挥中心构成的自主飞行任务中；其特点是包括:飞行通信模块、地面通信模块、输入模块、FFMPEG模块、视频显示模块、图像识别模块、指令生成模块和输出模块；所述飞行通信模块和地面通信模块均包括UDP5556端口与TCP5555端口 ；
[0008]所述η个无人机通过自带的前置摄像头各自获取环境图像，并通过各自的飞行通信模块进行编码和封装形成TCP包后利用自身的TCP5555端口发送给所述地面通信模块的TCP5555 端 P ；
[0009]所述地面通信模块TCP5555端口接收所述TCP包并传递给所述输入模块进行预处理，获得Η264基本图像，并将所述Η264基本图像发送给FFMPEG模块；
[0010]所述FFMPEG模块通过调用FFMPEG解码包对所接收的Η264基本图像进行解码处理获得图像帧，再将所述图像帧发送给图像识别模块，同时所述FFMPEG模块对所述图像帧进行组装形成视频流后发送给所述视频显示模块用于实时显示；
[0011]所述图像识别模块对所接收的图像帧进行二值化处理，获得黑白图像；对所述黑白图像利用循环校正算法来获得识别目标；对所述识别目标采用质心比对算法获取目标的实际质心，并将所述实际质心与所设定的质心阈值进行求差，获得调整量后发送给所述指令生成模块；
[0012]所述指令生成模块利用监视器来接收所述调整量并对所述调整量进行AT指令的转义后发送给所述输出模块；
[0013]所述输出模块对所接收到的转义后的AT指令进行封装，形成指令数据包后利用所述地面通信模块的Μ)Ρ5556端口发送给所述飞行通信模块的UDP5556端口 ；
[0014]所述飞行通信模块的UDP5556端口从所接收的指令数据包中提取AT指令，并根据所述AT指令执行自主飞行任务。
[0015]本发明所述的基于图像识别的无人机自主飞行系统的特点也在于，所述η个飞行通信模块和一个地面通信模块按如下步骤建立通信连接:
[0016]步骤2.1、所述η个飞行通信模块各自创建一个SSID网络的名称，并设置所述SSID网络的IP地址；
[0017]步骤2.2、所述地面通信模块连接到所述IP地址中，从而获得所述飞行通信模分配的地面IP地址；
[0018]步骤2.3、所述η个飞行通信模块为所述地面通信模块分配相应的UDP5556端口与TCP5555端口，从而实现数据传输；并有，所述UDP5556端口负责发送包含AT指令的指令数据包；所述TCP5555端口负责传输包含环境图像的TCP包。
[0019]与已有技术相比，本发明的有益效果体现在:
[0020]1、本发明通过设置一个地面基站控制η台无人机的功能来及时了解多个任务区域实时环境，采用了实时图像信息作为控制调整依据，通过图像识别技术让飞行器能使其有效地了解复杂环境障碍物的情况，并根据实时信息作出飞行调整，使其能在复杂地形或多变环境中，具备更智能灵活的自主飞行控制能力，避免飞行受到影响；飞行器具有的实时视频显示功也能方便方便操作人员充分了解具体任务环境信息。
[0021]2、本发明通过循环校正算法对所获取实时图像信息来帮助无人机更快速辨识任务目标，方便后续自主飞行决策的调整，通过TCP协议来高速传输高清摄像头获取的图像信息，从而确保数据传输的高效稳定，达到飞行控制的稳定。
[0022]3本发明对整个系统的程序编写采用了面向对象的编程技术，在图像识别和指令生成两模块中使用到的Java代码具有高可移植性，适应于跨平台应用和推广；整个系统采用了多模块耦合结构，确保系统的鲁棒性和可扩充性。
【附图说明】
[0023]图1为本发明模块示意图；
[0024]图2为本发明网络建立流程图；
[0025]图3为本发明视频生成流程图；
[0026]图4为本发明图像识别流程图。
【具体实施方式】
[0027]本实施例中，一种基于图像识别的无人机自主飞行系统，是应用于由η个无人机和一个地面指挥中心构成的自主飞行任务中；η个无人机各自的飞行通信模块与地面通信模块共同连接到同一个通信网络，并进行数据的传输；系统的组成包括:飞行通信模块、地面通信模块、输入模块、FFMPEG模块、视频显示模块、图像识别模块、指令生成模块和输出模块；飞行通信模块和地面通信模块均使用了 Μ)Ρ5556端口与TCP5555端口 ；
[0028]FFMPEG模块与视频显示模块的组合实现了视频输出功能，而FFMPEG模块、图像识别模块以及指令生成模块一起完成了飞行器AT指令生成功能，这四个模块成为了组成了系统的核心处理模块；
[0029]飞行器与地面控制中心的通信功能全部由通信模块完成，包括使用TCP5555端口实现从飞行器到地面控制中心的图像信息的传输，以及使用UDP5556端口实现地面控制中心到飞行器的AT指令传输
[0030]输入模块、输出模块是与通信模块直接相关联的模块，此两模块作为桥梁完成了网络通信与处理中心两重要部分数据的过滤、转化与传输。PC通过调用输入模块，对无人机传输过来的原始图像信息进行基本的预处理:将TCP包去掉格式头，得到可以被FFMPEG模块直接处理的基本图像数据。输出模块主要接收来自指令模块生成的AT指令信息，对其完成网络传输协议要求的数据格式修改，并将其发送到通信网络进行传输，来实现控制指令的发送。
[0031]具体地，如图1所示，η个无人机通过自带的前置摄像头各自获取环境图像，飞行器带有两个摄像头，分别位于飞行器的头部与底部，本实施例中所涉及有关摄像头部分全部指飞行器头部摄像