一种基于手势感知识别的无人机智能地面引导控制方法与流程

本发明属于无人机指挥控制体系架构应用领域，具体涉及一种基于手势感知识别的无人机智能地面引导控制方法。

背景技术：

随着战场对远距离、长航时无人机需求的不断增加，大型无人机得到了长足的发展。现有传统的大型无人机地面引导系统面临着三大问题，第一，与有人机指挥体系相分离，有人机/无人机地面指挥引导人员复用率低、设备冗赘，徒增的后勤保障的难度；第二，地面引导对机场引导设备依赖严重，无人机地面/舰面出入库和起降就位主要依靠拖车牵引，在战时临时或设备简陋机场使用困难，不利于灵活起降部署；第三，应急反映能力差且互操作效率低下，无人机在无动力状态下受拖车牵引，突发情况下应急反映慢，且切换控制权限过程复杂，造成了不必要的损失。随着未来有人/无人机的协同作战体系的进一步深入，现有的地面引导显然已无法充分满足未来作战需求。

技术实现要素：

发明目的

本发明针对无人机地面指挥引导系统现存的上述三大问题，创新性地提出了在无人机地面引导中应用一种基于手势感知识别的无人机智能地面引导控制方法，支撑无人机与有人机一样无差别地接受地勤工作人员的引导，解决了有人机/无人机地面指挥引导人员的复用率低、设备冗赘和应急互操作性差的问题，实现有人/无人机地面指挥引导一体化。

发明技术解决方案

为了实现上述发明目的，本发明采用下述的技术方案：

一种基于手势感知识别的无人机智能地面引导控制方法，包括如下步骤：

步骤1：采用安装在无人机上的传感器实现全天候、全视野无人机环境态势识感知，智能识别引导员、手势、障碍物等不同物体；

步骤2：确定一个手势作为引导员控制接管无人机控制权的手势，引导员以该手势向无人机发送信号，无人机感知识别后，发送请求信号给无人机控制站，由控制站选择同意与否，在同意的情况下将无人机控制权交由引导员，引导员引导无人机完成地面/舰面出入库、智能引导跟随、起降就位任务；

步骤3：当无人机识别到地勤工作人员或有人机引导员做出的控制接管无人机控制权的手势时，无人机在已识别的环境态势基础上完成沿途的自主避障，接受地勤工作人员或有人机引导员的引导完成相关任务。

优选的，步骤1中所述的传感器采用基于飞行时间原理和基于双目摄像原理的双模式3d传感器。

优选的，所述双模式3d传感器包括tof传感器和双目传感器。

优选的，所述传感器可360度旋转。

优选的，所述传感器安装于球形的安装座上，转轴一端连接于安装座上，另一端转动连接于无人机上，通过转轴的转动带动安装座转动。

优选的，引导员采用国际通用的mh/t3010标准手势。

优选的，控制权交于引导员、地勤工作人员或有人机引导员后，无人机控制站与无人机之间的链路保持通信状态，在应急情况下，无人机控制站可以紧急夺回无人机控制权，保障无人机系统的安全。

本发明的优点

本发明的优点在于：

(1)有人/无人机指挥引导一体化：本发明提出的方法实现了有人/无人机地面指挥引导人员的高效复用和设备精简，有人/无人机地面引导指挥体系的无缝融合，满足了有人/无人机进一步协同作战的需求。

(2)摆脱对机场引导设备的依赖：本发明提出的方法不依赖于机场引导设备，完全可由引导员和指挥棒完成任务，极大地拓展了应用场景，为无人机灵活使用于战时临时机场或中小型简易机场提供便利。

(3)提高应急反映能力：本发明提出的方法可以保证起降引导过程中无人机动力处于开启状态，可由有人机指挥系统应急指挥。同时保持无人机控制站与无人机之间的链路通信，实时可接管控制权，缩短了战时的应急反映时间。

附图说明

图1为本发明的一种基于手势感知识别的无人机智能地面引导控制方法示意图。

图2双模式3d传感器系统感知、识别原理示意图。

图3为双模式3d传感器组成示意图。

图4为无人机控制权限示意图。

具体实施方式

本发明创新性地在无人机地面指挥引导中应用一种基于手势感知识别的无人机智能地面引导控制方法，解决了有人/无人机指挥引导系统相互独立，地面引导对机场设备依赖严重，应急反映能力差且互操作效率低下的三大问题，实现了有人/无人机指挥引导一体化，全天候、全视野无人机智能手势引导跟随，无人机控制权交接和应急抢夺功能，满足未来有人/无人机进一步协同作战需求，填补了该应用领域的空白，具有较好的军事效益和推广应用前景。

具体实现过程如下，该方法运用的场景示意如图1所示：

步骤1：全天候、全视野无人机智能手势引导跟随。采用双模式3d传感器，配合远感知、近识别的方案，实现全天候、全视野智能环境感知和指令识别。双模式3d传感器系统感知、识别示意图如图2所示。

采用双模式3d传感器进行3d环境建模态势感知。设备集成了基于飞行时间(tof)原理和基于双目摄像原理的双模式3d传感器，实现全天候、全视域远感知、近识别功能，双模式3d传感器可安装于机身任何位置，并可360度旋转。双模式3d传感器系统原理组成示意图如图3所示。

双目摄像原理采用双摄像机立体成像，完成对远处的粗略3d环境建模，主要负责广域的初步引导员、障碍物初步识别。在接受到引导员手势指令后，经无人机控制站确认允许，引导无人机向引导员运动，在接近到5米内时，切换采用tof传感器精确识别。引导员手势控制权申请手势为国际通用的mh/t3010标准手势的发动机开机手势。

飞行时间(tof)原理采用红外线投射物体后返回的时间差，实现物体表面每个像素的测量，受激光投射距离限制，完成近处3d环境建模，主要负责引导员手势、障碍物位置形状精确识别，手势指令采用国际通用的mh/t3010标准手势。

手势识别由传感器进行初步的图像获取，使用光流法进行手势检测和分割后进行特征值提取和手势模型参数估计，基于模板匹配法、人工神经网络，概率统计模型法完成手势识别，结合数据库中mh/t3010标准手势发送指令信号给无人机。

步骤2：无人机控制权交接和应急抢夺功能，实现无人机控制站与引导员的控制员交接，并确立在应急情况下的抢夺逻辑。具体控制权限示意图如图4所示。

引导员以手势控制接管无人机控制权，纳入有人机指挥体系。

引导员以手势动作向无人机发送信号，无人机感知识别后，发送请求信号给无人机控制站，由控制站选择同意与否，在同意的情况下将无人机控制权交由引导员，引导员采用国际通用的mh/t3010标准手势完成地面/舰面、出入库智能引导跟随、起降就位任务。

步骤3：有人/无人机指挥引导一体化体系实现，完成无人机地面指挥引导无缝融入有人机指挥流程中。

兼容有人机人员和设备配置环境。可以在任何一个机场/舰面，与有人机一样无差别地接受地勤工作人员的引导，采用国际通用的mh/t3010标准手势，完成无人机昼夜地面/舰面出入库智能引导跟随、起降就位任务。

统一接受有人机指挥体系指挥。无人机接收有人机引导员的引导信号，融入有人机指挥体系下，结合有人机机位安排和起降作战任务分配，提前做好出入库就位准备，满足未来有人/无人机进一步协同作战需求。

步骤2和步骤3中控制权交接后，无人机控制站与无人机之间的链路保持通信状态，在应急情况下，无人机控制站可以紧急夺回无人机控制权，保障无人机系统的安全。