无人飞行器的飞行控制装置及其飞行控制方法
【技术领域】
[0001]本发明属于无人飞行器领域，特别是涉及一种无人飞行器的飞行控制装置及其飞行控制方法。
【背景技术】
[0002]无人飞行器技术得到飞跃式发展，尤其是随着多旋翼式无人飞行器的普及，越来越多的人开始了解和使用多旋翼式无人飞行器。当前民用的无人飞行器主要分为消费级无人飞行器与工业级(行业级)无人飞行器两大类，这两类无人飞行器通常都是在人工或者自动控制下，精准控制无人飞行器完成一些飞行任务，这些飞行任务包括航拍、巡线、勘测、计量、货物运送等等。由于考虑到任务完成的精度以及飞行安全性，此类无人飞行器的设计对于飞行精度、控制精度要求极高。
[0003]但是，在民用消费级无人机领域，还存在另外一种需求。就是将无人飞行器用作娱乐用途，此时无人飞行器由于体积很小，对于飞行精度、飞行安全性、飞行控制等方面的要求也可以稍微放松一些，主要目的是要能够提供足够的趣味性。比如，使用此类无人飞行器进行自拍娱乐，就并不要求较高的续航时间、精准的飞行控制，较远的控制距离等等，所以实际上，发展成了另外一个技术需求进展方向。
[0004]在此类无人飞行器的技术发展中，对于其操控的改进是一个不断衍进的过程。现行主流操控方式包括，手柄式控制，通过多个手柄摇把和/或按钮(包括虚拟手柄和按键)来实施对无人飞行器的控制;或者是航线规划式控制，通过在电子地图上指定目标和飞行动作的方式来实施对无人飞行器的控制。上述无论哪种控制方式，都是以准确控制为主，或者准确控制飞行过程，或者准确控制飞行目的地。
[0005]现有技术中，也出现了利用手机作为无人飞行器的遥控设备控制其飞行，此时或者手机上设置有虚拟手柄，用来接收用户的输入指令，并将其转换为飞行控制指令，发送给无人飞行器;或者手机上设置有电子地图模块，根据无人飞行器当前位置，以及用户在电子地图上规定的无人飞行器拟将完成的飞行航线，将生成的飞行轨迹对应的飞行控制指令发送给无人飞行器，控制无人飞行器按照上述飞行轨迹飞行。
[0006]对于普通用户而言，在经过了首次上手后的新鲜感之后，就会带来一个问题，充满了工业设计严谨性的操作方式，让普通用户在熟悉了操作之后，会一定程度上丧失乐趣。普通用户的感受是，我能控制无人飞行器在空中自由飞行了，很不错，那么然后呢？好像也没有什么可做的了。
[0007]相较于传统控制方式对于控制专业性、精度、响应速度的不断追求，本申请在现有技术的基础上提出了一种视觉识别飞行控制装置及其飞行控制方法，能够让追求一种简单实用又有趣味的飞行控制，不熟悉操控的用户也能体会到控制无人飞行器的乐趣。这里，对于本发明的无人飞行器的飞行控制装置及其飞行控制方法所针对的那些对象来说，操控精准度不是最大的问题，他们需要的其实是无人飞行器相较于用户给出的指令，能够提供一定互动，另外，从产品设计来说，这种控制模式必须符合飞行的安全性。
[0008]专利文献CN104765360A公开的一种基于图像识别的无人机自主飞行系统，是应用于由η个无人机和一个地面指挥中心构成的自主飞行任务中；其包括:飞行通信模块、地面通信模块、输入模块、FFMPEG模块、视频显示模块、图像识别模块、指令生成模块和输出模块;所述飞行通信模块和地面通信模块均包括UDP5556端口与TCP5555端口 ；所述η个无人机通过自带的前置摄像头各自获取环境图像，并通过各自的飞行通信模块进行编码和封装形成TCP包后利用自身的TCP5555端口发送给所述地面通信模块的TCP5555端口；所述地面通信模块TCP5555端口接收所述TCP包并传递给所述输入模块进行预处理，获得Η264基本图像，并将所述Η264基本图像发送给FFMPEG模块;所述FFMPEG模块通过调用FFMPEG解码包对所接收的Η264基本图像进行解码处理获得图像帧，再将所述图像帧发送给图像识别模块，同时所述FFMPEG模块对所述图像帧进行组装形成视频流后发送给所述视频显示模块用于实时显示;所述图像识别模块对所接收的图像帧进行二值化处理，获得黑白图像;对所述黑白图像利用循环校正算法来获得识别目标;对所述识别目标采用质心比对算法获取目标的实际质心，并将所述实际质心与所设定的质心阈值进行求差，获得调整量后发送给所述指令生成模块;所述指令生成模块利用监视器来接收所述调整量并对所述调整量进行AT指令的转义后发送给所述输出模块;所述输出模块对所接收到的转义后的AT指令进行封装，形成指令数据包后利用所述地面通信模块的UDP5556端口发送给所述飞行通信模块的UDP5556端口；所述飞行通信模块的UDP5556端口从所接收的指令数据包中提取AT指令，并根据所述AT指令执行自主飞行任务。该专利能够采用了实时图像信息作为控制调整依据，通过图像识别技术让飞行器能使其有效地了解复杂环境障碍物的情况，并根据实时信息作出飞行调整，使其能在复杂地形或多变环境中，具备更智能灵活的自主飞行控制能力，避免飞行受到影响；飞行器具有的实时视频显示功也能方便操作人员充分了解具体任务环境信息，但该专利结构复杂，目的在于提高飞行精确性，而不是无人飞行器飞行与用户之间的互动;该专利操控复杂无法让用户在保证安全性的前提下获得操控的趣味性;而且，该专利无法灵活地更换操控对象和飞行控制指令，不利于无人飞行器的操控通用性和推广。
[0009]专利文献CN104680522A公开的一种基于智能手机前后摄像头同时工作的视觉定位方法，其包括以下步骤:(I)视觉数据获取及预处理:智能手机放置于室内环境，通过智能手机自带的前后摄像头获取视觉图像数据;根据实际应用场景，选定固定的图像获取速率，记为m帧/秒，m取10-20;对获得图像进行预处理；(2HMU数据获取及预处理:获得頂U数据，所述IMU数据为智能手机自带的陀螺仪和加速度计数据;根据智能手机传感器的性能，选定固定的传感器数据获取速率，记为11帧/秒；(3)根据步骤I预处理后的视觉数据和步骤2预处理后的MU数据，进行设备位置和姿态估计，包括以下子步骤:(3.1)当仅有頂U数据，没有图像数据获得时，使用MU数据扩展其状态和协方差矩阵；(3.2)当图像数据到达时，执行以下操作:(3.2.1)通过特征提取算法获得图像数据的特征点及描述，在单侧的图像帧之间完成特征匹配，利用特征点优化算法减少特征匹配的误差；(3.2.2)根据步骤3.2.1获得的图像特征数据及步骤3.1获得的IMU状态和协方差矩阵及图像数据，使用扩展卡尔曼滤波，获得摄像头的位置和姿态估计；(3.2.3)根据步骤3.2.2获得的摄像头位置和姿态估计以及最新的IMU数据，扩展IMU状态和协方差矩阵；(3.3)若有标记无效的单侧摄像头数据到达，则使用另一侧摄像头当前的位置和姿态估计，结合设备上双摄像头相对位置，重新获得无效侧摄像头初始位置，且抛弃其对应的原所有摄像头姿态数据。该专利使用智能手机实现IMU和视觉辅助室内定位，一方面简化了系统的开发，无须自己搭建复杂的软硬件平台，另一方面则可以将其与日常应用结合，实现部分增强现实应用，但该专利无法让无人飞行器飞行与用户之间的互动，仅是利用摄像头定位，无法让用户在保证安全性的前提下获得