基于合作目标和单目视觉的无人机室内定位系统及定位方法与流程

本发明涉及无人机控制系统技术领域，特别是涉及一种基于合作目标和单目视觉的无人机室内定位系统及定位方法。

背景技术：

无人机即无人驾驶飞行器，无人机采用卫星定位、遥感、地理空间、航空航天、自动控制、计算机辅助分析等高新技术，可服务于国土、测绘、林业、交通、水利及军事等多个领域。

无人机导航系统是无人机系统的关键组成之一。目前，无人机使用的导航技术主要有惯性导航、卫星导航、多普勒导航、视觉导航、地形辅助和地磁导航。在实际应用中，有必要根据无人机的飞行环境、任务要求以及导航技术的应用范围和使用条件，选择适合的导航系统。

近年来，无人机导航技术的研究有了很大的进展，但大多数导航技术仅适用于户外空间，不能应用于室内未知环境导航。室内导航环境未知且复杂。无人机不知道室内环境的大小、障碍物的形状和分布及有没有人为的参照物，并且室内环境中障碍物随意摆放或互相遮挡，室内光线随无人机角度的变化而变化等。如今，国家对无人机室内导航控制进行了一些研究，但尚未形成统一的理论体系，还有一些重要的理论和技术有待于解决。这些问题主要有环境建模、无人机定位、无人机导航控制器设计、实时运动控制等。

技术实现要素：

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于合作目标和单目视觉的无人机室内定位系统。

为实现本发明的目的所采用的技术方案是：

一种基于合作目标和单目视觉的无人机室内定位系统，包括设置在室内的多个其上设置有编码信息的标识物，单目视觉系统模块，传感模块以及飞行控制系统，

所述单目视觉系统模块包括单目摄像头和视觉信息处理单元，所述单目摄像头用以获取飞行时的标识物信息，所述视觉信息处理单元用以完成视频数据的采集和信息处理，并将处理结果传输给飞行控制系统；

所述的传感模块包括陀螺仪、加速度计和相对高度测量模块；

所述的飞行控制系统包括基于扩展卡尔曼滤波器的传感器数据融合模块，所述的传感器数据融合模块接收所述的处理结果以及来自传感模块的飞行状态信息并融合处理以生成飞行指令。

基于扩展卡尔曼滤波器的传感器数据融合模块的输出端与飞行控制器的输入端相连，飞行控制器的输出端与数据传输模块的输入端相连。

所述的相对高度测量模块为激光测距模块。

所述的标识物为块状、板状或片状，所述的编码信息具有区分度。

还包括与数据传输模块通讯连接的飞行状态指示模块以及遥控器。

一种所述的无人机室内定位系统的定位方法，包括以下步骤，

1)单目摄像头获取含有标识物的视频流并传输给视觉信息处理单元，视觉处理单元模块提取视野内获取的标识物的编码信息的特征信息，

2)通过所述的特征信息获取与该标识物的对应编码及其在世界坐标系中的坐标，

3)结合标识物的坐标、角点特征及单目摄像机参数计算摄像机相对于该标识物的相对位姿，继而得到无人机在室内世界坐标系下的位姿数据及室内导航数据；

4)基于扩展卡尔曼滤波器的传感器数据融合模块接收来所述的位姿数据、室内导航数据和来自传感模块的飞行状态信息并进行融合处理，根据既定的飞行轨迹生成飞行指令。

飞行指令经飞行控制器、数据传输模块传送至无人机动力模块，所述的飞行控制器基于μc/os-ⅱ系统。

还包括遥控步骤，所述的遥控模块的遥控指令经数据传输模块传送至无人机动力模块并输入传感器数据融合模块。

与现有技术相比，本发明的有益效果是：

本发明通过具有编码信息的标识物作为引导，仅需要一个标识物作为合作目标即可进行识别即可获取无人机相对标识物的相对位姿，而且所述的标识物因为具有编码信息，容易与环境区分，同时，因其具有编码特征，因此适合于批量制作，而无需将大量精力放于如何设计出与环境具有区分且标识之间具有区分的标识。而且标识本身具有编码信息，而非指将合作标识在室内地面设置后，再对多个标识进行编码，这样在编码信息读取后能快捷通过信息匹配获知该标识物的具体坐标，提高计算速度。利用具有编码信息的标识物能有效提高在环境中进行实时的高精度定位或者与环境进行交互。

附图说明

图1为本发明所述的基于合作目标和单目视觉的无人机室内定位系统系统框图；

图2为本发明所述的基于合作目标和单目视觉的室内导航数据解算。

图3为本发明所述的基于扩展卡尔曼滤波器的传感器数据融合模块的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图所示，本发明的一种基于合作目标和单目视觉的无人机室内定位系统，包括设置在室内地面上或某一立面上的多个其上设置有编码信息的标识物，单目视觉系统模块，传感模块以及飞行控制系统，

所述单目视觉系统模块包括单目摄像头和视觉信息处理单元，所述单目摄像头用以获取飞行时的标识物信息并将视频流通过can数据总线输送给所述的视觉信息处理单元，所述视觉信息处理单元包括一个含有cpu及gpu双处理核心的处理系统，用以完成视频数据的采集和信息处理，并将处理结果传输给飞行控制系统；其中，所述的单目摄像头为机载，所述的视觉信息处理单元为具有双核处理系统，进行数据分析处理计算，有效提高计算速度，

所述的传感模块包括陀螺仪、加速度计和相对高度测量模块；同时，还包括磁强计、气压计等常规的传感器，多传感器设置，检测种类多，进一步提升控制的平稳性；所述的相对高度测量模块为激光测距模块；

所述的飞行控制系统包括基于扩展卡尔曼滤波器的传感器数据融合模块，所述的传感器数据融合模块接收所述的处理结果以及来自传感模块的飞行状态信息并融合处理以生成飞行指令。

扩展卡尔曼滤波器为软件算法，基于该算法进行传感器融合的关键在于系统模型的建立，以及对单目视觉对多标识之间识别切换的处理，保证无人机在飞行过程中出现标识切换时的平滑过渡以及稳定飞行。

本发明通过具有编码信息的标识物作为引导，仅需要一个标识物作为合作目标即可进行识别即可获取无人机相对标识物的相对位姿，而且所述的标识物因为具有编码信息，容易与环境区分，同时，因其具有编码特征，因此适合于批量制作，而无需将大量精力放于如何设计出与环境具有区分且标识之间具有区分的标识。而且标识本身具有编码信息，而非指将合作标识在室内地面设置后，再对多个标识进行编码，这样在编码信息读取后能快捷通过信息匹配获知该标识物的具体坐标，提高计算速度。利用具有编码信息的标识物能有效提高在环境中进行实时的高精度定位或者与环境进行交互。

对于无人机控制系统来说，基于扩展卡尔曼滤波器的传感器数据融合模块的输出端与飞行控制器的输入端相连，飞行控制器的输出端与数据传输模块的输入端相连，数据传输模块将飞行指令送达无人机动力模块实现多样地形的跟随飞行及自主起降。

所述的标识物为块状、板状或片状，所述的编码信息具有区分度。所述的标识物的生成和编码信息的同步生成，当确定了二进制编码信息后，可利用设计的软件直接打印或生成对应的图片，同时存储相应信息及坐标信息。因每个标识物的图像本身含有编码信息，因此每个标识物图片之间具有差异，因此标识物图片库是指所有已编码的模板图片。每个标识物具有固定的角点个数，且角点之间的几何距离满足投影变换下的不变性。通过这些特征信息来确定是否为所设计的标识。

同时，为提高控制性和人机交互性，还包括与数据传输模块通讯连接的飞行状态指示模块以及遥控器。所述的地面站与数据传输模块进行通讯以获取无人飞行器的飞行状态，同时通过手机、平板电脑或者计算机等显示，而且，当出现控制异常时，可通过航灯颜色及闪烁频率、语音提示等进行预警。

同时，本发明公开了一种所述的无人机室内定位系统的定位方法，包括以下步骤，

1)单目摄像头获取含有标识物的视频流并传输给视觉信息处理单元，视觉处理单元模块提取视野内获取的标识物的编码信息的特征信息，

2)通过所述的特征信息获取与该标识物的对应编码及其在世界坐标系中的坐标，

3)结合标识物的坐标、角点特征及单目摄像机参数计算摄像机相对于该标识物的相对位姿，继而得到无人机在室内世界坐标系下的位姿数据及室内导航数据；

4)基于扩展卡尔曼滤波器的传感器数据融合模块接收来所述的位姿数据、室内导航数据和来自传感模块的飞行状态信息并进行融合处理，根据既定的飞行轨迹生成飞行指令。

飞行指令经飞行控制器、数据传输模块传送至无人机动力模块，所述的飞行控制器基于μc/os-ⅱ，同时还包括遥控模块和地面站，如手机、平板电脑和计算机等，所述的遥控模块经数据传输模块与无人机动力模块通讯连接。飞行器控制器基于μc/os-ⅱ提供的系统调度为基础，通过采集的传感器信息、存储的相关状态和数据以及无线电测控终端发过来的上行遥控或地面站规划的指令与数据，经判断、运算和处理之后，输出指令给伺服执行机构即舵机系统，控制操纵无人飞行器的舵面、发动机的油门，以控制无人机的飞行。

本发明可通过软件提前规划路径或根据对环境的感知信息在线规划路径，作为合作目标的标识物的识别负责反馈无人机在室内环境中的位姿信息，是无人机按照预定或者在线修正的轨迹进行飞行的基础，基于单目视觉的位姿用于无人机的位置环(即外环)的控制，而无人机自身的控制时具有高动态特性的，因此仅依靠视觉信息是无法实现无人机的稳定飞行的，本发明通过融合算法将视觉信息和其他传感器的信息进行融合有效解决了飞行稳定问题。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。