移动终端的定位和控制方法、装置及无人机与流程

本发明涉及定位及控制技术领域，特别涉及一种移动终端的定位和控制方法、装置及无人机。

背景技术：

在相关技术中，移动终端定位技术主要分为三种：基于GPS的定位技术、基于运动捕捉系统的定位技术、基于色块的视觉定位技术。其中，

基于GPS的定位技术一般适用于室外环境，但是由于民用GPS精度较低(只有3米的精度)，且存在遮挡和多径效应等问题，所以基于GPS的定位技术很难满足移动终端中的飞行器精准定位与编队飞行的要求。为了提高GPS的定位精度，必须使用差分GPS定位系统，该系统利用已知精确三维坐标的差分GPS基准台，向用户/移动终端实时发送修正信号，从而实现较高精度的定位。但是差分GPS设备造价较高，且仍然不能消除用户/移动终端GPS接收机本身的固有误差。

基于运动捕捉系统的定位技术，需要在被定位物体/移动终端上设置定位点，通过多个相机从不同的位置拍摄定位点，根据标定好的相机位置以及相机本身固有参数实时计算被定位物体的实时空间位置和姿态。运动捕捉系统定位精度高，但价格及其昂贵，且在使用之前需要对整个系统进行标定，使用及其不便。

综上所述，急需提出一种新的移动终端定位技术，解决在投入成本不高的情况下移动终端定位精度的技术问题，同时实现移动终端的精准控制。

技术实现要素：

本发明实施例的主要目的在于提出一种移动终端的定位和控制方法、装置及无人机，在投入成本不高的情况下扩大了精准定位的范围，并且实现一种新的控制移动终端悬停与移动的交互方式，同时提高了移动终端的控制准确性。

为实现上述目的，本发明提供了一种移动终端的定位方法，包括：

从移动终端的图像采集设备中获取图像信息；

从所述图像信息中获取预设图案；

根据所述预设图案在世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的拍摄参数确定当前时刻所述移动终端在所述世界坐标系中的位置。

可选的，在本发明一实施例中，确定当前时刻所述移动终端在所述世界坐标系中的位置的步骤包括：

根据所述预设图案在所述世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的内参矩阵，获得所述预设图案的所述世界坐标系到摄像机坐标系的旋转平移矩阵，其中，所述内参矩阵为所述图像采集设备的拍摄参数组成的矩阵；

获取所述世界坐标系到摄像机坐标系的旋转平移矩阵的逆矩阵，得到所述预设图案的摄像机坐标系到世界坐标系的旋转平移矩阵；所述摄像机坐标系到世界坐标系的旋转平移矩阵即为当前时刻所述移动终端在世界坐标系中的位置。

可选的，在本发明一实施例中，所述确定当前时刻所述移动终端在所述世界坐标系中的位置之后，包括：

比较当前时刻所述移动终端在所述世界坐标系中的位置是否与所述移动终端接收的目标位置一致，所述目标位置包括预设位置或所述移动终端接收的控制位置；

在一致的情况下，所述移动终端停于所述目标位置；

在不一致的情况下，所述移动终端移至所述目标位置。

可选的，在本发明一实施例中，所述确定当前时刻所述移动终端在所述世界坐标系中的位置之后，包括：

比较所述当前时刻所述移动终端在所述世界坐标系中的位置与上一时刻所述移动终端在所述世界坐标系中的位置是否有变化；

所述移动终端在所述世界坐标系中的位置发生变化的情况下，则所述移动终端移至所述上一时刻所述移动终端在所述世界坐标系中的位置。

可选的，在本发明一实施例中，所述确定当前时刻所述移动终端在所述世界坐标系中的位置之后，还包括：

根据所述当前时刻所述移动终端在世界坐标系中的位置、上一时刻所述移动终端在世界坐标系中的位置以及所述当前时刻和所述上一时刻的时间差，获得所述移动终端的移动速度。

可选的，在本发明一实施例中，获得所述移动终端的移动速度之后，还包括：

比较所述移动终端的移动速度与目标速度是否一致，根据比较结果控制所述移动终端移动速度与所述目标速度一致。

可选的，在本发明一实施例中，所述预设图案包含至少两种颜色，且其中两种颜色之间的色差需大于预设值；通过图像识别算法，利用所述色差从所述图像信息中获得预设图案。

可选的，在本发明一实施例中，所述预设图案为非中心对称图案。

可选的，在本发明一实施例中，所述预设图案为Marker图案。

可选的，在本发明一实施例中，所述预设图案包括：基础符号和分组编码符号，所述分组编码符号位于基础符号的周围。

可选的，在本发明一实施例中，所述基础符号由N*N的点阵构成，所述分组编码符号由M*K的点阵构成，K、M、N为大于1的正整数。

对应地，为实现上述目的，本发明还提供了一种移动终端定位装置，包括：

图像获取单元，用于从移动终端的图像采集设备中获取图像信息；

预设图案识别单元，用于从所述图像信息中获取预设图案；

定位单元，用于根据所述预设图案在世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的拍摄参数确定当前时刻所述移动终端在所述世界坐标系中的位置。

可选的，在本发明一实施例中，所述定位单元包括：

计算模块，用于根据所述预设图案在所述世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的内参矩阵，获得所述预设图案的所述世界坐标系到摄像机坐标系的旋转平移矩阵，其中，所述内参矩阵为所述图像采集设备的拍摄参数组成的矩阵；

求逆模块，用于获取所述世界坐标系到摄像机坐标系的旋转平移矩阵的逆矩阵，得到所述预设图案的摄像机坐标系到世界坐标系的旋转平移矩阵；所述摄像机坐标系到世界坐标系的旋转平移矩阵即为当前时刻所述移动终端在世界坐标系中的位置。

可选的，在本发明一实施例中，所述移动终端定位装置还包括：

判断单元，用于比较当前时刻所述移动终端在所述世界坐标系中的位置是否与所述移动终端接收的目标位置一致，所述目标位置包括预设位置或所述移动终端接收的控制位置；

悬停控制单元，用于在一致的情况下，所述移动终端停于所述目标位置；在不一致的情况下，所述移动终端移至所述目标位置。

可选的，在本发明一实施例中，所述移动终端定位装置还包括：

比较单元，用于比较所述当前时刻所述移动终端在所述世界坐标系中的位置与上一时刻所述移动终端在所述世界坐标系中的位置是否有变化；

第一移动控制单元，用于所述移动终端在所述世界坐标系中的位置发生变化的情况下，则所述移动终端移至所述上一时刻所述移动终端在所述世界坐标系中的位置。

可选的，在本发明一实施例中，所述移动终端定位装置还包括：

实际移动速度获取单元，用于根据所述当前时刻所述移动终端在世界坐标系中的位置、上一时刻所述移动终端在世界坐标系中的位置以及所述当前时刻和所述上一时刻的时间差，获得所述移动终端的移动速度。

可选的，在本发明一实施例中，所述移动终端定位装置还包括：

第二移动控制单元，用于比较所述移动终端的实际飞行速度与目标速度，比较所述移动终端的移动速度与目标速度是否一致，根据比较结果控制所述移动终端移动速度与所述目标速度一致。

可选的，在本发明一实施例中，所述预设图案识别单元获取的预设图案包含至少两种颜色，且其中两种颜色之间的色差需大于预设值；所述预设图案识别单元通过图像识别算法，利用所述色差从所述图像信息中获得预设图案。

可选的，在本发明一实施例中，所述预设图案识别单元获取的预设图案为非中心对称图案。

可选的，在本发明一实施例中，所述预设图案识别单元获取的预设图案为Marker图案。

可选的，在本发明一实施例中，所述预设图案包括：基础符号和分组编码符号，所述分组编码符号位于基础符号的周围。

可选的，在本发明一实施例中，所述基础符号由N*N的点阵构成，所述分组编码符号由M*K的点阵构成组成，M、K、N为大于1的正整数。

对应地，为实现上述目的，本发明还提出了一种无人机，包括上述移动终端定位装置的各个功能模块。

对应地，为实现上述目的，本发明还提出了一种基于上述移动终端的定位方法进行移动终端控制的方法，包括：

接收移动终端的位置数据，所述位置数据通过如下方式获取：从移动终端的图像采集设备中获取图像信息，从所述图像信息中获取预设图案，根据所述预设图案在世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的拍摄参数确定当前时刻所述移动终端在所述世界坐标系中的位置；

获取所述移动终端的预设飞行规划数据；

根据所述预设飞行规划数据以及所述位置数据生成控制所述移动终端飞行的飞行控制命令。

可选的，在本发明一实施例中，所述预设飞行规划数据为脚本文件数据。

可选的，在本发明一实施例中，所述预设飞行规划数据包括：按顺序执行的多帧预设飞行规划数据，每帧预设飞行规划数据包括移动终端的预设位置数据，所述获取所述移动终端的预设飞行规划数据包括：依次获取每帧预设飞行规划数据；

所述根据所述预设飞行规划数据以及所述位置数据生成控制所述移动终端飞行的飞行控制命令包括：

对获取的当前帧预设飞行规划数据计算所述预设位置数据与接收的位置数据之间的差值；

根据所述差值生成当前的控制所述移动终端飞行的控制命令。

对应地，为实现上述目的，本发明还提出了一种移动终端控制装置，包括：

接收单元，用于接收移动终端的位置数据，所述位置数据通过如下方式获取：从移动终端的图像采集设备中获取图像信息，从所述图像信息中获取预设图案，根据所述预设图案在世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的拍摄参数确定当前时刻所述移动终端在所述世界坐标系中的位置；

获取单元，用于获取所述移动终端的预设飞行规划数据；

飞行控制单元，用于根据所述预设飞行规划数据以及所述位置数据生成控制所述移动终端飞行的飞行控制命令。

对应地，为实现上述目的，本发明还提出了一种无人机，包括上述的移动终端控制装置。

上述技术方案具有如下有益效果：

1、相比现有的移动终端定位方式，本技术方案不需要投入昂贵的设备，并且可将移动终端的定位精度提升至亚厘米级，满足移动终端中的飞行器对于精准悬停与编队飞行的精度要求。

2、本技术方案可有效扩大移动终端精准定位的范围，尤其满足移动终端中的飞行器编队飞行对空间的要求。

3、相比于其他图案检测技术，Marker图案检测技术具有计算量小，准确度高、对光照不敏感等优点。

4、在满足精确定位的同时，通过移动Marker图案，实现对移动终端的控制，提供了一种新的移动终端操控方式。

5、由于采用上述定位方式能够获得高精确度的位置数据，基于该高精确度的位置数据对移动终端进行控制，有效保证了控制准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为摄像成像几何关系示意图；

图2为本发明提出的一种移动终端的定位方法流程图；

图3为本发明提出的一种移动终端定位应用的流程图之一；

图4为本发明提出的一种移动终端定位应用的流程图之二；

图5为本发明提出的一种移动终端定位应用的流程图之三；

图6为本发明提供的一种移动终端定位装置框图；

图7为本装置中定位单元的功能框图；

图8为本发明提供的一种移动终端定位装置应用框图之一；

图9为本发明提供的一种移动终端定位装置应用框图之二；

图10为本发明提供的一种移动终端定位装置应用框图之三；

图11为本发明提供的一种无人机框图；

图12为本实施例的世界坐标系建立示意图；

图13为本实施例的识别出的Marker图案示意图；

图14为本实施例的定位流程图；

图15为本实施例的移动终端的控制方法的流程图；

图16为本实施例的移动终端的控制装置的框图；

图17为本实施例的预设图案中的基础符号示意图；

图18为本实施例的预设图案示意图；

图19为本实施例的定位符号示意图；

图20为本实施例对图19所示的示意图分组扩展后的示意图；

图21为本实施例定位图案示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种移动终端的定位方法、移动终端定位装置及无人机。

在本文中，需要理解的是，所涉及的术语中：

1、世界坐标系：由于图像采集设备可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述图像采集设备的位置，并用基准坐标系描述环境中任何物体的位置，该基准坐标系为世界坐标系。

2、图像坐标系：图像采集设备采集的数字图像在计算机内可以存储为数组，数组中的每一个元素(像素，pixel)的值即是图像点的亮度(灰度)。在图像上定义直角坐标系u-v，每一像素的坐标(u,v)分别是该像素在数组中的列数和行数。故(u,v)是以像素为单位的图像坐标系坐标。

3、摄像机坐标系：摄像机成像几何关系可由图1表示，其中，O点称为摄像机光心，摄像机的光轴和图像平面垂直，摄像机的光轴与成像平面坐标系的x轴和y轴平行。光轴与图像平面的交点为图像主点O'，由点O与轴组成的直角坐标系称为摄像机坐标系。OO'为摄像机焦距。

4、悬停：飞行器在一定高度上保持空间位置基本不变的飞行状态。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

常规上，现有移动终端定位的技术要么依赖于价格昂贵的定位设备提高定位精度，要么受外界环境影响降低定位精度。

对于这些情况，本发明提供了一种新的移动终端定位机制。该技术方案在地面设置预设图案，基于预设图案建立世界坐标系，从移动终端上的图像采集设备中获得的图像里识别出预设图案，同时获得预设图案在世界坐标系中的坐标和预设图案在图像信息中的坐标，利用预设图案在世界坐标系中的坐标和预设图案在图像信息中的坐标确定移动终端在世界坐标系中的位置。利用移动终端在世界坐标系中的位置，实时对移动终端的位置和朝向进行修正，达到目标位置或目标速度。

在本技术方案中，图像信息中的坐标根据图像坐标系确定。

在本说明书中，图像采集设备指代具有实时采集外界影像的系统和/或设备，不限于对地光流摄像头、双目摄像头、无人机的主摄像头等。

在本说明书中，本技术方案不仅仅限定于无人机，只要是飞行器等移动终端均可适用本技术方案。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

第一种应用场景：不管移动终端处于何种运行状态，地面设置的预设图案处于静止状态。

移动终端通过图像采集设备采集图像信息，根据图像识别算法从图像信息中获得预设图案。利用预设图案建立世界坐标系，通过预设图案在世界坐标系中的坐标和预设图案在图像信息中的坐标确定移动终端在世界坐标系中的位置。一旦移动终端收到悬停控制命令，控制移动终端悬停。在悬停控制命令中，包括预设悬停位置，即目标位置。该目标位置可以是人为设置位置，也可以是移动终端接收悬停控制命令时所对应的位置。

由于移动终端实时获取在世界坐标系中的位置，比较移动终端在世界坐标系中的实时位置与目标位置来判断移动终端是否出现偏移等情况的发生，一旦出现偏移，可以根据当前移动终端在世界坐标系中的位置来控制无人机的速度或加速度向偏移的反方向调整，将移动终端移至目标位置。

由本应用场景可知，本技术方案将移动终端的定位精度提升至亚厘米级，并在确保移动终端在相应的目标位置处于悬停。

第二种应用场景：不管移动终端处于何种运行状态，地面设置的预设图案的运行状态发生改变。由于世界坐标系基于预设图案建立的，世界坐标系的位置随着预设图案的运行状态发生改变而相应改变，使得预设图案在世界坐标系中的坐标不变。

如果移动终端没有做出相应的运动状态的改变，移动终端在世界坐标系中的位置会发生变化，那么移动终端采集图像信息时获得的预设图案在图像信息中的位置也发生变化。利用预设图案在世界坐标系中的坐标和预设图案在图像信息中的坐标确定移动终端在世界坐标系中的位置。

为了达到通过预设图案控制移动终端的目的，比较所述当前时刻所述移动终端在所述世界坐标系中的位置与上一时刻所述移动终端在所述世界坐标系中的位置是否有变化；所述移动终端在所述世界坐标系中的位置发生变化的情况，说明移动终端与预设图案处于相对运行状态，需要调整移动终端运行速度，达到移动终端在世界坐标系中的位置不在发生变化。

由本应用场景可知，本技术方案不仅能够精确控制移动终端在预设位置悬停，还可以通过控制预设图案来控制移动终端的移动方式，给出一种新的对移动终端的操控方式。

第三种应用场景：基于预设图案建立世界坐标系，不管预设图案处于静止状态还是处于运动状态，预设图案在世界坐标系中的位置不变。给移动终端一个控制命令，期望移动终端达到预设目标速度。根据控制命令，移动终端做出响应，改变移动终端当前的速度或加速度。

在实际应用中，移动终端有很大可能性没有达到预设目标速度。这种情况下，利用预设图案在世界坐标系中的坐标和预设图案在图像信息中的坐标确定移动终端在世界坐标系中的位置。根据当前时刻移动终端在世界坐标系中的位置与上一时刻移动终端在世界坐标系中的位置以及所述当前时刻和所述上一时刻的时间差，获得移动终端的实际移动速度。

比较移动终端的实际移动速度与预设目标速度，控制移动终端的速度向偏移的反方向进行调整，实现移动终端当前的实际移动速度与控制命令中的预期目标速度一致。

示例性方法

下面结合上述三种应用场景，参考图2、图3、图4、图5对本发明的移动终端定位方法进行介绍。

需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

如图2所示，为本发明提出的一种移动终端的定位方法流程图。包括：

步骤201)：从移动终端的图像采集设备中获取图像信息；

步骤202)：从所述图像信息中获取预设图案；

通过图像识别算法中图像信息中得到预设图案。

步骤203)：根据所述预设图案在世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的拍摄参数确定当前时刻所述移动终端在所述世界坐标系中的位置。

在步骤203中，根据预设图案在世界坐标系中的坐标、预设图案在图像信息中的坐标以及图像采集设备的内参矩阵，获得预设图案的世界坐标系到摄像机坐标系的旋转平移矩阵。对预设图案的世界坐标系到摄像机坐标系的旋转平移矩阵求逆，得到预设图案的摄像机坐标系到世界坐标系的旋转平移矩阵；摄像机坐标系到世界坐标系的旋转平移矩阵即为当前时刻移动终端在世界坐标系中的位置。其中，图像采集设备的内参矩阵是图像采集设备的拍摄参数组成的矩阵。

针对上述第一种应用场景，如图3所示，为本发明提出的一种移动终端定位应用的流程图之一。在图2的基础上，还包括：

步骤204)：比较当前时刻所述移动终端在所述世界坐标系中的位置是否与所述移动终端接收的目标位置一致，所述目标位置包括预设位置或所述移动终端接收的控制位置；

步骤205)：在一致的情况下，所述移动终端停于所述目标位置；在不一致的情况下，所述移动终端移至所述目标位置。

本方法能够精确控制移动终端的悬停，并实时监控移动终端在悬停过程中是否出现漂移，根据漂移情况采用相应措施，确保移动终端在目标位置一直处于悬停状态。

针对上述第二种应用场景，如图4所示，为本发明提出的一种移动终端定位应用的流程图之二。在图2的基础上，还包括：

步骤204’)：比较所述当前时刻所述移动终端在所述世界坐标系中的位置与上一时刻所述移动终端在所述世界坐标系中的位置是否有变化；

步骤205’)：所述移动终端在所述世界坐标系中的位置发生变化的情况下，则所述移动终端移至所述上一时刻所述移动终端在所述世界坐标系中的位置。

本方法可以不用通过控制终端，仅移动预设图案即可让移动终端做出相应移动。在实现定位的基础上，给出一种对移动终端新的控制方式。

针对上述第三种应用场景，如图5所示，为本发明提出的一种移动终端定位应用的流程图之三。在图2的基础上，还包括：

步骤204”)：根据所述当前时刻所述移动终端在世界坐标系中的位置、上一时刻所述移动终端在世界坐标系中的位置以及所述当前时刻和所述上一时刻的时间差，获得所述移动终端的移动速度；

步骤205”)：比较所述移动终端的移动速度与目标速度是否一致，根据比较结果控制所述移动终端移动速度与所述目标速度一致。

本方法能够实时检测移动终端在执行控制命令时实际的移动速度，并且发现移动终端执行不到位时可以做出相应调整，使得移动终端最终严格实行相应控制命令。本技术可以运用在飞行器编队飞行中，提高编队飞行的效率。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

示例性装置

在介绍了本发明示例性实施方式的方法之后，接下来，参考图6对本发明示例性实施方式的装置进行介绍。

如图6所示，为本发明提供的一种移动终端定位装置框图。包括：

图像获取单元601，用于从移动终端的图像采集设备中获取图像信息；

预设图案识别单元602，用于从所述图像信息中获取预设图案；

在本实施例中，预设图案识别单元602获取的预设图案包含至少两种颜色，且其中两种颜色之间的色差需大于预设值；预设图案识别单元602通过图像识别算法，利用所述色差从所述图像信息中获得预设图案。

定位单元603，用于根据所述预设图案在世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的拍摄参数确定当前时刻所述移动终端在所述世界坐标系中的位置。

如图7所示，为本装置中定位单元的功能框图。包括：

计算模块6031，用于根据所述预设图案在所述世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的内参矩阵，获得所述预设图案的所述世界坐标系到摄像机坐标系的旋转平移矩阵，其中，所述内参矩阵为所述图像采集设备的拍摄参数组成的矩阵；

求逆模块6032，用于对所述预设图案的所述世界坐标系到摄像机坐标系的旋转平移矩阵求逆，得到所述预设图案的摄像机坐标系到世界坐标系的旋转平移矩阵；所述摄像机坐标系到世界坐标系的旋转平移矩阵即为当前时刻所述移动终端在世界坐标系中的位置。

如图8所示，为本发明提供的一种移动终端定位装置应用框图之一。在执行第一应用场景时，在图6的基础上，该移动终端定位装置还包括：

判断单元604，用于比较当前时刻所述移动终端在所述世界坐标系中的位置是否与所述移动终端接收的目标位置一致，所述目标位置包括预设位置或所述移动终端接收的控制位置；

悬停控制单元605，用于在一致的情况下，所述移动终端停于所述目标位置；在不一致的情况下，所述移动终端移至所述目标位置。

本装置能够精确控制移动终端的悬停，并实时监控移动终端在悬停过程中是否出现漂移，根据漂移情况采用相应措施，确保移动终端在目标位置一直处于悬停状态。

如图9所示，为本发明提供的一种移动终端定位装置应用框图之二。在执行第二应用场景时，在图6的基础上，该移动终端定位装置还包括：

比较单元604’，用于比较所述当前时刻所述移动终端在所述世界坐标系中的位置与上一时刻所述移动终端在所述世界坐标系中的位置是否有变化；

第一移动控制单元605’，用于所述移动终端在所述世界坐标系中的位置发生变化的情况下，则所述移动终端移至所述上一时刻所述移动终端在所述世界坐标系中的位置。

本装置可以不用通过控制终端，仅移动预设图案即可让移动终端做出相应移动。在实现定位的基础上，给出一种对移动终端新的控制方式。

如图10所示，为本发明提供的一种移动终端定位装置应用框图之三。在执行第三应用场景时，在图6的基础上，该移动终端定位装置还包括：

实际移动速度获取单元604”，用于根据所述当前时刻所述移动终端在世界坐标系中的位置、上一时刻所述移动终端在世界坐标系中的位置以及所述当前时刻和所述上一时刻的时间差，获得所述移动终端的移动速度；

第二移动控制单元605”，用于比较所述移动终端的实际飞行速度与目标速度，比较所述移动终端的移动速度与目标速度是否一致，根据比较结果控制所述移动终端移动速度与所述目标速度一致。

本装置能够实时检测移动终端执行关于速度或加速度方面的控制命令的情况，并且发现移动终端执行不到位，控制移动终端做出相应调整，使得移动终端最终严格实行相应控制命令。

此外，尽管在上文详细描述中提及了移动终端定位装置的若干单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。同样，上文描述的一个单元的特征和功能也可以进一步划分为由多个单元来具体化。

示例性设备

基于上述示例性装置和方法，本实施例还提出一种无人机，如图11所示。该无人机用于根据各种请求指令去执行定位应用程序，包括：

存储器a，用于存储请求指令；

处理器b，其与所述存储器耦合，该处理器被配置为执行存储在所述存储器中的请求指令，其中，所述处理器被配置的应用程序用于：

从图像采集设备中实时获取图像信息；

从所述图像信息中获取预设图案；

根据所述预设图案在世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的拍摄参数确定当前时刻所述无人机在所述世界坐标系中的位置。

处理器b还被配置了实现图3、图4、图5所示的工作流程的应用程序。

本发明实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在移动终端中执行如图2、图3、图4以及图5所述的移动终端定位方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在移动终端中执行如图2、图3、图4以及图5所述的移动终端定位方法。

实施例

为了能够更加直观的描述本发明的特点和工作原理，下文将结合一个实际运用场景来描述。

在本实施例中，移动终端选为无人机。在实际运用中，图像采集设备设置在无人机上，图像采集设备设置在世界坐标系中的位置就是无人机在世界坐标系中的位置。

场景描述：在地面上设置一幅预设图案或多幅预设图案，该预设图案为非中心对称图像。预设图案上包含至少两种颜色，且其中两种颜色的色差需大于预设值。目的在于能够从图像采集设置中很方便的识别出预设图案来。

在本实施例中，预设图案选为Marker图案。采用Marker图案是因为Marker图案的检测更为方便和稳定。

对于本技术方案来说，涉及到的世界坐标系基于预设图案(对于本实施例来说就是Marker图案)建立的。如图12所示。使用多幅Marker图案按一定规则排列，按水平和垂直各相隔40cm放置一幅Marker图案，基于某幅Marker图案建立一个世界坐标系，由图12可知，世界坐标系的X轴和Y轴在水平面内，世界坐标系的Z轴正方向垂直地面向下。

在实际应用中，Marker图案的形状为正方形、长方形，也可以是其他形状。具体地，Marker图案的尺寸无要求，与工作距离和镜头视场角有关，但无人机要知道Maker图案的尺寸，以便于获取Marker图案的坐标信息。对于本实施来说，如果知道每幅Marker图案的实际物理尺寸和相邻Marker图案之间的距离，那么我们就可以表示出每幅Marker图案的4个顶点在世界坐标系下的坐标。在图12中，有10幅Marker图案，那么可以得到40个顶点坐标。该坐标是Marker图案在世界坐标系中的坐标。如果图12中只有一幅Marker图案，那么同样可以建立世界坐标系，得到4个顶点在世界坐标系下的坐标。

在另一个优选实施例中，预设图案由基础符号和分组编码符号组成。每个基础符号由7*7的点阵表示，如图17所示。每个基础符号都必须区别于其他基础符号，同时基础符号具有方向性。在基础符号的周围有一圈黑白方格(相当于点阵)组成的分组编码符号，如图18所示。

分组编码符号并不限于黑白方格的形式，还可以是其他的图案、字符、图片等等，在实际的应用中，仅仅使用基础字符作为预设图案的编码是有限的，在一组基础符号上设计同一个分组编码符号，方便扩展。

如图19所示，为本实施例定位符号示意图。在图19中，由5个预设图案组成的一组定位符号，一组五个不同基础符号共用一个分组编码符号，需要注意其中两个字母B是两个不同的基础符号。

在本发明的实施例中，利用基础符号周围的分组编码符号，对图19所示的定位符号进行扩展，如图20所示。扩展图案组合结果就是利用基础符号DOB₁B₂Y进行扩展得到的，具体为10个分组编码字符对基础字符DOB₁B₂Y进行了扩展。

另外，每个基础符号在一组定位符号里有一个坐标，以左上角的点为准，单位为基础符号边长。由此可以定义出基础符号以及它们的相互关系，例如，目标区域布设多幅预设图案。一旦预设图案布设完毕，每个预设图案的世界坐标也确定。每一幅预设图案对应一个坐标，以预设图案上基础符号的点阵中第一行、第一列所对应的点的坐标表示。每个预设图案使用二进制文件存储，存储形式为(ID，x，y，size)。其中，ID表示每个预设图案的分组编码符号信息。(x，y)表示每幅预设图案中基础符号的左上角的点的坐标。Size表示基础符号的尺寸大小。

在实际应用中，如图21所示，为本实施例定位图案示意图。在布设Marker图案时，基础符号之间的间距与基础符号的尺寸大小相同，世界坐标系建立完毕。Marker图案的边长为10cm。在图21中，左上角的Marker图案为ID编码为2的图案“D”。在世界坐标系的x轴方向上，图案“D”的左上角的点到原点的距离为10倍基础符号的尺寸；在世界坐标系的y轴方向上，图案“D”的左上角的点到原点的距离为4倍基础符号的尺寸。所以，图案“D”的左上角的点的坐标为(-10，-4)。存储时，对图案“D”的存储信息为(2，-10，-4，10)。由于每个基础符号的尺寸大小为10cm。则图案“D”的左上角的点的世界坐标为(-100，-40，0)。

如图13所示，在本实施例中，Marker图案上有ID信息。目的在于实际应用中，地面上不止设置一幅Marker图案，有可能多幅Marker图案。每一幅Marker图案上有对应的ID信息，方便可以根据ID信息获取每一幅Marker图案相应的坐标信息，并更方便记载和存储预设图案的所有坐标信息，实现多个预设图案的精确识别，并为后期的算法精确实现打下基础。

利用图像处理方法从图像采集设备采集的图像信息中识别出Marker图案和对应的ID信息，并同时获得Marker图案的四个顶点在图像信息中的坐标，根据ID信息，Marker图案在图像信息中的坐标与Marker图案在世界坐标系中的坐标一一对应。

现在我们已经有了Marker图像40个在世界坐标系中的坐标(X_i,Y_i,Z_i)以及40个在图像信息中的坐标(u_i,v_i)。设K为图像采集装置的内参矩阵，内参矩阵为图像采集设备的拍摄参数组成的矩阵。另，定义World2CamRT为世界坐标系到摄像机坐标系的旋转平移矩阵，定义Cam2WorldRT为摄像机坐标系到世界坐标系的旋转平移矩阵，两个旋转平移矩阵满足下述关系：

对上述式1求解PnP问题，即可计算出World2CamRT，而Cam2WorldRT可表示为：

Cam2WorldRT＝World2CamRT' (2)

式中，Cam2WorldRT即可表示图像采集装置在世界坐标系中的位置。图像采集设备在世界坐标系中的位置即为无人机在世界坐标系下的位置。

如图14所示，为本实施例的定位流程图。由图14可知，根据图像识别算法从相机获取的图像中识别出Marker图案。根据Marker图案的形状、尺寸以及位置关系，获得每一幅Marker图案的4个顶点在世界坐标系中的坐标信息以及对应地在图像信息中的坐标信息。利用上式(1)和上式(2)获得无人机在世界坐标系中的位置，根据无人机在世界坐标系中的位置控制无人机的速度或加速度向偏移的反方向进行调整。

实施例1：当无人机执行悬停命令时，无人机实时根据上式(1)和上式(2)获得无人机在世界坐标系中的位置，比较无人机在世界坐标系中的实时位置与预设悬停位置来判断无人机是否出现偏移等情况的发生，一旦出现偏移，可以根据当前无人机在世界坐标系中的位置来控制无人机的速度或加速度向偏移的反方向调整，将无人机移至预设悬停位置。从而实现无人机一直在预设悬停位置上悬停。

实施例2：控制Marker图案处于运动状态，世界坐标系的原点在Marker图案上，Marker图案运动，世界坐标系的原点随之运动，那么世界坐标系也随之运动。不管Marker图案运动与否，Marker图案在所构建的世界坐标系中的顶点坐标不变。如果无人机没有做出相应的运动改变，无人机在世界坐标系中的位置也发生变化，同时Marker图案在图像信息中的位置也发生变化。无人机根据上式(1)和上式(2)获得无人机在世界坐标系中的位置。

为了达到通过Marker图案控制无人机的运行状态，例如：需要让无人机向右飞行时，通过向右移动Marker图案控制无人机向右飞行。无人机必须追随Marker图案运动，最终使得无人机在世界坐标系中的位置不在变化。比较当前时刻无人机在世界坐标系中的位置与上一时刻无人机在世界坐标系中的位置，根据比较结果调整无人机的速度，使得无人机的速度与Marker图案的运动速度相等，这样无人机在世界坐标系中的位置不再发生变化。

实施例3：不管Marker图案处于静止状态还是处于运动状态，Marker图案在世界坐标系中的位置不变。给无人机一个控制命令，期望无人机达到预设目标速度。根据控制命令，无人机做出响应，改变无人机当前的速度或加速度。这样Marker图案在图像信息中的位置也发生变化。在实际应用中，无人机有很大可能性没有达到预设目标速度。这种情况下，无人机实时根据上式(1)和上式(2)获得无人机在世界坐标系中的位置，根据当前时刻无人机在世界坐标系中的位置与上一时刻无人机在世界坐标系中的位置以及当前时刻与上一时刻的时间差，获得无人机的实际飞行速度；比较无人机的实际飞行速度与预设目标速度，对无人机的速度进行调整，使得无人机当前的实际飞行速度与控制命令中的预期目标速度一致。

本发明实施例还提供一种基于上述移动终端的定位方法进行移动终端控制的方法，如图15中所示为所述方法流程图，该方法主要包括如下步骤：

步骤1501、接收移动终端的位置数据。

所述位置数据的获取方式同上面实施例中所述，主要包括如下过程：从移动终端的图像采集设备中获取图像信息，从所述图像信息中获取预设图案，根据所述预设图案在世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的拍摄参数确定当前时刻所述移动终端在所述世界坐标系中的位置。具体细节详见上面实施例中所述，此处不再赘述。

步骤1502、获取所述移动终端的预设飞行规划数据。

所述预设飞行规划数据为脚本文件数据，该预设飞行规划数据可预先保存于移动终端本地。

所述预设飞行规划数据包括：按顺序执行的多帧预设飞行规划数据，每帧预设飞行规划数据包括移动终端的预设位置数据。所述获取所述移动终端的预设飞行规划数据包括：依次获取每帧预设飞行规划数据。

移动终端可以以预定获取频率获取所述预设飞行规划数据，即每隔预设间隔时间获取一帧数据。例如，该预定获取频率是20fps，则移动终端每秒获取20帧预设飞行规划数据，每相邻两帧预设飞行规划数据的获取间隔时间为50ms。

该预定获取速率可以通过定时器实现，设定定时器的时间间隔为预定获取速率对应的预设间隔时间，以实现每隔预设间隔时间读取一帧预设飞行规划数据。

本实施例对移动终端获取预设飞行规划数据的频率不做限制。

步骤1503、根据所述预设飞行规划数据以及所述位置数据生成控制所述移动终端飞行的飞行控制命令。

所述根据所述预设飞行规划数据以及所述位置数据生成控制所述移动终端飞行的飞行控制命令包括：

对获取的当前帧预设飞行规划数据计算所述预设位置数据与接收的位置数据之间的差值；之后根据所述差值生成当前的控制所述移动终端飞行的控制命令。根据该差值生成控制移动终端飞行的控制命令，可以是对差值进行PID运算，将差值乘以比例因子K，对差值的积分项乘以I，对差值的微分项乘以D，再将该三项求和，获得对飞行器110的总控制量。该总控制量中，差值乘以比例因子K作为飞行位置控制量，积分项乘以I作为飞行速度控制量，微分项乘以D作为飞行加速度控制量。当然，在本实施例中，K、I、D的具体数值由用户根据实际需要设定，在本实施例中并不作为限制。

本发明实施例还提供一种移动终端控制装置，如图16中所示为所述装置框图，该装置主要包括如下单元：

接收单元1601，用于接收移动终端的位置数据，所述位置数据通过如下方式获取：从移动终端的图像采集设备中获取图像信息，从所述图像信息中获取预设图案，根据所述预设图案在世界坐标系中的坐标、所述预设图案在所述图像信息中的坐标以及所述图像采集设备的拍摄参数确定当前时刻所述移动终端在所述世界坐标系中的位置；

获取单元1602，用于获取所述移动终端的预设飞行规划数据；

飞行控制单元1603，用于根据所述预设飞行规划数据以及所述位置数据生成控制所述移动终端飞行的飞行控制命令。

本发明实施例还提供一种无人机，包括上面实施例中所述的移动终端控制装置。

以上具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。