无人机目标定位的仿真方法及装置与流程

本发明涉及目标定位技术领域，具体涉及一种无人机目标定位的仿真方法及装置。

背景技术：

目前，常用无人机来对地面目标进行探测和跟踪。无人机的飞行条件比较苛刻，同时，飞行过程中需要飞手的配合。在新算法开发时，若不经过完整系统验证，直接通过无人机进行真机测试，一旦飞机摔坏或者损坏到周围环境，将造成巨大经济损失。无人机进行真机测试时所发生的故障都是不可逆的，实验条件也难以复现，故障原因很难分析清楚。并且，常常需要耗费飞手的时间和精力来操作无人机，浪费人力和物力。无人机仿真系统作为一个比较新颖的领域，可以把算法逻辑层会出现的错误提前排除在外，是算法开发的一个必要过程。

相关技术中，常用matlab实现无人机仿真。matlab仿真是一种非实时、离线的仿真方法。这种仿真侧重的是局部控制、避障、跟踪等算法本身的效果，没有涉及到传感器获取数据的阶段。仿真输入是人为给定的数据，并且无人机的数学模型与真实模型也有一定差距。这降低了算法仿真的准确性，同时延长了算法开发的时间。

技术实现要素：

有鉴于此，本发明实施例提供了一种无人机目标定位的仿真方法，该仿真方法无需人为输入数据，同时，该仿真方法采用的无人机模型和光电吊舱模型与真实模型一致，从而提高了无人机目标定位的仿真结果的准确性，并且减少实际测试成本，提高算法落地的可能性。

根据本发明的一方面，提供一种无人机目标定位的仿真方法，在三维仿真环境中搭建无人机模型，所述无人机目标定位的仿真方法，包括：

在所述无人机模型飞行时，通过其上搭载的光电吊舱模型采集包括待定位的第一目标的第一图像；

对所述第一图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标；

获取所述无人机模型和所述光电吊舱模型的状态信息；以及

基于所述像素坐标和所述状态信息，计算所述第一目标在所述三维仿真环境中的地理位置的仿真值。

优选地，所述的无人机目标定位的仿真方法，还包括：

获取所述第一目标在所述三维仿真环境中的地理位置的位置真值；

比较所述位置真值和所述仿真值，以确定所述第一目标的地理位置的仿真误差。

优选地，所述在所述无人机模型飞行时，通过其上搭载的光电吊舱模型采集包括待定位的第一目标的第一图像，包括：

在所述光电吊舱模型采集的多个图像中选出所述待定位的第一目标；

基于核相关滤波算法跟踪程序跟踪所述第一目标；以及

在所述无人机模型搭载的所述光电吊舱模型实时采集所述第一图像的过程中，实时调整所述无人机模型和所述光电吊舱模型的所述状态信息，使得所述第一图像包括所述第一目标。

优选地，所述对所述第一图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标，包括：

将所述第一图像进行图像格式转化，得到第二图像；

在跨平台的计算机视觉库中，对所述第二图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标。

优选地，所述基于所述像素坐标和所述状态信息，计算所述第一目标在所述三维仿真环境中的地理位置的仿真值，包括：

基于所述像素坐标和所述状态信息，对所述第一目标在所述第一图像中的所述像素坐标进行坐标系变换，得到所述第一目标在所述三维仿真环境中的地理位置的仿真值。

优选地，所述无人机模型和所述光电吊舱模型的状态信息，包括：无人机模型的位置、无人机模型的姿态、光电吊舱模型的位置和光电吊舱模型的姿态。

根据本发明的另一方面，提供一种无人机目标定位的仿真装置，包括：

图像采集模块，用于实时采集包括待定位的第一目标的第一图像；

图像处理模块，用于对所述第一图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标；

数据获取模块，用于实时获取所述无人机模型和所述光电吊舱模型的状态信息；以及

计算模块，用于基于所述像素坐标和所述状态信息，实时仿真计算所述第一目标在所述三维仿真环境中的地理位置的仿真值。

优选地，所述的无人机目标定位的仿真装置，还包括：

跟踪模块，用于通过核相关滤波算法跟踪程序实时跟踪所述第一目标，实时得到所述第一目标在所述三维仿真环境中的地理位置的位置真值；

比较模块，用于比较所述位置真值和所述仿真值，以确定所述无人机模型定位所述第一目标的地理位置的仿真误差。

优选地，所述实时采集包括待定位的第一目标的第一图像，包括：

在实时采集的多个图像中选出所述待定位的第一目标；

基于核相关滤波算法跟踪程序跟踪所述第一目标；以及

在实时采集所述第一图像的过程中，实时调整所述无人机模型和所述光电吊舱模型的所述状态信息，使得所述第一图像包括所述第一目标。

优选地，所述对所述第一图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标，包括：

将所述第一图像进行图像格式转化，得到第二图像；

在跨平台的计算机视觉库中，对所述第二图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标。

优选地，所述基于所述像素坐标和所述状态信息，实时仿真计算所述第一目标在所述三维仿真环境中的地理位置的仿真值，包括：

基于所述像素坐标和所述状态信息，对所述第一目标在所述第一图像中的所述像素坐标进行坐标系变换，实时计算得到所述第一目标在所述三维仿真环境中的地理位置的仿真值。

优选地，所述无人机模型和所述光电吊舱模型的状态信息，包括：无人机模型的位置、无人机模型的姿态、光电吊舱模型的位置和光电吊舱模型的姿态。

根据本发明的又一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现如上所述的无人机目标定位的仿真方法。

根据本发明的再一方面，提供一种无人机目标定位的仿真控制装置，包括：

存储器，用于存储计算机指令；处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现如上所述的无人机目标定位的仿真方法。

本发明的一个实施例具有以下优点或有益效果：

该无人机目标定位的仿真是一个完整闭环的实时性仿真，无需人为输入数据，使得仿真系统逻辑性完整。并且该仿真方法采用的无人机模型和光电吊舱模型与真实模型一致，从而提高了无人机目标定位的仿真结果的准确性。

三维仿真环境中的第一目标的地理位置的位置真值和仿真值都能直接获取，便于比较该第一目标的位置真值和仿真值，以确定第一目标的地理位置的仿真误差。分析该仿真误差，对关于无人机目标定位的算法的参数进行调整优化。从而缩短了关于无人机目标定位的算法的开发时间，并且减少实际测试成本，提高算法落地的可能性。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示出本发明的一个实施例的无人机目标定位的仿真方法的流程示意图。

图2a示出本发明的一个实施例的光电吊舱模型的结构示意图。

图2b示出本发明的一个实施例的无人机模型的结构示意图。

图3示出本发明的一个实施例的无人机目标定位的仿真方法的流程示意图。

图4示出算法开发流程的示意图。

图5a示出本发明的一个实施例的无人机目标定位的三维仿真环境的示意图。

图5b示出本发明的一个实施例的x轴方向的无人机目标定位的仿真结果的示意图。

图5c示出本发明的一个实施例的y轴方向的无人机目标定位的仿真结果的示意图。

图5d示出本发明的一个实施例的x轴方向的无人机目标定位的仿真误差的示意图。

图5e示出本发明的一个实施例的y轴方向的无人机目标定位的仿真误差的示意图。

图6示出本发明的一个实施例的无人机目标定位的仿真装置的结构示意图。

图7示出本发明的一个实施例的无人机目标定位的仿真装置的结构示意图。

图8示出本发明的一个实施例的无人机目标定位的仿真控制装置的结构图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

图1是本发明的一个实施例的无人机目标定位的仿真方法的流程示意图。在三维仿真环境中搭建无人机模型，无人机目标定位的仿真方法，具体包括以下步骤：

在步骤s101中，在所述无人机模型飞行时，通过其上搭载的光电吊舱模型采集包括待定位的第一目标的第一图像。

在该步骤中，在无人机模型飞行时，通过其上搭载的光电吊舱模型采集包括待定位的第一目标的第一图像。

在步骤s102中，对所述第一图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标。

在该步骤中，对第一图像进行图像处理，得到第一目标在该第一图像中的像素坐标。

在步骤s103中，获取所述无人机模型和所述光电吊舱模型的状态信息。

在该步骤中，获取该无人机模型和该光电吊舱模型的状态信息。

在步骤s104中，基于所述像素坐标和所述状态信息，计算所述第一目标在所述三维仿真环境中的地理位置的仿真值。

在该步骤中，基于第一目标在第一图像中的像素坐标和该无人机模型和该光电吊舱模型的状态信息，计算该第一目标在三维仿真环境中的地理位置的仿真值。

根据本发明实施例，该无人机目标定位的仿真是一个完整闭环的实时性仿真，无需人为输入数据，使得仿真系统逻辑性完整。并且该仿真方法采用的无人机模型和光电吊舱模型与真实模型一致，从而提高了无人机目标定位的仿真结果的准确性。

无人机操作系统(ros)是专为机器人软件开发所设计出来的一套电脑操作系统架构。它是一个开源的元级操作系统(后操作系统)，提供类似于操作系统的服务，包括硬件抽象描述、底层驱动程序管理、共用功能的执行、程序间消息传递、程序发行包管理，它也提供一些工具和库用于获取、建立、编写和执行多机融合的程序。

图3是本发明的一个实施例的无人机目标定位的仿真方法的流程示意图，该无人机目标定位的仿真方法例如是基于机器人操作系统(ros)的软件框架在机器人三维仿真软件(gazebo)中进行的。本实施例是比前述实施例更加完善的无人机目标定位的仿真方法。具体包括以下步骤：

在步骤s301中，在所述无人机模型飞行时，通过其上搭载的光电吊舱模型采集包括待定位的第一目标的第一图像。

如图2a所示的三维仿真环境中的光电吊舱模型实时采集图像来对周围环境进行实时监测以寻找目标。该光电吊舱模型搭载在如图2b所示的px4开源的四旋翼无人机模型上。该光电吊舱模型是一个二自由度的光电吊舱模型。

通过键盘操作控制无人机模型的姿态和位置以及光电吊舱模型的姿态和位置。光电吊舱模型通过内置摄像头实时采集图像来对周围环境进行实时监测以寻找目标。

在该步骤中，在光电吊舱模型采集的多个图像中选出待定位的第一目标。例如，当光电吊舱模型实时采集的多个图像中出现待定位的目标时，通过手动框选目标的方式来选定该目标为第一目标。当寻找到待定位的第一目标后，基于核相关滤波算法跟踪程序跟踪第一目标。以及在无人机模型搭载的光电吊舱模型实时采集第一图像的过程中，实时调整无人机模型和光电吊舱模型的状态信息，使得第一图像包括第一目标。该无人机模型和该光电吊舱模型的状态信息，包括：无人机模型的位置、无人机模型的姿态、光电吊舱模型的位置和光电吊舱模型的姿态。

在步骤s302中，对所述第一图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标。

在该步骤中，将第一图像进行图像格式转化，得到跨平台的计算机视觉库(opencv)支持的图像格式的第二图像。在跨平台的计算机视觉库(opencv)中，对第二图像进行图像处理，得到第一目标在第一图像中的像素坐标。

在步骤s303中，获取所述无人机模型和所述光电吊舱模型的状态信息。

在该步骤中，获取无人机模型和光电吊舱模型的状态信息。该无人机模型和该光电吊舱模型的状态信息，包括：无人机模型的位置、无人机模型的姿态、光电吊舱模型的位置和光电吊舱模型的姿态。

在步骤s304中，基于所述像素坐标和所述状态信息，计算所述第一目标在所述三维仿真环境中的地理位置的仿真值。

图4是算法开发流程的示意图。如图4所示，算法开发流程包括：

首先，对用户的需求进行需求分析。经过初步设计获得该算法的初步方案。然后，基于用户需求，编码得到底层功能算法和上层逻辑算法。其次，对该上层逻辑算法进行仿真。再次，基于仿真结果判断开发的算法的各项指标是否合格。如果合格，则对该算法进一步进行硬件、环境测试。如果不合格，则对该上层逻辑算法的各项参数进行调整和优化。

在该步骤中，在三维仿真环境中，基于第一目标在第一图像中的像素坐标以及无人机模型和光电吊舱模型的状态信息，对第一目标在第一图像中的像素坐标进行坐标系变换，得到第一目标在三维仿真环境中的地理位置的仿真值。例如，通过将提前编写的关于无人机目标定位的算法导入三维仿真环境中，来计算第一目标在三维仿真环境中的地理位置的仿真值。

在步骤s305中，获取所述第一目标在所述三维仿真环境中的地理位置的位置真值。

在该步骤中，通过核相关滤波算法跟踪程序实时跟踪第一目标，实时得到第一目标在三维仿真环境中的地理位置的位置真值。

在步骤s306中，比较所述位置真值和所述仿真值，以确定所述第一目标的地理位置的仿真误差。

在该步骤中，比较位置真值和仿真值，以确定第一目标的地理位置的仿真误差。分析该仿真误差，对关于无人机目标定位的算法的参数进行调整优化。

根据本发明实施例，三维仿真环境中的第一目标的地理位置的位置真值和仿真值都能直接获取，便于比较该第一目标的位置真值和仿真值，以确定第一目标的地理位置的仿真误差。分析该仿真误差，对关于无人机目标定位的算法的参数进行调整优化。从而缩短了关于无人机目标定位的算法的开发时间，并且减少实际测试成本，提高算法落地的可能性。

在本申请的一个可选的实施例中，图5a示出无人机目标定位的三维仿真环境。在如图5a所示的无人机目标定位的三维仿真环境中，无人机模型501起飞到一定高度(50m-100m)，调整好搭载在无人机模型501上的光电吊舱模型的姿态后，选取视野范围内的一个目标，作为第一目标，这里选择的是白色车辆502。该白色车辆502处于静止状态。可以理解的是，白色车辆502的状态不仅仅限于静止状态，白色车辆502处于运动状态的情况同样适用于本发明实施例中的无人机目标定位的三维仿真方法。

该光电吊舱模型通过内置摄像头获取包括白色车辆502的第一图像。将第一图像进行图像格式转化，得到第二图像。在跨平台的计算机视觉库(opencv)中，对第二图像进行图像处理，得到白色车辆502在第一图像中的像素坐标(xip,yip)。无人机模型501的内置传感器实时获取无人机模型501和光电吊舱模型的状态信息。

在三维仿真环境中，基于像素坐标和状态信息，计算白色车辆502在三维仿真环境中的地理位置的仿真值。这里只考虑白色车辆502在x轴方向和y轴方向的地理位置的仿真值。图5b是白色车辆502的x轴方向的无人机目标定位的仿真结果。图5b中横坐标为三维仿真环境中的时间t(单位：秒)，纵坐标为在三维仿真环境中白色车辆502的x轴方向的地理位置的仿真值。图5c是该白色车辆502的y轴方向的无人机目标定位的仿真结果。图5c中横坐标为三维仿真环境中的时间t(单位：秒)，纵坐标为在三维仿真环境中白色车辆502的y轴方向的地理位置的仿真值。基于核相关滤波算法跟踪程序跟踪白色车辆502，得到白色车辆502的地理位置的位置真值。白色车辆502在三维仿真环境中的位置真值为(56.6,-1.7,0)。比较位置真值和仿真值，以确定白色车辆502的地理位置的仿真误差。图5d是白色车辆502的x轴方向的无人机目标定位的仿真误差。图5d中横坐标为三维仿真环境中的时间t(单位：秒)，纵坐标为在三维仿真环境中白色车辆502的x轴方向的地理位置的仿真误差。图5e是白色车辆502的y轴方向的无人机目标定位的仿真误差。图5e中横坐标为三维仿真环境中的时间t(单位：秒)，纵坐标为在三维仿真环境中白色车辆502的y轴方向的地理位置的仿真误差。对比图5b和图5d以及图5c和图5e所示的仿真结果，得到无人机目标定位的仿真误差在5米范围内。

图6是本发明的一个实施例的无人机目标定位的仿真装置的结构示意图。如图6所示，所述无人机目标定位的仿真装置包括：图像采集模块601，图像处理模块602、数据获取模块603和计算模块604。

图像采集模块601，用于实时采集包括待定位的第一目标的第一图像。

该模块，在无人机模型飞行时，实时采集包括待定位的第一目标的第一图像。

图像处理模块602，用于对所述第一图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标。

该模块，对第一图像进行图像处理，得到第一目标在该第一图像中的像素坐标。

数据获取模块603，用于实时获取所述无人机模型和所述光电吊舱模型的状态信息。

该模块，获取该无人机模型和该光电吊舱模型的状态信息。

计算模块604，用于基于所述像素坐标和所述状态信息，实时仿真计算所述第一目标在所述三维仿真环境中的地理位置的仿真值。

该模块，基于第一目标在第一图像中的像素坐标和该无人机模型和该光电吊舱模型的状态信息，计算该第一目标在三维仿真环境中的地理位置的仿真值。

图7是本发明的一个实施例的无人机目标定位的仿真装置的结构示意图。本实施例是比前述实施例更加完善的实施例。如图7所示，所述无人机目标定位的仿真装置包括：图像采集模块701，图像处理模块702、数据获取模块703、计算模块704、跟踪模块705和比较模块706。

图像采集模块701，用于实时采集包括待定位的第一目标的第一图像。

该模块，在光电吊舱模型采集的多个图像中选出待定位的第一目标。例如，当光电吊舱模型实时采集的多个图像中出现待定位的目标时，通过手动框选目标的方式来选定该目标为第一目标。当寻找到待定位的第一目标后，基于核相关滤波算法跟踪程序跟踪第一目标。以及在无人机模型搭载的光电吊舱模型实时采集第一图像的过程中，实时调整无人机模型和光电吊舱模型的状态信息，使得第一图像包括第一目标。该无人机模型和该光电吊舱模型的状态信息，包括：无人机模型的位置、无人机模型的姿态、光电吊舱模型的位置和光电吊舱模型的姿态。

图像处理模块702，用于对所述第一图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标。

该模块，将第一图像进行图像格式转化，得到跨平台的计算机视觉库(opencv)支持的图像格式的第二图像。在跨平台的计算机视觉库(opencv)中，对第二图像进行图像处理，得到第一目标在第一图像中的像素坐标。

数据获取模块703，用于实时获取所述无人机模型和所述光电吊舱模型的状态信息。

该模块，获取无人机模型和光电吊舱模型的状态信息。该无人机模型和该光电吊舱模型的状态信息，包括：无人机模型的位置、无人机模型的姿态、光电吊舱模型的位置和光电吊舱模型的姿态。

计算模块704，用于基于所述像素坐标和所述状态信息，实时仿真计算所述第一目标在所述三维仿真环境中的地理位置的仿真值。

该模块，在三维仿真环境中，基于第一目标在第一图像中的像素坐标以及无人机模型和光电吊舱模型的状态信息，对第一目标在第一图像中的像素坐标进行坐标系变换，得到第一目标在三维仿真环境中的地理位置的仿真值。例如，通过将提前编写的关于无人机目标定位的算法导入三维仿真环境中，来计算第一目标在三维仿真环境中的地理位置的仿真值。

跟踪模块705，用于通过核相关滤波算法跟踪程序实时跟踪所述第一目标，实时得到所述第一目标在所述三维仿真环境中的地理位置的位置真值。

该模块，通过核相关滤波算法跟踪程序实时跟踪第一目标，实时得到第一目标在三维仿真环境中的地理位置的位置真值。

比较模块706，用于比较所述位置真值和所述仿真值，以确定所述无人机模型定位所述第一目标的地理位置的仿真误差。

该模块，比较位置真值和仿真值，以确定第一目标的地理位置的仿真误差。分析该仿真误差，对关于无人机目标定位的算法的参数进行调整优化。

图8是根据本发明实施例的无人机目标定位的仿真控制装置的结构图。图8示出的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围构成任何限制。

参考图8，该装置包括通过总线连接的处理器801、存储器802和输入输出设备803。存储器802包括只读存储器(rom)和随机访问存储器(ram)，存储器802内存储有执行系统功能所需的各种计算机指令和数据，处理器801从存储器802中读取各种计算机指令以执行各种适当的动作和处理。输入输出设备包括键盘、鼠标等的输入部分；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分。存储器802还存储有以下的计算机指令以完成本发明实施例的无人机目标定位的仿真方法规定的操作：在所述无人机模型飞行时，通过其上搭载的光电吊舱模型采集包括待定位的第一目标的第一图像；对所述第一图像进行图像处理，得到所述第一目标在所述第一图像中的像素坐标；获取所述无人机模型和所述光电吊舱模型的状态信息；以及基于所述像素坐标和所述状态信息，计算所述第一目标在所述三维仿真环境中的地理位置的仿真值。

相应地，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述无人机目标定位的仿真方法所规定的操作。

附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。

以上所述仅为本发明的一些实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。