一种基于多旋翼无人机协同的无源目标实时定位方法与流程

本发明属于无人机应用领域，涉及一种基于多旋翼无人机协同的无源目标实时定位方法。

背景技术：

现代战争中，无人机具有独特的优越性和灵活性，担负战场侦察和目标监视等重要任务。战场军事目标的精确位置是把握战场态势、指挥决策和精确打击的重要信息。

无人机挂载相机传感器，通过图像处理的方法检测到目标，并定位该目标的地理位置是基于无人机定位的最常用手段。此类应用的难点有两个方面：1)图像是对真实三维场景的二维投影，丢失了一个维度的信息，从二维反向重建三维时受关系模型及观测误差的影响，精度很难保证，导致从目标所在图像的像素位置定位真实空间的绝对位置误差增大，高精度的定位难度增大；2)由于无人机通常距离目标较远，在不挂载激光、雷达等昂贵设备的情况下，很难在较小的移动范围内通过可见光相机解算目标深度，这种情况下只能通过大幅度的空间移动，增大视差，运用多视图几何的方式计算，但是大幅度的移动会增大单次定位的时长，不适合实时定位的场景。

无人机集群的出现可以缓解上述两个难点，协同工作时，图像的获取为并行采集，空间位置可以不移动，并且较大的空间距离可以建立更鲁棒的约束条件，定位精度和实效性都能有所保障。

技术实现要素：

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于多旋翼无人机协同的无源目标实时定位方法，解决了在未知的战场环境中，无人机对地面目标实时定位难度高及定位精度差等问题。

技术方案

一种基于多旋翼无人机协同的无源目标实时定位方法，其特征在于步骤如下：

步骤1、多架无人机在规定的轨迹上飞行，不同位置的无人机采用挂载的相机同一时间在对地面目标进行协同拍摄：

多架无人机以目标为倒圆锥顶点的底面做圆周等距离运动飞行，无人机上挂载的相机都朝向目标；每架相机动态输出视频数据，根据时间对三组视频数据中的关键帧进行对齐，同时，在对齐关键帧的同时输出每帧图像采集时的飞机坐标及相机姿态；

步骤2：通过sfm算法对同一时间采集的三帧图像进行地型三维数字化，生成世界坐标系下的3d稀疏点云，并建立该3d点的地理坐标与三帧图像中像素坐标的对应表；

步骤3：计算目标点与所有特征点在图像坐标系下的欧式距离，选取距离近的特征点组成参考点集；

将参考点地理坐标与像素坐标之间的对应关系，建立两个区域面片之间一一的对应关系，用单应矩阵h表示：

其中，(u,v,1)^t表示像图像平面上特征点的坐标，(x,y,1)^t表示地面区域面片上3d点的z轴投影坐标，即为utm投影面上的地理坐标；

将参考点集中特征点的像素坐标和地理坐标带入单应矩阵h，通过最小二乘法得到最优的单应矩阵h；

计算目标点的地理坐标，将目标点的像素坐标带入上式中的左边，即计算出目标点的地理坐标。

所述无人机及相机的硬件设备为同种规格。

有益效果

本发明提出的一种基于多旋翼无人机协同的无源目标实时定位方法，多架无人机在规定的轨迹上飞行，采用挂载的相机对地面目标进行协同拍摄；通过sfm算法对图像场景进行三维数字化，生成世界坐标系下的3d点云，建立每个3d点云的地理坐标与观测图像中特征点像素坐标的对应关系；选取目标点附近的特征点，组成参考点集；通过建立参考点所对应地理坐标与像素坐标之间的单应关系，定位图像中目标的地理坐标。

本发明通过多架位于不同位置的旋翼无人机之间的协同工作，结合图像处理及多视图几何的处理方法，实现了对共同视野内同一目标进行实时地理坐标的无源定位。本发明不仅可以在硬件配置低的情况下获得较高的定位精度，而且能够实时地对动态目标进行无源定位。

附图说明

图1是步骤s1数据采集时，三架无人机协同作业的示意图；

图2是步骤s2中图像间特征匹配的示意图；

图3是步骤s2中ba优化时相机投影关系的示意图；

图4是步骤s3中区域面片在不同坐标系下变换的示意图

图5是步骤s3中目标点与参考点的关系示意图；

具体实施方式

现结合实施例、附图对本发明作进一步描述：

无人机对地面目标的定位方式主要分为两类：1)通过挂载激光测距仪，建立目标与无人机之间的距离约束，再结合无人机自身的位置，确定地面目标的位置，该方式称为有源目标定位；2)在激光测距仪不满足的条件下，使无人机分时地在不同视角对同一静态目标进行拍摄，通过多视图几何的定位方式确定目标位置。这两类方式都存在一定的局限性，有缘目标定位虽然能够实时的输出目标位置，但同时存在硬件成本高、定位精度差等问题；多视图几何的方式能够在节省成本的情况下取得较高的定位精度，但无法实时解算目标位置，也就无法实现对动态目标的定位。

本发明提供了一种基于多无人机协同的目标地理坐标定位系统及方法，首先要求三架无人机在以目标为倒圆锥顶点的底面圆周等距离运动，对目标视野内的场景进行实时视频采集；然后使用sfm方法对同一时间点采集的三帧图像进行三维数字化，快速获取地面的3d稀疏点云，并建立起二维特征点与3d点云之间的对应关系；最后通过已知目标在图像上的像素坐标，计算该点对应的地理坐标。具体实施步骤如下：

步骤s1：

相比于传统人工系统操作下的无人机，具备集群作业能力的无人机无疑优势显著。一方面集群中可以使用大量低成本系统形成功能互补，在降低成本的同时提高使用效率；另一方面，分布式集群智慧也能提高无人机作业的准确性、全面性和可靠性。因此，无人机集群协同工作的方式会越来越多的用于军事领域。在此硬件基础上，发挥无人机协同工作的优势，实现对地面目标的精准定位是军事战场上一个最基本的功能要求。本专利提出的协同无源目标定位就是实现该功能的一种解决方法。

可见光相机无论是在消费级无人机还是在工业级无人机都已成为必备载荷，同一时间在不同位置的无人机如果将相机视角都朝向同一目标，该协同方式的目标定位问题可转化为视觉算法中多目问题，多目问题可以使用多视图几何的方式解决。

多架无人机协同飞行的方式如图1所示，该方法采用三架无人机协同工作，无人机应在以目标为倒圆锥顶点的底面圆周等距离运动，无人机上挂载的相机都朝向目标，在目标位置移动较大时，无人机应该做相应的位置调整已保证目标不会离开视野。每架相机都是动态的输出视频数据，根据时间对三组视频数据中的关键帧进行对齐，此外，在对齐关键帧的同时配套输出每帧图像采集时的飞机坐标及相机姿态。为了提高定位的精度，在条件允许的情况下，若飞行高度固定，无人机飞行圆周的半径越小定位精度越高；此外，无人机及相机等硬件设备应尽量保持同种规格。

步骤s2：

同一时间点，目标相对于地面纹理信息是固定的，投影到不同视图中目标与地面特征点的相对位置也是固定的。通过特征点可以建立一个闭合的六棱锥关系图，其中三条棱为特征匹配关系(如图2)，另外三条棱为相机投影关系(如图3)。

通过sfm算法对同一时间采集的三帧图像进行地型三维数字化，快速生成世界坐标系下的3d稀疏点云，并建立该3d点的地理坐标与三帧图像中像素坐标的对应表。

sfm(structurefrommotion)指得是由图像序列生成3d点云以及相机姿态。算法的实现流程包括以下六个步骤：1)对输入图像利用其内部的编码信息获取相机的焦距，计算内参矩阵；2)对相邻图像两两计算特征点并实现匹配，可使用稳定性更高的sift特征(尺度不变特征变换)；3)根据匹配点对，计算相邻图像之间的本质矩阵e；4)利用本质矩阵e计算出相邻图像之间的相机外参r(旋转矩阵)和t(平移向量)；5)通过三角测量计算出点云的初始位置；6)利用全局ba(bundleadjustment)去优化3d点云及相机内参和外参，以得到最精准的3d数据。正是因为ba的平差计算，重建出的点云精度比较高，有着二维图像定位所无法比拟的优势。在这个过程中可根据硬件配置情况和实时性要求对其中的环节做相应的调整，例如：如果无人机飞控系统可以输出相机姿态，上述的3、4步可以省略；如果对定位的实时性要求较高，上述的特征匹配阶段可将sift特征调整为orb(orientedfastandrotatedbrief)特征。

在sfm生成点云的同时，可以获得每个3d点的地理坐标，以及该3d点所出现在每一张图片上的像素坐标。但稀疏点云不能覆盖图像上的所有点，需要定位的目标点也并不一定就是特征点，所以需要步骤s3去计算图像中目标的地理位置。

步骤s3：

由于地形存在高低起伏的变化，所以图像中的像素坐标和地理坐标之间的变换是非线性的，无论是用图像中所有的特征点去估计目标点的地理坐标，还是用3d点云中的特征点的地理坐标去估计目标点的像素坐标都是不准确的。因此本发明选取目标点周围的特征点，组成参考点集，如图4中圆形阴影区域，所有的特征点在3d点云中都存在对应的3d点，具体来说，通过分别计算目标点与所有特征点在图像坐标系下的欧式距离，选取距离近的特征点组成参考点集，可根据参考点地理坐标与像素坐标之间的对应关系，建立两个区域面片之间一一的对应关系，如图5所示，utm投影面上的三角形为参考点组成的区域面片，该对应关系用单应矩阵h表示：

单应变换是把一个射影平面上的点映射到另一个射影平面上，是关于三维齐次矢量的一种线性变换，可以用一个的非奇异矩阵h表示，公式如下：

其中，(u,v,1)^t表示像图像平面上特征点的坐标，(x,y,1)^t表示地面区域面片上3d点的z轴投影坐标，即为utm投影面上的地理坐标。将参考点集中特征点的像素坐标和地理坐标带入上式，通过最小二乘法可得到最优的单应矩阵h。如需计算目标点的地理坐标，将目标点的像素坐标带入上式(1)中的左边，即可计算出目标点的地理坐标。

总之，通过以上的步骤可以实现对目标的实时定位，更可用于对动态目标的实时定位，该方法计算速度快，而且定位精度高，对战场上无源目标的定位具有重要作用。本方法最大的创新就是将精度较高的3d点云引入到2d图像的定位中来，从根本上解决2d图像非正射带来的定位难题；并且为了达到实时定位的要求，本方法采用多架无人机协同工作的方式，最大化压缩处理时间；此外，本方法在建立面与面之间对应关系时，通过小范围搜索参考点的方式最大化保证了定位的精度。