一种基于图像配准的无人机定位方法与流程

[0001]
本发明涉及在gps失效情况下基于视觉的无人机定位方法，具体涉及一种通过无人机视角图像与卫星地图图像配准的无人机定位方法。


背景技术：

[0002]
无人机具有低功耗、低成本、灵活、可扩展的优点，已广泛应用于摄影、航空测绘、农业、救援和物流等任务中。在执行具体任务的过程中，无人机的定位是无人机控制与决策的基础。当前无人机平台大多数都配备机载摄像头与gps芯片，同时可搭载imu、机载罗盘、气压计等传感器，用于无人机感知环境与检测自身状态。在通常情况下，无人机可通过gps等专用硬件进行定位，而在特殊环境下，当gps信号不可用或出现硬件故障时，要保障无人机当前任务的顺利执行，需要更稳定的定位方法，结合无人机搭载的传感器平台，基于视觉的空中无人机定位方法能够有效地实现定位目的，提高无人机系统的稳定性与可靠性。
[0003]
图像配准是计算机视觉中的典型问题，给定两幅图像，图像配准通过寻找一种空间变换将一幅图像映射到另一幅图像上，使得两图像中对应于空间中同一位置的点可以一一对应起来。在实际中，通常采用单应矩阵(homography)描述两图像间的空间变换，通过单应矩阵与一幅图像中点的齐次坐标相乘得到对应点在另一图像中的齐次坐标。图像配准常用关键点特征匹配算法实现，对要进行配准的图像a与图像b，估计a到b的空间变换，首先检测两图像中的关键点，即对图像变换具有稳定性、在图像场景中具有显著性的像素点；对检测出的关键点，提取其邻域信息构建固定长度的向量作为该点的特征描述；对图像a中的关键点特征，根据特征向量的距离查找其在图像b关键点特征中的k个近邻，通过显著性测试去除a中显著性不佳的关键点及其特征，对a中剩余的关键点及其特征，选择k个近邻中的最近邻为最终匹配点；根据图像a中剩余关键点与图像b中关键点的匹配关系，使用ransac算法或直接线性变换进行拟合，估计图像a变换到图像b的单应矩阵。在基于图像配准的空中无人机定位方法中，将无人机对地面拍摄的图像与带有地理信息的卫星地图图像进行配准，求解出高精度的单应矩阵即可实现无人机的定位。
[0004]
近年来，国内外许多研究团队提出了基于视觉的空中无人机定位方法。基于视觉的无人机定位问题首先被视作图像检索问题，需要建立大规模带有地理信息的图像数据库，将无人机拍摄图像进行处理提取其特征，根据特征相似度在数据库中检索最相似的图像，再进行精准的图像匹配，这一方法需要构建高质量、大规模的数据库，数据库的存储也需要较大的空间。相比于图像检索方式，将无人机对地拍摄图像与区域卫星地图进行配准更加高效，而在使用图像配准中的sift、surf等算法直接进行无人机拍摄图像与区域的卫星地图配准时，卫星地图与无人机拍摄图像存在较大的尺度差与旋转角度，且整个区域的卫星地图包含的丰富纹理引入了大量噪声，算法不能为无人机拍摄图像中的关键点找到其在卫星地图中正确的匹配点，因而产生了coarse-to-fine的定位方法，先对无人机在区域中的位置进行粗略估计，再对粗略位置所在的小区域进行图像配准。2018年法国的ahmed nassar等、2019年美国的hunter goforth等均采取了基于视觉里程计的coarse-to-fine无
人机视觉定位方法，在起飞时需要知道无人机的初始定位并拍摄初始位置图像，且要求无人机在飞行过程中不断拍摄地面图像，拍摄的帧与帧之间必须存在有效的重叠，通过帧与帧之间的图像配准累积对无人机位置的估计得到粗略定位，在粗略定位的区域进行精细的图像配准。ahmed nassar等通过sift算法估计帧与帧之间的变换，通过语义分割后的物体几何形状匹配实现精准匹配，需要有效的空中视角图像语义分割模型支撑。hunter goforth等使用预训练的神经网络估计帧与帧之间的变换，通过优化方法更新帧与帧以及帧与地图图像间的变换，提高了估计的精度，但未摆脱使用视觉里程计的限制，在实际应用中仍存在很大的局限。


技术实现要素：

[0005]
本发明解决的问题：由于无人机拍摄图像与卫星地图图像之间存在较大的尺度差异与旋转角度，且卫星地图图像包含的丰富纹理引入了大量噪声，通过传统的关键点特征直接对无人机拍摄图像与整个区域的卫星地图图像进行配准时，算法难以为无人机拍摄图像中的关键点得到其在卫星地图中的正确匹配点，无法求出有效的单应矩阵；coarse-to-fine的视觉定位方法依赖于视觉里程计不断累积对无人机位置的估计，需要通过两阶段、多次图像配准实现无人机的定位，在应用中存在局限。本发明结合无人机硬件平台搭载的传感器，提供了一种对无人机拍摄图像与完整区域卫星地图图像进行一次配准实现无人机视觉定位的方法。
[0006]
本发明的技术解决方案包括如下步骤：
[0007]
(1)无人机拍摄图像预处理。无人机拍摄图像与卫星地图图像在方向和尺度上存在巨大差异，仅通过特征的不变性不能有效处理这些差异，需要通过减小两图像的差异来实现无人机拍摄图像到卫星地图图像的有效配准，结合无人机平台所搭载的简单传感器，从气压计等传感器可读取无人机的飞行高度，从机载罗盘等传感器可读取无人机的飞行方向，卫星地图图像的空间分辨率与标准方向已知，由无人机的飞行高度与方向可估计无人机拍摄图像与卫星地图图像间的旋转角度与尺度差距，通过旋转变换与缩放变换可将无人机拍摄图像与卫星地图图像进行对齐，有效减小两图像的尺度差与旋转差，提高图像配准的稳定性与准确度；
[0008]
(2)无人机拍摄图像关键点检测。经过预处理的无人机图像与卫星地图图像在尺度与方向上大致对齐，两图像中物体的边缘以及物体内各部分的边缘具有显著的对应关系，超像素算法seeds可以将图像划分为若干均质的超像素，超像素的边界与图像中物体或物体内各部分的边缘重合，同时由于两图像的尺度经过校正，空间分辨率基本一致，seeds算法在两图像中同一物体上产生的超像素边缘点存在准确的对应关系，通过关联这些关键点的坐标可以估计出准确的图像变换关系；
[0009]
(3)无人机拍摄图像关键点特征提取。步骤(2)在无人机拍摄图像与卫星地图图像中检测出了大量关键点，关联两图像中的关键点即可估计两图像间的变换关系。两图像中关键点的关联度通过关键点特征的相似度衡量，使用sift特征描述提取图像中关键点邻域的外观信息，sift特征具有一定的旋转不变性与尺度不变性，对步骤(1)中的预处理误差具有一定的容忍度，提供了稳定有效的关键点特征描述；
[0010]
(4)无人机拍摄图像与卫星地图图像的特征匹配，对两图像中提取出的关键点特
征集合，使用superglue算法进行特征匹配，通过图神经网络聚合关键点特征，为每个关键点生成包含关键点外观信息、关键点空间位置信息、邻接关键点信息的特征描述，相比仅使用关键点外观特征进行匹配，聚合的关键点特征包含了更丰富的关键点信息，在特征匹配中具有更好的显著性。对聚合得到的关键点特征，构建相似度矩阵，使用sinkhorn算法迭代优化关联关系，得到两图像中关键点的最优匹配结果；
[0011]
(5)估计无人机拍摄图像到地图图像的空间变换。两图像的空间变换关系使用单应矩阵描述，步骤(4)确定了根据特征匹配所得到的两图像中点的对应关系，使用ransac算法求解对关键点对应关系拟合最好的单应矩阵，ransac算法对噪声稳定，可以过滤错误匹配，输出准确的单应矩阵。根据ransac估计的单应矩阵，计算无人机拍摄图像的中心在地图图像中的坐标，结合地图的地理信息得到该点的经纬度作为无人机当前的经纬度坐标。
[0012]
与现有技术相比，本发明对无人机拍摄图像进行简单预处理后直接与地图图像进行配准，不同于coarse-to-fine的无人机视觉定位方法，不需要给定无人机的初始位置，不需要通过视觉里程计或imu等传感器对累积对无人机位置的粗略估计，只通过一次图像配准即可完成无人机的视觉定位，有效降低了基于图像配准的空中无人机定位方法的使用限制。
附图说明
[0013]
图1为基于图像配准的无人机定位方法流程图；
[0014]
图2为无人机飞行高度与拍摄图像空间分辨率的关系示意图；
[0015]
图3为图像关键点检测结果示意图；
[0016]
图4为superglue特征匹配算法流程图。
具体实施方式
[0017]
为了使本方法的目的、技术方案及优点更加清楚明白，以下结合附图及实施例进行进一步详细说明。
[0018]
如图1所示，本发明基于图像配准的无人机定位方法包括如下步骤：
[0019]
(1)无人机拍摄图像预处理，从无人机搭载的高度传感器获取无人机的飞行高度，从无人机搭载的航向传感器获取无人机的飞行方向，根据卫星地图图像的标记信息得到无人机拍摄图像与卫星地图的空间分辨率差异与方向差异，对无人机拍摄图像进行旋转变换与尺度变换，使其与地图图像具有一致的方向和尺度；
[0020]
(2)无人机拍摄图像的关键点检测，使用seeds超像素分割算法对预处理后的无人机拍摄图像进行分割产生超像素划分，选择各个超像素的边界点作为关键点；
[0021]
(3)无人机拍摄图像的关键点特征提取，对无人机拍摄图像中检测出的关键点，提取其sift特征；
[0022]
(4)无人机拍摄图像与地图图像的特征匹配，对两图像中提取的关键点特征集合，使用superglue算法进行特征匹配，由特征的对应关系得到两图像中关键点图像坐标的对应关系；
[0023]
(5)估计无人机拍摄图像到卫星地图图像的空间变换，根据特征匹配所得到的两图像中点的对应关系，使用ransac算法求解无人机拍摄图像变换到卫星地图图像的单应矩
阵，计算无人机拍摄图像的中心在地图图像中的坐标，结合地图的地理信息得到该点的经纬度作为无人机当前的经纬度坐标。
[0024]
根据步骤(1)，卫星地图图像的空间分辨率与标准方向是已知的，对飞行中的无人机，通过读取传感器信息可以确定其航向角，通过旋转无人机拍摄的图像即可使其与地图的方向对齐。无人机拍摄图像的空间分辨率则可以通过其飞行高度进行计算，如图2，对无人机搭载的同一摄像头，在不同的飞行高度竖直向下拍摄地面图像时，摄像头的视野存在相似关系，即：
[0025][0026]
其中h1、h2为无人机的不同飞行高度(单位：米)，a1、a2为无人机在不同飞行高度下拍摄图像的空间长度(单位：米)，b1、b2为无人机在不同飞行高度下拍摄图像的空间宽度(单位：米)。对该摄像头，预先在给定高度下进行测试，确定其在给定高度下拍摄图像的空间分辨率，在飞行中定位时，读取无人机的飞行高度，根据相似关系计算无人机拍摄图像的空间分辨率，对无人机拍摄图像进行缩放使其达到与卫星地图图像一致的空间分辨率。
[0027]
根据步骤(2)，图像中物体的边缘以及物体内部各部分的边缘可以作为有效的关键点用于图像配准，如图3，seeds超像素分割算法将图像分割成若干个均质的超像素，超像素的边界与图像中物体及其内部各部分的边缘吻合，经过步骤(1)，两图像具有一致的尺度与方向，seeds算法在两图像中划分的超像素边界点具有准确的对应关系。seeds算法接受参数设置算法产生的超像素数量，在本发明的关键点检测步骤中，根据图像大小计算此参数，设置此参数的值为：
[0028][0029]
其中h
i
、w
i
为图像的高与宽(单位：像素)，为向下取整运算。对卫星地图图像，在无人机起飞前进行图像关键点检测，在无人机飞行过程中始终使用首次检测出的关键点集合，不再进行重复检测，每次进行无人机定位时，只对预处理后的无人机拍摄图像进行关键点检测，两图像关键点检测中使用相同方法设置seeds算法的参数，确保对算法同一物体产生相同的超像素划分。
[0030]
根据步骤(3)，对图像中检测出的关键点提取其sift特征，sift特征在关键点的邻域计算图像梯度方向，构建包含邻域信息的特征描述，具有一定的旋转不变性与尺度不变性，对预处理的误差具有一定的容错能力。对卫星地图图像，在无人机起飞前，经关键点检测后，预先提取其在关键点处的sift特征并保存，在无人机飞行过程中始终使用初次提取的sift特征集合，不再进行重复计算。在飞行中进行定位时，仅对无人机拍摄的地面图像进行关键点检测，提取其在关键点处的sift特征集合。
[0031]
根据步骤(4)，对两图像中提取的sift特征集合进行匹配，如图4，在两图像内关键点及两图像间的关键点之间建立边构成图，图的节点特征由关键点的图像坐标与sift特征描述组成，superglue算法使用图神经网络对图中各节点的特征进行聚合，综合关键点邻域外观、空间位置、相邻关键点信息进行特征变换，更新节点特征，得到显著性更高的关键点特征。记无人机拍摄图像中关键点的数量为m，卫星地图图像中关键点的数量为n，计算两图像中关键点特征的两两相似度，建立m
×
n的相似度矩阵，使用sinkhorn算法进行迭代优化，
最大迭代次数t设置为100，得到m
×
n的关联矩阵，关联矩阵的每一行表示无人机拍摄图像中对应点的特征与卫星地图图像中各关键点特征的关联度，根据关联矩阵的值为无人机拍摄图像中关键点选择其在卫星地图图像中关联度最高的关键点作为匹配点。
[0032]
根据步骤(5)，使用ransac算法对步骤(4)得到的关键点图像坐标的对应关系进行拟合，给定ransac算法的误差阈值为1像素，最大迭代次数为2048，求解对关键点匹配结果拟合效果最好的单应矩阵，将该单应矩阵作为无人机拍摄图像到卫星地图图像的空间变换关系。以无人机拍摄图像的中心点经纬度为无人机当前位置的经纬度，根据单应矩阵求解该点在卫星地图图像中的坐标，根据卫星地图的经纬度标记，计算该中心点的经纬度。
[0033]
通过上述步骤，本发明结合无人机搭载的简单传感器，减少了无人机拍摄图像与卫星地图图像配准中，卫星地图图像包含的大量噪声对配准结果的影响；相比于coarse-to-fine的视觉定位方法，不依赖于视觉里程计或imu等硬件对无人机位置进行粗略估计，且只需要一次图像配准即可确定无人机在区域中的位置，减小了无人机视觉定位方法在应用中的局限。本发明未详细阐述的部分属于本领域的公知技术。
[0034]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。