基于异源图像匹配的惯性视觉组合导航定位方法及飞行器与流程

1.本发明涉及计算机视觉研究技术领域，尤其涉及一种基于异源图像匹配的惯性视觉组合导航定位方法及飞行器。


背景技术：

2.图像匹配所使用的参考图为可见光卫星影像，实时图一般采用可全天时工作的红外图像，属于典型的异源图像匹配技术。与同源图像匹配不同，异源图像由于成像机理的不同，即使在同一场景下所拍摄到的图像差异也会很大，因此需要针对异源图像匹配进行特别处理。同时，随着飞行器的飞行姿态变化，相机拍摄实时图并非正下视，所成实时图像与预先装载在飞行器上的正射参考图影像之间存在尺度、旋转、仿射和透视等几何变换，所以在匹配之前，需要对图像进行一定的预处理校正操作，同时还需要考虑到所设计的匹配算法对校正过后仍然存在的一定程度上的图像几何形变的不变性。然而，在现有视觉匹配中，异源图像之间难以实现准确稳定匹配，因此组合导航算法自主性较差。


技术实现要素：

3.本发明提供了一种基于异源图像匹配的惯性视觉组合导航定位方法及飞行器，能够解决现有技术中异源图像之间难以实现准确稳定匹配的技术问题。
4.根据本发明的一方面，提供了一种基于异源图像匹配的惯性视觉组合导航定位方法，基于异源图像匹配的惯性视觉组合导航定位方法包括：利用惯导姿态信息以及激光测距高度信息将实时图和基准图分别进行正射影像校正，统一实时图和基准图的缩放尺寸；分别获取实时图的第一投影和量化梯度方向直方图以及基准图的第二投影和量化梯度方向直方图；基于相似性测量原理对第一投影和量化梯度方向直方图和第二投影和量化梯度方向直方图的相似度进行检测，在第二投影和量化梯度方向直方图中检索与第一投影和量化梯度方向直方图的汉明距离最大值的位置，汉明距离最大值所在的位置即为实时图在基准图中的图像匹配位置；将图像匹配位置转换到无人机所在位置并作为观测量，基于观测量构建卡尔曼滤波器以实现无人机的惯性视觉组合导航定位。
5.进一步地，获取实时图的第一投影和量化梯度方向直方图具体包括：对实时图进行高斯滤波；采用sobel算子提取高斯滤波后的实时图的灰度图像梯度特征以获取实时图的梯度图像；基于实时图的梯度图像，统计实时图的梯度直方图；对实时图的梯度直方图进行投影和量化以获取第一投影和量化梯度方向直方图；获取基准图的第二投影和量化梯度方向直方图具体包括：对基准图进行高斯滤波；采用sobel算子提取高斯滤波后的基准图的灰度图像梯度特征以获取基准图的梯度图像；基于基准图的梯度图像，统计基准图的梯度直方图；对基准图的梯度直方图进行投影和量化以获取第二投影和量化梯度方向直方图。
6.进一步地，实时图和基准图均可根据实现正
射影像校正，其中，射影像校正，其中，为非正射影像，为正射影像，为空间点p在世界坐标系中的齐次坐标，z
c
为空间点p在摄像机坐标系中的坐标的z分量，f为光学系统主距，s
c
为图像传感器上列方向上相邻像素之间的距离，s
r
为图像传感器上行方向上相邻像素之间的距离，[c
c
,c
r
]
t
为图像的主点，为两个内参完全一致的摄像机之间的旋转矩阵，为从世界坐标系向摄像机坐标系转换的旋转矩阵，为从世界坐标系向摄像机坐标系转换的平移向量。
[0007]
进一步地，实时图和基准图的缩放系数k可根据来获取，其中，μ为像元尺寸，f为相机焦距，l为相机光心距拍摄点距离。
[0008]
进一步地，第一投影和量化梯度方向直方图和第二投影和量化梯度方向直方图的相似度s(x,y)可根据来获取，其中，d(a,b)为差别度量，f为单调函数，(u,v)为实时图中的像素坐标集合，i(x+u,y+v)表示实时图在参考图(x,y)处的相似性度量值，t为实时图，i为参考图。
[0009]
进一步地，图像匹配位置与无人机所在位置之间的转换关系为其中，h为飞机飞行高度，x和y为相机正下方与拍摄图像间位置关系，r
d
为相机拍摄位置中心点在相机机体坐标系下的投影，r
n
为r
d
在地理坐标系下投影，为从相机机体坐标系向地理坐标系转换的矩阵。
[0010]
进一步地，在卡尔曼滤波器中，状态向量包括北速误差、天速误差、东速误差、纬度误差、高度误差、经度误差、北向失准角、天向失准角、东向失准角、x轴安装误差、y轴安装误差、z轴安装误差和激光测距刻度系数误差。
[0011]
进一步地，在卡尔曼滤波器中，观测矩阵为h(k)＝[h
1 h
2 h
3 h
4 h5]，其中，r
n
为北向距离，r
u
为天向距离，r
e
为东向距离。
[0012]
根据本发明的另一方面，提供了一种飞行器，飞行器使用如上所述的基于异源图像匹配的惯性视觉组合导航定位方法进行组合导航定位。
[0013]
应用本发明的技术方案，提供了一种基于异源图像匹配的惯性视觉组合导航定位方法，该惯性视觉组合导航定位方法针对gps拒止条件下，无人机的全天时导航定位问题，开展异源图像匹配定位技术的研究，首先提出利用激光测距传感器捕获飞行高度信息的方式，解决巡航段小机动条件下无法对尺度信息进行初始化的问题，通过惯性/激光测距/图像信息的融合，实现实时图与基准图的尺度统一；其次采用基于投影和量化梯度方向直方
图的方法，对结构特征进行提取与二进制编码，解决异源图像匹配过程中由于图像信息不一致的误匹配问题；最后提出一种基于惯性/激光测距机的几何定位方法，解决高空飞行时二维平面控制点的pnp位姿解算过程中的姿态误差较大问题，此种方式能够实现异源图像之间的稳定匹配，提高组合导航算法的自主性。
附图说明
[0014]
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]
图1示出了根据本发明的具体实施例提供的坐标系的侧视图；
[0016]
图2示出了根据本发明的具体实施例提供的坐标系的俯视图；
[0017]
图3示出了根据本发明的具体实施例提供的拍摄图像的结构示意图；
[0018]
图4示出了根据本发明的具体实施例提供的图像矫正结果的结构示意图；
[0019]
图5示出了根据本发明的具体实施例提供的红外与可见光结构特征对比的结构示意图；
[0020]
图6示出了根据本发明的具体实施例提供的投影和量化梯度方向直方图生成的流程框图；
[0021]
图7示出了根据本发明的具体实施例提供的二维高斯函数曲线的结构示意图；
[0022]
图8示出了根据本发明的具体实施例提供的细胞单元的结构示意图；
[0023]
图9示出了根据本发明的具体实施例提供的实时图在基准图中的位置的结构示意图；
[0024]
图10示出了根据本发明的具体实施例提供的无人机定位点与图像匹配点位置关系的结构示意图。
具体实施方式
[0025]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0026]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0027]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方
法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0028]
如图1至图10所示，根据本发明的具体实施例提供了一种基于异源图像匹配的惯性视觉组合导航定位方法，该基于异源图像匹配的惯性视觉组合导航定位方法包括：利用惯导姿态信息以及激光测距高度信息将实时图和基准图分别进行正射影像校正，统一实时图和基准图的缩放尺寸；分别获取实时图的第一投影和量化梯度方向直方图以及基准图的第二投影和量化梯度方向直方图；基于相似性测量原理对第一投影和量化梯度方向直方图和第二投影和量化梯度方向直方图的相似度进行检测，在第二投影和量化梯度方向直方图中检索与第一投影和量化梯度方向直方图的汉明距离最大值的位置，汉明距离最大值所在的位置即为实时图在基准图中的图像匹配位置；将图像匹配位置转换到无人机所在位置并作为观测量，基于观测量构建卡尔曼滤波器以实现无人机的惯性视觉组合导航定位。
[0029]
应用此种配置方式，提供了一种基于异源图像匹配的惯性视觉组合导航定位方法，该惯性视觉组合导航定位方法针对gps拒止条件下，无人机的全天时导航定位问题，开展异源图像匹配定位技术的研究，首先提出利用激光测距传感器捕获飞行高度信息的方式，解决巡航段小机动条件下无法对尺度信息进行初始化的问题，通过惯性/激光测距/图像信息的融合，实现实时图与基准图的尺度统一；其次采用基于投影和量化梯度方向直方图的方法，对结构特征进行提取与二进制编码，解决异源图像匹配过程中由于图像信息不一致的误匹配问题；最后提出一种基于惯性/激光测距机的几何定位方法，解决高空飞行时二维平面控制点的pnp位姿解算过程中的姿态误差较大问题，此种方式能够实现异源图像之间的稳定匹配，提高组合导航算法的自主性。
[0030]
在本发明中，为了实现基于异源图像匹配的惯性视觉组合导航定位，首先需要利用惯导姿态信息以及激光测距高度信息将实时图和基准图分别进行正射影像校正，统一实时图和基准图的缩放尺寸。
[0031]
具体地，坐标系具体包括摄像机坐标系(c系)、正射摄像机坐标系(系)、惯导载体坐标系(b系)和地理坐标系(n系)，其各自定义具体如下。
[0032]
摄像机坐标系(c系)：以光学系统的像方主点为原点o
c
；当正对光学系统观察时，x
c
轴平行于成像平面坐标系的横轴(长边)，左向为正；y
c
轴平行于成像平面坐标系的纵轴(短边)，下向为正；z
c
轴指向观察者，并与x
c
轴和y
c
轴构成右手坐标系。
[0033]
正射摄像机坐标系(系)：假设空中存在一个正射摄像机，该摄像机生成的图像不需经过校正即为正射影像，可知坐标系的三轴分别指向东、南、地。
[0034]
惯导载体坐标系(b系)：惯导安装在飞行器载体上，坐标系原点o
b
取为惯导质心，x
b
沿载体纵轴方向，向前为正；y
b
沿载体竖轴方向，向上为正；z
b
沿载体侧轴方向，向右为正。
[0035]
地理坐标系(n系)：坐标系原点o
n
取为飞行器质心，x
n
轴指北，y
n
轴指天，z
n
轴指东。
[0036]
根据针孔摄像机模型，空间点p从世界坐标系中的齐次坐标投影到图像坐标系中的齐次坐标的过程可以描述为
[0037]
其中，
[0038]
公式中c与r分别为空间点p在图像坐标系中的列坐标值与行坐标值，z
c
为空间点p在摄像机坐标系中的坐标的z分量，f为光学系统主距，s
c
为图像传感器上列方向上相邻像素之间的距离，s
r
为图像传感器上行方向上相邻像素之间的距离，[c
c
,c
r
]
t
是图像的主点，光学系统是基于针孔相机模型设计的，图像传感器是光学系统的一部分。图像传感器上面有cmos光感元器件，图像每个像素对应感应器的一个点阵，两个点间的距离叫象元尺寸，就是相邻像素间的距离。是一个旋转矩阵，描述了从世界坐标系向摄像机坐标系的旋转过程。是从世界坐标系向摄像机坐标系转换的平移向量，即世界坐标系原点在摄像机坐标系下的坐标，为空间点p在世界坐标系中的齐次坐标。
[0039]
假设有两个内参完全一致的摄像机，分别记作c与这两个摄像机在同一地点不同角度对地面成像，其中生成的影像为正射影像。根据针孔摄像机成像模型，世界坐标系中的空间点p在两个摄像机中所成的图像坐标分别为
[0040][0041][0042]
位置姿态矩阵可转化如下
[0043][0044]
其中为两个摄像机之间的旋转矩阵，代入成像方程可得
[0045][0046]
即在获得摄像机内参k、旋转矩阵的条件下，可将非正射影像转化为正射影像
[0047]
因此，实时图和基准图均可根据实现正射影像校正，其中，像校正，其中，为非正射影像，为正射影像，为空间点p在世界坐标系中的齐次坐标，z
c
为空间点p在摄像机坐标系中的坐标的z分量，f为光学系统主距，s
c
为图像传感器上列方向上相邻像素之间的距离，s
r
为图像传感器上行方向上相邻像素之间的距离，[c
c
,c
r
]
t
为图像的主点，为两个内参完全一致的摄像机之间的旋转矩
阵，为从世界坐标系向摄像机坐标系转换的旋转矩阵，为从世界坐标系向摄像机坐标系转换的平移向量。
[0048]
在将实时图和基准图分别进行正射影像校正之后，需要统一实时图和基准图的缩放尺寸。为了将实时图与基准图的像素分辨率进行统一，都缩放为1m/像素。基准图通过商用地图软件直接获取，实时图利用激光测距机测得相机光心距拍摄点距离进行实时处理来获取。实时图和基准图的缩放系数可根据来获取，其中，μ为像元尺寸，f为相机焦距，l为相机光心距拍摄点距离。
[0049]
进一步地，在统一实时图和基准图的缩放尺寸之后，即可分别获取实时图的第一投影和量化梯度方向直方图以及基准图的第二投影和量化梯度方向直方图。在本发明中，异源图像间的灰度差别比较大，但是图像中的结构特征仍然比较接近，如图5(a)和图5(b)所示。图像的梯度很好的反应了图像中的结构特征，如图5(c)和图5(d)所示，因此利用hog特征来对实时图和基准图进行描述，可以很好的对两者进行相似性比较。
[0050]
具体地，在本发明中，获取实时图的第一投影和量化梯度方向直方图具体包括：对实时图进行高斯滤波；采用sobel算子提取高斯滤波后的实时图的灰度图像梯度特征以获取实时图的梯度图像；基于实时图的梯度图像，统计实时图的梯度直方图；对实时图的梯度直方图进行投影和量化以获取第一投影和量化梯度方向直方图；获取基准图的第二投影和量化梯度方向直方图具体包括：对基准图进行高斯滤波；采用sobel算子提取高斯滤波后的基准图的灰度图像梯度特征以获取基准图的梯度图像；基于基准图的梯度图像，统计基准图的梯度直方图；对基准图的梯度直方图进行投影和量化以获取第二投影和量化梯度方向直方图。下面针对实时图或基准图来详细说明投影和量化梯度方向直方图获取的具体流程。
[0051]
首先利用高斯滤波对图像进行去噪。在图像处理中，采用二维高斯函数构造维卷积核，对像素值进行处理，二维高斯函数可以描述如下：
[0052]
其中，p(μ1,μ2)为像素点，σ为高斯系数。
[0053]
将图像局部像素表示为：
[0054][0055]
[0056]
对图像进行滤波时是对每一个像素点进行卷积操作，对于像素点p(μ1,μ2)，利用高斯函数计算得到的卷积核对该像素点进行卷积，其卷积核可表示为：
[0057]
k(μ1‑
1,μ2‑
1)k(μ1,μ2‑
1)k(μ1+1,μ2‑
1)k(μ1‑
1,μ2)k(μ1,μ2)k(μ1+1,μ2)k(μ1‑
1,μ2+1)k(μ1,μ2+1)k(μ1+1,μ2+1)
[0058]
其中,k为归一化之后的结果。
[0059][0060]
卷积之后，对应像素点的值为：
[0061][0062]
将对图像所有的像素值都进行这样的操作后，就得到了高斯滤波后的图像，由于一般情况下总是顺序去卷积的，从左至右，从上而下，所以这个过程就是卷积核的滑动。当滑动到边界的时候，卷积核对应的位置没有像素值，因此在进行卷积之前，通常先对原始图像的边缘进行扩充，再进行卷积操作。扩充的部分在进行卷积时可以舍去或者自动填零。
[0063]
高斯函数具有五个重要的性质，这些性质使得它在图像处理中特别有用.这些性质表明，高斯平滑滤波器无论在空间域还是在频率域都是十分有效的低通滤波器，且在实际图像处理中得到了有效使用。具体如下：
[0064]
(1)二维高斯函数具有旋转对称性，即滤波器在各个方向上的平滑程度是相同的.一般来说，一幅图像的边缘方向是事先不知道的，因此，在滤波前是无法确定一个方向上比另一方向上需要更多的平滑.旋转对称性意味着高斯平滑滤波器在后续边缘检测中不会偏向任一方向。
[0065]
(2)高斯函数是单值函数。这表明，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调增减的.这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失真。
[0066]
(3)高斯函数的傅立叶变换频谱是单瓣的。这一性质是高斯函数傅立叶变换等于高斯函数本身这一事实的直接推论.图像常被不希望的高频信号所污染(噪声和细纹理)。而所希望的图像特征(如边缘)，既含有低频分量，又含有高频分量.高斯函数傅立叶变换的单瓣意味着平滑图像不会被不需要的高频信号所污染，同时保留了大部分所需信号。
[0067]
(4)高斯滤波器宽度(决定着平滑程度)是由参数表征的，而且和平滑程度的关系是非常简单的。越大，高斯滤波器的频带就越宽，平滑程度就越好。通过调节平滑程度参数，可在图像特征过分模糊(过平滑)与平滑图像中由于噪声和细纹理所引起的过多的不希望突变量(欠平滑)之间取得折衷。
[0068]
(5)由于高斯函数的可分离性，较大尺寸的高斯滤波器可以得以有效地实现。二维高斯函数卷积可以分两步来进行，首先将图像与一维高斯函数进行卷积，然后将卷积结果与方向垂直的相同一维高斯函数卷积。因此，二维高斯滤波的计算量随滤波模板宽度成线
性增长而不是成平方增长。
[0069]
其次对图像进行高斯滤波之后采用sobel算子提取灰度图像的梯度特征，具体计算如下：
[0070]
gx＝(
‑
1)
×
f(x
‑
1,y
‑
1)+0
×
f(x,y
‑
1)+1
×
f(x+1,y
‑
1)
[0071]
+(
‑
2)
×
f(x
‑
1,y)+0
×
f(x,y)+2
×
f(x+1,y)
[0072]
+(
‑
1)
×
f(x
‑
1,y+1)+0
×
f(x,y+1)+1
×
f(x+1,y+1)
[0073]
＝[f(x+1,y
‑
1)+2
×
f(x+1,y)+f(x+1,y+1)]
‑
[f(x
‑
1,y
‑
1)+2
×
f(x
‑
1,y)+f(x
‑
1,y+1)]
[0074]
gy＝1
×
f(x
‑
1,y
‑
1)+2
×
f(x,y
‑
1)+1
×
f(x+1,y
‑
1)
[0075]
+0
×
f(x
‑
1,y)+0
×
f(x,y)+0
×
f(x+1,y)
[0076]
+(
‑
1)
×
f(x
‑
1,y+1)+(
‑
2)
×
f(x,y+1)+(
‑
1)
×
f(x+1,y+1)
[0077]
＝[f(x
‑
1,y
‑
1)+2
×
f(x,y
‑
1)+f(x+1,y
‑
1)]
‑
[f(x
‑
1,y+1)+2
×
f(x,y+1)+f(x+1,y+1)]
[0078]
其中f(x,y)表示图像(x,y)点的灰度值。梯度幅值梯度方向梯度方向实际范围为[
‑
ππ]，实际解算的θ范围映射到了由于图像从亮到暗和从暗到亮引起的图像梯度方向可能为互成补角的关系，这样映射可以保证红外图像不受明暗变换的影响。得到梯度图像之后，统计梯度直方图，并进行投影和量化。
[0079]
将图像划分为小的连通区域，称之为细胞单元(cell)，这里细胞单元的大小为：8
×
8个像素。统计每个细胞单元的方向梯度直方图。统计方法为：将梯度方向分割成8个区间(bin)，从到如图8所示，然后根据细胞中每个像素点的梯度方向的大小落在哪个bin，对应的区间计数加一，这样，对细胞单元内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围)，就可以得到这个细胞单元的方向梯度直方图(hog)。这样统计下来，得到w
×
h
×
8维的特征向量记为t
hog
，其中w和h分别为图像的列宽和行宽，并将t
hog
表示为w
×
h行，8列的矩阵形式。
[0080]
最后，得到图像特征描述之后用投影矩阵对w
×
h
×
8维的特征描述进行投影，量化成24位二进制编码，投影矩阵为：
[0081][0082][0083]
用投影矩阵对t
hog
的每一行进行投影，即
[0084][0085]
这样就得到了投影之后的梯度方向直方图统计矩阵t
′
hog
，将该矩阵中所有大于0的数置1，小于0的数置0，则该矩阵的每一行即为量化之后的24位二进制编码，也就得到了经过投影和量化的梯度方向直方图统计结果。
[0086]
进一步地，在本发明中，在分别获取了实时图和基准图的投影和量化梯度方向直方图之后，即可基于相似性测量原理对第一投影和量化梯度方向直方图和第二投影和量化梯度方向直方图的相似度进行检测，在第二投影和量化梯度方向直方图中检索与第一投影和量化梯度方向直方图的汉明距离最大值的位置，汉明距离最大值所在的位置即为实时图在基准图中的图像匹配位置。其中，第一投影和量化梯度方向直方图和第二投影和量化梯度方向直方图的相似度s(x,y)可根据来获取，其中，d(a,b)为差别度量，f为单调函数，(u,v)为实时图中的像素坐标集合，i(x+u,y+v)表示实时图在参考图(x,y)处的相似性度量值，t为实时图，i为参考图
[0087]
具体地，设实时图模板像素坐标集合r
t
＝{(u
i
,v
i
)|i∈[1,n]}，其中，n为模板中的像素个数，(u
i
,v
i
)为像素点坐标。基准参考影像r
i
＝{(x,y)|x∈[0,n
x
‑
1],y∈[0,n
y
‑
1]}，n
x
、n
y
分别为参考影像的列数和行数。其中，模板为t，参考影像为i。描述t和i的相似性程度用s(x,y)表示。
[0088][0089]
其中，d(a,b)是差别度量，f是一个单调函数，(u,v)表示实时图的像素坐标集合，i(x+u,y+v)表示实时图在基准图(x,y)处的相似性度量值，通过改变(x,y)的值，完成实时图在基准图中的逐像素滑动计算相似性矩阵s。
[0090]
计算相似性度量时，不直接使用图像的灰度值，而是使用汉明距离计算投影生成的24位二进制特征之间的差别：
[0091][0092]
其中，上式中bitcount是求二进制串a和b异或之后串中1的个数。当d(a,b)＝0时，说明a和b一样，当d(a,b)＝24时，说明a和b差别最大。显然d(a,b)是差别度量。
[0093]
也可以按相似性对二进制串a和b进行比较
[0094][0095]
当s(a,b)＝24时，说明a和b一样，当s(a,b)＝0时，说明a和b差别最大。若用对两张图像的所有二进制串进行比较，并求和。则和越大说明两图相似性越高。
[0096]
进一步地，在获取了实时图在基准图中的图像匹配位置之后，即可将图像匹配位置转换到无人机所在位置并作为观测量图像匹配位置与无人机所在位置之间的转换关系为其中，h为飞机飞行高度，x和y为相机正下方与拍摄图像间位置关系，r
d
为相机拍摄位置中心点在相机坐标系下的投影，r
n
为r
d
在地理坐标系下投影，为从相机机体坐标系向地理坐标系转换的矩阵。然后，基于观测量构建卡尔曼滤波器以实现无人机
的惯性视觉组合导航定位。
[0097]
具体地，在本发明中，无人机定位点与图像匹配点位置关系如图10所示，以相机中心点为原点，定义相机机体坐标系d系(前上右)，其中dx与惯导载体坐标系(b系)固连，d系x轴与b系x轴同向，d系y轴与b系y轴同向，d系z轴与b系z轴同向。d系与b系之间存在的旋转角度为相机与惯导间的安装误差。地理坐标系n系(北天东)，相机拍摄位置中心点在相机坐标系下的投影为l为相机中心点沿光轴到拍摄位置中心点距离。r
d
在地理坐标系下投影为其中h为飞机飞行高度，x和y为相机正下方与拍摄图像间位置关系，为从相机机体坐标系(d系)向地理坐标系(n系)转换的矩阵，为从惯导载体坐标系(b系)向地理坐标系转换(n系)的矩阵，为从相机机体坐标系(d系)向惯导载体坐标系(b系)转换的矩阵。因此可以利用激光测距获取l、惯导姿态与事先标定的安装误差角将图像匹配位置转换到相机所在位置，即为无人机定位点。
[0098]
接着，基于观测量构建卡尔曼滤波器以实现无人机的惯性视觉组合导航定位。在卡尔曼滤波模型中，系统连续状态方程为其中，f(t)为t时刻连续状态方程状态转移矩阵，为t时刻系统随机噪声向量。滤波状态向量包括北天东速度误差(单位：m/s)、纬度误差(单位：rad)、高度误差(单位：m)、经度误差(单位：rad)、北天东向失准角(单位：rad)、相机与惯导间安装误差(单位：rad)和激光测距刻度系数误差，共13维。定义为：
[0099][0100]
其中，δv
n
为北速误差，δv
u
为天速误差，δv
e
为东速误差，δl为纬度误差，δh为高度误差，δλ为经度误差，为北向失准角，为天向失准角，为东向失准角，α
x
为x轴安装误差，α
y
为y轴安装误差，α
z
为z轴安装误差，δk为激光测距刻度系数误差。
[0101]
系统状态转移矩阵为其中，
[0102][0103]
[0104][0105][0106][0107][0108][0109][0110]
其中，v
n
为北向速度，v
u
为天向速度，v
e
为东向速度，r
m
，r
n
为球半径的两个维度，l为纬度，h为高度，ω
ie
为地球自转速度，为沿x轴相机机体坐标系(b系)相对于惯性坐标系(i系)的加速度在地理坐标系(n系)的投影，为沿y轴相机机体坐标系(b系)相对于惯性坐标系(i系)的加速度在地理坐标系(n系)的投影，为沿z轴相机机体坐标系(b系)相对于惯性坐标系(i系)的加速度在地理坐标系(n系)的投影。
[0111]
观测方程定义如下：
[0112]
其中，h(k)为观测矩阵，为状态方程，为观测噪声阵。
[0113]
以图像匹配位置和激光测距为观测信息(3维)
[0114][0115]
其中，δl为纬度误差，δh为高度误差，δλ为经度误差，l
ins
为惯导测的纬度，l
ref
为图像匹配的纬度，h
ins
为惯导测的高度，h
ref
为图像匹配的高度，λ
ins
为惯导测的经度，λ
ref
为图像匹配的经度，δl
ins
为惯导测的纬度误差，δl
ref
为图像匹配的纬度误差，δh
ins
为惯导测的高度误差，δh
ref
为图像匹配的高度误差，δλ
ins
为惯导测的经度误差，δλ
ref
为图像匹配的经度误差。
[0116]
其中，
[0117]
δr
ln
为根据激光测距和惯导姿态信息，从图像匹配位置转换到飞机正下方引入的
位置误差。
[0118][0119][0120]
其中φ为姿态误差角，η为安装误差角，r
ln
为图像匹配位置在地理坐标系(n系)下的投影，为带有误差的图像匹配位置在地理坐标系(n系)下的投影，为从惯导载体坐标系(b系)向地理坐标系(n系)转换的矩阵，为带有误差的从惯导载体坐标系(b系)向地理坐标系(n系)转换的矩阵，为从摄像机坐标系(c系)向惯导载体坐标系(b系)转换的矩阵，为带有误差的从摄像机坐标系向惯导载体坐标系转换的矩阵，r
lc
为图像匹配位置在摄像机坐标系(c系)下的投影。
[0121]
根据公式二和公式三可得，
[0122]
将公式四代入公式一可得
[0123][0124]
其中，φ
n
为北向姿态误差角，φ
u
为天向姿态误差角，φ
e
为东向姿态误差角，r
n
为北向距离，r
u
为天向距离，r
e
为东向距离，η
n
为北向安装误差角，η
u
为天向安装误差角，η
e
为东向安装误差角。
[0125]
由此可写出观测矩阵h为
[0126]
h(k)＝[h
1 h
2 h
3 h
4 h5]，
[0127]
其中，r
n
为北向距离，r
u
为天向距离，r
e
为东向距离。
[0128]
根据本发明另一方面，提供了一种飞行器，飞行器使用如上所述的基于异源图像匹配的惯性视觉组合导航定位方法进行组合导航定位。由于本发明所提供的组合导航定位方法能够解决高空飞行时二维平面控制点的pnp位姿解算过程中的姿态误差较大问题，实现异源图像之间的稳定匹配，提高组合导航算法的自主性。因此将该组合导航定位方法应用到飞行器中，能够极大地提高飞行器的工作性能。
[0129]
为了对本发明有进一步地了解，下面结合图1至图10对本发明所提供的基于异源图像匹配的惯性视觉组合导航定位方法进行详细说明。
[0130]
如图1至图10所示，根据本发明的具体实施例提供了一种基于异源图像匹配的惯性视觉组合导航定位方法，该方法具体包括如下步骤。
[0131]
步骤一，利用惯导姿态信息以及激光测距高度信息将实时图和基准图分别进行正射影像校正，统一实时图和基准图的缩放尺寸。在本实施例中，实时图与正射影像之间存在视角不一致与尺度不一致，无法直接用于匹配定位，因此利用惯导姿态信息以及激光测距高度信息进行融合，进而在满足尺度不变特征变换效果的同时，大幅提高匹配精度。
[0132]
步骤二，分别获取实时图的第一投影和量化梯度方向直方图以及基准图的第二投影和量化梯度方向直方图。在本实施例中，在计算机视觉以及数字图像处理中梯度方向直方图(hog)是一种能对物体进行检测的基于形状边缘特征的描述算子，它的基本思想是利用梯度信息能很好的反映图像目标的边缘信息并通过局部梯度的大小将图像局部的外观和形状特征化，但由于描述子生成过程冗长，无法满足实时匹配的需求，因此将梯度特征进行投影和量化编码成二进制描述，提高匹配速度。
[0133]
步骤三，基于相似性测量原理对第一投影和量化梯度方向直方图和第二投影和量化梯度方向直方图的相似度进行检测，在第二投影和量化梯度方向直方图中检索与第一投影和量化梯度方向直方图的汉明距离最大值的位置，汉明距离最大值所在的位置即为实时图在基准图中的图像匹配位置。在本实施例中，将实时图和基准图分别计算hog特征之后，使用汉明距离检索方法对两幅图像的相似度进行检测，在基准图中找到和实时图匹配的汉明距离最大值，即为实时图在基准图中的位置。
[0134]
步骤四，将图像匹配位置转换到无人机所在位置并作为观测量，基于观测量构建卡尔曼滤波器以实现无人机的惯性视觉组合导航定位。在本实施例中，图像匹配得到的位置点为相机所拍到的位置，当飞机有俯仰或滚动时，该位置并不是无人机所在位置，因此需要通过坐标系转换，由下视成像点推算出无人机所在点的正下方，之后以视觉位置信息为观测量，构建卡尔曼滤波器，实现连续自主的导航定位功能。
[0135]
综上所述，本发明提供了一种基于异源图像匹配的惯性视觉组合导航定位方法，方法针对gps拒止条件下，无人机的全天时导航定位问题，开展异源图像匹配定位技术的研究，首先提出利用激光测距传感器捕获飞行高度信息的方式，解决巡航段小机动条件下无法对尺度信息进行初始化的问题，通过惯性/激光测距/图像信息的融合，实现实时图与基准图的尺度统一；其次采用基于投影和量化梯度方向直方图的方法，对结构特征进行提取与二进制编码，解决异源图像匹配过程中由于图像信息不一致的误匹配问题；最后提出一种基于惯性/激光测距机的几何定位方法，解决高空飞行时二维平面控制点的pnp位姿解算过程中的姿态误差较大问题，此种方式能够实现异源图像之间的稳定匹配，提高组合导航算法的自主性。
[0136]
为了便于描述，在这里可以使用空间相对术语，如“在
……
之上”、“在
……
上方”、“在
……
上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在
……
上方”可以包括“在
……
上方”和“在
……
下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
[0137]
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。
[0138]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修
改、等同替换、改进等，均应包含在本发明的保护范围之内。