基于区域划分的机载下视异构图像匹配方法与流程

本发明涉及机载下视异构图像匹配方法，属于图像匹配技术领域。

背景技术：

随着无人机技术的提升，无人机技术吸引了大量的生产者和使用者，这使得无人机相关技术具有广泛的市场。基于无人机的异构图像匹配是将来自无人机的实时图像和来自卫星的目标图像进行对齐的过程，该技术在无人机导航、无人机着陆、无人机攻击和空间飞行器的导航等方面有广泛的应用。然而，机载下视图像具有复杂的结构特征，机载下视异构图像的精确匹配成为无人机应用中的关键技术，具有重要意义。

在无人机目标定位中，目标图像是非实时的，而定位图像是实时的，这就使得目标图像和定位图像具有不同的图像结构。实时图像将会非常复杂，通常包括尺度变化图像、旋转变化图像、季节变化图像、模糊图像、遮挡图像和sar(syntheticapertureradar，合成孔径雷达)图像等。这使得机载下视异构图像匹配成为具有挑战性的问题，经典的图像匹配方法难以满足无人机异构图像匹配的应用需求。

目前最经典的图像匹配方法是基于sift(scale-invariantfeaturetransform尺度不变特征变换)特征图像匹配方法。吴刚等人发明了一种基于轮廓提取的建筑物图像匹配与融合方法，该方法首先提取物体轮廓，在轮廓图上提取直线，使用直线匹配算法，按照直线特征对两幅图像进行匹配，对最优匹配对集合内直线夹角进行计算，得到夹角矩阵，并对夹角矩阵进行相似度计算。张浩鹏等人发明了一种空间目标图像匹配方法，利用gms(grid-basedmotionstatistics基于网格的运动估计)匹配算法对空间目标的三视图图像进行粗匹配，引入误差阈值算法nfa剔除误匹配点对，使算法自适应性更强。王爽等人发明了基于深度学习的异源图像匹配方法，该方法首先制作异源图像块数据集，进行图像预处理，获取图像块特征图，通过特征图得到特征向量，对特征图进行融合并归一化，训练图像匹配网络，预测匹配概率，有效的解决了图像匹配过拟合问题。以上提到的图像匹配方法都比较成熟，通常情况也能够达到比较高的图像匹配准确率，但实际情况下，机载下视图像往往比较复杂，如图1、图2、图3、图4、图5、图6、图7所示；针对复杂且异构的机载图像，这些方法还达不到较好的效果，仍需寻求能够达到更高匹配准确率的技术。

技术实现要素：

本发明为解决现有技术针对复杂且异构的机载图像匹配准确率不高的问题，提供了基于区域划分的机载下视异构图像匹配方法。

本发明所述基于区域划分的机载下视异构图像匹配方法，通过以下技术方案实现：

(1)使用方向直方图的标准差std作为参数确定目标图像的纹理特征：如果标准差std大于阈值s，则判定目标图像为丰富纹理图像；如果标准差std小于等于阈值s，则判定目标图像为非丰富纹理图像；

(2)若目标图像为丰富纹理图像，分别对目标图像和实时图像使用meanshift均值偏移图像分割算法进行分割，分割成若干区域，并分别将分割的目标图像区域和实时图像区域分层生成相应的掩模图像；

若目标图像为非丰富纹理图像，将实时图像进行划分，形成若干区域块，目标图像整体视为一个区域；

(3)使用sift特征匹配方法，分别将每一个实时图像区域与所有目标图像区域进行一致性匹配；

(4)利用基于方向直方图的评价函数对各个匹配的结果进行评价，选取最优的匹配区域作为匹配结果。

本发明最为突出的特点和显著的有益效果是：

1.对目标图像进行分类，对于不同类型图像进行不同的处理，使得图像的匹配准确率提高；仿真实验中，相比传统sift算法，本发明方法(基于区域划分的机载下视异构图像匹配方法)的图像匹配准确率提高约15％；

2.融合了多种图像处理技术，利用不同类型实时图像的信息，能够在具有大量噪声和干扰的机载下视图像中鲁棒、准确完成图像匹配过程；

3.该发明对于机载下视图像的目标定位系统具有重要意义，大大拓展了基于图像匹配的无人机目标定位系统的应用范围；

4.本发明使用方向直方图标准差作为评价参数，确定目标图像的纹理特征，将目标进行了分类，包括丰富纹理图像和非丰富纹理图像，对这两种图像分别处理，提高了系统的鲁棒性；

5.本发明针对丰富的纹理图像，首先使用meanshift图像分割方法得到不同分割区域的掩模图像，通过引入掩模图像对不同的区域分别进行匹配，将最优匹配区域匹配的结果作为最终匹配结果，这一思想使得类内区域相似性更强，类间区域相似性较弱，目标匹配准确率更高；

6.本发明针对非丰富纹理图像，将实时宽幅图像进行分块，将这些区域块分别与目标图像进行匹配，将最优匹配区域匹配的结果作为最终匹配结果。对于非丰富纹理图像，使用分割方法进行分割后，分割区域分散，无法在分割区域中完成准确匹配，将区域分块在某种程度上也可以使得类内区域相似性更强，类间区域相似性较弱，这提高了非丰富纹理目标图像匹配的准确性；

7.本发明提出使用基于方向直方图的评价函数得到最优匹配区域的匹配结果。为了保证匹配结果的准确性，使用巴氏距离bd(bhattacharyyadistance)比较两幅匹配图像的相似性，如果bd值越大则认为匹配越准确，该发明使得最终的匹配结果更准确。

附图说明

图1为尺度变化的实时图像；

图2为旋转变化的实时图像；

图3为春天的实时图像；

图4为冬天的实时图像；

图5为模糊的实时图像；

图6为遮挡的实时图像；

图7为合成孔径雷达sar实时图像；

图8为本发明方法流程示意图；

图9为a地图像(也是实施例中的目标图像)；

图10为a地方向直方图；pixelnumber表示像素数目，angle表示角度；

图11为b地图像；

图12为b地方向直方图；

图13为c地图像；

图14为c地方向直方图；

图15为d地图像；

图16为d地方向直方图；

图17为sift算法中不同h对应的执行时间和匹配率示意图；

图18为dog图像中最大和最小极值点检测示意图；

图19为描述算子的计算示意图；

图20为实施例中用于匹配c地图像的实时图像。

具体实施方式

具体实施方式一：结合图8对本实施方式进行说明，本实施方式给出的基于区域划分的机载下视异构图像匹配方法，用于如图1所示的目标图像和复杂且异构的机载的实时图像，该方法首先使用方向直方图的标准差std作为参数确定目标图像的纹理特征；如果目标图像为丰富纹理图像，使用基于图像分割的图像匹配方法完成机载下视图像定位过程，该过程使用图像分割产生图像不同区域的掩模图像，在这些区域中，使用改进的sift图像匹配方法对各个区域进行匹配，使用基于方向直方图的评价函数获得最优的匹配区域作为匹配结果；对于非丰富纹理图像使用基于区域块划分的图像匹配方法完成图像定位过程，该过程将实时图像进行区域划分，使用改进的sift图像匹配方法对每一个块区域和目标图像进行匹配，同样使用基于方向直方图的评价函数得到最优的匹配块区域作为匹配结果。具体包括以下步骤：

(1)使用方向直方图的标准差std作为参数确定目标图像的纹理特征：如果标准差std大于阈值s，则判定目标图像为丰富纹理图像；如果标准差std小于等于阈值s，则判定目标图像为非丰富纹理图像；如图9～图16分别为a、b、c、d四地不同纹理图像及其方向直方图，其中，a地图像std＝0.152，b地图像std＝0.157，c地图像std＝0.129，d地图像std＝0.0747。

(2)若目标图像为丰富纹理图像，分别对目标图像和实时图像使用meanshift均值偏移图像分割算法进行分割，分割成若干区域，并分别将分割的目标图像区域和实时图像区域分层生成相应的掩模图像；

若目标图像为非丰富纹理图像，传统的特征检测算法检测的特征不具有明显的区别性，在大幅实时图像上进行图像匹配将导致匹配失败，本实施方式将实时图像进行划分，形成若干区域，目标图像整体视为一个区域(在之后进行一致性匹配的步骤时，将目标图像变换到实时图像的相应位置，最后根据子图像在大幅图像中的位置标定目标的位置。将此种对实时图像进行区域划分，使用sift图像匹配方法对每一个区域和目标图像进行匹配，并使用基于方向直方图的评价函数得到最优的匹配区的方法命名为基于块划分的图像匹配算法)。

meanshift是一种特征空间分析方法，对于图像分割就是将问题映射到颜色特征空间。图像分割问题就是对每个像素点，找到他的类中心问题，meanshift认为中心就是概率密度的极大值点。核概率密度估计(在模式识别中可被看成是parzen窗技术)是最流行的概率密度估计方法。对于n个数据的点集xi,i＝1,...,n，在d维空间r^d中，在点x位置，给定核k(x)和d×d大小对称正定矩阵h，多变量核密度估计定义为：

这里需满足条件：

kh(x)＝|h|^-1/2k(h^-1/2x)

同时k(x)满足：

这里ck是一个常数，x^t表示x的转置，i表示图像的灰度值。在实际应用中，为了降低算法的复杂度，h使用对角矩阵得到最著名的表达式：

这里，为对角矩阵h的对角元素；h为核k(x)的宽度，式中k(x)通常取一类特殊的对称核：

k(x)＝ck,dk(||x||²)

其中，ck,d为标准化系数；k(||x||²)表示一个投影函数；

最终概率密度估计可写成：

meanshift是确定(概率密度估计的极值)的有效方法，设g(x)＝-k'(x)，k'(x)是k(x)的导数；定义核g(x)＝cg,dg(||x||²)，cg,d是标准化常数。根据上式的线性表达式可以得到meanshift向量：

因此，meanshift算法执行包括两部分：1)计算meanshift向量mh,g(x)；2)通过mh,g(x)对核窗g(x)进行卷积。该方法可以保证最终概率密度估计表达式在梯度为0的点附近收敛，并找到聚类中心。

目标图像分割效果很好；然而实时图像通常比较大，如图17为sift算法中不同h对应的执行时间和匹配率示意图；为了满足实时性要求，可将图像的分辨率降低后再对目标进行分割。

(3)使用sift特征匹配方法，分别将每一个实时图像区域与所有目标图像区域进行一致性匹配。

(4)利用基于方向直方图的评价函数对各个匹配的结果进行评价，选取最优的匹配区域作为匹配结果。

具体实施方式二：本实施方式与具体实施方式一不同的是，步骤(3)中使用sift特征匹配方法，分别将每一个实时图像区域与所有目标图像区域进行一致性匹配的过程中，加入了角点(corner)作为特征关键点。

传统的sift算法包括尺度空间极值检测，关键点定位，方向设置和关键点描述算子确定四个部分。改进的sift图像匹配方法将角点关键点和sift关键点组合到一起构成算法的关键点集合，把角点区域作为掩模生成角点区域的关键点，加入角点作为特征关键点的sift图像匹配算法在分割后的图像区域中执行，这提高了图像匹配的性能。

加入角点作为特征关键点的sift图像匹配方法具体包括以下步骤：

(3.1)尺度空间内峰值选择

尺度空间内峰值选择是在由常数因子k确定的不同尺度的dog(difference-of-gaussian)函数的卷积图像d(x,y,σ)上寻找峰值，d(x,y,σ)被定义为：

d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)＝l(x,y,kσ)-l(x,y,σ)

g(x,y,σ)表示高斯滤波器，l(x,y,σ)表示高斯平滑图像，尺度空间的最大值和最小值通过将不同尺度空间上当前像素与3×3×3邻域内的26个相邻像素进行比较，如果当前值为最大或最小，则成为极大或极小的候选像素，如图18所示。

(3.2)关键点确定

2002年lowe等人提出一种确定采样点的方法，将d(x,y,σ)进行泰勒展开如下所示：

d表示d(x)在0点处的函数值或者说d表示d(x)在采样点x＝(0,0,0)处的函数值，采样点极值通过计算该函数的梯度为零时的获得，则有：

选择峰值点小于0.03的位置作为关键点，同时考虑了边缘效应。

(3.3)方向设置

图像上每一个点的幅值m和θ根据像素微差来计算，则有：

通过上述两个公式，计算所有采样点的方向直方图，直方图的峰值则可以看作是局部梯度的主方向，如图19右侧所示。

(3.4)局部描述算子确定以及关键点匹配

sift描述算子的计算如图19所示，在每一个关键点上，图像梯度和方向被计算，在关键点所在的4×4的区域内创建方向直方图，每个直方图包含8个方向，每一个箭头代表直方图中每一个方向，长度代表每个方向的幅值大小。一个梯度采样可以选择四个4×4区域，每个4×4区域可以计算一个方向直方图，这四个直方图以图19中间图所排列方式作为sift的描述算子。本实施方式中选用了4×4个小区域，得到了4×4×8＝128维的向量，这128维向量用于图像匹配的相似性测量。

当图像的关键点描述产生后，对于目标中每一个特征点，在实时图像中找到相应的一致性关键点，这一过程称为关键点匹配。这一问题可以描述为：给定集合t和未知采样x，找到对应于x的最可能的采样c。使用贝叶斯方法，可以选择这里p(cj|x,t)表示x所在cj类的后验概率，cj属于训练数据集合t中的一个元素。本实施方式中使用k近邻算法如下所示：

步骤1：在集合t中找到k个x最近邻元素，也就是找到一个集合同时满足

步骤2：在y中，将频繁出现的关键点对放入t集合中，打破随机产生的关联。

(3.5)转换函数的确定

本实施方式中变换函数使用的是透视变换，透视变换的本质是将图像投影到一个新的视平面，其通用变换公式为：

这里(u,v)是原始图像位置，(x,y)是变换图像的位置。因此，x＝x^*/w^*,y＝x^*/w^*，变换矩阵可以分成四个部分：表示线性变换，[a31a32]是偏移量，[a13a23]^t产生透视变换。于是可以得到

ransac方法是一种对数据进行模型拟合的一种方法，可用于目标图像与机载下视实时图像的匹配。ransac方法与经典的最小二乘拟合确定投影函数相比较，它具有内在的检测和拒绝错误像素的性质。ransac执行过程如下：

给定已知目标图像和实时图像的对应关键点对集合p，这里(|p|>n)，n是实例化投影参数所需的关键点对的最少个数。在集合p中随机选择n个数据点的子集s1，对模型进行实例化，使用实例化模型m1确定p集合中子集s1^*，该集合中的数据对于m1具有最小误差。如果s1^*的大小大于某一个阈值，使用最小二乘拟合的方法计算一个新的模型m1^*，如果s1^*的大小小于阈值t，则随机选择一个新的子集s1，重新对数据进行实例化，如果循环次数大于阈值ln，则认为找不到一致性点集，终止算法。通过ransac算法得到了匹配对应的投影函数，同时将目标在实时图像中标定出来。

其他步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一不同的是，步骤(4)中所述利用基于方向直方图的评价函数对匹配的结果进行评价，选取最优的匹配区域作为匹配结果的具体过程包括：

(4.1)使用巴氏距离bd作为进行匹配的两个区域直方图的匹配相似性测量系数；

(4.2)若bd大于阈值t，则判定匹配成功；否则bd小于等于阈值t，则匹配失败；

(4.3)在匹配成功的区域中，选取对应bd值最大的区域作为最优的匹配区域。

其他步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式三不同的是，步骤(4.1)中所述巴氏距离bd具体为：

其中，th(j)表示目标图像的方向直方图，rh(j)表示实时图像的方向直方图；j＝1,…,n；n表示图像灰度级的类别数目。

其他步骤及参数与具体实施方式一、二或三相同。

具体实施方式五：本实施方式与具体实施方式三不同的是，步骤(1)中所述标准差std的定义具体为：

其中，μ表示方向直方图的均值；h(j)表示图像的方向直方图；j＝1,…,n；n表示图像灰度级的类别数目。

其他步骤及参数与具体实施方式一、二、三或四相同。

具体实施方式六：本实施方式与具体实施方式二不同的是，所述角点采用harris角点检测方法获得。

harris角点检测方法是通过确定角点响应函数r的大小确定图像中的角点。i表示图像的灰度值，(x,y)表示图像中像素坐标位置，对于(x,y)位置的小区域，该区域的变化量ex,y定义如下：

ex,y＝∑u,vwu,v|ix+u,y+v-iu,v|²

这里wu,v表示一个图像窗口，(u,v)是窗口中坐标的位置，(x,y)可以平移4个方向{(-1,1),(1,1),(-1,-1),(1,-1)}。经过分析扩展可以得到ex,y的另一个表达形式：

ex,y＝(x,y)m(x,y)^t

m是2×2的对称矩阵：

其中，

定义以下公式有：

tr(m)＝a+b

det(m)＝ab-c²

则可以得到角点响应函数r：

r＝det(m)-qtr²(m)

这里q为经验值，角点检测即是找到响应函数大于某一阈值的点作为角点。

其他步骤及参数与具体实施方式一、二、三、四胡或五相同。

具体实施方式七：本实施方式与具体实施方式一至六不同的是，阈值s的取值为0.13～0.15。由于对于纹理较少的图像，传统的特征检测算法检测的特征不具有明显的区别性，在大幅实时图像上进行图像匹配将导致匹配失败。通过大量的图像计算std统计，得到当std小于0.13时，能够判定为通常意义上的非丰富纹理图像；当std大于0.15时，能够判定为通常意义上的丰富纹理图像，因此阈值s取为0.13～0.15时，用于区分图像纹理丰富与非丰富，比较合理且能取得较好的效果。

其他步骤及参数与具体实施方式一、二、三、四、五或六相同。

实施例

采用以下实施例验证本发明的有益效果：

选取a地图像为目标图像(如图9所示)，实时图像为图1、图2、图6；选取c地图像(如图13所示)为目标图像，实时图像为图20。

采用基于区域划分的机载下视异构图像匹配方法具体步骤为：

1、设定阈值s的取值为0.14，利用公式计算得到a地方向直方图标准差std＝0.152(如图10)，判定为丰富纹理图像；计算得到c地方向直方图标准差std＝0.129(如图14)，判定为非丰富纹理图像。

2、如图8所示，对目标图像和实时图像使用meanshift均值偏移图像分割算法进行分割，分割成若干区域，并分别将分割的目标图像区域和实时图像区域分层生成相应的掩模图像。将在不同区域检测关键点并在不同区域对中找到一致性关键点，接下来使用转换函数产生标记图像，最终，基于方向直方图的评价函数用于选择最优匹配区域。

为了检验本发明方法的效果，将上述目标图像与实时图像运用现有其他算法进行匹配试验，得到本发明方法与其他算法效果比较情况如下表：

表1不同方法匹配效果的比较

从上表可以看出，本发明方法能够达到更高的图像匹配准确率。本发明中使用的meanshift、sift与角点组合方式能大大提高旋转变化的图像匹配准确率，当其他方法针对非丰富纹理图像无效时，本发明中使用的基于块划分图像匹配算法能够有效进行图像的匹配。相比传统sift算法，本发明方法(基于区域划分的机载下视异构图像匹配方法)的图像匹配准确率提高约15％；

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。