一种基于HOG特征和边缘特征的异源图像匹配算法的制作方法

一种基于hog特征和边缘特征的异源图像匹配算法
技术领域
1.本发明属于航电系统多源数据融合领域，具体涉及一种基于hog特征和边缘特征的异源图像匹配算法。


背景技术：

2.随着战场环境逐渐复杂与探测条件的恶劣，更多设备和武器对目标定位精度要求越发提高,目前单个传感器的探测性能已不能满足航电系统的整体需求。因此对目标信息进行多数据源融合以提升精度成为当下航电系统的重要课题。sar具有距离远、穿透强、全天候等优点，在军事领域有着广泛的应用。使用sar图像与高精度卫星图像的融合，可以最大限度地挖掘环境信息，完成对地面和海面高价值目标的识别及精确定位任务。
3.异源图像成像机理差别较大，同一像素点的灰度值存在巨大差异，很难提取到同名特征。且sar图像受成像姿态、遮挡、成像参数等因素影响较大，乘性相干斑噪声严重，这为sar图像与卫星图像的异源图像匹配带来了一定困难。常见的异源图像匹配算法有：特征点匹配算法、边缘支持度匹配算法、hog特征匹配算法、delaunay三角约束匹配算法、曲线特征匹配算法、基于深度学习的匹配算法等。
4.特征点匹配算法的缺点是，sar图像特征点的提取、描述、匹配均受相干斑噪声的干扰，且异源图像较难提取到同名特征点。边缘支持度匹配算法的缺点是图像边缘检测算法使用固定检测阈值处理不同条件下的图像，导致边缘检测效果不稳定。hog特征一般用于处理同源图像的匹配，对于异源图像，尤其是sar图像和可见光图像，成像机理的不同导致同一区域内的像素直方图相差较大，故hog特征有所差异。delaunay三角约束匹配算法的缺点是，骨架提取阈值选择较难，阈值选择不当直接导致匹配失效。曲线特征匹配算法的缺点是，不适用于闭合曲线的匹配，且计算复杂度较高。基于深度学习的匹配算法的缺点是sar图像较少，训练样本不足，且深度学习的算法边界难以确定，可测试性差，不适合机载高精度任务。故常见的异源图像匹配算法各有不足，缺乏鲁棒性，无法直接用于工程实践，并未在论文中查到用于工程中的异源图像匹配使用案例。


技术实现要素：

5.本发明的目的：提供一种基于hog特征和边缘特征的异源图像匹配算法，解决现有异源图像匹配算法鲁棒性差，受算法阈值影响大等问题。
6.本发明的技术方案：
7.一种基于hog特征和边缘特征的异源图像匹配算法，包括：
8.根据sar图像成像时平台的姿态和位置，将原始sar图像转换为俯视、正北的第一sar图像；
9.对第一sar图像依次进行高斯滤波、中值滤波、伽马变换得到第二sar图像；
10.将第二sar图像的分辨率统一到与卫星图像的分辨率一致得到第三sar图像；
11.采用hog特征与边缘特征结合的方式对第三sar图像进行特征提取，得到sar特征
图像；
12.将原始卫星图像转为第一卫星图像，其中第一卫星图像为墨卡托投影；
13.对第一卫星图像依次进行高斯滤波、中值滤波得到第二卫星图像；
14.采用hog特征与边缘特征结合的方式对第二卫星图像进行特征提取，得到卫星特征图像；
15.使用模板匹配算法对sar特征图像和卫星特征图像进行特征匹配得到原始sar图像与原始卫星图像的关系；
16.利用原始sar图像与原始卫星图像的关系，修正原始sar图像中特定点的经纬度信息。
17.进一步地，采用hog特征与边缘特征结合的方式对第三sar图像进行特征提取，得到sar特征图像，具体包括：
18.提取第三sar图像中的hog特征得到sar图像hog特征图；
19.提取第三sar图像中的边缘特征得到sar图像边缘特征图；
20.将sar图像hog特征图和sar图像边缘特征图以一定的比例叠加得到sar特征图像。
21.进一步地，采用hog特征与边缘特征结合的方式对第二卫星图像进行特征提取，得到卫星特征图像，具体包括；
22.提取第二卫星图像的hog特征得到卫星图像hog特征图；
23.提取第二卫星图像的边缘特征得到卫星图像边缘特征图；
24.将卫星图像hog特征图和卫星图像边缘特征图以一定的比例叠加得到卫星特征图像。
25.进一步地，使用模板匹配算法对sar特征图像和卫星特征图像进行特征匹配得到原始sar图像与原始卫星图像的关系，之后还包括：
26.对原始sar图像与原始卫星图像的关系进行验证。
27.进一步地，对原始sar图像与原始卫星图像的关系进行验证，具体包括：
28.选取原始卫星图像上与原始sar图像相匹配的区域为roi区域；
29.在原始卫星图像的roi区域内提取直线特征并进行拼接和筛选，得到候选验证直线集合；
30.依次对直线集合中的每条直线选取n等分点，并记录坐标点，其中n为大于等于10的自然数；
31.利用原始sar图像与原始卫星图像的关系将记录的坐标点转换为原始sar图像上的对应坐标点；
32.在sar图像边缘特征图上统计原始sar图像上的对应坐标点中处于特征边缘上的个数；
33.如果所述个数大于预定阈值，则认为当前坐标点所在直线对齐；
34.若大于3条直线都能对齐，且这些对齐的直线斜率不同，则认为原始sar图像与原始卫星图像匹配正确，否则认为匹配失败。
35.进一步地，所述预定阈值为3。
36.进一步地，所述方法还包括：
37.匹配失败的情况下，重新调整特征提取算法中的参数。
38.进一步地，n为20。
39.本发明的有益效果：
40.本文提出的异源图像匹配算法通过将图像的边缘特征和hog块梯度特征结合，使特征更全面更鲁棒。算法使用两种不同特征的结合，不受阈值参数影响，能满足不同场景下机载图像的匹配，且算法具有匹配验证模块，能增强算法的容错性，大大提高算法的匹配正确性。通过本文异源图像匹配算法，使机载sar图像融合高精度卫星图像的经纬度信息，最大限度地挖掘环境信息，有助于飞机完成对地面和海面高价值目标的精确定位任务。
附图说明
41.图1hog特征图与边缘特征图比例为1:1；
42.图2是基于hog特征和边缘特征的异源图像匹配算法流程示意图；
43.图3是匹配验证流程；
44.图4是特征匹配算法获取原始sar图像与原始卫星图像的关系。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.如图2，本发明的异源图像匹配由图像预处理、特征提取、特征匹配、直线特征验证共四个模块组成。图像预处理模块包含了对sar图像、卫星图像的滤波去噪、颜色校正等处理来增强图像细节信息。特征提取模块分别提取sar图像和卫星图像的hog特征和canny边缘特征，并以一定比例进行叠加。特征匹配模块通过计算sar图像特征在卫星图像特征图上的匹配支持度，通过全局寻优的方式得到sar图像特征相对卫星图像特征的平移参数。最后使用直线特征来验证匹配的正确性。本发明的主要流程如下：
47.(1)匹配前的准备：根据sar图像成像时平台的姿态和位置，将原始sar图像转换为俯视、正北。卫星图像转为墨卡托投影。且需已知两张图像的分辨率。
48.(2)对sar图像依次进行：高斯滤波、中值滤波、伽马变换、分辨率统一(即分辨率统一到与卫星图像一致)。
49.(3)对卫星图像依次进行：高斯滤波、中值滤波。
50.(4)对sar图像和卫星图像分别进行特征提取，特征采用hog特征与边缘特征结合的方式。hog特征以一定比例叠加到边缘特征图上，新的特征图如图1所示。hog特征图和边缘特征图的比例在0:1-1:0之间上都可以完成匹配(本发明建议使用1:1的比例)。
51.(5)通过模板匹配的算法构建以sar图像特征相对卫星图像特征的平移参数为自变量的特征支持度代价函数，对代价函数求解，获取匹配的平移参数，具体见图4。
52.利用归一化相关系数法，得到代价函数矩阵。
[0053][0054]
其中，t为sar图像的特征图，(xi,yi)为sar图像上的坐标点，m为卫星图像的特征图，(x,y)为sar图像左上角图像在卫星图像上的坐标点。具体见图4。
[0055]
r(x,y)为一个代价函数矩阵，取矩阵中的最大值的坐标点(δx,δy)，则卫星图像上的坐标点(x',y')与sar图像上的坐标点(x,y)的转换关系为x'＝x+δx
[0056]
y'＝y+δy：
[0057]
(6)使用匹配验证模块来判断模板匹配是否正确，本发明使用直线特征验证。理论上只要卫星图像区域的两条斜率不同的直线和sar图像对应区域的直线重合即可认为图像匹配正确。
[0058]
具体过程为：根据匹配的结果，选取卫星图像上与sar图像相匹配的区域为roi区域；在卫星roi区域内提取直线特征并进行拼接和筛选，得到候选验证直线集合；在验证直线集合中，依次对每条直线选取二十等分点，并记录坐标；在sar图像的边缘图上查看20个点中哪些处于边缘上，如果大于3个点(考虑到sar图像边缘连续性差)，则认为此直线在卫星图像和sar图像上是对齐的；若大于3条直线都能对齐，且这些对齐的直线斜率不同，则认为sar图像与卫星图像匹配正确，否则认为匹配失败。
[0059]
若验证模块确定匹配失败，一方面是因为参数设置不当，重新调整参数继续完成匹配，另一方面是匹配区域没有清晰边缘(如成片海洋和草原等)。
[0060]
实施例：
[0061]
图像预处理
[0062]
sar图像和卫星图像的读取、保存和显示。直接调用opencv的imread()、imwrite()和imshow()函数。
[0063]
中值滤波，用于sar图像的去噪，调用opencv的medianblur函数，参数值设为7。
[0064]
高斯滤波，用于sar图像的去噪，调用opencv的gaussianblur函数。参数设置为7,3。
[0065]
伽马变换，用于提高sar图像的对比度，实现的过程：分别遍历图像的行和列，读取每个像素值，做s＝cr
γ
的变换。根据多次实验结果，取c＝1,γ＝0.3。
[0066]
sar图像的缩放，使其与卫星图像空间分辨率一致。采用非线性插值的方法，调用opencv的resize()函数。
[0067]
2.特征提取
[0068]
提取两张图像的hog特征，并将hog特征的直方图信息以图的形式绘制出来。
[0069]
提取两张图像的canny图像特征，调用opencv的canny函数，参数设为30,250，分别对应边缘提取的最低阈值和最高阈值。
[0070]
边缘图和hog特征图叠加。调用函数opencv的addweighted。本发明建议叠加比例设为1:1。
[0071]
3.模板匹配
[0072]
考虑到算法的成熟度，支持度计算模块选用归一化相关系数算法，代价函数求解
模块采用穷举搜索算法。假设sar图像的尺寸为：sar.rows，sar.cols；卫星图像的尺寸为color.rows，color.cols，模板匹配的具体流程如下：
[0073]
首先生成一个尺寸为(color.rows-sar.rows+1，color.cols-sar.cols+1)的矩阵result，用于存储模板穷举时的每一个边缘支持度的值。
[0074]
将模板sar图像在卫星图像上由上至下、由左至右进行滑动，遍历卫星图像的每个像素，使用归一化相关系数算法计算每次遍历时sar图像与卫星图像的边缘支持度，写入到矩阵result中。这个过程可调用opencv的matchtemplate函数。
[0075]
将矩阵result中的值进行归一化。
[0076]
遍历矩阵result，找到最小值对应的坐标，即卫星图像上与sar图像边缘最匹配的顶点。
[0077]
4.匹配验证
[0078]
匹配验证模块包括直线筛选、对应点统计和匹配判断三个子步骤。
[0079]
使用edline算法分别提取sar图像和卫星图像的直线特征；
[0080]
直线筛选模块主要以直线长度作为筛选条件，遍历上一步edline提取的直线，当直线长度大于原sar图像高度的1/40即认为直线合格。
[0081]
对应点统计和匹配判断用一个函数来描述，函数的输入为筛选后的直线集、sar图像的边缘图，函数的输出为是否匹配。具体流程为遍历所有的直线，对每条直线提取二十等分点并记录各点坐标；在sar图像上读取对应坐标的像素值，若大于180则认为此点在sar图像的边缘上；对于一条直线，若超过3个点均在sar图像边缘上，则认为该直线与sar图像重合；若超过三条直线与sar图像重合，并且斜率均不同，则认为匹配成功。具体流程如图3所示。
[0082]
本文旨在提出一种可应用在机载工程中的异源图像匹配算法，该算法具有鲁棒性、高效性，尽量减小图像处理中的阈值参数影响，使其能满足不同场景下的匹配，提高目标的探测精度。
[0083]
本发明采用hog特征与边缘特征结合的特征进行支持度匹配计算然后通过直线特征验证，从而更精确、更鲁棒的完成异源图像匹配。
[0084]
本文方法与其他hog特征与边缘特征的方法的不同点在于，将hog特征绘制为特征图并与边缘特征图叠加，若仅提取图像的边缘特征，图像的大部分梯度特征会损失，而加入hog特征后，能联合到图像中每一个像素块更精细的梯度特征，图像整体特征更全面。将hog特征图叠加进边缘特征后，图像对边缘的依赖程度大大降低，即使由于边缘提取算法不鲁棒导致无法提取到边缘(此为最差的情况)，使用此方法依然能达到较好的匹配效果，提高匹配精度。此外，图像特征匹配结束后增加直线特征验证模块，通过已匹配区域直线特征的重合度判断是否正确匹配，提高匹配算法的可信度。
[0085]
以上所述，仅为本发明的具体实施例，对本发明进行详细描述，未详尽部分为常规技术。但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。