一种SAR与可见光图像配准方法与流程

文档序号:14043278阅读:414来源:国知局

本申请属于图像领域,尤其涉及sar与可见光图像的配准领域。



背景技术:

图像配准是对不同传感器、时间或角度获取的两幅有重叠部分的影像匹配的过程,其关键技术是找到待配准图像间最优的几何变换,从而使得变换后的图像相对于一种相似性度量函数具有最大相似性。图像配准是实现模式识别、图像融合、变换检测和图像镶嵌等的前期处理。在遥感图像中,合成孔径雷达(syntheticapertureradar,sar)图像和可见光图像是最典型的两种类型。sar具有全天候、穿透性强、纹理信息丰富等优势,但图像不含光谱信息,且目标的微波反射特性导致相同物体的sar图像可能呈现不同的表现形式。可见光图像能直观地对目标进行成像,含有丰富的光谱信息,但受大气衰减、天气状况的影响较大,因此研究这两种图像的配准有重大意义。

现有的图像配准方法大致分为两大类:基于区域配准和基于特征配准。基于区域配准主要包括互信息算法、交叉相关算法和最大似然估计算法等。这些算法虽然有一定的鲁棒性,但是计算量很大,而且当sar与可见光图像存在角度和尺度差异时配准效果不理想。在基于特征配准的算法中,尺度不变特征变换sift(scale-invariantfeaturetransform,sift)是最为普遍的算法之一。它具有尺度变换、旋转和仿射不变性,对噪声及视角变换也有一定的鲁棒性,因此广泛应用于图像处理领域。尽管sift算法可以很好地配准可见光图像,但直接应用于sar图像配准时会出现很多误匹配,最主要的原因是sar图像存在相干斑噪声,导致提取的特征点被破坏。另外,由于传统的sift算法提取的特征点及生成的特征向量数量过多,带来繁重的计算量,处理时间过长。



技术实现要素:

为解决上述技术问题:本申请提出了一种sar与可见光图像匹配方法,所述方法基于sift算法和canny边缘检测算法相结合来实现,其特征在于,所述方法包括:

步骤一、选取候选特征点;

步骤二、检测边缘特征点;

步骤三、比较所述候选特征点和所述边缘特征点的坐标是否相等;

步骤四、选取出坐标不相等的点,并生成sift特征描述向量;

步骤五、根据所述特征描述向量,生成初始匹配点对;

步骤六、进一步处理所述初始匹配点对,生成最佳匹配结果。

优选的,所述选取候选特征点具体包括:

采用双滤波bf去除sar图像的相干斑噪声,其中,bf的定义为:

(1);

p和q是像素位置,是点p的像素值,是点q的像素值,空间强度高斯核的标准差分别为是归一化因子,是像素p的过滤值,选取图像的三维dog尺度空间中检测局部极值作为特征点。

优选的,所述检测边缘特征点具体包括:采用canny边缘检测算法检测出图像的边缘特征点。

优选的,选取出坐标不相等的特征点,并生成sift特征描述向量,具体为,首先,利用所述选取出的特征点邻域内所有像素点的梯度方向分布特性为所述特征点指定方向,使所述特征点具有旋转不变性,其中,

(2);

(3);

其中,表示特征点邻域内所有像素点的坐标,为特征点的梯度模值,为特征点的梯度方向,l表示所述特征点所在的尺度空间值,

其次,以所述特征点为中心的邻域内,将0°到360°等分为36个区间,计算每个像素点的梯度模值和梯度方向,将每个像素点的梯度方向投票到对应的区间上,这样就形成了所述特征点的梯度方向直方图,直方图峰值的区间对应的方向均作为该关键点的主方向。

公式(2)和(3)分别为相应特征点的梯度模值和梯度方向,用直方图统计邻域像素的梯度方向,直方图的峰值即为该特征点的主方向,将坐标轴旋转为特征点的主方向,以确保旋转不变性,在特征点邻域划分成的小区域内计算梯度方向和模值,生成梯度方向直方图,由各个小区域梯度方向直方图建立关键点的特征向量,即为描述子。

优选的,所述根据所述特征描述向量,生成初始匹配点对具体为,采用高维数据的快速最近邻算法flann算法生成初始匹配点对,flann模型的特征空间为一个n维的实向量空间,命名为rn,特征点p和q的子向量分别用dp和dq表示,则所述p和q的欧式距离为:

d(p,q)=<dp-dq•dp-dp>(4)。

优选的,所述进一步处理所述初始匹配点对,生成匹配结果具体为,采用prosac算法,将所述特征点初始集匹配的结果作为排序的依据,使得在采样时根据匹配结果由高到低的得分进行排序,生成最佳匹配结果。

本申请采用了canny边缘检测算法,去除了提取的关键点中不稳定的边缘响应点。另外,双边滤波有效地去除了sar图像中的斑点噪声,同时很好地保持了图像的边缘特性,从而可以提取到图像中更多的特征点,保证了配准精度。使用的flann算法可以在高维向量空间中快速地搜索到匹配点对,prosac算法比常用的抽样一致算法可以更快地剔除误匹配,大大减少了整个算法的消耗时间。另外,由于在特征检测时去除了不稳定的边缘响应点,避免了对这些错误特征点生成特征向量而消耗时间。

附图说明

图1为本申请提出的配准方法流程示意图;

图2为尺度空间极值点检测示意图;

图3为第一组实验匹配结果;

图4为第二组实验匹配结果。

具体实施方式

下面结合附图对本申请作进一步详细描述,有必要在此指出的是,以下具体实施方式只用于对本申请进行进一步的说明,不能理解为对本申请保护范围的限制,该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。

基于sift与flann相结合的sar与可见光图像配准算法主要包含以下几个部分:sar图像的双边滤波、可见光图像与sar图像的特征点检测、canny边缘检测算法去除不稳定特征点、生成sift特征向量、flann算法初匹配、prosac算法剔除误匹配,具体流程如图1所示。

步骤1:选取候选特征点;

首先,利用双边滤波去除sar图像的相干斑噪声。双边滤波(bilateralfilter,bf)是一种非线性滤波,它基于图像的空间邻近度和像素值相似度计算权重,同时考虑空域信息和灰度相似性。bf的定义如下:

(1);

p和q是像素位置,是点p的像素值,是点q的像素值,空间强度高斯核的标准差分别为是归一化因子,是像素p的过滤值,选取图像的三维dog尺度空间中检测局部极值作为特征点。双边滤波是采用加权平均的方法,用周边像素亮度值的加权平均代表某个像素的强度,双边滤波的权重不仅考虑了像素的欧氏距离,还考虑了像素范围域中的辐射差异,在计算中心像素的时候同时考虑这两个权重,因此,总权重为空间权重与强度权重之和。双边滤波器是由几何空间距离和像素差值共同决定滤波器系数,所以可以实现保边去噪的效果,本文选择双边滤波是基于考虑避免sar图像在sift算法中被高斯函数模糊边缘。

选取图像的三维dog(difference-of-gaussian)尺度空间中检测局部极值作为特征点,以使特征具备良好的独特性和稳定性。差分高斯尺度图像的极值检测如图2所示。

其中,sift的原理体现如下:

sift算法是在尺度空间中寻找稳定的对缩放、旋转甚至仿射变换保持不变的关键点,并进行描述[10]。sift算法的主要步骤如下:

(1)关键点检测。利用dog(difference-of-gaussian)算子,在图像上建立高斯差分尺度空间,并在该空间内寻找在尺度空间和图像空间都为极值的点;

(2)确定关键点主方向。在以关键点为中心的邻域窗口内用直方图统计邻域像素的梯度方向。直方图的峰值即为该关键点的主方向;

(3)生成关键点描述子。以关键点的主方向作为计算描述子的坐标向,确保旋转不变性。在关键点邻域划分成的小区域内计算梯度方向和模值,生成梯度方向直方图。由各个小区域梯度方向直方图建立关键点的特征向量,即为描述子。

步骤2:检测边缘特征点;

由于sift算法采用的dog算子有很强的边缘响应,所以最终产生出来的特征点具有很多不稳定的边缘响应点,所以本文利用canny边缘检测算法检测出图像的边缘点,比较生成的候选关键点和边缘点的坐标是否相等,去除坐标相等的点。

canny边缘检测算法是johnf.canny于1986年提出来的。该算法作为目前一种比较好的边缘检测算法,其边缘检测器是gauss函数的一阶导数。canny算法检测边缘具有低误码率、高定位精度和有效抑制虚假边缘点等优点,是图像处理中比较常用的边缘检测算法。具体包括以下4步:

(1)利用gauss滤波器对原始图像进行滤波,去除图像中的噪声污染。

(2)利用gauss函数的一阶偏导数对图像进行滤波,然后计算滤波后每个像素点的梯度幅值和方向。

(3)非极大值抑制。由于得到的全局梯度并不能确定边缘点,因此需要找出局部梯度极大的点,从而来抑制非极值点。

(4)利用双阙值法检测边缘点和边缘连接。

步骤3:比较所述候选特征点和所述边缘特征点的坐标是否相等,并去除坐标相等的点。

步骤4:选取出坐标不相等的点,并生成sift特征描述向量;

在去除候选关键点中不稳定的边缘响应点后,对其生成特征向量。利用特征点邻域内所有像素点的梯度方向分布特性为特征点指定方向,使特征点具有旋转不变性。

(2);

(3);

其中,表示特征点邻域内所有像素点的坐标,为特征点的梯度模值,为特征点的梯度方向,l表示所述特征点所在的尺度空间值,

其次,以所述特征点为中心的邻域内,将0°到360°等分为36个区间,计算每个像素点的梯度模值和梯度方向,将每个像素点的梯度方向投票到对应的区间上,这样就形成了所述特征点的梯度方向直方图,直方图峰值的区间对应的方向均作为该关键点的主方向。

公式(2)和(3)分别为相应特征点的梯度模值和梯度方向,用直方图统计邻域像素的梯度方向,直方图的峰值即为该特征点的主方向,将坐标轴旋转为特征点的主方向,以确保旋转不变性,在特征点邻域划分成的小区域内计算梯度方向和模值,生成梯度方向直方图,由各个小区域梯度方向直方图建立关键点的特征向量,即为描述子。

步骤5:根据所述特征描述向量,生成初始匹配点对;

由于sift特征向量是高维向量,以往算法采用基于最近邻距离的匹配算法,其匹配过程相当于在高维向量空间中搜索最近邻,带来繁重的计算量。本文采用高维数据的快速最近邻算法flann算法得到初始匹配点对,显著提高了搜索速率。

flann算法根据数据集的分布特点、映射精度和空间资源的消耗需求,推荐索引类型和检索参数。flann模型的特征空间通常是一个n维的实向量空间命名为rn,其核心是寻找基于欧氏距离的相邻点。特征点p和q的子向量分别用dp和dq表示,则所述p和q的欧式距离为:

d(p,q)=<dp-dq••••••dp-dp>(4)

本文中rn的数据点分为若干个部分基于kd树,我们的目的是要在整个kd树中搜索到接近查询点的最小欧氏距离。因为rn中的所有d(p,q)都存储在kd树的结构中,这样就可以有效地搜索到参考点的最近点。

步骤6:进一步处理所述初始匹配点对,生成最佳匹配结果。

为了进一步提高匹配正确率,本文采用改进的抽样一致算法(progressivesampleconsensus,prosac)剔除初始匹配点对中的误匹配。prosac算法是随机抽样一致算法(randomsampleconsensus,ransac)的改进,它和ransac算法不同,不是从所有的集合中采样,而是将点初始集匹配的结果作为排序的依据,使得在采样时根据匹配结果由高到低的得分进行排序,这样最有可能得到最佳参数的采样会较早出现,从而提高了速度。

prosac算法首先从具有最高品质方程的数据子集中抽取采样产生假定,假定集合的大小逐渐增大,然后在所有的数据点上验证这些假定,当存在更好解的概率低于5%的时候算法终止。

本文通过两组sar图像和可见光图像的配准实验对提出的算法进行精度和速度的评价,并与原始sift算法和加速稳健特征算法(speededuprobustfeatures,surf)作对比。sar图像采用欧空局哨兵1号c波段vv极化的雷达卫星图像,分辨率为5米。第一组实验的可见光图像采用国家高分1号全色图像,分辨率为2米;第二组实验的可见光图像采用国家高分1号多光谱图像,分辨率为8米。匹配结果如图3、4所示,评价结果如表1所示。

表1几种算法的配准精度评价

从表1可以看出,本文算法获得更多的匹配点对,正确匹配率比原始的sift算法和surf算法都有很大提高:,第一组实验本文算法的正确匹配率达到了93%,在第二组实验中,原始sift算法的正确率是69%,surf算法的正确率73%,本文算法正确率为88%。正确率提高的主要原因是采用了canny边缘检测算法,去除了提取的关键点中不稳定的边缘响应点。另外,双边滤波有效地去除了sar图像中的斑点噪声,同时很好地保持了图像的边缘特性,从而可以提取到图像中更多的特征点,保证了配准精度。

另外,本文算法速度也有很大提升:第二组实验中,原始sift算法配准时间耗时2.29秒,本文算法只有0.54秒,速度提高了近四倍。这是因为使用的flann算法可以在高维向量空间中快速地搜索到匹配点对,prosac算法比常用的抽样一致算法可以更快地剔除误匹配,大大减少了整个算法的消耗时间。另外,由于在特征检测时去除了不稳定的边缘响应点,避免了对这些错误特征点生成特征向量而消耗时间。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1