一种基于几何结构相似性的异源遥感影像配准方法
【专利摘要】本发明公开了一种基于几何结构相似性的异源遥感影像配准方法，属于卫星影像处理【技术领域】。首先将参考影像和输入影像采样为同一分辨率，并在参考影像上提取大量、分布均匀的特征点；然后利用梯度方向直方图描述符构建几何结构相似性测度，采用双向匹配的策略在输入影像上识别同名点，并通过局部极值拟合技术获取子像素精度；最后剔除误匹配点，并采用分段线性模型对影像进行高精度配准。本发明能有效克服可见光、红外、SAR等异源遥感影像间的非线性灰度差异，可快速检测出大量、分布均匀的同名点对，实现影像的高精度配准。主要用于异源遥感影像配准。
【专利说明】一种基于几何结构相似性的异源遥感影像配准方法
【技术领域】
[0001]本发明属于卫星影像处理【技术领域】，特别涉及可见光、红外和SAR等多传感器影像的自动配准【技术领域】。
【背景技术】
[0002]异源遥感影像(可见光、红外和SAR等)通常反映了地物的不同属性，能够为地表监测提供互补的信息。为了整合这些影像对地表进行全面观测和综合分析，则需要在地理空间上对它们进行几何配准。由于成像机理的不同，异源遥感影像间往往存在显著的非线性灰度差异，因此异源遥感影像的配准是当今的难题。
[0003]目前遥感影像的配准方法主要可分为:基于特征的方法和基于区域的方法。基于特征的方法首先在影像间提取特征，然后利用特征间的相似性进行匹配。常用的基于特征的方法包括了基于点特征的方法，基于线特征的方法和基于面特征的方法。中国专利CN103514606A公开了一种异源遥感影像配准方法。该方法首先对影像进行多尺度分析，并以直线交点为基元，利用联合VOTonoi图与谱图的点匹配方法，同时通过迭代的特征提取和匹配策略实现影像的配准。这些方法对于影像间的几何形变具有较好的适应性，但它们通常要求在影像间检测到稳定的共有特征，而对于具有显著灰度差异的异源遥感影像而言，共有特征的提取本身就是目前的研究难题，所以难以较好地应用上述方法对异源遥感影像进行自动配准。
[0004]基于区域的方法主要是以某种相似性测度为准则，采用模板匹配的策略在影像间进行同名点识别。常用的相似性测度包括了相关系数、相位相关和互信息等。基于区域的方法设计简单，配准精度高，但它们都是利用灰度信息构建相似性测度进行同名点匹配，而由于异源遥感影像间的同一地物呈现出完全不同的灰度信息，所以它们无法较好适用于异源遥感影像的自动配准。相比于灰度信息，影像间的几何结构属性受灰度差异的影响较小。鉴于此，本发明则提出一种基于几何结构相似性的异源遥感影像配准方法。首先提取影像间的几何结构特征，然后利用这些几何结构特征构建相似性测度，并采用模板匹配的策略进行同名点识别，最终实现影像的配准，
【发明内容】
[0005]本发明的目的是提供一种基于几何结构相似性的异源遥感影像配准方法，它能有效地克服异源影像间的非线性灰度差异，能够自动地、快速地在影像间获取大量分布均匀、稳定的匹配同名点对，并通过基于三角网的分段线性模型实现影像的高精度配准。
[0006]本发明的目的是通过以下技术方案来实现的:该发明突破了传统配准方法利用灰度信息进行匹配的束缚，通过构建基于几何结构特征的相似性测度进行同名点识别，有效地解决了可见光、红外和SAR等异源遥感影像的配准难题。
[0007]—种基于几何结构相似性的异源遥感影像配准方法，包括下列步骤:
[0008]步骤一、设参考影像I1的分辨率信息为R1，输入影像I2的分辨率信息为R2,并判断R1和R2是否一致，如果一致，则进行下一步处理，若不一致则将这幅影像采样为同一分辨率；
[0009]步骤二、利用Harris算子，采用分块的提取策略，在参考影像I1上提取大量、分布均匀的特征点:具体是将参考影像I1划分为若干个互不重叠、规则的格网，在每个格网内，计算每个像素的Harris强度值H，并根据H值进行从大到小排序，选择H值较大的一定数量的点作为特征点；
[0010]步骤三、记参考影像上检测的特征点为PIli (i = 1，2，3，....，N)，根据影像本身提供的地理坐标信息在输入影像I2上预测一定大小的搜索区域，用于同名点匹配；
[0011]步骤四、构建几何结构相似性测度:
[0012]Α、提取PIli (i = 1，2，3，....，Ν)的一个点PIli，以它为中心选取一定大小的模板
窗口 ；
[0013]B、在模板窗口内，计算每个像素的梯度值和梯度方向，为几何结构相似性测度的构建提供特征信息；
[0014]C、把模板窗口划分为若干个相互重叠的块，其中每个块包含若干个单元，形成几何结构相似性测度的基本结构；
[0015]D、在每一个单元内，进行梯度方向直方图统计；
[0016]Ε、对每个重叠块内单元的梯度方向直方图进行归一化操作，消除光照变化的影响；
[0017]F、将所有块内的梯度方向直方图向量链接在一起，形成描述整个模板窗口的梯度方向直方图特征向量；
[0018]G、利用梯度方向直方图特征向量之间的相关系数作为几何结构相似性测度；
[0019]步骤五、根据PIli的地理坐标信息在输入影像I2预测一定大小的方形窗口作为匹配的搜索区域；在搜索区域内，采用模板匹配的策略，并利用几何结构相似性测度进行同名点识别，选择该相似性测度值最大的点作为PIli的同名点PI2i ；
[0020]步骤六、为了剔除一些不稳定的同名点对，这里采用双向匹配的策略进行匹配，SP根据PI2i的地理坐标信息在参考影像I1预测一定大小的搜索区域，利用几何结构相似性测度进行匹配，获得匹配点ΡΙ’ ?，若点PI’ π和点PIli之间的距离小于1.5个像素，则认为(PIli, PI2i)是一对同名点；
[0021]步骤七、根据以上步骤，遍历PIn(i = 1, 2, 3,...., N)的每一个点，得到对应的同名点对 PI2i (i = 1,2, 3,...., N)；
[0022]步骤八、对以上获取的同名点对{PI?，PI2i} (i = 1，2，3，....，N)，采用局部极值拟合技术获取子像素精度:
[0023](I)提取PI2i (i = 1，2，3，....，Ν)的一个点PI2i，选取它3 X 3邻域内9个像素的几何结构相似性测度值，并采用最小二乘方法拟合二元二次多项式，建立几何结构相似性测度值与像素位置的对于关系；
[0024](2)对多项式求偏导，求解出偏导等于O的位置，即获得子像素的精度；
[0025](3)重复(1)和(2)，遍历PI2i (i = 1, 2, 3,....,N)的每一个点，得到对应的子像素精度；
[0026]步骤九、对子像素同名点对(PIDli, PID2J (i = 1，2，3，....M)进行三次多项式拟合，计算同名点的残差和均方根误差，并迭代地剔除残差较大的同名点，直到同名点的残差和均方根误差小于I个像素，得到最终的子像素同名点对{PIDli，PID2i} (i =1，2，3，....D)；
[0027]步骤十、利用获取的子像素同名点对{PIDli,PID2i} (i = 1，2，3，....D)构建不规则三角网，对每个三角网区域利用仿射变换进行纠正，消除局部形变，获得高精度的配准影像。 [0028]本发明与现有技术相比的有益效果在于:
[0029]本发明针对异源遥感影像间非线性灰度差异造成的配准困难问题，本发明构建了一种基于几何结构特征的相似性测度，利用影像间的几何结构相似性进行同名点识别，突破了传统配准方法利用灰度相似性进行匹配的束缚，提高了配准的可靠性和有效性。
[0030]对异源遥感影像特征进行了深入分析，设计了包括特征点分块提取策略、基于几何结构特征的相似性测度、同名点对精匹配、分段线性模型纠正等步骤的配准流程。在整个配准过程中，无需人工干预，能全自动地实现异源遥感影像间的同名点匹配和几何纠正，提高了配准的实际生产效率，满足业务化运行需求。大量的实验结果表明，对于平坦地区的影像，配准精度可达到I个像素以内，而对于山区和城区的影像，配准精度可达到2个像素以内。
【专利附图】
【附图说明】
[0031]图1为本发明的整体流程图
[0032]图2为本发明几何结构相似性测度的构建过程图
[0033]图3为本发明几何结构相似性测度的基本结构图
【具体实施方式】
[0034]步骤一、根据参考影像I1和输入影像I2的分辨率信息R1和R2,判断分辨率是否一致:如果一致，则进行下一步处理，若不一致则将这幅影像采样为同一分辨率。
[0035]步骤二、利用Harris算子，采用分块的策略，在参考影像I1上提取大量、分布均匀的特征点，具体为:
[0036](a)将影像I1划分为IOX 10个互不重叠的方形格网；
[0037](b)在每个格网内，进行Harris特征点检测。首先利用影像的梯度信息构建自相关矩阵M，并计算每个像素点的Harris特征值H，若H是局部极大值，则认为该像素点是特征点。
O"
gi g g
[0038]M = G(a) *
[0039]H = Det (M) -kTrace (M)2
[0040]其中，G(o )表示尺度为σ的高斯卷积核，gxSx方向的梯度，gySy方向的梯度。Det(.)表示矩阵的行列式，Trace (.)表示矩阵的迹，k为一个常数，通常在0.04到0.06之间。
[0041](c)为了使特征点均匀地分布在影像上，在每个格网内，计算每个像素的H值，并进行从大到小排序，选取H值较大的15个像素点作为特征点。这样可以在每个格网内检测出15个特征点，整幅影像上则拥有10X10X15 = 1500个特征点。
[0042]步骤三、记参考影像I1上检测的特征点为PIli (i = l,2, 3,...., N):根据遥感影像提供的地理坐标信息在输入影像I2上预测一定大小的搜索区域，进行同名点匹配。
[0043](I)提取PIli (i = 1，2，3，....，N)的一个点PIli,并获取该点所对应的地理坐标Geoi ο
[0044](2)根据地理坐标Geoi结合输入影像I2的地理信息计算对应的图像坐标
[0045]PWi,并以PWi为中心确定一个大小为150X150的方形窗口作为匹配的
[0046]搜索区域AreaWitl
[0047]步骤四、构建几何结构相似性测度:
[0048]I)以PIli为中心选取一个大小为100X100的模板窗口 ；
[0049]2)在模板窗口内，计算每个像素的梯度值和梯度方向，为几何结构相似性测度提供特征信息； [0050]3)把模板窗口划分为若干个互相重叠的块(图3中的Α)，每个块由2X2个单元(图3中的B)组成，每个单元包含4X4个像素点，形成几何结构相似性测度的基本结构；
[0051]4)在块内，将每个单元划分成9个方向块，以像素点的梯度方向进行方向直方图统计，并以像素点的梯度值进行权重分配，构成描述单元的9维向量。把每个单元的向量组合起来，形成描述块的直方图向量。
[0052]5)对每个块的直方图向量进行归一化操作，消除光照变化的影响；
[0053]6)将所有块的直方图向量链接在一起,形成描述整个模板窗口的梯度方向直方图特征向量。
[0054]7)采用梯度方向直方图特征向量之间的相关系数作为几何结构相似性测度进行影像匹配。几何结构相似性测度(该测度用HOGC表示)的定义如下:
JjiV t{k)-VaWb^)-Vti)
[0055]IIOGC=广丨n
匕 y-
V Jc=IA=I
[0056]其中，乂4和Vb分别表示模板影像A和B的几何结构相似性测度特征向量，匕和^分别表示模板影像A和B的几何结构相似性测度平均值。
[0057]步骤五、利用几何结构相似性测度，采用模板匹配的策略，在区域AreaWi内进行滑动搜索，计算每个滑动窗口的几何结构相似性测度值，选取几何结构相似性测度值最大的窗口作为匹配区域，并以该窗口的中心作为PIli的同名点，记为PI2i。
[0058]步骤六、进行双向匹配，以点PI2i为中心选取大小为100X100的模板窗口构建几何结构相似性测度，同样按照以上的方法在参考影像上寻找同名点PI’ ?，若点PIli和点pr π之间的距离小于1.5个像素，则将(ριπ，Pi2i)视为最终的同名点对；
[0059]步骤七、根据以上步骤，遍历PIn(i = I, 2, 3,...., N)的每一个点，得到对应的同名点对 PI2i α = 1，2，3，....，Ν)。
[0060]步骤八、对以上获取的同名点对，采用局部极值拟合技术获取子像素精度
[0061]I)提取PI2i (i = 1,2, 3,...., N)中的一个点PI2i，选取它3 X 3邻域内9个像素的几何结构相似性测度值，并采用最小二乘方法拟合二元二次多项式，建立几何结构相似性测度值与像素位置的对应关系；
[0062]2)对多项式求偏导，求解出偏导等于O的位置，即获得子像素的匹配精度。
[0063]具体求解步骤如下:
[0064]同名点邻域内9个像素的位置与几何结构相似性测度值满足上式，则有
[0065]HOGC(XiJi) = a0+a1xi+a2yi+a3xi2+a4xiyi+a5yi2
[0066]考虑到像素的精度匹配位置对应几何结构相似性测度的峰值，对几何结构相似性测度(X，y )求偏导，并令其为0，如下所示。
[0067]
【权利要求】
1.一种基于几何结构相似性的异源遥感影像配准方法，包括下列步骤: 步骤一、设参考影像I1的分辨率信息为R1，输入影像I2的分辨率信息为R2,并判断R1和R2是否一致，如果一致，则进行下一步处理，若不一致则将这幅影像采样为同一分辨率；步骤二、利用Harris算子，采用分块的提取策略，在参考影像I1上提取大量、分布均匀的特征点:具体是将参考影像I1划分为若干个互不重叠、规则的格网，在每个格网内，计算每个像素的Harris强度值H，并根据H值进行从大到小排序，选择H值较大的一定数量的点作为特征点； 步骤三、记参考影像上检测的特征点为PIli (i = 1,2, 3，....，N)，根据影像本身提供的地理坐标信息在输入影像I2上预测一定大小的搜索区域，用于同名点匹配； 步骤四、构建几何结构相似性测度: Α、提取PIn(i = 1，2，3，....，Ν)的一个点PIli，以它为中心选取一定大小的模板窗口 ； B、在模板窗口内，计算每个像素的梯度值和梯度方向，为几何结构相似性测度的构建提供特征信息； C、把模板窗口划分为若干个相互重叠的块，其中每个块包含若干个单元，形成几何结构相似性测度的基本结构； D、在每一个单元内，进行梯度方向直方图统计； Ε、对每个重叠块内单 元的梯度方向直方图进行归一化操作，消除光照变化的影响； F、将所有块内的梯度方向直方图向量链接在一起，形成描述整个模板窗口的梯度方向直方图特征向量； G、利用梯度方向直方图特征向量之间的相关系数作为几何结构相似性测度； 步骤五、根据PIli的地理坐标信息在输入影像I2预测一定大小的方形窗口作为匹配的搜索区域；在搜索区域内，以几何结构相似性测度作为相似性测度，采用模板匹配的策略进行同名点识别，选择该相似性测度值最大的点作为PIli的同名点PI2i ； 步骤六、为了剔除一些不稳定的同名点对，这里采用双向匹配的策略进行匹配，即根据PI2i的地理坐标信息在参考影像I1预测一定大小的搜索区域，利用几何结构相似性测度进行匹配，获得匹配点Ρ ?，若点PI’ π和点PIli之间的距离小于1.5个像素，则认为(PIli,PI2i)是一对同名点； 步骤七、根据以上步骤，遍历PIliQ = I, 2, 3,...., N)的每一个点，得到对应的同名点对 PI2i (i = 1，2，3，....，Ν)； 步骤八、对以上获取的同名点对(PIlijPI2J (i = 1,2, 3，....，N)，采用局部极值拟合技术获取子像素精度: (1)提取PI2i(i = 1，2，3，....，Ν)的一个点PI2i，选取它3X3邻域内9个像素的几何结构相似性测度值，并采用最小二乘方法拟合二元二次多项式，建立几何结构相似性测度值与像素位置的对应关系； (2)对多项式求偏导，求解出偏导等于O的位置，即获得子像素的精度； (3)重复(I)和(2)，遍历PI2i(i = 1，2，3，....，Ν)的每一个点，得到对应的子像素精度； 步骤九、对子像素同名点对{PIDli；PID2i} (i = 1，2，3，....Μ)进行三次多项式拟合，计算同名点的残差和均方根误差，并迭代地剔除残差较大的同名点，直到同名点的残差和均方根误差小于1个像素，得到最终的子像素同名点对{PIDli，PID2i} (i = 1,2,3,....D)；步骤十、利用获取的子像素同名点对{P皿i，PID2i} (i = 1,2,3,....D)构建不规则三角网，对每个三角网区域利用仿射变换进行纠正，消除局部形变，获得高精度的配准影像。
【文档编号】G06T7/00GK104021556SQ201410263647
【公开日】2014年9月3日 申请日期:2014年6月13日 优先权日:2014年6月13日
【发明者】叶沅鑫, 单杰, 曹云刚, 慎利 申请人:西南交通大学