一种控制点自适应分布的高分辨率遥感影像配准方法
【专利摘要】本发明公开一种控制点自适应分布的高分辨率遥感影像配准方法，将多尺度J-image引入到图像配准中，首先提出了一种基于分块策略的自适应控制点提取方法，实现了多尺度J-image影像中的控制点提取，从而克服了控制点仅对个别方向高频信息敏感的局限。同时，定义了自适应控制点提取策略以约束控制点的分布。进而采用归一化的互信息测度NMI对控制点进行多尺度进行匹配，能够有效平滑配准函数。最后采用Delaunay三角形局部变换实现几何校正。下文首先介绍了所提出算法的基本原理及关键步骤，进而对三组不同类型的遥感影像进行了实验和分析，并分别与基于小波变换及NSCT的不同配准方法进行了比较实验。
【专利说明】一种控制点自适应分布的高分辨率遥感影像配准方法
【技术领域】
[0001] 本发明涉及一种控制点自适应分布的高分辨率遥感影像配准方法属于，遥感影像 配准【技术领域】。
【背景技术】
[0002] 1图像配准的基本框架
[0003] 随着高分辨率遥感影像的广泛应用，针对高分辨率遥感影像的图像配准研究成为 遥感应用研究领域的一个重要课题。图像配准的基本框架主要包含以下几个方面的内容：
[0004] (1)特征空间，是指在参考影像与待配准影像中提取的图像特征，主要包括灰度特 征、点特征、边缘特征以及不变矩结构特征等。
[0005] (2)搜索空间，是指图像配准在几何较正时变换的范围及采用的方式。其中，变换 范围包括全局、局部以及位移场三种类型。变换方式分为线性变和非线性变换，线性变换又 可分为刚体变换、投影变换以及仿射变换三种类型。
[0006] (3)相似性度量，用于对变换结果的优劣进行评价的准则。常见的相似性度量有互 信息、归一化互信息、欧氏距离、联合熵、梯度互相关性等。通常认为特征提取与相似性度量 直接决定了配准算法的鲁棒性。
[0007] (4)搜索策略，用于在搜索空间中寻找最优的配准参数，并以相似性度量作为评判 的依据。常见的搜索策略包括蚁群算法、遗传算法、抛物线法、Powell法、牛顿法等。
[0008] 2图像配准的分类
[0009]目前图像配准方法还没有统一的分类规则，通常情况下主要可分为基于灰度的图 像配准以及基于特征的图像配准。
[0010] 基于灰度的配准方法直接利用影像的灰度值建立参考影像与待配准影像的空间 变换关系，其基本思想为：首先对待配准影像进行几何变换，而后建立参考影像与待配准影 像之间的相似性度量，即在统计影像灰度信息的基础上定义一个目标函数。将该目标函数 作为评价配准结果优劣的判别准则以及几何配准参数最优化的目标函数，使得影像配准问 题转化为求该目标函数的极值问题。最后，采用一系列最优化方法确定最优配准参数。 [0011] 尽管基于灰度的配准方法直观而且易于实现，但计算相似性度量时通常以模板所 在位置为中心，因而形成的峰面较为平缓，难以获得精确的配准结果。另一方面，由于存在 光照条件变化、传感器类型不同等因素，多时相高分辨率遥感影像配准中常存在较大的灰 度、旋转等差异，基于灰度的配准方法对这些干扰因素的鲁棒性较差。而基于特征的配准 方法能够有效克服这些问题，因此目前高分辨率遥感影像配准主要采用基于特征的配准方 法。
[0012] 基于特征的配准方法利用图像的特征作为配准的依据，这些特征应具有对灰度变 换及空间变换不敏感的特点，从而使方法具有更好的可重复性与稳定性，常见的特征包括 角点、边缘特征等。基于特征的配准方法基本步骤为 ：
[0013] (1)对图像进行预处理，以降低或消除参考影像与待配准影像之间的几何形变以 及灰度偏差，减少对配准过程的影响。
[0014] (2)选择或定义合适的特征，还可以采用SIFT等特征提取算子实现特征自动提 取。若采用角点特征（控制点）进行匹配，还应使控制点在影像中标识出明显的地形地物， 并保证一定的数量及合理的分布。
[0015] (3)选择或定义合适的匹配策略，将满足条件的控制点对作为一对同名点，获得所 需的同名点集。
[0016] (4)根据同名点集建立参考影像与待配准影像间的映射关系，并根据坐标及参考 影像对待配准影像进行重采样，获得最终的配准结果。
[0017] 在多种基于特征的配准方法中，基于点特征的配准方法应用及研究最为广泛。其 基本思想为首先提取图像中的控制点，进而基于控制点的局部灰度、梯度等特征以及控制 点之间的几何关系获得同名点对的集合，从而实现图像间的完全配准。其优点在于只对控 制点进行匹配，从而与计算所有像素相比能够显著减少计算量；控制点在提取过程中能够 有效减少灰度差异、几何形变、噪声以及其他干扰因素的影响，因而具有很好的鲁棒性；基 于控制点的相似性度量对位置变化敏感，能有效提高配准精度；同名点集可以直接用于计 算参考影像与待配准影像间的空间变换关系。基于这些优点，基于点特征的影像配准方法 通常能够实现快速准确的高精度图像配准，同时具有广泛的适用性，是目前主流的图像配 准方法，同时也代表了图像配准技术的发展方向。
[0018] 3存在问题
[0019] 针对几何配准误差对变化检测精度的影响，目前已有很多学者展开了深入的研 究。如Dai等人的研究表明，影像间错误的位置匹配会导致"过变化检测"。而Verbyla等人 则认为，由于影像纠正模型中不可避免的存在残差，因此几乎没有完全精确的影像匹配，这 就导致了检测结果中的"伪变化"是几何配准误差在变化检测中的必然产物。在Townshend 等人对多时相NDVI (Normalized Difference Vegetation Index)影像进行差值比较的变 化检测中，至少40%是由于亚像素级别的配准误差造成的。而Dai等人的研究成果表明，在 中、低分辨率遥感影像变化检测中，只有配准精度达到五分之一像素才能够获得90 %的变 化检测精度。而高分辨率遥感影像变化检测更容易受到配准误差的影响，因此无论采用哪 种具体变化检测方法，精确的几何配准都是成功的前提和保证。
[0020] 随着遥感影像空间分辨率的不断提高，遥感影像提供了更加丰富的特征信息用以 表达地物。另一方面，与中低分辨率遥感影像相比，高分辨率遥感影像在不同时间尺度（时 间尺度也叫做时间分辨率，是指在同一位置的连续采集图像之间的时间间隔）中地物特征 随着季节变化所产生的状态差异更加突出。同时，由于传感器内部成像系统以及地形起伏、 云层遮挡、卫星轨道变化、飞行器姿态不稳定等造成的非线性畸变等干扰因素对配准造成 的影响也更加明显。针对这些问题，基于点特征的配准方法能够提供一条有效的解决途径。 通过基于点特征配准方法基本思想及实现流程可以看出，特征空间中的控制点合理选择及 控制点间的精确匹配是提高配准精度的关键因素。
[0021] 根据高分辨率遥感影像的特点，采用多尺度下的控制点提取与匹配能够获得更加 可靠的同名点集，因而越来越多的受到重视。目前常见的多尺度分析工具主要包括小波变 换（Wavelet Transform)、轮廓波变换（Contourlet Transform) [106]、非下米样轮廓波变 换（NSCT，Non-Subsampled Contourlet Transform) [107]等，例如 I. Zavorin 等人提出了 一种基于小波金字塔的高分辨率遥感影像配准算法，能够在多源传感器影像配准中取得良 好的效果。Z.G. Chen等选择NSCT进行多尺度控制点提取及同名点匹配，显著提高了配准精 度。尽管多尺度分析工具有利于更加准确的提取图像的特征，但基于小波变换的方法通常 会忽略45°方向子带信息，且不具有平移不变性；而基于轮廓波变换以及NSCT的方法同样 存在对方向选择敏感的问题，即选择不同方向的高频子带会直接影响图像的配准精度，降 低了算法的稳定性与鲁棒性。另一方面，在选择地面控制点时，应考虑如下几个因素：应选 择场景中具有显著定位标志的位置，例如道路的交叉口、建筑物边界等；应确保同名点对应 的地物不随时间的变化而变化；应使地面控制点合理的分布于整个场景中，以免在控制点 密集区陷入局部最优。尤其在高分辨率遥感影像内，受到大气折射、地形起伏，地球曲率等 诸多因素的影响，场景中通常存在不规则的局部形变。为保证配准精度及减少局部形变对 配准造成的影响，内部纹理特征丰富、结构复杂的对象应采用较多的同名点对进行标记；而 对于纹理特征单一、结构简单的局部区域提取少量同名点对即可。现有多尺度配准算法约 束控制点分布时，通常选择在某一特定尺寸窗口内提取一定数量的控制点，因此难以保证 同名点集的合理分布。最后，目前基于点特征的影像配准中所采用的控制点匹配策略通常 只考虑了局部区域的灰度统计特征，而忽略了原始影像中的纹理、尺度等特征，容易受到噪 声等因素的干扰，降低同名点集的可靠性，增加了误匹配的可能。
【发明内容】
[0022] 发明目的：针对现有技术中存在的问题，本发明提供了一种控制点自适应分布的 高分辨率遥感影像配准方法，主要包括如下三个步骤：（1)多尺度控制点提取。（2)基于匪I 的同名点匹配。（3)基于Delaunay三角形局部变换的几何校正。
[0023] 技术方案：一种控制点自适应分布的高分辨率遥感影像配准方法，将多尺度 J-image引入到图像配准中，首先提出了一种基于分块策略的自适应控制点提取方法，实现 了多尺度J-image影像中的控制点提取，从而克服了控制点仅对个别方向高频信息敏感的 局限。同时，定义了自适应控制点提取策略以约束控制点的分布。进而采用归一化的互信 息测度NMI对控制点进行多尺度进行匹配，能够有效平滑配准函数。最后采用Delaunay三 角形局部变换实现几何校正。下文首先介绍了所提出算法的基本原理及关键步骤，进而对 三组不同类型的遥感影像进行了实验和分析，并分别与基于小波变换及NSCT的不同配准 方法进行了比较实验。
[0024] JSEG与NMI相结合的配准方法
[0025] 多尺度控制点提取
[0026] 选择J-image影像作为多尺度分析工具进行控制点提取与匹配。
[0027] 1计算J-image影像序列
[0028] 利用某一特定尺寸的窗口计算原始影像中每个像素对应的局部同质性指标 J-value并作为该像素的像素值，可以获得单一尺度的J-image影像。J-value的计算过程 如下：
[0029] 首先采用 Deng 等人提出的量化方法（Deng Y, Kenney C, Moore M S, et al. Peer group filtering and perceptual color image quantization[C]//Proceedings of the 1999 IEEE International Symposium on Circuits and Systems, 1999, 4:21-24.)对原始 影像进行量化从而获得量化影像。令量化影像中每一个像素的位置Z (X，y)为像素 Z的像 素值，Z (x，y) ez。Z为以像素 z为中心的特定尺寸窗口内所有像素组成的集合。
[0030] 在量化影像中，定义N为以z为中心窗口中的像素总数，则均值m :
【权利要求】
1. 一种控制点自适应分布的高分辨率遥感影像配准方法，其特征在于：主要包括多尺 度控制点提取、基于匪I的控制点匹配和基于Delaunay三角形的图像配准三个步骤； 多尺度控制点提取 选择J-image影像作为多尺度分析工具进行控制点提取与匹配； 1计算J-image影像序列 利用某一特定尺寸的窗口计算原始影像中每个像素对应的局部同质性指标J-value 并作为该像素的像素值，获得单一尺度的J-image影像，J-value的计算过程如下： 首先采用量化方法对原始影像进行量化从而获得量化影像；令量化影像中每一个像素 的位置z (x，y)为像素 z的像素值，z (x，y) G Z，Z为以像素 z为中心的特定尺寸窗口内所 有像素组成的集合； 在量化影像中，定义N为以z为中心窗口中的像素总数，则均值m :
定义mp为窗口中属于相同灰度级p的所有像素均值，Zp为窗口中属于灰度级p的所有 像素的集合，P为量化影像中的灰度级总数，则窗口中属于同一灰度级像素的方差的和3"可 定义为：
则 J-value 为： J = (S1-Sff)/Sff (2. 4) 利用不同尺寸窗口分别计算不通尺度下z的J-value，并作为z的像素值，从而获得 多尺度J-image影像序列；根据以上J-value的定义，在某一尺度的J-image中，某一像素 的对应的J-value值越大，则越可能处于对象的边缘；反之，则可能位于对象的中心；同时， J-value综合了原始影像所包含的光谱信息、纹理信息与尺度信息，且对方向信息不敏感， 因此也可作为控制点的描述子用于同名点的匹配； 2控制点提取及分布约束 基于分块策略的自适应控制点提取方法，实现流程如下： Stepl :将各个尺度的J-image影像等分为不同尺寸的子图像，某尺度中子图像大小与 计算该尺度J-image影像的特定窗口尺寸大小相同，但保留角点，为NXN像素的正方形窗 □。 St印2 :在原始影像中利用公式（2. 4)计算整幅影像的J-value值，定义为Ta ;Ta反映 了原始影像的总体均质程度； Step3 :在某一尺度J-image中，分别将每个子图像中心像素的J-valve与Ta进行比 较，若大于Ta，则认为该子图像内部纹理特征丰富，结构复杂，应提取较多的控制点，取子图 像中J-value最大的前K个像素作为控制点；反之，则提取少量控制点即可，取子图像中 J-value最大的前L个像素作为控制点，并且满足
；K和L的值可根据影像实际尺寸 及影像纹理的复杂程度设定； St印4 :在所有尺度J-image影像中重复St印3的操作，实现控制点的多尺度提取及分 布约束； 基于匪I的控制点匹配 1计算匪I相似性度量 在某一尺度J-image中，将参考影像和待配准影像中的控制点所在区域作为两个矢量 C和D，计算控制点间的匪I ;所采用的窗口尺寸与计算当前尺度J-image所采用的特定窗 口尺寸相同；首先用熵来描述互信息，熵是指平均意义上对信源来表征的总体特征，可通过 对可能时间上的信息量加权平均获得；定义熵H及互信息I (C，D)如公式（2. 5)、（2. 6)所 示： H = -SiPi Iog2Pi (2. 5) I(C,D) = H (C)+H (D)-H(C1D) (2. 6) 其中，Pi表示某个随机变量所有可能中第i种可能情况发生的概率；则H(C)、H(D)、 H(C，D)分别为参考影像和待配准影像中同名点对应的熵以及他们的联合熵；根据公式 (2. 5)可知： H(C)=-ScPc(C)Iog2Pc(C) (2. 7) H(D) =-2dPD(d) Iog2P11 (d) (2. 8) H (C, D) = -1： c； dPCD (c, d) log2PCD (c, d) (2. 9) 其中Pc(C)和Pd(d)分别为C和D完全独立时的概率分布，Pm为C和D的联合概率分 布；匪I定义如下：
在参考影像及待配准影像的同一尺度J-image中，以控制点为中心，以计算当前尺度 J-value的特定窗口为局部区域生成子图像，计算子图像间的匪I从而度量控制点间的相 似性； 2基于匪I的最大双向匹配策略 为实现控制点间的准确匹配，提出了一种基于匪I的最大双向匹配策略，匹配过程如 下： Stepl :在参考影像与待配准影像的同一尺度J-image中，匪I最大且大于阈值TWI的 控制点对作为一对同名点，进而得到同名点集1 ; Step2 :与St印1计算方向相反，将待配准影像中某一控制点分别与参考影像中所有控 制点进行比较，得到同名点集2 ; Step3 :比较同名点集1和同名点集2,将相同的同名点对作为当前尺度下获得的最终 同名点集； St印4 :重复St印1至St印3,对所有尺度J-image进行判别，并将获得的同名点对全部 映射到原始影像中的相同位置； Step5 :在原始影像中采用经典的RANSAC算法进一步消除误匹配现象，获得最终的同 名点集； 基于Delaunay三角形的图像配准 采用Delaunay三角网构造几何映射函数，对待配准的影像进行重采样。映射函数为：
其中，（x，y)为参考影像中局部三角形的坐标，（x'，y'）为待配准影像中对应局部三 角形的坐标，由于构建三角形的三个控制点坐标已知，因而可直接求出（2. 11)式中待定系 数。
【文档编号】G06T7/00GK104361590SQ201410637686
【公开日】2015年2月18日 申请日期:2014年11月12日 优先权日:2014年11月12日
【发明者】王超, 石爱业, 王鑫, 黄凤辰 申请人:河海大学