一种稀疏和稠密特征匹配结合的图像配准方法
【技术领域】
[0001] 本发明涉及一种稀疏和稠密特征匹配结合的图像配准方法，属于图像处理技术领 域。
【背景技术】
[0002] 图像配准是遥感领域中的一个根本性和挑战性问题，也是很多广泛应用（包含地 形重建、环境监测、变化探测、图像镶嵌、图像融合及地图更新等）中的一个先决条件。
[0003] 图像配准旨在建立不同时间不同视角或通过不同探测器获取同一场景的两幅图 像之间像素的对应关系。配准问题可依据具体应用和数据形式分为刚性或非刚性。刚性配 准（仅涉及少量参数）相对容易，且已得到了广泛研究。相比而言，非刚性配准较为困难， 由于潜在非刚性变换模型通常无法事先获知且较为复杂，难以建模。尽管如此，非刚性配准 对遥感图像而言仍非常重要，因为遥感图像通常存在一些因地貌变化或成像视角变换导致 的局部非刚性形变，而这些形变无法基于简单刚性模型实现"精确配准"。
[0004] 一种早期广泛使用的非刚性图像配准算法为光流法。其直接通过最小化像素间灰 度的差异来计算一个全局稠密的位移场，通常适用于对两幅非常相似的图像进行配准，例 如视频序列中的相邻帧图像。光流法的典型假设包含光照恒定，以及像素位移场应具有分 段光滑性。然而，由于光照变化、视角变换和噪声干扰，像素灰度值往往变得不太可靠。近 年来，Liu等人提出了可容忍高度类内变化的SIFT流配准算法。与光流法匹配像素灰度值 不同的是，SIFT流算法匹配图像中稠密采样像素的SIFT描述子。该算法在复杂场景情况 下展现出令人满意的配准效果，但对大尺度缩放和旋转的鲁棒性依然较差。
[0005] 然而，各种局部鲁棒特征的涌现与发展为图像配准带来了新的解决途径。这类方 法通过匹配从图像中提取出的局部特征信息，估计稀疏特征位置之间的空间变换函数并用 其来拟合图像对之间的真实几何变换关系，从而实现对原始图像的配准。这类方法中采用 的特征可由不同层次的简单几何实体来描述，包括点、线段、轮廓和区域等。通常，较高层次 的特征很难被准确地提取；点特征是最简单的特征形式，同时也是最常见的特征形式，由于 高层次特征例如线和轮廓可被描述为点的集合。从这层意义上来说，配准问题可简化为找 出两个提取的特征点集之间的对应关系及潜在的空间变换。这种基于特征的方法对典型表 观变化和场景位移具有较强的鲁棒性，且在正确实施的情况下，拥有更快的速度。他们在刚 性场景（例如：在图像拼接领域）和轻度非刚性场景（例如：在医学成像领域）匹配中取 得了很大成就，但在处理高度非刚性（例如：在地形重建领域）情形时无法取得满意效果。 其本质在于这里配准是通过对稀疏特征匹配进行插值得到，而不是通过计算所有像素之间 的对应关系得到，当真实匹配为非刚性且变换模型未知时就会带来问题。
【发明内容】
[0006] 为了解决现有技术的不足，本发明提供了一种稀疏和稠密特征匹配结合的图像配 准方法，能够针对包含未知非刚性运动的遥感图像，获得精确的像素间对比的匹配。
[0007] 本发明为解决其技术问题所采用的技术方案是：提供了一种稀疏和稠密特征匹配 结合的图像配准方法，包括以下步骤：
[0008] (1)建立基于局部线性约束的稀疏特征匹配能量函数：
[0009] (1-1)采用特征探测法推断得到待配准的两个图像的假定匹配集 ，\与y。分别表示待配准的两幅图像中特征点空间位置的二位列向量；所 述假定匹配集S包含错误匹配和正确匹配，其中正确匹配根据带匹配的两个图像之间的几 何变换Z确定，即如果（xn，yn)是一个正确的匹配，则yn=Z(xn)是一个正确的匹配；
[0010](1-2)初始位置加位移函数v将定义变换Z:z(X) =x+v(X)，其中V在函 数空间Η中模拟，所述函数空间Η为向量值的再生核希尔伯特空间，通过矩阵值的核 r:R2XR2-R2X2与对角线高斯核' ·/定义得到，其中R为实数空间，I为 单位矩阵，XJPXj为再生核希尔伯特空间实数空间中两个特征点的空间位置，β为高斯窗 参数，参数β为设置值，其范围为〇.〇1~1，则变换Ζ通过以下形式表示：
[0011]
>
[0012] 其中，X表示任意一个图像点的空间位置，(^表示一个2Χ1维待求解的向量系数；
[0013] (1-3)利用对角元素{ρη}组成的对角矩阵Ρ指出匹配可信度，对角矩阵Ρ中的任 意元素pne[0, 1]为〇到1之间的实数，当Pn= 1时表示（Xn，yn)为一个正确的匹配，当Pn =0时表示（xn，yn)为一个错误的匹配；
[0014] (1-4)创建大小为NXN的权值矩阵W，且使当Xj不属于X,的Q邻域时，W中的元 素0,X满Q邻域指欧氏距离最近的Q个元素；在约束
F通过代价函
〖小化基于局部线性约束的重构误差，并采用最小二乘求解 出w，得到以下能量函数：
[0015]
[0016] 其中，参数1\表示确定性退火的温度，该参数用于结合退火速率参数r用于逐步 求解能量函数，η表示对错误匹配的惩罚，λ表示正则化参数基于局部线性约束的正则化 参数，参数?\、η和λ均为设置值，！\初始值的范围为0. 05~5,η的范围为〇. 01~1， λ的范围为100~10000;
[0017] (2)建立基于SIFT流的能量函数：
[0018]用m表示图像像素的网格坐标，u(m)表示位移向量，第一幅图像中的点m对应第 二幅图像中的点m+u(m)，Si(X)和s2(x)分别为两幅图像逐像素采样的SIFT特征，集合e包 含四邻域系统中所有空间邻域，则基于稠密像素SIFT配准的能量函数为：
[0019]
[0020] 其中，t和d为两个截断L1范数的阈值，γ表示保持位移场平滑性的权重，α表 示保持位移场连续性的权重，m和q表示图像像素的网格坐标，dOn)或uVq)表示对应位 移向量的第i个分量，这里t设为sjx)与s2(x)差值的中位数；d、γ和α均为设置值，d 的范围为4~400，γ的范围为0. 05~0. 5，α的范围为〇. 2~20;
[0021] (3)将基于局部线性约束的稀疏特征匹配能量函数和基于SIFT的能量函数整合， 得到稀疏和稠密特征匹配结合的图像配准能量函数：
[0022]
[0023] 其中，L表示评价像素的总数，δ表示设置的控制稀疏和稠密匹配平衡的正数参 数，ε表示所有四邻域的集合；
[0024] (4)解答能量函数，执行图像配准：
[0025] (4-1)首先提取稀疏和稠密特征匹配结合的图像配准能量函数ε3(Ρ，V，u)中与ν 相关的项，得到以下能量函数：
[0026] " V ，-叹 ￡ "
[0027]其中，X = (χ1; · · ·，xN)T，Y = (y1; · · ·，yN)T，K e ^以且尤办=e-難-·νΙ，. C表示格拉姆矩阵，为位移函数ν的系数矩阵，VeRW且％ = = ^ :，U= (Ul，. . .，ι〇τ表示尺寸为LX2的流场，为弗罗贝尼斯范数；
[0028] (4-2)通过确定性退火步骤解答位移函数ν:
[0029](4-2-1)初始化参数1\、r和λ，设置迭代次数；
[0030] (4-2-2)初始化Ρ=I，C= 0;
[0031] (4-2-3)通过计算式（5)的极值完成用当前位移函数ν更新匹配可信度，得到匹配 可信度的闭合形式为：
[0032]
[0033] 通过公式（6)更新ρη;
[0034] (4-2-4)通过以下线性方程式更新C:
[0035]
[0036](4-2-5)重复步骤（4-2-3)和（4-2-4)直到...，结束交替更新；
[0037] (4-2-6)减少1\和λ，若未达到预设的迭代次数或能量函数ε4(P，C)未收敛，则 返回步骤（4-2-3);否则进入步骤（4-2-7);
[0038] (4-2-7)结束确定性退火步骤；
[0039] (4-4)提取稀疏和稠密特征匹配结合的图像配准能量函数e3(P，v，U)中与u相关 的项，得到以下能量函数：
[0040]
[0041] (4-5)利用SIFT流算法修改公式（8)中从Σmγ| |u(m) | | 濟Σmγ| |ν(m)-u(m) | |2 的小位移项以解答u;
[0042] (4-6)通过u执行图像配准。
[0043] 步骤（1-2)所述的高斯窗参数β设置为0· 1。
[0044]步骤（1-4)中，?\= 0· 5,η= 〇· 1，λ= 1〇〇〇。
[0045]步骤（2)中，d= 40，γ= 0· 005，α= 2。
[0046] 本发明基于其技术方案所具有的有益效果在于：
[0047](1)本发明的稀疏和稠密特征匹配结合的图像配准方法，针对遥感图像存在地形 起伏导致非刚性形变的问题，对点匹配进行局部线性约束，能够在图像变换后保护特征集 中的局部结构，从而提高图像配准精度；
[0048] (2)本发明的稀疏和稠密特征匹配结合的图像配准方法，将稀疏和稠密特征匹配 相结合，得到一种新的数学模型，新模型包含两个变量：非刚性几何变换和离散位移流场， 前者适用于稀疏匹配流，我们引入了局部线性约束以调整变换，使得该问题是适定的，后者 适用于稠密匹配流，采取与SIFT流相似的模型，同时采用置信传播算法优化求解；
[0049] (3)本发明的稀疏和稠密特征匹配结合的图像配准方法，在理想情况下，这两个变 量是一致的，但同时求解这两个变量非常困难，我们采用迭代的策略固定一个变量求解另 一变量，使得求解变得相对容易，并且同时可以避免陷入不理想的局部最优解；
[0050] (4)本发明的稀疏和稠密特征匹配结合的图像配准方法，同时具有基于稀疏特征 匹配的高效的优点，以及基于稠密特征匹配的精确的优点。
【具体实施方式】
[0051] 下面结合实施例对本发明作进一步说明。
[0052] 本发明提供了一种稀疏和稠密特征匹配结合的图像配准方法，包括以下步骤：
[0053] (1)建立基于局部线性约束的稀疏特征匹配能量函数：
[0054] (1-1)采用特征探测法推断得到待配准的两个图像的假定匹配集 $ :?(?，")匕，\与yn分别表示待配准的两幅图像中特征点空间位置的二位列向量；所 述假定匹配集S包含错误匹配和正确匹配，其中正确匹配根据带匹配的两个图像之间的几 何变换Z确定，即如果（xn，yn)是一个正确的匹配，则yn=Z(xn)是一个正确的匹配；
[0055](1-2)初始位置加位移函数v将定义变换Z: Z(X)=χ+ν(X)，其中v在函 数空间Η中模拟，所述函数空间Η为向量值的再生核希尔伯特空间，通过矩阵值的核 Γ:R2XR2-R2X2与对角线高斯核r(.W,) =e"m·/定义得到，其中R为实数空间，I为 单位矩阵，XJPXj为再生核希尔伯特空间实数空间中两个特征点的空间位置，β为高斯窗 参数，参数β为设置值，其范围为0.01~1，则变换Ζ通过以下形式表示：
[0056]
[0057] 其中，X表示任意一个图像点的