一种遥感图像配准方法、设备及存储介质

matching,”international journal of computer vision,vol.127,no.5,pp.512
–
531,sep.2018)为代表的基于非参数模型的方法。
11.尽管上述方法在许多领域取得了不错的效果，但当待配准的图像对遭遇复杂的非刚性形变时，依赖于参数模型的方法性能大幅下降。此外，遥感图像所具有的特性，如噪声、低内点比率、重复结构等，也同样使得基于非参数模型的方法遭遇重大挑战。
12.因此，亟需一种能够适用于遥感图像配准的具有较强鲁棒能力的方法。


技术实现要素：

13.本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种适用于遥感图像配准、鲁棒性高的遥感图像配准方法、设备及存储介质。
14.本发明的目的可以通过以下技术方案来实现：
15.根据本发明的第一方面，提供了一种遥感图像配准方法，该方法包括以下步骤：
16.步骤s1、对给定的两幅待配准的遥感图像i1和i2进行特征检测和描述，并依据特征描述子的相似性构建得到初始匹配集s；
17.步骤s2、基于邻域元素一致性约束以及邻域元素相对位置一致性约束，建立非刚性匹配的目标函数，通过阈值剔除错误匹配，迭代优化后保留正确匹配对应的最优内点集其中，首次迭代时，损失函数仅考虑邻域元素一致性约束；
18.步骤s3、对保留的最优内点集进行变换估计，输出配准后的遥感图像。
19.优选地，所述步骤s1具体为：
20.采用手工特征描述子或基于深度学习的特征描述子分别对给定的两幅遥感图像i1和i2进行特征检测和描述，进而根据相似性度量来构造得到初始匹配集其中xi和yi分别为两个对应特征点的空间坐标，n为初始匹配的个数。
21.优选地，所述步骤s2包括以下子步骤：
22.步骤s2.1、分别构造特征点xi及其对应点yi在欧式空间中的k近邻和并采用jaccard距离对和进行差异性度量，表征为每对匹配相应的邻域元素一致性约束；
23.步骤s2.2、分别构建特征点xi及其对应点yi由各自k近邻所构成的有序序列σ(xi)和σ(yi)，以及关于特征点xi和其对应点yi的重叠有序序列和并基于levenshtein距离对重叠有序序列和进行差异性度量，表征为邻域元素相对位置一致性约束；
24.步骤s2.3、建立非刚性匹配的目标函数，通过阈值剔除错误匹配，迭代优化后保留正确匹配对应的最优内点集其中，首次迭代的损失函数仅考虑邻域元素一致性约束，后续迭代的损失函数综合考虑邻域元素一致性约束和邻域元素相对位置一致性约束。
25.优选地，所述步骤s2.1具体为：
26.1)分别构造特征点xi及其对应点yi在欧式空间中的k近邻和表达式为：
27.[0028][0029]
其中，|
·
|为计算集合的元素个数；
[0030]
2)采用jaccard距离对于和进行差异性度量，表达式为：
[0031][0032]
其中，记为ni，满足0≤ni≤k；记为2k-ni；
[0033]
3)对差异性度量进行修正，表达式为：
[0034][0035]
其中，a是一个常数，满足0＜a＜1，用来控制衰减的程度。
[0036]
优选地，所述步骤s2.2具体为：
[0037]
1)定义特征点xi和其对应点yi由各自k近邻所构成的有序序列σ(xi)和σ(yi)，以及关于特征点xi和其对应点yi的重叠有序序列和
[0038][0039][0040]
2)基于levenshtein距离，计算和的差异性度量：
[0041][0042]
其中，定义为：
[0043][0044]
其中，是扣除第一个元素之后剩下的有序序列，表示
从0开始的第n个元素；
[0045]
3)归一化和的差异性度量
[0046]
优选地，所述步骤s2.3具体为：
[0047]
构建待优化的目标函数
[0048][0049]
其中，为潜在的内点集，s为初始匹配集；c为损失函数，表达式为：
[0050][0051]
式中，损失函数c包括两项，第一项为违背一致性约束匹配的惩罚项，第二项为用于抑制外点的正则化项；λ＞0，用于控制这两项的平衡；
[0052]
采用n
×
1的二值向量p＝[p1,p2,
…
,pn]来指明每个匹配的正确性，将损失函数c转化为：
[0053][0054]
其中，pi∈{0,1}，pi＝0表明匹配(xi,yi)是一个错误匹配，pi＝1表明匹配(xi,yi)是一个正确匹配；
[0055]
每个匹配的正确性判断pi表达式为：
[0056][0057]
最优内点集
[0058][0059]
首次迭代的损失函数只考虑使用邻域元素一致性约束，满足：
[0060][0061]
式中，为采用jaccard距离对和的差异性度量；
[0062]
后续迭代的损失函数综合考虑邻域元素一致性约束和邻域元素相对位置一致性约束，满足：
[0063][0064]
式中，为基于levenshtein距离对重叠有序序列和进行的差异性度量。
[0065]
优选地，所述后续迭代过程满足：利用上一步迭代去除错误匹配后保留下来的匹配集构建下一次迭代时的每个特征点邻域。
[0066]
优选地，所述步骤s3具体为：
[0067]
采用薄板样条tps对最优内点集进行变换估计，将两幅遥感图像映射到同一坐标系，实现图像配准和信息融合。
[0068]
根据本发明的第二方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现任一项所述的方法。
[0069]
根据本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现任一项所述的方法。
[0070]
与现有技术相比，本发明具有以下优点：
[0071]
1)本发明遥感图像存在的局部非刚性畸变，利用特征点局部邻域元素及其相对位置一致性进行建模，该模型不依赖于任何特定的模型，能够适用于遥感图像中的多种潜在变换；
[0072]
2)本发明采用指数函数用来控制采用jaccard距离对和的差异性度量的衰减程度，经过修正后的具有长尾分布并且能够防止对于外点的过度惩罚；
[0073]
3)鉴于初始匹配集中可能包含较多的错误匹配，本发明通过迭代优化不断剔除错误匹配，鲁棒性更高；
[0074]
4)本发明首次迭代时，损失函数只考虑特征点邻域元素一致性约束，加快了匹配的速度。
附图说明
[0075]
图1为本发明的方法流程图。
具体实施方式
[0076]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0077]
实施例
[0078]
如图1所示，本实施例给出了一种遥感图像配准方法，用于实现单源或多源的图像配准，以达到信息融合，包括以下步骤：
[0079]
步骤s1、对给定的两幅待配准的遥感图像i1和i2进行特征检测和描述，并依据特征描述子的相似性构建得到初始匹配集s，具体为：
[0080]
首先采用传统的手工特征描述子，如sift(scale-invariant feature transform)或基于深度学习的特征描述子，如lift(learned invariant feature transform)分别对两张图像进行特征检测和描述，进而根据相似性度量来构造得到初始匹配集其中xi和yi分别为两个对应特征点的空间坐标，n为初始匹配的个数。
[0081]
步骤s2、针对遥感图像易出现地貌变化等非刚性形变，基于邻域元素一致性约束以及邻域元素相对位置一致性约束，建立非刚性匹配的目标函数，通过阈值剔除错误匹配，
迭代优化后保留正确匹配对应的最优内点集其中，首次迭代时，损失函数仅考虑邻域元素一致性约束；具体包括以下子步骤：
[0082]
步骤s2.1、分别构造特征点xi及其对应点yi在欧式空间中的k近邻和并采用jaccard距离对和进行差异性度量，表征为每对匹配相应的邻域元素一致性约束；具体包括以下内容：
[0083]
1)分别构造特征点xi及其对应点yi在欧式空间中的k近邻和表达式为：
[0084][0085][0086]
其中，|
·
|为计算集合的元素个数；理想情况下，如果(xi,yi)是一个正确的匹配，那么它们的k近邻和将完全相同。然而，在现实生活中由于噪声、外点、图像退化等客观因素的存在，和将很难相同。但是对于正确匹配而言，其邻域内通常也会聚集有正确匹配，而错误匹配的邻域内将有很少的匹配与其一致。
[0087]
2)采用jaccard(杰拉德)距离对于和进行差异性度量，表达式为：
[0088][0089]
显然，如果和完全相同，则使得反之，如果和完全不同，则使得
[0090]
为了便于描述，将记为ni(0≤ni≤k)，因此就为2k-ni[0091][0092]
3)容易发现关于ni的一阶导数以及二阶导数都小于0，因此实际上是一个递减的凹函数，这与现实情况有所违背。通常情况下，的值减小的速度应该随着ni值的增大而减小，即应该是一个递减的凸函数。为了解决这个问题，对差异性度量进行修正，表达式为：
[0093][0094]
其中，a是一个常数，满足0＜a＜1，用来控制衰减的程度。经过修正后的具有长尾分布并且能够防止对于外点的过度惩罚。
[0095]
步骤s2.2、步骤s2.1的差异性度量旨在利用特征点邻域元素的一致性而忽略了邻
域元素相对位置之间的关系，当邻域构建的k值选取过大时，容易使得错误匹配因为满足邻域元素一致性而被错认为正确匹配，如极端情况下，ni＝n时，无论是正确匹配还是错误匹配，其对应的邻域元素都相同，难以将其进行区分开来。为了解决上述问题，提出了一种邻域元素相对位置可识性方法，具体为：
[0096]
1)定义特征点xi和其对应点yi由各自k近邻所构成的有序序列σ(xi)和σ(yi)，以及关于特征点xi和其对应点yi的重叠有序序列和
[0097][0098][0099]
可以发现和有相同的元素但不同的相对顺序。
[0100]
2)基于levenshtein距离，计算和的差异性度量：
[0101][0102]
其中，定义为：
[0103][0104]
其中，是扣除第一个元素之后剩下的有序序列，表示从0开始的第n个元素；
[0105]
在信息论中，两个有序序列的levenshtein距离为将其中一个序列变换为另外一个序列所需要的最小的编辑次数，其中每次编辑(删除，插入和替换)只能操作一个元素。因此，当两个有序序列有更多的元素保持有一致的相对顺序，它们的levenshtein距离将比较小。反之，两个有序序列元素的相对顺序有很大差异。它们的levenshten距离将比较大。
[0106]
3)将levenshten距离乘上从而将值映射到[0,1)，归一化和
的差异性度量
[0107]
步骤s2.3、建立非刚性匹配的目标函数，通过阈值剔除错误匹配，迭代优化后保留正确匹配对应的最优内点集其中，首次迭代的损失函数仅考虑邻域元素一致性约束，后续迭代的损失函数综合考虑邻域元素一致性约束和邻域元素相对位置一致性约束；具体为：
[0108]
1)构建待优化的目标函数
[0109][0110]
其中，为潜在的内点集，s为初始匹配集；c为损失函数，表达式为：
[0111][0112]
式中，损失函数c包括两项，第一项为违背一致性约束匹配的惩罚项，第二项为用于抑制外点的正则化项；λ＞0，用于控制这两项的平衡；
[0113]
2)采用n
×
1的二值向量p＝[p1,p2,
…
,pn]来指明每个匹配的正确性，将损失函数c转化为：
[0114][0115]
其中，pi∈{0,1}，pi＝0表明匹配(xi,yi)是一个错误匹配，pi＝1表明匹配(xi,yi)是一个正确匹配；
[0116]
每个匹配的正确性判断pi表达式为：
[0117][0118]
3)最优内点集
[0119][0120]
4)迭代优化过程具体为：
[0121]
鉴于初始匹配集中可能包含较多的错误匹配，采用迭代优化的策略；
[0122]
为了加快匹配的速度，首次迭代的损失函数只考虑使用邻域元素一致性约束，满足：
[0123][0124]
式中，为采用jaccard距离对和的差异性度量；
[0125]
此时算法已经能够去除大量的错误匹配，将保留下来的匹配组成的集合称为后续迭代利用上一步迭代去除错误匹配后保留下来的匹配集构建下一次迭代时的每个特征点邻域，其损失函数综合考虑邻域元素一致性约束和邻域元素相对位置一致性约束，满足：
[0126][0127]
值得注意的是，此时对于每个特征点邻域的构建是基于初始的完整匹配集s。而相比于s则有更高的内点比例。因此下一次迭代时，每个特征点邻域的构建则基于经过大约3次迭代之后，算法即可收敛，此时保留下来的匹配组成最优的内点集
[0128]
式中，为基于levenshtein距离对重叠有序序列和进行的差异性度量。
[0129]
步骤s3、当获得最优的内点集时，基于最优内点集进行两幅图像间的变换估计；为了适应遥感图像中存在的局部非刚性形变，采用现有的thin plate spine(tps，薄板样条)进行变换估计，从而即可将两幅遥感图像映射到同一坐标系，实现图像配准和信息融合的目的。
[0130]
综上，本实施例给出的一种基于特征点邻域及其相对位置一致性的遥感图像配准方法，采用鲁棒的特征检测和特征描述算子对给定的两幅具有重叠部分的遥感图像进行特征检测和描述，根据特征描述算子的相似性构建得到初始的匹配集合；利用正确匹配在局部邻域内具有的一致性来构建得到待优化的目标函数，通过阈值从而滤除错误匹配，保留正确的匹配；最后基于所保留的正确的匹配建立两幅遥感图像之间的变换关系，实现遥感图像配准。本发明针对遥感图像存在的局部非刚性畸变，利用特征点局部邻域元素及其相对位置一致性进行建模，该模型不依赖于任何特定的模型，因此能够适用于遥感图像中的多种潜在变换。即使初始匹配集中存在大量的错误匹配，依然能够保持良好的鲁棒性。
[0131]
本发明电子设备包括中央处理单元(cpu)，其可以根据存储在只读存储器(rom)中的计算机程序指令或者从存储单元加载到随机访问存储器(ram)中的计算机程序指令，来执行各种适当的动作和处理。在ram中，还可以存储设备操作所需的各种程序和数据。cpu、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
[0132]
设备中的多个部件连接至i/o接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0133]
处理单元执行上文所描述的各个方法和处理，例如方法s1～s3。例如，在一些实施例中，方法s1～s3可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由rom和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到ram并由cpu执行时，可以执行上文描述的方法s1～s3的一个或多个步骤。备选地，在其他实施例中，cpu可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法s1～s3。
[0134]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
[0135]
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0136]
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0137]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。