一种基于边缘提取的异谱图像配准方法

本发明属于图像配准领域，更具体地，涉及一种基于边缘提取的异谱图像配准方法。

背景技术：

1、在众多的多光谱图像中，应用最为广泛的是红外图像和可见光图像。红外图像通过物体的热辐射成像，因此受光照、遮挡等环境因素的影响较小，可以很好地突出图像中的高亮目标信息，但图像分辨率较低；可见光图像通过物体反射的光线进行成像，图像中包含丰富的细节纹理信息，同时具有较高分辨率，更符合人们的视觉感知，但易受光照等环境因素的影响。通过进行红外与可见光图像的配准融合，可以很好地将两者优势进行结合，这样既保证了图像中丰富的细节纹理信息同时也可突出图像中的高亮目标。

2、在红外图像和可见光图像的实际成像过程中，两种传感器的成像谱段和成像视角往往存在一定的差异，为了更好地将两类图像结合处理，往往需要首先将两者进行配准操作，然后将配准后图像用于后续进一步的图像处理，比如进行图像融合等。目前，红外与可见光图像的配准技术已广泛用于军事探测、电力巡检、医学成像分析、地质监测、遥感图像、自动控制等众多领域。同谱图像配准中大多利用的是图像的灰度信息或由灰度计算得到的相应特征信息。但红外图像和可见光图像的成像机理不同，属于异谱图像，图像间的灰度相关性很弱，这种基于灰度的图像配准的方法无法达到理想效果。

3、考虑到红外图像和可见光图像之间的边缘信息具有较强的相关性，现有技术提出了基于边缘信息完成红外图像和可见光图像的配准的方法，这些配准方法规避了灰度、梯度等信息不匹配的问题，一定程度上提高了异谱图像的配准精度，但是，在实际应用中，边缘轮廓特征信息的数据结构构建复杂，匹配过程耗时较长，配准速度较慢。

技术实现思路

1、针对现有技术的缺陷和改进需求，本发明提供了一种基于边缘提取的异谱图像配准方法，其目的在于，在保证配准精度的同时兼具良好的配准速度。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于边缘提取的异谱图像配准方法，包括如下步骤：

3、(s1)对待配准的两幅源图像分别进行边缘提取，得到两幅边缘图像，将其中一幅作为参考图像，另一幅作为待配准图像；两幅源图像中，一幅为红外图像，另一幅为可见光图像；

4、(s2)将参考图像划分为多个互不重叠的子图像块，在各子图像块内，从大小为的所有区域中选取包含边缘点数量最多的区域作为对应子图像块内的子边缘模板，将各子边缘模板按位置组合得到匹配边缘模板；和分别表示区域的宽和高，不超过对应子图像块的宽，且不超过对应子图像块的高；

5、(s3)利用匹配边缘模板对待配准图像进行匹配，根据匹配结果计算待配准图像到参考图像的变换矩阵；

6、(s4)根据变换矩阵，对待配准图像对应的源图像中的各像素进行位置变换，完成图像配准。

7、在一些可选的实施方式中，步骤(s3)中，利用匹配边缘模板对待配准图像进行匹配，包括：

8、以待配准图像作为配准对象，以匹配边缘模板作为模板图像，对配准对象和模板图像进行快速边缘配准，得到待配准图像和匹配边缘模板间的最佳配准位置；

9、快速边缘配准包括：

10、(s31)设置与模板图像大小相等的滑动框，并使滑动框对齐配准图像的左上位置，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，将配准的边缘点的数量记录为最佳配准点数量num，并记录滑动框的当前位置作为最佳边缘配准位置(x,y)num；

11、(s32)若完成所有位置的滑动，则转入步骤(s35)；否则，使滑动框按照预设的步距滑动至下一个位置后，转入步骤(s33)；

12、(s33)记录当前滑动框内包含的边缘点数量numk，若numk＞num，则转入步骤(s34)；否则，转入步骤(s32)；

13、(s34)将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，得到配准的边缘点数量numc，若numc＞num，则按照num＝numc对最佳配准点数量num进行更新，并将最佳边缘配准位置(x,y)num更新为滑动框的当前位置，之后转入步骤(s32)；否则，转入步骤(s32)；

14、(s35)输出当前的最佳边缘配准位置(x,y)num，完成匹配。

15、在一些可选的实施方式中，步骤(s3)中，利用匹配边缘模板对待配准图像进行匹配，包括：

16、按照相同的下采样率对待配准图像和匹配边缘模板分别进行下采样，得到图像特征和模板特征；

17、以图像特征为配准对象，以模板特征为模板图像，对配准对象和模板图像进行快速边缘配准，得到图像特征和模板特征间的第一最佳配准位置；

18、找到待配准图像和匹配边缘模板中与第一最佳配准位置相对应的位置，并在待配准图像中划定包含该位置的区域，作为配准对象，在匹配边缘模板中划定包含该位置的区域，作为模板图像，之后执行快速边缘配准，得到待配准图像和匹配边缘模板间的第二最佳配准位置；

19、快速边缘配准包括：

20、(s31)设置与模板图像大小相等的滑动框，并使滑动框对齐配准图像的左上位置，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，将配准的边缘点的数量记录为最佳配准点数量num，并记录滑动框的当前位置作为最佳边缘配准位置(x,y)num；

21、(s32)若完成所有位置的滑动，则转入步骤(s35)；否则，使滑动框按照预设的步距滑动至下一个位置后，转入步骤(s33)；

22、(s33)记录当前滑动框内包含的边缘点数量numk，若numk＞num，则转入步骤(s34)；否则，转入步骤(s32)；

23、(s34)将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，得到配准的边缘点数量numc，若numc＞num，则按照num＝numc对最佳配准点数量num进行更新，并将最佳边缘配准位置(x,y)num更新为滑动框的当前位置，之后转入步骤(s32)；否则，转入步骤(s32)；

24、(s35)输出当前的最佳边缘配准位置(x,y)num，完成匹配。

25、进一步地，步骤(s34)中，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，得到配准的边缘点数量numc，包括：

26、在当前位置下，固定滑动框的中心，并使滑动框按照预设的角度间隔旋转一周，在每一个角度下，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，并记录配准的边缘点的数量；

27、将各角度下配准的边缘点的数量最大值作为当前位置下配准的边缘点数量numc，并记录对应的旋转角度

28、并且，步骤(s35)中，在输出最佳边缘配准位置(x,y)num的同时，会输出对应的旋转角度。

29、进一步地，下采样为最大值下采样。

30、进一步地，步骤(s1)中，在选定参考图像和待配准图像之前，还包括：对于每一幅边缘图像，执行以下步骤进行边缘清洗：

31、对边缘图像中包含的边缘点进行聚类，得到多个边缘类别；剔除掉包含边缘点数量小于预设的第一阈值的边缘类别。

32、进一步地，步骤(s2)中，在将各子边缘模板按位置组合得到匹配边缘模板之前，还包括：剔除掉包含的边缘点数小于预设的第二阈值的子边缘模板。

33、进一步地，步骤(s2)中，每个子图像块内构造的子边缘模板的宽和高分别如下：

34、

35、

36、其中，和分别表示子图像块的宽和高；ratio表示比例因子，且ratio＝0.6。

37、进一步地，步骤(s4)还包括：对待配准图像对应的源图像中的各像素进行位置变换后，将变换后的图像与另一幅源图像进行加权融合。

38、按照本发明的又一个方面，提供了一种计算机可读存储介质，包括：存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的基于边缘提取的异谱图像配准方法。

39、总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

40、(1)本发明利用红外图像和可见光图像间相关性更强的边缘信息进行配准计算，规避了灰度、梯度等信息不匹配的问题，提高了异谱图像的配准精度；在进行配准时，并不针对完整的边缘图像进行配准，而是将选定的参考图像划分为子图像块，并进一步找出各子图像块中指定大小、包含最多边缘点的区域构造子边缘模板，最终由这些子边缘模板构成匹配边缘模板，相比于完整的边缘图像，该匹配边缘模板在完整保存边缘特征的情况下，边缘点数大大减少，基于该匹配边缘模板进行图像配准，能够在保证配准精度的情况下，有效提高配准速度。

41、(2)在本发明的优选方案中，在确定匹配边缘模板后，进行图像配准时，采用了一种部分计算的方式，具体来说，会构造与匹配边缘模板大小相等的滑动框，通过移动滑动框并计算不同位置处滑动框与匹配边缘模板的边缘配准程度，确定最佳配准位置；在滑动框移动过程中，会实时记录最佳配准点数量，滑动框每移动到一个位置，都会先将滑动框内包含的边缘点数与当前的最佳配准点数进行比较，在滑动框内包含的边缘点数较少时，不进行配准计算，由此能够避免无效的计算量，进一步提高配准速度。

42、(3)在本发明的优选方案中，在确定匹配边缘模板后，进行图像配准时，采用了金字塔算法和部分计算相结合的方式，具体来说，先对待配准图像和匹配边缘模板进行下采样，采用部分计算的方式对下采样结果进行配准，确定最佳配准位置后，对应到待配准图像和匹配边缘模板中，并在待配准图像和匹配边缘模板中划定包含最佳配准位置的区域再次采用部分计算的方式进行配准，确定最终的最佳配准位置。通过对下采样的结果进行配准，能够以较少的计算量快速、粗略地确定最佳配准位置，在此基础行，在待配准图像和匹配边缘模板中划定一块区域进行二次配准，则可以精确确定最佳配准位置。因此，通过这种金字塔算法和部分计算相结合的方式，本发明能够进一步提高配准速度。进一步优选地，具体采用最大值下采样，能够保证图像在经过下采样后仍可以较好地保留边缘信息。

43、(4)本发明在通过部分计算的方式进行快速边缘配准时，在滑动框滑动到的每一个位置下，都会分别计算不同角度下的配准结果，辅助完成最佳配准位置的确定，由此能够充分考虑源图像间的相对旋转关系，保证配准精度。

44、(5)本发明在进行边缘提取之后，选定参考图像和待配准图像之前，会先对边缘点进行聚类，并剔除包含边缘点数较少的边缘类别，包含边缘点数较少的边缘类别往往为噪声，本发明通过剔除这样的边缘类别，能够有效避免噪声对配准精度的影响，同时，进一步减少配准的计算量。

45、(6)本发明在构造子边缘模板后，构造匹配边缘模板之前，会剔除其中边缘点数较少的子边缘模板，由此能够避免噪声对配准精度的影响，同时，进一步减少配准的计算量。

46、(7)本发明在构造子边缘模板时，设定的子边缘模板的宽和高与对应子图像块的宽和高的比例均为0.6，可以在保证配准精度的同时兼具较快的配准速度。