跨模态的光-SAR图像配准方法、装置、设备和介质

本技术涉及跨模态遥感图像处理，特别是涉及一种跨模态的光-sar图像配准方法、装置、设备和介质。

背景技术：

1、光学和sar图像配准(osir)是遥感应用中的一项关键任务，如目标检测、地理定位和图像融合。光学图像擅长捕捉精细纹理和表面细节，但光学传感器对光线和天气条件很敏感。相比之下，sar传感器具有全天候和全天成像能力的优势。

2、然而，光学sar图像对之间成像机制的固有差异对它们的配准提出了重大挑战。此外，显著的几何和辐射差异使osir在遥感图像配准任务中特别困难。现有的osir方法通常可以分为三组：基于特征的方法，基于区域的方法，和基于学习的方法。这几类方法都可以达到较好的效果，但是，在实现具有显著几何变化的光学、sar图像对的高精度和高效配准方面仍然面临巨大的挑战。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够进行精准配准的跨模态的光-sar图像配准方法、装置、设备和介质。

2、一种跨模态的光-sar图像配准方法，所述方法包括：

3、获取待进行配准的光学图像和sar图像；

4、利用训练好的光流估计神经网络，根据所述光学图像和sar图像生成得到以光学图像、sar图像为输入顺序的第一光流图，以及以sar图像、光学图像为输入顺序的第二光流图；

5、计算所述第一光流图中各像素分别与所述第二光流图中各像素之间的相似性获得置信度掩膜，利用所述置信度掩膜在所述光学图像上确定第一高置信度点集；

6、利用第二光流图将所述光学图像上的第一高置信度点集映射至所述sar图像上，得到与所述第一高置信度点集对应的第二高置信度点集；

7、对所述第一高置信度点集与第二高置信度点集中各同名点对之间的线性关系进行回归，得到仿射矩阵参数，根据所述仿射矩阵参数，对所述光学图像和sar图像进行配准。

8、在其中一实施例中，对所述光流估计神经网络进行训练，包括：

9、根据多个已匹配的光学样本图像以及sar样本图像对构建训练数据集，所述训练数据集中包括多个训练数据对，各所述训练数据对中均包括光学训练图像以及sar训练图像；

10、将所述训练数据对中的光学训练图像以及sar训练图像分别以不同的输入顺序输入至所述光流估计神经网络中，分别得到以光学训练图像、sar训练图像为输入顺序的光学sar光流图，以及以sar训练图像、光学训练图像为输入顺序的sar光学光流图；

11、根据所述光学sar光流图以及对应的真值光流图计算得到标准光流估计误差；

12、根据所述光学sar光流图以及sar光学光流图计算得到对称损失；

13、利用所述标准光流估计误差与对称损失对所述光流估计神经网络进行训练，直至损失函数收敛，得到所述训练好的光流估计神经网络。

14、在其中一实施例中，所述根据多个已匹配的光学样本图像以及sar样本图像对构建训练数据集包括：

15、在各匹配的光学样本图像以及sar样本图像对中，采用随机生成的光流场对sar样本图像进行仿射变换，得到变换后的sar样本图像；

16、对变换后的sar样本图像以及对应的光学样本图像在相同位置，按照预设尺寸进行裁剪，得到sar训练图像以及光学训练图像；

17、根据所述sar训练图像以及光学训练图像构建得到所述训练数据对。

18、在其中一实施例中，根据所述光学sar光流图以及sar光学光流图计算得到对称损失，采用以下公式：

19、

20、在上式中，表示所述光学sar光流图；表示所述sar光学光流图；n表示网络输出的光流序列总数；i表示光流序列中第i个光流；ω表示各分量权重，当i越接近n，该项权重越大。

21、在其中一实施例中，所述计算所述第一光流图中各像素分别与所述第二光流图中各像素之间的相似性获得置信度掩膜包括：

22、在所述第一光流图以及第二光流图中任选一个像素，将以该像素为中心，预设值为宽度的矩形点集内的所有像素按顺序进行排列，依据光流图中x轴上位移信息和y轴上位移信息分别得到两个向量，并将这两个向量进行连接，得到表示该像素特征的一维向量；

23、将所述第一光流图中各像素的一维向量分别与所述第二光流图中各像素的一维向量之间的角度余弦值作为两个像素之间的相似性度量，并得到所述置信度掩膜。

24、在其中一实施例中，所述利用所述置信度掩膜在所述光学图像上确定第一高置信度点集包括：

25、在所述置信度掩膜上选取相似性大于预设阈值的像素点构建第一高置信度点集，且所述第一高置信度点集中的像素点的个数满足预设个数。

26、在其中一实施例中，对所述第一高置信度点集与第二高置信度点集中各同名点对之间的线性关系进行回归时，采用最小二乘法。

27、本技术还提供了一种跨模态的光-sar图像配准装置，所述装置包括：

28、待配准图像获取模块，用于获取待进行配准的光学图像和sar图像；

29、光流图得到模块，用于利用训练好的光流估计神经网络，根据所述光学图像和sar图像生成得到以光学图像、sar图像为输入顺序的第一光流图，以及以sar图像、光学图像为输入顺序的第二光流图；

30、第一高置信度点集得到模块，用于计算所述第一光流图中各像素分别与所述第二光流图中各像素之间的相似性获得置信度掩膜，利用所述置信度掩膜在所述光学图像上确定第一高置信度点集；

31、第二高置信度点集得到模块，用于利用第二光流图将所述光学图像上的第一高置信度点集映射至所述sar图像上，得到与所述第一高置信度点集对应的第二高置信度点集；

32、图像配准模块，用于对所述第一高置信度点集与第二高置信度点集中各同名点对之间的线性关系进行回归，得到仿射矩阵参数，根据所述仿射矩阵参数，对所述光学图像和sar图像进行配准。

33、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

34、获取待进行配准的光学图像和sar图像；

35、利用训练好的光流估计神经网络，根据所述光学图像和sar图像生成得到以光学图像、sar图像为输入顺序的第一光流图，以及以sar图像、光学图像为输入顺序的第二光流图；

36、计算所述第一光流图中各像素分别与所述第二光流图中各像素之间的相似性获得置信度掩膜，利用所述置信度掩膜在所述光学图像上确定第一高置信度点集；

37、利用第二光流图将所述光学图像上的第一高置信度点集映射至所述sar图像上，得到与所述第一高置信度点集对应的第二高置信度点集；

38、对所述第一高置信度点集与第二高置信度点集中各同名点对之间的线性关系进行回归，得到仿射矩阵参数，根据所述仿射矩阵参数，对所述光学图像和sar图像进行配准。

39、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

40、获取待进行配准的光学图像和sar图像；

41、利用训练好的光流估计神经网络，根据所述光学图像和sar图像生成得到以光学图像、sar图像为输入顺序的第一光流图，以及以sar图像、光学图像为输入顺序的第二光流图；

42、计算所述第一光流图中各像素分别与所述第二光流图中各像素之间的相似性获得置信度掩膜，利用所述置信度掩膜在所述光学图像上确定第一高置信度点集；

43、利用第二光流图将所述光学图像上的第一高置信度点集映射至所述sar图像上，得到与所述第一高置信度点集对应的第二高置信度点集；

44、对所述第一高置信度点集与第二高置信度点集中各同名点对之间的线性关系进行回归，得到仿射矩阵参数，根据所述仿射矩阵参数，对所述光学图像和sar图像进行配准。

45、上述跨模态的光-sar图像配准方法、装置、设备和介质，通过利用训练好的光流估计神经网络根据光学图像和sar图像提取得到第一光流图以及第二光流图，并计算第一光流图与第二光流图中各像素之间的相似性获得置信度掩膜，利用掩膜在光学图像上确定第一高置信度点集，再利用第二光流图将第一高置信度点集映射sar图像上，得到与第一高置信度点集对应的第二高置信度点集，最后对第一高置信度点集与第二高置信度点集中各同名点对之间的线性关系进行回归，得到仿射矩阵参数，根据该仿射矩阵参数，实现对光学图像和sar图像之间的配准。采用本方法可精准并快速的对跨模态图像进行配准。