一种三维卷积的多模态图像配准方法及计算机可读介质

本发明属于遥感影像处理方法，具体涉及一种三维卷积的多模态图像配准方法及计算机可读介质。

背景技术：

1、随着计算机、遥感、人工智能等科学技术的发展，通过不同传感器获取多模态影像的种类愈加丰富。不同模态数据之间具有互补性，能充分发挥多模态数据的优势。整合这些多模态数据的关键就是多模态影像配准，即将不同时间、不同传感器拍摄的具有重叠场景的两幅或多幅图像进行配准的过程，它是图像处理(诸如：图像拼接、目标识别和变化检测等)的基本任务。同时也是为三维重建、抢险救灾、城市规划等多领域应用的重要技术支撑。由于多模态影像之间存在的非线性辐射畸变、图像噪声干扰及图像分辨率差异等问题，使得在多模态影像中快速识别同名点面临巨大挑战。

2、近年来，专家学者对多模态图像配准展开了大量研究，其中大致可以分为三类：基于特征的方法，基于深度学习的方法，基于区域的方法。多模态特征匹配方法的研究最早是通过改进sift算法开始的，但这一类方法对大对比度和非线性辐射差异的适应性较差。针对这一问题，学者从相位一致性模型出发，先后提出辐射不变变换特征匹配方法(rift)、绝对相位方向直方图匹配方法(hapcg)、基于多向特征的扩散张量描述子(motif)、多尺度联合平均梯度平方特征匹配方法(ms-hlmo)、基于局部归一化滤波增强的多模态匹配方法(lnift)。这些方法提高了多模态遥感影像匹配的辐射差异和几何差异抗性，但这些方法计算复杂度高，往往存在尺度差异抗性差的问题。

3、近几年深度学习多模态匹配方法飞速发展。基于卷积神经网络的特征提取和匹配(如d2-net)、基于图神经网络的匹配(如superglue)显著改善了匹配精度，但受限于数据集的丰富程度，这一类算法在应用中，仍面临辐射差异抗性差等问题。针对上述问题，学者提出了基于注意力机制的解决方案，在特征编码中将局部特征与全局特征相结合，显著提高了多模态匹配和弱纹理匹配的效果，如多模态图像补丁匹配方法、loftr算法和具有旋转不变性的se2-loftr改进方法、通过自注意力和交叉注意力来同步进行特征提取和特征相似性学习的matchformer匹配框架等。但由于多模态图像间的地物差异较大，样本获取困难，此类方法的泛化能力和适用性受到了限制。

4、区域匹配方法主要采用强度相似性度量和互信息进行相似性测度。其中，互信息对于复杂的辐射变化更加稳健，并且已经成功应用于多源图像配准。但互信息计算量通常较大，且存在抗噪性能差和位置精度不佳的问题。为了保证匹配精度，抵抗非线性灰度差异，学者提出了基于相位一致性模型和梯度定向直方图相结合的hopc、基于增强梯度特征框架(cfog)、组合一阶和二阶影像通道的可控滤波器结构特征匹配(sfoc)等方法，尽管区域方法对非线性差异具有较好的抵抗性，且识别的同名点位置精度更高，但主要存在的问题是对多模态影像之间的噪声影响仍较为敏感，且在模板匹配中计算量较大，匹配效率较低。

5、现有的匹配方法主要面临匹配同名点精度与匹配时间不兼顾，且成功匹配不稳健等问题。因此，研究一种能快速高效地识别出高精度同名点，且能有效摆脱对地理位置信息依赖的多模态匹配算法势在必行。基于此，本发明设计了一种基于自相似3d卷积特征的多模态影像配准算法(astc)。该方法弥补了多模态影像匹配中匹配精度与匹配效率不能兼顾的缺陷，能实现多模态影像的稳健配准。

技术实现思路

1、为了解决多模态遥感影像的配准问题，本发明提出了一种三维卷积的多模态图像配准方法及计算机可读介质。

2、本发明方法所采用的技术方案一种三维卷积的多模态图像配准方法，其特征在于：

3、在同一区域范围内获取第一多模态遥感影像与第二多模态遥感影像，通过非线性处理分别获取第一非线性处理后多模态遥感影像、第二非线性处理后多模态遥感影像；

4、将第一非线性处理后多模态遥感影像、第二非线性处理后多模态遥感影像分别通过相位一致性进行解算、特征提取、对数极坐标转换生成多通道邻近自相似特征图及三维高斯卷积过滤的特征，利用多项式粗差剔除方法进行粗差剔除相似性度量的方法，得到第一多模态遥感影像与第二多模态遥感影像之间的匹配特征点对，实现多模态遥感影像的稳健匹配。

5、本发明的具体步骤如下：

6、步骤1：在同一区域范围内，获取第一传感器采集的第一多模态遥感影像、获取第二传感器采集的第二多模态遥感影像，将第一多模态遥感影像、第二多模态遥感影像依次通过非线性处理，分别得到第一非线性处理后多模态遥感影像、第二非线性处理后多模态遥感影像；

7、步骤2：将第一非线性处理后多模态遥感影像、第二非线性处理后多模态遥感影像分别通过相位一致性进行解算，分别得到第一非线性处理后多模态遥感影像的最大矩特征和最小矩特征、第二非线性处理后多模态遥感影像的最大矩特征和最小矩特征；

8、步骤3：根据第一非线性处理后多模态遥感影像的最大矩特征和最小矩特征计算第一多模态遥感影像的平均力矩图像，根据第二非线性处理后多模态遥感影像的最大矩特征和最小矩特征计算第二多模态遥感影像的平均力矩图像；

9、步骤4：将第一多模态遥感影像的平均力矩图像、第二多模态遥感影像的平均力矩图像分别进行分块处理，依次得到第一多模态遥感影像的多个平均力矩子块图像、第二多模态遥感影像的多个平均力矩子块图像，将第一多模态遥感影像的每个平均力矩子块图像、第二多模态遥感影像的多个平均力矩子块图像分别通过fast特征提取，依次得到第一多模态遥感影像的每个平均力矩子块图像的多个特征点、第二多模态遥感影像的每个平均力矩子块图像的多个特征点，通过第一多模态遥感影像的多个平均力矩子块图像的多个特征点构建第一多模态遥感影像的特征点集合，通过第一多模态遥感影像的多个平均力矩子块图像的多个特征点构建第二多模态遥感影像的特征点集合；

10、步骤5：将第一非线性处理后多模态遥感影像、第二非线性处理后多模态遥感影像分别通过自适应直方图均衡化处理，依次得到第一均衡化处理后多模态遥感影像、第二均衡化处理后多模态遥感影像；

11、步骤6：将第一均衡化处理后多模态遥感影像、第二均衡化处理后多模态遥感影像依次通过对数极坐标转换、八邻域双线性内插、均值滤波得到对数极坐标系下第一多模态遥感影像的八通道的邻近自相似图、对数极坐标系下第二多模态遥感影像的八通道的邻近自相似图；

12、步骤7：将对数极坐标系下第一多模态遥感影像的八通道的邻近自相似图利用三维卷积模型进行结构噪声滤除处理，得到第一多模态遥感影像的八通道的滤波后邻近自相似图；将对数极坐标系下第二多模态遥感影像的八通道的邻近自相似图利用三维卷积模型进行结构噪声滤除处理，得到第二多模态遥感影像的八通道的滤波后邻近自相似图；

13、步骤8：分别构建第一多模态遥感影像的八通道特征点集合、第二多模态遥感影像的八通道特征点集合，将第一多模态遥感影像的八通道滤波后邻近自相似图特征点集合中每个特征点、第二多模态遥感影像的八通道滤波后邻近自相似图特征点集合中每个特征点遍历进行快速傅里叶相似度计算，得到第一多模态遥感影像的八通道滤波后邻近自相似图特征点集合中每个特征点与第二多模态遥感影像的八通道滤波后邻近自相似图特征点集合中每个特征点之间的相似度；

14、步骤9：将第一多模态遥感影像的八通道滤波后邻近自相似图特征点集合中每个特征点与第二多模态遥感影像的八通道滤波后邻近自相似图特征点集合中每个特征点之间的相似度，利用多项式粗差剔除方法进行粗差剔除，得到第一多模态遥感影像与第二多模态遥感影像之间的匹配特征点对，实现多模态遥感影像的稳健匹配。

15、作为优选，步骤3所述第一多模态遥感影像的平均力矩图像，具体计算如下：

16、ma＝(ma_max+ma_min)/2

17、其中，ma表示第一多模态遥感影像的平均力矩图像，ma_max表示第一非线性处理后多模态遥感影像的最大矩特征，ma_min表示第一非线性处理后多模态遥感影像最小矩特征；

18、步骤3所述第二多模态遥感影像的平均力矩图像，具体计算如下：

19、mb＝(mb_max+mb_min)/2

20、其中，mb表示第二多模态遥感影像的平均力矩图像，mb_max表示第二非线性处理后多模态遥感影像的最大矩特征，mb_min表示第二非线性处理后多模态遥感影像最小矩特征；

21、作为优选，步骤6所述对数极坐标转换处理，具体过程如下：

22、将第一均衡化处理后多模态遥感影像、第二均衡化处理后多模态遥感影像进行对数极坐标转换，分别得到对数极坐标系下第一多模态遥感影像、对数极坐标系下第二多模态遥感影像；

23、步骤6所述八邻域双线性内插处理，具体过程如下：

24、将对数极坐标系下第一多模态遥感影像每个像素坐标点、对数极坐标系下第二多模态遥感影像每个像素坐标点分别进行八邻域双线性内插，依次得到对数极坐标系下第一多模态遥感影像的内插处理后八通道的偏移子图、对数极坐标系下第二多模态遥感影像的内插处理后八通道的偏移子图；

25、步骤6所述均值滤波处理，具体过程如下：

26、将对数极坐标系下第一多模态遥感影像的内插处理后八通道的偏移子图、对数极坐标系下第二多模态遥感影像的内插处理后八通道的偏移子图分别依次进行均值滤波，依次获得对数极坐标系下第一多模态遥感影像的八通道的邻近自相似图、对数极坐标系下第二多模态遥感影像的八通道的邻近自相似图。

27、作为优选，步骤7所述将对数极坐标系下第一多模态遥感影像的八通道的邻近自相似图利用三维卷积模型进行结构噪声滤除处理，具体如下：

28、

29、

30、其中，g(x,y,z)a_3d为第一多模态遥感影像的三维高斯卷积函数结果集，其中下标a指代第一多模态遥感影像；x和y分别表示二维图像的行方向和列方向的像素值；其中σ为高斯核函数的标准差；表示矩阵乘法符号，z表示三维高斯卷积的第三维卷积核大小，t表示转置符号，i表示高斯卷积维度数，ga_o(x,y)表示第一多模态遥感影像的第o层的邻域自相似特征图，ga_o+1(x,y)表示第一多模态遥感影像的第o+1层的邻域自相似特征图，ga_o+2(x,y)表示第一多模态遥感影像的第o+2层的邻域自相似特征图，ga_1表示第一多模态遥感影像的三维高斯卷积核的第一维卷积核，ga_2表示第一多模态遥感影像的三维高斯卷积核的第二维卷积核，ga_3表示第一多模态遥感影像的三维高斯卷积核的第三维卷积核；

31、三维高斯卷积核将自相似特征卷积如下所示：

32、stcfa_i(x,y)＝||g(x,y,z)a_3d||2

33、其中，stcfa_i(x,y)为第一多模态遥感影像的三维高斯卷积后的邻域自相似特征图集合，|| ||2为取绝对值。

34、步骤7所述将对数极坐标系下第二多模态遥感影像的八通道的邻近自相似图利用三维卷积模型进行结构噪声滤除处理，具体如下：

35、

36、

37、其中g(x,y,z)b_3d为第二多模态遥感影像的三维高斯卷积函数结果集，其中下标b指代第二多模态遥感影像；x和y分别表示二维图像的行方向和列方向的像素值；其中σ为高斯核函数的标准差；表示矩阵乘法符号，z表示三维高斯卷积的第三维卷积核大小，t表示转置符号，i表示高斯卷积维度数；gb_o(x,y)表示第二多模态遥感影像的第o层的邻域自相似特征图，gb_o+1(x,y)表示第二多模态遥感影像的第o+1层的邻域自相似特征图，gb_o+2(x,y)表示第二多模态遥感影像的第o+2层的邻域自相似特征图，gb_1表示第二多模态遥感影像的三维高斯卷积核的第一维卷积核，gb_2表示第二多模态遥感影像的三维高斯卷积核的第二维卷积核，gb_3表示第二多模态遥感影像的三维高斯卷积核的第三维卷积核。

38、三维高斯卷积核将自相似特征卷积如下所示：

39、stcfb_i(x,y)＝||g(x,y,z)b_3d||2

40、其中，stcfb_i(x,y)为第二多模态遥感影像的三维高斯卷积后的邻域自相似特征图集合，|| ||2为取绝对值。

41、作为优选，步骤8所述分别构建第一多模态遥感影像的八通道特征点集合、第二多模态遥感影像的八通道特征点集合，具体如下：

42、遍历第一多模态遥感影像的特征点集合中每个特征点的像素坐标，依次在第一多模态遥感影像的八通道的滤波后邻近自相似图中提取对应像素坐标的像素点以构建第一多模态遥感影像的八通道特征点集合，遍历第二多模态遥感影像的特征点集合中每个特征点的像素坐标，依次在第二多模态遥感影像的八通道的滤波后邻近自相似图中提取对应像素坐标的像素点以构建第二多模态遥感影像的八通道特征点集合；

43、本发明还提供了一种计算机可读介质，所述计算机可读介质存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，执行所述多模态图像配准方法的步骤。

44、与现有技术相比，本发明具有如下优点和有益效果：

45、本发明提出的多模态图像配准方法分为特征点提取、显著性特征构建、特征相似性度量等三部分。首先，特征点提取，采用block-fast均匀提取关键点。其次，构建相邻自相似三维卷积显著性特征。通过引入局部邻域自相似模型，构建多向特征数据聚，然后通过设计三维卷积函数进行特征结构特征增强，从而完成图像特征描述。最后，将相邻自相似三维卷积方法结合快速傅里叶变换生成的相似性度量模型，借助模板匹配框架实现精细化匹配。提出的构建相邻自相似三维卷积显著性特征方法，通过引入局部定向自相似模型，构建多维显著性特征图层。通过设计的三维卷积函数进行特征结构特征增强。可以更好地解决多模态影像之间的非线性辐射畸变和强噪声干扰问题，从而获取显著的相似性特征。block-fast关键点提取方法可以快速提取具有均匀分布特性的关键点。结果表明，本发明提出的方法弥补了多模态影像匹配中匹配精度与匹配效率不能兼顾的缺陷，能实现多模态影像的稳健配准。