基于最大索引图的可见光与SAR影像智能配准方法

本发明属于遥感图像配准、计算机视觉、模式识别等交叉应用，基于最大索引图生成方法、特征点提取与检测算法、图网络匹配算法、同名点匹配等关键技术，特别涉及一种基于最大索引图(maximal index map，mip)的可见光与sar影像智能配准方法。

背景技术：

1、图像配准是指将不同时间、不同角度、不同传感器、不同天气条件下对同一目标区域获取的两幅或多幅影像进行匹配、叠加的过程。随着计算机视觉的发展，图像配准已被广泛的应用于遥感测绘、机器视觉、无人驾驶、三维重建、医疗影像等领域。本文的研究重点是遥感影像的异源配准。

2、图像配准的步骤包括：(1)检测特征点，(2)生成描述向量，(3)匹配特征点，(4)滤除外点，(5)得到变换矩阵。如果两幅影像存在一定的仿射变换，通常以其中一幅图像作为源图像，另一张作为目标图像进行仿射变换。图像配准的标准技术流程如下：首先根据特征点提取算法获取两幅或多幅影像的特征点，再根据特征点周围的邻域信息生成描述向量，然后基于特征点的位置信息以及描述子的结构信息进行特征点的配对，最后剔除误匹配点得到目标图像的变换矩阵，从而对其进行几何校正，即将两幅影响转换到统一的坐标系下。通常来说，图像配准都是作为计算机视觉领域中的第一步，其后的图像处理都是基于配准后的图像。

3、不同类型的传感器可以获取不同类型的影像。根据成像传感器的异同，图像配准可以分为同源和异源两大类。同源图像配准是指用于配准的两幅或多幅影像源自相同类型的传感器。鉴于成像时间、角度，以及光照条件等差异，目标区域在像素坐标和灰度信息上存在显著不同，因此需要通过相似性度量或明显的特征建立几何空间中的对应关系。经典的同源图像配准包括可见光-可见光配准、红外图像-红外图像配准。而异源图像配准是指用于配准的两幅或多幅影像来源于不同类型的传感器。随着遥感技术逐渐普及，单一传感器采集的图像已无法满足一些较复杂场景下的应用，而多种传感器采集的图像可以通过信息融合实现信息互补，这一优势使得人们对异源图像配准的需求更加迫切。例如在军事打击中，可见光图像具有丰富的纹理信息，但容易收到天气情况的影响，例如夜间成像。而波长更长的红外线对热源更敏感，红外图像具备全天候成像的能力，因此可见光-红外影像可以通过信息融合实现信息的互补。

4、可见光-sar影像配准是一种经典的异源图像配准模式。sar又称合成孔径雷达，通过卫星发射微波到地面，再接收从地面反射回来的微波信号，通过解译等处理得到影像。它是一种主动式的对地观测卫星，具有很强的地表穿透能力，利用sar影像可以实施全天候的对地观测。而可见光图像是一种常见的遥感影像，具有丰富的纹理信息。缺点是易受天气条件的影响，夜间成像或目标区域有云、雨、雾气遮挡，会导致局部成像效果差。二者信息互补，可用于图像融合，在图像信息融合之前，需要采用图像配准技术对目标图像进行几何校正。由于两种图像的特性，光学影像和sar影像间存在显著的非线性辐射畸变(nrd)，会导致传统的点特征匹配算法失效。因此，异源图像配准要求算法对图像本身具有更高层次的理解能力，从结构信息和位置信息出发找出异源图像间的共性。不仅针对遥感领域中的特定场景和模态，本文对其他场景下的计算机视觉任务的研究也具有重要意义。

技术实现思路

1、在遥感领域，sar成像几乎不受天气条件和时间的影响，能够全天候、全天时的成像。相对于同源图像任务，光学图像和sar影像的成像特点在于：首先，sar影像存在斑点噪声；其次，由于成像原理的不同，可见光与sar影像存在诸如叠影、透视收缩、雷达阴影等几何特性差异。同时，可见光与sar影像存在辐射特性差异，这是由于二者成像在不同波长，导致光学图像和sar影像存在nrd差异，而nrd差异会使图像的同名区域呈现出不同的灰度特征。而同源图像配准任务以其相对简单、处理方法较为成熟的原因，已得到广泛应用。鉴于可见光与sar影像的特点，本发明在用点特征处理二者的配准问题时，先用二维对数-gabor滤波器(2d-lgf)将图像转换成mip，再用处理同源图像的方法处理可见光与sar配准问题。

2、本发明提出的基于mip的可见光与sar影像智能配准方法，主要包括mip构建、特征检测与描述网络、特征匹配网络这三个步骤，网络的整体结构如图1所示。给定相同大小的光学影像和sar影像，网络将输出预测的变换矩阵amatch。首先，使用2d-lgf将图像转换成mip，再用处理同源图像的方法处理可见光与sar配准问题。其次，使用cnn网络进行图像区域特征的提取与描述，分别得到一个点集，每个点集包括特征点坐标及其置信度，以及描述符。接着，将此点集输入特征匹配网络。最后，利用sinkhorn算法完成最优匹配，得到预测的变换矩阵amatch。

3、最大索引图(mip)构建：

4、mip构建的网络结构如图2所示。对于一对原始的光学影像和sar影像作为该模块的输入，根据基于空间域的2d-lgf得到奇对称小波和偶对称小波；再将奇对称小波和偶对称小波分别跟图像做卷积得到奇对称响应和偶对称响应；随后将幅值响应作为某一初始角度下的响应图像，同理，根据不同的初始角度可以得到一个含有n2个通道的卷积序列cs；对于每一个像素点，取全部n2个通道的最大索引作为新状态图在该像素点的像素值，全部像素点的最大索引值构成了新状态图；最后输出mip，这种图像将有利于后续的特征提取网络提取点特征。

5、具体来说，最大索引图的构建需要分两步：先生成基于2d-lgf的响应图，再生成基于最大索引的新状态图。s表示尺度，o表示通道。

6、(1)基于2d-lgf的响应图

7、2d-lgf在空间域的表达式，如式(1)所示：

8、l(x,y,s,o)＝l1(x,y,s,o)+il2(x,y,s,o)    (1)

9、式中，l1(x,y,s,o)和l2(x,y,s,o)分别表示空间域中2d-lgf的实部和虚部，或者说是对数-gabor小波的偶对称项和奇对称项。现假设图像为i(x,y)，将图像与2d-lgf的实部和虚部分别做卷积，可得到w1(x,y)和w2(x,y)。

10、

11、

12、式中，表示卷积操作，w1(x,y)、w2(x,y)分别表示图像和偶对称小波的响应元素、图像和奇对称小波的响应元素。接着，就可以得到在当前尺度和角度下的幅值响应aso(x,y)，如式(4)所示：

13、

14、(2)基于最大索引的新状态图

15、对于当前尺度和角度，可以得到一个幅值响应aso(x,y)。在当前角度下，将所有的尺度s所对应的幅值响应进行累加得到ao(x,y)，如式(5)所示。将n2个通道的幅值响应进行累加，构成一个卷积序列cs，如式(6)所示。

16、

17、

18、对于卷积序列cs的每个像素点(xi,yi)，取其在所有通道上的最大像素值对应的索引，可以得到pix(xi,yi)，即同理，对于卷积序列cs，在所有像素点位置取pix(xi,yi)，即可构成最大索引图。基于最大索引的新状态图将用于后续的特征检测与描述网络，其中，取n1＝6、n2＝6。

19、特征检测与描述网络：

20、本发明的特征检测与描述网络基于superpoint算法。该网络由一个特征共享的编码器以及特征检测和特征描述两个解码器组成，如图3所示。该模块的输入是基于最大索引的新模态图，输出是特征点坐标loc及其置信度c，及描述向量des。

21、对于该网络，输入光学影像和sar影像的新模态图i1、i2，首先经过一个特征共享的编码器，这个编码器可以有效减少参数量，再将得到的卷积层分别送入两个解码器分支，分别是特征检测分支和特征描述分支，最后i1、i2分别一个点集a和b。对于a、b，有(loci,ci,desi)a、(locj,cj,desj)b。作为特征检测与描述网络网络的输出，a和b将输入后续的特征匹配网络。下面将对编码器和两个解码器分支逐一介绍。

22、(1)特征共享编码器

23、诸如这种密集预测的标准网络设计都是一个编码器-解码器对，空间分辨率经过编码器的池化或步长卷积操作下降，再经过上采样复原到原分辨率。但上采样会增加模型的计算量，因此本网络设计了一个共享特征的编码器。该编码器使用类似vgg的网络减少图像的维度，其中包含若干卷积层、三次空间下采样和非线性激活函数relu。特征共享编码器将h×w大小的输入图像降采样至h/8×w/8大小，即一个h/8×w/8×c的张量。经过共享特征的编码器减少了模型整体的参数量。

24、(2)特征检测分支解码器

25、特征检测分支解码器的输入卷积层的大小是h/8×w/8×65，经过softmax操作和reshape操作，输入卷积层被reshape成h×w×1大小，特征检测分支解码器的输出是h×w×1大小的映射图，经提取得到特征点的坐标信息loc和相应置信度c。

26、(3)特征描述分支解码器

27、特征检测分支解码器的输入卷积层的大小是h/8×w/8×256，经过双-三线性插值和l2正则化，输入卷积层被reshape成h×w×256大小，特征描述分支解码器的输出是h×w×256大小的映射图，经提取得到特征向量des。

28、特征匹配网络：

29、特征点匹配网络由特征信息编码层、自注意力层、交叉注意力层和稀疏匹配四个部分组成，其网络结构如图4所示。特征检测与描述网络的输出点集a和b作为该网络的输入，特征信息编码层将特征点的位置信息loc和置信度c嵌入到高维度的特征描述向量des中，gnn网络中若干个自注意力层和交叉注意力层进一步聚合上下文信息，gnn的输出是特征点i和j的匹配描述向量和做内积运算得到的内积映射图，用于最优传输与外点滤除从而进行稀疏匹配。

30、(1)特征信息编码层

31、特征检测与描述网络检测到的特征点，由于点际间没有从属关系，因此无法定义边结构，于是本方法中的图网络模型只考虑节点信息。特征信息编码层是分别将点集a和b中特征点的位置信息及相应置信度输入多层感知机(mlp)中，再将编码结果嵌入256维度的特征向量中，得到一个新的特征向量，用于后续聚合上下文信息。对于点集a和b，有(loci,ci,desi)a、(locj,cj,desj)b，特征信息编码层用公式可分别表述为公式(7)和公式(8)。

32、fi(0)＝desi+mlp(loci,ci)    (7)

33、fj(0)＝desj+mlp(locj,cj)    (8)

34、对于两张图的全部特征点，这些节点之间存在两种类型的边：域内边和跨域边。域内边是指图像内部节点构成的边，跨域边是指图像中的任一节点与另一幅图像的节点构成的边。每个节点等于上一层节点本身，及其相邻节点的权重之和，注意力机制通过更新域内边和跨域边反复更新节点的权重值。

35、(2)自注意力层

36、自注意力层通过更新图片内部的节点更新其权重，如图5所示。对于点集a，fi(l)分别通过一层mlp得到q1、k1、v1三个向量。q1转置后经过softmax操作得到相邻节点的权重和，再与v1相乘得到当前节点的更新m。m经过一层mlp再与q1拼接得到256×2大小的矩阵，再经过两层mlp映射得到256大小的向量，这个向量将作为对fi(l)的更新部分。对于点集b同理。

37、(3)交叉注意力层

38、交叉注意力层通过更新图片之间的节点更新其权重，如图5所示。交叉注意力层与自注意力层原理相同，只不过用的是图片之间的相邻节点。自注意力层、交叉注意力层重复l次。

39、(4)稀疏匹配

40、当源图特征亮度高于背景，而目标图特征亮度低于背景，常常会发生源图多个特征点匹配到目标图的同一个特征点上，或者前景特征点匹配到背景目标点。因此，在gnn配准后引入可微的最优传输的可以解决源图多个特征点匹配到目标图的同一个特征点上这一问题。

41、gnn网络通过聚合上下文信息得到匹配描述向量和最优传输层首先把向量fia、求内积矩阵得到pinner，对于pinner，有如图4所示，a、b中分别有m和n个特征点。若a中某一特征点与b中的某一特征点匹配，那么将内乘积存入内积矩阵；若a中所有的特征点都不与b中的特征点匹配，此时增加一行dustbin，类似这样，a中该特征点就可以与b中加的一行匹配，同理，若b中所有的特征点都不与a中的特征点匹配，此时增加一列dustbin，类似这样，b中该特征点就可以与a中加的一列匹配。至此，a中所有的特征点都与b中的特征点存在一一映射关系。令增加了dustbin的内积矩阵叫做p’，且令dustbin中的值为固定值λ，此处的λ是训练时学习得到的。于是，有式(9)：

42、

43、若i、j匹配，此时p’i,j应该最大，而i和n+1、j和m+1应该很小。因此，点际之间的匹配关系即为一一映射关系，使得pi’,j各元素值之和最大。接着，将p’作为代价矩阵输入最优传输算法sinkhorn迭代n次，求解出一个近似的匹配矩阵amatch。sinkhorn是一种可微的算法，因此适用于需要反向传播的深度学习网络。

44、与现有技术相比，本发明具有如下的特点和优势：

45、1)使用2d-lgf将图像转换成同源图像，mip反映了当前像素点对周围点光度和相位的变化情况，它对当前像素点周围的光度变化率和相位变化率更敏感；

46、2)将适用同源配准任务的卷积网络用于特征点的检测和描述，保证特征点的重复率；

47、3)相比于目前的主流配准算法，基于mip的可见光与sar影像配准显著提高了匹配精度。