一种基于迭代匹配思路的特征匹配方法

本发明属于视觉图像处理领域，具体是一种基于迭代匹配思路的特征匹配方法。

背景技术：

1、基于特征点的图像匹配对于计算机视觉有重要的意义。在图像拼接，三维重建和视觉定位等领域，需要通过特征匹配来确定图像之间的空间位置关系从而达到拼接，重建和定位的目的。现有的传统匹配方法无法应对来自于大尺度的视角变化，光照变化，模糊，重复的纹理信息，甚至是低纹理信息的挑战。

2、现有的基于深度学习的特征匹配方法主要分为两类：一类工作目标是通过提取更鲁棒的描述子，例如hardnet，superpoint，来解决特征匹配目前存在的挑战；另一类是设计出直接将特征匹配关系作为网络输出的深度神经网络，例如superglue。前者由于仅能够提取特征点周围有限的信息，无法得到全局信息以及对应匹配图像的信息，因此不可能取得一个真正鲁棒，准确的特征。而后者虽然通过transformer注意力机制可以获得更多的特征信息，然而由于该过程是一个广泛的注意力过程(特征点需要关注所有特征点)，不可避免的需要深层次的迭代(这往往意味着较大的计算开销)才能使注意力逐渐收敛(筛选得到有用的信息)，才能得到一个好的匹配结果。

技术实现思路

1、本发明提出了一种基于迭代匹配思路的特征匹配方法，要解决的技术问题是在复杂多变的场景下面对来自于大尺度的视角变化、光照变化、模糊、重复的纹理信息，甚至是低纹理信息的挑战，通过迭代匹配精准控制基于transformer的注意力机制的感受野，从而保证特征匹配的鲁棒性以及良好的实时性。

2、所述基于迭代匹配思路的特征匹配方法，具体步骤如下：

3、步骤一、将需要进行匹配的两张原始rgb图像进行去畸变并转换为灰度图像，输入特征提取网络superpoint中得到各图像特征点与对应的描述子；

4、特征点是一类对光照变化，视角变化不敏感的像素特征。描述子是一类有256维浮点数组成的向量，用于描述特征点及其周围的纹理特征。

5、步骤二、利用描述子计算两张图像的特征点之间的匹配得分和不匹配得分，构建相似度得分矩阵；

6、特征点之间匹配得分pi,j以及特征点不匹配得分计算公式如下：

7、

8、

9、其中，fi表示特征点i对应的描述子，fj为特征点j对应的描述子；a，b分别为匹配的原始rgb图像各自对应的特征点集合；<>为描述子的内积运算；θ为可学习参数，由训练拟合生成；r为实数；na，nb分别为特征点集合a，b中的特征点数目。

10、相似度得分矩阵计算公式为：

11、步骤三、利用sinkhorn算法优化相似度得分矩阵，得出匹配关系分布矩阵；

12、匹配关系分布矩阵是一个概率分布矩阵，反映了特征点对之间匹配的概率以及不匹配的概率；将满足下列约束条件的匹配概率视为匹配成功：

13、

14、将所有匹配成功的匹配概率组成匹配关系分布矩阵；

15、步骤四、从匹配关系分布矩阵中，得出每组特征点之间的匹配关系概率分布，通过nms非极大值抑制法，选出各组彼此不相邻的匹配特征点，将其概率标记为0；

16、满足以下条件的特征点属于彼此不相邻的匹配特征点：

17、pi1,j1＝0(ifpi1,j1＜pi2,j2&&distance(pi1,j1pi2,j2)＜r)

18、pi1,j1表示特征点i1,j1之间的匹配概率；pi2,j2表示特征点i2,j2之间的匹配概率；

19、i1,i2∈a,j1,j2∈b；distance()计算了两组特征点在两张图像的像素距离的最小值，r是非极大值抑制半径。

20、步骤五、判段匹配关系概率分布中匹配特征点对的数量是否满足要求或达到最大迭代次数，若满足，输出匹配结果；若不满足，进入步骤六；

21、步骤六、针对每个特征点，在各自所属感受范围内进行基于transformer的self-attention和cross-attention生成新的描述子；

22、针对特征点i，生成该特征点i的新的描述子fi,new，公式如下：

23、fi,new＝mlp(fi,old|∑j∈battentioni,j*vj)

24、fi,new表示特征点i的新的描述子，fi,old表示特征点i的旧的描述子，(·|·)表示向量拼接操作；

25、vj由特征向量fj通过多层感知机mlp映射得出，用于特征向量融合；attentioni,j表示注意力权重，计算如下：

26、

27、qi表示基于tansformer的attention机制，将特征点i对应的旧的描述子通过多层感知机映射为q向量；kj表示基于tansformer的attention机制，将特征点j对应的旧的描述子通过多层感知机映射为k向量；

28、步骤七、返回步骤二，将所有特征点生成的新的描述子构建似度得分矩阵，并获得匹配关系分布矩阵，降低非极大值抑制半径，得到新的匹配特征点。

29、本发明的有益效果在于：

30、本发明一种基于迭代匹配思路的特征匹配方法，在极大降低注意力机制运算开销的同时保证了匹配质量的不受影响。

技术特征：

1.一种基于迭代匹配思路的特征匹配方法，其特征在于，具体步骤如下：

2.如权利要求1所述的一种基于迭代匹配思路的特征匹配方法，其特征在于，所述特征点是一类对光照变化，视角变化不敏感的像素特征；描述子是一类有256维浮点数组成的向量，用于描述特征点及其周围的纹理特征。

3.如权利要求1所述的一种基于迭代匹配思路的特征匹配方法，其特征在于，所述步骤六中，针对特征点i，生成该特征点i的新的描述子fi,new，公式如下：

技术总结
本发明提出一种基于迭代匹配思路的特征匹配方法，属于视觉图像处理领域；具体是首先，将需要进行匹配的两张原始图像进行特征提取，得到特征点与描述子；然后，利用描述子计算特征点之间的匹配得分构建相似度得分矩阵；并利用Sinkhorn算法优化得出匹配关系分布矩阵；接着，从匹配关系分布矩阵中得出匹配关系概率分布，通过NMS非极大值抑制法，选出各组彼此不相邻的匹配特征点，将其概率标记为0；最后，判段匹配特征点对的数量是否满足要求，如果是，输出匹配结果；否则，对每个特征点重新生成新的描述子，并返回构建似度得分矩阵，通过降低非极大值抑制半径，得到新的匹配特征点。本发明在极大降低注意力机制运算开销的同时保证了匹配质量的不受影响。

技术研发人员：焦继超,陈文豪,李宁,徐威,逄敏,董建业,张晗,李嘉俊
受保护的技术使用者：北京邮电大学
技术研发日：
技术公布日：2024/1/16