一种基于分割大模型与注意力融合的图像匹配方法和装置

本发明涉及图像匹配，尤其涉及基于分割大模型与注意力融合的图像匹配方法和装置。

背景技术：

1、关于图像匹配方法的研究有很多，其中包括基于关键点检测器的局部特征匹配方法、无检测器的局部特征匹配方法等，在这一类方法的基础上又可以引入transformer即变换来强化提取的特征。

2、基于关键点检测的方法通常包括局部特征点提取、局部描述子构建、特征点匹配三个部分，其中局部特征点提取指在参考图像和目标图像中提取具有显著性信息的局部特征点区域，其输出为两幅图像的特征点集；构建的局部描述子则是对特征点的邻域区域信息进行描述所获得的相应特征描述子，其输出为两个特征描述子集；特征点匹配指根据适合的相似性度量函数，利用各类匹配算法对两幅图像之间的特征描述子进行搜索匹配，其输出为匹配点对。

3、另一种无检测器的局部特征匹配方法则是去除了匹配中的特征检测阶段，直接通过图像对的特征图产生稠密描述符或密集特征匹配。关于使用稠密特征进行匹配的思想最早提出的一种方法是通过训练来学习具有对比度损失特征描述符进而完成特征匹配。后续又有科研人员通过端到端的方式直接学习图像对之间的稠密对应关系，提出了一种不同的方法，该种不同的方法首先会通过resnet神经网络提取图像对特征图，并以此构造4d张量以枚举图像之间所有的可能匹配，并引入了4d卷积构建了邻域共识网络，该网络能够分析图像对之间的稠密匹配关系，并直接从数据中学习局部一致的对应关系。在达到了邻里共识的效果之后，后续很多文章把工作重心放到了transformer下，相较于cnn提取的特征只有局部感受野，引入了transformer的方法理论上能够获取全局感受野，也因此加入transformer提取图像特征并构建稠密描述符的这类方法成为了研究重点。作为这类研究的代表工作之一，有科研人员提出通过transformer中的自注意层和交叉注意层将局部特征转换为图像对结合位置信息的特征，在低纹理和不清晰区域上获得高质量的匹配，实验结果也表明了其在大部分数据集的相对位姿估计和视觉定位方面具有非常好的性能。

4、目前迫切需要本领域技术人员提供另一种可有效提高图像匹配点精度的图像匹配方法。

技术实现思路

1、本发明实施例的目的是提供一种基于分割大模型与注意力融合的图像匹配方法和装置，能够有效提高图像匹配点的精度。

2、为解决上述技术问题，本发明提供如下技术方案：

3、本发明实施例提供了一种基于分割大模型与注意力融合的图像匹配方法，包括：

4、通过骨干网络确定待匹配图像对间的相似度图；

5、通过分割大模型对待匹配图像对进行全图像区域分割；

6、将所述相似度图用于分割后的图像区域，得到前景匹配区域对；

7、将前景匹配区域对以及所述骨干网络输出的低分辨率特征图对输入融合注意力模块，得到相似区域图像特征图对；其中，所述骨干网络对所述待匹配图像对进行特征提取得到的低分辨率特征图对和高分辨率特征图对；

8、计算所述相似区域图像特征图对的相似性，确定粗匹配特征点；并依据所述高分辨率特征图对和所述粗匹配特征点，确定图像匹配点结果。

9、可选地，通过骨干网络确定待匹配图像对间的相似度图的步骤，包括：

10、将待匹配图像对输入所述骨干网络中，得到低分辨率特征图对和高分辨率特征图对；

11、其中，所述骨干网络由残差神经网络和一个特征金字塔网络组成，所述特征金字塔网络用于接收所述残差神经网络中间层第一预设分辨率大小的特征并输出第二预设分辨率的特征图，所述第一预设分辨率包括：1/2、1/4、1/8以及1/16，所述第二预设分辨率包括：1/2和1/8；

12、将所述低分辨率特征图对进行比对，得到待匹配图像间的相似度图。

13、可选地，所述通过分割大模型对待匹配图像对进行全图像区域分割的步骤，包括：

14、通过分割大模型对匹配图像对进行全图像区域分割；

15、使用膨胀算法将面积小于1％的非连通区域合并到最近邻区域上。

16、可选地，将所述相似度图用于分割后的图像区域，得到前景匹配区域对的步骤，包括：

17、依据相似度图统计所述待匹配图像对相似点落在分割区域上的数量，并确定分割区域的匹配信息，将所述匹配信息合并得到前景匹配区域对。

18、可选地，将前景匹配区域对以及所述骨干网络输出的低分辨率特征图对输入融合注意力模块，得到相似区域图像特征图对的步骤，包括：

19、将前景匹配区域对以及所述骨干网络输出的低分辨率特征图对输入融合注意力模块；

20、通过融合注意力模块的3个自注意力模块和3个交叉注意力模块交替强化低分辨率特征图对特征，通过一个区域注意力模块强化相似区域图像特征，得到相似区域图像特征图对。

21、可选地，计算所述相似区域图像特征图对的相似性，确定粗匹配特征点；并依据所述高分辨率特征图对和所述粗匹配特征点，确定图像匹配点结果的步骤，包括：

22、通过双向softmax函数计算所述相似区域图像特征图对的相似性，确定粗匹配特征点；

23、计算粗匹配特征点的损失函数；

24、从所述高分辨率特征图对中选取各所述粗匹配特征点预设区域内的特征图，通过注意力网络强化后计算所述高分辨率特征图对中各匹配点的偏移值，并计算各所述匹配点的损失函数。

25、本发明实施例提供了一种基于分割大模型与注意力融合的图像匹配装置，包括：

26、第一确定模块，用于通过骨干网络确定待匹配图像对间的相似度图；

27、分割模块，用于通过分割大模型对待匹配图像对进行全图像区域分割；

28、第二确定模块，用于将所述相似度图用于分割后的图像区域，得到前景匹配区域对；

29、第三确定模块，用于将前景匹配区域对以及所述骨干网络输出的低分辨率特征图对输入融合注意力模块，得到相似区域图像特征图对；其中，所述骨干网络对所述待匹配图像对进行特征提取得到的低分辨率特征图对和高分辨率特征图对；

30、第四确定模块，用于计算所述相似区域图像特征图对的相似性，确定粗匹配特征点；并依据所述高分辨率特征图对和所述粗匹配特征点，确定图像匹配点结果。

31、可选地，所述第一确定模块包括：

32、第一子模块，用于将待匹配图像对输入所述骨干网络中，得到低分辨率特征图对和高分辨率特征图对；

33、其中，所述骨干网络由残差神经网络和一个特征金字塔网络组成，所述特征金字塔网络用于接收所述残差神经网络中间层第一预设分辨率大小的特征并输出第二预设分辨率的特征图，所述第一预设分辨率包括：1/2、1/4、1/8以及1/16，所述第二预设分辨率包括：1/2和1/8；

34、第二子模块，用于将所述低分辨率特征图对进行比对，得到待匹配图像间的相似度图。

35、可选地，所述分割模块具体用于：

36、通过分割大模型对匹配图像对进行全图像区域分割；

37、使用膨胀算法将面积小于1％的非连通区域合并到最近邻区域上。

38、可选地，所述第二确定模块具体用于：

39、依据相似度图统计所述待匹配图像对相似点落在分割区域上的数量，并确定分割区域的匹配信息，将所述匹配信息合并得到前景匹配区域对。

40、可选地，所述第三确定模块包括：

41、第三子模块，用于将前景匹配区域对以及所述骨干网络输出的低分辨率特征图对输入融合注意力模块；

42、第四子模块，用于通过融合注意力模块的3个自注意力模块和3个交叉注意力模块交替强化低分辨率特征图对特征，通过一个区域注意力模块强化相似区域图像特征，得到相似区域图像特征图对。

43、可选地，所述第四确定模块包括：

44、第五子模块，用于通过双向softmax函数计算所述相似区域图像特征图对的相似性，确定粗匹配特征点；

45、第六子模块，用于计算粗匹配特征点的损失函数；

46、第七子模块，用于从所述高分辨率特征图对中选取各所述粗匹配特征点预设区域内的特征图，通过注意力网络强化后计算所述高分辨率特征图对中各匹配点的偏移值，并计算各所述匹配点的损失函数。

47、本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现上述任意基于分割大模型与注意力融合的图像匹配方法的步骤。

48、本技术实施例提供的基于分割大模型与注意力融合的图像匹配方案，通过骨干网络确定待匹配图像对间的相似度图；通过分割大模型对待匹配图像对进行全图像区域分割；将相似度图用于分割后的图像区域，得到前景匹配区域对；将前景匹配区域对以及骨干网络输出的低分辨率特征图对输入融合注意力模块，得到相似区域图像特征图对；计算相似区域图像特征图对的相似性，确定粗匹配特征点；并依据高分辨率特征图对和粗匹配特征点，确定图像匹配点结果。本技术实施例提供的基于分割大模型与注意力融合的图像匹配方案，能够有效提高图像匹配精度。