基于内容感知和剪枝的图像特征匹配方法

本发明属于图像处理，具体涉及一种基于内容感知和剪枝的图像特征匹配方法。

背景技术：

1、如图1所示，特征匹配即估计图像对之间的对应，是计算机视觉应用的基础问题，其对图像拼接、三维重建和即时定位与地图构建(slam)等任务都有非常重要的作用。它的主要步骤包括特征检测、特征描述和特征匹配。

2、高质量的特征是取得可靠匹配的关键，因此对特征检测器进行改进是当前相关研究的热点。然而，目前的研究在具有挑战性的场景中所提取到的特征并不能达到高精度匹配的要求，如非平面图象、光照变化较大的图像对等。

3、传统的特征提取器通常使用数学方法进行特征点提取，例如拉普拉斯算子和高斯滤波。sifi使用了差分高斯金字塔dog(the difference ofgaussians filter)，提取关键点作为dog的局部极值，使用局部强度值的hessian矩阵进行过滤。surf对sift进行了改进，它使用haar小波计算逼近于hessian矩阵的提取器，同时，结合integral image strategy对二阶微分模板进行了简化。与前两种提取器不同，kaze使用非线性偏微分方程，通过非线性扩散滤波进行特征搜索。akaze是kaze的改进版本，为了加速非线性尺度空间中的特征检测，它将快速显式扩散嵌入到了金字塔框架中。

4、随着深度学习的发展，基于学习的方法也被广泛的应用到特征提取任务中。detnet是学习局部协变特征的第一个通用方法，该方法将检测任务转换为回归问题，然后推导出协方差约束，自动学习稳定锚点，用于几何变换下的局部特征检测。quad-net通过单一实值响应函数实现变换不变分位数排序下的关键点检测，通过优化可重复排序，使其能够完全从头学习检测器。为了节约资源，减少计算成本，d2-net和dfm使用在目标检测、图像分类等任务中表现优异的预训练的神经网络作为特征提取器，也取得了非常好的效果。然而，它们所提取到的特征点的数量和质量不足，导致了对最终匹配效果的影响。

技术实现思路

1、本发明的目的在于克服现有方法在有效特征数量不足情况下，在非平面图像中获得的准确率不够高的问题，因此提供一种基于内容感知和剪枝的图像特征匹配方法，该方法具有良好的特征匹配性能。

2、为实现上述目的，本发明的技术方案是：一种基于内容感知和剪枝的图像特征匹配方法，首先，在特征提取器之前使用一个由完全卷积网络和掩膜预测器组成的块，对输入图像的特征进行加权，以加强对局部有效特征的提取；其次，为获得更加准确的匹配特征对，使用匹配对剪枝方法进行误匹配剔除。

3、在本发明一实施例中，该方法具体包括两个阶段：

4、第一阶段：

5、首先，使用预先训练好的特征提取器vgg-19从输入图像ia和ib中提取特征；然后，在最后一层特征图上使用密集近邻搜索dnns初始化对应关系；第三，利用对应关系进行单应性矩阵预对准估计；

6、第二阶段：

7、首先，将预对齐结果输入到由内容感知块和vgg-19组成的特征提取器中进行特征提取；其次，采用dnns进行特征匹配；然后，利用clnet对错误匹配进行剔除，得到结果。

8、在本发明一实施例中，所述单应性矩阵采用的是鲁棒模型拟合方法magsac++估计单应矩阵hba，hba用于扭曲图像ib得到图像ibwarped。

9、在本发明一实施例中，使用神经网络作为特征提取器，并使用内容感知块来指导提取特征的过程；内容感知块使用预测的掩码来加权输入图像的特征，通过完整的卷积网络学习一个与输入图像大小相同的掩码，记为m(·)，即输入图像的特征映射f(·)的软权值；内容感知块的输出如下：

10、g(x)＝m(x)*f(x)

11、其中x是输入图像；

12、内容感知块由特征提取器f(·)和掩码预测器m(·)组成；对于输入图像对，使用特征提取器f(·)构造初始特征映射fa和fb，使用掩码预测器预测概率映射ma和mb，然后对fa和fb用ma和mb进行加权，得到加权特征映射ga和gb；ga和gb作为vgg-19的输入，获取匹配任务所需的特征。

13、在本发明一实施例中，所述特征提取器由全卷积层组成，从输入图像中提取特征以形成初始特征映射，它包含3*3核的3个完全卷积层；特征提取器接受大小为h*w*1的输入图像，并获得大小为h*w*c的特征映射，其中c表示通道数；对于输入图像对ia和ib，特征提取器共享权重生成fa和fb，即

14、fi＝f(ii),i∈{a,b}。

15、在本发明一实施例中，所述掩膜预测器m(·)生成一个内点概率图，突出显示特征图中有更多贡献的位置；概率图的大小与特征图fa和fb的大小相同，通过概率图对f(·)提取的特征进一步加权，然后将两个加权后的特征图ga和gb输入vgg-19，即

16、mi＝m(ii),gi＝fimi，i∈{a,b}。

17、相较于现有技术，本发明具有以下有益效果：本发明提出一种基于内容感知和剪枝的图像特征匹配方法。本发明方法首先使用最先进的模型拟合方法对输入图像进行预对齐，提高特征提取的质量，将对齐后的图像作为第二阶段的输入。其次，本方法在特征提取器中加入了一个内容感知块，预测概率图，突出图像的有效部分，来指导特征提取，提取更多数量的有效特征，并在整个方法的最后加入误匹配剪枝，使得匹配结果更准确。实验表明，我们提出的方法在hpatches数据集上的准确率超越了目前最优的传统方法和深度学习方法。

技术特征：

1.一种基于内容感知和剪枝的图像特征匹配方法，其特征在于，首先，在特征提取器之前使用一个由完全卷积网络和掩膜预测器组成的块，对输入图像的特征进行加权，以加强对局部有效特征的提取；其次，为获得更加准确的匹配特征对，使用匹配对剪枝方法进行误匹配剔除。

2.根据权利要求1所述的基于内容感知和剪枝的图像特征匹配方法，其特征在于，该方法具体包括两个阶段：

3.根据权利要求2所述的基于内容感知和剪枝的图像特征匹配方法，其特征在于，所述单应性矩阵采用的是鲁棒模型拟合方法magsac++估计单应矩阵hba，hba用于扭曲图像ib得到图像ibwarped。

4.根据权利要求2所述的基于内容感知和剪枝的图像特征匹配方法，其特征在于，使用神经网络作为特征提取器，并使用内容感知块来指导提取特征的过程；内容感知块使用预测的掩码来加权输入图像的特征，通过完整的卷积网络学习一个与输入图像大小相同的掩码，记为m(·)，即输入图像的特征映射f(·)的软权值；内容感知块的输出如下：

5.根据权利要求4所述的基于内容感知和剪枝的图像特征匹配方法，其特征在于，所述特征提取器由全卷积层组成，从输入图像中提取特征以形成初始特征映射，它包含3*3核的3个完全卷积层；特征提取器接受大小为h*w*1的输入图像，并获得大小为h*w*c的特征映射，其中c表示通道数；对于输入图像对ia和ib，特征提取器共享权重生成fa和fb，即

6.根据权利要求4所述的基于内容感知和剪枝的图像特征匹配方法，其特征在于，所述掩膜预测器m(·)生成一个内点概率图，突出显示特征图中有更多贡献的位置；概率图的大小与特征图fa和fb的大小相同，通过概率图对f(·)提取的特征进一步加权，然后将两个加权后的特征图ga和gb输入vgg-19，即

技术总结
本发明涉及一种基于内容感知和剪枝的图像特征匹配方法。首先，本发明使用由完全卷积网络组成的内容感知块指导特征提取的过程，克服有效特征数量不足的问题；然后，使用基于一致性学习的匹配进行剪枝处理，将错误匹配剔除。在公开数据集上的实验结果表明，本发明算法具有良好的特征匹配性能。

技术研发人员：赖桃桃,李佐勇,王伟策,陈新伟,刘伟霞
受保护的技术使用者：闽江学院
技术研发日：
技术公布日：2024/1/15