双目三维重建的密集特征匹配方法、装置、设备及介质

本发明涉及机器人视觉领域，具体来讲，涉及一种双目三维重建的密集特征匹配方法、一种双目三维重建的密集特征匹配装置、以及实现双目三维重建的密集特征匹配方法的设备和计算机可读存储介质。

背景技术：

1、图像匹配在计算机视觉领域中一直占有着重要地位，在包括图像配准、三维重建、slam技术中都发挥着重要作用。图像匹配的目标是将待匹配的图像变换到原始图像的坐标系下，并得到两幅图像公共区域的像素对应关系。基于特征的图像匹配方法可分为基于特征点的匹配方法和基于特征图的匹配方法。基于特征图的匹配算法一般将图像匹配分为检测和匹配两步，主要根据图像中的几何特征检测出特征，然后根据其特征描述子将特征一一配对，之后根据得到的匹配对计算两幅图像的变换关系。相比于基于灰度的方法，这种基于特征的匹配方式适用性更广，鲁棒性更强，精确性更高，并且能够发现图像中一些细微的特征。

2、近年来随着深度学习的发展，图像匹配方法可被分为传统方法和基于学习的方法。无论是传统方法还是基于学习的方法，基于特征的匹配方式仍然是图像匹配中的主流方法。传统的特征匹配算法一般需要根据图像中的几何信息来提取出特征点，其中，经典的特征点提取算法为角点提取算法，一般认为与邻域范围内灰度变化较大的像素点或者是局部边缘具有极大值曲率的像素点。经典的角点提取算法如harris角点算子、抗噪声能力较强的susan角点算子。角点检测算法的优点在于简单、高效，但提取出的特征角点精度不高，在低纹理区域难以正常工作。另一种提取图像中特征点的方法是斑点提取算法，其中经典的算法有sift算子、surf算子。sift算子通过建立差分图像高斯金字塔并在其中寻找极值特征点，对光照不敏感，具有优秀的尺度不变性、旋转不变性，检测精度较高，但是计算过程较为复杂，实时性较差。而surf算子针对这一问题在sift的基础上进行了优化，加速了查找特征点的速度。获取特征点集后，需要利用特征描述子对其进行计算从而完成特征点的匹配。传统的特征描述子一般可分为浮点型特征描述子和字符串特征描述子，浮点型特征描述子主要应用与sift算子和surf算子中，计算复杂度较高，但同时精确性也较强，字符串特征描述子对特征点附近的像素进行二进制编码以区分特征点，经典算法有brief算子、brisk算子、orb算子等。

3、基于学习方式的图像匹配方法在近年来层出不穷。如superpoint算子训练一个编码器-解码器的结构进行自监督学习，在检测出图像中特征点的同时也输出浮点型特征描述子，通过深度学习的方式来提取特征点和特征描述子。superglue算法以特征点集的位置和浮点型特征描述子作为输入，训练一个图神经网络并结合最优化传输方法，代替完成特征点匹配的过程。而dfm算法是一种基于特征图的特征匹配算法，以卷积神经网络提取一系列特征图，在最深层的特征图进行匹配，以深层的匹配结果作为基准，进行匹配图像间的视角变换以减小匹配图像对的差异并逐特征层优化得到最终的特征匹配结果。

4、在图像中进行对应特征点的匹配是双目三维重建方法中的关键环节，匹配过程的精度直接影响双目测量系统的测量精度，基于特征的双目三维重建方法具有鲁棒性强、检测速度快、受光照影响小等优点，但是存在以下问题：1)如何解决基于特征的匹配方法提取的匹配点对较为稀疏，无法重建出稠密点云；2)如何进一步提升特征匹配的精度，从而提升双目三维重建的重建精度。

技术实现思路

1、本发明的目的在于解决现有技术存在的上述不足中的至少一项。例如，本发明的目的之一在于提供一种双目三维重建的密集特征匹配方法，能够有效解决匹配点稀疏的问题，并提高特征匹配的精度。

2、为了实现上述目的，本发明一方面提供了一种双目三维重建的密集特征匹配方法。

3、所述双目三维重建的密集特征匹配方法可包括以下步骤：

4、s1、采集获取双目图像，所述双目图像包括一左图和一右图。

5、s2、利用卷积神经网络提取所述双目图像得到第一特征图，所述第一特征图包括第一浅层特征图和第一深层特征图。

6、s3、对所述第一深层特征图进行特征匹配和视角变换得到视角变换图。

7、s4、利用卷积神经网络提取所述视角变换图得到第二特征图，所述第二特征图包括第二深层特征图。

8、s5、将所述第一深层特征图和第二深层特征图进行融合得到融合特征图。

9、s6、在所述融合特征图上进行特征匹配。

10、在本发明双目三维重建的密集特征匹配方法的一个示例性实施例中，所述步骤s6还可包括：根据所述第一浅层特征图优化所述特征匹配的结果。

11、在本发明双目三维重建的密集特征匹配方法的一个示例性实施例中，所述卷积神经网络可采用vgg网络架构。

12、在本发明双目三维重建的密集特征匹配方法的一个示例性实施例中，所述步骤s3或步骤s6中的特征匹配可包括：确认深层特征图的特征向量的匹配相似度，根据所述匹配相似度确认单应性矩阵，去除误匹配点；其中，所述匹配相似度由匹配相似度得分计算模型确认，所述匹配相似度得分计算模型为下式1：

13、

14、上式中，sab可为特征向量的匹配相似度得分；和可为所使用深层特征图上的特征向量。

15、可选取匹配相似度得分进行置信度筛选：根据所述匹配相似度得分越小匹配相似度越高的原则选取匹配相似度最高的sab和次高的s'ab，并计算所述sab和s'ab的比值，设定比值阈值为0.95～0.99，根据所述比值阈值去除误匹配点。

16、在本发明双目三维重建的密集特征匹配方法的一个示例性实施例中，所述确认单应性矩阵可包括：采用ransac算法确认单应性矩阵，所述ransac算法的效率计算模型为下式2：

17、

18、上式中，k为最大迭代次数；p为ransac算法结果有效的概率；ω为匹配对在内点集中的概率。

19、在本发明双目三维重建的密集特征匹配方法的一个示例性实施例中，所述步骤s5可包括：采用双线性插值法将输入的各层特征图进行上采样，获得大小一致的特征图。

20、将上采样后的特征图按权重进行维度上的拼接，得到融合特征图，所述融合特征图根据下式3确认；

21、

22、上式中，fcoarse为融合特征图；fi为第i层特征图；i为特征图层数；concat()为特征图的维度拼接函数。

23、在本发明双目三维重建的密集特征匹配方法的一个示例性实施例中，所述步骤s6还可包括：对所述融合特征图上的匹配点集进行上采样，根据所述融合特征图和第一浅层特征图变换所述匹配点集的坐标；对所述融合特征图中任一特征向量对应的区域进行特征匹配，得到校正后的所述特征向量，根据所述特征向量确认校正后的总特征匹配点集。

24、本发明又一方面提供了一种双目三维重建的密集特征匹配装置，可包括：双目图像采集模块、第一特征图提取模块、视角变换模块、第二特征图提取模块、特征融合模块以及特征匹配优化模块，其中，双目图像采集模块，可被配置为采集双目图像；第一特征图提取模块可与双目图像采集模块相连，可被配置为根据所述双目图像确认第一特征图，所述第一特征图包括第一浅层特征图和第一深层特征图；视角变换模块可与第一特征图提取模块相连，可被配置为根据所述第一深层特征图进行特征匹配和视角变换确认视角变换图；第二特征图提取模块可与视角变换模块相连，可被配置为根据所述视角变换图确认第二特征图，所述第二特征图包括第二浅层特征图和第二深层特征图；特征融合模块可与第一特征图提取模块和第二特征图提取模块相连，可被配置为根据所述第一深层特征图和第二深层特征图融合得到融合特征图；特征匹配优化模块可与特征融合模块和第一特征图提取模块相连，可被配置为根据所述融合特征图上进行特征匹配，并根据所述第一浅层特征图优化所述特征匹配的结果。

25、本发明再一方面提供了一种计算机设备，所述计算机设备包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的双目三维重建的密集特征匹配方法。

26、本发明再一方面提供了一种存储有计算机程序的计算机可读存储介质，当所述计算机程序在被处理器执行时实现如上所述的双目三维重建的密集特征匹配方法。

27、与现有技术相比，本发明的有益效果包括以下内容中的至少一项：

28、(1)本发明提出一种基于dfm算法的双目三维重建的密集特征匹配方法，可通过vgg网络提取图像的一系列特征图，在初始特征图做最邻近匹配计算单应性矩阵并进行视角变换；然后基于特征图的频域匹配特点进行深层特征图融合，用于特征粗匹配；最后基于粗匹配的结果在浅层特征图上进行特征细匹配用于校正特征匹配的结果。本发明相较于dfm算法能够有效提高匹配精度和特征匹配数量，进而提高双目三维重建的准确度和效率。

29、(2)本发明针对于传统特征匹配得到的匹配数量稀疏这一问题，抛弃了传统特征匹配算法先寻找特征点再进行特征描述的过程，对卷积神经网络提取出的特征向量做差异化匹配；对深度特征图进行信息融合增加了特征向量的区分度，具有鲁棒性强、检测速度快、受光照影响小等优点。

30、附图说明

31、通过下面结合附图进行的描述，本发明的上述和其他目的和/或特点将会变得更加清楚，其中：

32、图1示出了本发明的双目三维重建的密集特征匹配方法的一个示例性实施例的双目三维重建的密集特征匹配方法流程示意图。

33、图2示出了本发明的双目三维重建的密集特征匹配方法的一个示例的双目三维重建的密集特征图像匹配方法流程示意图。

34、图3示出了本发明的双目三维重建的密集特征匹配方法的一个示例的融合特征图上采样到浅层特征图的示意图。

35、图4示出了本发明的双目三维重建的密集特征匹配方法的一个示例的装置示意图。