一种基于块面积传输模型的两帧图像稠密匹配方法

本发明涉及计算机视觉、三维重建、混合现实的一种两帧稠密匹配估计方法，特别是涉及了一种基于块面积传输模型的两帧稠密匹配方法。

背景技术：

1、两帧图像匹配的目标是从两帧图像输入中找到对应点的坐标，它是计算机视觉领域的底层基础，包括光流估计，三维重建，视觉定位等重要领域都需要建立在两帧图像匹配的输出结果之上。现有的两帧匹配方法依据匹配对的稠密程度大致可以被分为稀疏匹配与稠密匹配两个方向。其中稀疏匹配更看重提取精确且可重复的对应，对完整性的要求仅限于分布不要过于集中；而稠密匹配则更看重匹配关系的完整性，要求尽量在每一个存在匹配的地方都得到相应的输出。

2、传统的稠密匹配方法往往建立在图像相似性很高的基础上，在两帧图像的视角或者位置出现较大差别的情况下就会出现较大的误差。而建立在提取特征点基础上的稀疏匹配方法虽然可以较好地应对图像视角或者位置的较大偏差，但是特征点本身则是稀疏的，难以应对求解完整的匹配点位置。除此以外，两帧图像稀疏匹配方法由于建立在事先提取的特征点的基础上，其匹配点坐标的精度便很难超越像素级别，这也在一定程度上限制了这种方法的应用。最后，特征点提取在两帧图像存在较大的尺度差异的时候也会面临额外的两个问题：第一是往往尺度较大的图像提取到的特征点数量会更少，可能无法满足应用的需求；第二是尺度较大的图像上提取到的特征点会存在更大的相对误差，这在应用过程中也会有一定的困扰。

3、现有技术中并不存在能够同时兼顾两帧图像位置与视角差别的鲁棒性，以及图像匹配对的完整性稠密性的方法。若是能够同时获取这两点优势，那么就能够在实际应用场景中获得出色的表现。

技术实现思路

1、为了解决现有技术中的问题，本发明提供了一种基于块面积传输模型的两帧稠密匹配方法。本发明包括数次迭代，每一次迭代的输入是一组分割为大量小块的匹配图片，经过块面积传输与参考帧小块的投影估计，将每个参考帧小块及其投影输出为一组更小更多的匹配图片并放缩到同样的分辨率。通过利用块面积传输模型将图像的面积信息也纳入匹配算法，这种方法能够兼具稠密匹配方法的完整性与稀疏匹配方法的鲁棒性，同时还具备比这两种类型的方法都更准确的亚像素匹配坐标估计。

2、本发明首先提供了一种基于块面积传输模型的两帧图像稠密匹配方法，其包括以下步骤：

3、(1)将待匹配的两帧图像网格式地分割为多个同等大小的小块并提取小块属性；所述小块属性包括小块的位置、面积与图像特征；其中，小块的位置记录为小块的中心点坐标，而面积与图像特征通过建立神经网络结构来预测；

4、(2)利用小块的属性通过构造最优传输问题计算从参考帧小块到目标帧小块的面积转移矩阵；即以每一个小块作为最优传输问题的节点，以小块的面积属性作为节点传输内容的总和，以小块的图像特征属性之间的负相似度作为转移代价函数，同时为参考帧与目标帧分别设定垃圾箱节点，用于对应那些不具备匹配关系的小块；针对这个最优传输问题求解出最优的面积转移矩阵，使得它能够用最小的转移代价总和完成节点内容的转移；这种在小块的面积属性之间构造面积转移矩阵的过程就是块面积传输模型，面积转移矩阵中的每一项面积转移取值代表一个参考帧小块与另一个目标帧小块之间的面积转移关系；

5、(3)利用图像的先验连续性，排除掉错误的面积转移关系，并确定一个沿着图像xy轴方向的边界框，其中，x轴水平向右、y轴竖直向下，在这个边界框中利用之前计算出的面积转移矩阵估计参考帧中的小块在目标帧中的中点投影位置与小块的相对投影面积；

6、(4)利用步骤(3)中得到的参考帧小块在目标帧中的中点投影位置和小块的相对投影面积，建立参考帧小块在目标帧对应的边界框，然后从原参考帧与目标帧截取矩形图像；其中，被截取的矩形图像以参考帧小块位置与其在目标帧中的中点投影位置为中心，以固定倍数于参考帧小块与目标帧边界框的边长为边长；之后将目标帧上截取的图像放缩到与参考帧上截取的图像同样的分辨率，作为下一次迭代输入的新的参考帧与目标帧图片；

7、(5)重复设定次数的步骤(1)-步骤(4)的迭代过程，最后一次迭代过程中，参考帧小块的位置属性以及步骤(3)计算出的参考帧小块在目标帧的投影位置，就是所求的稠密匹配的对应坐标。

8、作为本发明的优选方案，所述的步骤(1)中，神经网络结构包括：广域特征编码模块、基本特征提取模块、位置信息编码模块、视觉自注意力模块以及面积回归模块；所述广域特征编码模块利用多层感知机编码上一次迭代步骤中计算的特征向量，在初次迭代步骤中则不使用这个模块；基本特征提取模块利用卷积神经网络提取对应每个小块的特征向量，并将其与广域特征编码模块的输出组合在一起，在初次迭代步骤中，则不进行组合操作；位置编码模块将小块的位置信息编码到特征向量之中；视觉自注意力模块全局地结合参考帧与目标帧上所有小块的特征向量，将其编码到每一个小块的特征向量中，从而得到每一个小块的图像特征属性；之后将小块的图像特征属性输入面积回归模块，得到小块的面积属性。

9、作为本发明的优选方案，所述的步骤(2)中最优传输问题的优化函数中添加了熵正则化项，并用沉角算法迭代地求解出面积转移矩阵。

10、作为本发明的优选方案，所述的步骤(3)中，确定边界框的操作的步骤为：先在目标帧找到接受参考帧上的此小块面积转移最多的小块；然后依据空间连续性与面积转移矩阵的取值，利用漫水填充算法迭代地将其扩展成一个边界框；

11、步骤(3)中，同时满足以下条件的面积转移关系被认为是错误的面积转移关系：a、目标帧上的此小块在边界框之外；b、从参考帧上的此小块到目标帧上的此小块的面积转移取值大于零。

12、作为本发明的优选方案，所述的步骤(3)中估计参考帧中的小块在目标帧中的中点投影位置与小块的相对投影面积的步骤为：先计算参考帧上的小块到目标帧的面积转移取值相对于每个目标帧上的小块的面积属性的比例，将这个比例作为目标帧小块的权重w；然后利用目标帧小块的中心点坐标与权重w的加权平均计算参考帧小块在目标帧中的中点投影位置，利用目标帧小块的面积属性与权重w的加权平均计算小块的相对投影面积。

13、作为本发明的优选方案，所述的步骤(4)中会生成复数个新的参考帧与目标帧，这些新的匹配图片中存在重叠部分；在下一次迭代的步骤(4)，针对存在重叠的参考帧小块，通过对比其面积转移取值的大小仅保留面积转移取值最大的一个小块构造新的匹配图片。

14、作为本发明的优选方案，所述的步骤(5)中，每次迭代会减小切割出的小块的大小，同时增加匹配图片与切割出的小块的数量，得到的匹配密度从稀疏随着迭代轮的增加而变得稠密，同时始终保持每个参考帧上的点只对应一个目标帧上的点。

15、本发明基于块面积传输模型对两帧图像进行匹配，这种匹配技术通过将匹配的基本单元设定为小块来取代稀疏匹配方法的特征点，利用小块独特的面积属性逐步将待匹配图像从两个大帧之间的匹配转换为大量小帧之间的匹配，这样就能在保证和稀疏匹配方法类似的鲁棒性的同时，得到稠密匹配方法的完整性。除此以外，传统的稀疏匹配方法必须先提取出特征点，然后进行匹配，这意味着特征点的位置精度无法利用匹配过程中得到的信息进一步提升，本发明能够避免这样的问题，将估计出的匹配坐标误差降低到亚像素级别。