一种基于子空间融合和一致性约束的准稠密匹配扩展方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体涉及一种基于子空间融合和一致性约束的 准稠密匹配扩展方法，该方法涉及到图像匹配、多视图几何、三维重建等领域，可直接用于 在较少图像情况下对目标场景进行准确、稠密三维点云重建的过程。
【背景技术】
[0002] 基于多视角图像的三维重建技术已经被广泛地应用在自主导航、文物保护、三维 地图、虚拟现实等领域。运动恢复结构（Structure from motion, SFM)算法是当前的主流 方法，一个典型的SFM算法由以下四个步骤组成：首先，用一个或多个相机从不同的位置和 视角拍摄目标场景的多幅图像；其次，计算所有图像之间的特征匹配，构建匹配关系图；然 后，根据图像之间的匹配，求出每幅图像对应的相机参数；最后，利用估计的相机参数重建 稀疏三维点云。
[0003] 图像匹配作为三维重建的一个核心步骤，得到了广泛而深入的研宄。图像之间的 匹配点是指三维空间中的同一个点在不同图像上的投影。通过检测图像上具有显著性的稀 疏特征点并计算对应特征描述符的相似性，可以得到图像之间的稀疏匹配。尺度不变特征 (Scale Invariant Feature Transform, SIFT)算法及其改进算法被证明是最有效的图像 特征匹配方法。该方法在特征空间内寻找一幅图像上的某个点在另一幅图像上的最近邻， 如果次近距离与最近距离的比值大于预设阈值，则保留该对匹配。
[0004] 除了基于稀疏特征点的图像匹配，学者们还提出了基于匹配传播（或者叫匹配扩 展）的准稠密图像匹配算法。匹配的传播过程开始于一些稀疏但可靠的种子匹配。算法不 断地从种子周围发掘出新的匹配，并把新的匹配加入种子集合继续传播，直到找不到新的 匹配。然而，现有的扩展算法大都假设场景表面可由许多小的平面区域来近似，并采用局部 平面模型（如仿射变换）来描述扩展区域。这种思路简单易行，但对于表面非平面且深度 变化较大的场景会导致性能的急剧下降。
[0005] 和基于特征点的稀疏图像匹配相比，准稠密图像匹配算法的优势在于它使利用较 少的图像得到较为稠密的重建结果成为可能，因此具有很广阔的应用前景。然而，现有的准 稠密图像匹配算法大都假设扩展区域可用局部平面近似，当场景表面有较大深度变化时会 导致性能的急剧下降。因此，很有必要对扩展模型进行进一步研宄，找到更通用更鲁棒的扩 展模型。
【发明内容】
[0006] 本发明旨在克服现有准稠密扩展算法的缺陷，提供一种基于子空间融合和一致性 约束的准稠密匹配扩展方法，从而使该算法对于表面深度信息复杂的场景获得准确的匹配 扩展结果，该算法可用于在较少图像情况下对场景进行准确、稠密的三维重建。
[0007] 为了解决上述技术问题，本发明提供了一种基于子空间融合和一致性约束的准稠 密匹配扩展方法，包括如下步骤：
[0008] (1)对两幅待匹配图像进行稀疏特征点匹配，得到种子匹配集合；
[0009] (2)如果种子匹配集合不为空，则执行步骤（3);如果为空，则转步骤（8);
[0010] (3)在种子匹配集合中选取一对种子匹配作为待扩展种子匹配，并在该待扩展种 子匹配两端选取待扩展区域；
[0011] (4)分别在所述两幅待匹配图像的待扩展区域中选取待扩展点集X和Y ;
[0012] (5)对所述两个待扩展点集X和Y进行空间信息和特征信息的子空间融合，得到X 和Y对应于新的子空间的点集P和Q ;
[0013] (6)对步骤（5)得到的子空间中的两个点集P和Q应用一致性约束寻找点集之间 的匹配，子空间中点集P和Q之间的匹配结果等价于原空间中点集X和Y之间的匹配结果；
[0014] (7)对步骤（6)的结果进行进一步优化，即过滤掉其中可能包含的不可靠的匹配， 多对一、一对多的匹配，甚至是错误的匹配，并输出优化后的匹配结果，转步骤（2);
[0015] (8)统计本轮次扩展得到的所有匹配，判断在该轮次中新增加的匹配数量是否小 于预设阈值，如果是，则算法结束；如果不是，则执行步骤（9);
[0016] (9)若步骤⑶中判断新增加的匹配数量大于预设阈值，则获取已匹配区域的外 轮廓，并在外轮廓上采样新的匹配作为新的种子匹配集合，并转步骤（2)对新的种子匹配 集合进行下一轮扩展；其中所述已匹配区域是指所有已经匹配的像素点在图像上构成的若 干个联通的区域。
[0017] 在本发明的一个实施例中，所述步骤（4)中选取待扩展点集具体包括：
[0018] (4. 1)对待扩展区域中的每一个不在当前待扩展点集中的像素点，执行步骤 (4. 2)至（4. 5);
[0019] (4. 2)判断该像素点是否位于图像的纹理区域，如果是，继续执行步骤（4. 3);如 果不是，返回步骤（4. 1);
[0020] (4.3)判断该像素点是否找到匹配点，如果未找到，继续执行步骤（4.4);如果已 找到，返回步骤（4. 1);
[0021] (4. 4)判断该像素点在之前的扩展中是否被处理过，如果未被处理过，继续执行步 骤（4. 5)，如果被处理过，返回步骤（4. 1);
[0022] (4. 5)将该像素点加入待扩展点集；
[0023] 在本发明的一个实施例中，所述步骤（5)具体包括：
[0024] (5. 1)分别对所述两个待扩展点集X和Y中的每个像素点提取稠密SIFT特征信 息，执行步骤（5.2);
[0025] (5. 2)根据步骤（5. 1)中得到的待扩展点集的特征信息和步骤（4)中得到的待扩 展点集的位置信息，计算相似度矩阵A ;相似度矩阵A由四个子相似度矩阵构成：
[0026]
【主权项】
1. 一种基于子空间融合和一致性约束的准稠密匹配扩展方法，其特征在于，所述方法 包括如下步骤： (1) 对两幅待匹配图像进行稀疏特征点匹配，得到种子匹配集合； (2) 如果种子匹配集合不为空，则执行步骤（3);如果为空，则转步骤（8); (3) 在种子匹配集合中选取一对种子匹配作为待扩展种子匹配，并在该待扩展种子匹 配两端选取待扩展区域； (4