一种基于点云约减的相机定位系统及方法
【技术领域】
[0001] 本发明属于移动增强现实领域，尤其涉及一种基于点云约减的相机定位系统及方 法。
【背景技术】
[0002] 近年来出现的城市规模的三维重建工作为大规模场景中的相机定位提供了数据 基础。而利用场景的三维结构进行定位，即得到相机相对于重建得到的场景三维结构的准 确的姿态信息，是进行大规模增强现实应用的核心步骤，这里的姿态信息指相机相对于场 景的旋转矩阵和平移向量。因此解决大规模点云中的定位问题将极大扩展移动增强现实的 适用范围。移动增强现实目前已广泛应用于医学、教育、制造、娱乐以及军事等领域，例如在 军事领域，在真实世界中加入虚拟的战场训练信息可以进行更灵活的军事演习及作战计划 的制定。
[0003] 通常移动增强现实的方法在进行相机定位时需要建立图像中提取的特征点及描 述子与数据库中三维空间点的描述子的匹配对应关系，而在大规模场景下建立对应时，需 将图像中的特征点与城市级别场景数据库中的空间点进行匹配。这种规模的匹配不仅计算 时间长，而且容易造成误匹配。因此大规模的定位数据也同时给移动增强现实系统带来了 定位效率、准确率下降以及存储压力等问题。为此，Arth等人提出了基于空间点可见性的 点云处理方法，并进一步使用了惯性传感器作为先验信息以细化待匹配的空间点云。Sven 等人为了解决移动增强现实系统的扩展性问题，采用了移动端局部定位结合服务器端全局 定位的结构。这些方法虽然在各自应用场合中发挥了积极的作用，但要么不具有普适性，要 么需要有服务器的存在。因此如何克服大规模数据带来的定位效率和精度问题是移动增强 现实系统走向实用的关键。
[0004] 点云约减的方法主要有基于二部图k覆盖的方法和基于整数规划的方法两类。在 k覆盖方法中，Li等人首先利用二部图G对相机和空间点之间的关系进行表示。在图G中， P1表示空间点，C i表示相机或图像，P占 C i之间的无向边e U表示空间点P i在图像C i下有 匹配。基于图G，Li等人将点云约减问题描述成G中空间AP1的选择问题，并将求解目标 定义成：在每个相机下至少能有k个空间点与之关联的条件下，最小化所选空间点的数量， 也即是二部图G的k覆盖问题。k覆盖的求解是NP-Complete的，因此Li等人采用了贪心 的方法进行求解。首先，Li等对空间点P1覆盖的增益G κε进行了定义：
[0006] 其中，I是所有用于重建的图像集合，C表示已经由点云集合P'覆盖至少k个空 间点的图像集合，Mu表示点j在图像i下的可见性。Li等人从空集开始，增量地加入新的 空间点P/吏每次新加入的空间点都使当前的目标增益最大化，最后通过一个迭代过程，每 次将最大化增益GKe的空间点选择进入模型集合，直到新加入的空间点不再使增益增加为 止。通常，k覆盖方法保证通过贪心法选择的空间点能够尽量多地覆盖到数据库中的图像。 但是k覆盖方法在选择空间点时是严格的组合方法，因此Cao等人提出了概率的k覆盖方 法，概率的k覆盖方法与k覆盖方法的过程类似，也是使用贪心算法增量地创建紧致的空间 点集合，但是使用了概率框架的增益函数：选择一个点的子集，以使定位一张新的图像时的 概率最大化的同时最小化选择的空间点数量。
[0007] 在基于k覆盖进行点云约减的算法中，由于使用了采用贪心策略进行求解，所以 最终得到的点云结果主要受贪心策略设计的影响。贪心方法的求解通常是次优解，并且即 使是对于目标函数很小的修改也需要重新设计贪心方法的求解过程。
[0008] 为了解决这些问题，Park等人提出了基于整数规划的约减方法。在该方法中，点 云的选择使用一个0-1向量X表.示，设Qi是选择空间点P i的代价，则q 1X是选择该子集 的代价。为了能够选择出在空间中分布比较均匀的点集，Park等人在优化目标中还引入了 二次项，用于描述两个空间点同时被选中的代价。
[0009] 虽然Park等人将点云约减问题描述成规划问题，并采用分支定界的方法可以求 得理论上的最优解。但在目标函数中加入了二次项后极大地增加了问题求解的复杂程度， 因此带有二次项的目标函数不适宜求解三维点数量很多的应用。在目标函数中仅使用一次 项的情况下，问题求解的复杂程度较低，因此求解速度也较快，但此时许多空间点的选择代 价相同，从而增加了选择得到更有利于定位的三维空间点的难度，进一步降低了求解的质 量。
【发明内容】
[0010](一）要解决的技术问题
[0011] 本发明的目的在于，提供一种基于点云约减的相机定位系统及方法，提高了相机 定位效率和精度。
[0012] (二）技术方案
[0013] 本发明提供一种基于点云约减的相机定位系统，包括：
[0014] 离线重建单元，用于对相机拍摄的多幅图像进行重建，得到空间三维点云，对空间 三维点云进行约减，得到更适宜定位的空间三维点云，其中，空间三维点云包括多个空间点 及其对应的特征描述子；
[0015] 在线跟踪定位单元，用于根据约减后的点云对相机进行定位。
[0016] 本发明还提供一种基于点云约减的相机定位方法，包括：
[0017] S1，对相机拍摄的多幅图像进行重建，得到空间三维点云，对空间三维点云进行约 减，得到更适宜定位的空间三维点云，其中，空间三维点云包括多个空间点及其对应的特征 描述子；
[0018] S2，根据约减后的点云对相机进行定位。
[0019] (三）有益效果
[0020] 本发明将点云约减方法用于离线重建阶段，不仅减少了点云的存储量，还缩小了 2D-3D匹配的计算量，在点云约减中考虑了空间点几何特性，从而使得到的空间三维点更有 利于相机的定位，提尚了相机定位效率和精度。
【附图说明】
[0021] 图1是本发明实施例提供的基于点云约减的相机定位系统的结构示意图。
[0022] 图2是本发明实施例提供的基于点云约减的相机定位方法的流程图。
【具体实施方式】
[0023] 本发明提供一种基于点云约减的相机定位系统，包括离线重建单元及在线跟踪定 位单元，其中，离线重建单元对相机拍摄的多幅图像进行重建，得到空间三维点云，并对空 间三维点云进行约减，得到约减后的空间三维点云；在线跟踪定位单元根据约减后的点云 对相机进行定位。
[0024] 根据本发明的一种实施方式，通过求解优化问题，对空间三维点云进行约减，优化 问题如下：
[0027] 其中，X表示一个nX 1的二值向量，η和N均表示空间三维点云中空间点的数量， ζ+表示正整数，M表示相机拍摄的图像数量；
[0028] q为空间点选择代价，它是一个nX 1的向量；
[0029] t为全为1的ηχ1向量；
[0030] A是一个表示图像和空间点之间关系的mXn的可见性矩阵，m为图像数量；
[0031] 约束条件为已知的图像与削减后的点云集合之间的对应匹配满足一定的阈值b， 即
b为常量；
[0032] c为定位所需最少点数；
[0033] ε和λ为松弛变量，其中，λ用于控制约束条件的严格程度，当λ趋向于无穷 时，ε的取值趋向〇,此时约束严格，当λ趋向于〇时，ε取较大的值，约束变得松弛。从约 束：
可以看出，在松弛变量λ比较小而点特别多的时候，只要ε取足够大， 所有约束即可满足。因此在分支定界算法达到终止条件时，某些图像上可能完全没有空间 点对应，如此选择的空间点分布不够均匀，减小了那些没有点对应的图像拍摄视角下的图 像定位率。但