一种面向大规模三维重建的实时鲁棒的集束调整方法与流程

本发明属于计算机视觉与计算机图形学邻域，具体地，涉及一种面向大规模三维重建的实时鲁棒的集束调整方法。

背景技术：

大规模场景的实时鲁棒的三维重建在城市规划、游戏和军事仿真中具有重要的作用。由于场景中存在的光照变化、目标之间的遮挡、采集数据存在噪声等因素的影响，在多视图三维重建过程中，导致难以获取场景的精确模型。现有的一些三维重建系统采用人工方式对场景模型进行修复，操作如此之耗时。人们迫切希望寻找一种鲁棒的集束调整方法对系统生成的三维点云模型进行优化，以便简化人工修复过程，同时获得精确的三维场景模型。

相关的研究论文有:

《一种准线性集束调整方法》

《Multicore Bundle Adjustment》

《Bundle Adjustment in the Large》

《Bundle adjustment—a modern synthesis》

《sba-A Software Package for Generic Sparse Bundle Adjustment》

《A Consensus-Based Framework for Distributed Bundle Adjustment》

相关的专利有:

《复杂场景的二维视频转换为三维视频的方法与系统》

《一种基于光场数字重聚焦的快速三维重建方法与系统》

《一种图像三维重建方法及系统》

虽然现有集束调整方法在大规模场景的三维重建中距离实际应用还有很大距离，但是一些理论思想为我们设计出适用于大规模场景下的实时鲁棒的集束调整方法提供了技术支持。

技术实现要素：

本发明要解决的技术问题是：如何在有限的内存空间下实时鲁棒的求解大规 模三维重建的集束调整问题，使得一系列的大规模三维重建变成可能。

为了解决上述技术问题，本发明提出了一种面向大规模三维重建的实时鲁棒的集束调整方法，采用鲁棒的损失函数度量计算值与目标值之间的误差，并根据摄像机与三维点之间的稀疏性对大规模集束调整问题进行稀疏分解；首先计算摄像机参数信息，然后求解三维点云信息，从而用于一系列大规模场景的精确三维重建。

本发明采用的技术方案是：

一种面向大规模三维重建的实时鲁棒的集束调整方法，包括以下步骤：

S1：对于给定的摄像机姿态和场景的三维点云信息，给出鲁棒的集束调整方程；

S2：对于大规模三维重建的集束调整问题，根据摄像机与场景中三维点之间的稀疏关系，对大规模集束调整问题进行分解；

S3：根据稀疏分解后的摄像机正态方程，求解摄像机的旋转矩阵和平移向量；

S4：将S3中求解出的摄像机信息带入稀疏分解后所对应的三维点的正态方程，求解出世界坐标系下的三维点坐标；

S5：将S3和S4求解出的摄像机参数和三维点坐标信息代入对应的正态方程，反复迭代，即可获得精确的摄像机姿态和三维点信息。

其中，所述步骤S1中鲁棒的集束调整方程：采用Huber损失函数度量所求值与目标值之间的误差，避免噪声数据的影响。

其中，所述步骤S2中场景分解的依据为：摄像机与三维点之间存在稀疏性。

其中，所述步骤S3中求解摄像的正态方程(U-WV^-1W^T)Δc_i＝r_ci-WV^-1r_mi所用方法为：LM算法和LDL矩阵分解算法。LM算法采用文献《Levenberg–Marquardt methods with strong local convergence properties for solving nonlinear equations with convex constraints》，LDL算法采用《A fast randomized eigensolver with structured LDL factorization update》。

其中，所述步骤S4中三维点云信息的求解方法为：将摄像机参数带入场景分解后的三维点的正态方程，即可获得三维点云模型。

其中，所述步骤S5中获得精确的摄像机参数和三维点云模型的方法为：迭代优化算法，计算方法为(U-WV^-1W^T)Δc_i＝r_ci-WV^-1r_mi和 Δm_i＝V^-1(r_mi-W^TΔc_i)。

其中，1)采用Huber损失函数度量计算值与目标值之间的误差避免噪声数据的影响；2)将大规模集束调整问题分解为在有限内存空间内可解的问题；3)将1)和2)同时使用，既能提高时间效率又能增强算法的鲁棒性。

所述的一种面向大规模三维重建的实时鲁棒的集束调整方法，其特征在于，所述步骤S3中采用LM和LDL算法对摄像机参数的正态方程(U-WV^-1W^T)Δc_i＝r_ci-WV^-1r_mi进行求解。其中，U、V和W为分块对角矩阵；Δc_i为摄像机参数对应的增量；r_ci为摄像机参数的估计值与精确之间的误差；r_mi为三维点参数的估计值与精确值之间的误差。

所述的一种面向大规模三维重建的实时鲁棒的集束调整方法，其特征在于，所述步骤S4中将摄像机信息带入三维点的正态方程，采用反代法计算三维点云信息，计算方法为：Δm_i＝V^-1(r_mi-W^TΔc_i)。其中，V和W为分块对角矩阵；Δm_i为三维点参数对应的增量；Δc_i为摄像机参数对应的增量；r_mi为三维点参数的估计值与精确值之间的误差。

本发明的有益效果是：

本发明所提出的用于大规模三维重建的实时鲁棒的集束调整方法利用鲁棒的Huber损失函数精确度量误差，避免噪声数据的影响；其次，根据摄像机与三维点之间的稀疏性，对大规模集束调整问题进行分解，使得在有限的内存空间内能够求解大规模三维重建的集束调整问题。

附图说明

图1为本发明一种面向大规模三维重建的实时鲁棒的集束调整方法的处理流程图；

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。

本发明公开了一种面向大规模三维重建的实时鲁棒的集束调整方法，通过该方法可以对场景的三维点云模型进行优化，从而获得大规模场景的精确的三维点云模型，应用场景包括：城市规划、三维打印、建筑工程、游戏与军事仿真等。

如图1所示，为本发明一种面向大规模三维重建的实时鲁棒的集束调整方法的处理流程图，图中表示的步骤包括：

a：对于给定的摄像机参数和三维点，鲁棒的集束调整方程如下：

其中,X_i,j表示第i个摄像机下可见的第j个三维点,x_i,j表示X_i,j在图像上的投影点,H(·)表示Huber损失函数。

集束调整的目的是使得E最小，最小化表达形式为：

其中,r(P)＝F(P)-x,F(x)＝K_i[R_i|t_i]X_i,j表示P的投影函数，P为参数向量。

首先计算函数F(P)在点P处的一阶泰勒展开式，如式(3)所示.

F(P+Δ)＝F(P)+JΔ (3)

其中，Δ表示参数P的增量。

令P_i+1＝P_i+Δ_i，由式(3)可知：

F(P_i+1)-x＝F(P_i)+JΔ_i-x (4)

由于F(P_i)-x＝r_i，因此可以得出式(5)。

r_i+1＝F(P_i+1)-x＝r_i+JΔ_i (5)

由式(5)可知要使得最小，等同于最小化目标函数r_i+JΔ_i，如式(6)所示。

令r_i+JΔ_i＝0，可以获得式(7)。

JΔ_i＝-r_i (7)

根据LM算法，对式(7)进行变换，获得式(8)所示的正态方程(normal equation)。

(J^TJ+λdiag(J^TJ))Δ_i＝-J^Tr_i (8)

至此，可知求解参数向量P的前提是获得每次的迭代增量Δ_i。因此，由以上分析可知，集束调整的目标是求解如式(8)所示的正态方程的解。

b：根据摄像机与三维点之间的稀疏性对打过集束调整问题进行分解，其稀疏性如图1所示。

在集束调整中，参数向量P＝[c^Tm^T]由相机参数和三维点 组成。为了便于描述问题，将参数向量P进行分解，如式(9)所示。

P＝(P₁,P₂,…,P_m+n) (9)

其中，p_ij表示第j幅图像对应的摄像机参数和三维点参数。

根据可知，当i≠k时，因此，获得一个稀疏的雅克比矩阵J。

J＝[J_cJ_m] (10)

当i＝k时，矩阵元素为非零，其他元素为零。

同理，存在如式(11)所示的增量Δ。

Δ＝[Δ_cΔ_m]^T (11)

因此，(J^TJ+λdiag(J^TJ))可改写为式(12)。

其中，U和V为分块对角矩阵。

至此，式(8)可以改写为式(13)所示的正态方程。

在式(13)两边同时乘以矩阵A，结果如式(15)所示。

展开式(15)可以获得式(16)和(17)。

(U-WV^-1W^T)Δc_i＝r_ci-WV^-1r_mi (16)

Δm_i＝V^-1(r_mi-W^TΔc_i) (17)

在三维重建中，根据摄像机与三维点之间的稀疏性对集束调整问题进行稀疏分解，可以将式(8)转化为求解式(16)所表示的小规模的正态方程的解。当求解出摄像机的增量参数Δc_i，采用反代法(back substituting)将Δc_i代入式(17)即可求解出三维点的参数增量Δm_i。至此，将集束调整的求解转换为求解式(16)所示的摄像机增量参数所对应的正态方程的解。

c摄像机参数的正态方程求解。

由于矩阵(U-WV^-1W^T)是对称正定矩阵，采用LDL矩阵分解算法求解正态方程(16)的解。

令A＝(U-WV^-1W^T)，A可分解为：

A＝LDL^T (18)

计算式(16)中的Δc_i需要以下步骤：

Step1：计算方程LΔc′＝r_c-WV^-1r_m的解。

由于L是下三角矩阵，因此，采用前向替代法求解Δc′，计算方法如式(19)所示。

Step2：计算Δc″，方法如式(20)所示。

Δc″＝D^-1Δc′ (20)

Step3：计算方程L^TΔc＝Δc″的解。由于L^T是上三角矩阵，因此采用反代法求解Δc，计算方法如式(21)所示。

通过以上步骤，即可求得正态方程(16)的解，通过反代法，将Δc_i代入式(17)即可求解出Δm_i。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。