多视图重建中的一种线性全局相机运动参数估计方法与流程

本发明属于多视图几何和三维重建技术领域，涉及一种多视图重建中的一种线性全局相机运动参数估计方法。

背景技术：

在计算机视觉中，三维重建是一个研究的热点问题，并且重建出来的三维模型有着广泛的应用场景，三维重建技术正在人类的生活中发挥着重要作用。特别是基于图像的三维重建，在三维游戏开发、古代文物遗迹的重建、三维数字化城市的设计、工业上机器原型的设计等领域有了十分广泛的应用，因此对于基于图像的三维重建技术的研究是计算机视觉和图形学研究领域的重要方向之一。经过多年的研究和计算机技术的发展，其中的一些问题，已得到比较好的解决，比如相机的标定、内参数的获取等，同时求解相机的外参数，即运动参数的估计却是一直未能找到比较好的方法，特别是在面临着大规模场景和噪声影响的情况下。目前，运动参数估计是三维重建中研究的重点。

随着研究的不断深入，研究者们已经提出了很多运动参数估计方法。这些运动参数估计方法有线性求解方法的，还有迭代求解方法，即通过不断迭代去逼近真实值，有局部优化的方法，也有全局优化的方法，就是把所有的相机放在一起，统一到同一坐标系下进行优化求解，有独立求解的方法，也有和结构一起求解的，就是同时和恢复空间中场景点一起进行计算估计。现在基本上把该问题当作一个优化问题来处理。

尽管这些运动参数估计方法各有优点，但是也存在不同的缺点。要么是计算太过复杂，难以在计算复杂与精度两者之间取得平衡，抑或难以实施，要么是精度不高，虽然计算简单，但效果并不理想，再或者是对噪声比较敏感。还有就是无法有效解决大规模成千上百的图像场景的重建应用。

技术实现要素：

有鉴于此，本发明的目的在于提供一种多视图重建中的一种线性全局相机运动参数估计方法，针对现有运动参数估计方法对噪声敏感和精度不高等不足，本发明提出的线性全局参数估计方法具有抗噪且精确的特点，使其能基于多视图几何的方法计算成对的本质矩阵，从而克服初始化成对本质矩阵的误差或错误的影响，并且其方法是线性的，计算也比较高效，本发明所述方法能有效解决现有运动参数估计方法存在的问题。

为达到上述目的，本发明提供如下技术方案：

多视图重建中的一种线性全局相机运动参数估计方法，包含如下步骤：

s1：对固定场景的多张图像进行两两匹配；

s2：采用基于多视图几何的理论和全局优化方法将所有相机放在同一坐标系下进行优化；

s3：计算出所有相机的绝对旋转；

s4：利用相机的绝对旋转和点匹配，根据多视图几何中极线几何约束关系计算出相机的绝对平移向量。

进一步，步骤s1具体为：

s11：对固定场景的多张图像进行两两匹配；

s12：对通过两两匹配得到匹配点进行判断，若判定为内点不足或不符合要求，则将该匹配点对定义为缺失，且不保留该匹配点对或跳过该匹配点对所对应的图像。

进一步，步骤s2具体为，采用基于多视图几何的理论和全局优化方法将所有相机放在同一坐标系下进行优化，通过目标函数计算相机的绝对旋转矩阵，

其中，ri为绝对的旋转矩阵，表示相机i在全局坐标系下的方位或朝向；为相对的旋转矩阵，表示第i个相机相对于第j个相机的旋转；rj表示相机j在全局坐标系下的方位或朝向，rn表示相机n在全局坐标系下的方位或朝向，n表示图像的数量，||·||f表示一个矩阵的frobenius范数。

进一步，所述目标函数通过如下方式计算：

s21：将所有的相对旋转集合起来，构造一个3n×3n的对称矩阵g；

s22：统计矩阵g中每个行块有效的相对旋转矩阵的数量，构造3n×3n的矩阵d。

进一步，所述对称矩阵g为，

所述矩阵d为，

其中，i为单位矩阵，为相机的相对旋转矩阵，表示第i个相机相对于第j个相机旋转；dk表示矩阵g中第k行块中得到的有效相对旋转的数量,1≤k≤n。

进一步，步骤s4具体为：

s41：根据相机的绝对旋转和匹配点来计算相机的平移向量；

s42：根据多视图几何中的极线几何约束关系，结合匹配点对得到绝对平移向量。

进一步，步骤s41中，相机的平移向量根据本质矩阵获得，所述本质矩阵为，

eij＝ri^t(ti-tj)rj

其中，ti＝[ti]×，ti表示ti内积的斜对称矩阵，tj表示tj内积的斜对称矩阵，ti为第i个相机的绝对平移向量，表示在全局坐标下的位置，tj表示第j个相机的绝对平移向量；

步骤s42中，结合匹配点对得到绝对平移向量满足：

其中，为第i张图像上的第m个特征点；为第j张图像上的第m个特征点。

本发明的有益效果在于：本发明提供的多视图重建中的一种线性全局相机运动参数估计方法，在基于多视图几何的基础上，采用全局优化的思路，将所有的相机放在同一坐标系下一起考虑，计算两个3n×3n的矩阵，最终线性的得到全局坐标下相机的运动参数，本发明所述方法克服了相对旋转初始化误差的影响，能够处理大场景的重建应用，同时也噪声的影响较小，计算简单，不需要额外的其他信息，极大提高了运动参数的精度。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明方法的流程图；

图2为小孔成像模型图；

图3为极线几何示意图；

图4为由图像到运动的展示图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明提供多视图重建中的一种线性全局相机运动参数估计方法，基于特征点匹配与多视图几何理论，首先从一系列固定场景的图像中进行两两匹配得到匹配点对，从匹配点对中计算出成对的本质矩阵，将本质矩阵分解得到成对的相对旋转矩阵；然后根据目标函数利用这些成对的相对旋转进行全局优化得到绝对的旋转矩阵；接着多视图几何理论找出本质矩阵的一种新的表达，结合图像特征点对构造线性等式系统，求解出绝对的平移向量，如图1所示，本发明所述方法具体包括以下步骤：

步骤1：输入一系列图像，通过特征匹配算法进行两两图像匹配。

固定场景的一系列有序或无序图像，本实例采用surf特征描述子进行两两匹配，得到匹配点。并且对得到的匹配点进行判断，一旦其内点不足或者不符合要求，便定义为缺失，不再保留该匹配点或者跳过此两幅图像。

步骤2：基于多视图理论利用匹配点计算得到本质矩阵，并将本质矩阵奇异值分解得到成对的相对旋转矩阵。

步骤201：计算本质矩阵，本质矩阵是多视图几何理论中的重要概念，与相机的外参数有关，它将左摄像机观测到的空间点p的物理坐标与右摄像机观测到的相同点的位置关联起来，如图2所示。

步骤202：分解本质矩阵eij，得到成对的相对旋转。其本质矩阵公式为：

其中，tij为相对的平移向量，表示第i个相机相对于第j个相机的位置；表示对应tij内积的斜对称矩阵；rij为相对的旋转矩阵，表示第i个相机相对于第j个相机的旋转。

利用奇异值分解的原理将本质矩阵eij，可将其分解为旋转矩阵rij和平移向量tij。但得到旋转不止一个，这时需要进行筛选，其筛选原则为：空间点应在两相机前面，如图2中所示，空间点p应在左右摄像机前面。

另外，根据多视图几何中的极线几何原理，空间点p及其在图像i与图像j上的投影点分别表示为pi和pj，其满足极线几何约束关系，如图3所示。具体关系等式为：

本实施例定义表示全局坐标系下的相机的焦点，定义ri∈so(3)，表示全局坐标系下的相机的方位，对一对图像i和j，定义有下面关系：

rij＝ri^trj

同时，很容易验证：

当得到所有的相对旋转矩阵后，就可以进入步骤3。

步骤3：利用相对旋转，建立目标函数，根据特征值分解，求解目标函数，得到绝对的相机旋转矩阵。

经过步骤2处理后，将得到所有两两图像间的相对旋转，就是根据这些相对旋转来求解绝对的旋转。

首先根据公式(3)构造目标函数，目标函数如下：

为了求解该目标函数，构建一个3n×3n的对称矩阵g，包含所有的成对的相对旋转矩阵，公式如下：

同时定义一个3×3n的矩阵r，让矩阵r包含所有的绝对旋转，其定义如下：

r＝[r1r2...rn]

接下来统计g矩阵中每个行块中有效的相对旋转矩阵数量构造出d矩阵，其构造公式如下：

其中，i为单位矩阵，dk表示矩阵g中地k行块中有效的相对旋转的数量，1≤k≤n。

这样就可验证gr^t＝dr^t，因此矩阵d^-1g的三个特征值为1的特征向量就构成了矩阵r^t的列。为了提取出绝对的旋转矩阵，定义一个3n×3的矩阵m,其包含这些特征向量，其m定义为：

m＝[m1；m2；...mn]

其中每个mi就是一个对第i个相机绝对旋转的估计。

最后利用奇异值分解每个mi，就得到每个绝对旋转矩阵ri。

步骤4：根据多视图几何理论，利用绝对的旋转矩阵和匹配点对构造线性等式，求解得到绝对的相机平移向量。

通过步骤3得到的每个相机绝对的旋转ri，转而开始求解相机的绝对平移向量，首先找到一种仅仅包含旋转与平移的本质矩阵的表达：

eij＝ri^t(ti-tj)rj

其中，ti＝[ti]×，

进一步，根据多视图几何中的极线几何约束关系，结合匹配点对得到的等式：

其中，为第i张图像上的第m个特征点，为第i张图像上的第m个特征点。

最后，根据最小二乘，求解线性等式系统，通过找到3n×3n矩阵的4个最小特征值的特征向量，得到每个相机的绝对平移向量ti。

这样就估计得到每个相机的运动参数，即每个相机的绝对旋转矩阵ri和绝对平移向量ti，其由图像到相机运动估计如图4所示。

最后说明的是，以上优选实施例仅用以说明发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。