一种无特征提取的紧致sfm三维重建方法
【专利摘要】本发明公开了一种无特征提取的紧致SFM三维重建方法，包括：输入关于某场景的n幅图像，n≥2；建立与某个相机坐标系相一致的世界坐标系；以三维场景的深度和相机投影矩阵作为变量，构造类似光流估计的目标函数，采用由粗到细的金字塔方法，设计迭代算法对目标函数进行优化，输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵；根据表示场景三维信息的深度，实现紧致的射影、相似或者欧几里德重建。本发明能够一步完成紧致SFM三维重建。由于通过一步优化实现紧致三维信息的估计，以目标函数值作为指标，能够得到最优解，至少是局部最优解，比现有方法有很大改进，已初步得到实验验证。
【专利说明】一种无特征提取的紧致SFM三维重建方法
【技术领域】
[0001]本发明涉及图像三维重建领域，更具体地，涉及一种无特征提取的紧致SFM三维
重建方法。
【背景技术】
[0002]基于计算机视觉的三维重建是指利用数码相机或者摄像机获取图像，构建算法以估计所拍摄场景或者目标的三维信息，实现表达三维客观世界的目的，其应用范围包括机器人导航、汽车自动或者辅助驾驶、虚拟现实、数字媒体创作、计算机动画、基于图像的绘制(image-based rendering)和文化遗产的保存等。
[0003]基于运动的建模(Structure from Motion, SFM)是目前常用的一种三维重建方法，即从两幅、多幅图像或者视频估计场景或者目标的三维信息。已有实现SFM三维重建的技术手段有以下特点:基于特 征点的、稀疏的和分两步完成。已有SFM三维重建分两步完成:首先从图像检测并匹配具有尺度或者仿射等不变性(invariance)的特征点，包括Harris 特征点、Kanade-Lukas-Tomasi (KLT)特征和 Lowe 尺度不变特征(scale invariantfeature transform, SIFT),然后估计所检测特征量的三维信息和相机的姿态(包括位置和角度)。
[0004]已有的SFM三维重建算法分为两步完成，不能真正达到最优化效果。由于从图像中检测到特征点的二维坐标有误差，在其基础上即使采用优化算法重建其三维信息，也无法获得全局意义上的优化结果。由于特征点的匹配精度通常比较低，因此不可避免的造成低精度的三维重建。
[0005]三维重建效果是稀疏的(sparse);由于只对所提取特征点估计其三维信息，不能实现紧致的(dense)三维重建，即不能估计出所有像素点的三维信息。对于30万像素的480*640图像，在保证一定正确匹配率的前提下，通常只能检测到200~300个甚至更少的特征点，相对于30万像素的图像来说，特征点是非常稀疏的，绝大部分像素都没有直接估计其三维信息。虽然可以进一步在特征点基础上，利用估计出的极线约束(epipolarconstraint)等技术手段进一步估计其它点的三维信息，实现紧致或者半紧致(quasidense)重建，但是由于所估计的特征点的三维信息和相机姿态存在一定的误差，影响后续其它点的三维估计效果。
【发明内容】
[0006]为了克服现有技术的不足，本发明提出一种无特征提取的紧致SFM三维重建方法。采用该SFM三维重建方法，不需要特征点检测及匹配，采用一步优化即可实现紧致三维重建。
[0007]为了实现上述目的，本发明的技术方案为:
[0008]一种无特征提取的紧致SFM三维重建方法，包括以下步骤:
[0009]S1.输入关于某场景的η幅图像，η≥2 ;[0010]S2.建立与某个相机坐标系相一致的世界坐标系，设世界坐标系与第一相机的坐标系相一致，即世界坐标系的原点、X轴和I轴与第一相机的相机中心、第一相机成像平面的X轴和I轴重合，其Z轴垂直指向第一相机的成像平面；
[0011]S3.以三维场景的深度和相机投影矩阵作为变量，所述三维场景的深度是指第I幅图像像素点对应的三维空间点具有的深度q;所述相机投影矩阵是指其它(η-l)幅图像的3 X 4相机投影矩阵Pi, 2≤i≤η ;
[0012]S4.构造类似光流估计的目标函数，所述目标函数是连续域上的变分目标函数或其离散形式的目标函数；
[0013]S5.采用由粗到细的金字塔方法，在连续域或者离散域上设计迭代算法对目标函数进行优化，输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵；
[0014]S6.根据表示场景三维信息的深度，实现紧致的射影、相似或者欧几里德重建。
[0015]该方法能够一步完成SFM三维重建，由于通过一步优化实现三维信息的估计，以目标函数值作为指标，能够得到最优解，至少是局部最优解，比已有方法有很大改进，且已初步得到实验验证。
[0016]上述的相机是指某幅图像对应的相机，在本发明中，关于场景的第一幅图像对应的相机是第一相机，第一相机的坐标系与世界坐标系相一致；各幅图像均对应一个3X4相机投影矩阵。 [0017]在本发明中采用该类方式建立世界坐标系是为了计算方便，在实际中，可以任意建立世界坐标系，如果任意建立坐标系，则待估计的参数包括η个相机投影矩阵，刻画每个三维点需要三个坐标参数。在本发明虽然没有给出这种方案的技术细节，但是任意建立世界坐标系的方案与上述建立世界坐标系的方案基本原理一样。
[0018]为了实现射影三维重建，则首先要进行参数化设定，即在实现射影三维重建中，参数化具体为:在建立世界坐标系的同时，其第一相机的相机投影矩阵为[I3 O] e R3’4，其中I3是一个3 X 3的单位阵，O是一个3 X I的零向量；其它相机投影矩阵Pi e R3’4，2≤i≤n，作为待估计的未知参数；场景的三维结构由定义在第一副图像上的三维场景的深度决定:假设与第一幅图像像素(x，y)相对应的三维空间点的三维场景的深度为qx,y，则该三维点的三维坐标为
[0019](qx,yXx，qx，yXy, qx，y) (I)
[0020]在射影三维重建中，相机投影矩阵Pi和三维场景的深度qx，y作为待估计的未定参数，为了表达式的简练，在不造成误解的情况下，省略下标X，y。
[0021]实现连续域上射影三维重建的具体实现过程为:
[0022]构造的连续域上的目标函数具体为:
[0023]f (P2，...，Pn，Q) fdata+f smooth—uv+f smooth—depth ( 2 )
[0024]其中
【权利要求】
1.一种无特征提取的紧致SFM三维重建方法，其特征在于，包括以下步骤: S1.输入关于某场景的η幅图像，η≥2; S2.建立与某个相机坐标系相一致的世界坐标系，设世界坐标系与第一相机的坐标系相一致，即世界坐标系的原点、X轴和y轴与第一相机的相机中心、第一相机成像平面的X轴和I轴重合，其z轴垂直指向第一相机的成像平面； S3.以三维场景的深度和相机投影矩阵作为变量，所述三维场景的深度是指第I幅图像像素点对应的三维空间点具有的深度q;所述相机投影矩阵是指其它(η-l)幅图像的3 X 4相机投影矩阵Pi, 2≤i≤η ; S4.构造类似光流估计的目标函数，所述目标函数是连续域上的变分目标函数或其离散形式的目标函数； S5.采用由粗到细的金字塔方法，在连续域或者离散域上设计迭代算法对目标函数进行优化，输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵； S6.根据表示场景三维信息的深度，实现紧致的射影、相似或者欧几里德重建。
2.根据权利要求1所述的无特征提取的紧致SFM三维重建方法，其特征在于，在实现射影三维重建中，参数化具体为:在建立世界坐标系的同时，其第一相机的相机投影矩阵为[I3 O] e R3’4，其中I3是一个3X3的单位阵，O是一个3X1的零向量；其它相机投影矩阵Pi e R3'4,2 ^ i ( n，作为待估计的未知参数；场景的三维结构由定义在第一副图像上的三维场景的深度决定:假设与第一幅图像像素(x，y)相对应的三维空间点的三维场景的深度为qx，y，则该三维点的三维坐标为
(qx；yXx, qx；yXy, qx；y) (I) 在射影三维重建中，相机投影矩阵Pi和三维场景的深度qx，y作为待估计的未定参数，为了表达式的简练，在不造成误解的情况下，省略下标X，I。
3.根据权利要求2所述的无特征提取的紧致SFM三维重建方法，其特征在于，实现连续域上射影三维重建的具体实现过程为: 构造的连续域上的目标函数具体为:
4.根据权利要求3所述的无特征提取的紧致SFM三维重建方法，其特征在于，目标函数(2)中的数据项和偏移平滑项能够采用其它类似的变化形式:
5.根据权利要求2所述的无特征提取的紧致SFM三维重建方法，其特征在于，构造离散形式的目标函数具体为:
6.根据权利要求1所述的无特征提取的紧致SFM三维重建方法，其特征在于，由粗到细的金字塔方法步骤具体为:计算图像的η层金字塔表示；在最粗图像层，初始化η-l个相机投影矩阵为Pi= [I3 0]，2 Si Sn，所有点的三维场景的深度初始化为I;由粗到细依次估计相机投影矩阵和三维场景的深度，并且对相机投影矩阵和三维场景的深度分别修正和插值，以此作为下一精细图像层迭代过程的初始值； 关于不同精度层之间三维场景的深度的插值，采用双线性插值或双三次插值方法实现；关于不同精度层之间相机投影矩阵的修正，设相邻两级精度的图像在X和I方向的像素比为S1和s2，Sl，S2 < 1，在较低精度图像层估计得到某个相机的相机投影矩阵为p(k+1)，其中上标(k+Ι)代表图像金字塔结构的第k+Ι层，那么对应第k层图像的相机投影矩阵为
7.根据权利要求2或6所述的无特征提取的紧致SFM三维重建方法，其特征在于，实现相似三维重建或者欧几里德三维重建的具体过程为: 参数化具体为:相机投影矩阵由相机内部参数和相机外部参数描述: P = K[R t]
其中相机内部参数αχ、ay、s、Pj^PPy包含在3X3矩阵
8.根据权利要求6所述的无特征提取的紧致SFM三维重建方法，其特征在于，所述无特征提取的紧致SFM三维重建方法还能够推广到大基线情形，具体步骤为:在射影几何中，大基线情形是指相机之间的相对运动比较大，造成图像之间有显著的区别，在大基线情形中，具体来说，SFM三维重建分为三步: 第一步，从图像提取特征并匹配，提取的特征为=Harris特征、SIFT特征或KLT特征； 第二步，在所提取特征的基础上，估计特征点的三维信息和相机投影矩阵； 第三步，在前面两步的基础上，利用算法3实现紧致SFM三维重建； 其中，以第二步估计得到的相机投影矩阵作为第三步的相机投影矩阵初始值，对第二步估计得到的三维场景的深度进行插值，作为第三步的三维场景的深度初始值。
【文档编号】G06T17/00GK103914874SQ201410139234
【公开日】2014年7月9日 申请日期:2014年4月8日 优先权日:2014年4月8日
【发明者】陈佩 申请人:中山大学