一种融合附加信息的大场景三维重建方法
【专利摘要】一种融合附加信息的大场景三维重建方法，包括：提取所有图像的SIFT点，进行图像匹配，构建外极几何图，得到对应于所有三维场景点的轨迹；根据惯性测量单元信息或者指南针角度得到每幅图像的初始摄像头旋转矩阵，迭代地搜寻外极几何图中当前可靠的连接边，并利用这些边进行全局优化；初始化摄像头的中心为对应图像的GPS，根据图像初始焦距信息，旋转矩阵和摄像头中心位置得到每幅图像的初始投影矩阵，根据这些投影矩阵和三维场景点轨迹迭代地三角化和捆绑调整。本发明方法计算迅速，得到的三维场景合理可靠，对图像误匹配敏感度低，泛化性能强，对有序和无序图像集都适用。
【专利说明】一种融合附加信息的大场景三维重建方法
【技术领域】
[0001]本发明涉及一种计算机视觉领域的三维重建方法，尤其是一种融合附加信息的大场景三维重建方法。
【背景技术】
[0002]融合附加信息辅助三维重建是计算机视觉的重要研究方向之一，其在三维地貌生成、古迹遗址数字文化遗产保存、三维街景城市导航等方面有着广泛的应用。在三维重建的过程中，如何有效地融合含有噪声的先验信息对于是否可以快速鲁棒地三维重建具有重要影响，现有方法中尚没有一套完整思路算法来充分融合各种先验信息辅助各种场景下的快速鲁棒三维重建。
[0003]经对现有技术的文献检索发现，Pollefeys等于2008年在《2008Internat1nalJournal of Computer Vis1n》(2008年的《计算机视觉》国际期刊)上发表的论文“Detailed real-time urban 3 d reconstruct1n from video”(基于视频的精细实时城市3D重建)提出通过GPS、惯性测量单元等附加信息辅助实时三维重建。该方法计算准确，但是需要很高精度的GPS和惯性测量单元设备才能完成，这对于一般的无人机设备和街景车设备来讲是不现实的。David J.Crandall等于2013年在《IEEE Transact1nson Pattern Analysis and Machine Intelligence)) (IEEE:模式分析与机器智能会刊)上发表的论文 “SfM with MRFs:Discrete_Continuous Optimizat1n for Large-ScaleStructure from Mot1n”(基于运动的大场景离散连续优化)提出利用马尔科夫随机场与GPS附加信息来首先求解离散朝向和离散摄像头位置，然后连续优化场景。该方法具有较高的计算效率，但无法适用于无人机图像，且该方法鲁棒性不够好，对误匹配的三维场景点对应的轨迹过于敏感。
【发明内容】
[0004]为了克服现有技术中存在的上述缺陷，本发明提出了一种融合附加信息的大场景三维重建方法，以实现大场景的快速鲁棒三维重建。
[0005]本发明的融合附加信息的大场景三维重建方法，包括以下步骤:
[0006]步骤1，提取所有图像的SIFT点，进行图像匹配，构建外极几何图，得到对应于所有三维场景点的轨迹；
[0007]步骤2，根据惯性测量单元信息或者指南针角度得到每幅图像初始摄像头旋转矩阵，迭代地搜寻所述外极几何图中可靠的连接边，并利用所述可靠边进行全局优化；
[0008]步骤3，初始化摄像头的中心为对应图像的GPS，根据图像初始焦距信息，旋转矩阵和摄像头中心位置得到每幅图像的初始投影矩阵，根据这些投影矩阵和三维场景点的轨迹迭代地三角化和捆绑调整。
[0009]其中，所述附加信息包括拍摄图像时与图像同步存储的GPS、惯性测量单元信息、指南针角度以及可交换图像文件。
[0010]其中，所述步骤I进一步包括下列步骤:
[0011 ] 提取所有图像的SIFT特征点，根据所述图像SIFT特征点建立图像语义树，得到初始的匹配图像对，然后再根据GPS去除距离较远的图像对，对剩余的图像对进行特征匹配；
[0012]将图像作为外极几何图的顶点，根据5点法求取两幅图像的极几何关系，如果他们之间匹配特征点超过20个，这两幅图像之间有边连接，以此得到外极几何图；
[0013]在由此得到的所述外极几何图上，构建场景对应的三维场景点轨迹。
[0014]其中，所述步骤2进一步包括下列步骤:
[0015]将全局坐标系与GPS坐标系设为一致，在这个全局坐标系下定义初始旋转矩阵，根据步骤I中得到的所述外极几何图，每条边定义一个残差:
【权利要求】
1.一种融合附加信息的大场景三维重建方法，包括以下步骤: 步骤I，提取所有图像的SIFT点，进行图像匹配，构建外极几何图，得到对应于所有三维场景点的轨迹； 步骤2，根据惯性测量单元信息或者指南针角度得到每幅图像初始摄像头旋转矩阵，迭代地搜寻所述外极几何图中可靠的连接边，并利用所述可靠边进行全局优化； 步骤3，初始化摄像头的中心为对应图像的GPS，根据图像初始焦距信息，旋转矩阵和摄像头中心位置得到每幅图像的初始投影矩阵，根据这些投影矩阵和三维场景点的轨迹迭代地三角化和捆绑调整。
2.根据权利要求1所述的融合附加信息的大场景三维重建方法，其中所述附加信息包括拍摄图像时与图像同步存储的GPS、惯性测量单元信息、指南针角度以及可交换图像文件。
3.根据权利要求1所述的融合附加信息的大场景三维重建方法，其中所述步骤I进一步包括下列步骤: 提取所有图像的SIFT特征点，根据所述图像SIFT特征点建立图像语义树，得到初始的匹配图像对，然后再根据GPS去除距离较远的图像对，对剩余的图像对进行特征匹配； 将图像作为外极几何图的顶点，根据5点法求取两幅图像的极几何关系，如果他们之间匹配特征点超过20个，这两幅图像之间有边连接，以此得到外极几何图； 在由此得到的所述外极几何图上，构建场景对应的三维场景点轨迹。
4.根据权利要求1所述的融合附加信息的大场景三维重建方法，其中所述步骤2进一步包括下列步骤: 将全局坐标系与GPS坐标系设为一致，在这个全局坐标系下定义初始旋转矩阵，根据步骤I中得到的所述外极几何图，每条边定义一个残差:
eij =IlRij — rTRj IIf 其中，Rij表示两幅图像i与j之间的相对旋转矩阵，Ri与&分别表示图像i与图像j的绝对旋转矩阵，I 1*1 If表示矩阵的F范数，当残差e小于阈值T时，认为该条边是当前可靠边；其中，T的计算方法如下:
其中，M表示外极几何图中边的总数目，N表示图像的总数目；ρ表示第P次迭代々是一个0-1函数，当在第P次迭代，外极几何图中的边ij的残差e u大于T时设为1，否则为O ; α为一个预设的阈值，初始值定为0.9 ； 迭代进行上述操作，每次都要重新确定哪些边是当前可靠边，然后优化这些当前可靠边获取摄像头旋转矩阵，直到相邻两次迭代中当前可靠边不再发生变化时迭代收敛。
5.根据权利要求4所述的融合附加信息的大场景三维重建方法，其中所述将全局坐标系与GPS坐标系设为一致的步骤为将全局坐标系与GPS坐标系均设为东-北-上分别表示x-y-z轴方向。
6.根据权利要求4所述的融合附加信息的大场景三维重建方法，其中在所述计算阈值T的步骤中，如果当前可靠边不能覆盖所有图像时，需要增大α来满足覆盖约束。
7.根据权利要求1所述的融合附加信息的大场景三维重建方法，其中所述步骤3进一步包括下列步骤: 如下计算任意一幅图像i的初始投影矩阵Pi:
其中，4表示图像i的焦距，来源于图像的可交换图像文件信息，Ri是步骤2的结果，表示第i幅图像的绝对旋转矩阵，GPSi表示第i幅图像的GPS坐标；根据投影矩阵和步骤I得到的三维场景点的轨迹集合，做三角化得到初始的三维点； 当三维点的平均重投影误差大于阈值H时，认为该三维点是当前可靠三维点；其中H的计算方式如下:
其中，K表示三维场景点对应的轨迹总数目；δ$Ρ)是一个0-1函数，当在第P次迭代中，第q个三维点的平均重投影误差的残差大于H时δ$)设为1，否则为0;β是一个设定的阈值，设为0.8 ; 对于错误投影点，采用Huber形式的重投影误差函数，考虑到可交换图像文件中的焦距可靠性，计算最小化的优化函数如下:
其中:g(P，X)表示Huber函数形式重投影误差函数；Vij表示第j个三维点是否在第i幅图像中可见，可见设为1，不可见设为O ;N表示图像的数目，K表示三维场景点对应的轨迹的数目表示二维图像的坐标；Y (*)表示重投影函数，这里重投影时只考虑径向畸变参数的中前两个参数，分别对应二阶项和四阶项术丨1)表示在第1次迭代中，第j个三维点是不是当前可靠的三维点，如果是设为1，如果不是设为O 表示第1次迭代时第i幅图像当前焦距，Gxifi表示第i图像中可交换图像文件中读取出的焦距；以及 迭代进行上述步骤3:每次都要重新确定哪些三维场景点是当前可靠场景点，然后优化这些当前可靠点获取新的摄像头投影矩阵，利用新的投影矩阵做下一次迭代的三角化操作；当相邻两次迭代中可靠场景点不再发生变化迭代收敛。
8.根据权利要求7所述的融合附加信息的大场景三维重建方法，其中在计算阈值H的步骤中，当所有三维场景点的轨迹的可见图像所组成的集合不能覆盖所有图像时，增大β来满足覆盖约束。
9.根据权利要求7所述的融合附加信息的大场景三维重建方法，其中进一步包括下列步骤:将得到的所述数据最终三维点云和摄像头姿态写成vrml语言表示的形式。
【文档编号】G06T17/00GK104200523SQ201410460622
【公开日】2014年12月10日 申请日期:2014年9月11日 优先权日:2014年9月11日
【发明者】胡占义, 崔海楠, 申抒含, 高伟 申请人:中国科学院自动化研究所