专利名称：处理含有主平面场景的三维点云重建方法和系统的制作方法
技术领域：
本发明属于计算机视觉领域，尤其涉及由多视角二维图像重建场景的三维点云模 型的方法。
背景技术：
对现实物体和场景建立真实、可靠的三维点云模型是很多三维系统的重要环节。 建立模型的质量对3D技术在遗产保护、虚拟现实、电子游戏等诸多应用的实际效果有着相 当重要的作用。其中人们对基于普通光二维图像的三维重建做了大量的研究，目前仍存在 许多有待改进的地方。DEGENSAC (DEGENerate SAmple Consensus)能够处理一般场景和含有主平面场景 的图像对的对极几何计算的问题，是RANSAC(RANdom SAmplecomsensus)的一种改进算法。 该算法的基本思想是在随机选取数对匹配点后，由它们计算得到图像对之间的基本矩阵； 若该矩阵拥有到目前为止最多的支持点，则检查随机选取的匹配点中是否有一定数目的匹 配点满足某一平面单应关系；若不满足直接进入新一次的计算，否则由平面单应和额外的 两对匹配点可计算得到新的基本矩阵，计算该矩阵的支持点数目；算法根据选取准确模型 的概率要求决定循环的次数，结束时选取拥有最多支持点的基本矩阵作为输出结果。SIFT (Scale-Invariant Feature Transform)算法是一种对特征点进行检测及匹 配的方法，该算法在多尺度空间进行特征检测，确定特征点的位置和特征点所在的尺度；然 后使用一个高维向量作为特征描述符，描述特征点邻域的梯度情况。由于该特征描述符不 随图像尺度和方向而变化，因此有较强的匹配能力，但因其需要在各个尺度上进行技术，时 间复杂度相对较高。捆集调整(Bundle Adjustment)是在给定由不同视点拍摄得到场景图像集的情况 下，按最小化重投影误差的标准同时优化场景几何关系与相机参数的方法。它经常作为基 于特征点的三维重建算法的最后优化步骤。
发明内容
本发明旨在至少解决上述技术问题之一。为此，本发明的一个目的在于提出一种处理含有主平面场景的三维点云重建方 法，通过该方法能够解决现有三维点云重建方法的一些不足，从而实现了无场景依赖的三
维重建。本发明的一个方面提出了一种处理含有主平面场景的三维点云重建方法，包括以 下步骤用内参数已知的相机获取静态场景的多视角图像；检测所述图像的特征点，并对 任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序 列；对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵，且 保存相应的空间平面点集；由所述基本矩阵求得所述图像对间的相对位置关系；根据所述 图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构；和优化所述
5三维点云重构的结果。在本发明的一个实施例中，所述用内参数已知的相机获取静态场景的多视角图像 进一步包括每次摄像前对相机进行标定或对所述相机标定一次后保持所述相机内参不变 以获取相机内参数；根据所述内参数已知的相机以任意多个视角拍摄获取含有一定重叠区 域的图像集。在本发明的一个实施例中，所述检测所述图像的特征点，并对任意两幅图像进行 特征点匹配以得到匹配点对和由同一个场景点投影所得的匹配点序列进一步包括根据所 述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点；记录所述特征点 在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色特征；根据所述图像的 每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点对，其中，在匹配过程 中，根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹配点对。在本发明的一个实施例中，所述一组匹配点对为一个场景点在两幅图像上投影所 得到的相同特征点的集合，所述一个匹配点序列为一个场景点在多幅图像上投影所得到的 每组匹配点对的集合。在本发明的一个实施例中，对包括预定数目匹配点对的图像对根据所述匹配点获 取所述图像对间的基本矩阵，且保存相应的空间平面点集进一步包括步骤1、计算所述图 像对的匹配点数目以确定是否满足预定数目；步骤2、在满足预定数目匹配点的图像对中 随机抽取一定数目的匹配点，并根据抽取的匹配点计算得到所述图像对之间的基本矩阵和 支持点数；步骤3、判断所述基本矩阵是否拥有最多的支持点数，如果拥有最多的支持点数 则标记所述基本矩阵为最优解，并判断在抽取的匹配点中是否有多于预定数目的点满足平 面单应关系；步骤4、如果满足所述平面单应关系，则根据所述抽取的匹配点和额外不满足 平面单应的两对匹配点求得新的基本矩阵，计算新基本矩阵的支持点数；如果所述新基本 矩阵有最多的支持点数，则更新标记所述新基本矩阵为最优解、记录平面单应点集，结束本 次计算且判断是否满足预定循环结束条件；步骤5、如果不满足所述平面单应关系，则直接 结束本次计算且判断是否满足预定循环结束条件。如果判断不满足预定循环结束条件，则 重复操作步骤2至步骤5直至满足循环预定条件，当满足所述循环预定条件时输出基本矩 阵，同时如果所述基本矩阵有平面单应关系则保存平面单应和满足所述平面单应的匹配点 集。在本发明的一个实施例中，对满足所述平面单应关系的匹配点还包括记录所述单 应的支持点数，且判决满足平面单应关系的匹配点的三维重构在一个空间平面上。在本发明的一个实施例中，所述由所述基本矩阵F12求得所述图像对间的相对位 置关系进一步包括根据所述基本矩阵和标定所得的内参矩阵求得相机对间的本质矩阵 En = Kr2FnKl ,其中KpK2为相机的内参矩阵，且根据E12 = [t] XR分解得到所述相机对间的 相对旋转矩阵和平移向量。在本发明的一个实施例中，根据所述图像对间的相对位置关系在标准坐标系中实 现所述相机融合、三维点云重构进一步包括适当选取标准坐标系，依照一定顺序确定各图 像在所述标准坐标系中的位置以实现图像逐一添加，并逐步实现三维空间点云的重构，其 中，在重构三维点云的过程中，平面点集的空间重构点须在某个特定空间平面上。在本发明的一个实施例中，优化所述三维点云的重构结果为在添加完成所有图像且重建三维点云后对重建模型应用优化算法以优化，或在一幅或多幅图像的添加过程中和 在空间点云重构过程中运用优化算法进行优化。在本发明的另一个方面还提出了一种处理含有主平面场景的三维点云重建系统， 包括相机，所述相机内参已知，用于获取静态场景的多视角图像；和三维重建装置，所述 三维重建装置用于检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配 点对，和由同一个场景点投影所得的匹配点序列；然后对包括预定数目匹配点对的图像对， 根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集；之后由所述 基本矩阵求得所述图像对间的相对位置关系；且根据所述图像对间的相对位置关系，在标 准坐标系中实现所述相机融合、三维点云重构；最后对所述三维点云重构的结果进行优化。 根据本发明实施例的处理含有主平面场景的三维点云重建方法，解决了现有三维点云重建 方法的一些不足，该方法实现了无场景依赖的三维重建，并且能够由含有主平面的图像集 重建三维点云模型。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明实施例的处理含有主平面场景的三维点云重建方法的整体流程图； 以及图2为本发明实施例的三维点云重建装置的结构图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。下面参考附图描述本发明实施例的处理含有主平面场景的三维点云重建方法。如图1所示，为本发明实施例的处理含有主平面场景的三维点云重建方法的整体 流程图，包括以下步骤步骤S101，用内参数已知的相机获取静态场景的多视角图像。作为本发明的一个 实施例中，用内参数已知的相机获取静态场景的多视角图像包括每次摄像前对相机进行标定或对所述相机标定一次后保持所述相机内参不变以 获取相机内参数；根据所述内参数已知的相机以任意多个视角拍摄获取含有一定重叠区域的图像集。为了能够更清楚的理解本发明提出的获取静态场景的多视角图像方式，以下就具 体举例方式进行描述。在本发明的一个实施例中，首先标定相机的内参，进而保持相机内参不变，然后应 用该相机从多个视角拍摄场景得到场景不同视角的图像，把所有图像保存在一个图像集中。步骤S102，检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹 配点对，和由同一个场景点投影所得的匹配点序列。作为本发明的一个实施例，获取匹配点 对和由同一个场景点投影所得的匹配点序列包括根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点。记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的 颜色特征；根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹 配点对，其中，在匹配过程中，根据局部区域的颜色特征把所述颜色特征最相近的特征点组 成匹配点对。其中，在本发明的一个实施例中，所述一组匹配点对为一个场景点在两幅图像上 投影所得到的相同特征点的集合，所述一个匹配点序列为一个场景点在多幅图像上投影所 得到的每组匹配点对的集合。具体地，为了能够更清楚的理解获取匹配点对的方式，以具体举例描述，在本发明 的一个实施例中，应用SIFT算法求得该图像集中各个图像的特征点和匹配点，具体地包 括运用SIFT算法处理各视角所得的二维图像，得到图像的特征点和特征描述符；根 据所得特征描述符，对各图像对特征点匹配操作；根据图像的特征点数目和图像对的匹配 点数等确定图像和图像对是否进入后续流程的算法计算处理。但是本领域的普通技术人员知道，所述特征点匹配算法并不局限于采用SIFT算 法，只要能够有效的实现特征点的匹配的任何算法，或者对SIFT算法的多种变化算法都应 该属于本发明的保护范围。步骤S103，对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间 的基本矩阵，且保存相应的空间平面点集。在本发明的一个实施例中，获取基本矩阵，且保 存可能存在的空间平面点集包括根据所述图像的特征点数目和所述图像对的匹配点数目以确定是否对所述图像 对进行处理；步骤1、在需要处理的图像对中随机抽取一定数目的匹配点，并根据抽取的匹配点 计算得到所述图像对之间的基本矩阵和支持点数；步骤2、判断所述基本矩阵是否拥有最多的支持点数，如果拥有最多的支持点数则 标记所述基本矩阵为最优解，并判断在抽取的匹配点中是否有多于预定数目的点满足平面 单应关系；步骤3、如果满足所述平面单应关系，则根据所述抽取的匹配点和额外不满足平面 单应的两对匹配点求得新的基本矩阵，计算新基本矩阵的支持点数；如果所述新基本矩阵 有最多的支持点数，则更新标记所述新基本矩阵为最优解、记录平面单应点集，结束本次计 算且判断是否满足预定循环结束条件；步骤4、如果不满足所述平面单应关系，则直接结束本次计算且判断是否满足预定 循环结束条件。
如果判断不满足预定循环结束条件，则重复操作步骤1至步骤4直至满足循环预 定条件，当满足所述循环预定条件时输出基本矩阵，同时如果所述基本矩阵有平面单应关 系则保存平面单应和满足所述平面单应的匹配点集。同时，对满足所述平面单应关系的匹配点还包括记录所述单应的支持点数，且判 决满足平面单应关系的匹配点的三维重构在一个空间平面上。为了更清楚的理解步骤S103 的获取基本矩阵，且保存可能存在的空间平面点集的方式，以下就本发明实施例的具体举 例方式进行描述。具体地，作为本发明的一个实施例中，采用DEGENSAC算法计算从步骤S102保留下 来的图像对之间的对极几何关系，在这里即指基本矩阵F12，同时保存可能得到的若干个平 面点集。步骤S104，由所述基本矩阵F12求得所述图像对间的相对位置关系。在本发明的 一个实施例中，由所述基本矩阵F12求得所述图像对间的相对位置关系包括根据所述基本矩阵和标定所得的内参矩阵求得相机对间的本质矩阵 E12 = Kr2F12K1，其中K1I2为相机的内参矩阵，且根据E12 = [t] XR分解得到所述相机对间的 相对旋转矩阵和平移向量。更为具体地，作为本发明的一个优选实施例的具体例子，包括由基本矩阵和标定 所得的内参矩阵求得图像对间的本质矩阵^2 =K2V12I1，其中Kp K2为相机的内参矩阵；根 据E12= 解得到该对图像间的相对旋转矩阵和平移向量。其中，R、t代表空间点在 第一幅图像坐标系中的坐标做R旋转、t平移后得到空间点在第二幅图像坐标系中的坐标。步骤S105，根据所述图像对间的相对位置关系在标准坐标系中实现所述相机融 合、三维点云重构。作为本发明的一个实施例，实现三维点云重构的方式为适当选取标准坐 标系，依照一定顺序确定各图像在所述标准坐标系中的位置以实现图像逐一添加，并逐步 实现三维空间点云的重构，其中，在重构三维点云的过程中，应用平面点集的空间重构点须 满足在特定空间平面上。以下就具体举例的方式描述本发明实施例中步骤S105提出的三维点云重构的方 法。选择含有最多匹配点的图像作为基础图像，以该图像的坐标系为标准坐标系；选择与 基础图像有最多匹配点的图像，设其与基础图像有N个匹配点；将与基础图像有一定匹配 点数(如0.9N个)以上的图像一起加入标准坐标系，并应用三角化方法重构得到三维空间 点。重构空间点时，根据步骤S103得到的平面点集约束，即平面点集中匹配点的重构点应 该在同一个空间平面上。具体来说，首先重构平面点集中所有匹配点的三维点云；然后根据 距离最小化原理，由这个点云中的点计算得到一个空间平面，保证该点云中的点到空间平 面的总距离最小；最后以该三维点云中的点在此平面上的投影作为平面点集中匹配点的三 维重构。类似以上添加图像的方法，加入与已重构空间点有最多匹配点的数张图像，并更 新空间点。该算法直到没新的图像需要加入时停止。其中，加入图像在标准坐标系中的旋转矩阵和平移向量按以下方法求得。旋转矩 阵根据旋转矩阵的传递性求得，即在已知第j个相机在标准坐标系下的旋转矩阵民和i到 j的相对旋转矩阵Ru的情况下，由下式求得相机i在标准坐标系下的旋转矩阵Ri,Rj = RijRi, Ri 为正交矩阵
9
当某一图像在标准坐标系中的旋转与平移由多个图像对求得且所得结果不一致 时，按以下方式选取以该图像与各图像的匹配点数为权值，对多解做加权平均来确定。具 体方法简述如下设R」、tj为待求的第j幅图像在标准坐标系中的位置关系，代、(分别 为由第i幅图像求得的图像j的旋转平移关系，^为图像i与图像j之间的匹配点数，i = 1，...，k，则有 步骤S106，优化所述三维点云重构的结果。在本发明的一个实施例中，运用捆集调 整对重构的三维点云进行整体优化。本发明的另一方面提出一种处理含有主平面场景的三维点云重建系统，该系统包 括相机和三维点云重建装置，其中所述相机内参已知，用于获取静态场景的多视角图像。本发明实施例提出的三维点云重建装置如图2所示，为本发明实施例的三维点云 重建装置的结构图。该三维点云重建装置100包括图像匹配模块110，图像对极几何计算模 块120，图像位置关系计算模块130，三维点云重构模块140和图像优化模块150。其中，图 像匹配模块110，用于检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹 配点对，和由同一个场景点投影所得的匹配点序列，图像对极几何计算模块120，用于对包 括预定数目匹配点对的图像对，根据所述匹配点获取所述图像对间的基本矩阵，且保存相 应的空间平面点集，图像位置关系计算模块130，用于由所述基本矩阵求得所述图像对间的 相对位置关系，三维点云重构模块140，用于根据所述图像对间的相对位置关系，在标准坐 标系中实现所述相机融合、三维点云重构，和图像优化模块150，用于优化所述三维点云重 构的结果。通过本发明实施例的处理含有主平面场景的三维点云重建方法，解决了现有三维 点云重建方法的一些不足，该方法实现了无场景依赖的三维重建，并且能够由含有主平面 的图像集重建三维点云模型。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
一种处理含有主平面场景的三维点云重建方法，其特征在于，包括以下步骤用内参数已知的相机获取静态场景的多视角图像；检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列；对包括预定数目匹配点对的图像对，根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集；由所述基本矩阵求得所述图像对间的相对位置关系；根据所述图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构；和优化所述三维点云重构的结果。
2.如权利要求1所述的处理含有主平面场景的三维点云重建方法，其特征在于，所述 用内参数已知的相机获取静态场景的多视角图像进一步包括每次摄像前对相机进行标定或对所述相机标定一次后保持所述相机内参不变以获取 相机内参数；根据所述内参数已知的相机以任意多个视角拍摄获取含有一定重叠区域的图像集。
3.如权利要求1所述的处理含有主平面场景的三维点云重建方法，其特征在于，所述 检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对和由同一个场 景点投影所得的匹配点序列进一步包括根据所述图像的颜色特征并用特征点选取算法以从所述图像中选择若干特征点；记录所述特征点在相应图像中的像素坐标和以所述特征点为中心的局部区域的颜色 特征；根据所述图像的每个特征点在剩余的每一张图像中寻找匹配点以得到若干组匹配点 对，其中，在匹配过程中，根据局部区域的颜色特征把所述颜色特征最相近的特征点组成匹 配点对。
4.如权利要求3所述的处理含有主平面场景的三维点云重建方法，其特征在于，所述 一组匹配点对为一个场景点在两幅图像上投影所得到的相同特征点的集合，所述一个匹配 点序列为一个场景点在多幅图像上投影所得到的每组匹配点对的集合。
5.如权利要求4所述的处理含有主平面场景的三维点云重建方法，其特征在于，对包 括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵，且保存相应 的空间平面点集进一步包括步骤1、计算所述图像对的匹配点数目以确定是否满足预定数目；步骤2、在满足预定数目匹配点的图像对中随机抽取一定数目的匹配点，并根据抽取的 匹配点计算得到所述图像对之间的基本矩阵和支持点数；步骤3、判断所述基本矩阵是否拥有最多的支持点数，如果拥有最多的支持点数则标记 所述基本矩阵为最优解，并判断在抽取的匹配点中是否有多于预定数目的点满足平面单应 关系；步骤4、如果满足所述平面单应关系，则根据所述抽取的匹配点和额外不满足平面单应 的两对匹配点求得新的基本矩阵，计算新基本矩阵的支持点数；如果所述新基本矩阵有最 多的支持点数，则更新标记所述新基本矩阵为最优解、记录平面单应点集，结束本次计算且判断是否满足预定循环结束条件；步骤5、如果不满足所述平面单应关系，则直接结束本次计算且判断是否满足预定循环 结束条件。如果判断不满足预定循环结束条件，则重复操作步骤2至步骤5直至满足循环预定条 件，当满足所述循环预定条件时输出基本矩阵，同时如果所述基本矩阵有平面单应关系则 保存平面单应和满足所述平面单应的匹配点集。
6.如权利要求5述的处理含有主平面场景的三维点云重建方法，其特征在于，对满足 所述平面单应关系的匹配点还包括记录所述单应的支持点数，且判决满足平面单应关系的 匹配点的三维重构在一个空间平面上。
7.如权利要求5所述的处理含有主平面场景的三维点云重建方法，其特征在于，所述 由基本矩阵F12求得所述图像对间的相对位置关系进一步包括根据所述基本矩阵和标定所得的内参矩阵求得相机对间的本质矩阵尽2 =K27^12K1，其 中K1I2为相机的内参矩阵，且根据E12 = [t]xR分解得到所述相机对间的相对旋转矩阵和 平移向量。
8.如权利要求7所述的处理含有主平面场景的三维点云重建方法，其特征在于，根据 所述图像对间的相对位置关系在标准坐标系中实现所述相机融合、三维点云重构进一步包 括适当选取标准坐标系，依照一定顺序确定各图像在所述标准坐标系中的位置以实现图 像逐一添加，并逐步实现三维空间点云的重构，其中，在重构三维点云的过程中，平面点集 的空间重构点须在某个特定空间平面上。
9.如权利要求8所述的处理含有主平面场景的三维点云重建方法，其特征在于，优化 所述三维点云的重构结果为在添加完成所有图像且重建三维点云后对重建模型应用优化 算法以优化，或在一幅或多幅图像的添加过程中和在空间点云重构过程中运用优化算法进 行优化。
10.一种处理含有主平面场景的三维点云重建系统，其特征在于，包括相机，所述相机内参已知，用于获取静态场景的多视角图像；和三维重建装置，所述三维重建装置用于检测所述图像的特征点，并对任意两幅图像进 行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列；然后对包括预 定数目匹配点对的图像对，根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的 空间平面点集；之后由所述基本矩阵求得所述图像对间的相对位置关系；且根据所述图像 对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构；最后对所述三维 点云重构的结果进行优化。
11.如权利要求10所述的处理含有主平面场景的三维点云重建系统，其特征在于，所 述三维重建装置进一步包括图像匹配模块，用于检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得 到匹配点对，和由同一个场景点投影所得的匹配点序列；图像对极几何计算模块，用于对包括预定数目匹配点对的图像对，根据所述匹配点获 取所述图像对间的基本矩阵，且保存相应的空间平面点集；图像位置关系计算模块，用于根据所述基本矩阵求得所述图像对间的相对位置关系；三维点云重构模块，用于根据所述图像对间的相对位置关系，在标准坐标系中实现所 述相机融合、三维点云重构；和图像优化模块，用于对所述三维点云重构的结果进行优化。
全文摘要
本发明提出了一种处理含有主平面场景的三维点云重建方法和系统，该方法包括以下步骤用内参已知的相机获取静态场景的多视角图像；检测所述图像的特征点，并对任意两幅图像进行特征点匹配以得到匹配点对，和由同一个场景点投影所得的匹配点序列；对包括预定数目匹配点对的图像对根据所述匹配点获取所述图像对间的基本矩阵，且保存相应的空间平面点集；由所述基本矩阵求得所述图像对间的相对位置关系；根据所述图像对间的相对位置关系，在标准坐标系中实现所述相机融合、三维点云重构；和优化所述三维点云重构结果。通过本发明的处理含有主平面场景的三维点云重建方法，解决了现有三维点云重建方法的一些不足，实现了无场景依赖的三维重建。
文档编号G06T17/00GK101908231SQ20101023961
公开日2010年12月8日 申请日期2010年7月27日 优先权日2010年7月27日
发明者戴琼海, 陈德情 申请人:清华大学