专利名称：一种基于图像的三维重建方法
技术领域：
本发明涉及计算机视觉领域，具体涉及物体的三维数据获取领域。
背景技术：
三维数据获取方法是计算机视觉、测量学等领域研究的热点问 题之一。随着近二三十年的研究，许多三维数据获取方法已经成功 应用在逆向工程、工业检测、人体测量、文物保护、虛拟现实等诸 多领域。这些成熟的方法中使用的技术大部分为三维扫描技术，该 类方法通过在物体上投射激光、面结构光等主动手段，釆用三角法 或者基于光飞行时间的方法等实现对物体三维表面信息的获取。这 类方法能获取物体表面较为精细的三维数据，但存在速度慢、使用 成本高、受物体表面属性影响较大等问题，这些问题在一定程度上 成了限制三维信息获取技术发展的瓶颈。
基于图像的三维重建技术是三维数据获取的最有前景的方法
之一，其主要优势如下1、相对于三维扫描的流程和成本来说， 图像的获取非常容易，高分辨率照相机和摄像机的成本已经非常低 廉；2、三维扫描技术的一个难点是数据的自动配准问题，基于图 像的重建利用自标定技术可以将基于不同图像作为参考图像得到 的三维数据进行自动配准；3、紋理映射也是三维建模的难题之一， 基于图像的三维建模本身得到的就是带有紋理的数据，紋理映射成 了非常简单的问题；4、对于三维漫游等本来就对数据精度要求不 高的处理，基于图像的重建数据就可以满足很多应用的要求。
基于图像的三维重建方法根据使用图像的数量可分为基于单 幅图像、基于两幅图像和基于多幅图像的三维重建。基于单幅图像的
重建技术利用统计学习的结果得到对场景中 一 些结构性信息如天空、 地面、建筑物立面的分类或者得到对场景的特征描述与深度的关系， 利用这些分类结果或者是特征与深度的对应关系可以对场景进行简 单的三维重建。基于两幅图像的重建也就是通常讲的立体视觉，通过 求得两幅图像上对应点的视差来进行三维重建。基于多幅图像的重建 是从两幅图像的立体视觉技术发展起来的，由于使用多幅图像，该类 方法的重建效果和鲁棒性要明显好于仅基于两幅图像的三维重建方 法，因而成为这几年研究的热点问题之一。
基于多幅图像的立体视觉方法从重建原理来说主要有如下几种 第一种利用两幅图像立体视觉方法获取一系列深度图，利用深 度图的一致性作为约東，把这一系列深度图融合为一个完整的三维场 景；
第二种从图像上抽取并匹配特征点，并根据这些特征点来拟合 曲面；
第三种通过优化一个目标函数，釆用迭代的方法形成一个曲面， 这类方法包括空间切割方法、Level-set方法等；
第四种对三维空间中的空间点或者体素，将其投影到各幅图 像上判断是否满足颜色一致性，然后从三维空间中抽取一个表面。
发明内容
本发明的目的是提供一种基于特征点约束的多幅图像三维重建 方法，结合上述第四种和第二种方法的优点，通过将特征点约束和颜 色一致性相结合，利用图像点周围的特征点信息作为距离搜索约束， 提高了效率，解决了现有技术中存在的重建速度慢、使用成本高、受 物体表面属性影响大的问题。
为了达到上述发明目的，本发明提供了一种基于图像的三维重建 方法，所述方法先获取一组图像并指定其中一幅图像上的一点为待重 建点，并包括以下步骤
Sl:计算每幅图像的特征点，对每个特征点进行三维重建； S2:利用特征点的重建结果确定所述待重建点空间位置的搜索 范围；
S3:对所述搜索范围内的点进行釆样，将所有釆样点投影到除待 重建点所属图像之外的其他图像上；
S4:根据颜色一致性获取待重建点在空间的位置。
其中，所述步骤S1包括
Sl-l:计算每个特征点的多维描述子；
51- 2:根据所述特征点的描述子反求所述特征点的三维坐标。 其中，所述的特征点为SIFT特征点。
其中，所述描述子之间的最小距离与第二小距离的比值小于0.5。 其中，所述步骤S2包括
52- l:对所述特征点进行三角剖分；
S2-2:确定所述待重建点所属的三角形，用该三角形顶点的最近 和最远距离作为该待重建点的最近和最远距离，得到所述待重建点的 深度范围。
其中，所述步骤S3中"对所述搜索范围内的点进行釆样"釆取 均勻采样的方法，得到n个可能深度。
其中，所述步骤S4中"根据颜色一致性获取待重建点在空间的 位置"具体包括
S4-l:利用下式计算采样点的颜色一致性参数；
<formula>formula see original document page 6</formula>
其中m为窗口大小，两个视窗内每个点的RGB颜色值a,，B,均为 三维向量，分别为两个视窗的m个向量取平均值得到两个向量a,，B; S4 -2:选出釆样点中最满足颜色 一 致性的点即为所述待重建点
的空间位置。
其中，所述步骤S4-1包括
S4-l-l:定义NCC大于l萄值t的图像数目至少为2的深度为有效 深度；
S4-l-2:将所述待重建点与相邻4幅图像求取NCC,取其平均值 为该深度的可信度；
S4-1 -3:选择n个有效深度中可信度最大的深度为该待重建点的 深度值。
本发明所提供的方法通过结合特征点约束和颜色 一致性，利用图 像点周围的特征点信息作为距离搜索约東，达到基于多幅图像的三维 重建，该方法具有简单、实用、重建效果好的优点。
图l是本发明的待重建点经相机拍摄投影到图像的示意图； 图2是本发明基于图像的三维重建方法的流程框图。
具体实施例方式
以下实施例用于说明本发明，但不用来限制本发明的范围。 图1所示为空间点P经相机拍摄，投影到图像的示意图，其中在第 i个图像上的投影点为p。现在的问题是已知p，需要得到其在空间的 位置。从直观上可以理解，点P在空间的位置可能在图像点p与光心的 连线上，但是无法确定这条线上的哪一个点才是要找的点。基于多幅
图像的三维重建方法的思路是限制一个范围(图中的线段PnPf)，并
将这个范围内的所有点投影到其他图像上，根据颜色一致性来得到最 可能的点。
基于多幅图像的立体视觉方法的重建原理为，从图像上抽取并匹
配特征点，并根据这些特征点来拟合曲面；对三维空间中的空间点或 者体素，将其投影到各幅图像上判断是否满足颜色一致性，然后从三 维空间中抽取一个表面。
如图2所示，本发明所述基于图像的三维重建方法，先获取一组 图像并指定其中一幅图像上的一点为待重建点，相机的内外参数已 知，即第i个相机的内参数为Ki,旋转矩阵为Ti，平移矩阵为Ti。然后
计算每幅图像的SIFT ( Scale Invariant Feature Transform )特征点，
对每个特征点进行三维重建。对特征点进行三维重建的过程具体是 首先计算每个特征点的128维描述子；然后根据所述特征点的描述子 反求所述特征点的三维坐标。之后，
利用特征点的重建结果确定所述待重建点空间位置的搜索范围。其 中，确定搜索范围的步骤为先对所述SIFT特征点进行Delaimey三
角剖分；然后确定所述待重建点所属的三角形，用该三角形顶点的最 近和最远距离作为该待重建点的最近和最远距离，得到所述待重建点 的深度范围。之后，对所述搜索范围内的点进行釆样，将所有釆样点 投影到除待重建点所属图像之外的其他图像上，采取均勻釆样的方 法，得到n个可能深度。最后，根据颜色一致性获取待重建点在空间 的位置，利用下式计算采样点的颜色一致性参数
<formula>formula see original document page 8</formula>
其中m为窗口大小，在该实施例中，窗口大小取5x5, NCC阈值t 取0.6,两个视窗内每个点的RGB颜色值a,，A均为三维向量，分别为 两个视窗的m个向量取平均值得到两个向量a,B; 定义NCC ( Normalized cross correlation)大于阈值t的图像数目至少 为2的深度为有效深度；将所述待重建点与相邻4幅图像求取NCC， 取其平均值为该深度的可信度；选择n个有效深度中可信度最大的深 度为该待重建点的深度值，即选出采样点中最满足颜色一致性的点即 为所述待重建点的空间位置。如果没有有效深度，该点即没有计算出 深度值。
其中，根据特征点的SIFT描述子及极线几何约束对特征点的三
维坐标进行反求，其必须满足的准则是点到极线的距离小于2个象 素；特征描述子之间的最小距离与第二小距离的比值小于0.5;该点 至少在其他两幅以上图像上有满足前两个条件的对应点。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关 技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下， 还可以做出各种变化，因此所有等同的技术方案也属于本发明的范 畴，本发明的专利保护范围应由其权利要求限定。
权利要求
1、一种基于图像的三维重建方法，先获取一组图像并指定其中一幅图像上的一点为待重建点，其特征在于，所述方法包括以下步骤:S1:计算每幅图像的特征点，对每个特征点进行三维重建；S2:利用特征点的重建结果确定所述待重建点空间位置的搜索范围；S3:对所述搜索范围内的点进行采样，将所有采样点投影到除待重建点所属图像之外的其他图像上；S4:根据颜色一致性获取待重建点在空间的位置。
2、 如权利要求l所述的基于图像的三维重建方法，其特征在于, 所述步骤S1包括Sl-l:计算每个特征点的多维描述子；51- 2:根据所述特征点的描述子反求所述特征点的三维坐标。
3、 如权利要求2所述的基于图像的三维重建方法，其特征在于， 所述的特征点为SIFT特征点。
4、 如权利要求3所述的基于图像的三维重建方法，其特征在于， 所述描述子之间的最小距离与第二小距离的比值小于0.5。
5、 如权利要求l所述的基于图像的三维重建方法，其特征在于， 所述步骤S2包括52- l:对所述特征点进行三角剖分；S2-2:确定所述待重建点所属的三角形，用该三角形顶点的最近 和最远距离作为该待重建点的最近和最远距离，得到所述待重建点的 深度范围。
6、 如权利要求l所述的基于图像的三维重建方法，其特征在于， 所述步骤S3中，釆取对所述搜索范围内的点进行均句釆样的方法， 得到n个可能深度。
7、 如权利要求l所述的基于图像的三维重建方法，其特征在于， 所述步骤S4中，根据颜色一致性获取待重建点在空间的位置的步骤 具体包括S4-l:利用下式计算釆样点的颜色一致性参数； m:c = ") ,, = o，i，...,附-1其中m为窗口大小，两个视窗内每个点的RGB颜色值a,，A均为 三维向量，分别为两个视窗的m个向量取平均值得到两个向量a,/ ; S4-2:选出釆样点中最满足颜色 一致性的点即为所述待重建点 的空间位置。
8、如权利要求7所述的基于图像的三维重建方法，其特征在于， 所述步骤S4-1包括S4-l-l:定义NCC大于阈值t的图像数目至少为2的深度为有效深度；S4-l-2:将所述待重建点与相邻4幅图像求取NCC，取其平均值 为该深度的可信度；S4-l-3:选择n个有效深度中可信度最大的深度为该待重建点的 深度值。
全文摘要
本发明涉及一种基于特征点约束的多幅图像三维重建方法。所述方法包括对每幅图像特征点的三维重建，计算每幅图像的特征点，对每个特征点进行三维重建，确定所述待重建点空间位置的搜索范围；对所述搜索范围内的点进行采样，将所有采样点投影到图像，然后根据颜色一致性获取待重建点在空间的位置。该方法具有简单、实用、重建效果好的优点。
文档编号G06T7/00GK101383046SQ20081022434
公开日2009年3月11日 申请日期2008年10月17日 优先权日2008年10月17日
发明者琨 彭, 李仁举, 查红彬, 英向华, 马祥音 申请人:北京大学