专利名称：用于从二维图像进行三维物体重建的系统和方法
技术领域：
本发明一般涉及三维物体建模，更具体地涉及一种使用包括平滑功能的 混合特征检测以及跟踪从二维(2D)图像进行三维(3D)信息获取的系统和 方法。
背景技术：
当拍摄场景时，得到的视频序列包含关于该场景的三维(3D)几何形状 的隐含信息。对于适当的人类感觉而言，这样的隐含信息足够了，而对于许 多应用而言，需要3D场景的精确几何形状。这些应用的一种类别是当使用 复杂的数据处理技术时，例如在生成该场景的新视角时、或在为工业检查应 用而重建3D几何形状时。
一段时间以来，恢复3D信息已经成为活跃的研究领域。在文献中存在 大量的技术，其或者例如使用激光测距仪直接捕获3D信息，或者从如立体 或基于运动的结构估计(structure from motion) 4支术的一个或多个二维(2D ) 图像来恢复3D信息。3D获取技术通常可以被分类为主动和被动方法、单视 角和多^L角方法、以及几何测定和光度测定方法。
被动方法从在常规光照条件下拍摄的图像或视频获取3D几何形状。使 用从图像和视频提取的几何测定或光度测定特征来计算3D几何形状。主动 方法使用特殊光源，如激光、结构光、或红外光。
主动方法基于物体和场景对投射到该物体和场景的表面的特殊光的响应 来计算几何形状。
单视角方法使用从单个照相机视点拍摄的多个图像来恢复3D几何形状。 示例包括基于运动的结构估计和基于散焦的深度估计(depth from defocus )。多视角方法根据从物体运动得到的或具有不同光源位置的多个照相机视
点拍摄的多个图像来恢复3D几何形状。立体匹配是通过将立体对中的左图 像和右图像中的像素匹配来得到像素的深度信息而进行多视角3D恢复的示例。
几何测定方法通过检测单个图像或多个图像中的如角点、边缘、线或轮 廓的几何测定特征来恢复3D几何形状。所提取的角点、边缘、线或轮廓之 间的空间关系可被用来推断图像中像素的3D坐标。基于运动的结构估计 (SFM)是尝试根据从在场景内移动的照相机或者静态照相机与移动的物体 拍摄的一系列图像来重建场景的3D结构的技术。尽管公认SFM实质上是非 线性问题，但是已经进行了将其线性表示的若干尝试，其提供了算术简洁性 以及直接的求解方法。另一方面，非线性技术需要迭代优化，并且必须应付 局部最小值。然而，这些技术确保了良好的数字精度和灵活度。SFM相对于 立体匹配的优点在于需要一个照相机。通过利用过去的特征运动历史来预测 下 一 帧中的不 一致性的跟踪技术，可使得基于特征的方法更有效。
其次，由于2个连续的帧之间的小的空间和时间差，作为估计被称为光 学流的图像明亮图案(image brightness pattern)的明显运动的问题，还可能 出现对应性问题。存在使用SFM的若干算法；其大多数基于从2D图像重建 3D几何形状。 一些算法假设已知的对应值，而其他算法使用统计方法来重建 而没有利用对应性。
几十年来已经广泛研究了上述方法。然而，没有单个技术在所有情形下 都运行良好，并且大多数过去的方法关注在实验室条件下的3D重建，而这 相对容易。对于真实世界的场景而言，对象可能处于运动中，光照可能是复 杂的，并且深度范围可能较大。上述技术难以处理这些真实世界的情况。
发明内容
本公开提供了一种用于使用二维(2D)图像来进行场景的三维(3D)获 取和建模的系统和方法。本公开的系统和方法包括获取场景的至少两个图 像，并且应用平滑函数以使得特征更为明显，之后应用特征选择和跟踪的混 合方案以便恢复3D信息。首先，对图像应用平滑函数，之后应用将找到图 像中的特征的特征点选择。采用至少两个特征点检测函数来覆盖第一图像中 较广范围的好的特征点，然后对第二图像应用平滑函数，之后应用用于在第二图像中跟踪所检测的特征点的跟踪函数。组合特征检测/选择和跟踪的结果
以获得完整的3D模型。该工作的一个目标应用是胶片集(film set)的3D重 建。得到的3D模型可被用于在电影拍摄期间的造影(visualization)或后期 制作。包括但不限于游戏和3D TV的其他应用将从该方法受益。
根据本公开的一个方面，提供了一种三维获取处理，包括获取场景的 第一图像和第二图像；对第一图像应用至少两个特征检测函数，以检测图像 中物体的特征点；组合至少两个特征检测函数的输出以选择要跟踪的物体特 征点；对第二图像应用跟踪函数以跟踪所选择的物体特征点；以及从跟踪函 数的输出重建场景的三维模型。该处理在应用至少两个特征检测函数步骤之 前还对第一图像应用平滑函数，以使得第一图像中物体的特征点更为明显， 其中特征点是图像中物体的角点、边缘或线。
在本公开的另一方面中，提供了一种从两维(2D)图像进行三维(3D) 信息获取的系统。该系统包括后期处理设备，其被配置为从至少两个图像 重建场景的三维模型，该后期处理设备包括特征点检测器，其被配置为检 测图像中的特征点，该特征点检测器包括至少两个特征检测函数，其中所述 至少两个特征检测函数被应用到所述至少两个图像中的第一图像；特征点跟 踪器，其被配置为在所述至少两个图像之间跟踪所选择的特征点；以及深度 图(depth map )生成器，其被配置为从所跟踪的特征点生成所述至少两个图 像之间的深度图，其中后期处理设备从深度图创建3D模型。后期处理设备 还包括平滑函数过滤器，其被配置为使得第 一 图像中物体的特征点更为明显。
在本公开的另一方面中，提供了一种可由机器读取的程序存储设备，其 有形地包括可由机器执行的、用于执行从二维(2D)图像建模三维(3D)场 景的方法步骤的指令的程序，该方法包括获取场景的第一图像和第二图像； 对第一图像应用平滑函数；对平滑后的第一图像应用至少两个特征检测函数， 以检测图像中物体的特征点；组合所述至少两个特征检测函数的输出以选择 要跟踪的物体特征点；对第二图像应用平滑函数；对第二图像应用跟踪函数 以跟踪所选择的物体特征点；以及从跟踪函数的输出重建场景的三维模型。
从下面要结合附图阅读的优选实施例的详细描述，本发明的这些和其他 方面、特征和优点将被描述或变得明显。在附图中，贯穿附图相同的参考标号指代相似的元件
图l是根据本发明一方面的三维(3D)信息获取系统的示意性图示；
图2是根据本发明一方面的、用于从二维(2D)图像重建三维(3D)物
体的示例性方法的流程图3A是利用一个特征点检测函数处理的场景的图示；以及 图3B是利用混合检测函数处理的图3A中示出的场景的图示。 应当理解，附图用于图示本发明概念的目的，并且其不一定是用于图示
本发明的唯一可能的配置。
具体实施例方式
应当理解，附图中示出的元件可以以硬件、软件或其组合的各种形式实 现。优选地，这些元件在一个或多个被适当编程的通用设备上以硬件和软件 的组合实现，该通用设备可包括处理器、存储器和输入/输出接口。
本说明书举例说明本发明的原理。因此将认识到，本领域技术人员将能 够设计各种布置，其尽管没有在此明确地描述或示出，但是体现本发明的原 理并包括在本发明的精神和范围内。
这里描述的所有示例和条件式语言意在教导目的，以帮助读者理解本发 明的原理和发明人为推进本领域所贡献的构思，并且应被解释为不限于这样 具体描述的示例和条件。
此外，这里的描述本发明的原理、方面和实施例以及其具体示例的所有 陈述意在包括其结构和功能等效物两者。此外，意在这样的等效物包括目前 已知的等效物以及未来开发的等效物，即，所开发的执行相同功能而无论其 结构的任何元件。
因此，例如，本领域技术人员将认识到，这里呈现的框图表示体现本发 明原理的示意性电路的概念图。类似地，将认识到，任何流程图、流程图表、 状态转换图、伪代码等表示基本可以在计算机可读介质中表示并且因此可由 计算机或处理器(无论这样的计算机或处理器是否被明确示出)执行的各种 处理。
可通过使用专用硬件以及能够与适当软件关联而执行软件的硬件来提供 附图所示的各种元件的功能。当所述功能由处理器提供时，其可以通过单个 专用处理器、通过单个共享处理器、或通过其中的一些可以共享的多个独立的处理器来提供。此外，术语"处理器"或"控制器"的明确使用不应被解 释为唯一地指代能够执行软件的硬件，而可以隐含包括并不限于数字信号处
理器("DSP")硬件、用于存储软件的只读存储器("ROM")、随机存取存储 器("RAM")、以及非易失性存储装置。
还可以包括传统的和/或定制的其他硬件。类似地，附图中所示的任何开 关仅是概念性的。其功能可通过程序逻辑的运行、通过专用逻辑电路、通过 程序控制和专用逻辑电路的交互、或甚至手动地执行，如从上下文更具体理 解的，实现者可选择具体的技术。
在其权利要求书中，被表述为用于执行具体的功能的装置的任何元件意 在包含执行该功能的任何方式，包括例如，a)执行该功能的电路元件的组合 或b)任何形式并因而包括固件、微代码等的软件，该软件与用于执行该软 件的适当电路组合来执行该功能。如由这样的权利要求定义的本发明基于这 样的事实由各个所述装置提供的功能被以权利要求所要求保护的方式组合 和集中到一起。因此认为，可提供这些功能的任何装置与这里所示出的这些 装置等效。
本发明中公开的技术处理恢复物体和场景的3D几何形状的问题。由于 对象的运动、前景和背景之间大的深度不连续性、以及复杂的光照和亮度条 件，恢复真实世界的场景的几何形状是有挑战性的问题。在用来估计图像的 深度图或用来重建3D表示的特征点选择和跟踪中使用的当前方法本身执行 得并不太好。使用了从2D图像重建3D图像，但是其结果受限，并且深度图 不是非常精确。由于例如人类对象的存在，如激光扫描的用于精确3D获取 的一些技术在许多情况下是不可接受的。
提供了一种用于恢复物体和场景的三维(3D)几何形状的系统和方法。 本发明的系统和方法提供了使用混合方法来恢复3D特征的增强的基于运动 的结构估计(SFM)方法。由于缺乏能够可靠地为大环境定位特征的单一方 法而激发了该技术的提出。本发明的技术通过在特征点检测/选择和跟踪之 前、首先对图像应用如泊松或拉普拉斯变换的不同平滑函数来开始。与通常 使用的高斯函数相比，该类平滑过滤器帮助使得图像中的特征对检测而言更 为明显。然后，对一个图像应用多个特征检测器以获得好的特征。在使用两 个特征检测器后，获得好的特征，然后，使用跟踪方法在若干图像中跟踪所 述好的特4正。现在参照附图，图1中示出根据本公开的实施例的示例性系统组件。可
提供扫描设备103，以将例如照相机原版胶片底片(camera-original film negatives)的胶片拷贝(filmprint) 104扫描为数字格式，例如，Cineon格式 或电影和电视工程师协会(SMPTE)数字图片交换(DPX)文件。
扫描设备103可包括例如电视电影或将从胶片生成视频输出的任何设 备，如例如具有视频输出的Arri LocPro 。作为替代，可以直接使用来自后 期制作处理的文件或数字电影106 (例如，已经是计算机可读形式的文件)。 计算机可读文件的可能来源是AVIDTM编辑器、DPX文件、D5磁带等。
将所扫描的胶片拷贝输入到例如计算机的后期处理设备102。计算机在 任何各种已知计算机平台上实现，该计算机平台具有以下硬件如一个或多 个中央处理单元(CPU);如随机存取存储器(RAM)和/或只读存储器(ROM) 的存储器110;以及如键盘、光标控制设备(例如，鼠标或操纵杆)和显示 设备的输入/输出(I/O)用户接口 112。计算机平台还包括操作系统和微指令 代码。这里描述的各种处理和功能可以是微指令代码的一部分或经由操作系 统执行的软件应用程序的一部分(或其组合)。在一个实施例中，软件应用程 序有形地包括在程序存储设备上，其可以被上载到如后期处理设备102的任 何适当机器并由其执行。此外，各种其他外围设备可以通过如并行端口、串 行端口或通用串行总线(USB)的各种接口和总线结构连接到计算机平台。 其他外围设备可包括附加存储设备124和打印机128。打印机128可以用来 打印胶片126的修正版本，作为下述技术的结果，在该修正版本中已经使用 3D建模的物体更改或替代了场景。
作为替代，已经是计算机可读形式的文件/胶片拷贝106 (例如，数字电 影，其例如可存储在外部的硬盘驱动器124上)可以直接输入到计算机102。 注意，这里使用的术语"胶片"可指胶片拷贝或数字电影。
软件程序包括存储在存储器110中的三维(3D)重建模块114。 3D重建 模块114包括用于使得图像中物体的特征对检测而言更为明显的平滑函数过 滤器116。 3D重建模块114还包括用于检测图像中的特征点的特征点检测器 118。特征点检测器118将包括用于检测或选择特征点的至少两个不同的特征 点检测函数，例如算法。提供特征点跟踪器120,用于经由跟踪函数或算法 在多个连续的图像中跟踪所选择的特征点。还提供了深度图生成器122来从 所跟踪的特征点生成深度图。图2是根据本发明一方面的、用于从两维(2D)图像重建三维(3D)物 体的示意性方法的流程图。
参照图2,首先，后期处理设备102获得计算机可读格式的数字主视频 文件。可以通过用数字摄像机捕获视频图像的时间序列来获取数字视频文件。 作为替代，可通过传统的胶片型的照相机捕获视频序列。在此情况下，经由 扫描设备103扫描胶片，并且处理进行到步骤202。照相机将获取2D图像， 同时移动场景中的物体或照相机。照相机将获取场景的多个-见点。
将认识到，无论胶片被扫描或已经是数字格式，胶片的数字文件都将包 括关于帧的位置的指示或信息(例如，时间码、帧号、从胶片的开始起的时 间等)。数字视频文件的每个帧将包括一个图像，例如，I!,l2,…,In。
在步骤202，对图像h应用平滑函数过滤器116。优选地，平滑函数过滤 器116是泊松变换或拉普拉斯变换，与在本领域通常使用的高斯函数相比， 其帮助使得图像中物体的特征对检测而言更为明显。将认识到，可以使用其 他的平滑函数过滤器。
然后，在步骤204，图像I!被第一特征点检测器处理。特征点是图像的 突出特征，如角点、边缘、线等，在这些特征处存在大量的图像亮度对比。 选择特征点，因为它们可被容易地识别并可以被健壮地跟踪。特征点检测器 118可使用本领域所公知的Kitchen-Rosenfeld角点检测算子(comer detection operator) C。该算子用来评估在给定像素位置处图像的"成角性"的程度。 "角点"通常是由图像亮度梯度最大为例如90度角的两个方向的交叉而限定 的图像特征。为了提取特征点，在图像h的每个有效像素位置应用 Kitchen-Rosenfeld算子。在特定像素处算子C的值越高，其"成角性"的程 度越高，并且如果图像I！中的像素位置(x,y)处的C大于在(x,y)周围的邻近区 域中的其他像素位置的C,则(x,y)是特征点。邻近区域可以是以像素位置(x,y) 为中心的5 x 5矩阵。为了确保健壮性，所选择的特征点可以具有大于阈值如 Te=10的成角性的程度。来自特征点检测器118的输出是图像L中的一组特 征点(F山其中每个Fi对应于图像L中的"特征"像素位置。可以采用许多 其他的特征点检测器，包括但不限于尺度不变特征变换(Scale Invariant Feature Transform, SIFT )、最小核值相似区(Smallest Univalue Segment
Assimilating Nucleus, SUSAN )、霍夫变换、Sobel边缘算子和Canny边缘检测
突 為。
ii在步骤206,将图像I!输入到平滑函数过滤器116，并且对图像应用第二 不同的特征点检测器(步骤208)。然后，在步骤204和208中组合所检测的 特征点并且消除重复选择的特征点(步骤210)。要认识到，在步骤206应用 的平滑函数过滤器与步骤202应用的过滤器相同，然而，在其他实施例中， 在步骤202和206的每个步骤中可应用不同的平滑函数过滤器。
要认识到，通过对特征点检测采用混合方法，将检测出大量特征点。图 3A图示具有由小正方形表示的所检测的特征点的场景。图3A中的场景由一 个特征点检测器处理。相反，图3B中的场景由按照本发明的混合点检测器方 法处理，并且已经检测了明显更多数量的特征点。
在选择了所检测的特征点后，使用与对第一图像I,使用的平滑函数过滤 器相同的平滑函数过滤器来对第二图像12进行平滑(步骤212)。然后，在第 二图像I2上跟踪在第一图像L上选择出的好的特征点(步骤214)。给定图像 I!中的一组特征点Fp特征点跟踪器120通过找到这些特征点最接近的匹配 来在所拍摄的场景的下一图像12中跟踪这些特征点。
如上所述，在其他实施例中，在步骤212应用的平滑函数过滤器可以不 同于在步骤202和206应用的过滤器。此外，要认识到，尽管顺序描述步骤 202到步骤212，但是在某些实施例中，可经由并行处理或硬件来同时应用平 滑函数过滤器。
一旦跟踪特征点，就对每个所跟踪的特征计算不一致性信息。作为在水 平方向上h和12中的像素位置之间的差来计算不一致性。
不一致性与深度反向相关，其中比例因子(Scaling factor)与照相机校 准参数相关。在步骤216,由深度图生成器122获得和采用照相机校准参数， 以对两个图像之间的物体或场景生成深度图。照相机参数包括但不限于照相 机的聚焦长度和两次照相机拍摄之间的间距。照相机参数可经由用户接口 112 被手动输入系统100，或可从照相机校准算法估计。使用照相机参数，在特 征点估计深度。得到的深度图是稀疏的，仅具有所^r测的特征处的深度值。 深度图是用于数学上表示空间中 一表面的二维阵列值，其中阵列的行和列对 应于该表面的x和y位置信息；并且阵列元素是从给定点或照相机位置到该 表面的深度或距离读数。深度图可以被视为物体的灰度图像，利用深度信息 代替在物体的表面的每个点或像素处的亮度信息。因此，在3D图形构造技 术中表面的点也被称作像素，并且在本公开中可互换地使用这两个术语。由于不一致性信息与乘以比例因子后的深度成反比，因此对于大多数应用，其
可直接用于构造3D场景模型。这简化了计算，因为它使得照相机参数的计 算不再必要。
依据图像对L和12中存在的一组特征点以及每个特征点处的深度估计， 并且假设选择特征点使得它们彼此相对接近并在整个图像上扩展，深度图生 成器122通过将这样的特征点互连来创建3D网格结构，其中特征点位于所 形成的多边形的顶点。特征点彼此越接近，得到的3D网格结构越密集。
由于3D结构的每个顶点处的深度已知，因此可以估计每个多边形内的 各点处的深度。这样，可以估计在所有图像像素位置处的深度。这可通过平 面插值进行。
生成3D网格结构的健壮和快速的方法是Delaunay三角测量。连接特征 点以形成一组三角形，该三角形顶点位于特征点位置。使用与每个特征点和 其对应顶点相关联的深度，"深度平面，，可适合于每一单个三角形，从该三角 形可确定三角形内的每个点的深度。
物体的完整3D模型可通过将从Delaunay算法得到的三角形网格与来自 图像I！的紋理信息(texture information)组合而重建(步骤218 )。紋理信息 是2D亮度图像。完整的3D模型将包括图像像素处的深度和亮度值。得到的 组合图像可以使用传统的造影工具造影，如在加利福尼亚州斯丹福的斯坦福 大学开发的ScanAlyze软件。
然后，可使得所重建的具体物体或场景的3D模型在显示设备上显现或 可将其保存在与包含图像的文件分离的数字文件130中。3D重建的数字文件 130可存储在存储设备124中，以便稍后在例如胶片的编辑阶段期间去取出， 在胶片的编辑阶段所建模的物体可被插入到先前不存在该物体的场景中。
本发明的系统和方法利用多个特征点检测器，并且组合多个特征点检测 器的结果来改进所检测的特征点的数量和质量。与单特征检测器相反，组合
不同的特征点检测器改进找到要跟踪的好的特征点的结果。在从多个特征点 检测器(即，使用多于一个的特征点检测器)得到"更好的"结果后，与使 用 一个特征;险测器来得到深度图结果相比，在第二图像中的特征点更易于跟 踪并且产生更好的深度图结果。
尽管已经在此详细示出和描述了合并本发明的教导的实施例，但是本领 域技术人员可以容易地设计仍然合并这些教导的许多其他变化的实施例。已经描述了用于对场景进行三维(3D)获取和建模的系统和方法的优选实施例 (其意在例示而非限制)，注意到，本领域技术人员根据上述教导可以进行修 改和变化。因此要理解到，在权利要求所概述的本发明的范围和精神内的所 公开的本发明的具体实施例中可进行各种改变。已经按专利法要求详细和具 体地描述了本发明，所声称并期望由专利法保护的内容在权利要求中提出。
权利要求
1. 一种三维获取处理，包括获取场景的第一图像和第二图像；对第一图像应用至少两个特征检测函数，以检测第一图像中物体的特征点(204，208)；组合所述至少两个特征检测函数的输出以选择要跟踪的物体特征点(210)；对第二图像应用跟踪函数以跟踪所选择的物体特征点(214)；以及从跟踪函数的输出重建场景的三维模型(218)。
2. 如权利要求1所述的三维获取处理，还包括在应用所述至少两个特 征检测函数步骤之前对第一图像应用平滑函数(202),以使得第一图像中物 体的特征点更为明显。
3. 如权利要求2所述的三维获取处理，其中，特征点是图像中物体的角 点、边缘或线。
4. 如权利要求2所述的三维获取处理，还包括在应用跟踪函数步骤之 前对第二图像应用相同的平滑函数(206)。
5. 如权利要求1所述的三维获取处理，还包括在应用所述至少两个特 征检测函数中的第 一个特征检测函数之前对第 一 图像应用第 一平滑函数(202)，并且在应用所述至少两个特征检测函数中的第二个特征检测函数之 前对第一图像应用第二平滑函数(206),第一平滑函数和第二平滑函数使得 第一图像中物体的特征点更为明显。
6. 如权利要求1所述的三维获取处理，其中，组合步骤还包括消除由所 述至少两个特征检测函数检测的重复的特征点。
7. 如权利要求1所述的三维获取处理，其中，重建步骤还包括生成所选 择的物体特征点在第 一 图像和第二图像之间的深度图(216)。
8. 如权利要求7所述的三维获取处理，其中，重建步骤还包括从所选择 的物体特征点和深度图生成三维网格结构。
9. 如权利要求8所述的三维获取处理，其中，生成三维网格结构步骤是 由三角函数执行的。
10. 如权利要求8所述的三维获取处理，其中，重建步骤还包括组合网格结构和来自第一图像的紋理信息，以完成三维模型。
11. 一种用于从两维(2D)图像进行三维(3D)信息获取的系统(100), 该系统包括后期处理设备(102),其被配置为从至少两个图像重建场景的三维模型； 该后期处理设备包括特征点检测器(118),其被配置为检测图像中的特征点，该特征点 检测器(118)包括至少两个特征检测函数，其中，所述至少两个特征检 测函数被应用到所述至少两个图像的第 一 图像；特征点跟踪器(120)，其被配置为在所述至少两个图像之间跟踪所 选4奪的特征点;以及深度图生成器(122)，其被配置为依据所跟踪的特征点生成所述至 少两个图像之间的深度图； 其中，后期处理设备从深度图创建3D模型。
12. 如权利要求11所述的系统(100),其中，后期处理设备(102)还 包括平滑函数过滤器(116)，其被配置为使得第一图像中物体的特征点更为 明显。
13. 如权利要求12所述的系统(100),其中，平滑函数过滤器(116) 是泊松变换或拉普拉斯变换。
14. 如权利要求12所述的系统(100),其中，特征点检测器(118)被 配置为组合来自所述至少两个特征检测函数的所检测的特征点并消除重复的 所才全测的特征点。
15. 如权利要求12所述的系统(100),其中，后期处理设备(102)还 被配置为从所选择的特征点和深度图生成三维网格结构。
16. 如权利要求15所述的系统(100),其中，后期处理设备(102)还 被配置为组合网格结构和来自第 一 图像的紋理信息以完成3D模型。
17. 如权利要求16所述的系统(100)，还包括用于呈现3D模型的显示 设备(112)。
18. —种可由机器读取的程序存储设备，其有形地包括可由该机器执行 的、用于执行从二维(2D)图像建模三维(3D)场景的方法步骤的指令的程 序，该方法包4舌获取场景的第一图像和第二图像；对第一图像应用平滑函数(202);对平滑后的第 一 图像应用至少两个特征检测函数，以检测第 一 图像中物 体的特征点(204, 208);组合所述至少两个特征检测函数的输出以选择要跟踪的物体特征点 (210);对第二图像应用平滑函数(206);对第二图像应用跟踪函数以跟踪所选择的物体特征点(214);以及 从跟踪函数的输出重建该场景的三维模型(218)。
19. 如权利要求18所述的程序存储设备，其中，重建步骤还包括生成所 选择的物体特征点在第 一 图像和第二图像之间的深度图。
20. 如权利要求19所述的程序存储设备，其中，重建步骤还包括从所选 择的物体特征点和深度图生成三维网格结构。
21. 如权利要求20所述的程序存储设备，其中，重建步骤还包括组合网 格结构和来自第一图像的紋理信息，以完成三维模型。
全文摘要
提供了一种用于使用二维(2D)图像进行场景的三维(3D)获取和建模的系统和方法。该系统和方法规定获取场景的第一和第二图像；对第一图像应用平滑函数(202)以使得场景中例如物体的角点和边缘的物体特征点更为明显；对第一图像应用至少两个特征检测函数，以检测第一图像中物体的特征点(204，208)；组合至少两个特征检测函数的输出以选择要跟踪的物体特征点(210)；对第二图像应用平滑函数(206)，对第二图像应用跟踪函数以跟踪所选择的物体特征点(214)；以及从跟踪函数的输出重建场景的三维模型(218)。
文档编号G06T7/00GK101432776SQ200680054478
公开日2009年5月13日 申请日期2006年10月25日 优先权日2006年5月5日
发明者伊泽特·H·伊泽特, 尤塞夫·W·尼吉姆 申请人:汤姆森特许公司