用于从二维图像中恢复三维粒子系统的系统和方法

专利名称：用于从二维图像中恢复三维粒子系统的系统和方法
技术领域：
本发明总体上涉及计算机图形处理和显示系统，更具体地，涉及
一种用于从二维(2D)图像中恢复三维(3D)粒子系统的系统和方法。
背景技术：
长期以来，从单幅图像中恢复三维(3D)几何形状在计算机视觉 计算机图形学中是一个持续存在的问题。当前技术仅处理从多边形网 格形式的二维(2D)图像中恢复立体或可变形对象的几何形状。现有 技术不能处理模糊对象(fuzzy object)(例如，火、草、树、水等)的 3D几何形状的恢复，特别是恢复可能产生图像中的2D模糊对象的粒子 系统。
对未来的影片制作系统而言，从2D图像中恢复3D信息十分重要。 重要应用之一是，从单幅2D图像重构场景的3D几何形状，该过程被称 作2D至3D转换。由于根据2D来恢复3D是一个不适定问题，精确的3D 重构需要人的交互。这样的半自动方法己使用在由加利福尼亚 Westlake Village的 一 家名为In-Three的公司开发的2D至3D转换系统 中，该系统专门用于根据常规2D影片来制作立体影片。在2001年3月 27日授权给Kaye的美国专利No. 6,208，348中描述了该2D至3D转换系 统。在2D至3D的过程中，几何尺寸专家必须创建与输入图像中对象相 匹配的3D几何形状或立体对。对人类编辑者而言，很容易创建或修改 如建筑物和人体之类的立体或可变形对象的几何形状，但是该过程非 常耗时，并且对人类编辑者而言很难创建与2D图像中如树和云等模糊 对象相匹配的3D几何形状。
尽管在单视点3D几何形状恢复方面已存在大量现有技术，但是， 似乎极少关注从2D图像中恢复模糊对象的3D几何形状。因此，需要一 种用于从2D图像中恢复模糊对象的3D几何形状的系统和方法。

发明内容
本公开提供了一种用于从二维(2D)图像中恢复三维(3D)粒 子系统的系统和方法。本公开的几何形状重构系统和方法从2D图像中 恢复表示模糊对象的几何形状的3D粒子系统。所述几何形状重构系统 和方法识别2D图像中的模糊对象，从而可以由粒子系统产生所述模糊 对象。模糊对象的识别可以通过利用编辑工具描绘包含模糊对象的区 域的轮廓来手动完成，或者通过自动检测算法完成。然后，对这些模 糊对象进行进一步分析，以开发用于将其与粒子系统库相匹配的准则。 通过以帧和时间方式(即图像的顺序序列)来分析图像段的光特性和 表面特性来确定最佳匹配。所述系统和方法模拟并对从库中选择的粒 子系统进行渲染(rendering),然后将渲染结果与图像中的模糊对象进 行比较。本发明的系统和方法将根据特定匹配准则来确定粒子系统是 否是良好匹配。
根据本发明的一个方面， 一种三维(3D)重构方法包括识别二 维(2D)图像中的模糊对象；从多个预定粒子系统中选择与预定模糊 对象相关的粒子系统；模拟所选的粒子系统；对所模拟的粒子系统进 行渲染；将所渲染的粒子系统与2D图像中所识别的模糊对象进行比 较；其中，如果比较结果小于预定阈值，则接受所选的粒子系统来表 示所识别的模糊对象的几何形状。
根据本发明的另一方面，提供了一种用于对来自二维(2D)图像 的模糊对象进行三维(3D)重构的系统。所述系统包括后处理设备， 被配置用于重构来自至少一幅2D图像的模糊对象的三维模型，所述后 处理设备包括对象检测器，被配置用于识别2D图像中的至少一个模 糊对象；粒子系统产生器，被配置用于产生和模拟粒子系统；粒子渲 染器，被配置用于对所产生的粒子系统进行渲染；以及重构模块，被 配置用于从多个预定粒子系统中选择与预定模糊对象相关的粒子系 统、将所渲染的粒子系统与2D图像中所识别的至少一个模糊对象进行 比较、并在比较结果小于预定阈值的情况下存储所选的粒子系统，其 中，所存储的粒子系统表示所识别的至少一个模糊对象的恢复后的几何形状。
在本发明的另一方面中，提供了一种机器可读的程序存储设备， 所述程序设备有形地实现机器可执行的指令程序，以执行用于从二维 (2D)图像中恢复三维(3D)粒子系统的方法步骤，所述方法包括 识别二维(2D)图像中的模糊对象；从多个预定粒子系统中选择与预
定模糊对象相关的粒子系统；模拟所选的粒子系统；对所模拟的粒子 系统进行渲染；将所渲染的粒子系统与2D图像中所识别的模糊对象进 行比较；以及如果比较结果小于预定阈值，则存储所选的粒子系统， 其中，所存储的粒子系统表示模糊对象的恢复后的几何形状。


根据可以结合附图来阅读的优选实施例的详细描述，对本发明的 上述和其他方面、特征和优点进行描述并使其变得显而易见。 所有附图中相似的附图标记表示相似的元件，在附图中 图1A是静态粒子系统的迭代过程的流程图； 图1B是动态粒子系统的迭代过程的流程图2是根据本发明一方面的用于从二维(2D)图像中恢复三维 (3D)粒子系统的系统的示例性说明；
图3是根据本发明一方面的用于从二维(2D)图像中恢复三维 (3D)粒子系统的示例性方法的流程图；以及
图4是根据本发明一方面的用于从至少两幅二维(2D)图像中恢 复三维(3D)粒子系统的示例性方法的流程图。
应当理解，附图是用于说明本发明构思的目的，并不一定是用于 说明本发明的唯一可能配置。
具体实施例方式
应理解，可以按照硬件、软件或其结合的各种形式来实现附图所 示的元件。优选地，通过一台或多台适当编程的通用设备上的硬件和 软件的结合，来实现这些元件，所述通用设备可以包括处理器、存储 器和输入/输出接口。本描述说明了本发明的原理。因此，可以认识到，本领域技术人
员能够想到各种实施本发明的原理的设置，虽然这里没有显式地描述
或示出这些设置，但是，这些设置包括在本发明的精神和范围中。
这里阐述的所有示例和条件语言是为了教导的目的，以帮助读者 理解本发明的原理以及发明人为了改进现有技术而贡献的概念，这些
应被解释为并非将本发明局限于这样具体阐述的示例和条件。
此外，这里阐述本发明的原理、方面和实施例以及其具体示例的 所有表述应包括其结构和功能的等效物。此外，这样的等效物应包括 当前已知的等效物以及未来开发的等效物，例如，开发出的执行相同 功能的任何元件，而不论其结构如何。
因此，例如，本领域技术人员应理解，这里呈现的框图表示了实 现本发明原理的示意电路图的概念视图。类似地，可以认识到，任何 流程图、流程图表、状态转移图、伪代码等表示了各种过程，所述过 程可以被实质上表示在计算机可读介质中，并从而由计算机或处理器 执行，而不论是否显式地示出了这样的计算机或处理器。
可以通过使用专用硬件以及能够与合适的软件相关联地执行软 件的硬件，来提供图中所示的各种元件的功能。在由处理器提供时， 可以由单个专用处理器、单个共享处理器或多个单处理器(其中一些 可以是共享的)来提供该功能。此外，显式使用的术语"处理器"或 "控制器"不应被解释为是排他性地指能够执行软件的硬件，可以隐 含地包括但不限于数字信号处理器("DSP")硬件、用于存储软件
的只读存储器("ROM")、随机存取存储器("RAM")、和永久存储 器。
也可以包括其他硬件，不论其为传统的和/或常规的。类似地，图 中所示的任何开关仅是概念性的。可以通过程序逻辑的操作、通过专 用逻辑、通过程序控制和专用逻辑的交互，或甚至手动地实施其功能， 如从上下文中可以更具体地理解的，实现者可以选择特定的技术。
在权利要求书中，表述为用于执行指定功能的装置的任何元件应 包含执行该功能的任何方式，例如包括a)执行该功能的电路元件的结 合或者b)任何形式的软件，从而包括固件、微代码等，与执行该软件
8的适当电路相结合来执行该功能。由这样的权利要求所限定的本发明 在于以下事实以权利要求所要求保护的方式，将各种所述装置所提 供的功能结合并集合在一起。因此，应认为可以提供这些功能的任何 装置都与这样所示的装置等效。
在计算机图形学中，如建筑物和人体等立体或可变形对象可以表 示为如NURBS (非均匀有理贝塞尔样条)和三角网格之类的解析或多 边形网格。然而，很难将模糊对象表示为网格。取而代之地，通常使 用被称作粒子系统的技术来产生模糊对象。通过实现选择具有某个预 定规格的粒子系统来提供恢复模糊对象的几何形状的方式(例如，为
了恢复树，树叶可以是预定的粒子图元(primitives))。将具有不同规 格(即用于不同模糊对象)的粒子系统收集在库中，以用于本发明的 3D重构应用。
本发明的系统和方法涉及恢复3D粒子系统的问题，其中3D粒子 系统的渲染与2D模糊对象(如2D图像中的云、树和波浪)相匹配。
恢复的粒子系统被称作匹配的粒子系统。该过程被称作将粒子系 统与图像相匹配。这样的系统可用于2D影片至3D影片的转换，以及需 要场景3D几何形状的其他VFX (视觉效果)产品应用。
粒子系统由图元(例如，粒子)的集合组成。这些粒子中的每一 个具有直接或间接影响粒子性态或对粒子进行渲染的方式和位置的属 性。通过具有控制参数集合(如产生速率或发射速率、位置、速度、 粒子寿命、粒子褪色参数、年龄、形状、大小和透明度)的系统来产 生和模拟粒子。如以下所述，针对每种不同类型的模糊对象(例如树、 云等)来定义控制参数集合，并将其存储在粒子系统库中。
通常，粒子系统的状态在三个步骤之间往复粒子发射、粒子模 拟和渲染(如图1A和图1B所示)。粒子发射产生新的粒子。对每个新 产生的粒子的属性或控制参数给出初始值，所述初始值可以是固定的 或由随机过程来确定。粒子模拟对现有粒子的物理性质进行模拟，并 控制现有粒子的消灭(death)。每个粒子的属性可以随时间改变，或 可以是时间和其他粒子属性的函数。渲染将3D粒子系统渲染为2D图 像，即例如经由显示器将3D粒子系统转换成视觉形式。可以将粒子系统分类成静态粒子系统和动态粒子系统。在如图1A 所示的静态粒子系统中，在粒子模拟完成之后，仅进行一次粒子系统 渲染。渲染结果产生静态模糊对象的图像。在如图1B所示的动态粒子 系统中，连续产生并模拟粒子。粒子可以随时间消灭并改变其状态(如 颜色)。在每一次模拟步骤之后执行渲染，模拟步骤可以模仿动态模糊 对象的性态(如波动的水)。渲染结果产生模糊对象的视频输出。
恢复3D粒子系统的原因是为了根据模糊对象在图像中的2D投影 来重构其几何形状。与立体对象的几何形状恢复相比，模糊对象的几 何形状重构面临两个挑战。第一，模糊对象和背景之间的边界通常不 清楚，使将模糊对象与背景分离变得极为复杂。第二，由于模糊对象 通常不具有统一的形状，因此很难将模糊对象参数化。因此，尽管现 有方法可能能够使用基于模型的方法来估计立体对象的全局几何参 数，但几何参数估计不能应用于模糊对象。不能通过如仿射变换的简 单参数函数来描述两个粒子系统之间的变形或关系。本发明的系统和 方法利用基于模拟的方法来估计粒子状态和参数。所述系统和方法模 拟并渲染粒子系统，然后将渲染结果与图像中的模糊对象相比较。然 后，本发明的系统和方法将根据特定匹配准则来确定粒子系统是否是 良好匹配。以下将描述用于恢复静态和动态粒子系统的不同方法。
现在参照附图，在图2中示出了根据本公开实施例的示例性系统 组件。可以提供扫描设备103用来将胶片拷贝(film print) 104 (例如 摄像机原始胶片底片)扫描成数字格式(例如Cineon格式或电影电视 工程师协会(SMPTE)的数字图像交换(DPX)文件)。扫描设备103 可以包括例如电视电影机或将从胶片产生视频输出的任何设备(例如， 具有视频输出的ArriLocPn)TM)。可选地，可以直接使用来自后期制作 处理或数字电影院106的文件(例如，计算机可读形式的文件)。计算 机可读文件的潜在源是AVIDTM编辑器、DPX文件、D5盘带等。
将扫描后的胶片拷贝输入至后处理设备102 (例如计算机)。所述 计算机可以在任何各种已知计算机平台上实现，所述计算机平台具有 如一个或多个中央处理单元(CPU)之类的硬件，如随机存取存储器 (RAM)和/或只读存储器(ROM)之类的存储器ll，以及如键盘、光标控制设备(例如鼠标或操纵杆)和显示设备之类的输入/输出(1/0)
用户接口112。所述计算机平台还包括操作系统和微指令代码。这里所 描述的各种过程和功能可以是微指令代码的一部分或是经由操作系统 执行的软件应用程序的一部分(或其组合)。此外，各种其他外围设备 可以通过各种接口和总线结构(如并行端口、串行端口或通用串行总
线(USB))连接至计算机平台。其他外围设备还可以包括附加存储设 备124和打印机128。采用打印机128来打印胶片的修订版本126，在该 修订版本中，根据以下所述的技术，使用3D建模的对象来改变或替换 其中的场景。
可选地，己采取计算机可读形式的文件/胶片拷贝106 (例如可以 存储在外部硬盘124中的数字电影)，可以直接输入至计算机102。注意， 这里所使用的术语"影片(film)"可以指胶片拷贝或数字电影。
软件程序包括存储在存储器110中的三维(3D)重构模块114，用 于从2D图像重构3D模糊对象。3D重构模块114包括用于识别2D图像中 模糊对象的对象检测器116。对象检测器116通过使用图像编辑软件来 描绘包含模糊对象的图像区域的轮廓来手动识别对象，或通过利用自 动检测算法分离包含模糊对象的图像区域来识别对象。3D重构模块 114还包括用于产生和控制/模拟粒子系统的粒子系统产生器118。如下 所述，粒子系统产生器将与粒子系统库122进行交互。粒子系统库122 包括多个预定粒子系统，其中每一粒子系统与预定模糊对象相关。例 如，预定粒子系统之一可以用于对树进行建模。基于树的粒子系统包 括针对产生用于模拟树的粒子的控制参数或属性。每个粒子的控制参 数或属性可以包括但不限于位置、速度(速率和方向)、颜色、寿命、 年龄、形状、大小、透明度等。
提供粒子渲染器120，用于例如在显示器上渲染所产生的粒子系统。
首先将描述用于从单幅图像中恢复静态粒子系统的方法；然后， 将所述方法扩展用于从图像序列(例如视频剪辑)中恢复粒子系统。 图3是根据本发明一方面的用于从二维(2D)图像中重构三维 (3D)对象的示例性方法的流程图。通过反复试验使用基于模拟的方法来实现从单幅图像中恢复粒子系统。
首先，后处理设备102获得计算机可读格式的数字母片(master) 视频文件。可以通过利用数字视频摄像机捕捉视频图像的时间序列来 获取该数字视频文件。可选地，可以通过传统胶片类型摄像机来获取 视频序列。在这种情况下，经由扫描设备来扫描胶片。在场景或摄像 机中移动对象时，摄像机将获得2D图像。摄像机将获取场景的多个视 点。
可以理解，无论对影片进行扫描，或影片已经是数字格式，影片 的数字文件将包括关于帧位置的指示或信息，例如帧编号、距离影片 起始处的时间等。数字视频文件的每一帧将包括一幅图像，例如，I" I2、 ...In。
图3示出了用于找到可以产生图像或图像的一部分的粒子系统的 迭代过程。在每一次迭代中，系统产生新粒子。首先，在步骤201中， 识别图像中的模糊对象。使用对象检测器116，可以使用图像编辑工具 由用户手动选择模糊对象，或可选地，可以使用图像检测算法(例如， 分割算法)来自动检测模糊对象。描绘轮廓的区域(即模糊对象)的 外观确定了将从粒子系统库122中选择的相匹配的特定粒子系统。
通过以帧和时间方式来分析图像区域的视觉特性(例如形状、颜 色、纹理、运动等)，确定预定粒子系统和输入图像之间的最佳匹配。
一旦识别出要重构的模糊对象，从预定粒子系统库122中选择(步 骤202)多个预定粒子系统中的至少一个。开发预定粒子系统中的每一 个来模拟预定模糊对象，例如树、云等。选择所选的预定粒子系统来 尝试匹配来自图像的模糊对象的内容。所选的预定粒子系统包括粒子 系统的控制参数。以随机方式确定粒子的控制参数(例如位置)。 一种 示例性方法是从概率分布中提取粒子状态，其中这样的概率分布可以 在迭代之前确定，或者在迭代期间动态地适配于系统。 一旦定义了控 制参数，则在步骤204，经由粒子系统产生器118逐一产生粒子。
对于由粒子产生器产生的每个粒子，在步骤206，进行模拟过程 来更新粒子状态，从而使添加的粒子的外观与图像内容更好地匹配。 例如，如果粒子与包括粒子位置、速率和大小的状态相关联，则例如根据能量守恒定律，模拟过程将在特定物理约束条件下更新所有这些
参数。模拟的结果将促使经由粒子渲染器120来渲染粒子系统。
在步骤208中，出于比较目的而执行渲染过程。渲染算法对视觉 效果或计算机图形学领域的技术人员是己知的。普通的渲染算法包括 但不限于光栅化、光线跟踪和光子映射。对于光线跟踪，通过从图 像像素至光源反向跟踪相应光线来渲染对象，然后，由对象表面的反 射系数和光源的特性来确定像素颜色。
对于每个新粒子，在步骤210，在所渲染的粒子和位于图像I,的小 窗口中的模糊对象的图像像素之间执行局部比较。各种已知的差值度 量可以用于该比较。所渲染的粒子和图像区域之间的一种示例性差值
度量是最小二乘差(Least Square Difference, LSD)。假设所渲染的粒 子图像是P(x,y)，并且窗口中所识别的区域或子图像是I(x,y)，贝l」LSD 计算如下
<formula>formula see original document page 13</formula>
其中，x和y是像素的空间坐标，P和I表示像素处的颜色强度值。在一 个实施例中，例如在灰度图象中，颜色强度值是单个数。在另一实施 例中，颜色强度值将是每个像素的RGB值，即三个数。对由对象检测 器116识别的图像区域上的所有像素执行上述求和。
所述方法迭代返回步骤206，直到已经处理所识别区域(即模糊 对象所在的区域)中的所有粒子为止。在一个实施例中，在迭代期间， 控制参数不改变，即在整个迭代期间始终使用从粒子系统库中预先选 择的相同粒子系统。在其他实施例中，在每次迭代期间动态改变控制 参数，以尝试找到粒子系统和图像之间的最佳匹配。
然后，在步骤212中，该系统使用差值度量的输出来确定是否应 接受粒子的产生。通过相对于粒子状态来最小化上述差值度量，找到 最优粒子状态，即改变粒子状态，使得在所渲染的图像和输入图像之 间实现最小差值。如果从粒子状态至其图像的映射是解析的，则通过 梯度下降方法还可以导出获得这些状态的闭合式解决方案。
基本上，如果差值度量的结果或输出小于预定阈值，则接受粒子的产生，即所恢复的粒子系统是匹配的粒子系统。预定阈值可以基于 实验依经验而确定。如果产生和模拟步骤是可接受的，则在步骤214， 存储粒子系统，以表示模糊对象的恢复后的几何形状。否则，如果差
值度量的结果大于预定阈值，则在步骤216丢弃该粒子系统。
恢复动态粒子系统可以通过估计视频序列的每一帧的静态粒子 系统来实现。然而，为了加快转换过程，来自先前帧的粒子状态可以 用作当前帧中的初始粒子状态。这缩小了搜索空间，并从而减少了计 算代价。
当从图像序列中恢复粒子系统时，可以从不同的摄像机视点获得 关于粒子的附加信息。这样的信息可以用来提高匹配处理精确度。具 体地，可以使用单幅图像来产生初始粒子系统，然后，使用视频序列
的其余图像来细化粒子系统。参照图4，通过随机采样和模拟过程，可 以实现该细化处理。采样处理可以在粒子系统中添加附加粒子、删除 一些粒子或改变粒子状态。
参照图4，在步骤302中，如结合图3所述，选择初始可接受的粒 子系统。然后，随机采样过程从步骤303所示的三个分支之一开始粒 子产生(即添加粒子)；粒子状态改变(即修改粒子)；以及粒子消灭 (即删除粒子)。在产生过程中，与结合图3所述的过程类似，在步骤 304和306中添加并模拟粒子。
然后，与上述步骤210和212类似，在步骤310和312中，该过程确 定添加是否是可接受或有利的，其中，对差值度量的输出进行计算并 进行阈值比较，以确定是否接受添加。在消灭过程中，选择要从系统 中移除的粒子，然后，该确定移除是否是可接受或有利的。在状态改 变过程中，随机选择粒子并进行模拟和比较处理来改变粒子状态，以 更好地匹配新图像。
以上已经提供了一种用于从一幅图像或图像序列中恢复静态和 动态粒子系统的系统和方法。所公开的技术通过执行输入图像和所渲 染的粒子系统之间的比较来恢复3D粒子系统。由于所述系统和方法采 用基于模拟的方法(其中逐一发射粒子)，因此，在所产生的粒子周围 局部进行比较，而不是使用整个图像全局进行比较。按照这种方式，
14通过以帧和时间方式来分析图像区域的视觉特性(例如，形状、颜色， 纹理、运动等)来确定预定粒子系统与输入图像之间的最佳匹配。
然后可以将特定模糊对象的恢复后的3D模型存储在与包含图像
的文件分离的数字文件130中。可以将3D对象的数字文件130存储在存 储设备124中以用于后续检索，例如在影片的编辑阶段期间，可以例如 通过组合器将建模的对象插入之前未出现该对象的场景中。
尽管这里己经详细示出并描述了结合了本发明教导的实施例，但 本领域技术人员可以容易想到仍结合这些教导的许多其他变化的实施 例。已经描述了用于从二维(2D)图像中恢复三维(3D)粒子系统的 系统和方法的优选实施例(意在说明而非限制)，但是应注意，本领域 技术人员可以根据上述教导做出修改和变型。因此，应当理解，在由 所附权利要求概括的本发明的范围和精神内，可以在所公开的本发明 的具体实施例中进行改变。
权利要求
1、一种三维重构方法，包括识别(201)二维图像中的模糊对象；从多个预定粒子系统中选择(202)与预定模糊对象相关的粒子系统；模拟(206)所选的粒子系统；对所模拟的粒子系统进行渲染(208)；将所渲染的粒子系统与二维图像中所识别的模糊对象进行比较(210)；以及其中，如果比较结果小于预定阈值(212)，则接受(214)所选的粒子系统来表示所识别的模糊对象的几何形状。
2、 根据权利要求l所述的方法，还包括产生(204)所选的粒子系统中的至少一个粒子；以及模拟(206)所述至少一个粒子，以更新所述至少一个粒子的状态。
3、 根据权利要求2所述的方法，其中，所述多个预定粒子系统中 的每个预定粒子系统包括用于模拟预定粒子系统中的至少一个粒子的 控制参数。
4、 根据权利要求3所述的方法，其中，所述控制参数包括位置、 速度、速率和方向、颜色、寿命、年龄、形状、大小或透明度中的至少—个o
5、 根据权利要求2所述的方法，还包括利用第二二维图像来细 化(303)所选的粒子系统中的至少一个粒子。
6、 根据权利要求5所述的方法，其中，细化步骤(303)包括-添加至少一个粒子、删除至少一个粒子或修改至少一个粒子的状态。
7、 根据权利要求6所述的方法，其中，所述至少一个粒子是从存 储的粒子系统中选出的。
8、 根据权利要求l所述的方法，其中，通过差值度量来执行比较 步骤(210)。
9、 根据权利要求l所述的方法，其中，比较步骤(210)还包括: 确定所渲染粒子系统中的至少一个粒子与二维图像中所识别的模糊对 象的至少一个像素之间的最小二乘差。
10、 根据权利要求l所述的方法，其中，识别步骤(201)包括 描绘二维图像中包括模糊对象的区域的轮廓。
11、 一种用于对来自二维图像的模糊对象进行三维重构的系统 (100)，所述系统(100)包括后处理设备(102)，被配置用于重构来自二维图像的模糊对象的 三维模型，所述后处理设备(102)包括对象检测器(116)，被配置用于识别二维图像中的模糊对象； 粒子系统产生器(118)，被配置用于产生和模拟粒子系统； 粒子渲染器(120),被配置用于对所产生的粒子系统进行渲染；以及重构模块(114)，被配置用于从多个预定粒子系统(122)中选 择与预定模糊对象相关的粒子系统、将所渲染的粒子系统与二维图像 中所识别的模糊对象进行比较、并在比较结果小于预定阈值的情况下 存储所选的粒子系统，其中，所存储的粒子系统表示所识别的模糊对 象的恢复后的几何形状。
12、 根据权利要求ll所述的系统(100)，其中，所述粒子系统产 生器(118)还被配置为通过更新至少一个粒子的状态来模拟粒子系 统中的至少一个粒子。
13、 根据权利要求12所述的系统(100)，其中，所述多个预定粒子系统中的每个预定粒子系统包括用于模拟至少一个粒子的控制参 数。
14、 根据权利要求13所述的系统(100)，其中，所述控制参数包 括位置、速度、速率和方向、颜色、寿命、年龄、形状、大小或透 明度中的至少一个。
15、 根据权利要求12所述的系统(100)，其中，所述重构模块(114)还被配置为利用第二二维图像来细化所选的粒子系统中的至少一个 粒子。
16、 根据权利要求15所述系统(100)，其中，所述重构模块(114)还被配置为通过添加至少一个粒子、删除至少一个粒子或修改至少 一个粒子的状态来细化所选的粒子系统。
17、 根据权利要求11所述的系统(100)，其中，所述重构模块(114)还被配置为通过差值度量来对所渲染的粒子系统与二维图像中所识 别的模糊对象进行比较。
18、 根据权利要求11所述的系统(100)，其中，所述重构模块(114)还被配置为通过确定所渲染粒子系统中的至少一个粒子与二维图像中所识别的模糊对象的至少一个像素之间的最小二乘差来对所渲染的 粒子系统与二维图像中所识别的模糊对象进行比较。
19、 根据权利要求ll所述的系统(100)，其中，所述对象检测器(116)被配置为通过描绘二维图像中包括至少一个模糊对象的区域的轮廓来识别所述至少一个模糊对象。
20、 一种机器可读的程序存储设备，所述程序设备有形地实现机器可执行的指令程序，以执行用于从二维图像中恢复三维粒子系统的方法步骤，所述方法包括识别(201) 二维图像中的模糊对象；从多个预定粒子系统中选择(202)与预定模糊对象相关的粒子 系统；模拟(206)所选的粒子系统； 对所模拟的粒子系统进行渲染(208);将所渲染的粒子系统与二维图像中所识别的模糊对象进行比较(210);以及在比较结果小于预定阈值的情况下存储(212、 214)所选的粒子 系统，其中，所存储的粒子系统表示所述模糊对象的恢复后的几何形 状。
全文摘要
本发明提供了一种用于从二维2D图像中恢复三维3D粒子系统的系统和方法。本发明的系统和方法用于识别(201)二维2D图像中的模糊对象；从多个预定粒子系统中选择(202)与预定模糊对象相关的粒子系统；产生(204)所选的粒子系统中的至少一个粒子；模拟(206)所述至少一个粒子，以更新所述至少一个粒子的状态；对所选的粒子系统进行渲染(208)；将所渲染的粒子系统与2D图像中所识别的模糊对象进行比较(210)；以及在比较结果在可接收阈值之内的情况下存储(212、214)所选的粒子系统，其中，所存储的粒子系统表示所述模糊对象的恢复后的几何形状。
文档编号G06T13/20GK101529468SQ200680056228
公开日2009年9月9日 申请日期2006年10月27日 优先权日2006年10月27日
发明者吉姆·亚瑟·梵彻, 安娜·贝莲·贝尼特斯, 张东庆 申请人:汤姆森许可贸易公司