捕捉和处理面部运动数据的制作方法

专利名称：捕捉和处理面部运动数据的制作方法
技术领域：
本发明一般地涉及运动捕捉(motion capture)处理，更具体地涉及可 以捕捉和处理面部运动数据的改进型运动捕捉系统和方法。
背景技术：
作为制作动画的方式，运动捕捉系统被用于捕捉实际对象的动作 (movement)，并将其映射成计算机生成的对象。通常在动态影像和视频 游戏的制作中使用这样的系统来创建物体或人的数字表示，该数字表示被 用作创建计算机图形(CG)动画的源数据。在典型的系统中，演员身穿在 各个位置附有标记的衣服(例如，躯体和四肢上附有小型反射标记)，并 且在照射标记的同时数字相机从不同的角度记录演员的动作。系统随后对 图像进行分析以确定各个帧中的在演员衣服上的标记的位置(例如，作为 空间坐标)和方向。通过跟踪标记的位置，系统创建标记随时间的空间表 示，并建立运动中的演员的数字表示。这种运动随后被应用于数字模型，该数字模型随后可以被纹理化并被渲染(render)以制作演员和/或表演的 完整CG表示。特效公司己经在许多受欢迎的电影中使用这种技术来制作 高度逼真的动画。
运动捕捉系统相对于传统动画技术(例如，关键帧(keyframing)) 的优点在于实时可视化的能力。制作团队可以实时或接近实时地查看演员 运动的空间表示，从而使得演员可以变更身体表演以捕捉最佳数据。此 外，运动捕捉系统检测身体动作的细微差别，这种细微差别是无法很容易 地使用其它动画技术来再现的，从而生成更精确地反映自然动作的数据。 结果，利用使用运动捕捉系统收集的源素材来制作的动画将呈现大体上更 加逼真的外观。

发明内容
本发明的实施例提供了用于捕捉和处理面部运动数据并可以更强劲地 跟踪演员的面部特征的运动以创建演员的面部运动和表情的表示的系统和 方法。
在一个实施例中， 一种头戴式系统包括至少一个运动捕捉相机，被 配置用于使用布置在演员的面部表面上的多个传感器来从该演员的面部表 面捕捉运动数据；以及与运动捕捉相机相耦合的运动捕捉处理器，该运动 捕捉处理器包括存储单元；图像捕捉模块，被配置用于对运动捕捉相机 进行控制以逐帧地捕捉布置在演员的面部表面上的多个传感器的图像，该 图像捕捉模块接收所述逐帧图像并将其存储在存储单元上；传感器跟踪模 块，被配置用于从存储单元中检索所存储的逐帧图像，对这些图像执行跟 踪功能以精确地针对各个帧来映射所述多个传感器，并且提供来自面部表 面的所述运动数据；以及数字建模模块，被配置用于接收该运动数据以生 成表示演员的面部表面的建模表面。
在另一个实施例中， 一种方法包括将多个传感器与演员的面部表面 上的目标点相结合；使用布置在头戴式系统上的至少一个运动捕捉相机来 逐帧地捕捉布置在演员的面部表面上的多个传感器的图像；在头戴式系统 中对所述多个传感器的逐帧图像执行跟踪功能，以精确地针对各个帧来映射所述多个传感器；以及在头戴式系统中生成表示演员的面部表面的建模 表面。
在阅读以下详细描述和附图之后，本发明的其它特征和优点对于本领 域普通技术人员来说将变得更加清楚。


通过研究附图可以部分理解本发明的关于其结构和操作的细节，在附 图中，相似的标号指示相似的部分，并且其中
图1A是示出根据本发明一个实施例的头戴式系统的示图； 图1B是示出面罩开启时的头戴式系统的示图2A示出了附于面部以使得可以使用运动捕捉相机来捕捉面部表情 的多个标记；
图2B示出了形成在面部上的以使得可以使用运动捕捉相机来捕捉面 部表情的水平和垂直线或曲线的栅格；
图3是根据一个实施例的头戴式系统的运动捕捉处理器和相机的框 图；以及
图4是示出根据一个实施例用于捕捉演员的面部特征以创建演员的面 部运动和表情的表示的方法的流程图。
具体实施例方式
如以下将进一步描述的，本发明的实施例满足了运动捕捉系统的以下 需要使得可以更加强劲地捕捉和跟踪演员的面部特征的表面和运动以创 建演员面部运动和表情(例如，大笑、哭泣、微笑等)的表示。在阅读本 说明书之后，本领域技术人员将很清楚如何在各个实施例和应用中实现本 发明。但是，虽然本发明的各个实施例将在这里得到描述，但是应当理 解，这些实施例仅仅是以示例的方式而非限制方式来呈现的。因此，各个 实施例的详细说明不应当被解释为限制本发明的范围或广度，本发明的范 围或广度将在所附权利要求中被阐明。
在一个实施例中，面部运动捕捉系统被配置成头戴式系统，用以跟踪面部表面上的点并数字化整个表面。系统随后返回经动画化的演员面部的
网格(mesh)。因此，在本实施例中，头戴式系统被设置到物理上附接于
演员头部或身体的头盔或其它器具中，从而均一地照射面部标记并最小化 相机和面部之间的相对移动程度。在其它实施例中，面板运动捕捉系统被 配置成将头戴式系统和置于身体上和/或与身体分离的其它运动捕捉相机集
成在一起。
图1A是示出根据本发明一个实施例的头戴式系统的示图。在所示出 的实施例中，头戴式系统被配置成头盔100，头盔100包括麦克风110、 诸如风扇112、 114之类的散热单元、以及运动捕捉相机120、 122、 124， 其中，麦克风110被配置用于记录来自演员的音频，散热单元被配置用于 使用空气或液体来为演员散热，并且在麦克风被开启时散热单元可以被关 闭。
在一个实施例中，头盔100由被设计为很轻便的碳纤维材料制成。头 盔100从随带电源(未示出)抽运功率。此外，头盔100将所捕捉的数据 记录到头盔100上的或者由演员佩戴的记录器140上。记录在记录器140 上的数据可以无线下载到远程存储设备。但是，记录在记录器140上的数 据也可以以有线方式下载到远程存储设备。头盔100上的处理器142接收 数据分组(例如，UDP)，该数据分组命令记录器140何时开始记录以及 何时停止记录。处理器142可以获取时间码同步和同步锁相(genlock)信 息，并将它们与用于记录数据或影片的其它外部设备相同步。
在替代实施例中，头戴式系统可以被配置成两部分单元，其中， 一个 部分是附接于演员头部的颅顶盖，而另一部分是沿着颌骨底部并在演员的 下颚前方突出的碳纤维U型片。相机可以安装在系统的^页骨'片上。在 其它实施例中，头戴式系统可以被配置成喉部振动麦克风型的索具 (rig)、头盔垫衬型的头部索具、封闭式的面部相机头盔、或者安装在胸 部的索具。
头盔100内部的运动捕捉相机120、 122、 124可以跟踪演员面部的特 征。运动捕捉相机120、 122、 124还可以跟踪表面，使用灰阶成像来执行 z深度(z-depth)计算，并执行2D向3D的三角剖分。在图示出的实施例中，在头盔100中配置了三到六个不同的运动捕捉相机。但是，在其它实 施例中，可以在头盔100中配置任何数目的运动捕捉相机。例如， 一个相 机可以被配置用于捕捉眼睛运动，并且三个相机可以被配置用于捕捉面部 特征的运动。这些运动捕捉相机中的全部或一些可以被配置成小型且轻便
的高分辨率CMOS或CCD相机。
在一些实例中，这些相机可以具有场分割器(field splitter)，场分割 器是被配置为棱镜的相机透镜。 一种场分割器(例如，在2005年8月26 曰提交的申请号为No. 60/711,908、标题为"Using Field Splitters in Motion Capture"的美国临时专利申请中公开的，该申请的内容通过引用而结合于 此)在单个相机透镜中呈递多个视场，以使得可以在不具有多个相机的情 况下实现立体视觉。此外，相机可以具有远心透镜(例如，在2005年8 月26日提交的申请号为No. 60/711,906、标题为"Telecentric Lenses in Motion Capture"的美国临时专利申请中公开的，该申请的内容通过引用而 结合于此)，远心透镜去除了透视畸变(例如，图像的扭曲校正
(unwarping))并且改进了 2D向3D的三角剖分。
相机在开始执行操作之前需要得到很好地校准，以给出外在(相对于 头部框架上的固定点的外部相机位置)和内在参数(内部相机参数)。或 者，相机可以通过使用头盔上的(例如，条纹或格子图案)或面部上的
(例如，接近鼻子的并趋于更加稳定)度量信息来动态地自校准。使用所 捕捉的面部运动数据，面部的整个表面都被数字化，并且得到的网格被输 出。
在一个实施例中，相机120、 122、 124由可佩戴的计算设备来控制。 在另一个实施例中，相机被按符合人体工学地安装以使得在头盔上存在较 少的校准/稳定性问题，从而使各个相机观察球形、双曲或平面的镜子并捕 捉面部表演的反射。在这样的情况下，捕捉系统可以在捕捉处理期间以更 稳定的方式来操作，但是可能需要模拟来自镜子的表面反射的复杂的镜面 校正解决方案。
重构后的网格在帧和帧之间很少保持一致，并且可能需要额外的预处 理或后处理来确保这种一致性。 一种预处理方法可以包括扫描演员的面部几何(facial geometry)并对其建模，选择一组感兴趣的点，并仅跟踪这 些感兴趣的点。 一种后处理方法可以包括随着被跟踪的特征点的移动和 变形而数学计算演员的面部模型与这些被跟踪特征点之间的最小误差拟合 (least-errorfitting)，从而实现帧与帧之间的最大可能的一致性。
在所图示的实施例中，头盔100还包括面罩130，在一个实施例中， 面罩130配置有充当太阳镜的染色塑料，用以减少从演员面部反射的且会 导致跟踪问题的任何太阳光。可以使用红外光照射来照射头盔100内部的 演员面部。如果在户外在太阳光中进行运动捕捉处理，则相机120、 122、 124可以配备IR灵敏滤波器以利用红外光照射。在一个实施例中，面罩 130包括在内表面上的显示器132，用于显示由安装在头盔100上的相机 134捕捉的演员周围环境的图像。通过在显示在显示器132上的外部图像 上覆以虚拟图像，演员可以与覆于真实世界图像上的虚拟世界对象进行交 互。这允许演员基本与相关事件相同步地显示自然的面部表情。如图IB 所示，头盔100的面罩130翻转到上方，以使得演员可以在拍摄间歇休 息，并且不会整天都包在头盔中而很少通风。
在另一个实施例中，头盔100具有内置的眼电图(electrooculogram， EOG)能力(例如，在2004年11月8日提交的申请号为No. 10/984，488、标题为"System and Method for Tracking Facial Muscle and Eye Motion for Computer Graphics Animation"的美国专利申请中公开的，该申 请的内容通过引用而结合于此)以记录眼睛的移动。在本实施例中，在眼 睛上下或者眼睛左右布置了成对的电极。如果眼睛从中心位置向一个电极 移动，则该电极检测视网膜的正面而相对电极检测视网膜的反面。因此， 出现在电极之间的电位差被记录作为眼睛移动的度量。EOG控制盒可以嵌 入到头盔100中或者可以佩戴在身体上并插入到头盔中以接收来自电极的 信号并将该信号转换成运动数据。
为了使用头戴式系统来捕捉面部运动数据，演员的面部需要安装传感 器(例如，反射标记、球和/或盘)，或者准备有能够提供运动信号或从面 部的表面反射运动信号的材料(例如，颜料、染料和/或投射光)。但是， 应当理解，运动数据包括在一个或多个传感器没有移动时捕捉的数据。因此，运动数据指示出可能已经移动或者可能没有移动的点的当前位置。
在图2A所示的一个实施例中，标记被附于演员面部200以使得运动 捕捉相机可以被用于记录演员的表情。由于与身体动作所涉及的较大肌肉 相比较而言，面部动作涉及相对较小的肌肉，所以面部标记一般比相应的 身体标记小很多，并且相机的分辨率一般高于通常用于身体运动捕捉的相 机的分辨率。相机一般排列在公共平面上，同时演员的身体动作受到限制
以保持相机聚焦于演员面部。在图2B所示的另一个实施例中，在演员面 部210上形成了水平和垂直线或曲线的栅格。通过跟踪并分析由栅格交叉 点形成的线或顶点而不是分立的点的移动，头戴式系统能够生成比传统的 基于标记的跟踪系统多很多的表面数据。
在另一个实施例中，使用很小的近IR光在演员面部上投射斑点图 案。头盔中的运动捕捉相机感测该图案，并通过三角剖分皮肤上的斑点图 案来创建演员面部的3D网格。面部的整个表面随后被数字化，并且得到 的网格被输出。在另一个实施例中，图案被喷射或涂抹到演员的面部(例 如，墨水或化妆品)。可以通过向面部表面涂抹颜料或染料来施加图案。 也可以通过将图案印刷或丝绢网印到材料上然后将该材料附于面部表面来 施加图案。或者，光或点的图案可以被投射到面部表面上。同样，头盔中 的运动捕捉相机感测所述图案，并通过三角剖分所喷射或涂抹的图案来创 建演员面部的3D网格。面部的整个表面随后被数字化，并且得到的网格 被输出。但是，在本实施例中，演员面部的最终模型解决了一致的网格运 动。可以对从演员面部获得的纹理进行分析以得到可视光信息(例如，阴 影化以及当面部在光线照射中或者在黑暗中时)。因此，可以在最终的模 型光照处理中使用该纹理。在一个变体中，图案可以包括压电条带，该压 电条带在随着面部的移动而弯折这些条带时测量电阻。
在另一个实施例中，使用激光或投射线，将不可视光带快速地来回扫 过演员面部。运动捕捉相机在相机扫过面部时扫描条带轮廓，并且这些线 被重构为表面几何。所获得的线随后被接合从而创建网格，该网格是随时 间而被动画化的。在一个变体中，可以在头盔的下颚区域中嵌入具有旋转 镜的对眼睛安全的不可视激光。在另一个变体中，向面部投射旋转的对眼睛安全的不可视光。在又一个变体中，向对准演员面部的旋转镜投射对眼 睛安全的不可视光。
所选择的运动捕捉设置所面临的一个共同问题是帧与帧之间的重构网
格的时间一致性。在将重构表面再次定位(retarget)到数字面部上时，缺 乏时间一致性可能会导致问题。取决于所使用的运动捕捉方法的类型，存 在各种确保时间网格一致性的方式。确保一致的时间网格的一种方式是使 用这样的演员面部模型，该演员面部模型涉及具有"感兴趣"的网格顶点 的各种过渡表情，并且使用网格顶点来数学计算感兴趣的最小误差拟合， 这是作为重构之后的后处理来进行的。作为重构处理的预处理来进行的另
一个实施例包括在重构处理之前扫描、数字化和模型化(建模)演员的
中性(neutral)面部。随后在表演期间模型网格顶点被投射到演员的中性 面部。相机变换的外在参数的计算随后暗示中性面部模型顶点位于视频图 像的中性面部上的哪里。现在可以借助于上述设置(即，标记、颜料、斑 点图案、投射光等)在表演期间跟踪这些顶点。最后，可以仅针对这些被 跟踪的顶点计算3D重构，从而产生帧与帧之间相互一致的变形网格。
图3是根据一个实施例的头戴式系统100的运动捕捉处理器142、记 录器140、和相机120、 122、 124的框图。在所图示的实施例中，运动捕 捉处理器142与记录器140和用户工作站152相连接。运动捕捉处理器 142可以通过有线或无线方式来连接到工作站152。因此，在一个实施例 中，运动捕捉处理器142包括网络接口模块154用以向工作站152发送数 据和从其接收数据。如上所述，处理器142可以从工作站152接收这样的 数据分组，该数据分组命令记录器140何时开始记录以及何时停止记录。
运动捕捉处理器142包括图像捕捉模块150、标记跟踪模块148、数 字建模模块146以及存储单元144。三个运动捕捉相机120、 122、 124与 运动捕捉处理器142相连接。在一个实施例中，根据各种与用户和动画相 关的要求可以使用多于或少于三个运动捕捉相机。运动捕捉相机120、 122、 124聚焦在有待捕捉的演员面部300上，其中，目标传感器(被示出 为球形标记)占据了面部300的表面上的点。
如图3所图示的实施例所示，目标点与类似于结合图2A来描述的那些的多个标记相结合。相机120、 122、 124可以受图像捕捉模块150的控 制以逐帧地捕捉这些标记的图像，并将它们传递回运动捕捉处理器142的 图像捕捉模块150。在一种实现方式中，相机120、 122、 124在交替的图 像帧中捕捉标记的图像。这样捕捉的图像帧被放置在存储单元144中。在 一个实施例中，记录器140可以被用作存储单元(例如，单元144)。或 者，工作站152的用户可以实时地查看这些图像帧。
标记跟踪模块148从存储单元144中检索所存储的图像帧，并对这些 图像帧执行跟踪功能以利用各个图像帧之前和之后的图像帧来精确映射各 个图像帧的标记。在一些实施例中，可以使用为(主要)标记提供标识的 次要标记作为辅助以区分标记。 一旦这种映射完成之后，得到的数据就被 传递到数字建模模块146，数字建模模块146在各个帧中创建虚拟空间中 的顶点系统，包括表示面部300的建模表面。因为在各个帧中捕捉的标记 被正确地映射到随后的帧中的相同的标记，所以被建模的面部表面的运动 是平滑且连续的。虽然图3所图示的实施例使用标记作为用于捕捉面部表 面的传感器，但是可以使用诸如图2B所示的颜料图案之类的其它传感 器。
在一个实施例中，相机120、 122、 124，运动捕捉处理器142的所有 模块，以及记录器140被配置在头戴式系统中。在另一个实施例中，相机 120、 122、 124，记录器140，以及模块144和150被配置在头戴式系统 中，而模块146和148被配置在工作站152中。
图4是示出根据一个实施例的用于捕捉演员的面部特征以创建演员面 部运动和表情的表示的方法的流程图。该方法包括在400中，将标记与 面部表面上的目标点相结合。在一个实施例中，标记是反射球体，并且球 体表面上的发光反射点实质上构成了标记数据点。随后在402中，捕捉当 前帧中的标记的图像。接下来，在404中，存储各个帧的所捕捉图像。在 406中，如果判定当前帧不是最后的帧，则在408中将下一个帧提前，并 且该帧变为新的当前帧。此方法随后在402中通过使用新的当前帧来捕捉 下一组标记数据点而继续。此方法如上所述地进行直到当前帧被判定为最 后的帧为止。根据这个实施方式，从而逐帧地获取标记数据。一旦己经获取所有帧，则在410中检索所存储的图像帧。在412中，
对检索得到的图像帧执行跟踪功能，以利用各个图像帧之前和之后的图像
帧来精确地映射各个图像帧的标记。 一旦这种映射完成之后，就在414中
生成虚拟空间中的顶点系统，该顶点系统包括表示面部的建模表面。得到 的建模表面随后被输出作为演员面部运动和表情的表示。
已经描述了本发明的各种说明性实施例。但是，本领域普通技术人员 将会了解，其它实施例也是可行的并且处在本发明的范围内。例如，在一 个变体中，可以使用包括标记、颜料、染料和/或投射光的传感器的组合来 捕捉面部特征。可以选择传感器的类型以增强对面部的特定部分或特征的 捕捉处理。在另一个变体中，虽然说明仅示出了布置在头盔或身体上的相 机，但是相机可以被配置成布置在身体上和/或与身体相分离以从演员的面 部捕捉数据。在另一个变体中，虽然说明仅示出了人类面部的运动捕捉， 但是，上述处理可以用于运动捕捉任何对象的移动表面。
因此，本发明并不仅仅限于上述那些实施例。
权利要求
1.一种系统，包括至少一个运动捕捉相机，被配置用于使用布置在演员的面部表面上的多个传感器来从所述演员的面部表面捕捉运动数据；以及与所述至少一个运动捕捉相机相耦合的运动捕捉处理器，所述运动捕捉处理器包括存储单元；图像捕捉模块，被配置用于控制所述至少一个运动捕捉相机，以逐帧地捕捉布置在所述演员的面部表面上的所述多个传感器的图像，所述图像捕捉模块接收所述逐帧图像并将其存储在所述存储单元上；传感器跟踪模块，被配置用于从所述存储单元检索所存储的逐帧图像，对所述图像执行跟踪功能以精确地针对各个帧来映射所述多个传感器，并且提供来自所述面部表面的所述运动数据；以及数字建模模块，被配置用于接收所述运动数据以生成表示所述演员的面部表面的建模表面。
2. 如权利要求1所述的系统，其中，所述运动捕捉处理器的所述存 储单元、所述图像捕捉模块、所述传感器跟踪模块以及所述数字建模模块 被物理上一起配置在头戴式系统中。
3. 如权利要求1所述的系统，其中，所述运动捕捉处理器的所述传 感器跟踪模块和所述数字建模模块被配置成与所述存储单元和所述图像捕 捉模块物理上相分离，其中，所述存储单元和所述图像捕捉模块被配置在 头戴式系统中。
4. 如权利要求l所述的系统，还包括至少一个相机，被配置用于捕捉所述演员周围环境的图像；以及 显示器，被配置用于向所述演员显示由所述至少一个相机捕捉的所述 演员周围环境的图像，所述显示器还能够显示覆于所述演员周围环境的图 像之上的虚拟图像，以允许所述演员基本上与相关事件相同步地显示自然 的面部表情。
5. 如权利要求l所述的系统，还包括麦克风，被配置用于记录来自所述演员的音频；以及散热单元，被配置用于为所述演员散热，其中，所述散热单元在所述 麦克风被开启时关闭。
6. 如权利要求l所述的系统，其中，所述运动捕捉处理器包括 无线网络接口模块，被配置用于向用户工作站无线发送数据以及从该用户工作站无线接收数据。
7. 如权利要求6所述的系统，还包括记录器，被配置用于记录由所述至少一个运动捕捉相机从所述演员的 面部表面捕捉的运动数据，其中，所述记录器从所述用户工作站接收记录命令。
8. 如权利要求1所述的系统，其中，所述至少一个运动捕捉相机包括场分割器，被配置用于呈递多个视场，以使得可以在没有多个相机的 情况下实现立体视觉。
9. 如权利要求1所述的系统，其中，所述至少一个运动捕捉相机中 的每一个相机都包括远心透镜。
10. 如权利要求l所述的系统，还包括形状为球形、双曲形和平面形之一的镜子，被配置用于允许所述至少 一个运动捕捉相机捕捉所述面部表面的反射，所述镜子允许以符合人体工 学的方式安装所述至少一个运动捕捉相机，以使得在所述头盔上存在较少 的校准/稳定性问题。
11. 如权利要求l所述的系统，还包括多个电极，被配置用于测量眼睛移动并输出相应的信号；以及 眼电图控制单元，被配置用于接收来自所述多个电极的相应信号，并 将该信号转换成运动数据。
12. 如权利要求l所述的系统，其中，所述头戴式系统包括头盔。
13. —种捕捉和处理面部运动数据的方法，包括 将多个传感器与演员的面部表面上的目标点相结合；使用布置在头戴式系统上的至少一个运动捕捉相机来逐帧地捕捉布置 在所述演员的面部表面上的所述多个传感器的图像；在所述头戴式系统中，对所述多个传感器的所述逐帧图像执行跟踪功 能，以精确地针对各个帧来映射所述多个传感器；以及在所述头戴式系统中，生成表示所述演员的面部表面的建模表面。
14. 如权利要求13所述的方法，还包括 捕捉所述演员周围环境的图像；以及 向所述演员显示所述演员周围环境的图像，其中，所述显示包括显示覆于所述演员周围环境的图像之上的虚拟 图像，以允许所述演员基本与同步信号相同步地显示自然的面部表情。
15. 如权利要求14所述的方法，还包括与关于所述演员的面部表面的动作的事件相同步地生成所述同步信号
16. 如权利要求13所述的方法，其中，所述逐帧地捕捉图像还包括使用至少一个与身体分离的运动捕捉相机。
17. 如权利要求13所述的方法，还包括在所述逐帧地捕捉所述多个传感器的图像之后使用灰阶成像来执行Z 深度计算。
18. 如权利要求13所述的方法，还包括在所述逐帧地捕捉所述多个传感器的图像之后执行2D向3D的三角剖分。
19. 如权利要求18所述的方法，还包括在所述逐帧地捕捉所述多个传感器的图像之后去除透视畸变。
20. 如权利要求19所述的方法，其中所述去除透视畸变包括扭曲校正所述逐帧图像；以及 改进所述2D向3D的三角剖分。
21. 如权利要求13所述的方法，还包括 使用红外光照射来照射所述演员的面部表面。
22. 如权利要求13所述方法，还包括使用近IR光在所述演员的面部表面上投射斑点图案。
23. 如权利要求22所述的方法，还包括 通过三角剖分所述斑点图案来生成所述面部表面的3D网格。
24. 如权利要求23所述的方法，还包括 利用感兴趣的网格顶点来生成过渡表情；以及使用所述网格顶点来数学计算感兴趣的最小误差拟合。
25. 如权利要求23所述的方法，还包括 扫描、数字化和建模所述演员的中性面部；以及在所述演员的中性面部上投射网格顶点。
26. 如权利要求13所述的方法，其中，所述将多个传感器与演员面部表面上的目标点相结合包括使用反射材料在所述演员的面部表面上描绘图案。
27. 如权利要求13所述的方法，其中，所述将多个传感器与演员面部表面上的目标点相结合包括使用激光在所述演员的面部表面上扫过不可视光带。
28. 如权利要求27所述的方法，其中，所述逐帧地捕捉布置在所述演员的面部表面上的所述多个传感器的图像包括使用所述至少一个运动捕捉相机来扫描条带轮廓； 将通过所述扫过不可视光带来创建的线重构为表面几何；以及接合所述线以生成网格。
29. —种用于捕捉和处理面部运动数据的系统，包括用于将多个传感器与演员的面部表面上的目标点相结合的装置；用于使用布置在头戴式系统上的至少一个运动捕捉相机来逐帧地捕捉布置在所述演员的面部表面上的所述多个传感器的图像的装置；在所述头戴式系统中的用于对所述多个传感器的所述逐帧图像执行跟踪功能以精确地针对各个帧来映射所述多个传感器的装置；以及在所述头戴式系统中的用于生成表示所述演员的面部表面的建模表面的装置。
全文摘要
公开了一种捕捉和处理面部运动数据的系统和方法，包括将多个传感器与演员的面部表面上的目标点相结合；使用布置在头戴式系统上的至少一个运动捕捉相机来逐帧地捕捉布置在演员的面部表面上的多个传感器的图像；在头戴式系统中，对所述多个传感器的逐帧图像执行跟踪功能，以精确地针对各个帧来映射所述多个传感器；以及在头戴式系统中生成表示所述演员的面部表面的建模表面。
文档编号G06K9/00GK101310289SQ200680040142
公开日2008年11月19日 申请日期2006年8月28日 优先权日2005年8月26日
发明者丹尼斯·J·小豪克, 保劳格·哈瓦尔达尔, 德曼·乔丹, 雷明顿·斯科特 申请人:索尼株式会社;索尼电影娱乐公司