用来捕捉面部和身体动作的系统和方法

专利名称：用来捕捉面部和身体动作的系统和方法
技术领域：
本发明涉及三维图形和动画，并且更具体地说，涉及动作捕捉系 统，该系统在能够包含多个行动者的容积(volume)里面能够同时 捕捉面部和身体动作。
背景技术：
动作捕捉系统被用来捕捉实物的运动并且将它映射到计算机产 生的物体上。在运动画面和视频游戏的制作中经常使用这样的系统 来生成人的数字表示，该人的数字表示被用作产生计算机图形(CG) 动画的源数据。在典型系统中，行动者穿着具有附着在各个位置的 标志(例如具有附着到身体和四肢的反射标志)的衣服，并且数字 摄像机在照亮这些标志的同时从不同的角度记录行动者的运动。然 后该系统分析这些图像以确定在每一帧中行动者的衣服上的标志的 位置(例如按空间坐标)和方向。通过跟踪这些标志的位置，该系 统创建这些标志随时间的空间表示并且建立运动中的行动者的数字 表示。然后，该运动可以应用于数字模型，其然后可以被构造和再 现以制作行动者和/或行为的完整的CG表示。该技术已经被特技效 果公司用来在许多流行电影中制作非常逼真的动画。
动作捕捉系统也被用来跟踪行动者的面部特征的动作以产生行 动者的面部动作和表情(例如笑、哭、微笑等)的表示。与身体动 作捕捉一样，标志被附着到行动者的面部上并且摄像机记录行动者 的表情。因为与身体运动所涉及的较大的肌肉相比面部运动涉及相 对小的肌肉，因此面部标志一般比相应的身体标志小得多，并且这 些摄像机一般具有比通常用来捕捉身体运动的摄像机高的分辨率。
这些摄像机一般与行动者的身体移动在共同的平面内排成直线，所 述行动者的身体移动被限制以使这些摄像机聚焦在行动者的面部 上。面部动作捕捉系统可以被并入物理地附着到行动者的头盔或其 他工具中以便均匀地照射面部标志并且使摄像机和面部之间的相对
运动程度最小化。为此，通常在分开的步骤中捕捉面部动作和身体 动作。然后结合捕捉的面部动作数据和稍后捕捉的身体动作数据作 为随后的动画过程的一部分。
动作捕捉系统优于传统的动画技术例如关键帧(keyframing )的 优点是能够实时可视化。制作团队可以实时或接近实时地回顾行动 者的动作的空间表示，使行动者能够改变身体行为以便捕捉最优的 数据。此外，动作捕捉系统检测身体移动的精妙细微的差别，其不 容易利用其他的动画技术来再现，由此产生更精确地反映自然运动 的数据。因此，利用使用动作捕捉系统收集的源材料产生的动画将 呈现更逼真的景象。
虽然动作捕捉系统有这些优点，但是分开捕捉面部和身体动作经 常会导致并不真实地逼真的动画。面部动作和身体动作不可避免地 相关联，使得面部表情经常被相应的身体动作增强。例如，行动者 可以利用某种身体动作(即身体语言)来交流感情和强调相应的面 部表情，例如在兴奋地谈话时利用手臂摆动或在生气时卑肩。当分 开地捕捉动作时会失去面部动作和身体动作之间的这种联系，并且 难以使这些分开捕捉的动作吻合在一起。当面部动作和身体动作被 结合时，最后所得的动画经常会看起来明显不正常。因为动作捕捉 的目的是能够形成格外逼真的动画，因此面部和身体动作的分离说 明了常规动作捕捉系统的重大缺陷。
常规动作捕捉系统的另一缺点是行动者的动作数据有可能被其 他对象例如道具或其他行动者的干扰所遮蔽。特别地，如果身体或 面部标志的一部分从数字摄像机的视场被遮住，则涉及该身体或面 部部分的数据就不会被收集。这导致动作数据中的遮掩或缺陷。虽 然稍后在后期制作过程中可以利用常规的计算机制图技术填补该遮 掩，但是该填补数据缺少实际动作数据的质量，导致能够被观看的 观众识别的动画缺陷。为避免该问题，常规动作捕捉系统限制一次 能够捕捉的对象的数目例如为单个行动者。这也易于使动作数据看
起来不那么逼真，因为行动者的行为质量经常取决于与其他行动者 和对象的相互作用。此外，难以以看起来自然的方式将这些独立的 行为结合在一起。
常规的动作捕捉系统的另一缺点是声音不能和动作捕捉同时被 记录。在动画制作中，通常首先记录声道，然后对人物进行动画制 作以与声道相匹配。在面部动作捕捉期间，行动者会与记录的声道 同步地说话。这不可避免地导致动作数据的视觉质量的进一步降 低，因为对于行动者来说难以完美地将面部动作与声道同步。而且， 身体动作经常会影响发表演讲的方式，并且身体和面部动作的分开
捕捉增加了与声道同步以产生有内聚性的最终产品的难度。
因此，将期望提供一种克服现有技术的这些和其他缺点的动作捕 捉系统。更具体地说，将期望提供一种动作捕捉系统，其能够在能 够包含多个行动者的容积内同时捕捉身体和面部动作。还将期望提 供一种动作捕捉系统，其能够与身体和面部动作捕捉同时地记录声 音。

发明内容
根据本发明的教导，提供一种动作捕捉系统和方法，其能够在包 含多个行动者的容积内同时捕捉面部和身体动作。该动作捕捉系统 还能够与身体和面部动作捕捉同时地记录声音。
更具体地说，用来捕捉动作的系统和方法包括适合包含至少一个
行动者的动作捕捉容积(volume)，该至少一个行动者具有限定多 个身体点的身体标志和限定多个面部点的面部标志。该动作捕捉容 积可以具有任何期望的几何形状，例如椭圆形、圆形、矩形、多边 形等。多个动作摄像机围绕该动作捕捉容积的外围设置。这些动作 摄像机这样设置以便当在动作捕捉容积内运动时行动者的所有横向 暴露的表面基本上一直在该多个动作摄像机中的至少一个的视场以 内。动作捕捉处理器耦接到该多个动作摄像机以产生反映行动者的 合成的身体和面部动作的数字模型。至少一个传声器可以被定向以 从该动作捕捉容积中拾取声音。
在本发明的实施例中，动作捕捉容积进一步包括被细分成多个部 分的矩形区域。该多个动作摄像机进一步包括朝向该多个部分中的相应部分定向的第一子组摄像机。该多个动作摄像机可以进一步包 括朝向该多个部分中的相应部分定向的第二子组摄像机，所述第二 子组摄像机在空间上与所述第一子组摄像机分开。第一子组摄像机 相对于第二子组摄像机被定向以便它们的相应视场基本重叠。第一 和第二子组摄像机均可以进一步包括至少三个摄像机。该多个动作 摄像机可以进一步包括第三子组摄像机，所述第三子组摄像机分别 设置在动作捕捉容积的各角处并且通常朝向动作捕捉容积的中心被 定向。
通过考虑以下优选实施例的详细描述，本领域技术人员将更完整 地理解用来捕捉身体和面部动作的系统和方法，以及其另外的优点 和目的的实现。将参考附图页，这些附图首先将被简要地描述。


图1是示出根据本发明的实施例的动作捕捉系统的方块图2是具有多个动作捕捉摄像机的动作捕捉容积的顶视图，该多 个动作捕捉摄像机围绕该动作捕捉容积的外围设置；
图3是具有多个动作捕捉摄像机的动作捕捉容积的侧视图，该多 个动作捕捉摄像机围绕该动作捕捉容积的外围设置；
图4是示出面部动作摄像机相对于动作捕捉容积的象限的示例 性设置的动作捕捉容积的顶视图5是示出面部动作摄像机相对于动作捕捉容积的各角的示例 性设置的动作捕捉容积的顶视图6是示出反映在动作捕捉容积中的两个行动者的动作捕捉数 据的动作捕捉容积的透视图7示出反映在动作捕捉容积中的两个行动者并且显示该数据 的遮掩区的动作捕捉数据；
图8示出如图7中的动作捕捉数据，其中该两个行动者中的一个 净皮遮掩区遮蔽；
图9是示出在该动作捕捉系统中利用的动作捕捉摄像机的替换 实施例的方块图10是示出根据本发明的另一实施例的动作捕捉系统的方块
图11是放大的动作捕捉容积的顶视图，该动作捕捉容积限定多
个行为区域；以及
图12A - 12C是图11的放大的动作捕捉容积的顶视图，示出了动 作捕捉摄像机的示例性设置。
具体实施例方式
正如以下将进一步描述的，本发明满足了对这样的动作捕捉系统 的需要该动作捕捉系统能够在能够包含多个行动者的容积内同时 捕捉身体和面部动作。另外，本发明还满足了对这样的动作捕捉系 统的需要该动作捕捉系统能够与身体和面部动作捕捉同时地记录 声音。在以下的详细描述中，类似的元件数字被用来描述在一个或 多个图中示出的类似元件。
首先参考图1，方块图示出了根据本发明的实施例的动作捕捉系 统10。该动作捕捉系统10包括适合与多个面部动作摄像机14! - 14n 以及多个身体动作摄像机16!-16N通信的动作捕捉处理器12。动作 捕捉处理器12可以进一步包括具有适于能够存储相关数据文件的数 据存储器件20的可编程计算机。可以利用网络将一个或多个计算机 工作站18! - 18N耦接到动作捕捉处理器12以使多个图形设计师能够 在制作计算机图形动画的过程中利用存储的数据文件工作。相对于
动作捕捉容积(在下面被描述)设置面部动作摄像机11- 14n和身体 动作摄像机16,- 16 以捕捉在动作捕捉容积内进行的一个或多个行 动者的组合动作。
每个行动者的面部和身体用标志来标记，在行动者在动作捕捉容
积内行动期间利用面部动作摄像机14!- 14N和身体动作摄像机16!-
16N检测这些标志。这些标志可以是反射的或被照亮的元件。特别地， 可以利用设置在包括头、腿、臂、和躯体的各个身体位置的多个反 射标志标记每个行动者的身体。行动者可以穿着由非反射材料形成 的、附着了这些标志的连体紧身衣。还将用多个标志标记行动者的 面部。面部标志通常比身体标志小，并且使用的面部标志数目比身 体标志更多。为了捕捉具有足够分辨率的面部动作，预期利用很多 个面部标志(例如100以上)。在一个示例性的实施方式中，将152 个小的面部标志和64个较大的身体标志贴到行动者上。身体标志可
以具有5到9毫米的宽度或直径，而面部标志可以具有2到4毫米 的宽度或直径。
为了确保面部标志的位置的一致性，可以由每个行动者的面部形 成面具，其在与期望的标志位置相对应的适当位置处具有钻孔。该 面具可以被放置在行动者的面部上，并且孔位置用合适的笔直接标 记在面部上。然后可以将面部标志施加到在标记的位置处的行动者 的面部上。可以利用戏剧表演领域已知的适当材料例如化妆胶将面 部标志贴到行动者的面部上。这样，即使每天都施加和去除这些标 志，延续一段长时间(例如数月)的动作捕捉作品也能获得行动者 的相当一致的动作数据。
动作捕捉处理器12处理从面部动作摄像机14i — l屯和身体动作 摄像机16,- 16N接收的二维图像以产生所捕捉动作的三维数字表 示。特别地，动作捕捉处理器12从每个摄像机接收二维数据并且以 多个数据文件的形式将该数据保存到数据存储器件20中作为图像捕 捉过程的一部分。随后，作为图像处理过程的一部分，二维数据文 件被分解成单组三维坐标，所述单组三维坐标以表示各个标志的运 动的轨迹文件的形式被链接在一起。该图像处理过程利用来自一个 或多个摄像机的图像确定每个标志的位置。例如，由于在动作捕捉 容积内行动者的面部特征或身体部分的遮掩，标志可能仅能被这些 摄像机的子集看得见。在那种情况下，图像处理利用来自对该标志 具有自由视野的其他摄像机的图像来确定该标志在空间中的位置。
通过使用来自多个摄像机的图像确定标志的位置，图像处理过程 从多个角度评估图像信息并且利用三角测量方法来确定空间位置。 然后对轨迹文件进行动力学计算以产生反映与行动者的行为相对应 的身体和面部动作的数字表示。利用随着时间过去的空间信息，这 些计算确定每个标志在其移动通过空间时的进展。可以利用合适的 数据管理过程控制将与整个过程相关的很多个文件存储到数据存储 器件20/从数据存储器件20重新获得与整个过程相关的很多个文 件。动作捕捉处理器12和工作站18!- 18x可以利用商业软件包来执 4亍这些和其它数据处理功負b，例如可以从Vicon Motion Systems或 者Motion Analysis Corp获得商业软件包。
动作捕捉系统10除了动作以外还进一步包括记录声音的能力。
可以围绕动作捕捉容积设置多个传声器24!- 24n以在行动者行动期 间拾取声音(例如口头对话)。动作捕捉处理器12可以直接或通过 音频接口 22耦接到传声器24, 24N。传声器24「 24n可以被固定在 适当的位置，或者可以在吊杆上移动以跟随动作，或者可以被行动 者携带并且与动作捕捉处理器12或音频接口 22进行无线通信。动 作捕捉处理器12将接收记录的声音以及时间轨迹或其他能够与动作 数据同步的数据并以数字文件的形式将其存储在数据存储器件20 上。
图2和3示出被多个动作捕捉摄像机围绕的示例性动作捕捉容积 30。动作捕捉容积30包括外围边缘32。动作捕捉容积30被示为由 网格线细分的矩形区域。应当理解，动作捕捉容积30实际上包括具 有为动作捕捉容积限定底面的栅格的三维空间。将在该底面上的三
维空间内捕捉动作。在本发明的优选实施例中，动作捕捉容积30包 括大约10英尺x IO英尺的底面面积，且在该底面上具有大约6英 尺的高度。也可以有利地利用其他尺寸和形状的动作捕捉容积来满 足制作的特殊需要，例如椭圆形、圆形、矩形、多边形等。
图2示出具有多个以通常为圆形的图案围绕外围边缘32设置的 动作捕捉摄像机的动作捕捉容积30的顶视图。各个摄像机被利用图 形表示为具有代表摄像机的镜头方向的锐角的三角形，因此，应当 理解，该多个摄像机从多个不同的方向指向动作捕捉容积30。更具 体地说，该多个动作捕捉摄像机进一步包括多个身体动作摄像机 —168和多个面部动作摄像机1屯-14n。鉴于图2中的很多个面部动 作摄像机，应当理解，多个面部动作摄像机没有被标记。在本发明 的该实施例中，面部动作摄像机比身体动作摄像机多得多。在动作 捕捉容积30的每侧大致设置2个身体动作摄像机16! — 168，并且在 动作捕捉容积30的每侧大致设置12个面部动作摄像机14! — 1"。除 了选择面部动作摄像机的聚焦透镜以提供比身体动作摄像机的视场 窄的视场以外，面部动作摄像机14! - l"与身体动作摄像机16「 16n 基本相同。
图3示出具有该多个动作捕捉摄像机的动作捕捉容积30的侧视 图，该多个动作捕捉摄像机在该动作捕捉容积的底面之上被设置成 大致三层。下层包括多个面部动作摄像机11-14",在动作捕捉容
积30的每侧设置大致8个面部动作摄像机。在本发明的实施例中， 下层面部动作摄像机14! - 1 432中的每一个稍稍向上瞄准以便不包括 大致与包含在视场内的动作捕捉容积30相对的摄像机。动作捕捉摄 像机通常包括用来照亮动作捕捉容积30的光源(例如发光二极管阵 列)。期望不使动作捕捉摄像机"看见"另一动作捕捉摄像机的光 源，因为该光源对动作捕捉摄像机表现为亮反射，其将覆没来自反 射标志的数据。中间层包括多个身体动作摄像机163 - 167，在动作捕 捉容积30的每侧设置大致2个身体动作摄像机。如上所讨论的，身 体动作摄像机具有比面部动作摄像机宽的视场，能够使每个摄像机 在它的相应视场内包括更大量的动作捕捉容积30。
上层包括多个面部动作摄像机(例如14"-14")，在动作捕捉容 积30的每侧设置大致5个面部动作摄像机。在本发明的实施例中， 上层面部动作摄像机14"-1452中的每一个稍稍向下瞄准以便不包括 大致与包含在视场内的动作捕捉容积30相对的摄像机。在图2的左 手侧示出，在中间层中还包括多个聚焦在动作捕捉容积30的前边缘 的面部动作摄像机(例如14"-146。)。因为行动者的行为通常会面对 动作捕捉容积30的前边缘，所以在该区域中增加该多个摄像机以减 少因遮掩而丢失的数据的量。另外，在中间层中包括多个聚焦在动 作捕捉容积30的角落的面部动作摄像机(例如14"-14")。这些摄 像机也用来减少因遮掩而丢失的数据的量。
在本发明的该优选实施例中，身体和面部动作摄像机从多个不同 的角度记录被标记的行动者的图像以便行动者的基本全部的侧表面 一直暴露于至少一个摄像机。更具体地说，优选这种摄像机设置使 得行动者的基本全部的侧表面一直暴露于至少三个摄像机。通过在 多个高度处放置摄像机，可以在行动者在动作捕捉场30内移动时为 不规则表面作模型。本动作捕捉系统10由此同时记录行动者的身体 运动和面部运动(即表情)。如上所讨论的，还可以与动作捕捉同 时地进行声音记录。
图4是示出面部动作摄像机的示例性设置的动作捕捉容积30的 顶视图。动作捕捉容积30在图形上被分成标记为a、 b、 c和d的象 限。面部动作摄像机被分组成群36、 38，每个摄像机群表示多个摄 像机。例如， 一个这样的摄像机群可以包括两个位于下层中的面部
动作摄像机和一个位于上层中的面部动作摄像机。还可以有利地利
用群内的其他摄像机设置。这两个摄像机群36、 38被物理地设置成 彼此相邻，但是彼此水平上偏离了可辨别的距离。这两个摄像机群 36、 38均以大约45。C的角度聚焦在象限d的前边缘。第一摄像机群 36具有从部分地进入象限c的前边缘延伸到象限d的前边缘的右端 的视场。第二摄像机群38具有从象限d的前边缘的左端延伸到部分 地进入象限d的右边缘的视场。因此，第一和第二摄像机群36、 38 的相应视场基本上在象限d的前边缘的长度上重叠。象限a、 b、 c 和d的其他外边缘(与外围边缘32 —致)的每一个包括类似的摄像 机设置。
图5是示出面部动作摄像机的另一示例性设置的动作捕捉容积 30的顶视图。如同在图4中，动作捕捉容积30在图形上被分成象限 a、 b、 c和d。面部动作摄像机被分组成群42、 44,且每个摄像机群 表示多个摄像机。如同在图4的实施例中，这些群可以包括位于不 同高度的一个或多个摄像机。在该设置中，摄像机群42、 44位于动 作捕捉容积30的角落处，面向动作捕捉容积中。这些角落摄像机群 42、 44将记录例如由于遮掩而没有被其他摄像机拾取的行动者的图 像。其他相似的摄像机群也可以位于动作捕捉容积30的其他角落 处。
相对于动作捕捉容积30具有多种摄像机高度和角度用以增加从 动作捕捉容积中的行动者捕捉到的可用数据并且减小数据遮掩的可 能性。它也允许在动作捕捉容积30内同时捕捉多个行动者的动作。 此外，摄像机的大数量和多样性能够使动作捕捉容积30比现有技术 的动作捕捉容积大得多，由此能够使动作捕捉容积内的动作范围更 大并且因此能够使行为更复杂。应当理解，也可以有利地利用身体 和面部动作摄像机的多种替换设置。例如，可以利用更多或更少数 目的分开的层，并且在单层内的每个摄像机的实际高度可以改变。
在本发明的优选实施例的前面描述中，身体和面部动作摄像机保 持固定在原地。这样，动作捕捉处理器12具有固定的参考点，身体 和面部标志的移动可以相对于该参考点来测量。这种设置的缺点是 它限制了动作捕捉容积30的尺寸。如果期望捕捉需要更大的空间容 积的行为的动作(例如，其中人物在更大的距离上跑动的场景)，
则该行为必须被分成多个段，这些段被分别进行动作捕捉。在本发 明的替换实施例中， 一部分摄像机保持固定而其他摄像机将跟随动 作移动。这些可移动的摄像机都可以利用计算机控制的伺服电动机
移动或者可以由人摄影师手动移动。动作捕捉处理器12将跟踪这些 摄像机的移动，并且在所捕捉的数据的随后处理中除去该移动以产 生反映与行动者的行为相对应的身体和面部动作的三维数字表示。
图6是示出反映动作捕捉容积内的两个行动者52、 54的动作捕 捉数据的动作捕捉容积30的透视图。图6的图反映了该动作捕捉数 据怎样被以上参考图1描述的工作站18的操作者观看。与图2和3 (上面的)类似，图6进一步示出多个面部动作摄像机，包括位于 下层中的摄像机14!-M"、位于上层中的摄像机14"-14"、以及位于 动作捕捉容积30的角落中的摄像机14"、 14"。这两个行动者52、 54呈现为与它们的身体和面部上的反射标志相对应的大量的点。如 上所示和所讨论的，位于行动者的面部上的标志比位于它们的身体 上的标志多得多。行动者的身体和面部的运动被动作捕捉系统10跟 踪，基本上如上所述。
现在参考图7和8，动作捕捉数据被示为它将被工作站18的操 作者所看见的那样。如同在图6中，动作捕捉数据反映两个行动者 52、 54，其中高浓度的点反映行动者的面部并且其他点反映身体点。 动作捕捉数据进一步包括三个被示为椭圆形状的遮掩区62、 64、 66。 遮掩区62、 64、 66表示这样的地方，其中由于来自摄像机之一的光 落在其他摄像机的视场内而没有捕捉到可靠的动作数据。该光覆没 了来自反射标志的发光，并且被动作捕捉处理器12理解为身体或面 部标志。由动作捕捉处理器12执行的图像处理过程产生虚拟掩蔽， 其通过限定图7和8中示出的遮掩区62、 64、 66滤掉摄像机发光。 制作公司可能会试图控制行动者的行为以在身体上避免被遮掩区遮 蔽的运动。然而，不可避免地会发生一些数据捕捉丟失，如图8中 所示，其中行动者54的面部由于身体移动进入遮掩区64而几乎完 全4皮遮蔽。
图9示出减少了遮掩问题的动作捕捉系统的实施例。特别地，图 9示出被物理地设置成跨越动作捕捉容积(未示出)彼此相对的摄像 机84和74。摄像机84、 74包括适于照亮摄像机的视场的相应光源
88、 78。摄像机84、 74进一步被提供有设置在摄像机镜头前面的偏 振滤光器86、 76。正如由以下描述变得清楚的，偏振滤光器86、 76 相对于彼此异相地设置(即被旋转)。光源88发射被偏振滤光器86 偏振的光。该偏振光到达摄像机74的偏振滤光器76，但不是穿过到 达摄像机74，该偏振光被偏振滤光器76反射掉或吸收。结果，摄像 机84将不会"看见"摄像机74的发光，由此避免了遮掩区的形成并 且消除了对虚拟掩蔽的需要。
虽然前面的描述涉及使用贴到身体和面部上的物理标志的光学 感测来跟踪动作，但是本领域技术人员应当理解，也可以有利地使 用跟踪动作的替换方法。例如，代替贴标志，可以利用行动者的身 体特征(例如鼻子或眼睛的形状)作为跟踪动作的自然标志。这种
i的任务。另外，可以;吏用除了光之外的替换介质来检测相应的标
志。例如，这些标志可以包括超声或电磁发射器，其被设置在动作 捕捉容积周围的相应的接收器所检测。在这点上，应当理解，上述 摄像机仅仅是光学传感器并且可以有利地利用其他类型的传感器。
现在参考图10,方块图示出了根据本发明的替换实施例的动作 捕捉系统100。动作捕捉系统100已经大大增加了超过上述前面实施 例的数据容量，并且适于捕捉与扩大的动作捕捉容积相关的更大量 的数据。动作捕捉系统100包括三个被充当收集数据的储存库的主 服务器110系在一起的分开的网络。这些网络包括数据网120、艺术 家网(artist network) 130、以及重构再现网140。主服务器110 为动作捕捉系统100提供中央控制和数据存储。数据网120将在行 动期间捕捉到的二维(2D)数据传送到主服务器110。艺术家网130 和重构再现网140随后可以从主服务器110存取这些相同的2D数据 文件。主服务器110可以进一步包括适于存储大容量数据的存储器 112系统。
数据网120提供与动作捕捉摄像机的接口并且提供捕捉的动作 数据的初始数据处理，其然后被提供到主服务器110以存储在存储 器112中。更具体地说，数据网120被耦接到多个动作捕捉摄像机 122!-122n，其被相对于动作捕捉容积设置(在下面被描述)以捕捉 在该动作捕捉容积内进行的一个或多个行动者的组合动作。数据网120也可以直接或通过合适的音频接口 124耦接到多个传声器126! - 126N以捕捉与该行为相关的声音(例如对话)。多个用户工作站 128中的一个可以耦接到数据网120以提供对数据网的功能的操作、 控制和监控。在本发明的实施例中，数据网120可以由例如可从Vicon Motion Systems或Motion Analysis Corp得到的多个动作捕捉数据 处理工作站连同用来将捕捉的数据整理成2D文件的多个从处理工作 站一起来提供。
艺术家网130利用合适的工作站132「 132N为多个数据检验者和 动画绘制者提供高速基础结构。数据检验者从主服务器110得到2D 数据文件以验证该数据的可接受性。例如，数据检验者可以再检查 该数据以验证该行为的关键方面被捕捉了 。如果该行为的重要方面 没有被捕捉，例如如果该数据的一部分被遮掩，则可以根据需要重 复该行为直到所捕捉的数据被视为可接受的为止。为了便于与行动 者和/或场景指导者联系，数据检验者和相关的工作站132「 132n可 以被设置成物理地接近动作捕捉容积。
重构再现网140提供高速数据处理计算机，其适于执行2D数据 文件的自动重构并且将2D数据文件再现为被主服务器110存储的三 维(3D)动画文件。多个用户工作站142「 142N中的一个可以耦接到 重构再现网140以提供对数据网的功能的操作、控制和监控。访问 艺术家网130的动画绘制者也将在最后的计算机图形动画的制作过 程中得到所述3D动画文件。
图11示出示例性的动作捕捉容积150的顶视图。如同在前述的 实施例中，动作捕捉容积150通常是被网格线细分的矩形区域。在 该实施例中，动作捕捉容积150旨在表示明显更大的空间，并且能 被进一步细分为四个部分或象限(A、 B、 C、 D)。每个部分具有与 上述的动作捕捉容积30的尺寸大致相等的尺寸，因此该动作捕捉容 积150具有的表面面积是前面实施例的表面面积的四倍。额外的部 分E中心在该空间内并且与其他部分的每一个部分重叠。这些网格 线进一步包括沿垂直轴的数字坐标(1-5)和沿水平轴的字母坐标 (A-E)。这样，在动作捕捉容积上的特定位置可以由其字母坐标 来限定，例如区域4A。这种指定允许依照关于在哪里进行他们的行 为和/或在哪里放置道具给行动者提供方向来管理动作捕捉容积150。为方便行动者和/或场景指导者，可以将网格线和字母坐标物 理地标记在动作捕捉容积150的底面上。应当理解，这些网格线和 字母坐标将不被包含在2D数据文件中。
在本发明的优选实施例中，部分A-E中的每一个具有尺寸为10 英尺xlO英尺的正方形，其总面积为400方英尺，即比前面实施例的 动作捕捉容积大大约四倍。应当理解，也可以有利地使用其他形状 和尺寸的动作捕捉容积150。
现在参考图12A-12C，相对于动作捕捉容积150周围的外围区 域示出动作捕捉摄像机122, 122^的示例性设置。该外围区域提供脚 手架放置以支撑摄像机、照明设备、以及其他设备，并且被示为区 域152!- 152"动作捕捉摄像机122t - 122N通常以多种摄像机高度和 角度均匀地设置在围绕动作捕捉容积150的区域152, 1524中的每 一个中。此外，动作捕捉摄像机122, 122N均被定向成聚焦在动作捕 捉容积150的各个所述部分上，而不是聚焦在整个动作捕捉容积上。 在本发明的示例性实施例中，总共有两百个动作捕捉摄像机，并且 40个单独摄像机的组专用于动作捕捉容积150的5个部分A - E中的
每一个。
更具体地说，可以由距离动作捕捉容积的距离和离动作捕捉容积 150的底面的高度来限定动作捕捉摄像机122, 122w的设置。图12A 示出第一组动作捕捉摄像机122!- 1228。的设置，其被定向成距离动 作捕捉容积150最远并且处在通常最低的高度。参考示例性区域152! (其他区域基本上与其相同)，存在3行摄像机，第一行172在距 离底面最高的高度处(例如6英尺)相对于动作捕捉容积150呈放 射状向外设置，第二行174在稍稍较低的高度处(例如4英尺)， 以及第三高度176相对于第一和第二行呈放射状向内设置并且处于 最低的高度处(例如1英尺)。在示例性实施例中，在该第一组中 总共有80个动作捕捉摄像机。
图12B示出第二组动作捕捉摄像机122"- 122n。的设置，其被定 向成比第一组更靠近动作捕捉容积150并且处于比第一组的高度更 高的高度。参考示例性区域152!(其他区域基本上与其相同)，存 在3行摄像机，第一行182在距离底面最高的高度处(例如14英尺) 相对于动作捕捉容积呈放射状向外设置，第二行184在稍稍较低的
高度处(例如ll英尺)，以及第三行186相对于第一和第二行呈放 射状向内设置并且处于最低的高度处(例如9英尺)。在示例性实 施例中，在该第二组中总共有80个动作捕捉摄像机。
图12C示出笫三组动作捕捉摄像机122161 - 1222。。的设置，其被 定向成比第二组更靠近动作捕捉容积150并且处于比第二组的高度 更高的高度。参考示例性区域152i (其他区域基本上与其相同)， 存在3行摄像机，第一行192在距离底面最高的高度处(例如21英 尺)相对于动作捕捉容积呈放射状向外设置，第二行194在稍稍较 低的高度处(例如18英尺)，以及第三高度196在更低的高度处(例 如17英尺)相对于第一和第二行呈放射状向内设置。在示例性实施 例中，在该第二组中总共有40个动作捕捉摄像机。应当理解，还可 以有利地利用其他设置的动作捕捉摄像机和不同数目的动作捕捉摄 像机。
动作捕捉摄像机以类似于以上参考图4描述的方式聚焦在动作 捕捉容积150的相应部分上。对于动作捕捉容积150的部分A-E中 的每一个而言，四侧中的每一侧的动作捕捉摄像机将聚焦于该部分 上。借助实例，离动作捕捉容积最远的第一组的摄像机可以聚焦在 离其最近的动作捕捉容积的部分上。相反，离动作捕捉容积最近的 第三组的摄像机可以聚焦在离其最远的动作捕捉容积的部分上。所 述侧之一的一端的摄像机可以聚焦在另一端的部分上。在更具体的 实例中，动作捕捉容积150的部分A可以被某些来自外围区域152i 的第一行182和第三行186的低高度的摄像机、来自外围区域1524 的第一行182和第三行186的低高度的摄像机、来自外围区域1523 的第二行184和第三行186的中间高度的摄像机、来自外围区域1522 的第二行184和第三行186的中间高度的摄像机的组合所覆盖。图 12A和12B进一步揭示了在用来捕捉中心部分E内的动作的外围区域 的中心中的更大浓度的动作摄像机。
通过提供多种角度和高度，利用聚焦在动作捕捉容积150的所述 部分上的多个摄像机，更有可能捕捉整个行为同时使不期望的遮掩 事件减至最少。考虑到在该设置中使用的很多个摄像机，有利的是， 在每一个摄像机的周围放置光屏蔽以限制来自位于动作捕捉容积对
面的另 一 摄像机的外部光的探测。在本发明的该示例性实施例中，
相同的摄像机被用来同时捕捉面部和身体动作，因此不需要分开的 身体和面部动作摄像机。为了区别面部和身体动作，可以在行动者 上使用不同尺寸的标志，并且为了确保产生较大的动作捕捉容积的
数据捕捉，通常全部都使用较大的标志。例如，可以对身体使用9 毫米的标志并且对面部使用6毫米的标志。
已经这样描述了用来捕捉身体和面部动作的系统和方法的优选 实施例，对本领域技术人员来说显而易见的是，本发明的特定优点 已经实现了。还应当理解，在本发明的范围和精神内，可以进行多 种修改、改编及其替换实施例。本发明由以下权利要求进一步限定。
权利要求
1. 一种用来捕捉动作的系统，包括:适合包含至少一个行动者的动作捕捉容积，该至少一个行动者具有限定多个身体点的身体标志和限定多个面部点的面部标志；围绕所述动作捕捉容积的所述外围设置的多个动作摄像机，所述动作摄像机这样设置使得当在所述动作捕捉容积内运动时所述至少一个行动者的所有横向暴露的表面基本上一直在所述多个面部动作摄像机中的至少一个的视场内；以及动作捕捉数据处理系统，其耦接到所述多个动作摄像机以产生反映所述至少一个行动者的身体和面部动作的数字表示。
2. 如权利要求l的用来捕捉动作的系统，其中所述动作捕捉容 积进一步包括被细分为多个部分的矩形区。
3. 如权利要求l的用来捕捉动作的系统，其中所述多个动作摄 像机包括第一组摄像机，该第一组摄像机被定向成在第一高度处距 离所述动作捕捉容积最远。
4. 如权利要求3的用来捕捉动作的系统，其中所述多个动作摄像机包括第二组摄像机，该第二组摄像机被定向成比所述第 一组摄 像机距离所述动作捕捉容积更近并且处于比所述第一高度高的第二高度。
5. 如权利要求4的用来捕捉动作的系统，其中所述多个动作摄 像机包括第三组摄像机，该第三组摄像机被定向成比所述第二组摄 像机距离所述动作捕捉容积更近并且处于比所述第二高度高的第三 高度。
6. 如权利要求2的用来捕捉动作的系统，其中所迷多个部分的 每一个包括大约10英尺xl0英尺的面积。
7. 如权利要求2的用来捕捉动作的系统，其中所述动作摄像机 中的至少四十个聚焦在所述多个部分的每一个上。
8. 如权利要求1的用来捕捉动作的系统，其中所述动作捕捉容 积进一步包括大约400方英尺的面积。
9. 如权利要求1的用来捕捉动作的系统，其中所述动作捕捉数 据处理系统进一步包括数据网，该数据网耦接到所述多个动作摄像 机并且适于根据从所述多个动作摄像机接收的信号产生二维(2D)数据文件。
10. 如权利要求9的用来捕捉动作的系统，其中所述动作捕捉数 据处理系统进一步包括主服务器，该主服务器耦接到所述数据网并 且适于存储所述2D数据文件。
11. 如权利要求10的用来捕捉动作的系统，其中所述动作捕捉 数据处理系统进一步包括耦接到所述主服务器的重构再现网，该重 构再现网用来执行所述2D数据文件的自动重构并且产生随后被所述 主服务器存储的三维(3D)动画文件。
12. 如权利要求10的用来捕捉动作的系统，其中所述动作捕捉 数据处理系统进一步包括耦接到所述主服务器的艺术家网，该艺术 家网用来检查所述2D数据文件以验证精确的数据捕捉。
13. —种用来捕捉动作的方法，包括限定动作捕捉容积，该动作捕捉容积适合包含至少一个行动者， 该至少一个行动者具有限定多个身体点的身体标志和限定多个面部 点的面部标志；围绕所述动作捕捉容积的外围设置多个动作摄像机，所述动作摄 像机均这样设置使得当在所述动作捕捉容积内运动时所述至少一个行动者的所有横向暴露的表面基本上一直在所述多个动作摄像机中 的至少一个的所述视场内；以及处理来自所述多个动作摄像机的数据以产生反映所述至少一个行动者的组合的身体和面部动作的数字表示。
14. 如权利要求13的方法，其中所述限定步骤进一步包括将所 述动作捕捉容积限定为被细分成多个部分的矩形区。
15. 如权利要求14的方法，其中所述设置步骤包括将所述多个 动作摄像机的第一组定向在第一高度处距离所述动作捕捉容积最远 的所述动作捕捉容积的外围区域中。
16. 如权利要求15的方法，其中所述设置步骤包括将所述多个 动作摄像机的第二组定向在比所述第一组摄像机离所述动作捕捉容 积更近的所述外围区域中并且处于比所述第一高度更高的第二高 度。
17. 如权利要求16的方法，其中所述设置步骤包括将所述多个 动作摄像机的第三组定向在比所述第二组摄像机离所述动作捕捉容积更近的所述外围区域中并且处于比所述第二高度更高的第三高 度。
18. 如权利要求13的方法，其中所述处理步骤进一步包括根据 从所述多个动作摄像机接收的信号产生二维(2D)数据文件。
19. 如权利要求18的方法，其中所述处理步骤进一步包括在中 央数据存储装置中存储所述2D数据文件。
20. 如权利要求18的方法，其中所述处理步骤进一步包括执行 所述2D数据文件的自动重构并且由其产生三维(3D)动画文件。
21. 如权利要求18的方法，其中所述处理步骤进一步包括验证 所述2D数据文件的精确性。
22. 如权利要求13的方法，进一步包括从所述动作捕捉容积内 记录声音。
全文摘要
一种用来捕捉动作的系统和方法包括适合包含至少一个行动者的动作捕捉容积，该至少一个行动者具有限定多个身体点的身体标志和限定多个面部点的面部标志。多个动作摄像机围绕该动作捕捉容积的外围设置。这些动作摄像机这样设置使得当在动作捕捉容积内运动时行动者的所有横向暴露的表面基本上一直在该多个动作摄像机中的至少一个的视场内。动作捕捉处理器耦接到该多个动作摄像机以产生反映行动者的组合的身体和面部动作的数字模型。至少一个传声器可以被定向成从该动作捕捉容积拾取声音。
文档编号G06T15/70GK101379530SQ200580047644
公开日2009年3月4日 申请日期2005年11月30日 优先权日2004年12月3日
发明者D·戈登 申请人:索尼株式会社;索尼电影娱乐公司