专利名称：Methods and apparatus for designing animatronics units from articulated ...的制作方法
用于根据铰接的计算机生成角色来设计电子动画单元的方
法和装置
背景技术：
本发明涉及动画。更具体地，本发明涉及用于基于铰接的计算机生成角色来设计 电子动画单元的方法和装置。多年来，电影制作者常常试图讲述涉及想象的生物、遥远的地方以及奇异的事物 的故事。为此，他们常常依赖于动画技术来赋予想象以“生命”。传统上，动画中的两个主要 途径包括基于绘画的动画技术以及定格动画技术。基于绘画的动画技术在二十世纪由诸如Walt Disney等电影制作者进行了细化， 并且在诸如“Snow White and the Seven Dwarfs” (1937)和“Fantasia” (1940)等影片中 得到使用。该动画技术通常需要艺术家将动画的图像手绘(或描画)到透明的介质或赛璐 珞(eel)上。在描画之后，继而会将每个赛璐珞捕获或录制到胶片上，以作为影片中的一个 或多个帧。基于定格的动画技术通常需要构造微缩布景、道具和角色。电影制作者将构造布 景，添加道具，并且放置处于某种姿态的微缩角色。在动画师对布置的一切感到满意后，会 拍摄该特定布置的一帧或者多帧胶片。定格动画技术由诸如Willis O'Brien等电影制作 商开发，用于诸如“King Kong"(1933)等影片。随后，这些技术由诸如Ray Harryhausen等 动画师细化，用于包括“Mighty Joe Young"(1948)和 Clash Of The Titans (1981)在内的 影片。随着计算机在二十世纪后半叶的广泛普及，动画师开始依赖于计算机来辅助动画 过程。这包括使用计算机来促进基于绘画的动画，例如通过描画图像、生成中间图像(“补 间动画”)等。这还包括使用计算机来增强定格动画技术。例如，物理模型能由计算机存储 器中的虚拟模型来表示以及操纵。计算机生成影像(CGI)界的先驱公司之一是Pixar。Pixar较为广泛地被称为 Pixar Animation Studios，它是诸如“Toy Story" (1995)和“Toy Story 2”(1999)、 "A Bugs Life" (1998) , "Monsters, Inc. " (2001) , "Finding Nemo，， (2003) 、“The Incredibles”(2004) ,"Cars"(2006)、“Ratatouille”(2007)等动画片的创作者。除了创作 动画片之外，Pixar开发了专门针对CGI而设计的计算平台，以及现在被称为RenderMan 的CGI软件。RenderMan 软件包括“渲染引擎”，其将动画对象或角色的几何和/或数 学描述“渲染”或转换为二维图像。RenderMan 在动画界深受好评，并且获得了两次 AcademyAwards ⑧。本发明的发明人现在期望将其动画角色的范围扩展到二维图像之外，并且扩展到 三维中(例如，物理世界)。为此，发明人提出了用于构造和控制在各种正片中出现的动画 角色的物理版本(例如，电地、机械地、气动地和/或液动地控制的设备)的方法。将物理的、机械的设备用于即时娱乐目的由华特迪士尼公司(The Walt Disney Company)开创，并且现在在业界被称为“电子动画(animatronics) ”。电子动画角色或者 单元之前已经用于公知的主题公园节目(例如，表演、骑乘设施)，诸如the Pirates ofCaribbean、Enchanted Tiki Room、Great Moments with Mr. Lincoln 等等。发明人认识到的一个问题在于因为电子动画单元被用于特定目的，无法购买现 成的硬件，而是常常必须是定制的。发明人认识到的主要挑战是如何制定和构建能够按照 观众所认可的方式来进行移动的电子动画单元。更具体地，问题在于如何构建和控制这 样的电子动画角色，其能够比目前可行的更为忠实地表示角色在正片、影片、短剧等中的动 画。确信的是，来自计算机生成(CG)角色的动画数据从未被用于帮助指定电子动画 角色的构造。此外还确信，来自CG角色的动画数据从未被用于控制这种电子动画角色。有鉴于此，所期望的是用于解决上述挑战的方法和装置。
发明内容
本发明涉及电子动画。更具体地，本发明涉及用于根据运动数据来设计电子动画 角色或单元的方法和装置，其中运动数据诸如由计算机生成角色的动画数据指定的运动、 使用运动捕获技术指定的运动、动画数据所指定的面部特征的运动、运动捕获等等。按照本发明的一个方面，公开了一种用于指定电子动画单元的设计的方法。一种 技术包括接收运动数据，该运动数据包括艺术上确定的运动；以及响应于该运动数据，确 定针对该电子动画单元的至少部分的构造的设计。过程可以包括输出该设计以用于该电 子动画单元的构造。按照本发明的另一方面，公开了按照在此描述的各种方法形成的电子动画单元。按照本发明的另一方面，描述了一种计算机系统。一种装置，包括存储器，配置用 于存储运动数据，该运动数据包括艺术上确定的运动。一种设备，包括耦合至该存储器的处 理器，其中该处理器配置用于响应于该运动数据来确定针对该电子动画单元的至少部分的 构造的设计，并且其中，该处理器配置用于输出该设计以用于该电子动画单元的构造。按照本发明的另一方面，一种驻留于有形介质上的计算机程序产品，包括能在计 算机系统上执行的可执行代码，其中该计算机系统包括处理器和存储器。该计算机程序产 品可以包括配置用于指引处理器从存储器获取运动数据的代码，该运动数据包括艺术上 确定的运动；以及配置用于指引处理器响应于该运动数据而确定电子动画单元的至少部分 的构造的设计的代码。该计算机程序产品还可以包括配置用于指示处理器输出该设计以用 于该电子动画单元的构造的代码。代码可以驻留在诸如光介质(DVD、HD DVD、蓝光DVD、全 息介质等)、磁介质(硬盘驱动器、软盘驱动器等)、半导体介质(闪存、RAM、ROM等)之类 的计算机可读有形介质上。按照本发明的又一方面，描述一种用于指定电子动画单元的设计的方法。各种操 作包括接收针对该电子动画单元的至少部分的构造的设计，以及响应于针对该电子动画 的至少部分的构造的设计来构造该电子动画单元的该至少部分。在各实施方式中，响应于 包括艺术上确定的运动的运动数据，来确定针对该电子动画单元的该至少部分的构造的设 计。在各实施方式中，运动数据可以从动画师指定的运动数据导出，例如针对面部动 画、角色动画、对象动画等。而且，运动数据可以从物理表现数据导出，例如面部带有标记的 演员的面部表现数据，身体上带有标记的演员的身体表现数据等。在各实施方式中，运动数
7据可以被指定为动画对象、演员等关于时间的一个或多个姿态。与传统的工业机器人不同，电子动画单元的运动基于艺术上确定的表现数据(例 如，动画数据、物理演员移动)。与此不同，工业机器人的运动是“工业的”，并非针对艺术表 现而表示或确定。在各实施方式中，动画师是在人类运动和表情领域中从事研究的艺术家。 这些动画师继而可以运用其艺术技艺和判断，在称为“关键帧”的各个时间点设置CG角色 的姿态(动画数据)，以传递感情或表情。使用计算机，可以针对这些“关键帧”之间的时间 点对CG角色的姿态进行插值。由此，CG角色在各个时间点的姿态得以确定，从而得到了在 动画片等中看到的CG角色“动画”。在本发明的各实施方式中，能够基于这种艺术上驱动的 动画数据来设计和控制电子动画单元。在其他实施方式中，输入数据可以从演员在进行动 作或作手势时的物理表现导出。这些物理表现是运动捕获的，并且能够按照与上文定义“关 键帧”等的动画数据相类似的方式加以使用。按照上文，应当理解，涉及动画对象或角色的术语“动画数据”仅仅是“运动数据” 的一个示例。由此，在适当的情况下，本说明书中提及的用于动画对象或角色的“动画数据” 或者也能够涉及其他类型的“运动数据”，诸如演员的物理表现数据(例如，动作捕获数据)寸。
为了更为全面地理解本发明，结合附图进行描述。应理解，附图不应被认为是对发 明范围的限制，通过使用附图，更详细地描述目前描述的实施方式以及目前理解的本发明 的最佳模式。图1是按照本发明各实施方式的典型计算机系统的框图；图2A-图2B示出了按照本发明各实施方式的过程的框图；图3示出了按照本发明各实施方式的附加过程的框图；图4A-图4B示出了按照本发明各实施方式的示例；图5A-图5C示出了按照本发明各实施方式的物理控制结构的示例；以及图6示出了附加实施方式的高层说明的框图。
具体实施例方式图1是按照本发明一个实施方式的典型计算机系统100的框图。在本实施方式中，计算机系统100通常包括显示器/监视器110、计算机120、键盘 130、用户输入设备140、计算机接口 150等。在本实施方式中，用户输入设备140通常体现为计算机鼠标、轨迹球、轨迹板、操 纵杆、无线遥控、画板、话音命令系统、眼跟踪系统等。用户输入设备140通常允许用户通过 诸如点击按钮等命令，来选择监视器110上出现的对象、图标、文本等。在某些实施方式中， 监视器110可以是交互式触摸屏，诸如Wacom制造的Cintiq等。图形卡185通常驱动显示 器 110。计算机接口 150的实施方式通常包括以太网卡、调制解调器(电话、卫星、电缆、 ISDN)、(异步)数字用户线路(DSL)单元、火线接口、USB接口等。例如，计算机接口 150可 以耦合至计算机网络、火线总线等。在其他实施方式中，计算机接口 150可以物理上集成在
8计算机120的主板上，可以是诸如软DSL等软件程序。在各实施方式中，计算机120通常包括熟悉的计算机部件，诸如处理器160、诸如 随机访问存储器(RAM) 170、盘驱动器180等存储器存储设备以及将上述部件互连的系统总 线 190。在一个实施方式中，计算机120包括来自Intel的一个或多个Xeon微处理器。此 外，在本实施方式中，计算机120通常包括基于UNIX的操作系统。RAM 170和盘驱动器180是配置用于存储诸如以下项数据的有形介质的示例动 画数据、动画定时表单、动画环境、电子动画单元设计构造、数学算法的实现、电子动画单元 的仿真、图像文件、包括对象几何描述的软件模型、对象的有序几何描述、模型的过程化描 述、场景描述符文件、渲染引擎、包括可执行计算机代码、人类可读代码的本发明的实施方 式等。其他类型的计算机可读有形介质包括磁存储介质，诸如软盘、联网硬盘或可拆卸硬 盘；光存储介质，诸如CD-ROM、DVD、全息存储器和条码；半导体存储器，诸如闪存、只读存储 器(ROMS)；电池支持的易失性存储器；联网存储设备，等等。在本实施方式中，计算机系统100还可以包括实现通过诸如HTTP、TCP/IP、RTP/ RTSP协议等网络进行通信的软件。在本发明的备选实施方式中，也可以使用其他通信软件 和传输协议，例如IPX、UDP等。图1是有能力具体化本发明各个方面的计算机系统的代表。对于本领域技术人员 而言易见的是，多种其他硬件和软件配置适于与本发明结合使用。例如，计算机可以是台式 的、便携式的、机架安装的或者板式的配置。另外，计算机可以是一系列联网计算机。此外， 可以想到对其他微处理器的使用，诸如Xeon 、Pentium 或Core 微处理器；来自Advanced Micro Devices, Inc 的 Turion 64、Opteron 或者 Athlon 微处理器；等等。此外，可以 想到其他类型的操作系统，诸如来自Microsoft Corporation的Windows 、WindowsXP 、 WindowsNT 等，来自 Sun Microsystems 的 Solaris，LINUX、UNIX 等。在又一些实施方式 中，上述技术可以在芯片或者辅助处理板上实现。图2A-图2B示出了按照本发明各实施方式的过程的框图。更具体地，图2A-图2B 提供了确定如何构造对象的物理模型的各实施方式的高层说明。最初，在步骤200，向计算机100提供相关的艺术上确定的运动数据(有时与对象 的软件模型相关联)。在本发明的某些实施方式中，动画数据可以是用于为电影、正片、短剧 等的对象的软件模型产生动画的相同动画数据。在各实施方式中，动画数据可以表示对于 对象的物理模型的所期望的移动的指定范围(例如，“训练集”、“模型运动”(即，对象的特 征运动)等)。作为示例，在电影中，动画角色可以眨动两只眼睛，然而，可能期望动画角色 的物理模型能够仅眨动她的左眼。由此，在此步骤中提供的动画数据(例如，“训练集”、“模 型运动”)可以只包括仅眨动左眼的动画角色。在本发明的各实施方式中，动画数据通常针对特定的时间量而指定。例如，动画数 据可以与正片(例如，电影、短剧等)中的特定场景、特定系列的场景、特定的时间间隔等相 关联。在各实施方式中，时间量可以由用户自由确定。在其他实施方式中，时间量可由其他 用户来指定。一旦已经指定了时间段，则可以容易地确定动画数据的范围。在各实施方式中，可以按照一秒约二十四(24)帧的速率(典型的电影帧率)、一 秒约二十五(25)或约三十(30)帧的速率(典型的电视帧率)、一秒约六十(60)帧的速率
9(HD帧率)等来指定动画数据。在此类实施方式中，可以按照此类数据率来指定动画数据值。在各实施方式中，动画数据可以采用多种不同形式。在某些实施方式中，动画数 据包括动画对象的位置的三维坐标。作为示例，要产生动画的动画对象可以是面部。在这 种示例中，动画数据可以表示面部上的表面位置关于时间在静态坐标系中的三维坐标(例 如，(χ,γ,ζ)坐标)。在其他实施方式中，三维坐标是可以是关于时间的、相对于面部的“静 止”或默认姿态的偏移。例如，对于鼻尖上的点，(χ,γ,ζ)值可以是(-0. 1,0.2,-0. 1)，表示 鼻尖从基本姿态沿χ方向移动-0. 1，例如，向左；沿y方向移动0.2，例如，向上；以及沿ζ方 向移动-0. 1，例如，变平。在各实施方式中，位置可以是动画对象的表面上的位置、可以是动 画对象内部的位置、此类位置的结合，等等。在数学上，在某些实施方式中，动画数据可以如下表示
权利要求
一种用于确定电子动画单元的行为的方法，包括接收动画数据，所述动画数据包括动画角色的至少部分的艺术上确定的运动；响应于所述动画数据，确定将要应用于所述电子动画单元的所述部分的多个控制信号；通过利用所述多个控制信号来驱动所述电子动画单元的所述至少部分的软件仿真，估计所述电子动画单元的所述至少部分响应于所述多个控制信号的行为；以及向用户输出所述电子动画单元的所述至少部分的所述行为的表示。
2.如权利要求1所述的方法，其中所述动画数据描述所述电子动画单元的所述至少部分的指定姿态或者指定运动；其中所述行为包括所述电子动画单元的所述至少部分的预测姿态或者预测运动；以及 其中所述方法进一步包括响应于所述指定姿态或所述指定运动以及所述预测姿态 或所述预测运动，修改所述电子动画单元的所述至少部分的所述软件仿真或者所述动画数据。
3.如权利要求1-2任一项所述的方法，其中所述动画数据描述所述电子动画单元的所述至少部分的指定运动；以及 其中确定所述多个控制信号包括响应于所述指定运动，确定所述电子动画单元的所述至少部分的增强空间_时间指定 运动；以及响应于所述增强空间_时间指定运动，确定将要应用于所述电子动画单元的所述至少 部分的所述多个控制信号。
4.一种用于确定电子动画单元的行为的计算机系统，包括存储器，配置用于存储动画数据，所述动画数据包括动画角色的至少部分的艺术上确 定的动作；耦合至所述存储器的处理器，其中所述处理器配置用于响应于所述动画数据，确定将 要应用于所述电子动画单元的所述部分的多个控制信号；其中所述处理器配置用于通过 利用所述多个控制信号来驱动所述电子动画单元的所述至少部分的软件仿真，估计所述电 子动画单元的所述至少部分响应于所述多个控制信号的行为；以及其中所述处理器配置用 于向用户输出所述电子动画单元的所述至少部分的所述行为的表示。
5.如权利要求4所述的计算机系统，其中所述动画数据描述所述电子动画单元的所述至少部分的指定姿态或者指定运动；其中所述行为包括所述电子动画单元的所述至少部分的预测姿态或者预测运动；以及 其中所述处理器配置用于响应于所述指定姿态或所述指定运动以及所述预测姿态 或所述预测运动，修改所述电子动画单元的所述至少部分的所述软件仿真或者所述动画数 据。
6.如权利要求4-5任一项所述的计算机系统，其中所述动画数据描述所述电子动画单元的所述至少部分的指定运动；以及 其中所述处理器配置用于响应于所述指定运动，确定所述电子动画单元的所述至少部分的增强空间_时间指定运动；以及其中所述处理器配置用于响应于所述增强空间_时间指定运动，确定将要应用于所 述电子动画单元的所述至少部分的所述多个控制信号。
7.—种驻留于有形介质上的计算机程序产品，包括能在计算机系统上执行的可执行代 码，其中所述计算机系统包括处理器和存储器，所述计算机程序产品包括配置用于指引所述处理器接收动画数据的代码，所述动画数据包括动画角色的至少部 分的艺术上确定的运动；配置用于指引所述处理器响应于所述动画数据而确定将要应用于所述电子动画单元 的所述部分的多个控制信号的代码；配置用于指引所述处理器通过利用所述多个控制信号来驱动所述电子动画单元的所 述至少部分的软件仿真而估计所述电子动画单元的所述至少部分响应于所述多个控制信 号的行为的代码；以及配置用于指引所述处理器向用户输出所述电子动画单元的所述至少部分的所述行为 的表示的代码。
8.如权利要求7所述的计算机程序产品，其中所述动画数据描述所述电子动画单元的所述至少部分的指定姿态或者指定运动；其中所述行为包括所述电子动画单元的所述至少部分的预测姿态或者预测运动；以及 其中所述计算机程序产品进一步包括配置用于指引所述处理器响应于所述指定姿态 或所述指定运动以及所述预测姿态或所述预测运动而修改所述电子动画单元的所述至少 部分的所述软件仿真或者所述动画数据的代码。
9.如权利要求7-8任一项所述的计算机程序产品，其中所述动画数据描述所述电子动画单元的所述至少部分的指定运动；以及 其中所述计算机程序产品进一步包括配置用于指引所述处理器响应于所述指定运动而确定所述电子动画单元的所述至少 部分的增强空间_时间指定运动的代码；以及配置用于指引所述处理器响应于所述增强空间_时间指定运动而确定将要应用于所 述电子动画单元的所述至少部分的所述多个控制信号的代码。
10.一种用于指定电子动画单元的设计的方法，包括 接收运动数据，所述运动数据包括艺术上确定的运动；响应于所述运动数据，确定针对所述电子动画单元的至少部分的构造的设计；以及 输出针对所述电子动画单元的构造的所述设计。
11.如权利要求10所述的方法，其中确定所述设计包括 响应于所述运动数据，确定多个全局特征姿态；响应于所述多个全局特征姿态，确定多个局部特征姿态；以及响应于所述多个局部特征姿态，确定针对所述电子动画单元的构造的所述设计。
12.如权利要求10-11任一项所述的方法，进一步包括响应于所述运动数据，预测所述电子动画单元的所述部分的运动； 利用响应于所述运动数据而确定的驱动信号来驱动所述电子动画单元的所述部分，以确定所述电子动画单元的所述部分的运动；确定所述电子动画单元的所述部分响应于所述驱动信号的所述运动与所述电子动画 单元的所述部分响应于所述运动数据的所述预测的运动之间的差异；以及响应于所述差异，确定针对所述电子动画单元的所述部分的控制映射。
13.如权利要求10-11任一项所述的方法，其中确定针对所述电子动画单元的所述部 分的构造的所述设计还响应于机械约束。
14.一种计算机系统，包括存储器，配置用于存储运动数据，所述运动数据包括艺术上确定的运动；耦合至所述存储器的处理器，其中所述处理器配置用于响应于所述运动数据来确定针 对所述电子动画单元的至少部分的构造的设计；并且其中所述处理器配置用于输出针对所 述电子动画单元的构造的所述设计。
15.如权利要求14所述的计算机系统，其中所述处理器配置用于预测所述电子动画单元的所述部分响应于所述运动数据的 位置；其中所述处理器配置用于利用响应于所述运动数据而确定的驱动信号来驱动所述电 子动画单元的所述部分，以确定所述电子动画单元的所述部分的位置；其中所述处理器配置用于确定所述电子动画单元的所述部分响应于所述驱动信号的 位置与所述电子动画单元的所述部分响应于所述运动数据的所述预测的位置之间的差异； 以及其中所述处理器配置用于响应于所述差异，确定针对所述电子动画单元的控制映射。
16.如权利要求14-15任一项所述的计算机系统，其中所述运动数据选自由以下组成 的组与动画角色相关联的动画数据；物理表现运动捕获数据；与动画面部相关联的动画 数据；面部表现运动捕获数据。
17.如权利要求14-16任一项所述的计算机系统，其中所述处理器配置用于确定针对所述电子动画单元的响应于所述控制映射的软件 仿真模型。
18.—种驻留于有形介质上的计算机程序产品，包括能在计算机系统上执行的可执行 代码，其中所述计算机系统包括处理器和存储器，所述计算机程序产品包括配置用于指引所述处理器从所述存储器获取运动数据的代码，所述运动数据包括艺术 上确定的运动；配置用于指引所述处理器响应于所述运动数据而确定针对所述电子动画单元的至少 部分的构造的设计的代码；以及配置用于指引所述处理器输出针对所述电子动画单元的构造的所述设计的代码。
19.如权利要求18所述的计算机程序产品，进一步包括配置用于指引所述处理器响应于所述运动数据来确定多个全局特征姿态的代码；配置用于指引所述处理器响应于所述多个全局特征姿态来确定多个局部特征姿态的 代码；以及配置用于指引所述处理器响应于所述多个局部特征姿态来确定针对所述电子动画单 元的构造的所述设计的代码。
20.如权利要求18-19任一项所述的计算机程序产品，其中所述艺术上确定的运动包 括关于时间的多个姿态。
21.一种用于构造电子动画单元的方法，包括 接收针对所述电子动画单元的部分的构造的设计；以及响应于针对所述电子动画单元的所述部分的构造的所述设计，构造所述电子动画单元 的所述部分；其中，针对所述电子动画单元的所述部分的构造的所述设计响应于运动数据而确定， 所述运动数据包括艺术上确定的运动。
22.如权利要求21所述的方法，其中针对所述电子动画单元的所述部分的构造的所述 设计包括与具有局部特征姿态的所述电子动画单元的所述部分相关联的区域的说明。
23.如权利要求21-22任一项所述的方法，其中构造所述电子动画单元的所述部分包 括将控制结构耦合至与所述电子动画单元上的所述部分相关联的区域；其中所述控制结构选自由以下组成的组液压驱动、气动驱动、电机。
24.按照权利要求20-23任一项所述的方法构造的电子动画单元。
全文摘要
文档编号G09G5/00GK101952879SQ20088012676
公开日2011年1月19日 申请日期2008年12月16日 优先权日2007年12月17日
发明者Anderson John, Cook Rob 申请人:Pixar