专利名称：脸部表情的实时动画的制作方法
脸部表情的实时动画背景技术
视频游戏控制台通常允许视频游戏的玩家通过这样的控制台参与在显示屏上显示的交互体验。视频游戏控制台已经从支持低分辨率图形的机器改进为可以以相对高的分辨率在显示器上呈现图形的机器。因而，视频游戏的设计者可以设计要向视频游戏的玩家显示的非常详尽的场景。
一般地，视频游戏玩家可以控制在显示屏上向个体显示的图形对象的动作，其中， 图形对象往往是角色。视频游戏的角色的范围可以是从人或动物的相对真实的表示到人或动物的更卡通式的表示。通常，个体使用包括方向垫和若干按钮的控制器来通过视频游戏控制台控制被显示在显示屏上的角色的移动/动作。
近来，视频游戏控制台已经配备有本地存储，使得个体可以保存涉及视频游戏控制台和/或某些游戏的数据。在具体的示例中，个体可以创建化身，化身是个体或这样的个体的第二自我(alter ego)的表示。通常，化身被显示为三维角色，且用户可以选择涉及化身的各种风格，包括但不限于化身的体形，化身的肤色、化身的脸部特征、化身的发型等等的各种风格。本质上，这些化身通常在某种程度上是卡通式的；然而，化身设计不限于个体的卡通式表示。
当玩特定类型的游戏时，个体可以作为他们的化身玩游戏。尽管化身在某些方面可以类似于个体或个体的第二自我，但化身不像个体那样表达感情。相反，被显示在显示屏上的化身的情绪是取决于在视频游戏内的上下文而预先编程的。因而，如果在视频游戏中发生了涉及化身的不期望的某种事物，则可以预先编程为化身将皱眉。然而，在许多情况下，这些情绪可能不反映实际的游戏玩家的情绪。
概述
以下是本文更详细地描述的本主题的简要概述。本概述不旨在限制权利要求的范围。
在此描述的是各种技术涉及捕捉个体的脸部表情并使得在动画化身上实时地反映这样的脸部表情。根据一个示例，传感器单元其中可以容纳相机(例如，RGB相机)。相机可以被对着个体且可以捕捉该个体的动作。可以使用例如现有的脸部识别应用来分析所得到的视频流。指示视频流中所捕捉的个体的脸部表情的数据可以从这样的视频流提取，且可以被用来驱动三维骨架。因而，指示个体的脸部表情的数据可以被映射到三维骨架的某些部分，以使得当个体的脸部表情改变，这样的脸部表情改变也发生在三维骨架中。在一个示例中，三维骨架此后可以被呈现给显示器，以使得脸部被动画化以便实时反映个体的脸部表情。
此外，可以结合将与所捕捉的用户脸部表情相对应的化身的脸部表情动画化来利用三维骨架。个体可以定制化身，以使得个体想象中的化身充分地表示该个体或该个体的第二自我。因而，这样的个体可以选择发型、头发颜色、眼睛风格、眼睛颜色、嘴巴形状、嘴唇形状和各种其他脸部特征，以使得化身表示个体或其第二自我。在呈现化身以便表示与其对应的个体的脸部特征时，由这样的个体选择的风格可以被应用到(例如，本质上被粘贴到)三维骨架。然后，三维骨架(包括与其对应的网格/皮肤)可以被投影到二维空间，且该风格可以被表示为所期望的二维对象上的特定纹理。当三维骨架随时间改变以便表示用户的脸部表情时，风格可以随三维骨架一起移动。因而，举例来说，如果个体在玩游戏的同时扬起眉毛，则对应于三维骨架的眉毛的部分将扬起，且被应用到三维骨架的风格将也扬起。 对应于风格的二维纹理可以通过利用图形处理单元(GPU)来处理，且可以被放置在卡通式脸上，以便给出如同个体在游戏玩期间表达感情那样表达感情的化身的外观。
在一个示例中，以上所描述的这些特征可以被用于视频游戏环境，其中用户可以通过某种合适的运动控制化身的动作。具体地，传感器单元可以被配置为把个体的动作/ 命令捕捉为视频流、音频数据、深度信息等等，且这样的动作/命令可以控制显示屏上的化身的动作。此外，当个体在玩游戏的同时表现情绪时，这样的情绪可以被捕捉并被表示在游戏中的化身的脸上。因此，在一个示例中，个体可以通过观看化身的情绪来确定她在玩视频游戏时情绪如何。
在另一实施例中，以上所描述的特征可以被用于多玩家设置，其中不同的玩家位于注视不同屏幕的远程位置。即是说，第一个体可以具有与其对应的化身，且这样的化身被用于多玩家游戏。传感器单元可以被配置为输出包括第一个体的脸的图像的视频流。此后， 如上所述，可以分析该视频流以从中提取指示第一个体的脸部表情的数据。这可以发生在第一个体的视频游戏控制台和/或由第二个体使用的另一视频游戏控制台。在第二个体的视频游戏控制台，可以至少部分地基于指示第一个体的脸部表情的数据来驱动三维骨架， 且这些脸部表情可以被显示在由第二个体观察的显示器上的表示第一个体的化身上。因此，第一个体可以通过由第二个体观察的显示器上的化身而具有远程呈现或伪呈现，这是由于第二个体可以看到当他们一起玩游戏或对战时该个体情绪如何。
在阅读并理解附图和描述时，将明白其他方面。
附图简述
图I是便于动画化化身以便实时反映个体的现实生活情绪的示例系统的功能框图。
图2是便于把某些风格应用到化身的示例系统的功能框图。
图3是可以结合把风格应用到化身而使用的示例图形用户界面。
图4是玩游戏的两个体的示例描绘，其中使得由对应于各个个体的化身实时表示该个体的情绪。
图5是在分离的位置玩游戏的两个个体的示例描述，其中，这样的个体的情绪在动画化的化身中表示。
图6是阐释用于使得在显示屏上用与由该化身表示的个体的脸部表情相对应的脸部表情来动画化该化身的示例方法的流程图。
图7是阐释用于使得在显示屏动画化化身以便反映由该化身表示的个体的脸部表情的示例方法的流程图。
图8是不例计算系统。
详细描述
现在将参考附图描述涉及动画化化身以便实时反映由这样的化身表示的个体的脸部表情/情绪的各种技术，附图中，相同的参考数字始终表示相同的元素。另外，在此出于解释的目的阐释和描述示例系统的若干功能框图；然而，应理解，被描述为由某些系统组件执行的功能可以由多个组件执行。类似地，举例来说，组件可以被配置为执行被描述为由多个组件执行的功能。
参考
图1，阐释了便于动画化化身以便把由化身表示的个体的脸部表情呈现在显示器上的示例系统100。系统100包括计算装置102。根据一个示例，计算装置102可以是通信上耦合到诸如电视显示器等显示屏的视频游戏控制台。在另一示例中，计算装置102 可以是其上包括有显示屏的移动/便携式游戏装置。在又一个示例中，计算装置102可以是诸如便携式电话或多媒体装置等非专用游戏设备的便携式计算设备。此外，计算装置102 可以是常规个人计算机或膝上型计算机。尽管在此描述的系统100的示例涉及视频游戏环境，但应理解，在此描述技术也可以被应用到其中需要远程呈现且其中可以通过利用化身/ 角色表示个体的其他环境。因而，例如，在此描述的技术可以用于这样的环境两个体希望经由伪视频会议环境相互通信，但其中代替传送或显示实际的视频数据，呈现表示视频会议的参与者的化身。本领域中的普通技术人员将容易理解其他实施例。
系统100还包括与计算装置102通信的传感器单元104。例如，传感器单元104可以在其中具有电池，并且可以通过无线连接与计算装置102通信。在另一示例中，传感器单元104可以具有到计算装置102的有线连接，且可以经由计算装置102上电。在再一个示例中，传感器单元104可以被包括在计算装置102中(例如，被包括在包括了计算装置的处理器和存储器的同一机壳中)。传感器单元104可以对准个体106以便捕捉个体106的特定移动/动作。具体地，传感器单元104可以包括图像传感器108，例如可以捕捉个体106 的图像和/或运动的RGB视频相机。传感器单元104也可以包括被配置为捕捉个体106的可听输出的话筒110。另外，尽管未示出，但传感器单元104还可以包括被配置为感知个体 106和/或个体106的特定部位与传感器单元104的距离的深度传感器。深度传感器可以利用红外光和反射来确定从传感器单元104到个体106的不同部位的各个距离。当然，构想了用于执行深度感测的其他技术，且构想了它们落在所附权利要求的范围内。
根据一个示例，传感器单元104可以对准个体106，以使得在这样的个体106正在移动和/或经由脸部表情表达情绪时图像传感器108捕捉涉及个体106的运动数据(例如， 视频或其他合适的数据)。传感器单元104可以被配置为输出旨在由计算机装置102接收的所捕捉的图像。因而，传感器单元104可以被配置为输出运动数据流，其中，运动数据流可以是包括个体106的图像的视频流，且尤其包括个体106的脸的图像。在其他示例中，红外相机可以被配置为捕捉涉及个体的运动数据，且这样的运动数据可以包括指示个体的脸部表情的数据。构想了其他运动捕捉技术，且它们旨在落在所附权利要求的范围内。
计算装置102包括处理器112，处理器112可以是通用处理器、图形处理单元 (GPU)和/或其他合适的处理器。计算装置102还包括存储器114，存储器114包括可由处理器112执行的各种组件。在一个示例中，存储器114可以包括脸部识别组件116，脸部识别组件116接收来自传感器单元104的视频流输出并分析这样的视频流以便提取指示个体 106的脸部特征的数据。具体地，脸部识别组件116可以识别由传感器单元104输出的运动数据流(例如，视频数据流冲人脸的存在，且可以进一步提取指示个体106的脸上的脸部表情的数据。这可以包括下颌线的位置、脸颊的移动、眉毛和可以指示个体106的脸部表情的脸的其他部位的位置和移动。驱动器组件118可以接收指示个体106的脸部表情的数据且可以至少部分地基于指示脸部表情的数据来驱动三维骨架。例如，三维(3D)骨架120可以是本质上类似人类的形式。如图形动画领域中的技术人员所理解的，3D骨架120可以包括用来绘制化身的表面的皮肤和一组分级骨骼。每一骨骼具有包括骨骼的位置、骨骼的尺度和骨骼的定向以及可选地父骨骼的定向的3D变换。因而，骨骼可以形成层次结构，以使得该层次结构中的子节点/骨骼的完整变换是其父节点/骨骼的变换及其自己的变换的产物。图形动画领域中的技术人员将理解和认识到骨架构建(通过利用骨骼动画来图形动画化角色)。尽管存储器 114被示出为包括单个3D骨架，但应理解，存储器114可以包括多个3D骨架，且可以至少部分地基于正由图像传感器108捕捉的个体的经识别的脸的形状来选择适当的3D骨架。
驱动器组件118可以被配置为至少部分地基于指示个体106的脸部表情的数据来驱动3D骨架120。因而，如果指示脸部表情的数据指示个体的下颌线正在向下移动，则驱动器组件118可以使得3D骨架120中的对应的下颌线向下移动。在另一示例中，如果指示个体106的脸部表情的数据示出个体106的眉毛正在向上移动，则驱动器组件118可以驱动 3D骨架120中的对应位置(接近3D骨架的眉毛)向上移动。
呈现组件122可以至少部分地基于由驱动器组件118驱动的3D骨架120把化身 124图示地呈现在显示器126上。更详细地，呈现组件122可以动画化化身124，以使得化身124的脸部表情实时反映个体106的脸部表情。因而，当个体106微笑、皱眉、假笑、看上去滑稽、表不焦虑等等时，这样的表情被表不在显不器126上的化身124上。
显示器126可以是电视显示器，其中，这样的电视显示器与计算装置102通信。在另一示例中，显示器126可以是计算机监视器或者可以是计算装置102中所包括的显示器 (例如，当计算装置102是便携式游戏装置时)。
尽管已经把驱动器组件118描述为仅基于由图像传感器108输出的视频数据来驱动3D骨架120，但应理解，驱动器组件118可以被配置为通过利用其他数据来驱动3D骨架 120。例如，驱动器组件118可以从话筒110接收可听数据，其中，这样的音频数据包括由个体106说出的话。特定声音可以使得个体106的嘴巴成为特定形状，且驱动器组件118可以至少部分地基于与由个体106输出的某些声音输出相关联的形状来驱动3D骨架120。另外，传感器单元104可以包括深度传感器，且驱动器组件118可以至少部分地基于由深度传感器输出的数据来驱动3D骨架120。
在一个示例性的实施例中，系统100可以用于视频游戏的上下文。个体106可以创建表示个体106或其第二自我的化身，且可以开始玩允许用户或个体106作为化身124 玩游戏的视频游戏。当在游戏玩期间个体106的表情改变时，化身124上动画化的表情也以相对应的方式实时改变。因而，在玩游戏期间，个体106可以看到这样的个体106情绪如何。在另一示例中，显示器126可以远离个体106，例如在个体106正在与另一游戏玩家一起玩游戏或对战时。因此，另一游戏玩家可以查看显示化身124在个体106的脸部表情在玩游戏期间改变时表达感情的显示器126。此外，系统100可以用于伪视频会议应用，其中个体106与另一个人通信且由化身124表示。可以向个体106与之通信的个人呈现表达与个体106的情绪相对应的情绪/显示与个体106的脸部表情相对应的脸部表情的化身124。
现在参见图2，阐释了被配置为在表示对应于化身的个体的脸部表情的同时使得在显示器上动画化化身的另一示例计算装置200。计算装置200包括如上所述的处理器112和存储器114。在这一示例中，计算装置200存储器114包括风格库202，风格库202包括可以与化身相关联的多种不同类型的风格。例如，这些风格可以包括脸的形状，包括眉毛、 眼睛、鼻子、嘴巴、耳朵、胡须、头发等等不同的脸部特征。界面组件118可以允许个体通过把来自风格库202的风格应用到一个或多个模板(例如，模板脸形、模板体形、……)以表示这样的个体来创建定制的化身。
根据一个示例，可以向个体提供引导个体创建表示个体或其第二自我的化身的图形用户界面。图形用户界面可以首先给个体呈现不同的身体类型。此后，可以给个体呈现不同的脸形(例如，圆形、卵形、方形、三角形等等)。然后，个体可以选择眼睛的形状、眼睛的颜色、眼睛在化身的脸上的位置、鼻子的形状或鼻子的大小、鼻子在化身的脸上的位置、嘴巴的形状、嘴巴的大小、嘴巴的颜色等等。通过选择多个预定义风格以便应用到化身，个体可以生成他自己或他的第二自我的表示。
计算装置200的存储器114还包括如上所述地工作的脸部识别组件116、驱动器组件118和3D骨架120。存储器114还可以包括可以把个体经由界面组件204选择的至少一个风格应用到3D骨架120上的适当位置的应用器组件206。因此，如果风格是眉毛，则眉毛可以被放置在3D骨架120的网格上的适当位置。类似地，如果风格是嘴巴，则这样的嘴巴可以被放置在3D骨架120的网格上的适当位置。
如上面所指示，3D骨架120可以是类似人类的形式。如果需要呈现组件122呈现非类似人类的角色(例如，卡通式的化身)，则动画化3D骨架120的不类似人类的外观的风格是合乎需要的。这些风格可以被动画化在化身的2D模板头部上。为了动画化特定风格， 该风格可以被放置在3D骨架120上的适当位置，且当个体做出不同的脸部表情时可以捕捉这样的风格的移动。即是说，当个体106扬起他或她的眉毛时，3D骨架120的适当部位也将扬起，使得被放置在3D骨架120的眉毛区域的风格扬起。可以使用处理器112 (它可以是GPU)捕捉被粘贴在3D骨架120上的这些风格，以便表示眉毛向上和向下移动。即是说， 处理器112的每一帧可以被配置为绘制对应于风格的纹理，且这样的纹理可以随每一帧改变，并且被应用到化身的模板脸部。因此，由个体选择的风格现在显得是它正在动画化以便跟上由图像传感器108捕捉的个体106的脸部表情。
为了在空白模板上执行风格的动画化，处理器112可以被配置为生成顶点、把三角形缝合到顶点、用对应于风格的颜色填充三角形并根据3D骨架120的移动来动画化这样的风格。处理器112可以被配置为在每一帧中将风格动画化以便在显示屏上显示平滑的动画。总之，视频数据可以在计算装置200处接收到，并被驱动器组件118映射到3D骨架 120。风格可以被应用到3D骨架120中的适当位置，且具其上应用了风格的所得到的3D模型可以被呈现组件122投影到2D模型。然后，2D模型被用来生成可以被动画化到化身上的纹理(纹理对应于风格)，且这种动画化实时发生。
现在参见图3，示出了可以被提供给个体的、可以用来生成表示这样的个体或其第二自我的化身的示例图形用户界面300。图形用户界面300可以包括第一窗口 302，第一窗口 302包括具有当前由个体选择的风格的化身304。另外，化身304可以显得是空白的(化身304的脸可以显得是空白的)。图形用户界面300还可以包括表示可选择的脸部特征的多个图形项306-310。如所示出的，在这一示例中，脸部特征是可以被应用到化身304的眼睛的形状。通过选择图形项306-310中的一个，相应的眼睛形状将出现在化身304上。然后，个体可以通过选择可选择的图形项312-324中的一个来选择眼睛的颜色。一旦个体已经选择适当的眼睛形状和对应的颜色，则可以把其他风格呈现给个体以供选择。同样，这样的风格可以包括眉毛的形状、眉毛的类型、眉毛的颜色、鼻子的形状、有胡须或没有胡须等等。
现在参见图4，示出了其中可以动画化化身以便示出个体的脸部表情的示例实施例400。在这一示例实施例400中，第一个体402和第二个体404正在通过特定视频游戏控制台406玩视频游戏。视频游戏控制台406耦合到电视机408。传感器单元410通信上耦合到视频游戏控制台406，且包括捕捉第一个体402和第二个体404的图像的图像传感器。
在正由个体402和个体404玩的游戏中，在玩游戏期间显示并利用表示个体402 和404的两个化身412和414。具体地,化身412可以表示第一个体402,且化身414可以表示第二个体404。当个体402和404正在玩游戏时，他们可以通过观看在化身412-414上动画化的脸部表情来确定他们的合作玩家/对手表情如何。这可以通过给玩家提供由传感器单元410实时捕捉的真实情绪来增强游戏。
现在转到图5，示出了涉及视频游戏的另一示例实施例500。在此实施例中，第一个体502和第二个体504正在远程位置处一起玩游戏或对战。分别由个体502和504用来玩游戏的两个视频游戏控制台506和508通过网络连接相互耦合。这允许即使个体502和 504地理上相互离开相当距离，个体502和504也相互一起玩或对战。视频游戏控制台506 和508中的每一个都具有分别与其对应的传感器单元510和512。传感器单元510可以包括当这样的个体502和504正在一起玩游戏或对战时可以生成捕捉第一个体502的脸部表情的视频流的图像传感器，且传感器单元512可以包括当这样的个体502和504正在一起玩游戏或对战时可以生成捕捉第二个体504的脸部表情的视频流的图像传感器。
视频游戏控制台506可以使得在显示器514上向第一个体502显示动画化图形， 同时视频游戏控制台508可以使得把涉及游戏的动画显示在显示器516上。在显示器514 上向第一个体502显不的动画可以是表不第二个体504的动画化化身518。化身518可以被动画化为在第二个体504对游戏做出反应时实时地显示第二个体504的脸部表情。类似地，视频游戏控制台508可以使得把表示第一个体502的化身520显示给第二个体504。这一化身518可以被动画化为在这样的第一个体502在玩游戏期间表达感情时描绘第一个体 502的脸部表情。
存在可以允许其中实时地动画化玩家的脸部表情的这一在线游戏的各种实施例。 在第一实施例中，由传感器单元510输出的视频流可以在第一视频游戏控制台506处理，以使得在第一视频游戏控制台506提取指示第一个体502的脸部表情的数据。此后，指示个体502的脸部表情的这一数据可以经由网络传送给由第二个体504使用的视频游戏控制台 508。在替代的实施例中，由传感器单元510输出的视频流可以经由游戏控制台506直接地传送给对应于第二个体504的游戏控制台508。然后，游戏控制台508可以在视频游戏控制台508处提取指示第一个体502的脸部表情的数据，且视频游戏控制台508可以驱动其上的3D骨架以使得化身518被动画化以便反映第一个体502的脸部表情。在又一实施例中，集中式服务器(未示出)可以执行数据处理，且然后，服务器可以把经处理的数据传送给第二视频游戏控制台508。因而，概括而言，用来允许视频游戏控制台506和508分别动画化化身516和518以便反映个体502和504的脸部表情的处理可以发生在视频游戏控制台 506或视频游戏控制台508处、可以在视频游戏控制台506和508之间拆分、或者可以被卸载到服务器。
另外，尽管在此描述的实施例涉及在化身上动画化用户的脸部表情，但以上所描述的一个或多个特征可以用来动画化化身的其他部位。例如，个体可以通过使得化身具有特定腰带搭扣来定制它们的化身。腰带搭扣可以被应用到人类身体的3D骨架，且对捕捉个体的视频流的分析可以用来驱动3D骨架。风格(腰带搭扣)可以被放置在3D骨架上的适当的位置，且该风格可以被投影到2维场景以便在化身上动画化。
现在参考图6-图7，示出和描述了各种示例方法。尽管各方法被描述为顺序执行的一系列动作，但应理解，各方法是不受顺序的次序限制。举例来说，一些动作可以以与在此描述的次序不同的次序发生。另外，一动作可以与另一动作并发地发生。此外，在一些实例中，实现在此描述方法并非要求所有动作。
此外，在此描述的动作可以是可以由一个或多个处理器实现和/或被存储在计算机可读介质上的计算机可执行指令。计算机可执行指令可以包括例程、子程序、程序、执行的线程等等。此外，各方法的动作的结果可以被存储在计算机可读介质中、被显示在显示设备上等等。计算机可读介质可以是非暂态介质，例如存储器、硬盘驱动器、CD、DVD、闪存驱动 寸寸ο
现在参见图6，示出了便于使得角色(化身)在显示屏被动画化以便实时反映个体的脸部表情的方法600。方法600在602开始，且在604，从包括视频相机的传感器单元接收视频数据流。视频相机对准个体，且因而视频流在若干帧内包括个体的图像。
在606，从视频流提取指示在视频帧中所捕捉的个体的脸部表情的数据。举例来说，可以结合从视频流提取指示视频帧中所捕捉的个体的脸部表情的数据来利用任何合适的脸部识别/分析软件。
在608，使得在显示屏上与视频帧中所捕捉的一个或多个个体的脸部表情相对应的脸部表情来动画化角色。至少部分地基于从视频帧提取的指示个体的脸部表情的数据来动画化该角色。此外，使得角色被实时地动画化，以便在个体做出脸部表情时基本即时地反映这样的个体的这样的脸部表情。方法600在610完成。
现在参见图7，示出了便于使得在显示屏上动画化化身以便实时反映个体的脸部表情的示例方法700。方法700在702开始，且在704，从个体接收到对希望被包括在化身上的风格的选择。这种选择可以是希望被包括在化身上的特定脸部特征风格。
在706，接收到实时指示个体的脸部表情的数据。这种数据可以从图像传感器接收到，且如上所述可以由脸部识别软件处理。
在708，风格被应用到表示人脸的3D骨架上的适当位置。因而，如果风格是眉毛， 则眉毛的表示可以被应用到3D骨架上对应于眉毛的位置。在710，至少部分地基于在动作 706接收到的数据实时地驱动3D骨架。因此，3D骨架随着个体上的脸移动而移动。在712， 使得在显示屏上动画化化身以便实时反映个体的脸部表情。方法700在714结束。
现在参见图8，示出了可以根据在此所公开的系统和方法使用的示例计算设备 800的高级图示。举例来说，计算设备800可以用于支持动画化化身的系统，该化身表示由这样的化身实时表示的个体的脸部表情。在另一示例中，计算设备800的至少一部分可以用于支持其中需要远程呈现的在线游戏。计算设备800包括执行被存储在存储器804中的指令的至少一个处理器802。存储器804可以是RAM、ROM、EEPR0M、闪存或其他合适的存储器，或者包括这些存储器。指令可以例如是用于实现被描述为由以上所描述的一个或多个组件执行的功能的指令或用于实现以上所描述的一种或多种方法的指令。处理器802可以通过系统总线806访问存储器804。除了存储可执行指令之外，存储器804也可以存储3D骨架、多个可选择以供应用到个体的化身的风格等等。计算设备800另外包括可由处理器802通过系统总线806访问的数据存储808。数据存储可以是任何合适的计算机可读存储或包括任何合适的计算机可读存储，包括硬盘、存储器等等。数据存储808可以包括可执行指令、由一个或多个个体创建的一个或多个化身、视频游戏数据、3D骨架等等。计算设备800也包括允许外部设备与计算设备800通信的输入接口 810。举例来说，输入接口 810可以被用来从外部计算机设备、从用户等等接收指令。计算设备800也包括将计算设备800与一个或多个外部设备连接起来的输出接口 812。例如，计算设备800可以通过输出接口 812显示文本、图像等等。
另外，尽管被示为单个系统，但应理解，计算设备800可以是分布式系统。因而，举例来说，若干设备可以通过网络连接通信，且可以共同地执行被描述为由计算设备800执行的任务。在此所使用的术语“组件”和“系统”旨在包含硬件、软件或硬件和软件的组合。因而，例如，系统或组件可以是进程、在处理器上执行的进程或处理器。另外，组件或系统可以位于单个设备上或跨越若干设备分布。此外，组件或系统可以是指存储器和/或一系列晶体管的一部分。应注意，出于解释的目的已经提供了若干示例。这些示例不应被解释成限制在此所附权利要求。另外，可以明白，可以置换在此提供的示例，同时仍然落在权利要求的范围之内。
权利要求
1.一种包括下列计算机可执行动作的方法 接收指示个体的脸部表情的数据，其中所述数据的流是从捕捉所述个体的运动的运动数据流导出的；以及 使得至少部分地基于指示所述个体的一个或多个脸部表情的所述数据在显示屏上用与所述个体的一个或多个脸部表情相对应的脸部表情来动画化角色。
2.如权利要求I所述的方法，其特征在于，使得在所述显示屏上用与所述个体的一个或多个脸部表情相对应的脸部表情来动画化所述角色包括把涉及所述个体的一个或多个脸部表情的所述数据映射到对应于所述角色的计算机实现的三维骨架。
3.如权利要求2所述的方法，其特征在于，所述角色是具有由所述个体定制的风格的化身。
4.如权利要求3所述的方法，其特征在于，还包括 从所述个体接收对风格的选择； 把所述风格映射到所述计算机实现的三维骨架上的对应于所述风格的位置；以及 在所述角色上动画化所述风格以便表示所述个体的脸部表情。
5.如权利要求I所述的方法，其特征在于，视频游戏控制台被配置为执行所述计算机可执行动作。
6.如权利要求I所述的方法，其特征在于，还包括 接收表示第二个体的脸部表情的数据流，其中所述第二个体处于远离所述显示屏的位置；以及 使得至少部分地基于表示所述第二个体的脸部表情的所述数据流在所述显示屏上用与所述第二个体的脸部表情相对应的脸部表情动画化第二角色。
7.如权利要求6所述的方法，其特征在于，还包括 把涉及所述个体的一个或多个脸部表情的所述数据传送给由所述第二个体使用的视频游戏控制台。
8.一种计算装置，其特征在于，包括 处理器；以及 包括可由所述处理器执行的组件的存储器，所述组件包括 接收运动数据流并从中提取指示其移动在所述运动数据流中被捕捉到的个体的脸部表情的数据的脸部识别组件；以及 使得在显示屏上动画化角色的呈现组件，其中至少部分地基于从所述运动数据流提取的所述数据把所述角色动画化以便反映在所述运动数据流中捕捉到的所述个体的脸部表情。
9.如权利要求8所述的计算装置，其特征在于，还包括含有视频相机的传感器单元，其中所述视频相机被配置为生成所述运动数据流。
10.如权利要求8所述的计算装置，其特征在于，所述存储器还包括驱动器组件，所述驱动器组件至少部分地基于从所述运动数据流提取的指示所述个体的脸部表情的所述数据来驱动计算机实现的三维骨架，且其中所述呈现组件至少部分地基于所述三维骨架来动画化所述角色。
全文摘要
在此描述了把诸如视频游戏化身等角色动画化以便实时反映个体的脸部表情。图像传感器被配置为生成视频流，其中，视频流的各帧包括个体的脸。使用脸部识别软件来从视频流提取指示个体的脸部表情的数据。至少部分地基于指示个体的脸部表情的数据来驱动三维骨架，且至少部分地基于三维骨架把化身动画化为实时反映用户的脸部表情。
文档编号G06T13/40GK102934144SQ201180028279
公开日2013年2月13日 申请日期2011年5月20日 优先权日2010年6月9日
发明者R·D·温切斯特 申请人:微软公司