基于面部运动数据的卡拉ok化身动画的制作方法
【专利说明】
【背景技术】
[0001]实施例一般涉及化身的动画。更具体地说，实施例涉及基于面部运动数据(诸如当用户模仿源对象时对应于观察到的一个或多个面部姿态的用户面部运动数据)给化身制作动画。
[0002]生成化身动画(例如，化身活动、化身动作、化身移动等)可包含使用具有图像捕获装置的设备(诸如3D(三维)相机)来捕获用户的图像。含有图像捕获装置的设备可在使用期间相对不能移动，如果它太大的话，如果它设计成以某一距离操作的话，等等。此类设备还可能不必要地浪费资源(例如功率)，可能未充分捕获用户面部姿态，和/或可提供相对低的分辨率能力，以驱动经由用户身体运动数据给化身制作动画。
【附图说明】
[0003]通过阅读如下说明书和所附权利要求书，并参考如下附图，实施例的各种优点对本领域技术人员将变得显而易见，附图中:
图1A和IB是根据实施例基于面部运动数据给化身制作动画的示例方法的框图；
图2是根据实施例基于面部运动数据给化身制作动画的方法的示例流程；
图3是根据实施例基于面部运动数据给化身制作动画的方法的示例流程；
图4是根据实施例的逻辑架构的示例的框图；
图5是根据实施例的处理器的示例的框图；以及图6是根据实施例的系统的示例的框图。
【具体实施方式】
[0004]图1A和IB示出了根据实施例基于面部运动数据给化身制作动画的方法8和/或10。在图1A的图示示例中，用户12可持有设备14。设备14可包含任何计算装置和/或数据平台，诸如膝上型计算机、个人数字助理(PDA)、无线智能电话、媒体内容播放器、成像装置、移动因特网装置(MID)、任何智能装置，诸如智能电话、智能平板、智能TV、计算机服务器等或它们的任何组合。在一个实施例中，设备14可包含相对高性能的移动平台，诸如具有相对高处理能力的笔记本(例如，Ultrabook?可转换笔记本，美国和/或其它国家中英特尔公司的注册商标)。
[0005]所图示的设备14包含显示器16，诸如触摸屏。例如，显示器16可能能够从用户12接收触摸动作，和/或可能能够以电子方式处理触摸动作，以实现与触摸动作关联的目标(例如，发动应用等)。显示器16还可能能够再现数据，诸如下面所述的化身18和/或脚本数据20。此外，设备14可包含图像捕获装置22。在一个示例中，图像捕获装置22可包含计算装置的集成相机、向前的相机、向后的相机、旋转相机、2D (二维)相机、3D (三维)相机、独立相机等或其组合。
[0006]显示器16和/或图像捕获装置22可位于任何位置。在图1A的所图示示例中，当用户12持有设备14时，图像捕获装置22可位于用户的脸与用户的延伸臂之间的任何地方。在另一示例中，可使用未集成到计算装置中的独立相机(例如安装在墙上的相机)，其可在通信链路上与一个或多个显示器通信，不管显示器是否由用户12持有。在图1B的所图示示例中，设备28包含显示器30和/或图像捕获装置32，其不由用户12持有和/或其与用户12相隔任何距离(例如I英寸、I英尺、10英尺等)。要理解到，设备28的组件可包含类似功能性，作为本文描述的设备16的组件，并且反之亦然。
[0007]图像捕获装置22可定义经由视野可观察到的一个或多个区域。在一个示例中，一个或多个可观察到的区域可由整个视野、部分视野等或其组合定义。图像捕获装置22可充分足够靠近用户12操作，和/或可包含充分高的分辨率能力，以观察与可观察的区域和/或视野中的一个或多个用户面部特征关联的一个或多个用户面部姿态。面部特征例如可包含毛发、眼眉、眼睛、鼻子、嘴巴、耳朵、脸颊、下巴等或其组合。面部特征还可包含其相关部位，诸如头发的刘海、面部毛发的胡子、眼睛的眼皮、眼睛的眼球、嘴巴的舌头、嘴巴的嘴唇、下巴的下颂、脸颊的酒窝等或其组合。而且，特征可包含面部道具，诸如眼镜、化妆品、假体等或其组合。
[0008]相应地，用户12的脸的至少一部分可被放在图像捕获装置22的可观察区域和/或视野中，以观察涉及一个或多个面部特征的一个或多个用户面部姿态。可观察到相对细微的面部姿态(例如细微的面部表情)，例如，诸如眼球的移动(例如左移、右移、上移/下移、转动等)、眼睛的眨动、眼眉的抬起、眼镜的移动、舌头的摇动、微笑、皱眉、嘴唇的撅起、鼻孔的扭动等或其组合。在所图示的示例中，用户12的眼睛24和/或嘴巴26可被放在化身捕获装置22的可观察到的区域和/或视野中，其可包含充分高的分辨率能力以观察涉及眼睛24和/或嘴巴26的一个或多个面部姿态。
[0009]设备14可包含脚本模块以向用户12呈现/提供脚本数据20。脚本模块可从任何数据格式(诸如从文本文档、网页、视频、电影、静止图像、音频等或其组合)导出脚本数据20。脚本模块也可从任何格式(诸如链接、文本文档、网页、视频、电影、静止图像、音频等或其组合)导出脚本数据20。而且，当导出的格式是音频、视频等或其组合时，脚本模块可与导出的格式无关地呈现脚本数据20，例如作为一行文本。
[0010]脚本数据20可包含可以卡拉OK方式指导用户12动作的表演信息。在一个示例中，表演信息可包含言语表达数据，诸如音乐视频中歌曲的文本、电影中场景的行的文本、商业广告的文本、电视广播的文本等或其组合。表演信息还可包含与媒体内容相关的元数据，诸如歌曲的节奏信息、歌曲的定时信息和/或场景的行的信息、要执行的一个或多个动作(例如走路、抬眼眉等)的描述等或其组合。例如，定时信息可涉及突出文本的词。在另一示例中，定时信息可涉及标识哪个人物和/或表演者要继续进行(例如，说出一行文本的话剧中的人物名称、演讲的次序、演讲的开始、演讲的结尾等)。
[0011]设备14也可包含用于从媒体内容中提取面部运动数据的运动模块。媒体内容可包含任何内容格式，诸如现场视频、记录的视频、电影、静止图像(例如图片、视频帧等)等或其组合。在一个示例中，运动模块可从视频帧中提取面部运动数据。从而，运动模块可为每个视频帧创建32位浮点数据，以描述与一个或多个面部姿态(例如面部表情)相关的面部运动，例如包含嘴巴动作、眼睛位置、眼眉位置、脸颊运动等或其组合。相应地，提取的面部运动数据可描述眼睛睁开的程度、眼球移动的程度、嘴巴张开的程度、嘴唇的位置、鼻尖、头部转动等或其组合。
[0012]另外，运动模块可将面部运动数据映射到具有适当索引的视频帧。而且，运动模块可对面部运动数据标记时间戳。相应地，提取的面部运动数据、索引信息和/或时间戳信息可用于便于将一个或多个面部姿态与图像内容(例如视频帧中的图像)、音频内容(例如用户音频、源对象音频等)、化身内容(例如化身、化身活动、化身动作等)等或其组合同步。
[0013]运动模块可提取对应于由图像捕获装置22观察到的一个或多个用户面部姿态的用户面部运动数据。在一个示例中，当用户模仿源对象时，运动模块提取用户面部运动数据。源对象可包含用户12尝试模仿的任何词和/或动作的源，诸如音乐表演者、电影表演者、电视秀表演者等或其组合。例如，用户12可尝试模仿音乐视频中的歌手、电影中的演员、电视秀中的人物(例如漫画、卡通等)等或其组合。
[0014]运动模块也可提取对应于一个或多个源对象面部姿态的源面部运动数据。例如，运动模块可从音乐视频提取歌手的源面部运动数据、从动画电影提取漫画的源面部运动数据、从静止图像中的形象(例如人等)提取源面部运动数据等或其组合。用户面部运动数据和/或源面部运动数据可立即用于给化身制作动画、可被存储(例如在表情数据库中)和/或在随后时间用于给化身制作动画等或其组合。
[0015]用户12例如可不存在于源面部运动数据可源于的媒体内容。在一个示例中，用户12可缺乏具有用户12可尝试模仿的和/或是源面部运动数据的源的源对象(例如歌手)的音乐视频。此外，源对象可以是脚本数据20的源，和/或用户12可不存在于脚本数据20可源于的媒体内容。例如，脚本数据20的源对象可包含音乐视频中歌曲的表演者(例如歌手)，并且脚本数据20可包含歌曲的文本。在另一示例中，脚本数据20的源可包含电影场景中行的说话者(例如电影中的真实演员、动画电影中的漫画等)，并且脚本数据20可包含行的文本。
[0016]在一个示例中，用户12可使用脚本数据20模仿源对象的表演。在另一示例中，用户12可查看源对象(例如现场、记录等)，并尝试通过说出源对象在表演期间说出的话、通过做源对象在表演期间所做的面部姿态等或其组合来模仿源对象的表演。在所图示的示例中，用户12可以做当用户12利用脚本数据20模仿脚本数据20的源对象时由图像捕获装置22可观察到的一个或多个用户面部姿态，包含闭眼睛24和/或张开嘴26。
[0017]设备14可包含化身模块以基于面部运动数据给化身制作动画。在一个示例中，化身模块可基于用户面部运动数据给化身制作动画。例如，化身模块可使用用户面部运动数据、索引信息和/或时间戳信息来给化身18制作动画。从而，用户12可生成一个或多个用户面部姿态，包含眼睛24 (例如闭上眼睛24)和/或嘴巴16 (例如张开嘴巴26)，这引起提取用户面部运动数据及其使用以给化身18制作动画(例如闭上化身18的眼睛和/或张开化身18的嘴巴)。
[0018]在另一示例中，化身模块可基于源面部运动数据给化身制作动画，其可包含脚本数据20的源对象。例如，化身模块可使用源面部运动数据、索引信息和/或时间戳信息来给化身18制作动画。从而，用户12在尝试模仿源对象时可生成一个或多个用户面部姿态，包含眼睛24 (例如闭上眼睛24)和/或嘴巴16 (例如张开嘴巴26)，其中源面部运动数据可用于模仿化身18 (例如当提供脚步数据20时，闭上化身18的眼睛和/或张开化身18的嘴巴)，并且这引起提取用户面部运动数据及其使用以模仿用户12的另一化身。
[0019]此外，化身模块可提供由用户12人工选择的、由化身模块自动选择的化身等或其组合。在一个示例中，化身可由用户12经由用户接口(例如图形用户接口、命令行接口等)选择。由用户12选择的化身例如可被用作用户化身。从而，当用户12生成一个或多个用户面部姿态时，如果用户选择化身18用作用户化身，则化身18可基于用户面部运动数据驱动。由用户12选