基于化身的传输协议、图标生成和玩偶动画的制作方法_2

文档序号:9278231阅读:来源:国知局
以"离线模式"被生成(例如周期地),和/或在用户正在发布特定面部 表情时以"在线模式"被生成(例如响应于明确的用户请求)。对象60还可以选择基础化身 在生成化身图标64时使用。
[0016] 现在转向图4,示出了施行化身图标消息传送的方法74。方法74可以在客户端设 备中实施为存储在机器或计算机可读介质(诸如RAM、ROM、PROM、闪速存储器等)中的逻辑指 令和/或固件的集合;实施在可配置逻辑中,可配置逻辑诸如例如是PLA、FPGA、CPLD;实施 在使用电路技术的固定功能逻辑硬件中,电路技术诸如例如是ASIC、CM0S或TTL技术;或者 实施在它们的任何组合中。图示的方框76规定在视频信号和静止图像中的一个或多个中 标识对象的面部表情。化身图标可以在方框78处基于面部表情生成,其中图示的方框80 确认化身图标对于图标列表不是副本。如果化身图标不是副本,则化身图标可以被添加到 图标列表,其中可以在方框82做出关于另一面部表情是否准备好处理的确定。如果是,则 可以重复化身图标创建过程。否则,方框84可以向用户呈示图标列表。从图标列表的用户 选择可以在方框86处被接收,其中图示的方框88把化身图标的用户选择连同文本消息发 送给远程客户端设备。
[0017] 玩偶动画 可以受益于本文描述的技术的再另一类型的应用是玩偶动画。图5示出了基于化身的 玩偶动画方案,其中对象90在摄像机22和麦克风24的范围内操纵玩偶(诸如布袋木偶92) 并且说出可听见的内容94 (例如单词、短语、声音)。相应地,图示的摄像机22生成视频信 号96,该视频信号96反映对象90的一个或多个面部表情(例如嘴部形状、头部转动、点头、 眨眼、皱眉、微笑、使眼色)以及布袋木偶92的肖像。类似地,图示的麦克风24生成反映可 听见内容30的音频信号98。
[0018] 玩偶系统/应用100可以在视频信号96中标识对象90的一个或多个面部表情, 基于所述一个或多个面部表情生成化身动画数据,在视频信号96中标识玩偶面部,并且把 化身动画数据传输给玩偶面部以获得玩偶动画102,其中玩偶动画102可以用于生成(例如 编码)视频文件104。在图示示例中,布袋木偶92的一个或多个面部特征已经在记录视频 期间被模仿对象90的面部特征和/或表情代替。此外,可听见的内容94可以被合并到玩 偶动画102中以使得布袋木偶94表现为正在说出相同的可听见的内容94。此外,语音音调 设置可以被标识(例如经由用户偏好、话音标识等),其中视频文件104中可听见的内容94 的音调被改变以创建与对象90的原始语调/可听见的效果不同的语调和/或可听见的效 果。在一个示例中,变调(pitchshifting)被用于改变可听见的内容94的音调。
[0019] 现在转向图6,示出了施行基于化身的玩偶动画的方法106。方法106可以在客户 端设备中实施为存储在机器或计算机可读介质(诸如RAM、ROM、PROM、闪速存储器等)中的逻 辑指令和/或固件的集合;实施在可配置逻辑中,可配置逻辑诸如例如是PLA、FPGA、CPLD; 实施在使用电路技术的固定功能逻辑硬件中,电路技术诸如例如是ASIC、CM0S或TTL技术; 或者实施在它们的任何组合中。图示的方框108规定在视频信号中标识对象和玩偶的一个 或多个面部表情,其中化身动画数据可以在方框110处基于面部表情生成。此外,可以在方 框112处在视频信号中标识玩偶面部。方框114可以把化身动画数据传输给玩偶面部。此 外,语音音调设置可以在方框116处被标识,其中图示的方框118基于语音音调设置改变与 视频文件相关联的音频文件的音调。
[0020] 现在转向图7A,示出了用于管理化身的计算设备120 (120a-120i)。在图示的示 例中,识别模块120a在视频信号中标识对象的一个或多个面部表情,并且化身模块120b基 于该一个或多个面部表情生成化身动画数据。此外,音频模块120c可以把化身动画数据合 并到与视频信号相关联的音频文件中。计算设备120还可以包括通信模块120d,用于经由 消息传送应用把音频文件发送到远程客户端设备。因此,图示的计算设备120可以实施不 导致高带宽花费或依赖于远程对等体中的专用化身支持的化身传输协议。
[0021] 计算设备120还可以用于施行化身图标消息传送。例如,图标模块120e可以基 于对象的视频信号和/或静止图像中的一个或多个面部表情生成化身图标,其中列表模块 120f可以把化身图标添加到图标列表。在一个示例中,列表模块120f在将化身图标添加到 图标列表之前确认化身图标不是副本。图示的计算设备120还包括用户接口(UI),该用户 接口向用户呈示图标列表并且接收从图标列表的用户选择。因此,通信模块120d可以把用 户选择连同文本消息发送给远程客户端设备。
[0022] 此外,计算设备120可以被用于施行基于化身的玩偶动画。例如,识别模块120a 还可以标识视频信号中的玩偶面部,其中传输模块120h可以把化身动画数据传输给玩偶 面部以获得玩偶动画。更具体地,化身动画数据可以对应于视频信号中对象的一个或多个 面部表情,以使得玩偶动画模仿该对象。图示的计算设备120还包括音调模块120i,音调模 块120i标识语音音调设置并且基于语音音调设置来改变与视频信号相关联的音频文件的 音调。
[0023] 图7B示出了使化身动画化的计算设备122 (122a_122c)。在图示示例中,通信模 块122a接收音频文件,其中提取模块122b使用音频文件获得化身动画数据。在一个示例 中,提取模块122b从音频文件的空数据字段取回加时间戳的面部运动数据以便获得化身 动画数据。提取模块122b还可以从存储在音频文件的声音元数据字段中的链接取回加时 间戳的面部运动数据以便获得化身动画数据。图示的计算设备122还包括动画模块122c, 用于基于音频文件和化身动画数据呈现化身动画。在一个示例中,动画模块122c把加时间 戳的面部运动数据与音频文件同步以呈现化身动画。
[0024] 图8图示根据一个实施例的处理器核心200。该处理器核心200可以是任何类型 处理器(诸如微处理器、嵌入式处理器、数字信号处理器(DSP)、网络处理器、或用于执行代 码的其他设备)的核心。虽然图8中仅图示了一个处理器核心200,但是处理元件可以替代 地包括多于一个的图8中所示的处理器核心200。处理器核心200可以是单线程核心,或者 对于至少一个实施例,处理器核心200可以是多线程的,因为它每个核心可以包括多于一 个的硬件线程上下文(或"逻辑处理器")。
[0025] 图8还图示了耦合到处理器200的存储器270。存储器270可以是本领域技术人 员已知或者以其他方式可获得的各种各样存储器(包括存储器层次的各种层)中的任一个。 存储器270可以包括要由处理器200核心执行的一个或多个代码213指令,其中核心213可 以实施已经讨论的方法42 (图2)、方法74 (图4)和/或方法106 (图6)。处理器核心200 遵循由代码213指示的指令程序序列。每个指令可以进入前端部分210并且由一个或多个 解码器220处理。解码器220可以生成预定义格式的微操作(诸如固定宽度微操作)作为其 输出,或者可以生成反映原始代码指令的其他指令、微指令或控制信号。图示的前端210还 包括寄存器重命名逻辑225和调度逻辑230,其通常分配资源并且将对应于供执行的转换 指令的操作排队。
[0026] 处理器200示出为包括执行逻辑250,其具有执行单元255-1到255-N的集合。一 些实施例可以包括专用于特定功能或功能集合的多个执行单元。其他实施例可以包括仅一 个执行单元或能够执行特定功能的一个执行单元。图示的执行逻辑250执行由代码指令指 定的操作。
[0027] 在由代码指令指定的操作执行完成之后,后端逻辑260引退代码213的该指令。 在一个实施例中,处理器200允许指令不按次序执行但是需要指令按次序引退。引退逻辑 265可以采用本领域技术人员已知的各种形式(例如,重排序缓冲器等等)。这样,处理器核 心200在
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1