通信设备之间的视频和音频共享的方法、设备和系统的制作方法_3

文档序号:8436218阅读:来源:国知局
,用户的脸)的稀疏关键点的运动动画参数变换到目标化身模型上,并且使得目标化身模型完成相同的动画,诸如微笑、惊奇、打哈欠等。
[0042]考虑到化身模型和化身参数可基于2D或3D选择而不同,化身动画模块304可进一步基于2D/3D选择结果来检索化身模型并使其形成动画,其可以是经由分组从通信设备101发送的。
[0043]同步和再现模块35可再现已解码音频数据和动画化身模型,同时使它们与同步信息同步。例如,如果同步信息是插入音频位流和化身数据位流中的时间戳,则同步和再现模块305可在两个时间戳之间再现从音频位流解码的数字音频数据的一部分,同时在相同的两个时间戳之间再现从化身数据位流形成动画的化身模型。
[0044]应理解的是被插入音频位流中的时间戳可不同于被插入化身位流中的时间戳。在该情况下,同步信息还可包括使音频位流中的时间戳与音频位流中的时间戳相关的相关信息,其可被同步和再现模块305用于同步。
[0045]音频播放器306和视频显示器307可播放再现的音频和化身视频,使得通信设备102的用户可从通信设备101的用户接收消息。
[0046]图4示出用于生成将与通信设备102共享的分组的通信设备101的方法的实施例,所述分组包含视频和音频信息。在框401中,音频记录模块201可记录音频片,并且在框402中,视频捕捉模块202可捕捉视频片。例如,通信设备101的记录仪和照相机101可在通信设备101的用户说话时记录音频并捕捉视频。
[0047]在框403中,音频编码模块203可在各种音频编码方案下将音频片编码成一个或多个音频位流,诸如MPEG、AAC、AC3等。在框404中,2D/3D选择模块205可选择用于化身动画的2D或3D。基于2D/3D选择结果,在框405中,化身数据提取模块204可从视频片提取化身数据并将化身数据转换成一个或多个化身数据位流。在实施例中,化身数据可包括化身参数,其指示出现在视频中的对象的面部表情和/或运动,对象诸如用户的头。
[0048]在框406中,同步模块206可生成用于使音频位流和化身数据位流同步的同步信息。可将该同步信息体现而不限制为时间标记(例如,时间戳)、同步符号等。在实施例中,同步模块206可基于音频编码模块203在编码之前对音频片进行采样的音频采样率以及化身数据提取模块204在提取之前对视频片进行采样的化身采样率来生成同步信息。同步模块206还可将同步信息插入音频位流和化身数据位流中。
[0049]应理解的是可将时间标记插入音频位流中且可不同于被插入化身位流中的时间标记。在该情况下,同步信息还可包括使插入音频位流中的时间标记与插入音频位流中的时间标记及相关的相关信息。
[0050]在框407中,打包模块207可将音频位流、化身数据位流和同步信息打包成一个或多个分组,诸如即时消息。在实施例中,该分组可包括其他信息,诸如对象标识符和/或2D/3D选择结果。在框408中,传输模块208可将分组传输到服务器,无论通信设备102是否被连接到服务器。在实施例中,打包模块207可将对应于对象的化身模型打包成另一分组,并将该分组单独地传输到服务器。在另一实施例中,可预先将化身模型安装在通信设备102中。化身模型可基于2D/3D选择而不同,诸如2D化身模型或3D化身模型。
[0051]图5图示出用于接收分组并再现视频和音频信息的通信设备102的方法的实施例。在框501中,接收模块301可将从服务器接收分组,无论通信设备101是否被连接到服务器。
[0052]在框502中,解包模块302将分组解包成音频位流、化身数据位流和同步信息。在实施例中,该解包模块302可从分组获得其他信息,诸如对象标识符和/或2D/3D选择结果。在框503中,音频解码模块303可将音频位流解码成已解码音频数据。在框504中,化身动画模块304可使用对象标识符和/或2D/3D选择结果来检索化身模型。
[0053]在框505中,化身动画模块304可通过将化身数据映射在化身模型上基于化身数据位流将化身模型形成动画以来生成动画化身模型。例如,如果化身数据包括指示出现在视频中的对象的面部表情和/或运动的化身参数,则可在化身模型上表示面部表情和/或运动。在框506中,同步和再现模块305可通过使用同步信息使已解码音频数据和动画化身模型同步并将已解码音频数据和动画化身模型再现。例如,如果同步信息是插入音频位流和化身数据位流中的时间戳,则同步和再现模块305可在两个时间戳之间再现从音频位流解码的数字音频数据的一部分,同时在相同的两个时间戳之间再现从化身数据位流形成动画的化身模型。
[0054]在框507中,音频播放器306可播放音频,并且视频显示器307可播放化身视频,使得通信设备102的用户可从通信设备101的用户接收消息。
[0055]虽然已在附图和先前的描述中详细地图示出并描述了本公开,但应认为此类图示和描述在性质上是示例性而非限制性的,应理解的是仅示出并描述了说明性实施例,并且期望保护与本公开和所记载的权利要求一致的所有改变和修改。
[0056]示例
下面提供在这里公开的设备、系统和方法的说明性示例。该设备、系统和方法的实施例可包括下面描述的示例中的任何一个或多个以及任何组合。
[0057]在示例I中,一种通信设备可包括音频编码模块,用以将音频片编码成音频位流;化身数据提取模块,用以从视频片提取化身数据并生成化身数据位流;以及同步模块,用以生成用于使音频位流与化身数据位流同步的同步信息。
[0058]在示例2中,根据示例I所述的化身数据,可包括指示出现在视频中的对象的运动和表情中的至少一个的化身参数。
[0059]在示例3中,根据示例I和2中的任一项所述的同步信息,可以是插入音频位流和化身数据位流中的时间标记。
[0060]在示例4中,根据示例I一3中的任一项所述的同步信息,可基于音频位流的采样率和化身数据位流的采样率而生成。
[0061]在示例5中,根据示例I一4中的任一项所述的通信设备,还可包括:打包模块,用以将音频位流、化身数据位流和同步信息打包成分组;以及传输模块,用以将分组传输到服务器,无论将要从服务器接收该分组的另一通信设备是否被连接。
[0062]在示例6中,根据示例I一5中的任一项所述的分组,可以是即时消息。
[0063]在示例7中,根据示例I一6中的任一项所述的分组,可包括出现在视频中的对象的标识符。
[0064]在示例8中,一种通信设备可包括音频解码模块,用以将音频位流解码成已解码音频数据;化身动画模块,用以基于化身数据位流将化身模型形成动画以生成动画化身模型;以及同步和再现模块,用以通过利用同步信息使已解码音频数据和动画化身模型同步并将它们再现。
[0065]在示例9中,根据示例8所述的同步信息,可以是插入音频位流和化身数据位流中的时间标记。
[0066]在示例10中,根据示例8— 9中的任一项所述的通信设备,还可包括接收模块,用以从服务器接收分组,无论发送分组的另一通信设备是否被连接;以及解包模块,用以将分组解包成音频位流、化身数据位流和同步信息。
[0067]在示例11中,根据示例8 —10中的任一项所述的化身动画模块,还可检索与出现在由另一通信设备捕捉的视频片中的对象相对应的化身模型。
[0068]在示例12中,根据示例8 —11中的任一项所述的化身数据,可包括指示出现在由另一通信设备捕捉的视频片中的对象的运动和表情中的至少一个的化身参数。
[0069]在示例13中,根据示例8 —12中的任一项所述的分组,还可包括用以标识出现在由另一通信设备捕捉的视频片中的对象的标识符。
[0070]在示例14中,根据示例8 — 13中的任一项所述的分组,可以是即时消息。
[0071]在示例15中,一种方法包括将音频片编码成音频位流;从视频片提取化身数据以生成化身数据位流;以及生成用于使音频位流与化身参数流同步的同步信息。
[0072]在示例16中,根据示例15所述的化身数据,包括指示出现在视频中的对象的运动和表情中的至少一个的化身参数。
[0073]在示例17中,根据示例15 —16中的任一项的同步信息,是插
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1