流式传输经编码视频数据的制作方法
【专利说明】
[0001] 分案申请的相关信息
[0002] 本案是分案申请。该分案的母案是申请日为2010年10月27日、申请号为 201080048812. 3、发明名称为"流式传输经编码视频数据"的发明专利申请案。
[0003] 本申请案主张2009年10月28日申请的第61/255, 767号美国临时申请案的权益， 所述临时申请案的全部内容特此以引用的方式明确地并入本文中。
技术领域
[0004] 本发明涉及经编码视频数据的输送。
【背景技术】
[0005] 可将数字视频能力并入到广泛范围的装置中，包括数字电视、数字直播系统、无线 广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒 体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置 等。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H. 263或ITU-T H.264/MPEG-4第10部分（高级视频译码（AVC))定义的标准及这些标准的扩展中所描述的 技术，以更有效率地发射及接收数字视频信息。
[0006] 视频压缩技术执行空间预测及/或时间预测，以减少或去除视频序列中所固有的 冗余。对于基于块的视频译码，可将视频帧或片段分割成若干宏块。可进一步分割每一宏 块。使用相对于相邻宏块的空间预测来编码经帧内译码（I)的帧或片段中的宏块。经帧间 译码（P或B)帧或片段中的宏块可使用相对于同一帧或片段中的相邻宏块的空间预测或相 对于其它参考帧的时间预测。
[0007] 在已编码视频数据之后，视频数据可由多路复用器包化以用于发射或存储。举例 来说，MPEG-2标准包括定义许多视频编码标准的输送等级的"系统"章节。MPEG-2输送等 级系统可由MPEG-2视频编码器或遵守不同视频编码标准的其它视频编码器使用。举例来 说，MPEG-4标准规定与MPEG-2的编码及解码方法不同的编码及解码方法，但实施MPEG-4标 准的技术的视频编码器可仍利用MPEG-2输送等级方法。第三代合作伙伴计划（3GPP)还提 供用于使用用于经编码视频数据的特定多媒体容器格式来输送经编码视频数据的技术。
【发明内容】
[0008] -般来说，本发明描述用于支持经由例如超文本传送协议（HTTP)等网络协议来 流式输送经编码视频数据的技术。源装置可形成媒体呈现描述（MPD)文件，所述文件列出 经编码媒体数据的多种呈现。每一呈现对应于针对共同视频的不同编码。举例来说，就编 码及/或渲染能力以及各种平均位率来说，每一呈现可具有目的地装置的不同期望。
[0009] 源装置可发信号通知每一呈现的特性，从而允许目的地装置基于所述目的地装置 的解码及渲染能力而选择呈现中的一者，且基于网络环境变化及呈现的带宽而在不同呈现 之间切换。呈现可经预编码或实时编码，且存储在服务器中作为文件或文件分段，其遵守 (例如）ISO基本媒体文件格式及其扩展。目的地装置可在（例如）HTTP上在各种时间从呈 现中的一者或一者以上检索数据。源装置可进一步发信号通知每一呈现的分段，例如，在每 一呈现内的视频分段的字节范围及对应的时间位置，使得目的地装置可基于（例如）HTTP 请求而从各种呈现检索个别视频分段。
[0010] 在一个实例中，一种用于输送经编码视频数据的方法包括：通过源视频装置接收 包含若干个视频区段的经编码视频数据；形成包含若干个视频文件的呈现，所述视频文件 中的每一者对应于所述视频区段中的一相应者；及响应于指定所述视频数据的时间段的 请求，输出对应于所述所请求的时间段的所述若干个视频区段的所述视频文件中的至少一 者。
[0011] 在另一实例中，一种用于输送经编码视频数据的设备包括：管理单元，其经配置以 接收包含若干个视频区段的经编码视频数据，且形成包含若干个视频文件的呈现，所述视 频文件中的每一者对应于所述视频区段中的一相应者；及网络接口，其经配置以响应于指 定所述视频数据的时间段的请求，输出对应于所述所请求的时间段的所述若干个视频区段 的所述视频文件中的至少一者。
[0012] 在另一实例中，一种用于输送经编码视频数据的设备包括：用于接收包含若干个 视频区段的经编码视频数据的装置；用于形成包含若干个视频文件的呈现的装置，所述视 频文件中的每一者对应于所述视频区段中的一相应者；及用于响应于指定所述视频数据的 时间段的请求输出对应于所述所请求的时间段的所述若干个视频区段的所述视频文件中 的至少一者的装置。
[0013] 在另一实例中，一种计算机可读存储媒体包含在执行时致使用于输送经编码视频 数据的源装置的处理器进行以下操作的指令：接收包含若干个视频区段的经编码视频数 据；形成包含若干个视频文件的呈现，所述视频文件中的每一者对应于所述视频区段中的 一相应者；及响应于指定所述视频数据的时间段的请求，输出对应于所述所请求的时间段 的所述若干个视频区段的所述视频文件中的至少一者。
[0014] 在再一实例中，一种用于检索经编码视频数据的方法包括：通过客户端装置检索 描述视频数据的呈现的特性的呈现描述数据，其中所述视频数据包含若干个视频区段，且 其中所述呈现包含若干个视频文件，所述视频文件中的每一者对应于所述视频区段中的一 相应者；将指定所述视频数据的时间段的请求提交给源装置；响应于所述请求，从所述源 装置接收对应于所述所请求的时间段的所述若干个视频区段的的所述视频文件中的至少 一者；及解码并显示所述视频文件中的所述至少一者。
[0015] 在另一实例中，一种用于检索经编码视频数据的设备包括：网络接口；控制单元， 其经配置以经由所述网络接口检索描述视频数据的呈现的特性的呈现描述数据，其中所述 视频数据包含若干个视频区段，且其中所述呈现包含若干个视频文件，所述视频文件中的 每一者对应于所述视频区段中的一相应者，将指定所述视频数据的时间段的请求提交给源 装置，且响应于所述请求，从所述源装置接收对应于所述所请求的时间段的所述若干个视 频区段的所述视频文件中的至少一者；视频解码器，其经配置以解码所述视频文件中的所 述至少一者；及用户接口，其包含经配置以显示所述视频文件中的所述经解码的至少一者 的显示器。
[0016] 在另一实例中，一种用于检索经编码视频数据的设备包括：用于检索描述视频数 据的呈现的特性的呈现描述数据的装置，其中所述视频数据包含若干个视频区段，且其中 所述呈现包含若干个视频文件，所述视频文件中的每一者对应于所述视频区段中的一相应 者；用于将指定所述视频数据的时间段的请求提交给源装置的装置；用于响应于所述请求 从所述源装置接收对应于所述所请求的时间段的所述若干个视频区段的所述视频文件中 的至少一者的装置；及用于解码并显示所述视频文件中的所述至少一者的装置。
[0017] 在另一实例中，一种计算机可读存储媒体包含在执行时致使用于检索经编码视频 数据的装置的处理器进行以下操作的指令：检索描述视频数据的呈现的特性的呈现描述数 据，其中所述视频数据包含若干个视频区段，且其中所述呈现包含若干个视频文件，所述视 频文件中的每一者对应于所述视频区段中的一相应者；将指定所述视频数据的时间段的请 求提交给源装置；响应于所述请求，从所述源装置接收对应于所述所请求的时间段的所述 若干个视频区段的所述视频文件中的至少一者；致使所述客户端装置的视频解码器解码所 述视频文件中的所述至少一者；及致使所述客户端装置的用户接口显示所述经解码的视频 文件中的所述至少一者。
[0018] 在附图及以下描述中陈述一个或一个以上实例的细节。从描述及图式且从所附权 利要求书将明白其它特征、目标及优点。
【附图说明】
[0019] 图1为说明音频/视频（A/V)源装置将音频及视频数据输送到A/V目的地装置的 实例系统的框图。
[0020] 图2为说明多路复用器的组件的实例布置的框图。
[0021]图3为说明程序特定信息表的实例集合的框图。
[0022] 图4为说明各种呈现的第三代合作伙伴计划（3GPP)文件与对应的视频区段之间 的对准的概念图。
[0023] 图5为说明用于将经编码视频数据从源装置输送到目的地装置的实例方法的流 程图。
[0024] 图6为说明实例3GPP文件的元素的框图。
[0025] 图7为说明用于响应于对在3GPP文件内的时间位置的搜寻请求而请求3GPP文件 的分段的实例方法的流程图。
【具体实施方式】
[0026] 本发明的技术大体是针对支持使用例如超文本传送协议（HTTP)及HTTP的HTTP 流式传输应用等协议的视频数据的流式输送。一般来说，在本发明中，对HTTP的参考可包 括对HTTP流式传输的参考。本发明提供发信号通知视频数据的若干个呈现的特性元素的 媒体呈现描述（MPD)文件，例如，在视频数据的分段存储在呈现内的情况下。每一呈现可包 括若干个个别文件，例如，第三代合作伙伴计划（3GPP)文件。一般来说，每一呈现可包括一 组个别特性，例如位率、帧率、分辨率、交错式或渐进式扫描类型、编码类型（例如，MPEG-1、 MPEG-2、H. 263、MPEG-4/H. 264、H. 265 等）或其它特性。
[0027] 3GPP文件中的每一者可个别地由服务器存储且个别地由客户端检索，例如，使用 HTTP GET及部分GET请求。HTTP GET及部分GET请求描述于R ?费尔丁（R. Fielding)等 人的"超文本传送协议--HTTP/1. 1 (Hypertext Transfer Protocol-HTTP/1. 1) "（网络 工作组，RFC2616,1999 年6 月）中，可在 http://tools.ietf.org/html/rfc2616 处获得。 根据本发明的技术，可使每一呈现的3GPP文件对准，使得其对应于视频的同一段，即，一个 或一个以上场景的同一集合。此外，服务器可使用类似的命名方案来命名每一呈现的对应 3GPP文件。以此方式，随着网络条件改变，HTTP客户端可易于改变呈现。举例来说，当较高 的带宽量可用时，客户端可检索相对较高质量呈现的3GPP文件，而当较低带宽量可用时， 客户端可检索相对较低质量呈现的3GPP文件。
[0028] 本发明还提供用于发信号通知MH)文件中所总结的呈现及对应的3GPP文件的特 性的技术。举例来说，本发明提供服务器可藉以发信号通知例如针对每一呈现的客户端装 置的期望渲染能力及解码能力等特性的技术。以此方式，客户端装置可基于所述客户端装 置的解码及渲染能力在各种呈现之间选择。作为另一实例，本发明提供用于发信号通知针 对每一呈现的平均位率及最大位率的技术。以此方式，客户端装置可确定带宽可用性，且基 于所确定的带宽在各种呈现之间选择。
[0029] 根据本发明的技术，服务器可使用指示每一呈现的对应于同一场景的3GPP文件 的命名惯例。本发明提供用于对准每一呈现的3GPP文件使得每一场景对应于每一呈现中 的3GPP文件中的一者的技术。举例来说，服务器可使用类似于" [program] _preX_T_T+N" 的命名惯例来命名对应于从时间T持续到时间T+N的场景的每一呈现的3GPP文件，其中命 名惯例中的T及T+N对应于时间T及时间T+N的值，" [program] "对应于视频的名称，且"_ preX"对应于呈现的指示符（例如，用于呈现2的"pre2"）。因此，可对准每一呈现的3GPP 文件，使得在同一时间周期中的3GPP文件的文件大小可用以导出每一呈现的瞬时位率。
[0030] 另外，服务器可发信号通知每一呈现的3GPP文件中的每一者的开始时间以及结 束时间及/或持续时间。以此方式，客户端可通过检索如由服务器发信号通知的3GPP文件 的开始时间及结束时间且基于开始时间及结束时间自动产生文件名称而基于文件的名称 使用HTTP GET来检索特定3GPP文件。另外，服务器还可发信号通知每一呈现的3GPP文件 中的每一者的字节范围。因此，客户端可基于待检索的3GPP文件的自动产生的名称及字节 范围而使用部分GET来检索3GPP文件的全部或一部分。客户端可使用HTTP的HEAD方法 来检索特定3GPP文件的文件大小。一般来说，对于HEAD请求所针对的URN或URL，HEAD请 求检索无对应的主体数据的标头数据。
[0031 ] 图1为说明其中音频/视频（A/V)源装置20将音频及视频数据输送到A/V目的 地装置40的实例系统10的框图。图1的系统10可对应于视频电话会议系统、服务器/客 户端系统、广播设备/接收器系统、游戏系统，或将视频数据从例如A/V源装置20等源装置 发送到例如A/V目的地装置40等目的地装