基于超文本传输协议的动态自适应流媒体中的元数据信息的指示及携带的制作方法
【专利说明】基于超文本传输协议的动态自适应流媒体中的元数据信息 的指示及携带
[0001] 相关申请案交叉申请
[0002] 本发明要求2013年7月19日由张少波等人递交的发明名称为"流媒体内容的质 量信息的指不及携带（Signaling and Carriage of Quality Information of Streaming Content) "的第61/856, 532号美国临时专利申请案的在先申请优先权，该在先申请的全部 内容以引入的方式并入本文本中。
[0003] 关于由联邦政府赞助研究或开发的声明
[0004] 不适用。
[0005] 参考缩微胶片附录 [0006] 不适用。
【背景技术】
[0007] 媒体内容提供商或分发商可以使用适合不同设备（例如，电视、笔记本电脑、台式 电脑和移动手机）的不同加密和/或编码方案将各种媒体内容传送给订户或用户。如国 际标准化组织（International Organization for Standardization，ISO)/国际电工技 术委员会（International Electrotechnical Commission，IEC) 13818-1 中的名称为"信 息技术一运动图像及其伴音信息的通用编码：系统（Information Technology - Generic Coding of Moving Pictures and Associated Audio Information: Systems)'，所述，基 于超文本传输协议的动态自适应流媒体（Dynamic Adaptive Streaming over Hypertext Transfer Protocol，DASH)定义了描述格式，即媒体呈现描述（MPD)，以及片段格式，所述描 述格式基于ISO基本媒体文件格式（ISO Base Media File Format，IS0-BMFF)，而所述片 段格式基于MPEG-2标准族中的运动图像专家组（Moving Picture Expert Group，MPEG)传 输流。DASH系统可根据国际标准组织（ISO)/国际电工技术委员会（IEC) 23009-1中的名 称为"信息技术一基于HTTP的动态自适应流媒体（DASH)-第1部分：媒体呈现描述及片段 格式（Information Technology - Dynamic Adaptive Streaming over HTTP (DASH) - part 1 :Media Presentation Description and Segment Formats)'，实施。
[0008] 传统的DASH系统可能需要在服务器上有多个可替代媒体内容的比特率或多个表 示表示可用。其它媒体表示可以是以固定比特率（constant bitrate，CBR)或可变比特率 (variable bitrate，VBR)编码的版本。对于CBR表示，比特率是可控的且可为恒定的，但是 除非比特率足够高，否则质量波动可能很大。像切换新闻频道中的运动/静态场景等变化 内容，视频编码器难以在产生有指定比特率的比特流的同时提供质量的稳定。对于VRB表 示，可以将较大的比特率分配给较为复杂的场景，而将较少比特分配给不太复杂的场景。当 使用不受约束的VRB表示时，编码内容的质量可能不是恒定的，并且/或者存在一种或多种 限制（例如，最大带宽）。质量波动可能是内容编码所固有的，而非DASH应用特有的。
[0009] 另外，可用带宽可能会不断地变化，对流媒体内容来说这可能是个大难题。传统 的自适应方案可配置用于适应设备的能力（例如，解码能力或显示分辨率）或用户的喜好 (例如，语言或字幕）。在传统的DASH系统中，对变化的可用带宽的自适应可以通过在具有 不同比特率的可替代表示之间进行切换来实现。表示或片段的比特率可以匹配到可用带 宽。然而，表示的比特率可能与媒体内容的质量没有直接的相关性。多个表示的比特率可 以表示这些表示的相对质量，而可能无法提供关于表示中片段的质量的信息。例如，在比特 率相同时，低比特率的画面（例如，低空间复杂度或低运动水平）可以编码成高质量级别， 或者高比特率的画面可以编码成低质量级别。因此，带宽波动导致相同比特率下的体验质 量相对低些。在不使用或不需要相对高的带宽时，带宽还会被浪费。激进的带宽消耗还会 导致所支持的用户的数量受到限制，并导致带宽耗费高，和/或功耗高。
【发明内容】
[0010] 在一项实施例中，本发明包括一种媒体表示自适应方法，包括：获取包括用于提取 多个媒体片段以及与所述多个媒体片段相关联的多个元数据片段的信息的媒体呈现描述 (media presentation description，MPD)，其中，所述多个元数据片段包括与所述多个媒 体片段相关联的定时元数据信息；根据所述MPD中提供的所述信息，发送对一个或多个所 述元数据片段的元数据片段请求；接收所述一个或多个元数据片段；基于所述一个或多个 元数据片段的所述定时元数据信息，选取一个或多个媒体片段；发送请求所述选取的媒体 片段的媒体片段请求；接收所述选取的媒体片段以响应所述媒体片段请求。
[0011] 在另一项实施例中，本发明包括一种计算机程序产品，包括存储在非瞬时性计算 机可读存储介质上的计算机可执行指令，其中，当处理器执行所述计算机程序产品时，所述 计算机程序产品使网络设备执行以下操作：获取包括用于从多个自适应集中提取一个或多 个片段的信息的MPD ;根据所述MH)中提供的所述信息，发送对第一自适应集中的一个或多 个片段的第一片段请求，其中，所述第一自适应集包括与第二自适应集中多个片段相关联 的定时元数据信息；接收所述第一自适应集中的所述片段；基于所述第一自适应集中的所 述一个或多个片段，从所述第二自适应集的所述多个片段中选取一个或多个片段，其中，从 所述第二自适应集的所述多个片段中选取的所述一个或多个片段包括媒体内容；发送请求 所述第二自适应集中的所述一个或多个片段的第二片段请求；接收从所述第二自适应集选 取的一个或多个片段以响应所述第二片段请求。
[0012] 在又一项施例中，本分明包括一种装置，所述装置用于根据包括用于从第一自适 应集中提取多个媒体片段以及从第二自适应集中提取多个元数据片段的信息的Mro进行 媒体表示自适应，所述装置包括存储器，以及耦合到所述存储器的处理器，其中，所述存储 器包括指令；当所述处理器执行所述指令时，所述指令使所述装置执行以下操作：根据所 述MH)发送元数据片段请求；接收包括与一个或多个所述媒体片段相关联的定时元数据信 息的一个或多个元数据片段；使用所述元数据信息选取一个或多个媒体片段；发送请求所 述一个或多个媒体片段的媒体片段请求；根据所述Mro接收所述一个或多个媒体片段。
[0013] 这些特征及其它特征将在下面的和附图及权利要求相结合的具体描述中变得更 清晰。
【附图说明】
[0014] 为了更透彻地理解本发明，现参阅以下结合附图和【具体实施方式】而描述的简要说 明，其中的相同参考标号表不相同部分。
[0015] 图1为基于超文本传输协议的动态自适应流媒体（Dynamic Adaptive Streaming over Hypertext Transfer Protocol，DASH)的实施例的不意图；
[0016] 图2为网元的实施例的示意图；
[0017] 图3为DASH自适应方法的实施例的协议图；
[0018] 图4为媒体呈现描述的实施例的示意图；
[0019] 图5为样本层元数据关联的实施例的示意图；
[0020] 图6为轨迹运行层元数据关联的实施例的示意图；
[0021] 图7为轨迹分片层元数据关联的实施例的示意图；
[0022] 图8为电影分片层元数据关联的实施例的示意图；
[0023] 图9为子片段层元数据关联的实施例的示意图；
[0024] 图10为媒体片段层元数据关联的实施例的示意图；
[0025] 图11为自适应集层元数据关联的实施例的示意图；
[0026] 图12为媒体子片段层元数据关联的实施例的示意图；
[0027] 图13为DASH客户端使用的表示自适应方法的实施例的流程图；
[0028] 图14为使用元数据信息的表示自适应方法的实施例的流程图；
[0029] 图15为使用元数据信息的表示自适应方法的另一实施例的流程图；
[0030] 图16为服务器使用的表示自适应方法的另一实施例的流程图。
【具体实施方式】
[0031] 首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所公开的系 统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明 决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性 设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
[0032] 本发明公开了基于超文本传输协议的动态自适应流媒体（Dynamic Adaptive Streaming Over Hypertext Transfer Protocol，DASH)系统中用于传送及指不媒体内容元 数据信息（例如质量信息）的多个实施例。具体地，在DASH系统中，可使用多个表示间的 关联来传送和/或指示元数据信息以进行表示自适应。多个表示间的关联可在表示层和/ 或自适应集层实施。例如，关联可存在于媒体内容对应的第一表示和元数据信息对应的第 二表示之间。包括元数据信息的自适应集可称为元数据集。DASH客户端可使用元数据集获 取与包括媒体内容及多个媒体片段的自适应集相关联的元数据信息，从而做出表示自适应 决策。
[0033] 在一项实施例中，自适应集关联可允许使用带外信令传送元数据信息，和/或使 用外部索引文件携带元数据信息。使用带外信令可减少因添加、删除和/或修改元数据信 息对媒体数据造成的影响。元数据信息可在片段或子片段层指示以有效地支持直播和/或 点播业务。元数据信息可在请求一个或多个媒体片段之前单独提取。例如，元数据信息可在 媒体内容开始流式传输前就可用了。媒体数据的元数据信息中可提供其他接入信息（例如 子片段大小或时长），这可减少对相关比特率信息和质量信息的交叉引用需求。使用元数据 信息做出的自适应决策可减少流式传输内容的质量波动，可提高体验质量，并可更有效地 利用带宽。元数据信息可按条件使用、修改和/或生成，且可不对媒体数据的流式传输操作 造成影响。媒体呈现描述（media presentation description，MPD)更新的频率也可降低。 媒体内容和元数据信息可在内容准备的不同阶段生成，和/或由不同的人来生成。使用元 数据信息可支持在播放列表和模板中指示和/或生成通用资源定位器（uniform resource locator，URL)。在MPD中，可不为每个片段指示元数据信息，否则，可能会使MPD内容过多。 元数据信息对启动延迟没太大影响，并可尽可能少地消耗网络流量。
[0034] 图1为本发明实施例可运行的DASH系统100的实施例的示意图。DASH系统100 - 般可包括内容源1〇2、ΗΤΤΡ服务器104、网络106、以及一个或多个DASH客户端108。在本实 施例中，HTTP服务器104与DASH客户端108可通过网络106进行数据通信。此外，HTTP服 务器104可与内容源102进行数据通信。可替代地，DASH系统100可进一步包括一个或多个 其他内容源102和/或HTTP服务器104。网络106可包括用于提供HTTP服务器104与DASH 客户端108间通过有线和/或无线信道进行的数据通信的任何网络。例如，网络106可为因 特网和/或移动电话网。DASH系统100执行的操作的描述通常可指一个或多个DASH客户 端108的实例。注意，术语DASH在本发明中可包括任何自适应流媒体，如H