针对网络上的媒体流式传输支持传输分集和时移缓存器的制造方法
【专利说明】
[0001] 本申请要求于2013年1月15日递交的美国临时申请序列No. 61/752, 456的权益 以及于2013年4月8日递交的美国临时申请序列No. 61/809,871的权益，通过引用方式将 其整体并入本文。
技术领域
[0002] 本公开内容涉及通信系统，并且更具体地说，涉及经由网络的内容传递。
【背景技术】
[0003] 可以将数字多媒体（包括音频和视频以及其他媒体）能力并入到很多设备中，所 述设备包括数字电视、数字直播系统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型 计算机、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝 或卫星无线电话、视频会议设备等。数字多媒体设备实现例如在由MPEG-2、MPEG-4、ITU-T H. 263或ITU-TH. 264/MPEG-4第10部分、高级视频编码（AVC)定义的标准以及这些标准的 扩展中描述的视频、音频和/或其他媒体压缩技术，以更有效地发射和接收数字多媒体信 息。
[0004] 多媒体压缩技术执行空间预测和/或时间预测以减少或移除视频序列中固有的 冗余。对于基于块的视频编码，可以将视频帧或片段（Slice)划分成块。每个块可以被进 一步划分。在帧内编码的（I)帧或片段中的块相对于相邻块使用空间预测来编码。在帧间 编码的（P或B)帧或片段中的块可以相对于同一帧或片段中的相邻块使用空间预测或相对 于其它参考帧使用时间预测。
[0005] 在多媒体数据已经被编码（例如，压缩）之后，可以将数据分组以进行传输或存 储。可以将数据组装成符合各种标准中的任何标准的文件，所述标准例如国际标准化组织 (ISO)基础媒体文件格式和其扩展，如AVC。
[0006] 为了提供诸如语音、视频、分组数据、消息传递、广播等各种通信服务，广泛地部署 了无线通信网络。这些无线网络可以是能够通过共享可用的网络资源来支持多个用户的多 址网络。这种多址网络的例子包括码分多址（CDMA)网络、时分多址（TDMA)网络、频分多址 (FDMA)网络、正交FDMA(OFDMA)网络以及单载波FDMA(SC-FDMA)网络。
[0007] 作为全球系统移动通信（GSM)和通用移动电信系统（UMTS)的演进，第三代合作 伙伴计划（3GPP)长期演进（LTE)表示蜂窝技术中的重大进展。LTE物理层（PHY)提供了 在诸如演进节点B(eNB)的基站和诸如UE的移动设备之间来传递数据和控制信息二者的 高效方式。在先前申请中，用于促进多媒体的高带宽通信的方法是单频网络（SFN)操作。 SFN利用无线发射机（例如，举例来说，eNB)与订户UE进行通信。在单播操作中，对每个 eNB进行控制，以发送携带针对一个或多个特定订户UE的信息的信号。单播信令的特异性 (specificity)使得能够实现人对人的服务，例如，举例来说，语音呼叫、文本消息传递或视 频呼叫。
【发明内容】
[0008] 概括地说，本公开内容描述了用于网络上的流媒体数据的技术。例如，本公开内容 描述了一种用于经由不同类型的传输（例如，单播、广播和/或多播中的任意传输）来接收 媒体数据的技术。例如，重定向器/代理单元可以使得应用服务客户端直接经由单播从互 联网取回媒体数据，或者当广播或多播服务可用时，从广播或多播中间件单元取回媒体数 据。可替代地，当广播或多播服务不可用时，重定向器/代理单元可以代表应用服务客户端 来取回媒体数据。当多种类型的传输可用和/或用于传递媒体数据时，可以在下面使用术 语"传输分集"。当提供商（媒体来源）和/或用于传递媒体的传输改变（例如，由重定向 器/代理单元）时，可以在下面使用术语"重定向"或"被重定向"。
[0009] 本公开内容还描述了关于缓存所取回的媒体数据的技术。例如，可以将所取回的 媒体数据存储在时移缓存器（TSB)中。本公开内容描述了用于以信号形式发送TSB的大小 的技术（例如，关于媒体内容的回放时间），使得可以分配适当量的存储器用于TSB。以这 种方式，可以在稍后的时间回放媒体数据和/或使用特技（trick)方式（例如快进或倒带） 来回放。
[0010] 在一个例子中，一种取回媒体数据的方法包括：获取映射信息，所述映射信息基于 用于取回所述媒体数据的服务，将针对所述媒体数据的标识符映射到资源位置，其中，所述 服务定义用于传输所述媒体数据的多个类型的传输中的至少一个；从应用服务客户端接收 针对所述媒体数据的请求；确定所述服务是否是可用的；以及当所述服务是可用的时，使 得所述应用服务客户端从单元接收所述媒体数据，所述单元基于所述映射信息，使用所述 服务从所述资源位置接收所述媒体数据。
[0011] 在另一个例子中，一种用于取回媒体数据的设备包括代理单元，所述代理单元被 配置为进行以下操作：获取映射信息，所述映射信息基于用于取回所述媒体数据的服务，将 针对所述媒体数据的标识符映射到资源位置，其中，所述服务定义用于传输所述媒体数据 的多个类型的传输中的至少一个；从应用服务客户端接收针对所述媒体数据的请求；确定 所述服务是否是可用的；以及当所述服务是可用的时，使得所述应用服务客户端从单元接 收所述媒体数据，所述单元基于所述映射信息，使用所述服务从所述资源位置接收所述媒 体数据。
[0012] 在另一个例子中，一种用于取回媒体数据的设备包括用于获取映射信息的单元， 所述映射信息基于用于取回所述媒体数据的服务，将针对所述媒体数据的标识符映射到资 源位置，其中，所述服务定义用于传输所述媒体数据的多个类型的传输中的至少一个；用于 从应用服务客户端接收针对所述媒体数据的请求的单元；用于确定所述服务是否是可用的 单元；以及用于当所述服务是可用的时，使得所述应用服务客户端从单元接收所述媒体数 据的单元，所述单元基于所述映射信息，使用所述服务从所述资源位置接收所述媒体数据。
[0013] 在另一个例子中，一种计算机可读存储介质具有存储于其上的指令，当所述指令 被执行时，使得处理器来执行以下操作：获取映射信息，所述映射信息基于用于取回所述媒 体数据的服务，将针对所述媒体数据的标识符映射到资源位置，其中，所述服务定义用于传 输所述媒体数据的多个类型的传输中的至少一个；从应用服务客户端接收针对所述媒体数 据的请求；确定所述服务是否是可用的；以及当所述服务是可用的时，使得所述应用服务 客户端从单元接收所述媒体数据，所述单元基于所述映射信息，使用所述服务从所述资源 位置接收所述媒体数据。
[0014] 在另一个例子中，一种处理媒体数据的方法包括：接收会话描述协议（SDP)消息， 所述SDP消息包括定义了时移缓存器（TSB)深度的属性；基于所述属性的值，确定用于所述 TSB的存储器的量；分配所确定量的存储器以形成所述TSB;以及，在所述TSB中存储与所 述SDP消息相关联的至少一部分媒体数据。
[0015] 在另一个例子中，一种用于处理媒体数据的设备包括一个或多个处理器，所述一 个或多个处理器被配置为进行以下操作：接收会话描述协议（SDP)消息，所述SDP消息包括 定义了时移缓存器（TSB)深度的属性；基于所述属性的值，确定用于所述TSB的存储器的 量；分配所确定量的存储器以形成所述TSB;以及，在所述TSB中存储与所述SDP消息相关 联的至少一部分媒体数据。
[0016] 在另一个例子中，一种用于处理媒体数据的设备包括：用于接收会话描述协议 (SDP)消息的单元，所述SDP消息包括定义了时移缓存器（TSB)深度的属性；用于基于所述 属性的值，确定用于所述TSB的存储器的量的单元；用于分配所确定量的存储器以形成所 述TSB的单元；以及，用于在所述TSB中存储与所述SDP消息相关联的至少一部分媒体数据 的单元。
[0017] 在另一个例子中，一种计算机可读存储介质具有存储于其上的指令，当所述指令 被执行时，使得处理器来执行以下操作：接收会话描述协议（SDP)消息，所述SDP消息包括 定义了时移缓存器（TSB)深度的属性；基于所述属性的值，确定用于所述TSB的存储器的 量；分配所确定量的存储器以形成所述TSB;以及，在所述TSB中存储与所述SDP消息相关 联的至少一部分媒体数据。
【附图说明】
[0018] 图1示出了用于支持传输分集的示例性系统。
[0019] 图2A-2B示出了包括重定向器/代理以支持传输分集的装置的可替代例子。
[0020] 图3示出了使用被配置为进行重定向操作的重定向器/代理的示例性过程流的方 面。
[0021] 图4示出了使用被配置为进行代理操作的重定向器/代理的方法的方面。
[0022] 图5示出了用于支持传输分集的方法的例子。
[0023] 图6示出了用于实现图5的方法的示例性装置。
[0024] 图7和图8示出了用于支持传输分集的进一步的方面。
[0025] 图9和图10是示出了用于支持实时传输协议（RTP) /实时流协议（RTSP)流式传 输的示例性多播服务设备客户端（MSDC)架构的框图。
[0026] 图11是示出了示例性演进的MBMS(eMBMS)用户服务描述（USD)模式片段的概念 图。
[0027] 图12和13是示出了示例性组件的框图，所述示例性组件用于支持针对RTSP/RTP 客户端的传输分集。
[0028] 图14A和14B是示出了用于扩展USD以携带HTTP动态自适应流媒体（DASH)传输 信息的示例性可扩展标记语言（XML)内容模型的概念图。
[0029] 图15是示出了用于支持MBMS上的DASH的示例性架构的概念图。
[0030] 图16是示出了与图15的网络架构相关联的、用于广播和单播传输上的DASH内容 传送的调用流程。
[0031] 图17是示出了用于支持MBMS上的DASH的另一示例性架构的概念图。
[0032] 图18-23是示出了与图17的网络架构相关联的、用于广播和单播传输上的DASH 内容传送的流程图。
[0033] 图24是用于根据本公开内容的技术，示出了用于以信号形式发送关于时移缓存 器（TSB)深度的示例性方法的流程图。
【具体实施方式】
[0034] 一般来说，本公开内容描述了用于通过网络支持针对各种类型的流媒体数据的传 输机制的技术，所述各种类型的流媒体数据如例如音频和/或视频数据。例如，应用服务客 户端（其也可以被称为流式传输客户端）可以被配置为与代理单元进行交互，以根据单播 协议或广播（或者多播）协议来取回媒体数据。在一些例子中，代理单元可以确定是否可 以使用广播协议来取回媒体数据，例如基于客户端设备是否在用于使用广播协议来传送媒 体数据的服务提供商的覆盖区域内，并基于所述客户端设备是否在覆盖区域内来选择广播 协议或者单播协议。客户端设备可以执行应用服务客户端和/或包括代理单元。在一些例 子中，客户端设备可以执行应用服务客户端，并且代理单元可以被包括在与客户端设备分 开的设备中。
[0035] 本公开内容的技术可以与针对流媒体数据的各种应用层协议一起使用。例如，本 公开内容的技术可以与HTTP动态自适应流媒体（DASH) -起使用，其利用HTTP来流式传输 媒体数据。作为另一个例子，本公开内容的技术可以与实时传输协议（RTP)或实时流协议 (RTSP) -起使用。在这些和其它情况下，在应用服务客户端不需要知道用于取回媒体数据 的传输机制的意义上，应用服务客户端（例如，RTP客户端、RTSP客户端或DASH客户端）可 能是传输不可知的。例如，应用服务客户端不需要知道底层传输机制是对应于单播协议还 是广播或者多播协议。
[0036] 如下面更详细讨论的，代理单元（其也可以被称为重定向器/代理单元）可以被 配置为从应用服务客户端接收请求，其中所述请求指定了某些媒体数据。代理单元可以确 定是否可以使用特定的传输机制（例如，广播协议或单播协议）来取回媒体数据。代理单 元随后可以使得应用服务客户端使用传输机制中的一种（基于可用性、偏好、可靠性和/或 其它因素）来接收媒体数据。例如，如果广播协议比单播协议更优选，则该广播协议是可用 的，代理单元可以使得应用服务客户端经由广播协议来接收媒体数据，而如果广播协议不 可用，则代理单元可以使得应用服务客户端经由单播协议来接收所述媒体数据。
[0037] 作为一个例子，对于DASH，媒体数据可能作为广播和/或单播服务从一个或多个 服务器（例如，广播服务器和单播服务器）可用的。DASH客户端可以从代理单元（而不是 服务）接收针对媒体数据的修改的媒体表达描述（MPD)，其指示该媒体数据是可用的。当 DASH客户端向代理单元发送针对媒体数据的请求时，代理单元可以确定是单播协议还是广 播协议可用于取回所请求的媒体数据。如果广播协议是可用的，则广播接收单元（例如，多 媒体广播多播服务（MBMS)或演进的MBMS(eMBMS)中间件单元）可以接收媒体数据，并且代 理单元可以使得DASH客户端向广播接收单元发送针对媒体数据的请求。另一方面，如果广 播协议是不可用的，则代理单元可以使得DASH客户端向单播服务器发送针对媒体数据的 请求，以使用单播来取回媒体数据。可替换地，代理单元可以从单播服务器取回媒体数据， 然后向DASH客户端提供所取回的媒体数据。在一些例子中，单播服务器和广播服务器可以 对应于相同的服务器。
[0038] 作为另一个例子，对于RTP或RTSP，RTP客户端（可替代地，其可以对应于RTSP客 户端）可以向代理单元提交DESCRIBE、SETUP和PLAY命令。响应于DESCRIBE命令，代理单 元可以向RTP客户端提供修改的的会话描述协议（SDP)消息。该修改的SDP消息可以指定 代理单元的地址作为该媒体数据从此处可用的地址。该修改的SDP消息可以使得RTP客户 端向代理单元发送SETUP和PLAY命令。当代理单元确定了广播协议是可用的，则代理单元 可以向广播接收单元（例如，MBMS或eMBMS中间件单元）发送SETUP和PLAY命令，该广播 接收单元可以接收该媒体数据并向RTP客户端转发媒体数据。另一方面，当代理单元确定 了广播协议不可用，则代理单元可以从单播服务器取回媒体数据，然后向RTP客户端提供 所取回的媒体数据。
[0039] 在一些例子中，用于执行本公开内容的技术的组件可以包括应用服务客户端、代 理单元和广播接收单元。在各种例子中，客户端设备可以包括这些组件中的任意组件或全 部组件、单独组件或其任何组合。可替代地，客户端设备可以包括应用服务客户端，而代理 单元和/或广播接收单元可被包括在与客户端设备分离的一个或多个设备中。
[0040] 此外，本公开内容还描述关于以信号形式发送针对时移缓存器（TSB)的数据的技 术。客户端设备（在此也称为"用户设备"）可以分配存储以形成TSB，所述TSB用于保持 媒体数据，以支持各种特技模式，例如快进、倒带、重放等。在一般情况下，特技模式可以指 的是媒体数据以定义的输出顺序之外的顺序或速率来回放媒体数据的回放模式。例如，在 快进中，可以跳过某些媒体数据。作为另一实例，在倒带中，可以反转针对媒体数据的输出 顺序，并且可以跳过某些媒体数据。例如，对于视频数据，为了跳过媒体数据，仅显示使用帧 内编码模式编码的画面而跳过帧间编码图像。
[0041] 根据本公开内容的技术，可以在例如，SDP消息中以信号形式发送数据，用于实例 化TSB。例如，可以利用以秒为单位的值来以信号形式发送TSB属性，所述值定义了可以存 储在TSB中的媒体数据的量。客户端设备可以基于所述TSB属性的值来计算TSB所需要的 存储器的量。以视频数据为例，这种计算可能涉及媒体数据中的视频数据的帧速率。客户 端设备可以基于每个图像的数据的平均量、一段时间中（基于帧速率）的图片的数量和由 TSB属性所定义的时间长度，来计算用于TSB的存储器大小。同样地，客户端设备还可以确 定针对该时间段，音频数据、文本数据或其它数据或媒体所需的存储器的量。因此，客户端 设备可以向用于存储存储媒体数据的TSB分配该数据以执行特技模式。此外，客户端设备 可以针对经由广播协议（例如MBMS或eMBMS)接收到的数据来执行特技模式。
[0042] 换句话说，在一些例子中，本公开内容的技术包括中间件架构，其用于支持演进的 多媒体广播多播服务（eMBMS)网络上的实时协议/实时流协议（RTP/RTSP)流式传输的特 征。这些功能包括时移缓存器和传输分集（例如，针对内容传递的单播对多播切换或反之 亦然）。对于时移缓存器（TSB)特征，该架构可以支持会话描述协议（SDP)的扩展，以包括 以信号形式发送缓存器深度的数据。作为传输分集特征的一个例子，本公开内容提出了一 种架构，在所述架构中，消耗内容的应用不需要知道从单播到广播（或反之亦然）的传输切 换的详细情况，因为该切换可以在中间件级别来管理。
[0043] 在HTTP流式传输中，经常使用的操作包括GET和部分GET。GET操作请求与给定 的统一资源标识符（URI)(例如，URL或URN)相关联的整个文件的取回。部分GET操作请 求资源的字节范围（子集）的取回。因此，针对HTTP流式传输，可以提供视频片段，这是因 为GET或部分GET操作可以取回一个或多个单独的视频片段。在视频片段中，可能存在不 同轨道的若干轨道片段。在HTTP流式传输中，媒体表达可以是客户端可访问的数据的结构 化集合。客户端可以请求并下载媒体数据信息以向用户表达流式传输服务。
[0044] 在使用HTTP流式传输DASH数据的例子中，针对多媒体内容的视频和/或音频数 据，可能存在多种表示（representation)。这种表示的清单（manifest)可以在媒体表达描 述（MPD)数据结构中定义。媒体表达可以对应于HTTP流式传输客户端可访问的、设备数据 的结构化集合。HTTP流式传输客户端设备可以请求和下载媒体数据信息，以向客户端设备 的用户表达流式传输服务。可以以MH)数据结构来描述媒体表达，其可以包括MH)的动态 更新。
[0045] 媒体表示可以包含一个或多个时段的序列。可以在MPD中，由period单元来定义 时段。在MPD中，每个时段可以具有属性start。该MPD可以包括针对每个时段的start 属性和availablityStartTime属性。对于实时服务，所述时段的start属性和MPD属性 availableStartTime的总和可以以UTC格式指定时段的可用时间，特别是每一个时段中的 每个表示的第一媒体段（Segment)。对于按需服务，第一时段的start属性可能是0。对于 任何其他时段，start属性可以指定对应时段的开始时间相对于第一时段的开始时间之间 的时间偏移。每个时段可以延长，直到下一个时段的开始，或者在最后时段的情况下，直到 媒体表达的结束。时段的开始时间可能是准确的。它们可能反映了从播放所有前期时段的 媒体所造成的实际时序。
[0046] 每个时段可以包含针对相同媒体内容的一个或多个表示。一种表示可以是音频、 视频或其它数据的数种可替代编码版本中的一个。该表示可以由于编码类型而不同，例如， 比特率、分辨率和/或针对视频数据和比特率、语言和/或针对音频数据的编解码。术语表 示可以用来指编码的音频或视频数据或其它媒体或数据的段，其对应于所媒体内容的具体 时段，并以具体的方式被编码。
[0047] 具体段的表示可以被分配给组，所述组由MPD中的group属性所指示。同一组中 的表示通常被认为是相互可替代的。例如，可以将具体时段的视频数据的每个表示分配给 相同的组，使得所述表示中的任何表示可以被选择用于解码，以显示针对相应时段的多媒 体内容的视频数据。在