用信号表示片段的特性以用于媒体数据的网络流式传输的制作方法

用信号表示片段的特性以用于媒体数据的网络流式传输的制作方法
【专利摘要】从服务器检索视频数据，在所述视频数据的检索期间，客户端装置接收指示多媒体内容的表示的位速率的信息。另外，所述客户端装置接收指示所述表示的片段的优先级值的信息。所述片段对应于所述表示的特定时间区段。所述客户端装置基于所述片段的所述优先级值和所估计通过量请求所述片段中的选定者。在一些例子中，所述客户端装置根据例如经由HTTP的动态自适应流式传输DASH等自适应流式传输网络协议请求所述片段。
【专利说明】用信号表示片段的特性以用于媒体数据的网络流式传输
[0001]本申请案主张2011年9月21日申请的第61 / 537，407号美国临时专利申请案的权益，所述临时专利申请案的全部内容以引用的方式并入本文中。
【技术领域】
[0002]本发明涉及媒体数据的网络流式传输。
【背景技术】
[0003]已开发出许多技术来经由通信网络流式传输媒体数据。这些技术包含超文本传送协议流式传输(HTTP流式传输)，例如经由HTTP的动态自适应流式传输(DASH)。在DASH中，多媒体内容以多种不同方式编码，从而产生多媒体内容的不同表示。所述表示的每一者划分为一系列片段。所述片段含有表示多媒体内容的样本的数据。举例来说，片段的每一者可表示多媒体内容的样本的不同三秒序列。片段的每一者可具有不同统一资源定位符(URL)。
[0004]在DASH中，客户端装置接收描述多媒体内容的各种表示的特性的清单文件(manifest file)。清单文件可含有指示所述表示的片段的URL的信息。为从服务器装置流式传输多媒体内容的数据，客户端随时间将例如GET或部分GET请求等请求发送到服务器。所述请求指定如清单文件中指示的特定表示的片段的URL。当客户端装置从服务器装置接收片段时，客户端装置处理所述片段(例如，解码并再现片段的经译码视频数据)以呈现所述片段表示的媒体内容的样本。

【发明内容】

[0005]大体来说，本发明的技术针对当将多媒体内容的数据经由网络从服务器装置流式传输到客户端装置时提供并使用信息来改进用户体验。以各种位速率编码多媒体内容的各个表示。较高位速率表示可提供相对较高回放质量，而较低位速率表示可提供较有效带宽利用率。内容准备装置形成所述表示。另外，内容准备装置可产生信令多媒体内容的片段的优先级的优先级值。在一些实例中，特定片段的优先级值指示客户端装置应向相对较高还是较低位速率表示请求片段的数据。以此方式，客户端装置可获得描述各个表示的优先级的信息，且基于优先级确定从其检索多媒体内容的片段的表示。
[0006]在一个实例中，本发明描述一种用于处理视频数据的方法。所述方法包括确定所估计通过量。所述方法还包括至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上。所述表示包含以不同位速率编码的视频数据，片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段。所述方法还包括处理所述一个或一个以上选定片段。
[0007]在另一实例中，本发明描述一种包括一个或一个以上处理器的计算装置，所述一个或一个以上处理器经配置以确定所估计通过量。所述一个或一个以上处理器经配置以至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上。所述表示包含以不同位速率编码的视频数据，片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段。所述一个或一个以上处理器还经配置以处理所述一个或一个以上选定片段。
[0008]在又一实例中，本发明描述一种包括用于确定所估计通过量的装置的计算装置。所述计算装置还包括用于至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上的装置。所述表示包含以不同位速率编码的视频数据，片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段。另外，所述计算装置还包括用于处理所述一个或一个以上选定片段的装置。
[0009]在又一实例中，本发明描述一种上面存储有指令的计算机可读存储媒体，所述指令当执行时致使处理器确定所估计通过量。所述指令还致使处理器至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上。所述表示包含以不同位速率编码的视频数据，片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段。所述指令还致使处理器处理所述一个或一个以上选定片段。
[0010]在又一实例中，本发明描述一种用于经由自适应流式传输网络协议提供视频数据的方法。所述方法包括发送指示片段的优先级值的信息。片段的每一者可个别检索。所述片段对应于多媒体内容的表示的特定时间区段。多媒体内容的表示的每一者包含以不同位速率编码的视频数据。另外，所述方法包括响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段，所述所请求的片段是所述请求指定的片段中的片段。
[0011]在又一实例中，本发明描述一种包括一个或一个以上处理器的计算装置，所述一个或一个以上处理器经配置以发送指示片段的优先级值的信息。片段的每一者可个别检索。所述片段对应于多媒体内容的表示的特定时间区段。多媒体内容的表示的每一者包含以不同位速率编码的视频数据。所述一个或一个以上处理器还经配置以响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段。所述所请求的片段是所述请求指定的片段中的片段。
[0012]在又一实例中，本发明描述一种包括用于发送指示片段的优先级值的信息的装置的计算装置。片段的每一者可个别检索。所述片段对应于多媒体内容的表示的特定时间区段。多媒体内容的表示的每一者包含以不同位速率编码的视频数据。所述计算装置还包括用于响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段的装置。所述所请求的片段是所述请求指定的片段中的片段。
[0013]在又一实例中，本发明描述一种上面存储有指令的计算机可读存储媒体，所述指令当执行时致使处理器发送指示片段的优先级值的信息。片段的每一者可个别检索。所述片段对应于多媒体内容的表示的特定时间区段。多媒体内容的表示的每一者包含以不同位速率编码的视频数据。指令的执行还致使计算装置响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段。所述所请求的片段是所述请求指定的片段中的片段。
[0014]本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。【专利附图】

【附图说明】
[0015]图1是说明实例系统的概念图，其中客户端装置经由网络与服务器装置通信以向用户呈现媒体内容。
[0016]图2是说明包括帧的实例视频的概念图。
[0017]图3是说明服务器装置的实例配置的框图。
[0018]图4是说明用以准备供检索的媒体源的实例操作的流程图。
[0019]图5是说明客户端装置的实例配置的框图。
[0020]图6是说明由客户端装置执行以向用户呈现媒体内容的实例操作的流程图。
[0021]图7是说明由客户端装置执行以选择用于即将到来的时间周期的片段组合的实例操作的流程图。
[0022]图8是说明由客户端装置执行以选择用于即将到来的时间周期的片段组合的实例操作的流程图。
[0023]图9是说明实例计算装置的框图。
【具体实施方式】
[0024]大体来说，本发明的技术针对当将多媒体内容的数据经由网络流式传输时提供并使用信息来改进用户体验。内容递送系统的装置可将多媒体内容的各个表示组合以提供客户端装置的各种解码和再现能力。举例来说，内容准备装置可产生具有各种屏幕大小、二维、三维或多视图回放、帧速率、用于屏幕上呈现的隐藏式字幕或其它文本的各种语言、符合各种简档和/或层级的各种标准的解码器或其它特性的装置的表示。此外，内容准备装置可以各种位速率编码具有类似译码和再现特性的表示的集合，以适应网络带宽可用性方面的波动。以此方式，客户端装置可确定适于客户端装置的解码和再现能力的表示的集合，确定网络带宽的可用量，且请求来自所确定集合中的表示的一者的数据。
[0025]根据本发明的技术，内容准备装置可以多媒体内容的各个时间区段的优先级值的形式向客户端装置提供提示信息。举例来说，内容准备装置可提供每一表示的每一片段或多媒体内容的时间区段(例如，子片段)的优先级值。所述优先级值可通常指示多媒体内容的特定时间区段的较高质量视频数据的相对重要性。另外或作为替代，优先级值可指示选择来自高位速率表示的片段与来自低位速率表示的片段之间的相对量的质量差。
[0026]客户端装置可经配置以当确定所请求的用于多媒体内容的特定时间区段的片段来自于的表示时，除确定可用带宽的量外，还分析优先级值。以此方式，客户端装置可经配置以向用户提供更令人满意的用户体验。举例来说，客户端装置可确定用于多个即将到来的片段的可用网络带宽的量。代替于向可由经确定在即将到来的片段上可用的带宽满足的最高位速率表示请求数据，客户端装置可经配置以向较低位速率表示请求具有相对低优先级的片段，且向较高位速率表示请求具有相对高优先级的片段。以此方式，客户端装置可针对高优先级时间区段接收比原本会接收到的视频数据具有相对较高质量的视频数据，且可针对低优先级时间区段接收在位速率方面更有效率的数据。
[0027]【专利附图】

【附图说明】本发明中描述的技术的实例。附图中由参考数字指示的元件对应于以下描述中由相同参考数字指示的元件。在附图中，椭圆形指示存在类似于由所述椭圆形分隔的元件的一个或一个以上元件。此外，附图中的堆叠元件指示存在一个或一个以上类似元件。类似元件的参考数字上的字母后缀不希望指示存在特定数目的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等)开头的名称的元件不一定暗示所述元件具有特定次序。而是，此类序数词仅用于指代类似元件。
[0028]图1是说明实例系统100的概念图，其中客户端装置102经由网络106与服务器装置104通信，以向用户108呈现媒体内容的数据。客户端装置102和服务器装置104分别包括一个或一个以上计算装置。客户端装置102和服务器装置104可包括各种类型的计算装置。举例来说，图1将客户端装置102说明为膝上型计算机。在其它实例中，客户端装置102可包含桌上型计算机、平板计算机、智能电话、电视机顶盒、车载计算机、视频游戏机、个人媒体播放器，或另一类型的计算装置。此外，图1的实例将服务器装置104说明为独立服务器装置。在其它实例中，服务器装置104可包括一个或一个以上刀片式服务器装置、桌上型计算机、主计算机，和/或其它类型的计算装置。
[0029]网络106可促进客户端装置102与服务器装置104之间的通信。网络106可包括一组计算装置以及所述计算装置之间的通信链路。网络106可包含各种类型的计算装置。举例来说，网络106可包含路由器、桥接器、高速缓冲存储器系统、内容递送系统、防火墙装置、集线器，和其它类型的中间网络装置。在一些实例中，网络106包括因特网。此外，在一些实例中，网络106包括局域网。
[0030]网络106可以给定带宽在客户端装置102与服务器装置104之间发射数据。举例来说，网络106可能够以7兆位/秒(Mbps)的带宽将数据从服务器装置104发射到客户端装置102。给定带宽可在一些情形下改变。举例来说，如果网络106归因于高流量水平而变得拥塞，那么网络106能够将数据从服务器装置104发射到客户端装置102的速率可从7Mbps下降到5Mbps。在此实例中，网络106能够将数据从服务器装置104发射到客户端装置102的速率可稍后从5Mbps增加到8Mbps，等等。
[0031]用户可出于各种目的使用客户端装置102。举例来说，用户可将客户端装置102用于工作、家庭用途、娱乐或其它目的。用户可选择在使用客户端装置102的同时查看多媒体内容(通常也称为媒体内容)。举例来说，用户可与客户端装置102执行的网络浏览器应用程序或其它应用程序交互以请求查看多媒体内容。在此实例中，多媒体内容可由服务器装置104存储。作为一实例，用户可选择通过选择多媒体内容的超链接而查看媒体内容。多媒体内容可包含连续媒体。连续媒体可为具有固有时间概念的媒体。举例来说，媒体内容可包含视频流、音频流、语音流或另一类型的媒体。
[0032]媒体内容可包括时间序列。如DASH标准中界定，时间序列可包含一个或一个以上周期。所述周期的每一者是媒体内容的时间区段。在各个实例中，媒体内容的时间区段具有各种时间长度。举例来说，媒体内容的周期可对应于10秒与60秒之间的时间长度。
[0033]服务器104可存储所述周期的每一者的多个表示。所述表示的每一者可具有特定特性，例如适应客户端装置的各种译码和/或再现能力，以及在各种位速率下译码。服务器装置104可存储具有共同译码和再现特性但不同位速率的表示的集合，其中此表示的集合可形成自适应集合。自适应集合的表示可以不同位速率译码。举例来说，媒体内容的周期的第一表示可以3.0Mbps的位速率译码。在此实例中，所述周期的第二表示可以1.5Mbps的位速率译码。在此实例中，所述周期的第三表示可以500千位/秒(Kbps)的位速率译码。
[0034]所述表不的每一者划分为一个或一个以上片段，表不的片段的每一者对应于所述表示的不同时间区段。在各个实例中，所述片段可对应于具有各种时间长度的时间区段。举例来说，表示的片段的每一者可对应于具有近似2秒回放持续时间的表示的时间区段。在其它实例中，片段和周期可具有更短或更长的时间回放持续时间。
[0035]片段的每一者可包含表示媒体内容的经译码样本的序列的数据。对应于片段的时间区段包含所述片段所表示的经译码样本的序列。举例来说，片段的每一者可表示帧、切片、图片群组，或视频数据的其它经译码单元的序列。在此实例中，如果视频的帧根据从O开始的帧编号值编索引，那么视频的第一片段可表示帧编号O到74，视频的第二片段可表示帧编号75到149，视频的第三片段可表示帧编号150到224，等等。在另一实例中，如果媒体内容包含视频流，那么片段的每一者可表示视频样本的序列。客户端装置102可使用片段中的数据回放所述片段所表示的样本的序列。
[0036]在其中媒体内容包含视频数据的实例中，片段的每一者可包含在经译码网络抽象层(NAL)单元的序列中。NAL单元当解码时形成视频帧。帧的每一者可包括静态图像。当客户端装置102向用户108呈现视频时，客户端装置102快速连续地(例如，25帧/每秒(fps))向用户108显示帧。当客户端装置102快速连续地显示帧时，用户108可感知帧中的对象在运动中。在其中媒体内容包含音频流的实例中，媒体内容可包含音频样本的序列。当客户端装置102呈现音频流时，客户端装置102可将音频样本转换为声波。
[0037]根据DASH的技术，多媒体内容的周期的片段可(但不一定)时间上对准。当片段在一周期内时间上对准时，所述周期的表示的每一者可包含对应于周期内的相同时间区段的片段。即，当片段时间上对准时，所述周期的每一表示的第η片段可对应于相同时间区段。不同表示的片段可时间上对准。举例来说，媒体内容可包含片段对准旗标，其指示对于两个表示X和Y，X的第m片段是否可与Y的第η片段重叠，其中m不等于η。
[0038]为方便阐释，本发明使用术语“片段群组”指代表示媒体内容的相同时间区段的片段。对应于媒体内容的不同时间区段的片段在不同片段群组中。即，片段群组可包含当多媒体内容的周期的片段时间上对准时所述周期的每一表示的第η片段。
[0039]根据本发明的技术，媒体内容的片段、片段群组或时间区段的每一者与优先级值相关联。服务器装置104可向媒体内容的片段、片段群组或时间区段指派优先级值。服务器装置104可提供例如清单文件、片段索引框或经译码媒体流中的另一元数据框等数据结构，其包含指示片段或片段群组的优先级值的信息。在各个实例中，片段以各种方式与优先级值相关联。举例来说，可向每一表示的每一片段指派单独优先级值。在另一实例中，可向媒体内容的每一片段群组或时间区段指派单独优先级值。在此实例中，给定片段群组中的片段的每一者(即，表示媒体内容中的给定时间区段的片段的每一者)可与同一优先级值相关联。
[0040]优先级值可通常指示在特定时间区段处检索媒体内容的数据的高质量版本的相对重要性。举例来说，高优先级值可指示对于对应的时间区段，客户端装置102应试图检索所述时间区段的数据的相对高质量版本(例如，来自相对高位速率表示的片段)。作为另一实例，低优先级值可指示对于对应的时间区段，客户端装置102将不会由于检索所述时间区段的数据的较低质量但较带宽有效版本而经历用户体验的很大降级。以此方式，优先级值可提供在存在足够可用带宽以从相对较高位速率表示检索至少一些片段但不存在足够可用带宽以从最高位速率表示检索所有片段的情况下客户端装置102可用来选择来自媒体内容的表示的片段的信息。
[0041]客户端装置102可例如通过检索媒体内容的清单文件而接收指示与片段相关联的优先级值的信息。另外，客户端装置102可例如通过检索媒体内容的清单文件而接收指示片段的位速率的信息。随后，客户端装置102可执行在媒体内容的每一周期内选择每一片段群组的片段的选择操作。在选择操作期间，客户端装置102可估计客户端装置102能够接收来自服务器104的片段时所处的带宽。此外，在选择操作期间，客户端装置102可基于所估计的带宽以及针对片段和/或片段群组相关联的优先级值选择片段。在一些实例中，客户端装置102可基于所估计的带宽、与片段相关联的优先级值以及另外回放缓冲器中视频数据的当前回放持续时间选择片段。举例来说，客户端装置102可针对即将到来的时间周期选择片段组合。在此实例中，片段组合可包含在即将到来的时间周期中来自每一片段群组的一个片段。在此实例中，客户端装置102可选择片段组合中的片段使得选定片段的累积位速率不实质上大于所估计带宽。在另一实例中，客户端装置102可选择片段组合中的片段使得选定片段的所估计传送时间小于或等于选定片段的回放持续时间加上回放缓冲器中视频数据的当前回放持续时间。在此实例中，选定片段的所估计传送时间可基于选定片段中位的总数和所估计带宽或其它所估计通过量。此外，在此实例中，客户端装置102可基于即将到来的时间周期的片段群组中片段的优先级值选择片段。所估计带宽可为服务器装置104能够向客户端装置102提供数据所处的带宽的估计值。
[0042]通过基于所估计带宽、优先级值以及(在一些实例中)回放缓冲器中视频数据的当前回放持续时间来选择片段，客户端装置102可能够在给定所估计带宽的情况下相对于简单地仅基于与可用带宽相比一个表示的位速率仅选择所述一个表示，而选择提供改进的用户体验的片段。如本发明中其它地方所描述，客户端装置102可使用优先级值选择片段且可以各种方式产生所估计带宽。
[0043]客户端装置102可根据自适应流式传输网络协议请求选定片段。自适应流式传输网络协议可允许自适应地改变选定片段的位速率。在各个实例中，客户端装置102可以各种方式请求选定片段。举例来说，客户端装置102可通过将片段请求消息发送到服务器装置104而请求选定片段。片段请求消息可包括如HTTP / 1.1(RFC2616)中指定的GET或部分GET请求。客户端装置102可使用GET请求检索与给定统一资源定位符(URL)或统一资源名称(URN)相关联的整个文件。部分GET请求可类似于GET请求，只是客户端装置可将字节范围指定为到GET请求的输入参数以检索请求指定的文件的对应于部分GET请求中指定的字节范围的文件的连续数目的字节。因此，可提供电影碎片用于网络流式传输，因为客户端装置102可提交部分GET请求以检索片段的一个或一个以上个别电影碎片。
[0044]当客户端装置102请求选定片段时，服务器装置104可将选定片段的副本发送到客户端装置102。当客户端装置102接收片段的副本时，客户端装置102可解码并再现片段的副本以产生片段表示的样本。客户端装置102可接着输出所述样本。举例来说，如果媒体内容包含音频流，那么客户端装置102可通过将样本转换为声波而输出样本。同样，如果媒体内容包含视频数据，那么客户端装置102可以特定帧速率输出样本作为经重建图片。以此方式，通过发送片段请求消息并处理响应于片段请求接收的片段，客户端装置102可从服务器装置104检索媒体内容的数据。此外，通过随时间周期性发送片段请求消息，客户端装置102可从服务器装置104流式传输媒体内容的数据。[0045]因此，本发明的技术可适用于例如根据经由HTTP的动态自适应流式传输(DASH)的网络流式传输协议(例如，HTTP流式传输)。在使用DASH流式传输媒体数据的实例中，可存在多媒体内容的视频和/或音频数据的多个表示。此类表示的清单可在媒体呈现描述(MPD)数据结构中界定。媒体呈现可对应于HTTP流式传输客户端装置(例如，客户端装置102)可存取的数据的结构化集合。HTTP流式传输客户端装置可请求并下载媒体数据信息以向客户端装置的用户呈现流式传输服务。媒体呈现可在Mro数据结构中描述，Mro数据结构可包含MPD的更新。
[0046]媒体内容可含有一个或一个以上周期的序列。周期可由MPD中的周期元素界定。每一周期可具有MPD中的属性开始。MPD可包含每一周期的开始属性和可用开始时间属性。对于实况服务，周期的开始属性和MPD属性可用开始时间的总和可以UTC格式指定周期的可用性时间，特定来说对应周期中的每一表示的第一媒体片段。对于按需服务，第一周期的开始属性可为O。对于任何其它周期，开始属性可指定对应周期的开始时间相对于第一周期的开始时间之间的时间偏移。每一周期可延长直到下一周期的开始，或在最后周期的情况下直到媒体内容的结束。周期开始时间可为精确的。其可反映由于播放所有先前周期的媒体而产生的实际定时。
[0047]每一周期可含有相同媒体内容的一个或一个以上表不。表不可为音频或视频数据的若干替代经编码版本的一者。所述表示可依据编码类型(例如，依据位速率、分辨率，和/或针对视频数据和位速率的编解码器、语言，和/或针对音频数据的编解码器)而不同。术语表示可用于指代经编码音频或视频数据的对应于多媒体内容的特定周期且以特定方式编码的区段。
[0048]可向MPD中的群组属性指示的群组指派特定周期的表示。同一群组中的表示通常视为彼此的替代。举例来说，可向同一群组指派特定周期的视频数据的每一表示，使得所述表示的任一者可经选择用于解码以显示对应周期的多媒体内容的视频数据。一个周期内的媒体内容可由来自群组0(如果存在)的一个表示或来自每一非零群组的至多一个表示的组合(在一些实例中)表示。周期的每一表示的定时数据可相对于周期的开始时间表达。
[0049]表不可包含一个或一个以上片段。每一表不可包含初始化片段，且表不的每一片段可自行初始化。当存在时，初始化片段可含有用于存取所述表示的初始化信息。通常来说，初始化片段不含有媒体数据。片段可由例如URL、URN或统一资源识别符(URI)等识别符唯一地表示。MH)可提供每一片段的识别符。在一些实例中，MH)还可以范围属性的形式提供字节范围，其可对应于URL、URN或URI可存取的文件内的片段的数据。
[0050]在H.264 / AVC(先进视频译码)的实例中，经译码视频样本组织为网络抽象层(NAL)单元，其提供例如视频电话、存储、广播或流式传输等“网络友好”视频表示寻址应用。NAL单元可分类为视频译码层(VCL) NAL单元和非VCL NAL单元。VCL单元可含有核心压缩引擎且可包含块、宏块和/或切片层级数据。其它NAL单元可为非VCL NAL单元。在一些实例中，一个时间例项中的经译码图片(通常呈现为初级译码图片)可包含在存取单元中，所述存取单元可包含一个或一个以上NAL单元。
[0051]非VCL NAL单元可包含参数集NAL单元和补充增强信息(SEI)NAL单元以及其它。参数集可含有序列层级标头信息(在序列参数集(SPS)中)和图片层级标头信息(在图片参数集(PPS)中)。在参数集(例如，PPS和SPS)的情况下，不需要针对每一序列或图片重复不经常改变的信息，因此可改进译码效率。此外，参数集的使用可实现重要标头信息的频带外发射，从而避免需要冗余发射来实现错误恢复。在频带外发射实例中，参数集NAL单元可在与其它NAL单元(例如，SEI NAL单元)不同的信道上发射。
[0052]SEI NAL单元可含有SEI消息。SEI消息可包含对于解码来自VCL NAL单元的经译码图片是不必要的但可辅助与解码、显示、错误恢复和其它目的相关的过程的信息。SEI消息可包含在非VCL NAL单元中。SEI消息是一些标准规格的规范部分，且因此对于标准兼容解码器实施方案并非始终具有强制性。SEI消息可为序列层级SEI消息或图片层级SEI消息。一些序列层级信息可包含在SEI消息中，例如SVC的实例中的可缩放性信息SEI消息和MVC中的视图可缩放性信息SEI消息。这些实例SEI消息可传递关于例如操作点的提取和操作点的特性的信息。
[0053]每一表示可包含一个或一个以上媒体组件，其中每一媒体组件可对应于一种个别媒体类型(例如，音频、视频或定时文本(例如，用于隐藏式字幕))的经编码版本。媒体组件可跨越一个表示内的连续媒体片段的边界为时间连续的。
[0054]与许多视频译码标准一样，H.264 / AVC界定无错位流的语法、语义和解码过程，其任一者遵循特定简档或层级。H.264 / AVC不指定编码器，但编码器负责保证所产生的位流对于解码器是标准兼容的。在视频译码标准的上下文中，“简档”对应于算法、特征或工具的子集以及施加到其的约束。如H.264标准所界定，举例来说，“简档”是由H.264标准指定的整个位流语法的子集。“层级”对应于解码器资源消耗(例如，解码器存储器和计算)的限制，其与图片的分辨率、位速率和块处理速率相关。简档可以profilejdc (简档指示符)值用信号发出，而层级可以leVel_idc (层级指示符)值用信号发出。
[0055]举例来说，H.264标准辨识在给定简档的语法所强加的限制内，可能仍有可能需要编码器和解码器的性能的较大变化(取决于位流中的语法元素所取的值，例如经解码图片的指定大小)。H.264标准进一步辨识在许多应用中，实施能够处理特定简档内的语法的所有假设用途的解码器既不可行也不经济。因此，H.264标准将“层级”界定为强加于位流中的语法元素的值的约束的指定集合。这些约束可为对值的简单限制。或者，这些约束可采取对值的算术组合的约束的形式(例如，图片宽度乘以图片高度乘以每秒解码的图片数目)。
H.264标准进一步规定，个别实施方案可支持每一所支持简档的不同层级。因此，可提供媒体内容的各个表示以考虑各种装置的解码器所支持的视频译码标准的各个简档和层级。
[0056]遵循简档的解码器通常支持简档中界定的所有特征。举例来说，作为译码特征，B图片译码在H.264 / AVC的基线简档中不支持但在H.264 / AVC的其它简档中支持。遵循层级的解码器应能够解码不需要超出层级中界定的限制的资源的任何位流。简档和水平的定义可有助于可解释性。举例来说，在视频发射期间，可针对整个发射会话协商并约定一对简档和层级定义。更特定来说，在H.264 / AVC中，层级可界定例如对需要处理的宏块(也称为“块”或“MB”)的数目、经解码图片缓冲器(DPB)大小、经译码图片缓冲器(CPB)大小、垂直运动向量范围、每两个连续MB的运动向量的最大数目以及B块是否可具有少于8x8像素的子宏块分区的限制。以此方式，解码器可确定解码器是否能够适当解码位流，例如多媒体内容的特定表示。
[0057]图2是说明包括帧200A到200P(统称为“帧200”)的实例视频的概念图。在此实例中，帧200的每一者包括静止图像。当客户端装置102连续呈现帧200时，用户108可感知帧200中的对象在运动中。
[0058]帧200属于样本序列202A到202D(统称为“样本序列202”)。在图2的实例中，样本序列202的每一者说明为单独行。样本序列202的每一者可对应于多媒体内容的相应时间区段。视频的每一表示可包含表示样本序列202A的片段、表示样本序列202B的片段、表示样本序列202C的片段，以及表示样本序列202D的片段。在图2的实例中，样本序列202各自包含四个帧。读者将理解，视频的样本序列可包含多于或少于四个帧。
[0059]视频的不同片段可包含不同类型的场景。举例来说，在图2的实例中，视频展示自行车比赛。样本序列202A和202B包含人踩自行车的场景。样本序列202C包含解说员坐在桌旁描述比赛的场景。样本序列202D包含如从在比赛上空徘徊的直升飞机所见的比赛的场景。
[0060]在一些类型的场景中，每一帧与前一帧相比的变化极小。为方便阐释，本发明可将此类场景称为低动作场景。在其它类型的场景中，每一帧与前一帧显著不同。为方便阐释，本发明可将此类场景称为高动作场景。在图2的实例中，样本序列202C表示含有解说员说话的相对静止图像的低动作场景。因此，样本序列202C中的每一帧与前一帧相比的变化极小。相比之下，样本序列202A和202B含有展示人踩自行车的快速运动的高动作场景。因此，样本序列202A和202B中的每一巾贞与前一巾贞显著不同。
[0061]片段包含使用编码格式编码的数据。举例来说，如果媒体内容为视频，那么片段可包含使用H.264 / AVC格式、VC-2格式、MPEG-4部分2格式、H.263格式或另一视频译码格式编码的数据。在此类编码格式中，可与在给定最大失真水平下表示低动作场景中的帧可需要的位数目相比需要更大数目的位在所述相同给定最大失真水平下表示高动作场景中的帧。换句话说，可需要较高位速率在最大失真水平下呈现高动作场景，而较低位速率可足以在所述相同最大失真水平下呈现低动作场景。举例来说，可需要较高位速率在给定最大失真水平下表示样本序列202A和202B中的高动作场景，而较低位速率可足以在所述给定最大失真水平下表示样本序列202C和202D中的低动作场景。
[0062]在其中媒体内容为音频流的实例中，片段可表示使用MP3格式、Vorbis格式、先进音频译码(AAC)、Windows媒体音频(WMA)、数字语音标准(DSS)或另一音频译码格式编码的样本。在此类编码格式中，可与表示代表较少频率的样本的系列可需要的位数目相比需要更大数目的位来表示代表许多频率的样本的系列。
[0063]所估计带宽可表示关于服务器装置104可将多少数据传送到客户端装置102的上限。因此，带宽可能不足够好以致能够在不引起回放的中断的情况下仅传送具有最高位速率的片段。举例来说，给定表示中的片段的每一者可对应于持续三秒的媒体内容的时间区段，且可具有3.0Mbps的位速率。在此实例中，即将到来的时间周期可包含四个片段群组。因此，在此实例中，即将到来的时间周期持续12秒。如果所估计带宽为1.75Mbps，那么在这12秒期间21.0兆位可传送到客户端装置102。相比之下，如果传送具有3.0Mbps位速率的四个片段，那么将传送36.0兆位。
[0064]如上文论述，可与相同最大失真水平下的低动作场景相比需要较高位速率来表示高动作场景。因为在与即将到来的时间周期相关联的时间期间仅可传送有限量的数据，所以客户端装置102可使用所估计带宽以及片段的优先级值来选择待包含在组合中的片段。所述组合可包含具有高位速率的一些片段和具有较低位速率的一些片段。客户端装置102可使用与片段相关联的优先级值选择一组合，在所述组合中，表示高动作场景的片段具有较高位速率，且其中表示低动作场景的片段具有较低位速率。以此方式，可减小组合中的片段表示的帧的总体失真水平。
[0065]举例来说，客户端装置102可选择即将到来的时间周期的片段群组中的片段的组合使得所述组合的片段的平均位速率小于或等于所估计带宽。在另一实例中，客户端装置102还至少部分基于当前在回放缓冲器中视频数据的回放持续时间选择片段的组合。在此实例中，客户端装置102可选择即将到来的时间周期的片段群组中的片段的组合使得选定片段的所估计传送时间小于或等于选定片段的回放持续时间加上回放缓冲器中视频数据的回放持续时间。
[0066]在一些实例中，客户端装置102可响应于特定情形增加回放缓冲器的长度。举例来说，客户端装置102可在视频开始时增加回放缓冲器的长度以帮助确保当客户端装置102开始回放视频时较高质量回放。在一些此类实例中，服务器装置104可包含位流中的数据以指示客户端装置102增加回放缓冲器。在视频开始时增加缓冲器的长度可对于以高动作场景开始的视频尤其有利。
[0067]图3是说明服务器装置104的实例配置的框图。如图3的实例中说明，服务器装置104可包括数据存储系统300、分段单元302、优先级单元304、清单产生单元306和服务器应用程序308。在一些其它实例中，服务器装置104可提供除图3的实例中说明的系统以外的系统。在其它实例中，服务器装置104不提供图3的实例中说明的系统的每一者。举例来说，服务器装置104可不提供分段单元302、优先级单元304或清单产生单元306，而是可改为从服务器装置104外部的内容准备装置或内容准备系统接收多媒体内容的所产生的片段、多媒体内容的清单文件和优先级值。
[0068]如图3的实例中说明，数据存储系统300可存储多个片段310和清单文件312。在一些实例中，数据存储系统300可以第三代合作伙伴计划(3GPP)文件格式存储片段310和清单文件312。在其它实例中，数据存储系统300可以其它方式存储片段310和清单文件312。
[0069]数据存储系统300可包括存储例如片段310和清单文件312等数据的一个或一个以上计算机存储媒体。尽管本发明可将清单文件312称为“文件”，但一些实例不将清单文件312存储为文件。举例来说，在一些实例中，清单产生单元308动态地产生清单文件312的数据。在其它实例中，多媒体内容的各个周期可与不同清单文件数据相关联，所述不同清单文件数据可预先产生、动态产生，或以对清单文件的先前版本的相关更新的形式指示。在一些实例中，清单文件312为媒体呈现描述(MPD)文件。
[0070]在图3的实例中，数据存储系统300实体上位于服务器装置104的外壳内。在其它实例中，数据存储系统300部分或完全在服务器装置104的外壳外部。举例来说，数据存储系统300可为网络附接存储(NAS)系统或直接附接存储(DAS)系统的一部分。
[0071]分段单元302可产生片段310。如本发明中其它地方详细描述，分段单元302的各个实例可以各种方式产生片段310。优先级单元304可使优先级值与片段310相关联。如本发明中其它地方详细描述，优先级单元304的各个实例可以各种方式使优先级值与片段310相关联。清单产生单元306可产生清单文件312。如本发明中其它地方详细描述，清单产生单元306的各个实例可以各种方式产生清单文件312。服务器应用程序308可响应于从客户端装置(例如，客户端装置102)接收的请求。如本发明中其它地方详细描述，服务器应用程序308的各个实例可以各种方式响应于从客户端装置102接收的请求。
[0072]服务器装置104可以各种方式实施分段单元302、优先级单元304、清单产生单元306和服务器应用程序308。举例来说，服务器装置104可当实施服务器装置104的计算装置的一个或一个以上处理单元执行特定指令时实施分段单元302、优先级单元304、清单产生单元306和/或服务器应用程序308。在另一实例中，实施服务器装置104的计算装置可包括致使服务器装置104实施分段单元302、优先级单元304、清单产生单元306和/或服务器应用程序308的一个或一个以上ASIC。
[0073]片段310的每一者可表示媒体内容中的样本的序列。举例来说，媒体内容可包含视频数据。在此实例中，片段310的一者可表示样本序列202A，片段310的另一者可表示样本序列202B，等等。在另一实例中，媒体内容可为音频流。在此实例中，片段310的一者可表示音频样本的第一系列，片段310的另一者可表示音频样本的第二系列，等等。
[0074]片段310可属于多个片段群组314A到314N(统称为“片段群组314”)。片段群组314的一者中片段310的每一者可表示媒体内容的相同样本。举例来说,如果媒体内容是图2的视频，那么片段群组314A中片段310的每一者可表示样本序列202A中的帧，片段群组314N中片段310的每一者可表示样本序列202B中的帧，等等。
[0075]片段310可属于多个表不316A到316N(统称为“表不316”)。表不316的每一者可与不同位速率相关联。给定表示中的片段310可以与给定表示相关联的位速率表示媒体内容的样本。举例来说，表示316A中的片段310可以3.0Mbps的位速率表示媒体内容。在此实例中，表示316N中的片段310可以500Kbps的位速率表示媒体内容
[0076]因为表示316的每一者可与不同位速率相关联，所以片段群组314的每一者中的片段可具有不同位速率。举例来说，片段群组314A中的第一片段可具有3.0兆位/秒(Mbps)的位速率，片段群组314A中的第二片段可具有1.0Mbps的位速率，片段群组314A中的第三片段可具有500千位/秒(Kbps)的位速率，等等。
[0077]片段的位速率可指示片段使用多少位表示回放时间单位期间所呈现的媒体内容的时间区段。举例来说，如果媒体内容的表示具有25fps的帧速率，那么所述表示的片段的位速率可指示片段使用多少位表示25个帧。
[0078]如本发明中其它地方详细描述，客户端装置102可从片段群组314的每一者选择一个片段。举例来说，第一片段群组可包含片段A、B和C ;第二片段群组可包含片段D、E和F ;且第三片段群组可包含片段G、H和I。在此实例中，客户端装置102可从第一片段群组选择片段B，从第二片段群组选择片段D，且从第三片段群组选择片段G。
[0079]在一些实例中，清单文件312可包含表示与片段310相关联的优先级值的信息。如本发明中其它地方详细描述，客户端装置102可接收清单文件312的副本。在一些实例中，客户端装置102可使用清单文件312指定的优先级值和所估计带宽从片段群组314的每一者选择一个片段。
[0080]或者，表示316本身可包含表示与片段310相关联的优先级值的信息。举例来说，表示的片段索引(或“SIDX”)框可除允许子片段切换的对应表示的片段的索引外还提供对应片段的优先级值。以此方式，表示316的每一者可包含包括指示表示的片段的优先级值的信息的片段索引框。[0081]作为又一实例，优先级单元304可在提供对应于优先级值的提示信息的元数据轨道中提供指示优先级值的信息。根据ISO基础媒体文件格式及其扩展(例如，3GPP)，元数据可构造为文件格式样本的序列，正如视频轨道。此轨道可称为元数据轨道。每一元数据样本可构造为元数据语句。可存在对应于可关于对应文件格式样本或其组成样本询问的各种问题的各种语句。
[0082]图4是说明用以准备供检索的媒体内容的数据的实例操作400的流程图。在服务器装置104开始操作400之后，服务器装置104可接收媒体内容的原始版本(402)。服务器装置104可以各种方式接收媒体内容的原始版本。举例来说，服务器装置104可从连接到服务器装置104的视频相机或麦克风作为原始音频和/或视频数据接收媒体内容的原始版本。在另一实例中，个人可使用计算装置将媒体内容的原始版本上载到服务器装置104。在此实例中，媒体内容的原始版本可已以给定格式编码。在又一实例中，媒体设计者可使用在服务器装置104上运行的一个或一个以上软件应用来产生媒体内容的原始版本。尽管描述为由服务器装置104执行，但应理解，其它装置也可经配置以执行图4的方法。举例来说，内容准备装置或内容准备系统可经配置以执行大体遵循参看图4描述的方法的方法。
[0083]在接收媒体内容的原始版本之后，分段单元302可产生片段310 (404)。在各个实例中，分段单元302可以各种方式产生片段310。举例来说，分段单元302可首先将媒体内容的原始版本划分为一个或一个以上周期。分段单元302可接着针对所述周期的每一者产生NAL单元的多个集合。周期的NAL单元的每一集合可对应于所述周期的不同表示。周期的NAL单元可含有表示所述周期内的帧或其它样本的经编码视频数据。周期的NAL单元的不同集合可具有不同特性。举例来说，NAL单元的不同集合中的视频数据可以不同位速率译码。接着，对于NAL单元的每一集合，分段单元302可通过囊封含有一起表示周期中的帧或样本的序列的视频数据的NAL单元而产生片段310。以此方式，分段单元302可产生表示316的每一者的片段310。在其中媒体内容的原始版本包括原始视频或音频数据的一些实例中，分段单元302可从原始视频或音频数据产生经编码视频数据。
[0084]分段单元302可根据例如ISO基础媒体文件格式或3GPP文件格式(其是ISO基础媒体文件格式的扩展)等文件囊封标准产生片段310。ISO基础媒体文件格式经设计以含有定时媒体信息以供以促进媒体的交换、管理、编辑和呈现的灵活可扩展格式呈现。ISO基础媒体文件格式(ISO / IEC14496-12:2004)在MPEG-4部分12中指定，其界定基于时间的媒体文件的一股结构。ISO基础媒体文件格式用作系列中其它文件格式的基础，例如支持H.264 / MPEG-4AVC视频压缩的所界定的AVC文件格式(ISO / IEC14496-15)、3GPP文件格式、SVC文件格式和MVC文件格式。3GPP文件格式和MVC文件格式是AVC文件格式的扩展。ISO基础媒体文件格式含有媒体数据的定时序列(例如，视听呈现)的定时、结构和媒体信息。文件结构可为对象定向的。文件可非常简单地分解为基本对象，且对象的结构可由其类型暗示。
[0085]遵循ISO基础媒体文件格式(及其扩展)的文件可形成为一系列对象，称为“框”。ISO基础媒体文件格式的数据可包含在框中，使得不需要其它数据包含在文件内，且不需要存在文件内的框外部的数据。此包含特定文件格式需要的任何初始签名。“框”可为由唯一类型识别符和长度界定的对象定向的构筑块。通常，片段包含在一个文件中。电影容器(电影框)可含有文件的其它框的元数据，且视频和音频帧可包含在媒体数据容器、媒体碎片或其它元素中，且可提供在其它文件中。在一些实例中，片段310的一者或一者以上可包括初始化片段，其可对应于流接入点且包含表示的后续片段的初始化数据。或者，片段310可自行初始化。
[0086]分段单元302可将片段310存储在数据存储系统300中(406)。分段单元302的各个实例可以各种方式存储片段310。举例来说，分段单元302可将片段310存储为单独文件。在另一实例中，分段单元302可将片段310作为二进制大对象(BLOB)存储在一个或一个以上关系数据库中。
[0087]在分段单元302产生并存储片段310之后，优先级单元304可使优先级值与片段310相关联(408)。优先级单元304可以各种方式使优先级值与片段310相关联。举例来说，优先级单元304可通过向片段310的每一者指派单独优先级值而使优先级值与片段310相关联。在另一实例中，优先级单元304可通过向媒体内容的每一片段群组指派单独优先级值而使优先级值与片段310相关联。换句话说，可向片段群组314的每一者指派单独优先级值。因此，在此实例中，优先级单元304可使给定片段群组中的片段的每一者与指派到给定片段群组的优先级值相关联。
[0088]优先级值可以各种方式表示。在一些实例中，优先级单元304可将高优先级值(即，极少或无回放质量差异)表示为高数字且将低优先级值(即，大质量差异)表示为低数字。举例来说，在这些实例的一些中，1.0为最高可能的优先级值且0.0是最低可能的优先级值。其它实例将高优先级值表示为低数字且将低优先级值表示为高数字。举例来说，在这些实例的一些中，0.0为最高可能的优先级值且1.0是最低可能的优先级值。以此方式，优先级值可描述从媒体内容的较高位速率表示选择特定时间区段的片段的相对重要性。
[0089]在其中优先级单元304向片段310的每一者指派单独优先级值的实例中，优先级单元304可以各种方式指派优先级值。举例来说，优先级单元304可向片段310指派优先级值使得片段的优先级值与片段中的所计算失真的量相关。在其中媒体内容为视频的实例中，颜色或形状的不准确性、块状假影、振铃假影和其它不准确性构成较大量的所计算失真。在此实例中，优先级单元304可对片段310的每一者执行失真评估过程。当优先级单元304对片段310的一者执行失真评估过程时，优先级单元304可确定片段中所计算失真的量。在此实例中，优先级单元304可在片段具有少量所计算失真时向片段指派高优先级值。相比之下，优先级单元304可在片段具有较大量所计算失真时向片段指派较低优先级值。换句话说，随着片段中所计算失真的量增加，优先级单元304可向片段指派逐渐变低的优先级值。
[0090]在一些实例中，(例如，分段单元302的)视频编码器可向优先级单元304提供视频数据的帧或切片的块的残余值。优先级单元304可基于片段中的图片或切片的累积(或平均)残余值指派优先级值。另外，或作为替代，人类操作者可使用优先级单元304向片段指派优先级。在一些例子中，人类操作者可向较高动作场景指派较广范围的优先级以便实现所要视觉质量，同时人类操作者可能够向较低动作场景指派较窄范围的优先级。在一些实例中，优先级单元304可通过将片段的位速率除以峰值位速率而指派片段的优先级，所述峰值位速率可由人类操作者调整。因为片段的位速率小于峰值位速率，所以片段的优先级可有效在控制在最大值(例如，1.0)。在一些实例中，峰值位速率对于媒体数据的所有时间区段并非固定的。举例来说，较高动作场景可具有峰值位速率的较高值，而较低动作场景可具有峰值位速率的较低值。以此方式，片段的优先级值可由例如优先级单元304自动或半自动指派。
[0091]下文呈现的表1含有指派到片段群组314中的片段310的实例优先级值。
[0092]表1
[0093]
【权利要求】
1.一种用于处理视频数据的方法，所述方法包括: 确定所估计通过量； 至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上，其中所述表示包含以不同位速率编码的视频数据，所述片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段；以及处理所述一个或一个以上选定片段。
2.根据权利要求1所述的方法，其中所述所估计通过量是通信网络的带宽。
3.根据权利要求2所述的方法，其进一步包括根据自适应流式传输网络协议请求所述一个或一个以上选定片段。
4.根据权利要求1所述的方法，其中所述所估计通过量是一个或一个以上处理器在即将到来的时间周期期间能够解码的媒体数据量的估计值。
5.根据权利要求1所述的方法，其中基于所述片段的所述优先级值和所述所估计通过量选择所述片段的一者或一者以上包括基于所述片段的所述优先级值、所述所估计通过量以及额外地回放缓冲器中视频数据的当前回放持续时间来选择所述片段的一者或一者以上。
6.根据权利要求5所述的方法，其中所述所估计通过量是通信网络的所估计带宽，且所述一个或一个以上选定片段的所估计传送时间小于或等于所述一个或一个以上选定片段的回放持续时间加上所述回放缓冲器中所述视频数据的所述当前回放持续时间，所述一个或一个以上选定片段的所述所估计传送时间至少部分基于所述所估计带宽和所述一个或一个以上选定片段中的位的总数目。
7.根据权利要求1所述的方法，其进一步包括: 再现由所述一个或一个以上选定片段表示的帧序列；以及 在显示装置上呈现所述帧序列。
8.根据权利要求1所述的方法， 其中所述方法进一步包括存储清单文件，所述清单文件指定所述片段的URL和指示所述片段的所述优先级值的信息；以及 使用所述一个或一个以上选定片段的所述URL来请求所述一个或一个以上选定片段。
9.根据权利要求1所述的方法， 其中所述片段中对应于所述媒体内容的不同时间区段的片段在不同片段群组中； 其中所述方法进一步包括选择用于即将到来的时间周期的片段组合，所述片段组合包含所述片段群组的在所述即将到来的时间周期内的每一者的一个片段；且 其中处理所述一个或一个以上选定片段包括解码所述片段组合中的所述片段。
10.根据权利要求9所述的方法，其中选择所述片段组合包括: 识别多个候选组合，其中对于所述候选组合的每一者，所述候选组合中的所述片段的位速率的平均值不显著大于所述所估计通过量； 基于与所述候选组合中的所述片段相关联的所述优先级值计算所述候选组合的QoS得分；以及 基于所述候选组合的所述QoS得分从所述多个候选组合中识别胜出组合。
11.根据权利要求10所述的方法，其中所述候选组合包含给定候选组合；且 其中计算所述候选组合的所述QoS得分包括通过将与所述给定候选组合中的所述片段相关联的所述优先级值相加而计算所述给定候选组合的所述QoS得分。
12.根据权利要求10所述的方法， 其中所述候选组合包含给定候选组合；且 其中计算所述候选组合的所述QoS得分包括基于所述给定候选组合中的所述片段的峰值信噪比值而计算所述给定候选组合的所述QoS得分。
13.根据权利要求10所述的方法， 其中所述候选组合包含给定候选组合；且 其中计算所述候选组合的所述QoS得分包括通过计算与所述给定候选组合中的所述片段相关联的所述优先级值的几何平均数而计算所述给定候选组合的所述QoS得分。
14.根据权利要求1所述的方法，其中所述片段的所述优先级值与所述片段中的所计算失真量相关。
15.根据权 利要求1所述的方法，其中所述片段的所述优先级值与所述片段中可由人类神经系统感知的感知失真量相关。
16.一种包括一个或一个以上处理器的计算装置，所述一个或一个以上处理器经配置以: 确定所估计通过量； 至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上，其中所述表示包含以不同位速率编码的视频数据，所述片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段；以及处理所述一个或一个以上选定片段。
17.根据权利要求16所述的计算装置，其中所述所估计通过量是通信网络的带宽。
18.根据权利要求17所述的计算装置，其中所述一个或一个以上处理器进一步经配置以根据自适应流式传输网络协议请求所述一个或一个以上选定片段。
19.根据权利要求16所述的计算装置，其中所述所估计通过量是一个或一个以上处理器在即将到来的时间周期期间能够解码的媒体数据量的估计值。
20.根据权利要求16所述的计算装置，其中所述一个或一个以上处理器经配置以基于所述片段的所述优先级值、所述所估计通过量以及额外地回放缓冲器中视频数据的当前回放持续时间选择所述片段的一者或一者以上。
21.根据权利要求16所述的计算装置，其中所述所估计通过量是通信网络的所估计带宽，且所述一个或一个以上选定片段的所估计传送时间小于或等于所述一个或一个以上选定片段的回放持续时间加上所述回放缓冲器中所述视频数据的所述当前回放持续时间，所述一个或一个以上选定片段的所述所估计传送时间基于所述所估计带宽和所述一个或一个以上选定片段中的位的总数目。
22.根据权利要求16所述的计算装置，其中所述一个或一个以上处理器进一步经配置以: 再现由所述一个或一个以上选定片段表示的帧序列；以及 在显示装置上呈现所述帧序列。
23.根据权利要求16所述的计算装置， 其中所述计算装置存储清单文件，所述清单文件指定所述片段的URL和指示所述片段的所述优先级值的信息；且 其中一个或一个以上处理器经配置以使用所述一个或一个以上选定片段的所述URL来产生对于所述一个或一个以上选定片段的请求。
24.根据权利要求16所述的计算装置， 其中所述片段中对应于所述媒体内容的不同时间区段的片段在不同片段群组中；且 其中所述一个或一个以上处理器进一步经配置以: 选择用于即将到来的时间周期的片段组合，所述片段组合包含所述片段群组的在所述即将到来的时间周期内的每一者的一个片段；且解码所述片段组合中的所述片段。
25.根据权利要求24所述的计算装置，其中一个或一个以上处理器经配置以: 识别多个候选组合，其中对于所述候选组合的每一者，所述候选组合中的所述片段的位速率的平均值不显著大于所述所估计通过量； 基于与所述候选组合中的所述片段相关联的所述优先级值计算所述候选组合的QoS得分；以及 基于所述候选组合的所述QoS得分从所述多个候选组合中识别胜出组合。
26.根据权利要求25所述的计算装置， 其中所述候选组合包含给定候选组合；且 其中所述一个或一个以上处理器经配置以通过将与所述给定候选组合中的所述片段相关联的所述优先级值相加而计算所述给定候选组合的所述QoS得分。
27.根据权利要求25所述的计算装置， 其中所述候选组合包含给定候选组合；且 其中所述一个或一个以上处理器经配置以基于所述给定候选组合中的所述片段的峰值信噪比值而计算所述给定候选组合的所述QoS得分。
28.根据权利要求25所述的方法， 其中所述候选组合包含给定候选组合；且 其中所述一个或一个以上处理器经配置以通过计算与所述给定候选组合中的所述片段相关联的所述优先级值的几何平均数而计算所述给定候选组合的所述QoS得分。
29.根据权利要求16所述的计算装置，其中所述片段的所述优先级值与所述片段中的所计算失真量相关。
30.根据权利要求16所述的计算装置，其中所述片段的所述优先级值与所述片段中可由人类神经系统感知的感知失真量相关。
31.一种计算装置，其包括: 用于确定所估计通过量的装置； 用于至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上的装置，其中所述表示包含以不同位速率编码的视频数据，所述片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段；以及用于处理所述一个或一个以上选定片段的装置。
32.根据权利要求31所述的计算装置，其中所述所估计通过量是通信网络的带宽。
33.根据权利要求31所述的计算装置，其进一步包括用于根据自适应流式传输网络协议请求所述一个或一个以上选定片段的装置。
34.根据权利要求31所述的计算装置，其中所述所估计通过量是一个或一个以上处理器在即将到来的时间周期期间能够解码的媒体数据量的估计值。
35.根据权利要求31所述的计算装置， 其中所述片段中对应于所述媒体内容的不同时间区段的片段在不同片段群组中； 其中所述计算装置包括: 用于选择用于即将到来的时间周期的片段组合的装置，所述片段组合包含所述片段群组的在所述即将到来的时间周期内的每一者的一个片段；且用于请求所述片段组合中的所述片段的装置。
36.根据权利要求35所述的计算装置，其包括: 用于识别多个候选组合的装置，其中对于所述候选组合的每一者，所述候选组合中的所述片段的位速率的平均值不显著大于所述所估计通过量； 用于基于与所述候选组合中的所述片段相关联的所述优先级值计算所述候选组合的QoS得分的装置；以及 用于基于所述候选组合的所述QoS得分从所述多个候选组合中识别胜出组合的装置。
37.根据权利要求31所述的计算装置，其中所述片段的所述优先级值与所述片段中的所计算失真量相关。
38.根据权利要求31所述的计算装置，其中所述片段的所述优先级值与所述片段中可由人类神经系统感知的感知失真量相关。
39.一种上面存储有指令的计算机可读存储媒体，所述指令当被执行时致使处理器: 确定所估计通过量； 至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上，其中所述表示包含以不同位速率编码的视频数据，所述片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段；以及处理所述一个或一个以上选定片段。
40.根据权利要求39所述的计算机可读存储媒体，其中所述所估计通过量是通信网络的带宽。
41.根据权利要求40所述的计算机可读存储媒体，其进一步包括根据自适应流式传输网络协议请求所述一个或一个以上选定片段。
42.根据权利要求39所述的计算机可读存储媒体，其中所述所估计通过量是一个或一个以上处理器在即将到来的时间周期期间能够解码的媒体数据量的估计值。
43.根据权利要求39所述的计算机可读存储媒体， 其中所述片段中对应于 所述媒体内容的不同时间区段的片段在不同片段群组中；且 其中所述指令的执行进一步致使所述计算装置: 选择用于即将到来的时间周期的片段组合，所述片段组合包含所述片段群组的在所述即将到来的时间周期内的每一者的一个片段；且请求所述片段组合中的所述片段。
44.根据权利要求39所述的计算机可读存储媒体，其中所述指令的执行致使所述计算装置: 识别多个候选组合，其中对于所述候选组合的每一者，所述候选组合中的所述片段的位速率的平均值不显著大于所述所估计通过量； 基于与所述候选组合中的所述片段相关联的所述优先级值计算所述候选组合的QoS得分；以及 基于所述候选组合的所述QoS得分从所述多个候选组合中识别胜出组合。
45.根据权利要求39所述的计算机可读存储媒体，其中所述片段的所述优先级值与所述片段中的所计算失真量相关。
46.根据权利要求39所述的计算机可读存储媒体，其中所述片段的所述优先级值与所述片段中可由人类神经系统感知的感知失真量相关。
47.一种用于经由自适应流式传输网络协议提供视频数据的方法，所述方法包括: 发送指示片段的优先级值的信息，所述片段的每一者可个别检索，所述片段对应于多媒体内容的表示的特定时间区段，所述多媒体内容的所述表示的每一者包含以不同位速率编码的视频数据；以及 响应于来自客户端装置的一个或一个以上请求经由所述自适应流式传输网络协议发送所请求的片段，所述所请求的片段是所述请求指定的所述片段中的片段。
48.根据权 利要求47所述的方法，其进一步包括: 向所述片段指派所述优先级值；以及 将所述优先级值存储到所述多媒体内容的清单文件。
49.根据权利要求48所述的方法，其中向所述片段指派所述优先级值包括基于所述片段的特性计算所述优先级值。
50.根据权利要求49所述的方法，其中所述片段的所述特性包含所述片段中的所计算失真量。
51.根据权利要求49所述的方法，其中向所述片段指派所述优先级值包括向所述片段指派所述优先级值，使得所述片段的所述优先级值与所述片段中可由人类神经系统感知的感知失真量相关。
52.一种包括一个或一个以上处理器的计算装置，所述一个或一个以上处理器经配置以: 发送指示片段的优先级值的信息，所述片段的每一者可个别检索，所述片段对应于多媒体内容的表示的特定时间区段，所述多媒体内容的所述表示的每一者包含以不同位速率编码的视频数据；且 响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段，所述所请求的片段是所述请求指定的所述片段中的片段。
53.根据权利要求52所述的计算装置，其中所述一个或一个以上处理器经配置以: 向所述片段指派所述优先级值；且 将所述优先级值存储到所述多媒体内容的清单文件。
54.根据权利要求53所述的计算装置，其中所述一个或一个以上处理器经配置以基于所述片段的特性计算所述优先级值。
55.根据权利要求54所述的计算装置，其中所述片段的所述特性包含所述片段中的所计算失真量。
56.根据权利要求52所述的计算装置，其中所述一个或一个以上处理器经配置以向所述片段指派所述优先级值，使得所述片段的所述优先级值与所述片段中可由人类神经系统感知的感知失真量相关。
57.一种计算装置，其包括: 用于发送指示片段的优先级值的信息的装置，所述片段的每一者可个别检索，所述片段对应于多媒体内容的表示的特定时间区段，所述多媒体内容的所述表示的每一者包含以不同位速率编码的视频数据；以及 用于响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段的装置，所述所请求的片段是所述请求指定的所述片段中的片段。
58.根据权利要求57所述的计算装置，其进一步包括: 用于向所述片段指派所述优先级值的装置；以及 用于将所述优先级值存储到所述多媒体内容的清单文件的装置。
59.根据权利要求58所述的计算装置，其进一步包括用于基于所述片段的特性计算所述优先级值的装置。
60.根据权利要求59所述的计算装置，其中所述片段的所述特性包含所述片段中的所计算失真量。
61.根据权利要求57所述的计算装置，其中所述用于向所述片段指派所述优先级值的装置包括用于向所述片段指派所述优先级值使得所述片段的所述优先级值与所述片段中可由人类神经系统感知的感知失真量相关的装置。
62.一种上面存储有指令的计算机可读存储媒体，所述指令当由计算装置的一个或一个以上处理器执行时致使所述计算装置: 发送指示片段的优先级值的信息，所述片段的每一者可个别检索，所述片段对应于多媒体内容的表示的特定时间区段，所述多媒体内容的表示的每一者包含以不同位速率编码的视频数据；且 响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段，所述所请求的片段是所述请求指定的所述片段中的片段。
63.根据权利要求62所述的计算机可读存储媒体，其中所述一个或一个以上处理器执行所述指令致使所述计算装置: 向所述片段指派所述优先级值；且 将所述优先级值存储到所述多媒体内容的清单文件。
64.根据权利要求63所述的计算机可读存储媒体，其中所述一个或一个以上处理器执行所述指令致使所述计算装置基于所述片段的特性计算所述优先级值。
65.根据权利要求64所述的计算机可读存储媒体，其中所述片段的所述特性包含所述片段中的所计算失真量。
66.根据权利要求62所述的计算机可读存储媒体，其中所述一个或一个以上处理器执行所述指令致使所述计算装置向所述片段指派所述优先级值，使得所述片段的所述优先级值与所述片段中可由人类神经系统感知的感知失真量相关。
【文档编号】H04N21/845GK103814562SQ201280045731
【公开日】2014年5月21日 申请日期:2012年9月21日 优先权日:2011年9月21日
【发明者】唐纳德·W·吉利斯, 毛忆念 申请人:高通股份有限公司