用于流式传输和对话服务的能量感知多媒体自适应的制作方法

本申请要求享有于2012年9月28日递交的美国临时专利申请序列号No.61/707784(代理人卷号为P49082Z)的优先权，故以引用方式将上述美国临时专利申请并入本文。

背景技术：

包括流式传输和对话服务的多媒体服务的增长是向新的移动宽带技术和标准演进的关键驱动力之一。移动设备中对数字视频内容的消费不断增加。日常生活中，有许多视频应用广泛使用于移动设备上。例如，在线视频流式传输包括诸如YouTube和Hulu之类的流行服务。视频录制和视频会议包括诸如Skype和Google Hangout之类的服务。在2011年，YouTube具有超过1兆的全球浏览。这些浏览中的百分之十是经由移动电话或平板电脑访问的。随着更多的智能电话、平板电脑和其它移动计算设备的购买，它们针对视频录制和视频会议的使用将急剧增加。在这种对于多媒体服务连同对于媒体压缩和无线网络基础设施的高消费者需求的情况下，增强未来的蜂窝和移动宽带系统的多媒体服务能力以及向消费者传递高的体验质量(QoE)是感兴趣的，从而确保使用任何设备和技术在任何时间从任何位置对视频内容和服务的无处不在的访问。

附图说明

通过结合附图来考虑下面的具体实施方式，本公开内容的特征和优点将变得显而易见，这些附图通过举例的方式一起示出了本公开内容的特征；并且其中：

图1根据一个示例示出了媒体呈现描述(MPD)元数据文件配置的框图；

图2根据一个示例示出了超文本传输协议(HTTP)流式传输的框图；

图3根据一个示例示出了用于基于超文本传输协议(基于HTTP)的视频流式传输的能量表征感知无线接入网络(RAN)架构的框图；

图4根据一个示例示出了在分组交换流式传输服务(PSS)服务器与PSS客户端之间用于提供特定于内容的能量/功率表征元数据的通信的示意图；

图5根据一个示例示出了在IMS多媒体电话服务(MTSI)发送方用户设备(UE)与MTSI接收方UE之间用于提供特定于内容的能量/功率表征元数据的通信的示意图；

图6根据一个示例描绘了可操作用于提供HTTP自适应流式传输的移动设备的计算机电路的功能；

图7根据一个示例描绘了可操作用于提供HTTP自适应流式传输的媒体服务器的计算机电路的功能；

图8根据一个示例示出了在基于MTSI的对话视频系统上的能量表征感知视频会议应用的框图；

图9根据一个示例描绘了可操作用于执行与接收移动设备的对话视频的发送移动设备的计算机电路的功能；

图10根据一个示例描绘了可操作用于执行与发送移动设备的对话视频的接收移动设备的计算机电路的功能；

图11根据一个示例描绘了可操作用于从发送移动用户设备(UE)终端接收实时传输协议(RTP)自适应流的接收移动UE终端的计算机电路的功能；以及

图12根据一个示例示出了一种无线设备(例如，UE)的框图。

现在将参照所示出的示例性实施例，并且本文将使用特定的语言来描述它们。然而，将理解的是，并不旨在因此限制本发明的范围。

具体实施方式

在公开和描述本发明之前，应当理解，本发明不受限于本文所公开的特定结构、过程步骤或者材料，而是扩展到其等效项，如相关领域普通技术人员所应当认识到的。还应当理解的是，本文所使用的术语是仅出于描述特定示例的目的来使用的，并不旨在是限制性的。不同附图中的相同附图标记表示相同的元素。在流程图和过程中所提供的数字是为了清晰地示出步骤和操作，而并不是必然指示特定的次序或者顺序。

示例实施例

下面提供了技术实施例的初始概述，稍后进一步详细描述了特定的技术实施例。这种初始的概括旨在帮助读者更快速地理解本技术，而不是旨在标识本技术的关键特征或者重要特征，也不是旨在限制所要求保护的主题的范围。

移动通信设备可用的功率的量已经相当稳定了多年。对用于更加功率密集型服务(例如视频流式传输和视频会议)的移动通信设备的需求增加了移动通信设备处使用的功率的量。功耗的上升将随着趋向于更高级的视频服务的市场需求而继续。例如，分辨率水平为1024p、2048p、4096p等的高清晰度(HD)视频服务以及三维(3D)视频服务(例如基于运动图像专家组的(MPEG的)多视图编码(MVC)标准的那些)以及更加高级的编解码器(例如基于MPEG的高效率视频编码(HEVC)标准的那些)的使用，众所周知这些会消耗大得多的功率。

然而，在电池技术中的可用功率基本保持恒定的情况下，对于增加移动通信设备上提供的服务的功率效率存在放大的需要。视频流式传输和视频会议中使用的编码和解码过程并不必然是基于功率效率来开发的，因为它们长期以来是用于桌面式和固定位置的计算设备上的。在编码、发送、接收和解码过程期间移动通信设备中消耗的功率的量可以是巨大的。因此，需要当在移动通信设备上使用流式传输和会议服务时提升效率。因此，移动视频应用可以被配置为：不仅提供良好的观看体验，而且通过使用强大的编解码器和高清晰度视频来避免过多的能量消耗，尤其是当移动设备在其电池的可用电量不足时。

移动设备包括需要功率的多个部分。在这些部分中，视频编解码器和显示子系统(以及它们相关联的存储器)是用于视频处理的两个主要的功耗源。视频解码功耗可以取决于计算机处理单元(CPU)或图形处理单元(GPU)的能力。视频显示功耗可以取决于显示分辨率、显示大小和显示类型。与旧的单色显示器不同，近期的LCD或OLED移动端显示屏会消耗相对大量的功率。此外，用于网络传输(包括无线通信和无线电级处理)的平台组件的功耗也可能是巨大的。媒体播放器、容器格式和流式传输协议的选择(例如，RTSP、渐进式下载、HTTP自适应流式传输等)可以显著影响功耗量。

在当今的部署中，媒体流式传输的能量消耗远不是最优的。用于媒体流式传输和对话服务的多媒体的智能自适应可以提供对移动设备的能量/功率效率的重要增强。视频流式传输服务提供商、设备供应商和网络运营商可以通过以下方式来显著影响电池寿命：通过选择最优的视频播放器、编码和容器解决方案；通过使用能量效率最高的业务模式通过无线电来传送内容；以及通过对无线电参数进行相应地优化。

在一个示例中，在具有不同质量水平的多个版本的相同视频内容可用的情况下，选择视频剪辑的低质量版本可以提供电池功率的重要节省，这是由于通过无线介质发送的数据量的减少而造成的。例如，所减少的数据不仅可以降低发送或接收的比特的数量，其还可以增加移动设备的功率节省模式的睡眠周期的可用性。此外，视频剪辑的低质量版本中所减少的数据的量可以减少对内容进行解码和渲染所需的处理的量。总而言之，有机会设计用于对在设备、服务、媒体播放器以及视频质量之间显著不同的能量消耗进行优化的新的多媒体自适应技术来。

无线多媒体标准

已经开发了多个多媒体标准以便使得多媒体能够传送到移动计算设备、从移动计算设备传送、或者在移动计算设备之间传送。例如，在流式传输视频中，第三代合作伙伴计划(3GPP)已经开发了技术规范(TS)26.234(例如，版本11.0.0)，其描述了用于点播或直播内容的单播流式传输的基于实时流式传输协议(RTSP)的分组交换流式传输服务(PSS)。此外，在3GPP TS 26.247(例如，版本11.0.0)中描述了基于超文本传输协议(HTTP)的流式传输服务(其包括渐进式下载和HTTP动态自适应流式传输(DASH))。基于3GPP的多媒体广播和多播服务(MBMS)规范TS 26.346(例如，版本11.0.0)规定了用于多播/广播内容分发的流式传输和下载技术。因此，基于DASH/PSS/MBMS的移动计算设备(例如用户设备(UE))在UE设备处对流式视频进行解码和渲染。对3GPP TS 26.244(例如，版本11.0.0)中的3GP文件格式的支持在所有这些规范中是强制的，以便支持文件下载和基于HTTP的流式传输使用情形。

在3GPP TS 26.114(例如，11.0.0)中提供了用于对话视频通信(例如视频会议)的标准的一个示例。该标准描述了IMS多媒体电话服务(MTSI)，MTSI允许高级多媒体对话服务和内容在基于互联网协议(IP)多媒体子系统(IMS)的网络上的传送。IMS是在3GPP TS 26.140(例如，版本11.0.0)中标准化的。基于MTSI的发送方UE终端可以捕捉并记录视频，然后通过3GPP网络向基于MTSI的接收方UE终端传输视频。然后，接收方UE终端可以对该视频进行解码和渲染。3GPP TS 26.140还使用多媒体共享服务(MMS)来启用视频共享，在其中提供了对3GP文件格式的支持。

提供了上述标准作为可用于向多媒体设备传送多媒体文件、从多媒体设备传送多媒体文件、和/或在多媒体设备之间传送多媒体文件的无线多媒体标准的示例。这些示例并不旨在是限制性的。可以使用另外的标准来提供流式传输视频、对话视频或视频共享。

流式传输媒体标准

本文提供了对HTTP流式传输的更详细的解释，并且更具体地说，结合本发明的实施例，提供了对DASH标准的更详细的解释。该详细解释并不旨在是限制性的。如将在后续段落中进一步解释的，本发明的实施例可以用于通过使得移动设备或与移动设备进行通信的服务器能够选择和/或传送具有期望的能量表征的多媒体，来有效地向移动设备传送多媒体、从移动设备传送多媒体、和/或在移动设备之间传送多媒体。多媒体可以使用标准化或非标准化的通信方案来传送。

超文本传输协议(HTTP)流式传输可以用作互联网视频的多媒体传送的一种形式。在HTTP流式传输中，多媒体文件可以划分成一个或多个区段，并使用HTTP协议来传送给客户端。由于对HTTP和HTTP的底层协议(包括传输控制协议(TCP)/互联网协议(IP))二者的广泛采用，基于HTTP的传送可以提供可靠性和部署的简易性。基于HTTP的传送可以通过避免网络地址转换(NAT)和防火墙穿越问题来实现简化的流式传输服务。基于HTTP的传送或流式传输还可以提供用于使用标准HTTP服务器以及高速缓存器而不是专门的流式传输服务器的能力。由于服务器侧的最小或减少的状态信息，基于HTTP的传送可以提供可扩展性。HTTP流式传输技术的示例可以包括：微软IIS平滑流式传输、苹果HTTP实时流式传输、以及Adobe HTTP动态流式传输。

DASH是标准化的HTTP流式传输协议。如图1中所示出的，DASH可以指定用于媒体呈现描述(MPD)元数据文件102的不同格式，MPD元数据文件102提供关于存储在服务器中的媒体内容表示的结构和不同版本以及区段格式的信息。该MPD元数据文件包含关于媒体播放器的初始化和媒体区段的信息(例如，媒体播放器可以查看初始化区段来确定容器格式和媒体定时信息)，以便确保将区段映射到用于与其它表示进行切换和同步呈现的媒体呈现时间线。DASH技术也由诸如运动图像专家组(MPEG)、开放IPTV论坛(OIPF)以及混合广播宽带TV(HbbTV)的其它组织进行了标准化。

DASH客户端可以经由通过一系列HTTP请求-响应事务下载区段来接收多媒体内容。DASH可以提供用于随着移动设备可用带宽的变化在媒体内容的不同比特速率的表示之间动态切换的能力。因此，DASH可以允许对变化的网络和无线链路状况、用户偏好以及设备能力(例如显示器分辨率、所使用的中央处理单元(CPU)的类型、可用的存储器资源等等)的快速自适应。DASH的动态自适应可以使用与其它流式传输协议相比更短的启动延迟和更少的重新缓冲事件来为用户提供更佳的体验质量(QoE)。

如图2中所示出的，在DASH中，媒体呈现描述(MPD)元数据102可以提供关于存储在web/媒体服务器212中的媒体内容表示的结构和不同版本的信息。在图1中所示出的示例中，MPD元数据在时间上划分成具有预先确定的长度的时段，例如在该示例中为60秒。每个时段可以包括多个适应集合104。每个适应集合可以提供关于具有多个经编码的替代项的一个或多个媒体分量的信息。例如，在该示例中，适应集合0可能包括多个经不同地编码的音频替代项(例如不同的比特速率、单声道、立体声、环绕声等等)。除了在时段ID上为多媒体呈现提供不同质量的音频，适应集合还可以包括不同语言的音频。适应集合中提供的不同替代项被称为表示106。

在图1中，适应集合1被示出为以不同比特速率(例如5兆比特每秒(Mbps)、2Mbps、500千比特每秒(Kbps)或技巧模式)来提供视频。技巧模式可以用于寻找、快进、倒带、或对多媒体流式传输文件中的位置的其它改变。此外，视频也可以有不同的格式，例如二维(2D)或三维(3D)视频。每个表示106可以包括区段信息108。该区段信息可以包括初始化信息110和实际媒体区段数据112。在该示例中，MPEG 4(MP4)文件从服务器流式传输到移动设备。虽然在该示例中使用了MP4，但如先前所讨论的，可以使用多种不同的编解码器。

适应集合中的多媒体可以进一步划分成更小的区段。在图1的示例中，适应集合1的60秒的视频区段进一步划分成每个为15秒的四个子区段112。这些示例并不旨在是限制性的。适应集合以及每个媒体区段或子区段的实际长度取决于媒体的类型、系统要求、潜在的干扰类型等等。实际媒体区段或子区段可以具有小于一秒到几分钟长的长度。

如图2中所示出的，可以向客户端220(例如移动设备)传送MPD元数据信息。移动设备可以是被配置为接收和显示流式传输媒体的无线设备。在一个实施例中，移动设备可以仅执行该功能的一部分，例如接收流式传输媒体，然后将其传送到用于渲染的另一个设备或显示设备。移动设备可以被配置为运行客户端220。客户端可以使用HTTP获得(GET)240消息或一系列部分获得消息来请求区段。客户端可以控制流式传输会话(例如，管理对一系列区段的开启时间(on-time)请求和平滑播出，或者潜在地调整比特速率或其它属性)，以便对无线链路、设备状态或用户偏好的变化做出反应。

图2示出了基于DASH的流式传输框架。Web/媒体服务器212中的媒体编码器214可以将来自音频/视频输入210的输入媒体编码成用于存储或流式传输的格式。媒体分段器216可以用于将输入媒体分割成一系列区段232，这些区段可以被提供给web服务器218。客户端220可以使用向web服务器(例如，HTTP服务器)发送的HTTP获得消息234来请求区段中的新数据。

例如，客户端220的web浏览器222可以使用HTTP获得消息240来请求多媒体内容。web服务器218可以向客户端提供针对多媒体内容的MPD242。如在相关联的元数据信息252中所示出的，MPD可以用于传递每个区段的索引和该区段的相应位置。如在236中所示出的，web浏览器可以根据MPD 242来从服务器逐个区段地拉取媒体。例如，web浏览器可以使用HTTP获得URL(片段1请求)244来请求第一区段。统一资源定位符(URL)或通用资源定位符可以用于告知web服务器：客户端要请求哪个区段254。web服务器提供第一片段(即，区段1246)。针对随后的区段，web浏览器可以使用HTTP获得URL(片段i请求)248来请求区段i，其中，i是区段的整数索引。因此，web服务器可以提供区段i 250。可以经由媒体解码器/播放器224来向客户端呈现这些区段。

图3示出了向在移动设备(例如UE 336)上操作的3GPP客户端338提供多媒体内容的HTTP服务器310之间的多媒体内容312的流。HTTP服务器可以同与无线广域网(WWAN)的核心网324进行通信的公共网络或专用网络322(或互联网)相连接。在一个实施例中，WWAN可以是基于3GPP LTE的网络或基于IEEE 802.16的网络(即，802.16-2009)。核心网可以经由无线接入网络(RAN)332来接入无线网络330(例如演进分组系统(EPS))。RAN可以经由节点(例如，演进型节点B(eNB)334)向在UE上操作的客户端提供多媒体内容。

在一个实施例中，除了在移动设备上操作的客户端之外，高能效元数据管理和代理/服务器344可以被配置为：协助管理用于编码、发送、接收、解码和显示多媒体流的能量/功率的量。元数据管理和代理/服务器可以位于核心网中(例如演进分组核心中)。代理/服务器可以是自包含的，或者可以位于诸如移动性管理实体(MME)服务器或策略和计费规则功能(PCRF)服务器(未示出)之类的另一个服务器中。

替代地，元数据管理服务器可以被配置为：作为代理边缘服务器346来操作。通过对设备能力(包括解码和显示能力)以及内容特性的检查，代理边缘服务器可以调整向其客户端服务的内容。例如，来自代理边缘服务器的内容可以通过某种转码或通过元数据管理来适应客户端。例如，DASH代理/服务器可以决定提供新的MPD，以便减少可用的DASH表示来帮助UE节省功率。

新引入的MPD属性还可以用作QoE度量报告过程的一部分。QoE(也被称为用户体验质量)可以是对客户对服务、应用和/或多媒体传送的体验的主观测量。QoE系统可以对用户或客户可以直接感知为质量参数的度量进行测量。

针对所有服务，客户端可以发送包括关于用于对所接收的多媒体文件(例如视频和/或音频)进行解码和呈现所消耗的能量/功率信息的QOE报告。在一个实施例中，所报告的能量/功率度量还可以包括在从网络的接收期间消耗的能量/功率(其包括在无线接收和无线电级处理中消耗的能量/功率)的量。

流式传输多媒体的能量表征

基于描述区段的关系以及它们怎样形成媒体呈现的MPD元数据信息，客户端可以使用HTTP获得或部分获得方法来请求区段。客户端可以完全控制流式传输会话。例如，客户端可以管理在移动设备处对一系列区段的开启时间请求和平滑播出，潜在地调整比特速率、编码类型、帧速率、分辨率等等，以便对无线链路或用户偏好的变化做出反应。

根据本发明的一个实施例，对于DASH上的高能效流式传输来说，依赖于内容的能量或功率参数(在本文中被称为能量表征信息)可以针对流式传输媒体来推导出。术语能量表征是对移动设备解码和显示流式传输视频所需的能量和/或功率的量的确定。能量表征可以基于对每个DASH表示的解码和渲染的复杂度。能量表征可以是预先确定的，或者由视频编码器、诸如DASH服务器之类的服务器或通过另一种期望的单元来接近实时地确定的。在一个实施例中，依赖于内容的能量/功率参数可以通过捕捉比特流的特定于内容的信息(例如帧像素的直方图、最大帧像素值、块编码类型、去块滤波数量等等)来确定。然后，可以将信息映射到针对每个DASH表示的单个能量/功率度量。

然后，DASH客户端可以使用该信息来估计用于DASH表示中的每个表示而将发生的潜在的能量/功率消耗。DASH客户端可以基于高能效编解码器处理、显示渲染、所接收的比特的数量等等来对提供期望的能量度量的DASH表示做出选择。

在清单文件(例如MPD元数据)中提供能量表征使得移动设备能够基于移动设备可用的功率来选择最佳可能的多媒体格式。例如，移动设备可以正在接收强的宽带无线信号。通常，强的信号可以允许在移动设备上操作的媒体客户端选择最高可能的分辨率(例如，图1中的5Mbps表示)。然而，如果在移动设备处电池水平相对较低，则可以选择具有较低能量表征值的表示，以使得用户能够在移动设备上的功率耗尽之前看完媒体呈现。在具有足够粒度的情况下，可以以不同的质量来传送流式传输媒体文件的各个区段或子区段。

例如，其中存在较少运动的媒体呈现的区段可以具有较高水平的编码，使得能够发送较少的比特并且使用较少的功率来对这些区段进行解码和显示。相反，具有较多运动或者图像中具有大量变化的媒体呈现的区段会需要大量的信息来传送图像，并且还可能使用较多的处理器功率来对频繁变化的图像进行解码和显示。某些变化(例如所使用的编解码器类型的变化)对于端用户来说甚至可能是注意不到的，但显著地改变了用于对流式传输媒体文件进行解码和渲染的功率的量。因此，媒体客户端可以基于在MPD中传送的能量表征和/或在移动设备处可用的能量或功率来选择表示、区段或子区段。

在一个实施例中，除了典型的比特速率、分辨率、帧速率和通常发送的其它信息之外，针对HTTP自适应流式传输的清单文件(即，在DASH的上下文中的MPD元数据信息)在表示和/或子表示级别上可以包括能量表征信息。能量/功率表征信息可以包括在各种媒体分量(例如视频和音频)的不同编码版本上。此外，诸如MPD之类的清单文件还可以包含：在一时段或字节范围中跨越各个表示和子表示的区段和子区段的能量/功率表征信息，以便以更细粒度的方式来通知在媒体呈现中的内容能量/功率要求中的变化，从而使得能够以更高能效的方式来进行更加动态的自适应。

在移动设备(例如图3中所示出的UE)上操作的客户端可以接收清单文件(即，MPD)，并且请求与各个DASH表示相对应的区段和子区段。在请求区段或子区段的过程中，客户端可以考虑MPD中的能量/功率表征信息。客户端可以通过连续跟踪客户端终端中的功耗来在随机访问点(在DASH中也被称为区段访问点(SAP))上跨越不同表示进行切换，以设法节省电池寿命并优化用户体验质量(QoE)。

再次参照图1，DASH MPD可以被配置为：根据高能效自适应流式传输框架来操作。用于高能效流式传输的新的MPD属性可以以期望的粒度水平包括在MPD中。

例如，适应集合104可以包括具有以下两个新的属性的能量/功率表征信息：指定了适应集合中的所有表示106中的最小能量/功率值的最小能量/功率属性；以及指定了该适应集合中的所有表示中的最大能量/功率值的最大能量/功率属性。

该最小和最大能量/功率属性可以对在可与某个时段(例如时段ID 103、区段108或子区段112)相对应的指定时间线上的最小和最大能量/功率水平进行定量。在一个实施例中，这些值可以指示在适应集合的整个持续时间上的长期(或平均)最小和最大能量/功率测量。在另一个实施例中，可以提供能量/功率值的向量化集合，该向量化集合指定针对跨越不同区段和子区段的适应集合的最小和最大能量/功率水平。

在另一个实施例中，每个表示106可以包含关于能量/功率的新的(即，不同的)属性，从而基于表示中的内容、编码类型等等来分配能量/功率值。该值可以对在可与时段、区段108或子区段112相对应的指定时间线上的能量/功率水平进行定量。在一个实施例中，能量/功率值可以指示在表示的整个持续时间上的长期(或平均)能量/功率测量。在另一个实施例中，可以提供能量/功率值的向量化集合，该向量化集合指定跨越表示的不同区段和子区段的能量/功率水平。

替代地，两个新的属性—最小能量/功率属性和最大能量/功率属性也可以在表示106的级别上声明，从而对在可与时段、区段108或子区段112相对应的指定时间线上的能量/功率水平进行定量。区段信息可以包括：在区段的初始化110中使用的能量/功率，以及用于对每个子区段112进行解码和显示的功率能量功率。在一个实施例中，这些值可以指示在表示的整个持续时间上的长期(或平均)最小和最大能量/功率测量。在另一个实施例中，可以提供能量/功率值的向量化集合，该向量化集合指定跨越表示的不同区段和子区段的最小和最大能量/功率水平。

每个子表示112可以包含关于能量/功率的新属性，从而向子表示中的内容分配能量/功率值。该值可以对在可与时段、区段或子区段相对应的指定时间线上的能量/功率水平进行定量。在一个实施例中，该值可以指示在子表示的整个持续时间上的长期(或平均)能量/功率测量。在另一个实施例中，可以提供能量/功率值的向量化集合，该向量化集合指定跨越子表示的不同区段和子区段的能量/功率水平。

区段和子区段可以本身包含：在区段和/或子区段级别以更细粒度的方式来对能量/功率进行描述的新的属性。在一个实施例中，能量/功率水平可以是针对区段或子区段中的给定字节范围来指定的。更广义地说，能量/功率属性可以与区段或子区段中的任何字节范围，或者跨越多个区段或子区段的任何字节范围相关联。

除了DASH之外，另外的标准也可以被配置为：启用用于管理和增强移动设备的能量效率的多媒体自适应能力。例如，在3GP文件格式中，特定于内容的能量/功率表征元数据可以嵌入在3GP文件格式容器级别。例如，当在MMS设置中捕捉/上传视频时，可以嵌入能量表征信息，从而生成具有嵌入的能量/功率表征属性的3GP文件。然后，移动设备可以使用嵌入的能量/功率表征属性来基于用户偏好、可用功率、移动设备处的功耗速率或者这些因素的组合来选择和执行流式传输媒体文件。

PSS和MBMS：特定于内容的能量/功率表征元数据可以包括在用于会话描述和能力协商的会话描述协议(SDP)信令中。此外，实时流式传输协议(RTSP)信令可以包括特定于内容的能量/功率表征元数据。因此，PSS和MBMS客户端可以理解输入的内容的能量/功率特性，并且以更明智的方式来管理它们的解码和显示过程，以便满足期望的或预先确定的功率预算。

在PSS的情况下，PSS客户端还可以响应于观察到其功率不足而经由RTSP/SDP信令发起会话重新协商。如先前所讨论的，PSS客户端可以要求PSS服务器发送具有较低能量/功率要求的不同内容。PSS服务器可以响应于这样的请求来执行转码操作，以便向将满足移动设备的功率预算的PSS客户端(例如UE终端)传送内容。

图4示出了在PSS服务器与PSS客户端之间用于提供可用于管理移动设备处的功率预算的特定于内容的能量/功率表征元数据的通信的一个示例。在该示例中，从移动设备处的PSS客户端向PSS服务器发送RTSP描述请求。PSS服务器可以在核心网(图3中的324)中操作，或者可以经由公共网络322与3GPP客户端通信。描述请求可以包括RTSP统一资源定位符(URL)连同可以处理的回复数据的类型。然后，PSS服务器可以使用RTSP OK连同呈现描述(通常以会话描述协议(SDP)格式)来进行回复。呈现描述可以列出使用经聚合URL控制的媒体流。在该示例中，SDP还可以包括针对可用媒体流的能量/功率表征度量。然后，PSS客户端可以传递具有包含新的能量/功率表征度量的SDP提供(offer)的RTSP建立请求。例如，PSS客户端可以请求新的流，该新的流可以降低PSS客户端在其上操作的移动设备处的功耗。PSS服务器可以使用具有包含所期望的能量/功率度量的SDP的RTSP OK来进行响应。

如图6中的流程图中所示出的，一个示例提供了可操作用于提供超文本传输协议(HTTP)自适应流式传输的移动设备的计算机电路的功能600。此外，所述功能可以实现为方法，或者所述功能可以作为指令在机器上执行，其中，所述指令包括在至少一个计算机可读介质或一个非暂时性机器可读存储介质上。

在图6中所示出的示例中，计算机电路可以被配置为：从节点接收针对HTTP自适应流的清单文件(如框610中)；针对选定时段期间的多个表示，来识别所述清单文件中的能量表征(如框620中)；在所述选定时段期间选择具有期望的能量表征的表示(如框630中)；以及从节点请求在具有所期望的能量表征的表示中的区段(如框640中)。

在各种不同的配置中，针对HTTP自适应流的清单文件可以是：针对HTTP动态自适应流式传输(DASH)适应集合的媒体呈现描述(MDP)；3GP文件格式中嵌入的元数据；基于实时流式传输协议(RTSP)的分组交换流式传输服务(PSS)中或者基于第三代合作伙伴计划(3GPP)的多媒体广播和多播服务(MBMS)中的会话描述协议(SDP)；或者嵌入在用于PSS的RTSP中或MBMS中的元数据。

在一个示例中，计算机电路还被配置为：经由节点向内容服务器传送针对在HTTP自适应流的接收、解码或渲染期间所消耗的功率的能量表征。基于向内容服务器报告的能量表征，移动设备可以从内容服务器接收具有不同能量表征的表示。计算机电路可以确定移动节点用于解码和执行HTTP自适应流的功率预算。针对功率预算，在选定时段期间所选择的表示可以具有所期望的能量表征。

在一个示例中，计算机电路还被配置为：针对选定时段期间的多个子表示，来识别清单文件中的能量表征；以及从节点请求在子表示中的至少一个子表示中并具有期望的能量表征的子区段。

在另一个示例中，计算机电路还被配置为：切换到在HTTP自适应流中的、在选定访问点处具有不同能量表征的不同表示，以便改变由移动设备用于解码和执行HTTP自适应流所消耗的功率的量。

如图7中的流程图中所示出的，另一个示例提供了可操作用于提供超文本传输协议(HTTP)自适应流式传输的媒体服务器的计算机电路的功能700。此外，所述功能可以实现为方法，或者所述功能可以作为指令在机器上执行，其中，所述指令包括在至少一个计算机可读介质或一个非暂时性机器可读存储介质上。

在图7所示出的示例中，计算机电路可以被配置为：针对HTTP自适应流的多个表示，向移动设备传送在字节范围上的能量表征元数据(如框710中)；接收针对在从所述多个表示中选择的表示中的、在所述字节范围中的HTTP自适应流的区段的请求，其中，该表示是至少部分地基于能量表征元数据来选择的(如框720中)；以及向移动设备传送在所述字节范围中的所请求的区段(如框730中)。

在一个示例中，图7的实施例的计算机电路还被配置为：基于包括帧像素直方图、最大帧像素值、块编码类型或去块滤波数量的特定于内容的信息，确定在所述字节范围上的能量表征元数据。

在一个示例中，计算机电路还被配置为：确定在所述字节范围上的区段的最小功率水平和最大功率水平。所述字节范围可以是针对周期、适应集合、表示、区段或子区段的。此外，计算机电路还被配置为：提供能量/功率值的向量化集合，以便在能量表征元数据中指定每个周期、适应集合、表示、区段或子区段的最小能量水平和最大能量水平。

在一个示例中，针对HTTP自适应流的清单文件是：针对HTTP动态自适应流式传输(DASH)适应集合的媒体呈现描述；3GP文件格式中嵌入的元数据；基于实时流式传输协议(RTSP)的分组交换流式传输服务(PSS)中或者基于第三代合作伙伴计划(3GPP)的多媒体广播和多播服务(MBMS)中的会话描述协议(SDP)；或者嵌入在用于PSS的RTSP中或MBMS中的元数据。

在一个示例中，计算机电路还被配置为：接收针对在所述字节范围中的HTTP自适应流的区段的请求，其中，该区段位于包括所述多个表示的适应集合中，并且至少一个表示包括多个区段。每个表示可以在所述字节范围上包含与其它表示相比经不同地编码的相同媒体文件。所述编码可以包括比特速率、帧速率、分辨率或编解码类型。

在一个示例中，计算机电路还被配置为：从移动设备接收体验质量(QoE)报告，该QoE报告包括与在HTTP自适应流的接收、解码或渲染期间在移动设备处消耗的功率相关联的功率度量；以及基于在QoE报告中接收的功率度量，向移动设备传送不同的表示。

在另一个示例中，计算机电路还被配置为：接收针对在从所述多个表示中选择的不同表示中的、在所述字节范围中的HTTP自适应流的区段的请求，其中，所述不同表示是至少部分地基于移动设备处的能量使用来选择的；以及向移动设备传送在所述字节范围中的所请求的区段。

对话视频的能量表征

视频流式传输通常涉及从服务器向移动设备传送视频流。因此，功率消耗考虑通常只在接收端处、在对流式传输视频进行接收、解码和显示的移动设备处有关。

相比之下，对话视频(例如电话会议)可以在两个移动设备之间发生。由于发送设备和接收设备二者处的功率消耗考虑，对话视频的实现可能更加复杂。因此，存在关于对多媒体流的编码和发送以及对多媒体流的接收、解码和渲染的功率消耗考虑。

在一个实施例中，单个移动设备可以被分配用于：确定参与对话视频流的两个或更多个移动设备的编码和解码水平。在另一个实施例中，可以选择具有最低功率的设备来确定编码和解码。由于发送方处的编码水平确定接收方处的解码水平，并且反之亦然，因此，编码和解码决策是关联的。因此，具有最低功率(即，低电池水平)的设备可以在双向视频会议的两端指定较低水平的编码(从而解码)。对于多个移动设备之间的多向对话视频流来说情况也可以是如此。

可包括用于在对话视频使用的能量/功率表征度量的一种标准是IMS多媒体电话服务(MTSI)。如图5中所示出的，当使用MTSI时，特定于内容的能量/功率表征元数据可以包括在用于发送移动设备与接收移动设备之间的会话描述和能力协商的会话描述协议(SDP)信令中。会话发起协议(SIP)信令还可以包括特定于内容的能量/功率表征元数据(SIP用作用于建立、修改和终止诸如视频会议、互联网电话呼叫等的对话多媒体会话的应用层控制协议)。

此外，SDP信令还可以包括关于内容捕捉和编码复杂度的能量/功率表征元数据。因此，用作MTSI发送方终端和MTSI接收方终端的UE可以使用能量/功率表征元数据上的新的SDP属性以用于解码和渲染复杂度以及用于捕捉和编码复杂度。能量/功率表征元数据可以用于协商MTSI会话参数和确定要在对话视频会话期间(例如，经由SIP/SDP信令过程)在UE之间交换的合适的内容。

在图5中提供了针对这种信令的示例性描绘。从MTSI发送方UE向MTSI接收方UE发送具有SDP提供的SIP邀请。SDP可以包括如先前所讨论的能量/功率度量。MTSI接收方UE可以使用具有包括针对该MTSI接收方UE的能量/功率表征度量的SDP协商数据的SIP 200OK确认来进行响应。然后，MTSI发送方UE可以向MTSI接收方UE发送SIP ACK。

图8提供了用于用户A和用户B之间的对话视频的媒体路径的示例性描绘。如先前所讨论的，3GPP TS 26.114(例如，版本11.0.0)描述了IMS多媒体电话服务(MTSI)，其允许在基于IMS的网络上进行高级多媒体对话服务和内容的传送。这包括对媒体处理和交互的规定，媒体处理和交互包括媒体控制、媒体编解码器以及媒体和控制数据的传输。如图8中所示出的，MTSI呼叫使用呼叫会话控制功能(CSCF)机制来对呼叫所涉及的用户A和用户B的UE之间的控制平面信令进行路由。在控制平面中，应用服务器(AS)可以存在，并且可以提供诸如呼叫保持/恢复、呼叫转移以及多方呼叫等的补充服务。

在一个实施例中，基于MTSI的发送方UE终端(即，用户A的UE)可以捕捉和记录视频，并且通过3GPP网络向基于MTSI的接收方UE终端(即，用户B的UE)传输该视频。然后，接收方UE终端可以对该视频进行解码和渲染。

在MTSI中，会话发起协议(SIP)用作用于建立、修改和终止诸如视频会议、互联网电话呼叫等的对话多媒体会话的应用层控制协议。发送和接收终端之间的基于会话描述协议(SDP)的信令允许在与媒体有关的能力协商(包括编解码器、比特速率、分辨率等)中的提供/答复考虑。媒体在MTSI中的传输是基于UDP/IP上的实时传输协议(由IETF RFC 3550规定)的。

在一个示例中，发送移动设备和接收移动设备可以被配置为执行对话视频。发送移动设备可以确定发送移动设备用于对发往接收移动设备的实时传输协议(RTP)自适应流进行编码和发送的功率预算。然后，发送移动设备可以向接收移动设备发送包括针对要传送的实时传输协议(RTP)自适应流的多个能量表征的提供清单文件。接收移动设备可以从发送移动设备接收针对要传送的RTP自适应流的提供清单文件。接收移动设备可以确定接收移动设备用于对从发送设备传送的RTP自适应流进行接收和解码的功率预算。接收移动设备可以识别提供清单文件中针对要从发送移动设备接收的期望的RTP流的能量表征。接收移动设备可以在答复清单文件中向发送移动设备通知所选择的RTP流。接收移动设备可以从发送移动设备接收与所选择的能量表征相对应的RTP流。

如图9中的流程图中所示出的，另一个示例提供了可操作用于执行与接收移动设备的对话视频的发送移动设备的计算机电路的功能900。所述功能可以实现为方法，或者所述功能可以作为指令在机器上执行，其中，所述指令包括在至少一个计算机可读介质或一个非暂时性机器可读存储介质上。

在图9中所示出的示例中，计算机电路可以被配置为：向接收移动设备发送包括针对实时传输协议(RTP)自适应流的多个能量表征的提供清单文件(如在框910中)；执行如在框920中的操作；以及向接收移动设备发送与所选择的能量表征相对应的所选择的RTP流(如在框930中)。

在进一步的示例中，计算机电路还可以被配置为：确定包括用于发送移动设备对向接收移动设备传送的所期望的RTP自适应流进行编码和发送的功率预算的能量表征，其中，发送清单文件包括：针对多个可用RTP自适应流的能量表征。

在另一个示例中，针对RTP自适应流的能量表征被包括在以下各项中：基于实时流式传输协议(RTSP)的分组交换流式传输服务(PSS)中或者基于第三代合作伙伴计划(3GPP)的多媒体广播和多播服务(MBMS)中的会话描述协议(SDP)；或嵌入在用于PSS的RTSP中或MBMS中的元数据。

在另一个示例中，计算机电路可以被配置为：发送使接收移动设备能够进行以下操作的提供清单文件：接收针对从发送移动设备传送的RTP自适应流的提供清单文件；确定接收移动设备用于对从发送设备传送的RTP自适应流进行接收和解码的功率预算；识别提供清单文件中的针对要从发送移动设备接收的期望的RTP流的能量表征；以及在答复清单文件中向发送移动设备通知所选择的RTP流。

如图10中的流程图中所示出的，另一个示例提供了可操作用于执行与发送移动设备的对话视频的接收移动设备的计算机电路的功能1000。所述功能可以实现为方法，或者所述功能可以作为指令在机器上执行，其中，所述指令包括在至少一个计算机可读介质或一个非暂时性机器可读存储介质上。

在图10中所示出的示例中，计算机电路可以被配置为：向发送移动设备发送提供清单文件，其中，该提供清单文件包括针对实时传输协议(RTP)自适应流的能量表征的列表(如在框1010中)；从发送移动设备接收答复清单文件，以便至少部分地基于提供清单文件中针对RTP流的能量表征，来从发送移动设备选择RTP流(如在框1020中)；以及向发送移动设备发送与所选择的能量表征相对应的所选择的RTP流(如在框1030中)。

在另一个示例中，计算机电路还被配置为：确定接收移动设备的功率水平低于所选择的阈值水平；经由RTSP或SDP信令使用PSS客户端来发起会话重新协商；请求PSS服务器使用具有较低能量或由移动设备用于对流进行接收、解码和渲染所消耗的功率的流来发送RTP自适应流；以及接收具有该较低能量或功率的所请求的流。

在另一个示例中，计算机电路还被配置为：发送使发送移动设备能够进行以下操作的提供清单文件：接收针对从接收移动设备传送的RTP自适应流的提供清单文件；确定发送移动设备用于对从接收设备传送的RTP自适应流进行接收和解码的功率预算；识别提供清单文件中的针对要从发送移动设备接收的期望的RTP流的能量表征；以及在答复清单文件中向接收移动设备通知所选择的RTP流。

在另一个示例中，计算机电路被配置为：从发送移动设备接收针对期望的RTP流的请求，其中，所期望的RTP流是至少部分地基于发送移动设备的功率预算来选择的。

在另一个示例中，针对RTP自适应流的提供清单文件和答复清单文件是在IP多媒体子系统(IMS)多媒体电话服务会话(MTSI)的会话描述协议(SDP)或会话发起协议(SIP)中传送的。

在另一个示例中，接收移动设备和发送移动设备中的一个可以确定针对要发送和接收的RTP流的能量表征，其中，所述确定是至少部分地基于：接收移动设备或发送移动设备的最低功率水平；以及接收移动设备和发送移动设备的预先确定的关系。

在另一个示例中，计算机电路被配置为：从发送节点接收针对所传送的实时传输协议(RTP)自适应流的接收清单文件；基于针对发送节点的接收清单文件中的能量表征信息，来对向发送节点传送的RTP自适应流的区段进行编码；以及向发送节点传送这些区段。

在另一个示例中，包括能量表征的列表的提供清单文件被包括在以下各项中：基于实时流式传输协议(RTSP)的分组交换流式传输服务(PSS)中或者基于第三代合作伙伴计划(3GPP)的多媒体广播和多播服务(MBMS)中的会话描述协议(SDP)；或嵌入在用于PSS的RTSP中或MBMS中的元数据。

如图11中的流程图中所示出的，另一个示例提供了可操作用于从发送移动用户设备(UE)终端接收实时传输协议(RTP)自适应流的接收移动用户设备(UE)终端的计算机电路的功能1100。所述功能可以实现为方法，或者所述功能可以作为指令在机器上执行，其中，所述指令包括在至少一个计算机可读介质或一个非暂时性机器可读存储介质上。

在图11中所示出的示例中，计算机电路可以被配置为：确定接收移动UE终端的功率水平(如在框1110中)；经由实时流式传输协议(RTSP)或会话描述协议(SDP)信令，使用在接收移动UE上操作的分组交换流式传输服务(PSS)客户端来发起会话重新协商(如在框1120中)；请求PSS服务器使用具有所选择的能量水平或由所述接收移动UE终端用于对实时传输协议(RTP)自适应流进行接收、解码和渲染所消耗的功率的流来发送RTP自适应流(如在框1130中)；以及接收具有所选择的能量或功率水平的所请求的流(如在框1140中)。

在一个示例中，用于使用具有所选择的能量水平或由接收移动UE终端所消耗的功率的流来发送RTP自适应流的请求可以是在以下各项中发送的：基于实时流式传输协议(RTSP)的分组交换流式传输服务(PSS)中或者基于第三代合作伙伴计划(3GPP)的多媒体广播和多播服务(MBMS)中的会话描述协议(SDP)；或者嵌入在用于PSS的RTSP中或MBMS中的元数据。

图12提供了对无线设备(例如，用户设备(UE)、移动站(MS)、移动无线设备、移动通信设备、平板电脑、手持装置或其它类型的无线设备)的示例性描绘。该无线设备可以包括一个或多个天线，所述一个或多个天线被配置为与节点或者传输站(例如，基站(BS)、演进型节点B(eNB)、基带单元(BBU)、远程无线电头端(RRH)、远程无线设备(RRE)、中继站(RS)、无线设备(RE)、远程无线单元(RRU)、中央处理模块(CPM)或者其它类型的无线广域网(WWAN)接入点)进行通信。该无线设备可以被配置为使用至少一种无线通信标准进行通信，所述至少一种无线通信标准包括3GPP LTE、WiMAX、高速分组接入(HSPA)、蓝牙和WiFi。该无线设备可以针对每一个无线通信标准使用单独的天线来进行通信，或者针对多个无线通信标准使用共享的天线来进行通信。该无线设备可以在无线局域网(WLAN)、无线个域网(WPAN)和/或WWAN中进行通信。

图12还提供了对可以用于来自无线设备的音频输入和输出的麦克风和一个或多个扬声器的描绘。显示屏可以是液晶显示器(LCD)屏，或者可以是诸如有机发光二极管(OLED)显示器之类的其它类型的显示屏。显示屏可以被配置成触摸屏。触摸屏可以使用电容式、电阻式或者其它类型的触摸屏技术。应用处理器和图形处理器可以耦合到内部存储器，以提供处理和显示能力。非易失性存储器端口还可以用于向用户提供数据输入/输出选项。非易失性存储器端口还可以用于扩展无线设备的存储器能力。键盘可以与无线设备集成在一起，或者无线地连接到无线设备，以提供另外的用户输入。还可以使用触摸屏来提供虚拟键盘。

各种技术或者其某些方面或一些部分，可以采用包含在有形介质(例如软盘、压缩盘只读存储器(CD-ROM)、硬驱动器、非暂时性计算机可读存储介质、或者任何其它机器可读存储介质)之中的程序代码(即，指令)的形式，其中，当将该程序代码装载到诸如计算机之类的机器中，并由该机器进行执行时，该机器变成用于实施各种技术的装置。电路可以包括硬件、固件、程序代码、可执行代码、计算机指令和/或软件。非暂时性计算机可读存储介质可以是不包括信号的计算机可读存储介质。在程序代码在可编程计算机上进行执行的情况下，计算设备可以包括：处理器、处理器可读取的存储介质(其包括易失性和非易失性存储器和/或存储单元)、至少一个输入设备以及至少一个输出设备。易失性和非易失性存储器和/或存储单元可以是随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪速驱动器、光驱动器、磁性硬驱动器、固态驱动器或者用于存储电子数据的其它介质。节点和无线设备还可以包括收发机模块(即，收发机)、计数器模块(即，计数器)、处理模块(即，处理器)、和/或时钟模块(即，时钟)或定时器模块(即，定时器)。可实现或者使用本文所描述的各种技术的一个或多个程序可以使用应用编程接口(API)、可重用控件等等。这些程序可以用高级过程语言或者面向对象编程语言来实现，以便与计算机系统进行通信。但是，如果需要的话，可以使用汇编语言或机器语言来实现这些程序。无论如何，该语言可以是编译语言或者解释语言，并与硬件实现相结合。

应当理解的是，已经将本说明书中所描述的功能单元中的多个功能单元标记成了模块，以便更特别地强调它们的实现独立性。例如，模块可以实现为包括定制的超大规模集成(VLSI)电路或者门阵列的硬件电路、诸如逻辑芯片、晶体管或其它分立组件之类的现成的(off-the-shelf)半导体。还可以用诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等等之类的可编程硬件器件来实现模块。

还可以用由各种类型的处理器执行的软件来实现模块。例如，可执行代码的标识的模块可以包括一个或多个物理或逻辑计算机指令块，例如可以将其组织成对象、过程或函数。然而，标识的模块的可执行文件不需要物理上位于一起，而可以将不同的指令存储在不同的位置，当将这些不同的指令逻辑地联合在一起时，可以组成该模块并实现该模块的所陈述的目的。

事实上，可执行代码的模块可以是单个指令或许多指令，并且甚至可以在多个不同的代码段上、在不同的程序之中、以及跨多个存储器设备分布。类似地，本文可以在模块之内对操作数据进行识别和说明，并且操作数据可以用任何适当的形式来体现以及在任何适当类型的数据结构之内组织。操作数据可以被收集成单个数据集，或者可以分布在不同的位置上(其包括位于不同的存储设备上)，并且可能至少部分地只作为电子信号存在于系统或网络上。这些模块可以是无源的或有源的，包括可操作用于执行期望的功能的代理。

贯穿本说明书对于“示例”或“示例性”的引用，意味着结合该示例所描述的特定特征、结构或特性包括在本发明的至少一个实施例之中。因此，在遍及本说明书的各个地方出现的短语“在示例中”或词语“示例性”并不必然全部指代相同的实施例。

如本文所使用的，为了方便起见，可以在共同列表中呈现多个项目、结构元素、组成元素和/或材料。但是，这些列表应被解释为如同该列表中的每个成员被单独地标识为独立且唯一的成员。因此，在没有相反指示的情况下，这样的列表中的各个成员均不应仅仅基于它们在共同组中的呈现而被解释为该相同列表中的任何其它成员的事实上等效项。此外，可以在本文中提及本发明的各个实施例和示例连同其各个组件替代物。应当理解的是，这些实施例、示例和替代物不应被解释为彼此的事实上的等效项，而应被视为本发明的单独和自主的表示。

此外，在一个或多个实施例中，可以以任何适当的方式对所描述的特征、结构或特性进行组合。在下面的描述中，为了提供对本发明的实施例的透彻理解，提供了大量的特定细节(例如，布局的示例、距离、网络示例等等)。但是，相关领域技术人员将认识到，可以在不使用这些特定细节中的一个或多个的基础上实施本发明，或者使用其它方法、组件、布局等等来实施本发明。在其它实例中，为了避免模糊本发明的方面，没有详细地示出或描述公知的结构、材料或操作。

虽然前述的示例用一个或多个特定的应用来说明本发明的原理，但对于本领域普通技术人员来说将显而易见的是，可以在无需创造性劳动的基础上，并且在不脱离本发明的原理和概念的情况下，对实现的形式、用途和细节做出多种修改。因此，除了本发明受限于下面所阐述的权利要求之外，这些示例并不旨在对本发明进行限制。