视频处理中的电力和计算负荷管理技术的制作方法

专利名称：视频处理中的电力和计算负荷管理技术的制作方法
技术领域：
本发明一般涉及视频处理的领域，且更具体来说，涉及用于视频处理和解码中的 电力和计算负荷管理的技术。
背景技术：
包括于视频数据中的数字信息的量是巨大的，且倾向于随摄影机的性能的提升一 起增加。视频数据的处理对具备视频能力的装置且特定来说例如蜂窝式电话、个人数字助 理(PDA)、膝上型计算机等的无线通信装置的电力和计算资源提出大量要求。虽然视频压缩主要减少空间和时间冗余，但在已捕获(或任选地从存储器提取) 源视频后和在于显示器处再现(消耗)经重建的视频前需要若干预处理和后处理操作。视 频处理主要归因于与电力需求(电池、通话时间等)成正比的所需算术运算对存储器(存 储和数据传递)和计算负荷提出大量要求。如果给定视频中的冗余的量，则应期望所述操作的数量的按比例减少。由于压缩 比为许多数量级(100 1到1000 1)，因此不管实施开销如何，均可实现待处理的视频 数据的量的显著减少。空间-时间冗余可使用压缩元数据进行识别且对应于冗余操作的减 少，这样节省电力。不同冗余等级转换成所消耗电力和计算负荷的不同等级。因此，需要用于视频处理和解码中的电力和计算负荷管理的技术。

发明内容
本文中描述用于视频处理和解码中的电力和计算负荷管理的技术。在一个配置 中，提供一种设备，其包含处理器，所述处理器具有操作以从具有视频的位流中提取信息并 编译所述信息的指令的集合。所述处理器操作以基于所述信息而区分来自所述位流的可解 码单元的电力管理(PM)序列的优先次序以用于选择性地解码所述可解码单元，并计算用 于可解码单元的所述经区分优先次序的PM序列中的每一者的电力和计算负荷中的至少一 者的计划。所述设备还包括耦合到所述处理器的存储器。在另一方面中，提供一种集成电路(IC)，其包含具有操作以从具有视频的位流中 提取信息并编译所述信息的指令的集合的处理器。所述处理器操作以基于所述信息而区分 来自所述位流的可解码单元的PM序列的优先次序以用于解码操作，并计算用于可解码单
5元的所述经区分优先次序的PM序列中的每一者的电力和计算负荷中的至少一者的计划。 所述集成电路还包括耦合到所述处理器的存储器。在另一配置中，提供一种计算机程序产品，其包括具有用于致使计算机从具有视 频的位流中提取信息并编译所述信息的指令的计算机可读媒体。所述指令进一步致使所述 计算机基于所述信息而区分来自所述位流的可解码单元的PM序列的优先次序以用于选择 性地解码所述可解码单元，并计算用于可解码单元的所述经区分优先次序的PM序列中的 每一者的电力和计算负荷中的至少一者的计划。所述配置的另一方面包括解码器引擎，其基于针对可用电力和/或当前计算负荷 的所选低功率模式而选择性地解码可解码单元的所述经区分优先次序的PM序列中的一者 或一者以上。“发明内容”不欲也不应被解释为表示本发明的整个广度和范围，根据“具体实施 方式”，特别是当和附图一起考虑时，将更容易明白这些和额外方面。


图1展示无线装置的整体方框图。图2A展示数据流。图2B展示视频层数据。图2C展示一般MPEG格式。图2D展示具有可解码单元的一般MPEG位流。图3A展示电力管理模块和视频编码器和解码器引擎的方框图。图;3B展示用于与电力管理模块一起使用的解码器引擎的方框图。图4展示用于计划电力和计算负荷的过程以用于解码可解码单元的经区分优先 次序的电力管理(PM)序列的流程图。图5展示输送层(TL)解析器和处理单元。图6展示TL信息提取器和编译器。图7展示接收到的时间切片。图8展示可解码单元的TL经区分优先次序的PM序列产生器。图9展示TL解码MIPS和电力计划器。图10展示具有电力和计算负荷管理的用于解码的过程。图11展示在TL模式期间的多层低功率模式集合产生器。图12展示视频序列/图片层(VS/PL)解析器和处理单元。图13展示VS/PL提取器和编译器。图14展示接收到的时间切片中的VS/PL信息。图15展示用以解码的VS/PL经区分优先次序的序列产生器。图16展示由VS/PL解码MIPS和电力计划器进行的用以估计MIPS的过程的流程 图。图17展示VS/PL解码MIPS和电力计划器。图18展示在VS/PL模式期间的多层低功率模式集合产生器。图19展示切片/宏块层(S/MBL)解析器和处理单元。
图20展示S/MBL提取器和编译器。
图21展示用以解码的S/MBL经区分优先次序的序列产生器。
图22展示在S/MBL模式期间的多层低功率模式集合产生器。
图23展示电力管理操作的高级方框图。
图24以顺序次序展示示范性标准(正常)解码过程。
图25展示具有电力管理操作的TL解码过程的流程图。
图26展示具有电力管理操作的VS/PL解码过程的流程图。
图27展示VS/PL信息提取协议的方框图。
图28展示根据VS/PL信息提取协议的来自位流的VS/PL经解码单元的方框图。
图29展示具有电力管理操作的S/MBL解码过程的流程图。
图30展示S/MBL信息提取协议的方框图。
图31展示根据S/MBL信息提取协议的来自位流的S/MBL经解码单元的方框图。
图32展示根据所选电力管理模式的最后切片和宏块解码的方框图。
图33展示多层电力管理模式的分级布置的方框图。
为了促进理解，已在可能处使用相同参考数字来标示各图所共有的相同元件，但
在适当时添加后缀以区分这些元件。图式中的图像出于说明性目的而被简化且未按比例描 绘。预期特征配置可有益地并入其它配置中而不进一步叙述。

本发明的示范性配置，且因此不应被认为限制可承认其它同样有效的配 置的本发明的范围。
具体实施例方式词语“示范性”在本文中用以指“充当一实例、例子或说明”。在本文中被描述为 “示范性”的任何配置或设计未必被解释为比其它配置或设计优选或有利，且术语“核心”、 “引擎”、“机器”、“处理器”和“处理单元”可互换地使用。本文中所描述的技术可用于无线通信、计算、个人电子装置、手持机等。下文描述 将所述技术示范性地用于无线通信。图1展示无线通信系统中的无线装置10的配置的方框图。无线装置10可为手持 机。无线装置10或手持机可为蜂窝式电话或相机电话、终端、配备无线功能的个人数字助 理(PDA)、无线通信装置、视频游戏控制台、膝上型计算机、具备视频能力的装置或某一其它 配备无线功能的装置。所述无线通信系统可为码分多址(CDMA)系统、全球移动通信系统 (GSM)系统或某一其它系统。无线装置10能够经由接收路径和发射路径提供双向通信。在接收路径上，由基站 发射的信号由天线12接收且提供给接收器(RCVR) 14。接收器14调节并数字化所述接收到 的信号且将样本提供给数字区段20以供进一步处理。在发射路径上，发射器(TMTR) 16接 收将从数字区段20发射的数据，处理并调节所述数据，且产生经由天线12发射到基站的经 调制信号。数字区段20包括各种处理、接口和存储器单元，例如调制解调器处理器22、视频 处理器对、控制器/处理器沈、显示处理器观、ARM/DSP 32、图形处理单元(GPU) ；34、内部 存储器36和外部总线接口(EBI)38。调制解调器处理器22执行对数据发射和接收的处理(例如，调制和解调)。视频处理器M对用于例如摄影机、视频回放和视频会议等视频应用 的视频内容(例如，静态图像、移动视频和移动文本)执行处理。视频处理器M执行视频 编码和解码或编解码操作。视频编码和解码操作可由另一处理器来执行或在数字区段20 中的各种处理器上共享。控制器/处理器沈可引导数字区段20内的各种处理和接口单元 的操作。显示处理器观执行处理以促进视频、图形和文本在显示单元30上的显示。ARM/ DSP 32可执行用于无线装置10的各种类型的处理。图形处理单元34执行图形处理。GPU 34可遵从(例如)2005年7月观日的公开可得的文献“OpenGL规范，版本 1.0 (OpenGL Specification，Version 1.0)”。此文献为针对适合于手持式和移动装置(例 如，蜂窝式电话和其它上文提及的无线通信设备)的2D向量图形的标准。另外，GPU 34还 可遵从 0penGL2. 0、OpenGL ES2. 0 或 D3D9. 0 图形标准。本文中所描述的技术可用于数字区段20中的所述处理器中的任一者，例如，视频 处理器M。内部存储器36存储用于数字区段20内的各种单元的数据和/或指令。EBI 38 促进数据沿着总线或数据线DL在数字区段20 (例如，内部存储器36)与主存储器40之间 的传递。可用一个或一个以上DSP、微处理器、RISC等实施数字区段20。数字区段20还可 制造于一个或一个以上专用集成电路(ASIC)或某一其它类型的集成电路(IC)上。本文中所描述的技术可实施于各种硬件单元中。举例来说，所述技术可实施于 ASIC、DSP、RISC、ARM、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵 列(FPGA)、处理器、控制器、微控制器、微处理器和其它电子单元中。可压缩原始视频数据以便减少必须发射到无线装置10或其它具备视频能力的装 置或由所述装置处理的信息的量。可使用(例如)遵从业界适用的视频压缩和通信标准中 的一者或一者以上的视频译码技术来执行压缩，所述视频压缩和通信标准包括以下标准: IS0/IEC的运动图片专家组MPEG-2和MPEG-4、ITU-T的H. 264/AVC或其它标准(AVC代表 高级视频译码)。遵从非标准压缩方法的视频译码技术(例如Adobe Flash player中所 使用的VP6)还可用于产生经压缩的视频数据。在所述配置中，可使用无线或有线接口或其 组合将原始和经压缩的视频数据发射到无线装置10或其它具备视频能力的装置、从无线 装置10或其它具备视频能力的装置发射或在无线装置10或其它具备视频能力的装置内发 射。或者，可将经压缩的数据存储于例如DVD的媒体中。将经压缩的视频数据包封成有效负载格式以便使用输送协议(例如，使用如由 IETF在实时输送协议规范中所定义的因特网协议(IP))进行发射。图2A展示无线装置10或其它具备视频能力的装置必须发射或处理的数据流和对 应协议的方框图。数据流2141包含输送层数据2142(例如，如输送协议规范2145所规定 的包封)和视频层数据2143。所述输送层数据遵循如对应的输送协议中所规定的数据表示 的格式或语法或语义，且视频层数据遵循如视频译码协议2144 (例如所述压缩标准)中所 规定的视频数据的表示的格式或语法或语义。输送协议2145包封视频层数据以供发射或存储，例如，如MP4的文件格式或例 如RTP或UDP或IP的输送格式。视频译码协议2144可为视频译码标准，例如MPEG-2或 MPEG-4，或H. 264/AVC,或例如Real Video或Windows Media等的任何其它视频编解码器。 输送层数据的语法和语义由输送协议支配或规定，且视频层数据的语法和语义由视频译码协议支配或规定。图2B展示视频层数据2143的格式。所述视频层数据包含序列或图片群组(GOP) 或图片层数据2243、切片或宏块(MB)层数据22M和块层数据2247。在接收器处，当接收到数据流时，在传统系统中，视频处理器以对应的输送协议规 范和视频译码协议或标准规范所规定的次序解析并解码数据流。输送解析器以对应于输送 协议规范的次序解开所述包封，此在本文中被称为正常解析操作。视频解码器以由视频译 码协议或标准规范规定的次序解析并解码视频层数据，此在本文中被称为正常解码操作。在下文描述的系统和方法中，所述视频处理器选择性地解析和/或解码或处理数 据流的各部分，且解析和/或解码和处理操作的次序是基于可用电力或计算处理能力。图2C展示一般的MPEG包格式50。MPEG包格式为数据流2141的一实例。MPEG包 格式50包括多个MPEG层52、54、56、58、60、62和64。所述MPEG层包括输送层52、序列层 54、图片群组(GOP)层56、图片层58、切片层60、宏块(iffi)层62和块层64。在图2A中，所 述层经展示为堆叠的，以表示需要解码和处理的层的分级次序。为了本文中描述的目的，将 序列层M与图片层58分组在一起且称作视频序列/图片层(VS/PL)70以实现本文中所描 述的电力负荷管理的目的。在一些标准中，可能仅呈现序列层或一图片层或所述层的一组 合。另外，将切片层60与宏块(iffi)层62分组在一起以形成切片/MB层(S/MBL)72以实现 本文中所描述的电力负荷管理的目的。在一些标准中，可省略或组合所述层中的一者或一 者以上。在MPEG压缩中，可将视频帧译码并格式化成图片群组(GOP)，其可包括帧内译码 (I)帧、预测性译码(P)帧和双向预测性译码(B)帧中的一者或一者以上。一些B帧可为参 考帧。可将非参考B帧标示为b帧。如可了解，不可能描述所有的帧和标准中的帧布置。图2D展示具有可解码单元的一般MPEG位流。所述位流在序列层M处包括序列 标头54A，其后为序列数据MB。序列层M为可解码单元。序列数据54B包括图片层58，所 述图片层58包括表示为图片1、图片2、图片3、…、图片(N-I)和图片N的多个图片。每 一图片为可解码单元。每一图片包括图片标头58A和图片数据58B。图片数据58B包括切 片层60。切片层60包括表示为切片1、切片2、切片3、…、切片(M-I)和切片M的多个切 片。每一切片为可解码单元。切片包括切片标头60A，之后为切片数据60B。切片的切片数 据60B包括宏块层62。宏块层62包括表示为MB UMB 2,MB 3、-,MB(P-I)和MB P的多 个宏块。每一宏块为可解码单元。每一宏块包括MB标头62A和MB数据62B。一些可解码 单元依赖于另一可解码单元。因此，区分优先次序将考虑相依的可解码单元。此外，每一层 中的可解码单元中的一者或一者以上是可分的。图3A展示电力管理模块100和视频编码器引擎102和视频解码器引擎104的方 框图。电力管理模块100具有多层级低功率模式集合产生器114。多层级模式集合产生器 114具有根据MPEG格式的分级(分层的)层布置的多个低功率模式。所述多个低功率模式 是基于可在每一层处针对改进的粒度和/或视觉质量而选择性地解码的可解码单元的经 区分优先次序的电力管理(PM)序列。粒度可指代在给定电力消耗目标下可执行以最大化 所得视觉质量的解析或解码操作的程度。PM序列为促进电力管理的解码或解析操作的序 列。PM序列试图经由选择性解码和/或解析操作的先行处理来最大化在给定电力下的视 觉质量。多层级低功率模式集合产生器114具有多个层模式。在此配置中，所述多个层模
9式包括TL模式、VS/PL模式和SL/MB模式。如可了解，本文中所描述的技术不限于MPEG格 式，而是可与其它视频压缩和/或输送协议格式一起使用。在一个实施例中，提取并编译来自包括视频数据的数据串流的信息，且基于此信 息，区分促进电力管理的用于数据流的解码和解析操作的序列(PM序列)的优先次序。在另一实施例中，区分优先次序是基于解码和解析操作中的至少一者的先行处 理。在又一实施例中，计算用于所述经区分优先次序的PM序列中的每一者的电力和计算负 荷中的至少一者的计划。在另一实施例中，电力管理序列的所述区分优先次序是基于视觉 质量和粒度中的至少一者。所述实施例进一步包含产生低功率模式的分级列表，以基于所述区分优先次序而 选择性地解码所述经区分优先次序的电力管理序列。可响应于可用电力或计算负荷而选择 低功率模式。另外，可响应于所选低功率模式而选择性地解码所述经区分优先次序的电力 管理序列中的一者或一者以上。在另一实施例中，选择性解码可基于计算用于所述经区分 优先次序的电力管理序列的电力和计算负荷中的至少一者的计划。在示范性配置中，由预测模式指示的冗余程度(例如)得到各层的分级集合，所述 集合又可映射到低功率/降低功率操作模式的一分等级集合。一种使用H. 264预测模式的 格式是基于以下事实视频中对应于帧间和帧内预测模式的按照递减次序的冗余的层级包 括跳过(Skip)、直接(Direct)、帧间(Inter)和帧内(Intra)预测模式。模式的次序还对 应于受损时(当对应于这些模式的MB的解码和重建中引入不准确性时)对视觉质量的递 增影响的次序。这些概念可扩展到其它视频译码标准和格式。为了在功率优化的视频处理方面利用视频中的冗余，可将涉及仅解码器引擎104、 仅编码器引擎102或跨编码器引擎和解码器引擎协调的若干方面用于电力负荷管理。在仅 解码器引擎(DO)解决方案的情况下，可在装置10处的解码或再现期间应用所述DO解决方 案且是编码器不可知的。可将所述解决方案划分为一致种类和不一致种类。一致种类解决 方案将输出维持标准一致性的视频流。此处，将满足严格的一致性要求。在不一致解决方 案中，此解决方案的优点为灵活性和复杂性的较大降低(与一致种类相比)以对视觉质量 造成最小影响。在仅编码器引擎102 (EO)解决方案的情况下，所有复杂性降低方法均在编码期间 并入且是解码器不可知的。在EO解决方案中，所有编码功能偏离处理能力的角度。任选地， 用于处理能力的成本函数包括于被称为RD功率优化的速率-失真(RD)优化中。在联合编码器-解码器引擎(JED)解决方案的情况下，在编码期间并入或采用电 力减少方法，且解码器引擎执行适当的互反动作以提供(电力/负荷/成本上的)增加的 减少。在JED解决方案中，编码器引擎知晓解码器引擎应用上述的DO解决方法的能力，且 将用于适当动作的指示符并入所述位流(用户字段或补充增强信息(SEI)消息)或边信道 中以在解码器引擎处使用。基于电力减少的集合的先前商定的协议可由编码器引擎和解码 器引擎两者采用以实现电力/负荷/成本上的增加的减少。DO解决方案在解码器引擎未知晓编码过程的情况下应用于开放式应用。实例将 包括移动TV、按需视频(Video-On-Demand，V0D)、PMP等。所述EO解决方案将找到在视频 服务器中的应用，其中需要功率友好位流以驱动低功率装置。所述EO解决方案还在以下情 况下有用在产生一源的多个译码版本，且网络服务器基于网络/信道条件在所述多个译码版本之间自适应地选择/切换。与DO或EO解决方法相比，对于给定质量，JED解决方案 提供电力减少方面的最大增益。所述JED解决方案应用于封闭式或对话式应用，其中通信 /控制路径(实时或事前的)是可能的。下面的描述是针对DO解决方案且提供多层框架配置以调节视频解码中的实施和 操作复杂性。视频解码和再现操作中的负荷管理是可能的，其中例如移动TV、便携式多媒体 播放器(PMP)(电影/DVD播放器)等各种应用需要扩展的视频回放。本文中所描述的体现 于多层框架配置中的技术可扩展到任何视频或多媒体应用。负荷或电力管理指代对运行时间复杂性的调节，所述运行时间复杂性包括(但不 限于)延迟、电力消耗和每秒或处理器循环百万条指令(MIPQ可用性。调节包括在给定可 用处理、电力和时间资源的情况下优化用户体验(特定来说，视频质量)。所述多层框架配 置允许各种粒度水平的所述调节，以用于对所述应用对视频解码器实施的即时需求的预防 性和反应性响应两者。基于可用信息和电力(电池)水平并避免处理器停顿而推荐替代的 执行或控制/数据流路径。鉴于前述内容，本文中所提供的描述主要针对由解码器引擎104执行的DO操作。 解码器引擎104进行视频解码后可为由显示处理器观中的再现级28A (图2 执行的再现。 解码/再现不必为连续过程。举例来说，可并行地解码多个切片，可并行地或以可不被视为 连续的波形方式再现图像的若干行。但是，虽然以连续次序进行解码和之后的再现是规范， 但在一配置中，这些操作是并行的。再现通常包括后处理(彩色空间转换、缩放等)和之后 的合成待显示的图像和显示过程(传递到显示缓冲器、从此缓冲器读取和写入到显示器)。 为了举例，在连续过程中进行解码和之后的再现且按时间次序发生(时序是基于用于解码 的解码时间戳和用于再现/显示的呈现时间戳)。然而，到此过程(解码和再现)的输入 为视频位流(取景器的情况可能除外)，其未必依据视觉质量按重要性次序区分优先次序 (即，即时解码器刷新(IDR)、帧内(I)和预测(P)帧是交替的)。而且，将视频位流传递到 解码器引擎104的输送层协议在按包/序列号次序呈现给解码器引擎104的包中就是这 样。以接收次序处理位流可导致帧丢弃且不允许在低功率操作(由用户起始以节约电池或 由系统基于可用或所分配的电力进行调制)下抑制输出视频的质量。处理器循环的缺少、 MIPS和/或累积的延迟和等待时间可导致通常在大小上较大的关键帧被丢弃，从而致使视 频停顿较长持续时间。编码器引擎102获取或产生并压缩遵从MPEG标准、H. 264或其它标准的视频数据。 处理所述视频数据以提取视频信息的所选部分，以使得编码满足装置10的图像质量、电力 和/或计算负荷需求和/或装置10或具备视频能力的装置(例如，无线或有线接口)的输 出视频接口的发射能力、带宽或其它特性。另外，编码可使得解码(由接收方进行)满足接 收方的解码器引擎或接收器14的质量、电力和/或计算需求和能力。图;3B展示用于与电力管理模块100 —起使用的解码器引擎104的方框图。解码 器引擎104包括标准(正常)序列解码处理单元105以在电力管理或低功率模式并非必要 时解码位流。解码器引擎104还包括输送层(TL)解析器和处理单元106、视频序列/图片 层(VS/PL)解析器和处理单元108、切片/MB层(S/MBL)解析器和处理单元110、块层解析 器和处理单元112。在示范性配置中，未描述块层64处的电力和计算负荷管理。如将从以下描述可见，TL解析器和处理单元106解析并处理输送层52。VS/PL解
11析器和处理单元108至少解析并处理序列层M和图片层58。序列层M与图片层58的组 合在下文中被称为视频序列/图片层(VS/PL)70。然而，VS/PL解析器和处理单元108还可 解析并处理GOP层56，或某一其它解析器和处理单元可用于GOP层56。因此，以虚线展示 从参考数字70到GOP层56的线。S/MBL解析器和处理单元110解析并处理切片层60和宏 块(MB)层62。块层解析器和处理单元112解析并处理块层64以便解码MPEG格式的视频 或编程。解析器和处理单元106、108、110和112中的一者或一者以上可用于并行地、单独 地或以组合关系操作以进行本文中所描述的电力和计算负荷管理功能。此外，可省略解析 器和处理单元106、108、110和112的电力和计算负荷管理功能中的一者或一者以上。尽管 如此，在示范性配置中，仍按需要选择性地致动解析器和处理单元106、108和110以提供分 层的电力和计算负荷管理功能，所述分层的电力和计算负荷管理功能控制视觉质量、电力 负荷的权衡的视觉质量和所述层中的任一者中的粒度，以便在有效地使用电力的同时维持 或增强用户的体验。图4展示用于计划用于解码可解码单元的经区分优先次序的电力管理(PM)序列 的电力和计算负荷的过程120的流程图。为了区分位流和可解码单元的作为结果的电力管 理(PM)序列的优先次序以用于选择性解码，针对每一分级(分层的)层提供三阶段(3阶 段)过程120以提供分级地布置的低功率操作模式。过程120依赖于视频位流中的非因果 性，且所述过程的效率视先行的量(解码器引擎的输入缓冲器深度)而定。过程120在方框122开始，在方框122中解析和提取层信息。方框122之后为方框 124，在方框124中区分需要解码的可解码单元的那些PM序列(将不与序列层相混淆)的 优先次序。为实现说明性目的，以列表形式展示可解码单元的经区分优先次序的PM序列， 如稍后将较详细地描述。术语“可解码单元的经区分优先次序的PM序列”在下文中有时将 被称为“经区分优先次序的PM序列”。然而，每一序列包括一个或一个以上可分的可解码 单元。如将从以下描述可了解，可解码单元包含图片、切片和宏块中的一者或一者以上或群 组。方框124之后为方框126，在方框126中计划用于经区分优先次序的PM序列的电 力和计算负荷。在示范性配置中，依据每秒百万条指令(MIPQ的数目计划计算负荷。对应 的MIPS需要所计划或预定的电力。在方框1 处，存在经区分优先次序的PM序列与对应的MIPS (且随后是解码PM 序列中的一者或一者以上所需的电力)的相关性。下面还相对于H. 264标准描述方框122 和124。方框1 可使用来自电力分析的对应于典型情形(例如，测试位流)的结果，且任 选地反馈驱动训练或运行时间更新以供在计划中使用。一旦已知一位流，便可计划电力和 计算负荷(处理能力)以通知用户所述装置10中的电力是否不足以完全解码位流。因此， 如果电力(电池或电能)将在位流被完全解码之前耗尽(例如在回放期间)，则用户具有选 择将允许完成位流的功率模式的选项。如先前所提及，可针对压缩数据格式中的不同层重复3阶段过程120。在(对应于 不同层的)每一方框126之后，产生用于解码器引擎104的低功率模式的分级集合以用于 解码操作的电力和计算负荷管理。此可在运行中发生，或对于适当选择的位流的集合和在 实时操作之前预先经校准/编程的解码器，其可为预定的。
图5展示输送层(TL)解析器和处理单元106。TL解析器和处理单元106包括TL 信息提取器和编译器150 (图6)、TL经区分优先次序的PM序列产生器152 (图8)和TL解 码MIPS和电力计划器154(图9)。输送层(TL)解析器和处理单元106将进行三阶段过程 120以用于输送层52的解码操作的电力和计算负荷管理中。图6展示TL信息提取器和编译器150。TL信息提取器和编译器150视借以接收 视频位流的输送协议而定。图7中展示接收到的时间切片190的一部分的一实例。在示范 性配置中，可由TL信息提取器和编译器150提取和编译位流中的各种信息。TL信息提取器 和编译器150将解析图7中所展示的接收到的时间切片190。TL信息提取器和编译器150 包括随机存取点(RAP)提取器160、状态信息提取器166、位流特性提取器176和输送层信 息编译器186。RAP提取器160可提取具有标记为获取的包/切片的位置、大小、呈现时间 戳(PTS)等的信息162。RAP提取器160还可提取输送标头(例如，实时输送协议(RTP)有 效负载格式中的入口点标头)中的RAP 164的序列。在示范性配置中，由状态信息提取器 166提取的状态信息包括关于信道变化170和用户观看偏好172 (例如在广播或移动TV应 用中)的信息。所提取的状态信息166还可包括应用变化174(例如，分辨率/预览模式或 画中画模式)等。位流特性提取器176提取位速率178、帧速率180、分辨率182、应用(存储对串 流)184等。在位速率178的情况下，在一些情况下(例如，MPEG文件格式)容易得到值。 在其它情况下，在将输送标头和填充物移除之后，(例如)由输送层信息编译器186基于在 由时间戳指示的一秒中的位流的大小计算位速率。TL层信息提取器和编译器150包括TL 信息编译器186以计算不可直接从接收到的时间切片的输送层提取的信息。关于图9描述 对包大小和位速率的实例计算。图7展示接收到的时间切片190，在此实例中其具有在所接收数据中的RAP1 191、 RAP2 196、…、RAPn 198。(其可任选地为从所存储文件中提取的位流的一区段)。每一 RAP (例如RAP1 191)具有一标头192，之后为具有与作为随机存取点的经译码帧(例如I 帧)相关的数据的有效负载193。所述标头包括多个字段，其中一者为PTS1间隔194。计算 (例如，在RTP中，从随机存取(RA)计数和参考时间和PTS偏移导出)绝对RAP位置(包) 和用于每一 RAP的来自PTS1间隔194的PTS值。RAP2 196具有一标头，之后为具有与作为 随机存取点的经译码帧(例如I帧)相关的数据的有效负载。所述标头包括多个字段，其 中一者为PT&间隔。将表示为RAP-GOP的间隔界定为从RAP帧开始直到下一个RAP帧为止的图片群 组。在输送层处，RAP为可解码单元。此外，RAP--GOP可为用于输送层的可解码单元。基于 应用，在需要时检索或请求更多数据。举例来说，在所存储视频的回放期间，有可能搜遍文 件格式标头以寻找相当于几秒秒)的数据以评估位速率和帧速率。接着，基于可用电 力，决定解码所有数据或以减小的帧速率为目标进行解码。接收到的时间切片190可为用于MediaFLO 的超帧或用于数字视频广播(DVB) (例如DVB-H(其中H代表手持式))的时间切片。图8展示TL经区分优先次序的PM序列产生器152。处理以上所提取的信息以创 建可解码单元的TL经区分优先次序的PM序列的列表200。TL经区分优先次序的PM序列 产生器152导出绝对参数值。假设在输送层52处已接收到具有对应的GOP的多个包RAP119URAP2 196、…和RAPn 198。因此，待由解码器引擎104解码的可解码单元的TL经区分 优先次序的PM序列开始于方框202。此处，可解码单元为方框202处的RAP1、方框204处的 RAP-GOP1的剩余部分、方框206处的RAP2、方框208处的RAP-GOP2的剩余部分。对TL经 区分优先次序的PM序列的优先次序区分继续下去，直到方框210处的可解码单元RAPn和 方框212处的RAP-GOPn的剩余部分为止。对可解码单元的TL经区分优先次序的PM序列 的以上描述仅为序列的布置的一个实例。图9展示TL解码MIPS和电力计划器154。在输送层级52处，电力/计算负荷减 少的第一水平是可能的。此水平可提供粗略的电力/计算负荷减少。举例来说，对于最低 功率模式设定或当装置10的电池水平已耗尽到< 10%时，将仅解码RAP包(由方框202、 206和210表示)，且当由再现级28A再现时，任选地，可触发图形处理单元34以产生I帧 之间的过渡效果。所述过渡效果提供低成本“视频”而非幻灯片展示效果。基于低功率模 式，可使用其它视频补偿来补偿所跳过的可解码单元。举例来说，可使用图像变形(image morphing) 0补偿的另一实例可使用光学流。TL解码MIPS和电力计划器巧4产生表示用于MIPS的计划(列4)的数据，所述 MIPS用以解码TL经区分优先次序的PM序列的列表200中的可解码单元的PM序列中的一 者、多者或全部。仅出于说明性和描述性目的，展示MIPS计划表230。所述表具有多个列。 在列Cl中，列举输送层信息或可解码单元的TL经区分优先次序的PM序列。在列2中，识别 用以解码可解码单元中的一些或全部的包大小。在列C3中，识别位速率计算。在列C4中， 提供用以解码可解码单元的所计划的MIPS。如可了解，可能已在区分优先次序阶段期间导 出列C3中的位速率和列C2中的包大小。在此实例中，行Rl识别可解码单元的TL经区分优先次序的PM序列的列表200中 的第一可解码单元。在此例子中，所述第一可解码单元为RAP115可基于来自TL提取器和编 译器150的经提取和编译的信息而计算RAP1的包大小。在示范性配置中，RAP1的解码包大 小对应于RAP1的输送包的大小_(输送标头192加上有效负载19 的大小。RAP2的解码 包大小对应于RAP2的输送包的大小_(输送标头加上有效负载)的大小。同样地，RAPn的 解码包大小对应于肌1\的输送包的大小-(输送标头加上有效负载)的大小。行RN+1 (最 后一行)对应于整个的接收到的时间切片，例如切片190。因此，针对每一可解码单元和行 RN+1处的用于接收到的时间切片190的整个输送层52的所有可解码单元而计算MIPS的计 划。在列3中，计算或提取位速率。在此情况下，根据间隔(RAP--GOP1)的大小除以间 隔(PTS2-PTS1)或(PT&减去PTS1)的大小，基于RAPAGOP1ITSyPTS1的大小而计算位速率。 以类似于RAP1的方式计算RAP2、…、RAPn的位速率。在行RN+1中，位速率为接收到的时间 切片/间隔(PI^2-PTS1)的大小。在列4中，在行Rl中，用以解码RAP1的所计划的MIPS具有两个值。第一值随用于 RAP1的I帧大小而变。第二值随针对给定编解码器的具有大小(RAP--GOP1)的位流的所述 部分而变。用于MIP的计划的信息可从输送标头(RAP和对应的PTQ得到。因此，所述可 解码单元是可分的且在计划MIPS时不全部解码。而是，仅标头或其一部分需要解码以提取 必要信息，如下文将更详细地描述。在行RN+1中，根据用于给定编解码器的位流大小(针 对时间切片)而计划用以解码整个时间切片的所计划的MIPS。应注意，用以解码规定量的
14MIPS计划随电力简档描述和分析而变。对于列C4中的MIPS计划中的每一者，确定对应的电力需求。所述对应电力可按 需计算或可预先存储于查找表中。此通常将完成三阶段过程120的第三阶段。图10说明具有电力和计算负荷管理的用于解码的过程M0。在给定用以解码可 解码单元中的一者或一者以上的MIPS需求，和给定时刻的可用MIPS(或电力需求对可用电 力/安培)的情况下，可作出解码接收到的时间切片190的全部或一部分的决策。用以虚 线展示的过程120的第三阶段说明过程M0。过程120的第三阶段提供解码输送层52所必 需的计算负荷和/或电力的必需计划。因此，在方框242处，计划MIPS。在方框244处，确 定对应于所计划的MIPS的电力。尽管示范性配置提供MIPS与电力的关系，但可使用影响 电力和计算负荷的其它值。方框244结束所述第三阶段。方框244之后为方框M6，在方框246中确定给定时 刻的可用MIPS (计算负荷)。方框244之后还有方框M8，在方框248中确定给定时刻的可 用电力。并行地展示方框246和对8。尽管如此，在各种配置中，以所描绘的次序执行过程 240和本文中所描述的其它过程的块，或可同时地、并行地或以不同次序执行这些步骤中的 至少两者或其部分。方框246之后为方框250，在方框250中作出所计划的MIPS是否大于可用MIPS的 确定。如果所述确定为“否”，意味着所述时刻的可用计算负荷是足够的，则可在方框2M处 解码整个输送层52。然而，如果方框250处的确定为“是”，意味着可用计算负荷不足，则可 在方框256处根据在低功率模式设定的列表沈0(图11)中识别出的模式中的任一者来解 码输送层52的一部分。方框248之后为方框252，在方框252中作出所计划的电力是否大于可用电力的 确定。如果方框252处的确定为“否”，意味着可用电力是足够的，则可解码整个输送层52。 然而，如果方框252处的确定为“是”，意味着可用电力不足，则可在方框256处根据在低功 率模式设定的列表260(图11)中识别出的模式中的任一者来解码输送层52的一部分。如 果来自方框250和252的条件均为否，则将解码整个输送层52。对于所有其它情况，将部分 地解码输送层52。以虚线展示方框M8、252以表示所述方框也是任选的。图11展示在TL模式期间的多层低功率模式集合产生器114。多层低功率模式集 合产生器114产生可选择的低功率模式设定的列表沈0。在图11的示范性配置中，存在多 个输送层低功率模式，其表示为行Rl中的模式1、行2中的模式IA和行3中的模式2。输 送层模式1对应于(例如)使用所有RAP的幻灯片展示(在下文中称为“SS-RAP”)。输送 层模式IA对应于具有由再现级28A造成的过渡效果的SS-RAP。因此，模式IA不同于模式 1的地方在于，模式IA提供优于模式1的增强的视觉质量。输送层模式2对应于基于可用 电力而选择性地解码RAP-G0P。列C2中的列表将提供必需指令以致使解码器引擎104选 择性地解码输送层52处的可解码单元中的一者或一者以上。电力管理模块100在TL模式期间基于所计划的MIPS和/或电力而作出可将低功 率模式1、1A或2中的哪一者提供给用户以用于位流的解码的确定。如果存在可基于管理 可解码单元的其它层的电力而进一步节约的可用电力，则可选择模式2，如将关于视频序列 /图片层进行描述。如果选择TL模式1A，则发生具有过渡效果的SS-RAP (I帧)的正常解码。然而，如果选择TL模式1，则电力管理模块100可进行到VS/PL模式3以用于视觉质量的进一步升级。序列/图片层图12展示视频序列/图片层(VS/PL)解析器和处理单元108。VS/PL解析器和处 理单元108包括VS/PL信息提取器和编译器280 (图13)、VS/PL经区分优先次序的PM序列 产生器观2 (图1 和VS/PL解码MIPS和电力计划器观4(图17)。VS/PL解析器和处理单 元108将进行三阶段过程120以用于VS/PL 70的解码操作的电力和计算负荷管理中。图13展示VS/PL信息提取器和编译器^2。VS/PL信息提取器和编译器观2视所述 视频位流的VS/PL格式而定。图14中展示根据VS/PL 70的接收到的时间切片330的一实 例。基于视频编解码器(编码器引擎和解码器引擎)，在序列层M处提取信息。在MPEG-2 和MPEG-4的情况下，提取视频序列层参数。这需要到视频解码器引擎104中的接口。稍后 将关于图27和图观描述所述提取。如果不可检索在输送层52处列出的一些参数(例如，I帧位置或包ID)，则可在序 列层M处提取所述信息。VS/PL信息提取器和编译器280提取I帧位置284和包ID 2860 VS/PL信息提取器和编译器282还从(例如)用于H. 264标准或序列层M的序列参数集合 (SPS)提取简档四0、层级292和参数约束(C0nstrained_set_flag)294。还可使用图片参 数集合(PPS)。VS/PL信息提取器和编译器282还可提取或编译图片信息四6。所述图片信息可 包括参考帧的数目四8、分辨率300、帧速率302(如果尚未检索)、显示参数(VUI)等以评估 解码/处理数据所需的计算负荷。额外信息包括关于参考位置304、参考图片大小306、PTS 和参考图片信息308的信息。还可提取或编译非参考图片位置310、非参考图片大小312、 非参考图片信息314和PTS。被编译的信息由信息编译器316编译。为了提取VS/PL信息， 仅解码序列标头和所有图片标头。如图27和图观中将较详细地描述，使图片的有效负载 未被解码。图15展示VS/PL经区分优先次序的PM序列产生器观2。在VS/PL经区分优先次 序的PM序列产生器282处，从所提取的信息导出绝对参数值。为了改进粒度，用较多细节 填充可解码单元的VS/PL经区分优先次序的PM序列的列表360。所述优先次序区分类似于 关于图8所论述的优先次序区分。然而，在此层级或层处，基于I帧的类型(例如在HJ64 情况下的IDR和I帧)，进一步限定在输送层52中识别出的所述多个包RAPp RAP2,…、 RAPn(方框362、382、388)或区分其优先次序。或者，使用所述图片标头信息识别所有I帧 且接着区分所述I帧的优先次序。在示范性配置中，将方框或间隔RAP-GOP1 364进一步细分成其它VS/PL可解码 单元。进一步区分这些VS/PL可解码单元的优先次序，使得IDR(或MPEG-2中，在封闭式 GOP的开始处的I帧)之后为非IDR I帧(开放式G0P)。因此，优先次序区分可经设定以 使得IDR帧366之后为I帧368。I帧366之后为P帧370，其之后为参考B帧372。参考 B帧372之后接着为表示为b帧374的非参考B帧。图14展示指示帧类型(P、B和b)的 接收到的时间切片330。因此，待由解码器引擎104解码的VS/PL经区分优先次序的PM序列开始于方框 362处的RAP1,随后是方框364处的RAP-GOPlt5根据方框366、368、370、372和374，进一步区分RAP-GOP1的优先次序。可基于b帧进一步区分对应于RAP-GOP1的间隔的优先次序。 在示范性配置中，使用方框376到380处的b帧的大小信息进一步区分VS/PL经区分优先次 序的PM序列的优先次序。举例来说，具有大于FRUC阈值(表示为FRUC_THR)的大小信息 的b帧(方框376)可具有比大小小于所述FRUC阈值的那些b帧高的优先权。另外，小于 丢弃阈值(表示为DR0P_THR)的b帧可被标记且完全被丢弃而无FRUC。因此，在方框378 处，可将优先次序区分准则设定为DR0P_THR < b < FRUC_THR。在方框380处，可将优先次 序区分准则设定为b < DR0P_TH。可将这些阈值映射到所需的处理循环/电力上的百分比 减小。方框382设定用于解码RAP2的优先次序区分。方框382之后为方框384，在方框 384中，类似于以上的方框366、368、370、372、374、376、378和380来区分针对RAP-GOP2的 剩余部分的优先次序区分的优先次序。所述VS/PL经区分优先次序的PM序列的优先次序区 分在方框386处继续，直到用于区分对RAPn的解码的优先次序的方框388为止。方框388 之后为方框390，在方框390中区分RAP-GOPn的剩余部分的优先次序以用于解码。视计算负荷的状态而定，可经由消除适当数目个低优先权序列或可选择的可解码 单元来减小或修改解码操作的序列。图16展示由VS/PL解码MIPS和电力计划器284进行的用以计划MIPS的过程400 的流程图。过程400开始于方框402，在方框402中确定用以解码IDR-帧大小的MIPS。方 框402之后为方框404，在方框404中确定用以解码所有I帧大小的MIPS。方框404之后 为方框406，在方框406中确定用以解码所有P帧大小的MIPS。方框406之后为方框408， 在方框408中确定用以解码所有B帧大小的MIPS。方框408之后为方框410，在方框410 中在各种条件下确定用以解码所有b帧大小的MIPS。举例来说，如果丢弃所述b帧中的一 些b帧(例如，Id1帧和ID2帧)，则将用以解码的所计划的MIPS设定为0。图17展示VS/PL解码MIPS和电力计划器观4。在帧层级处，帧类型(例如IDR、 I、P、B、b、…)、大小(306或312)和帧速率302为可用以评估解码帧所需的处理器循环的 量或比例的关键因素(可包括其它限定符)。使用特定测试位流的电力简档描述和分析可 用以基于帧类型(IDR、I、P、B、b、…)导出处理器循环的量与帧大小之间的关系。可将这 些关系布置于查找表中以供稍后用于MIPS和电力计划中。其它条件在此分析期间可为固 定的且在稍后外推。举例来说，可针对1-参考图片情形导出映射，且可基于独立分析外推 相对复杂性对5-参考图片。在H. 264标准的情况下，在解析切片标头之前，帧层级信息不 可用。在图17中，VS/PL解码MIPS和电力计划器284产生用以解码的所计划的MIPS的 列表440。为说明性和描述性的目的而产生所述列表。在行Rl处，VS/PL解码MIPS和电力 计划器284基于每一 IDR的大小(IDR)对IDR帧进行计划。在行R2处，VS/PL解码MIPS和 电力计划器284基于I帧大小的序列(大小(I1)、大小(12)、···)而产生用于所有I帧的所 计划的MIPS。在行R3处，VS/PL解码MIPS和电力计划器284基于P帧大小(大小(P1)、大 小(P2)、…)而产生用于所有P帧的所计划的MIPS。在行R4处，VS/PL解码MIPS和电力计 划器284基于B帧大小(大小(B1)、大小(B2)、…)而产生用于所有B帧的所计划的MIPS。 在行R5处，VS/PL解码MIPS和电力计划器284基于B帧大小(大小^1)、大小(b2)、…) 而产生用于所有B帧(非参考B帧)的所计划的MIPS。当计划用于所有b帧的MIPS时，作
17出是否丢弃1^和132的确定。如果丢弃，则将所计划的MIPS设定为零(0)。还存在关于取 代bl、b2、…等的FRUC的计划。关于图10和图17，对于用以解码的所计划的MIPS的列表450中的MIPS计划中的 每一者，施加对应的电力需求。在给定MIPS需求和给定时刻的可用MIPS (或电力需求对可 用电力/安培)的情况下，则可以类似于以上关于图10所描述的方式作出解码所有或所选 帧(部分)(其为可解码单元)的决策。在序列/图片层级处理的最后，中等粒度电力减少模式是可能的(假设I帧通常 构成GOP中的位的30%，且位的数目与MIPS需求成比例，则按照约5%的台阶从0到60% 的减少是可能的)。视关于处理器负荷和电力水平的当前状态的反馈而定，通过消除适当 数目个低优先权实体来缩短操作的序列。按增加的电力需求的次序在图18中列出在序列 /图片层处可能的模式。图18展示在VS/PL模式期间的多层低功率模式集合产生器114。多层低功率模式 集合产生器114产生低功率模式的列表450。为说明性目的而产生所述列表。所述列表包 括VS/PL层模式3，其对应于用以解码使用RAP的幻灯片展示和所有I帧的指令。因此，如 果选择模式1A，则电力管理模块100将评估额外MIPS是否可用，使得还可为了改进视觉质 量或粒度而解码所有所述I帧。VS/PL层模式3之后为VS/PL层模式4A，其对应于用以基 于仅使用所有I帧和P帧的降低的帧速率进行解码的指令。VS/PL层模式4A之后为VS/PL 层模式4B，其对应于用以基于仅使用所有I帧和P帧(具有取代B (和b)帧的选择性FRUC) 的降低的帧速率解码的指令。在模式4B中，使用正常解码来解码I和P帧。然而，不解码 B帧。而是，对于所有B或b帧，选择性FRUC取代每一 B或b帧。VS/PL层模式4B之后为 VS/PL层模式4C，其对应于用以基于可用电力而选择性地解码RAP-GOP (例如如上的I帧 和P帧)的指令。然而，作为替代操作，对于选择性数目个B或b帧，使用所述选择性FRUC 以取代每一 B或b帧。VS/PL层模式4C之后为VS/PL层模式4D，其对应于用以基于使用所 有I和P帧的降低的帧速率(比模式4C高)进行解码的指令。还可包括所有B帧。替代 地，使用所述选择性FRUC以取代每一 B帧(任选地，针对选择性数目个B帧)，且无操作用 于b帧。替代地，可跳过或绕过所述b帧。VS/PL层模式4D之后为VS/PL层模式5，其对应 于用以解码所有接收到的帧(I、P、B和b)的指令。如果选择VS/PL层模式3或5，则将进行另一替代操作以用跳过宏块(MB)替代。 此外，从模式2起，可通过模式4A到4D和5所提供的精细化而实现进一步增强的视觉质量 或粒度。切片/MB层图19展示切片/宏块层(S/MBL)解析器和处理单元110。S/MBL解析器和处理单 元Iio包括S/MBL信息提取器和编译器460 (图20)、S/MBL经区分优先次序的PM序列产生 器462 (图21)和S/MBL解码MIPS和电力估计器464。S/MBL解析器和处理单元110将进 行三阶段过程120以用于S/MBL 72的解码操作的电力/负荷管理中。图20展示S/MBL信息提取器和编译器460。S/MBL信息提取器和编译器460已借 以压缩视视频位流的协议或标准而定。此处，S/MBL信息提取器和编译器460提取切片信 息470和MB信息472。针对对应于在来自图15的经区分优先次序的序列中识别出的图片 的图片而解析切片信息470和MB标头。可将来自先前层VS/PL 70中的经区分优先次序的
18序列(图15)的帧的选择部分标记为经解码。请注意，如果需要电力管理的较细粒度，则可 继续对所有图片进行解码。因此，仅切片标头和MB标头经解码。如果检测到标头有错误，则可遗弃所述MB或整个切片的系数/MB数据。任选地， 可应用零MV消除且稍后用更复杂的错误校正(EC)进行精细化。MB信息472包括MB类型 474、运动向量(MV) 476、模式478、大小480、其它信息482和每帧MB图484。在与本申请案同时申请且具有代理人案号第071445号的第12/145，900号专利申 请案中描述了示范性每帧MB图，且所述专利申请案如同在下文完全陈述一样以引用的方 式并入本文中。图21展示S/MBL经区分优先次序的PM序列产生器462。S/MBL经区分优先次序 的PM序列的列表490使用切片信息和MB图来估计图15中的经区分优先次序的列表中的 每一帧的复杂性。在一个配置中，仅进一步区分方框492处的P帧切片和方框502处的B 帧切片的优先次序。在先前层处，将针对VS/PL中的任何选定模式解码所有I帧。基于方 框494处的每一切片的ROI MB和方框496处的具有模式平滑化的非ROI MB而进一步区分 所述P帧切片的优先次序。根据方框498处的强制性勻速运动和方框500处的强制性P跳 过而进一步区分所述模式平滑化的优先次序。基于方框504处的每一切片的ROI MB和方 框506处的具有模式平滑化的非ROI MB而进一步区分所述B帧切片的优先次序。根据方 框507处的强制性勻速运动和方框508处的强制性B跳过而进一步区分所述模式平滑化的 优先次序。可应用模式平滑化以将具有类似特性的MB进行分组。对于MB的每一个3x3或切5 窗口，针对模式的均勻性对MB的窗口进行评估。识别窗口中的界外值(具有不同于剩余MB 的模式的MB)。如果界外值在边缘上不同，则迫使其变到窗口的一模式。否则，维持界外值 的模式。举例来说，如果在3 X 3MB窗口中，一个MB为帧间模式而其它MB为跳过，且如果帧 间MB的残差(由CBP或MB大小指示)小于Skip_threshold,则迫使所述MB变到跳过模 式。在模式平滑化之后，计算跳过模式MB对直接/帧间模式MB的比例且包括所述比例以 作为复杂性的一因素。另外，跳过MB的连接区域可经由MB扩张和MB侵蚀而组合为数据瓦 片(如在第12/145,900号专利申请案中，所述专利申请案具有代理人案号第071445号)。 可接着将瓦片限定为跳过/静态、非静态、勻速运动、所关注区域(R0I，基于相对MB/瓦片大 小)等。在勻速运动瓦片的情况下，可量化所述MB的MV，且可迫使瓦片变到一个MV(请注 意，此可在这些MB的残差/CBP为零或几乎为零的情况下进行)。另一选项为仅非静态或 ROI瓦片经解码且迫使剩余部分被跳过的情况。在此情况下，所述非ROI MB中的一些可具 有除跳过之外的模式，但将被强制跳过，例如在方框500和508中。图22展示在S/MBL模式期间的多层低功率模式集合产生器114。多层低功率模式 集合产生器114产生低功率模式的分级列表650。操纵一帧中的MB中的哪一者和接收到的 帧中的哪一者要被处理的能力在管理解码和再现过程中提供显著水平的粒度。另外，可在 解码期间(在运行中)执行上述MB层级电力优化。再次，需要详细的简档描述和电力分析 以将电力减少的比例映射到对应的低功率模式。将模式的所述实例描述为S/MBL模式6A、6B、6C、7A、7B、7C和8。在模式6A中，按 照I帧的正常解码来解码所述I帧。然而，可发生额外的替代操作以在电力准许时改进视 觉质量或粒度。举例来说，在模式6A中，可迫使具有非ROI MB的P帧变到P_Skip，且可迫使B帧和b帧变到选择性FRUC。在模式6B中，按照I帧的正常解码来解码I帧。模式6B 中的替代操作可包括迫使具有模式平滑化的P帧变到P_Skip且迫使B帧和b帧变到选择 性FRUC。在模式6C中，根据正常解码过程来解码I帧。然而，作为一替代操作，具有模式 平滑化的P帧可为强制性勻速运动，且可迫使B帧和b帧变到选择性FRUC。在模式7A中， 根据正常解码过程来解码I帧和P帧。然而，作为一替代操作，迫使具有非ROI MB的B帧 变到跳过模式。在模式7B中，根据正常解码过程来解码I帧和P帧。然而，作为一替代操 作，迫使具有模式平滑化的B帧变到跳过。在模式7C中，根据正常解码过程来解码I帧和P 帧。然而，作为一替代操作，具有模式平滑化的B帧为强制性勻速运动。在模式8中，解码 所有接收到的帧(I、P、B和b)。图23展示电力管理操作的高级方框图。所述方框图包括与显示处理器观的再现 级28A通信的解码器引擎104。因此，电力管理(PM)模块100以TL模式、VS/PL模式和S/ MBL模式处理所述位流。PM模块100控制解码器引擎104以根据所选择的低功率模式解码 可解码单元。还在上述操作的低功率模式中的任一者中从来自框架的操作的经区分优先次 序的序列导出在再现期间所需的处理。此外，可将解码器引擎114的输出发送到其它装置、 存储器或设备。可将来自所述解码器的输出转发到另一具备视频能力的设备以用于最后存 储或消耗(显示)。图形处理单元34还与显示处理器观通信。图M以顺序次序说明示范性标准(正常)解码过程700。还关于图2D描述过程 700。在视频序列和图片层处开始，标准(正常)解码过程700将在方框702处解码序列标 头54A，随后在方框704处解码图片1的图片标头58A。在解码图片1的图片标头之后，解 码图片数据58B，其包括切片和宏块信息。因此，当解码图片1数据时，解码由切片1到M指 示的所有切片单元。由于以类似方式解码每一切片，所以将仅较详细地描述一个切片。当解码切片1时，在方框706处解码图片1的切片1的切片标头60A。接着，在方 框708处解码图片1的切片1的宏块(MB) 1的MB标头62A。在解码MBl的MB标头62A之 后，在方框710处解码图片1的切片1的MBl的相关MB数据。接着，获得下一个宏块。因 此，在方框712处解码图片1的切片1的宏块(MB) 2的MB标头62A。在解码MB2的MB标头 之后，在方框714处解码图片1的切片1的MB2的相关MB数据62B。对于所述切片中的所 有剩余MB，继续解码宏块标头，之后解码相关MB数据62B。在此实例中，存在N个MB。因 此，对图片1的切片1的解码将以以下操作结束在方框716处解码图片1的切片1的MB N的MB标头，之后在方框718处解码图片1的切片1的MB N的相关MB数据62B。因此，过程700将通过以类似于上文针对幻灯片1所描述的方式解码剩余切片中 的每一者来继续解码图片1信息。在此实例中，存在M个切片。因此，在方框720处，以如 上文关于方框706到718所描述的方式解码切片M。接下来，过程700将解码例如图片2的下一个图片帧。为解码图片2，过程700将 在方框722处解码图片2的图片标头58A以导出切片1到M的位置。因此，在方框7M处， 以如上文关于方框706到718所描述的方式解码切片1。以类似方式解码图片2的所有剩 余切片。因此，在方框7 处，以如上文关于方框706到718所描述的方式解码切片M以完 成对图片2的解码。过程700以类似方式循序地重复对所有图片帧的解码，直到最后一个图片Z为止。 在此实例中，存在图片1到Z。因此，为解码最后一个图片(图片Z)，过程700将在方框728
20处解码图片Z的图片标头58A，之后为在方框730处的切片1解码。解码图片Z中的每一切 片，直到在方框732处解码切片M为止。图25说明具有电力管理操作的TL解码过程800的流程图。过程800开始于方框 802，在方框802中发生TL信息的提取和对可解码单元的PM序列的TL优先次序区分，如关 于图6和图8所描述。方框802之后为方框804，在方框804中针对TL经区分优先次序的 PM序列而计划MIPS和/或电力负荷。方框804之后为方框806，在方框806中计划用于TL 低功率模式集合的MIPS。方框806之后为方框808，在方框808中作出是否存在足以解码 位流的电力的确定。如果确定为“是”，则可在方框810处根据关于图M所描述的程序而发 生正常解码过程700。然而，如果确定为“否”，则作为一选项，可在方框812处通知用户不 存在足以回放视频的电力。将给予用户对应于供选择的模式1、1A和2的低功率模式选项。 替代地，可自动选择低功率模式。方框812之后为方框814，在方框814中由用户选择或自 动选择TL低功率模式。图25的流程图进行到图26。图沈说明具有电力管理操作的VS/PL解码过程900的流程图。过程900开始于在 方框902处执行例如图13和图15中所描述的VS/PL信息提取和对PM序列的VS/PL优先 次序区分。在方框904处，计划用于所有帧类型(可解码单元)的MIPS，如关于图16和图 17所描述。在方框906处，基于VS/PL经区分优先次序的PM序列而计划用于如图18中所 展示的每一 VS/PL低功率模式集合的MIPS和/或电力负荷。基于所计划的MIPS，基于视觉 质量和粒度将PM序列分组在一起。可能由于电力不足而未解码所述序列中的一些(例如， 所有序列)。因此，在方框908处，可产生来自VS/PL低功率模式集合的在最大可用电力以 下的低功率模式的分等级子集。分等级随改进的视觉质量和/或粒度而变。在方框910处， 任选地，可向用户通知有限的电力且向其提供对低功率模式选项的选择。在方框912处，可 选择所述子集的最佳分等级的低功率模式或用户所选择的低功率模式。在方框914处，基 于所选的VS/PL低功率模式，通过在适当时将解码操作插回到图M的正常解码过程700中 而开始解码。在一个配置中，在基于所选低功率模式而解码每一帧之后，可重新计划MIPS。此 后，可使用不同的所选模式来解码位流中的下一个帧或其它未解码帧。因此，低功率模式可 在对位流的解码期间动态地变化或在运行中产生。图27说明从图M的正常解码过程700分出的VS/PL信息提取协议902A的方框 图。在图27中，VS/PL信息提取协议902A将在方框950处解码序列标头54A。因此，导出 图片1到N的位置，如通过在为图片1到N表示的每一方框上方的箭头所表示。在方框952 处，解码图片1的图片标头58A。在方框％4处，解码图片2的图片标头58A。解码所有图 片标头。在方框956处，解码图片Z(最后一个图片)的图片标头。因此，对所述图片标头 58A的解码允许针对特定位流导出可解码单元的PM序列且针对可解码单元的PM序列而计 划 MIPS。图28说明根据VS/PL信息提取协议902A的来自位流的VS/PL经解码单元的方框 图。序列标头54A以影线展示以表示序列标头54A已被解码。此外，图片1到N中的每一 者的图片标头58A以影线展示以表示图片标头58A已被解码。图片数据58B保持无影线以 表示其在此时仍未被解码。序列数据54B也仍未被解码。对图片标头58A的解码允许在不 解码图片数据的情况下获得用于切片和宏块层的必要切片位置。
图四说明具有电力管理操作的S/MBL解码过程1000的流程图。过程1000开始 于在方框1002处执行例如图20和图21中所描述的S/MBL信息提取和对可解码单元的PM 序列的S/MBL优先次序区分。在一个配置中，仅提取用于P帧和B帧的信息并区分其优先次 序。在方框1004处，重新计划用于S/MBL低功率模式中的每一者的MIPS。在方框1006处， 产生来自S/MBL低功率模式集合的在最大可用电力以下的低功率模式的分等级子集。分等 级随依据改进的视觉质量和/或粒度而变。在方框1008处，任选地，可向用户通知有限的 电力且向其提供对低功率模式选项的选择。在方框1010处，可选择所述子集的最佳分等级 的低功率模式或用户所选择的低功率模式。在方框1012处，基于所选S/MBL低功率模式， 通过在适当时将解码操作插回到图M的正常解码过程700中而开始P和B帧切片和MB数 据解码。在方框1012之后，可在已解码一个或一个以上帧之后重新计划MIPS，以使得可根 据剩余可用电力将低功率模式升级或降级。图30说明从图M的正常解码过程700分出的S/MBL信息提取协议1002A的方框 图。将结合图31描述图30。图31说明根据S/MBL信息提取协议1002A的来自位流的S/ MBL经解码单元的方框图。S/MBL信息提取协议1002A将解码第一图片1的图片数据58B。 为解码图片数据58B，仅解码切片标头60A和MB标头62B，直到可选择低功率模式为止。用 于图片1到N的方框上方的箭头指示图片的位置。箭头的黑色阴影表示基于低功率模式对 图片的选择。无阴影箭头表示尚未选择的图片。在方框1050处，在方框1050处解码图片 1的切片标头60A。在方框1052处，解码图片1的切片1的MB 1的MB标头62A。在方框 1054处，解码图片1的切片1的MB 2的MB标头62A。解码图片1的切片1的所有宏块标 头，其中在方框1056处，解码图片1的切片IWMB N的MB标头。宏块数据62B未被解码。 图片数据58B、切片标头60A和MB标头62A的影线表示其解码。解码每一切片的切片标头60A，之后解码切片的每一 MB的MB标头。在方框1058 处，以类似于方框1050到1056的方式解码图片1的切片M(最后一个切片)。以类似方式 解码所有剩余图片。在方框1060处，如上文关于方框1050到1058所描述，解码图片Z (最 后一个图片)。因此，对所述切片和宏块标头的解码允许为特定位流导出可解码单元的PM 序列且为可解码单元的PM序列计划MIPS。图32说明根据所选电力管理模式的最后切片和宏块解码的方框图。针对所选低 功率模式(例如，模式6A到6C和模式7A-7C)，根据待解码的PM序列而解码切片数据60B 和MB数据62B。切片数据60B和MB数据62B以影线展示以指示其解码。图33说明多层电力管理模式的分级布置的方框图。TL PM处理1200在输送层52 处开始电力管理的第一层。作为TL PM处理1200的结果，基于所计划的MIPS建立多个低功 率模式。在一个配置中，提议模式1、1A和2。电力管理操作继续到在VS/PL PM处理1202 处的第二层。电力管理的所述第二层是在序列和图片层70处进行。VS/PL PM处理1202依 据所计划的MIPS和视觉质量和/或粒度而产生多个低功率模式。在一个配置中，产生模式 3、4A到4D。模式5为一功率模式，但如果所有帧被解码，则其可能不为一低功率模式。尽 管如此，所述电力管理操作仍继续到在S/MBL PM处理1204处的第三层。电力管理的所述 第三层是在切片和宏块层72处进行。S/MBL PM处理1204依据所计划的MIPS和视觉质量 和/或粒度而产生多个低功率模式。在一个配置中，产生模式6A到6C和7A到7C。模式8 允许在电力准许的情况下解码所有帧。此外，可在位流的一部分已被解码且MIPS的重新计划指示所有剩余帧可被解码之后使用模式8。在一个或一个以上示范性配置中，所描述的功能可以硬件、软件、固件或其任何组 合来实施。如果以软件实施，则所述功能可作为一个或一个以上指令或代码而存储在计算 机可读媒体上或经由所述计算机可读媒体进行传输。计算机可读媒体包括计算机存储媒 体和通信媒体两者，通信媒体包括促进将计算机程序从一处传递到另一处的任何媒体。存 储媒体可为可由计算机存取的任何可用媒体。以实例而非限制的方式，所述计算机可读媒 体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装 置，或可用以载运或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任 何其它媒体。而且，恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电 缆、光纤电缆、双绞线、数字订户线(DSL)，或例如红外线、无线电和微波的无线技术从网站、 服务器或其它远程源发射软件，则同轴电缆、光纤电缆、双绞线、DSL，或例如红外线、无线电 和微波的无线技术包括于媒体的定义中。如本文中所使用，磁盘和光盘包括压缩光盘(CD)、 激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数 据，而光盘用激光以光学方式再现数据。以上各者的组合也应包括于计算机可读媒体的范 围内。提供对所揭示配置的先前描述以使所属领域的技术人员能够制造或使用本发明。 所属领域的技术人员将容易明白对这些配置的各种修改，且本文中所界定的一般原理可在 不脱离本发明的精神或范围的情况下应用于其它配置。因此，本发明无意限于本文中所示 的配置，而将赋予本发明与本文中所揭示的原理和新颖特征相一致的最广范围。
权利要求
1.一种处理包括视频数据的数据流的方法，其包含以下步骤从所述数据流中提取信息并编译所述信息；基于所述经提取且经编译的信息而区分来自所述数据流的电力管理(PM)序列的优先 次序以用于解码和解析操作。
2.根据权利要求1所述的方法，其中优先次序区分是基于对解码和解析操作中的至少一者的先行处理。
3.根据权利要求1所述的方法，其进一步包含以下步骤计算所述经区分优先次序的电力管理(PM)序列中的每一者所需的电力的计划和所述 经区分优先次序的电力管理(PM)序列中的每一者所需的计算负荷的计划中的至少一者。
4.根据权利要求1所述的方法，其进一步包含以下步骤基于对所述电力管理(PM)序列的所述优先次序区分而产生低功率模式的分级列表。
5.根据权利要求1所述的方法，其中对电力管理(PM)序列的所述优先次序区分是基于 所述视频的视觉质量和所述解码和解析操作的粒度中的至少一者。
6.根据权利要求4所述的方法，其进一步包含以下步骤响应于可用电能的量或处理能力而选择低功率模式；以及响应于所述所选的低功率模式而选择性地解码所述经区分优先次序的电力管理序列 中的一者或一者以上。
7.根据权利要求6所述的方法，其中所述选择性解码是基于所述经区分优先次序的电力管理(PM)序列中的每一者所需的 电力和所述经区分优先次序的电力管理(PM)序列中的每一者所需的计算负荷中的至少一者ο
8.一种用于处理包括视频数据的数据流的装置，其包含解析器，其用于从所述数据流中提取信息并编译所述信息；以及处理单元，其用于基于 所述经提取且经编译的信息而区分来自所述数据流的电力管理(PM)序列的优先次序以用 于解码操作。
9.根据权利要求8所述的装置，其进一步包含计划器，所述计划器用于计算所述经区 分优先次序的电力管理(PM)序列中的每一者所需的电力的计划和所述经区分优先次序的 电力管理(PM)序列中的每一者所需的计算负荷的计划中的至少一者。
10.根据权利要求8所述的装置，其中对电力管理(PM)序列的所述优先次序区分是基 于所述视频的视觉质量和所述解码操作的粒度中的至少一者。
11.根据权利要求8所述的装置，其进一步包含产生器，所述产生器用于基于对所述电 力管理(PM)序列的所述优先次序区分而产生低功率模式的分级列表。
12.根据权利要求11所述的装置，其中所述处理单元响应于可用电能的量或处理能力而选择低功率模式；且响应于所述所选的低功率模式而选择性地解码所述经区分优先次序的电力管理(PM) 序列中的一者或一者以上。
13.一种用于处理包括视频数据的数据流的设备，其包含用于从所述数据流中提取信息并编译所述信息的装置；以及用于基于所述经提取且经编译的信息而区分来自所述数据流的电力管理(PM)序列的优先次序以用于解码操作的装置。
14.根据权利要求13所述的设备，其中所述用于区分电力管理(PM)序列的优先次序的 装置基于对所述解码操作的先行处理而区分优先次序。
15.根据权利要求13所述的设备，其进一步包含用于计算所述经区分优先次序的电力管理(PM)序列中的每一者所需的电力的计划和 所述经区分优先次序的电力管理(PM)序列中的每一者所需的计算负荷的计划中的至少一 者的装置。
16.根据权利要求13所述的设备，其中对电力管理(PM)序列的所述优先次序区分是基 于所述视频的视觉质量和所述解码操作的粒度中的至少一者。
17.根据权利要求13所述的设备，其进一步包含用于基于对所述电力管理(PM)序列的所述优先次序区分而产生低功率模式的分级列 表的装置。
18.根据权利要求17所述的设备，其进一步包含用于响应于可用电能的量或处理能力而选择低功率模式的装置；以及用于响应于所述所选的低功率模式而选择性地解码所述经区分优先次序的电力管理 (PM)序列中的一者或一者以上的装置。
19.根据权利要求18所述的设备，其中所述选择性解码是基于所述经区分优先次序的 电力管理(PM)序列中的每一者所需的电力和所述经区分优先次序的电力管理(PM)序列中 的每一者所需的计算负荷中的至少一者。
20.一种用于处理包括视频数据的数据流的计算机程序产品，所述计算机程序产品包 括计算机可读媒体，所述计算机可读媒体存储在被执行时致使处理器执行以下操作的指 令从所述数据流中提取信息并编译所述信息；以及基于所述经提取且经编译的信息而区分来自所述数据流的电力管理(PM)序列的优先 次序以用于解码操作。
21.根据权利要求20所述的计算机程序产品，其中对电力管理(PM)序列的所述优先次 序区分是基于对所述解码操作的先行处理。
22.根据权利要求20所述的计算机程序产品，其中所述计算机可读媒体进一步存储在 被执行时致使处理器执行以下操作的指令计算所述经区分优先次序的电力管理(PM)序列中的每一者所需的电力的计划和所述 经区分优先次序的电力管理(PM)序列中的每一者所需的计算负荷的计划中的至少一者。
23.根据权利要求20所述的计算机程序产品，其中对电力管理(PM)序列的所述优先次 序区分是基于所述视频的视觉质量和所述解码操作的粒度中的至少一者。
24.根据权利要求20所述的计算机程序产品，其中所述计算机可读媒体进一步存储在 被执行时致使处理器执行以下操作的指令基于对所述电力管理(PM)序列的所述优先次序区分而产生低功率模式的分级列表。
25.根据权利要求24所述的计算机程序产品，其中所述计算机可读媒体进一步存储在 被执行时致使处理器执行以下操作的指令响应于可用电能的量或处理能力而选择低功率模式；以及响应于所述所选的低功率模式而选择性地解码所述经区分优先次序的电力管理(PM) 序列中的一者或一者以上。
26.根据权利要求25所述的计算机程序产品，其中所述选择性解码是基于所述经区分 优先次序的电力管理(PM)序列中的每一者所需的电力和所述经区分优先次序的电力管理 (PM)序列中的每一者所需的计算负荷中的至少一者。
全文摘要
本发明提供用于视频处理和解码中的电力和计算负荷管理的技术。在一个配置中，提供一种设备，其包含处理器，所述处理器具有操作以从具有视频的数据流中提取信息并编译所述信息的指令集合。所述处理器操作以基于所述信息而区分用以处理所述数据流的解析或解码操作集合(被称为电力管理(PM)序列)的优先次序，并计算用于所述经区分优先次序的PM序列中的每一者的电力和计算负荷中的至少一者的计划。
文档编号H04N7/26GK102124725SQ200980132090
公开日2011年7月13日 申请日期2009年8月19日 优先权日2008年8月19日
发明者维雅拉克什米·R·拉温德朗 申请人:高通股份有限公司