专利名称：视频处理中的强度补偿技术的制作方法
技术领域：
本发明大体上涉及视频处理的领域，且更具体来说，涉及视频处理中的强度补偿 技术。
背景技术：
包括于视频数据中的数字信息的量是极大的，且倾向于与摄影机的性能的提升一 起增加。视频数据的处理对有视频功能的装置且具体来说无线通信装置(例如蜂窝式电 话、个人数字助理(PDA)、膝上型计算机等)的存储器、计算和电源要求资源提出大量需求。在遵从通过电影与电视工程师协会(SMPTE)标准化的视频编解码规范的 VC1-SMPTE标准的视频处理系统中，帧重建和运动补偿当前使用接收到的视频位流的未经 强度补偿的参考帧和经强度补偿的参考帧两者的预存储副本来执行。具体来说，VC1-SMPTE 标准界定基于块的运动补偿和空间变换方案，其包括对参考帧的压缩的简单、主要和高级 简档。在操作中，参考帧的多个副本消耗大块的存储器，且强加增加的带宽要求来用于 参考帧的多个副本的存储和检索。尽管视频压缩显著减少原始视频数据的冗余，但此类 处理技术可能降低无线通信装置的整体性能和对于消费者来说关键的特性(例如，电池寿 命、通话时间等)。因此需要视频处理中的强度补偿的改进的技术。
发明内容
本文中描述视频处理中的强度补偿技术。在一个实施例中，遵从VC1-SMPTE标准 的无线通信装置(例如，蜂窝式电话等)包含经配置以执行指令的处理器，所述指令操作以 从接收到的视频位流中重建并存储为参考帧。所述位流的参考帧的未经强度补偿的副本存 储于所述装置的存储器中。在操作中，所述参考帧的此副本用于在运行中(即，实时)产生 经强度补偿的像素流以执行所述视频位流的各帧的运动补偿计算并界定可显示图像。以下进一步详细地描述本发明的各种其它方面和实施例。“发明内容”既不意欲也不应被解释为表示本发明的完整程度和范围，从“具体实 施方式”(尤其当与附图一起理解时)将更容易了解这些和额外方面。
图1展示无线装置的大概框图。图2展示经配置以用于在运行中产生经强度补偿的参考帧的解码器的高级框图。图3展示图2的解码器的级引擎的功能图。图4展示图2的解码器的启用产生器的功能图。图5展示图2的解码器的参数选择器的功能图。图6展示图2的解码器的控制信号产生器的功能图。
图7A到图7B展示说明图2的解码器中的强度补偿操作的部分的功能图。图8展示用于使用图2的解码器在运行中产生经强度补偿的参考帧的方法的流程 图。为了促进理解，除了适当时可添加下标来区分对于各图来说共同的相同元件外， 在可能的情况下已使用相同参考数字来指定这些元件。图式中的图像出于说明的目的而经 简化，且未必按比例描绘。预期到，一些配置的特征可在无进一步叙述的情况下有利地并入 于其它配置中。
本发明的示范性配置，且因而不应视为限制本发明的范围，本发明的范 围可承认其它同等有效的配置。
具体实施例方式词语“示范性”在本文中用以指“充当实例、例子或说明”。本文中描述为“示范性” 的任何配置或设计未必解释为比其它配置或设计优选或有利。下文中，可互换地使用术语 “核心”、“引擎”、“机器”、“处理器”与“处理单元”以及术语“帧”与“图片”。本文中所描述的技术可用于无线通信、计算、个人电子装置、手持机等。以下描述 所述技术对于无线通信的示范性使用。图1展示在无线通信系统(未图示)中使用的无线装置10的配置的框图。无线 装置10可为蜂窝式电话(即，手持机)、视频游戏控制台、PDA、膝上型计算机、有视频或音 频/视频功能的装置，或服务器。无线通信系统可为(例如)码分多址(CDMA)系统或全球 移动通信系统(GSMC)以及其它无线通信系统。无线装置100包括天线102、接收器104、发射器106、数字区110、显示单元130 和主存储器140。经由接收和发射路径提供与相应基站的双向通信。在接收路径中，由天 线102接收通过无线通信系统的基站发射的信号，且将所述信号提供到接收器104。接收器 104解调接收到的信号，且将其转发到数字区110以供进一步处理。在发射路径中，发射器 106从数字区110获取待发射的数据，产生通过数据调制的载波信号，且将经调制的载波信 号转发到天线102以发射到基站。数字区110通常包括多个处理、接口和存储器模块。在所描绘的示范性实施例中， 数字区110说明性地包含调制解调器处理器112、视频处理器114、控制器/处理器116、 显示器处理器118、高级RISC (精简指令集计算机)机器/数字信号处理器(ARM/DSP) 122、 图形处理单元(GPU) 124、内部存储器126、内部总线120，和耦合到主存储器140的外部总线 128。在操作中，控制器/处理器116管理数字区110的元件。调制解调器处理器112 执行对从接收器104接收的或被引导到发射器106的数据的处理(例如，调制/解调)。视 频处理器114对由视频应用(例如，摄录机、视频播放、视频会议等)产生的视频位流(例 如，静止或运动图像)执行处理(例如，编码/解码或编解码操作)。因此，显示处理器118 在无线装置100的显示单元130上提供对经解码图像的再现。GPU 124结合ARM/DSP 122促进无线装置100的图形处理操作。GPU 124可遵从 (例如)2005年7月28日的文献“OpenGL规范，版本1.0”，所述文献为公开可得的。此文 献为适合于手持式和移动装置(例如，蜂窝式电话和其它上文提及的无线通信设备)的2D向量图形的标准。另外，GPU 124还可遵从0penGL2. 0、0penGLES2. 0或D3D9. 0图形标准。可将数字区110的模块制造成或包括专用集成电路(ASIC)、RISC、现场可编程门 阵列(FPGA)、微控制器或微处理器以及其它类型的集成电路。—般使用遵从工业适应的视频压缩和通信标准中的一者或一者以上的视频编码 技术来压缩由无线装置100接收或发射的原始视频位流。在一个实施例中，原始视频位流 遵从VCI-SMPTE标准。当针对给定参考帧启用强度补偿时，解码遵从VC1-SMPTE的视频位流并再现相应 内容需要重建多个视频帧并产生未经强度补偿的参考帧和经强度补偿的参考帧两者，未经 强度补偿的参考帧和经强度补偿的参考帧接着分别用于图像显示和运动补偿的目的。在数字区110中，视频处理器114包含解码器115，其经配置以执行对参考帧的运 行中强度补偿计算，因此增大无线装置100的存储器、计算和电源资源的利用效率。具体来 说，解码器115消除将经强度补偿的参考帧的副本存储于内部存储器126 (或主存储器140) 中的需要。随着且当参考像素(即，参考帧的像素)用于运动补偿时，所述参考像素经强度 补偿。可能需要对参考像素执行两次强度补偿，这是因为相同参考像素可能被不同帧/场 参考两次。在此情况下，强度补偿的第一阶段的结果用于强度补偿的第二阶段中。VC1-SMPTE标准界定基于块的运动补偿和空间变换方案，其包括压缩的简单、主要 和高级简档，其中主要简档为一组简单简档，且高级简档为一组主要简档。对于主要简档来 说，仅对一个参考帧执行强度补偿，且每当存取参考像素来用于运动补偿时，便使用一阶段 强度补偿程序对这些像素进行运行中强度补偿。对于高级简档来说，同一参考帧可两次用 于运动补偿，且针对此帧执行两次运行中强度补偿。首先，用一组参数执行运行中强度补 偿，且接着用单独的一组参数对那个程序的结果进行类似强度补偿。图2展示解码器115的高级框图。通常，解码器115包括驱动器210和核心220。 驱动器210包含参数预处理器212和控制预处理器214，且核心220包含级222k和222B、 启用产生器224、参数选择器226和控制信号产生器228。参数预处理器212具备从视频位流导出的LUMSCALE和LUMSHIFT语法元素。具体 来说，LUMSCALE为在强度补偿模式开启的情况下存在于P图片标头中的6位语法元素，且 LUMSHIFT为在强度补偿模式开启的情况下存在于P图片标头中的6位语法元素。参数预处理器212针对每个切片操作一次，且将LUMSCALE和LUMSHIFT语法元素 翻译为用于核心220的〈iscale〉和<ishift>参数，其中〈iscale〉为用于缩放参考像素的 线性缩放参数，且<ishift>为添加到经缩放的参考像素的偏移参数。性质Sl_x和S2_x (其中(χ = 0…3))由串接的<iscale>和<ishift>参数界定， 且在计算参考帧的像素的强度补偿值中由级222A、222B使用。对应于x = 0和χ = 1的性 质在P帧的强度补偿计算中和B帧中的前向锚定强度补偿中使用，且对应于χ = 2和χ = 3的性质用于B帧中的后向锚定强度补偿。可能需要针对顶部和底部参考场以不同方式执 行强度补偿，这是因为顶部和底部参考场可能经独立解码且因此其参考模式可能不同。在场预测模式中，偶数索引的参数(对应于χ = 0和χ = 2)被应用于顶部参考场， 且奇数索引的参数(对应于χ = 1和χ = 3)被应用于底部参考场。如果相应参考帧和正 进行解码的帧处于帧编码模式中，则偶数索引的参数被应用于整个参考帧，且奇数索引的 参数被忽略。应注意，对于经B解码的帧来说，如果后向锚定处于帧模式中，则不执行强度补偿。以下表1概述依据参考帧和正解码的帧的帧编码模式类型来应用这些参数。表 权利要求
1.一种集成电路(IC)，其包含处理器，其经配置以执行指令，所述指令操作以(i)从视频位流中重建参考帧，(ii) 存储所述视频位流的参考帧的未经强度补偿的副本，和(iii)利用所述参考帧的所述副本 来界定可显示图像并用于在运行中产生经强度补偿的像素流，所述经强度补偿的像素流用 于执行对所述视频位流的帧的运动补偿计算；以及存储器，其含有所述指令。
2.根据权利要求1所述的集成电路，其进一步包含解码器模块，所述解码器模块操作 以使用所述视频位流的语法元素和直接/导出参数以及所述参考帧的像素的性质来产生 所述经强度补偿的像素流。
3.根据权利要求2所述的集成电路，其中所述解码器模块的至少一部分为所述处理器 的组件。
4.根据权利要求2所述的集成电路，其中所述解码器模块的至少一部分被实施为可由 所述处理器执行的一组指令。
5.根据权利要求1所述的集成电路，其中所述处理器进一步操作以使用所述参考帧的 像素的性质以及所述视频位流的语法元素和直接/导出参数来产生经强度补偿的像素的 实时流。
6.根据权利要求5所述的集成电路，其中所述语法元素包括LUMSCALE和LUMSHIFT语 法元素，且所述直接/导出参数是从帧编码模式、图片类型、块尺寸、运动向量和VC简档语 法元素中提取。
7.根据权利要求1所述的集成电路，其中所述集成电路为选自由以下各项组成的群组 的无线装置的一部分蜂窝式电话、视频游戏控制台、个人数字助理(PDA)、膝上型计算机、 有视频功能的装置、有音频/视频功能的装置和服务器。
8.一种设备，其包含处理器，其经配置以执行指令，所述指令操作以(i)从视频位流中重建参考帧，(ii) 存储所述视频位流的参考帧的未经强度补偿的副本，和(iii)利用所述参考帧的所述副本 来界定可显示图像并用于在运行中产生经强度补偿的像素流，所述经强度补偿的像素流用 于执行对所述视频位流的帧的运动补偿计算；以及存储器，其含有所述指令。
9.根据权利要求8所述的设备，其进一步包含解码器模块，所述解码器模块操作以使 用所述视频位流的语法元素和直接/导出参数以及所述参考帧的像素的性质来产生所述 经强度补偿的像素流。
10.根据权利要求9所述的设备，其中所述解码器模块的至少一部分为所述处理器的 组件。
11.根据权利要求9所述的设备，其中所述解码器模块的至少一部分被实施为可由所 述处理器执行的一组指令。
12.根据权利要求8所述的设备，其中所述处理器进一步操作以使用所述参考帧的像 素的性质以及所述视频位流的语法元素和直接/导出参数来产生所述经强度补偿的像素 的实时流。
13.根据权利要求12所述的设备，其中所述语法元素包括LUMSCALE和LUMSHIFT语法元素，且所述直接/导出参数是从帧编码模式、图片类型、块尺寸、运动向量和VC简档语法 元素中提取。
14.根据权利要求8所述的设备，其中所述设备为选自由以下各项组成的群组的无线 装置的一部分蜂窝式电话、视频游戏控制台、个人数字助理(PDA)、膝上型计算机、有视频 功能的装置、有音频/视频功能的装置和服务器。
15.一种设备，其包含用于从视频位流中重建参考帧的第一装置；用于存储所述视频位流的参考帧的未经强度补偿的副本的第二装置；以及用于利用所述参考帧的所述副本来界定可显示图像并用于在运行中产生经强度补偿 的像素流的第三装置，所述经强度补偿的像素流用于执行对所述视频位流的帧的运动补偿计算。
16.根据权利要求15所述的设备，其中所述第三装置进一步操作以使用所述视频位流 的语法元素和直接/导出参数以及所述参考帧的像素的性质来产生所述经强度补偿的像 素流。
17.根据权利要求16所述的设备，其中所述语法元素包括LUMSCALE和LUMSHIFT语法 元素，且所述直接/导出参数是从帧编码模式、图片类型、块尺寸、运动向量和VC简档语法 元素中提取。
18.—种包括计算机可读媒体的计算机程序产品，所述计算机可读媒体具有用于致使 计算机进行以下操作的指令从视频位流中重建参考帧；存储所述视频位流的参考帧的未经强度补偿的副本；以及利用所述参考帧的所述副本来界定可显示图像并用于在运行中产生经强度补偿的像 素流，所述经强度补偿的像素流用于执行对所述视频位流的帧的运动补偿计算。
19.根据权利要求18所述的计算机程序产品，其中所述指令进一步致使所述计算机形 成解码器，所述解码器操作以使用所述视频位流的语法元素和直接/导出参数以及所述参 考帧的像素的性质来产生所述经强度补偿的像素流。
20.根据权利要求18所述的计算机程序产品，其进一步包含使用所述参考帧的像素的性质以及所述视频位流的语法元素和直接/导出参数来产 生经强度补偿的像素的实时流。
21.根据权利要求20所述的计算机程序产品，其中所述语法元素包括LUMSCALE和 LUMSHIFT语法元素，且所述直接/导出参数是从帧编码模式、图片类型、块尺寸、运动向量 和VC简档语法元素中提取。
22.一种方法，其包含从视频位流中重建参考帧；存储所述视频位流的参考帧的未经强度补偿的副本；以及利用所述参考帧的所述副本来界定可显示图像并用于在运行中产生经强度补偿的像 素流，所述经强度补偿的像素流用于执行对所述视频位流的帧的运动补偿计算。
23.根据权利要求22所述的方法，其进一步包含使用所述参考帧的像素的性质以及所述视频位流的语法元素和直接/导出参数来产生经强度补偿的像素的实时流。
24.根据权利要求23所述的设备，其中所述语法元素包括LUMSCALE和LUMSHIFT语法 元素，且所述直接/导出参数是从帧编码模式、图片类型、块尺寸、运动向量和VC简档语法 元素中提取。
全文摘要
本发明提供视频处理中的强度补偿技术。在一种配置中，遵从VC1-SMPTE标准的无线通信装置(例如，蜂窝式电话等)包含经配置以执行指令的处理器，所述指令操作以从接收到的视频位流中重建参考帧。所述位流的参考帧的未经强度补偿的副本存储于所述装置的存储器中，且用于界定可显示图像并用于在运行中产生用以执行对所述视频位流的帧的运动补偿计算的经强度补偿的像素流。
文档编号H04N7/26GK102113325SQ200980130270
公开日2011年6月29日 申请日期2009年8月4日 优先权日2008年8月5日
发明者拉温德拉·C·纳加拉杰, 素密·莫汉, 纳伦德拉纳特·马拉雅特, 阿尔温德·巴斯卡拉 申请人:高通股份有限公司