用于编码器辅助式预处理的方法和设备的制作方法

专利名称：用于编码器辅助式预处理的方法和设备的制作方法
技术领域：
本申请案大体上针对多媒体数据处理，且更特定来说，针对使用解码器处理技术来 编码视频。
背景技术：
对将高分辨率多媒体数据传输到显示装置(例如，蜂窝式电话、计算机和PDA的 显示装置)存在不断增长的需求。为了最佳地观看某些多媒体数据(例如，体育、视频、 电视广播馈送和其它此类图像)而需要高分辨率(一术语，本文中用以指示查看某些所 要的细节和特征所需的分辨率)。提供高分辨率多媒体数据通常需要增加发送到显示装 置的数据的量，这是需要更多通信资源和传输带宽的过程。
空间可縮放性是用以增强分辨率的典型方法，其中高分辨率信息(特定来说，高频 率数据)经编码并作为一增强层传输到较低分辨率数据的基础层。然而，空间可縮放性 较低效，因为此类数据具有噪声状统计特征且具有较差的编码效率。另外，空间可縮放 性是高度限制性的，因为上取样分辨率在创建/编码增强层时已预先确定。因此，需要其 它方法来克服空间可縮放性和此项技术中已知的其它分辨率增强方法的不足。

发明内容
本文中描述的每一设备和方法均具有若干方面，所述方面中并无单一者完全负责其 所需的属性。在不限制此揭示案的范围的情况下，现将简要论述其较突出的特征。在考 虑了此论述内容后，且特定来说，在阅读了题为"实施方式"的章节后，将理解此揭示 案的特征如何提供对多媒体数据处理设备和方法的改进。
在一实施例中， 一种处理多媒体数据的方法，所述方法包括识别多媒体数据的至 少一个图像中的至少一个像素强度范围；修改所述多媒体数据的至少一部分以减小所述
7至少一个像素强度范围；以及编码所述经修改的多媒体数据以形成经编码的多媒体数 据。修改所述至少一个像素强度范围可包括反向直方图均衡化操作、伽玛校正或至少部 分基于像素值的所检测范围和界定像素强度值的范围的极限的阈值来修改所述至少一 个像素强度范围。所述方法可进一步包含将所述经编码的多媒体数据传输到终端装置。
解码器中所使用的后处理技术可包含直方图均衡化、伽玛校正、对比度增强方法或 另一个像素强度重新映射操作。所述方法可包括维持指示对所述多媒体数据进行的用 以减小所述至少一个像素强度范围的修改的指示符；以及编码所述指示符以供传输到终 端装置。在一些实施例中，所述终端装置可经配置以使用所述指示符来调整多媒体数据 的所述至少一个像素强度范围。而且，所述方法可包括将所述指示符多媒体数据传输到 终端装置。也可存储指示符，所述指示符指示在终端装置的解码器中用以修改像素强度 范围的后处理技术，且在编码前基于所述指示符修改所述多媒体数据的所述至少一个像 素强度范围。
在另一实施例中， 一种用于处理多媒体数据的系统包括图像处理模块，其经配置 以识别多媒体数据的一部分的像素强度范围，所述图像处理模块进一步经配置以修改所 述多媒体数据以减小所述像素强度范围；和编码器，其经配置以编码所述经修改的多媒 体数据以形成经编码的多媒体数据。所述图像处理模块可产生指示对所述多媒体数据进 行的用以减小所述像素强度范围的修改的指示符，且其中所述编码器经配置以编码所述 指示符。在一些实施例中，使用所述经编码的多媒体数据传输所述指示符以用于解码所 述经编码的多媒体数据。所述系统可进一步包括存储装置，其经配置以存储在终端装置 的解码器中用以修改像素强度范围的后处理技术的指示符，且在编码前基于所述指示符
修改所述多媒体数据的所述至少一个像素强度范围。
在另一实施例中， 一种用于处理多媒体数据的系统包括用于识别多媒体数据的至 少一个图像中的至少一个像素强度范围的装置；用于修改所述多媒体数据的至少一部分 以减小所述至少一个像素强度范围的装置；以及用于编码所述经修改的多媒体数据以形 成经编码的多媒体数据的装置。
在另一实施例中， 一种机器可读媒体包括用于处理多媒体数据的指令，所述指令在 执行时促使机器识别多媒体数据的至少一个图像中的至少一个像素强度范围、修改所述 多媒体数据的至少一部分以减小所述至少一个像素强度范围，并编码所述经修改的多媒 体数据以形成经编码的多媒体数据。


8图1为说明用于传递多媒体的通信系统的方框图。 图2为说明用于编码多媒体的通信系统的特定组件的方框图。 图3为说明用于编码多媒体的通信系统的特定组件的另一实施例的方框图。 图4为说明用于编码多媒体的特定组件的另一实施例的方框图。 图5为说明具有经配置用于编码多媒体数据的处理器的编码装置的方框图。 图6为说明具有经配置用于编码多媒体数据的处理器的编码装置的另一实施例的方 框图。
图7为说明编码多媒体数据的过程的流程图。 图8为说明内插滤波器系数因子的实例的表格。
图9为说明用以指定将在解码器处执行的后处理操作的类型和其参数的指示符的表格。
图10为说明通过重新映射多媒体数据的至少一部分的像素亮度值来编码多媒体数 据的过程的流程图。
图11为具有经配置以在编码前修改多媒体数据的预处理器的编码装置的方框图。
具体实施例方式
在以下描述中，给出具体细节以提供对所描述的方面的彻底理解。然而，所属领域 的技术人员应理解，可在没有这些具体细节的情况下实践所述方面。举例来说，可以方 框图展示电路，以便不会因为不必要的细节而使所述方面难懂。在其它情况中，可不详 细地展示众所周知的电路、结构和技术以便不会使所述方面难懂。
本文中对"一个方面"、"一方面"、"一些方面"或"某些方面"和使用术语"实施 例"或"多个实施例"的类似短语的参考意味着结合方面所描述的特定特征、结构或特 性中的一者或一者以上可包括于至少一方面中。在本说明书中各处出现的此类短语未必 都指同一方面也非为与其它方面相互排斥的单独或替代方面。此外，描述了可通过一些 方面且非通过其它方面加以展现的各种特征。类似地，描述了可能为对一些方面而非其 它方面的要求的各种要求。
如本文中所使用的"多媒体数据"或仅"多媒体"为广义术语，其包括视频数据(其 可包括音频数据)、音频数据或视频数据和音频数据两者，且也可包括图形数据。如本 文中所使用的"视频数据"或"视频"为广义术语，其指含有文本信息或图像信息和/ 或音频数据的图像的序列。为了将所要的高分辨率多媒体数据提供到一个或一个以上显示装置，空间可縮放性 和上取样算法通常包括图像或边缘增强技术，所述技术采用边缘检测，随后为线性或自
适应(有时为非线性)滤波过程。然而，经由具有高百分比置信度的这些机制无法检测 在编码器处在压縮和下取样期间丢失的关键和精细细节边缘，或者在解码和上取样期间 无法有效地重新创建关键和精细细节边缘。本文中描述的方法和系统的某些特征包括用 以识别关于归因于压缩而丢失的多媒体数据的细节的信息的过程。其它特征涉及通过使 用此信息在经解码的多媒体数据中恢复此类细节。关于图1至图7进一步描述和说明此 处引入的此类系统和方法。在一示范性实施例中，为了促进编码多媒体数据的过程，编 码方法可使用关于后处理或解码过程(例如，在显示装置处)的信息来编码多媒体数据 以虑及由特定的编码和/或解码过程(例如，在编码器中实施的下取样和/或在解码器中 实施的上取样算法)所产生的数据差异性。
在一实例中，多媒体数据首先经编码(例如，经下取样和压缩)，以形成随后将被 传输到至少一显示装置的经压縮数据。使用已知的解码器解码和上取样算法来解压缩和 上取样经编码数据的副本，且将所得数据与原始接收(未经压缩)的多媒体数据进行比 较。将原始多媒体数据与经解压縮后的经上取样数据之间的差异表示为"差异信息"。 并入在后处理技术(例如，下取样和上取样滤波器)中的增强过程可移除噪声、增强特 征(例如，皮肤、面部特征、指示"快速移动"对象的数据中的快速改变区)或减小在 所产生的差异信息中的熵。将差异信息编码为"辅助信息"。辅助信息也被传输到解码 器，在解码器处其用以增强在编码期间可能已经降级的经解码图像的细节。可接着将增
强的图像呈现在显示装置上。
图1为用于传递串流或其它类型的多媒体数据的通信系统10的方框图。此技术可 应用于数字传输设施12中，数字传输设施12将经数字压縮的多媒体数据传输到许多显 示装置或终端16。由传输设施12接收的多媒体数据可为数字视频源，例如，数字电缆 馈送或经数字化的模拟高信/噪比源。视频源在传输设施12中经处理且调制到载波上以 用于经由网络14传输到一个或一个以上终端16。
网络14可为适合于传输数据的任一类型的有线或无线网络，包括以太网、电话(例 如，POTS)、电缆、电力线和光纤系统和/或无线系统中的一者或一者以上，其中无线系 统包含以下系统中的一者或一者以上码分多址(CDMA或CDMA2000)通信系统、 频分多址(FDMA)系统、正交频分多址(OFDM)系统、例如GSM/GPRS (通用分组 无线电服务)/EDGE (增强型数据GSM环境)的分时多址(TDMA)系统、TETRA (陆 地集群无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率(lxEV-DO
10或lxEV-DO黄金多播)系统、IEEE 802.11系统、MediaFLOTM系统、DMB系统或DVB-H
系统。举例来说，所述网络可为蜂窝式电话网络、例如因特网的全球计算机通信网络、 广域网、城域网、局域网和卫星网络，以及这些和其它类型网络的部分或组合。
从网络14接收经编码的多媒体数据的每一终端16可为任一类型的通信装置，包括 (但不限于)无线电话、个人数字助理(PDA)、个人计算机、电视、机顶盒、台式、膝 上型或掌上型计算机、(PDA)、视频/图像存储装置(例如卡带式视频录放机(VCR)、 数字视频录放机(DVR)等)以及这些和其它装置的部分或组合。
图2为说明用于编码多媒体的数字传输设施12中的通信系统的特定组件的方框图。 传输设施12包括多媒体源26，所述多媒体源26经配置以基于其例如从存储装置接收或 以其它方式存取的多媒体，而将多媒体数据提供到编码装置20。编码装置20 (至少部 分)基于关于解码算法的信息来编码多媒体数据，所述解码算法随后用于或可用于例如 终端16的下游接收装置中。
编码装置20包括用于编码多媒体数据的第一编码器21。第一编码器21将经编码的 多媒体数据提供到通信模块25，用于传输到终端16中的一者或一者以上。第一编码器 21也将经编码数据的副本提供到解码器22。解码器22经配置以解码经编码的数据并应 用优选也用于接收装置中的解码过程中的后处理技术。解码器22将经解码的数据提供 到比较器23。
指示符经识别以供解码器22使用，所述指示符指示后处理技术。如在前述句子中 使用的"经识别"是指解码器维持、存储、选择或存取指示符。在一些实施例中，所述 指示符可维持或存储于解码器22的存储器装置中，或维持或存储于与解码器22通信的 另一装置中。在一些实施例中，所述指示符可选自多个指示符，每一指示符指示一后处 理技术。在一些实施例中，在不知晓接收装置中的解码器所使用的具体处理技术的情况 下，解码器22也可使用其它已知或典型的处理技术。
解码器22可经配置以执行一种或一种以上后处理技术。在一些实施例中，解码器 22经配置以基于指示采用哪一技术的输入来使用多种后处理技术中的一者。通常，作为 在用于编码多媒体数据的第一编码器21中所使用的压缩和下取样过程，以及在用于解 码多媒体数据的解码器22中所使用的解压縮和上取样过程的结果，经解码的数据将可 能与原始多媒体数据至少有些不同(且从原始多媒体数据降级)。比较器23经配置以接 收和比较原始多媒体数据与经解码的多媒体数据，且确定比较信息。比较信息可包括通 过比较原始多媒体数据与经解码的多媒体数据而确定的任何信息。在一些实施例中，比 较数据包含两个数据组中的差异且被称作"差异信息"。举例来说，可基于逐帧地产生差异信息。也可基于逐区块地进行比较。本文中所涉及的区块可从一像素(lxl)的一 "区块"变化到MxN任意大小的像素的一 "区块"。区块的形状未必为正方形。
"差异信息"表示作为编码/解码过程的结果而在终端16处显示的多媒体数据中看得 到的图像降级。比较器23将比较信息提供到第二编码器24。在第二编码器24中编码比 较信息，且将经编码的"辅助信息"提供到通信模块25。通信模块25可将包含经编码 多媒体和经编码辅助信息的数据18传输到终端装置16 (图1)。终端装置中的解码器使 用"辅助信息"将增强添加(例如，添加细节)到在编码或解码期间受到影响或降级的 经解码的多媒体数据。此增强了所接收的经编码多媒体数据的图像质量，且使得可将较 高分辨率经解码图像呈现于显示装置上。在一些实施例中，可将第一编码器21和第二 编码器24实施为单一编码器。
后处理技术可包含增强多媒体数据中的某些特征(例如，皮肤和面部特征)的一种 或一种以上技术。将经编码的差异信息传输到接收装置。接收装置使用辅助信息将细节 添加至经解码图像以补偿在编码和解码期间受到影响的细节。因此，可将较高分辨率和 /或较高质量图像呈现于接收装置上。
将差异信息识别为主要经编码的位流中的辅助信息。使用者数据或"填料(filler)" 分组可用以使经编码数据的大小适合于经编码媒体数据的传输协议分组大小(例如，IP 数据报或MTU)的大小以输送辅助信息。在一些实施例中，可将差异信息识别为低分 辨率经编码数据中的现有信息的一组关系(例如，等式、决策逻辑、量化残差系数的数 目和位置、模糊逻辑规则)，且可将对此类关系的索引编码为辅助信息。由于并非所有 差异信息都必须经编码且可将此信息的格式精简为关系的査询表的索引，所以编码器辅 助式上取样元数据较有效率地编码，且利用接收装置中的信息以减小需要被传输的信息 的熵。
也涵盖所描述的编码装置20的其它配置。举例来说，图3说明使用一编码器31替 代两个编码器(如图2中所示)的编码装置30的一替代实施例。在此实施例中，比较 器23将差异信息提供到单一编码器31以用于编码。编码器31将经编码的多媒体数据 (例如，第一经编码数据)和经编码的辅助信息(例如，第二经编码数据)提供到通信 模块25以用于传输到终端16。
图4为说明图2和图3中所示的系统的一部分(特定来说，是编码器21、解码器 40和比较器23)的一实例的方框图。解码器40经配置以用于解码经编码的多媒体数据 并应用在接收终端16 (图1)中使用的后处理技术。可将解码器40的功能性实施于本 文中所描述的编码器中，例如，图2和图3中所说明的解码器22。解码器22从编码器21接收经编码的多媒体数据。解码器40中的解码器模块41解码经编码的多媒体数据， 且将经解码数据提供到解码器40中的后处理模块。在此实例中，后处理模块包括噪声 抑制器模块42和数据增强器模块43。
通常假定视频序列中的噪声为加成性白高斯。然而，视频信号在时间和空间上均高 度相关。因此，通过在时间上和空间上均利用其白色度，可从信号部分移除噪声。在一 些实施例中，噪声抑制器模块42包括时间噪声抑制，例如，卡尔曼(Kalman)滤波器。 噪声抑制器模块42可包括其它噪声抑制方法，例如，小波收縮滤波器和/或小波维纳 (Wiener)滤波器。小波为用以使给定信号局限于空间域和縮放域两者中的 一类功能。 小波的基础理念在于分析不同标度或分辨率下的信号，使得小波表示中的较小改变产生 原始信号中的对应的较小改变。也可将小波收縮或小波维纳滤波器应用为噪声抑制器 42。小波收縮噪声抑制可涉及小波变换域中的收縮，且通常包含三个步骤线性正向小 波变换、非线性收縮噪声抑制和线性反向小波变换。维纳滤波器为MSE优化线性滤波 器，其可用以改进因加成性噪声和模糊而降级的图像。在一些方面中，噪声抑制滤波器 是基于(4, 2)双正交三次B样条小波滤波器的一方面。
噪声抑制器模块42将经噪声抑制的经解码数据提供到数据增强器模块43。数据增 强器模块43可经配置以增强被认为是观看(例如)皮肤、面部特征和快速改变数据(例 如，用于与体育事件相关联的多媒体数据)所需要的数据的某些特征。数据增强器模块 的主要功能在于在数据的回放或消耗期间提供图像或视频增强。典型的图像增强包括锐 化、色域/饱和度/色调改进、对比度改进、直方图均衡化和高频强调。关于增强皮肤特 征，存在若干肤色检测方法。 一旦识别了图像中具有肤色的区域，则可修改对应于此区 域的色度分量以改进色调，从而适合所要的调色板。
关于改进面部特征，如果在面部特征中检测到振铃噪声(ringing noise),例如经由 肤色检测加以识别，则可应用去振铃(de-ringing)滤波器和/或适当的平滑/噪声减少滤 波器以使这些伪像最小化且执行上下文/内容选择性图像增强。视频增强包括闪烁减少、 帧速率提高等。在视频中的一组帧上发送平均亮度的指示符可帮助关于闪烁减少的解码 器/后解码器/后处理。闪烁常由DC量化造成，从而导致在具有相同发光条件/亮度的原 始存在的那些帧上平均亮度水平有波动的经重新建构的视频。闪烁减少通常涉及邻近帧 的平均亮度(例如，DC直方图)的计算，和在所讨论中的帧上应用平均化滤波器以使 每一帧的平均亮度返回到所计算的平均亮度。在此情况下，差异信息可为将要应用于每 一帧的经预计算的平均亮度偏移量。数据增强器模块43将经增强的经解码多媒体数据 提供到比较器23。图5为说明具有经配置用于编码多媒体数据的处理器51的编码装置50的一实例的 方框图。编码装置50可实施于传输设施中，例如，数字传输设施12 (图l)。编码装置 50包括存储媒体58,其经配置与处理器51通信且经配置与通信模块59通信。在一些 实施例中，处理器51经配置而以与图2中所说明的编码器20类似的方式来编码多媒体 数据。处理器51使用第一编码器模块52编码所接收的多媒体数据。接着使用解码器模 块53解码经编码的多媒体数据，解码器模块53经配置以使用实施于终端16 (图1)中 的至少一后处理技术来解码多媒体数据。处理器51使用噪声抑制器模块55移除经解码 的多媒体数据中的噪声。处理器51可包括数据增强器模块56，其经配置以增强经解码 的多媒体数据以用于例如面部特征或皮肤的预定特征。
由比较器模块54来确定经解码的(且经增强的)多媒体数据与原始多媒体数据之 间的差异，所述比较器模块54产生表示经解码的多媒体数据与原始多媒体数据之间的 差异的差异信息。由第二编码器57编码经增强的差异信息。第二编码器57产生提供到 通信模块59的经编码辅助信息。经编码的多媒体数据也被提供到通信模块59。经编码 的多媒体数据和辅助信息两者均可被传送到显示装置(例如，图1中的终端16)，显示 装置使用辅助信息来解码多媒体数据以产生增强的多媒体数据。
图6为说明具有经配置用于编码多媒体数据的处理器61的编码装置60的另一实施 例的方框图。此实施例可类似于图5来编码多媒体数据，除了处理器61含有编码多媒 体数据和差异信息两者的一个编码器62外。经编码的多媒体数据和辅助信息接着由通 信模块59传送到显示装置(例如，图1中的终端16)。显示装置中的解码器接着使用辅 助信息解码多媒体数据以产生增强的分辨率的数据且显示此数据。
下文列出可实施于解码器中的某些后处理技术的实例，然而，对这些实例的描述并 不意味着将揭示内容限制于仅那些描述的技术。如上所述，解码器22可实施众多后处 理技术中的任一者来识别差异信息并产生对应的辅助信息。
色度处理
后处理技术的一实例为色度处理，其涉及关于将要显示的多媒体数据的色度的操 作。色彩空间转换为此一实例。典型的压縮操作(解码、解块等)和一些后处理操作(例 如，独立于色度来修改由亮度或Y分量表示的强度的功能，例如，直方图均衡化)发生 于YCbCr或YUV域或色彩空间中，而显示器通常在RGB色彩空间中操作。在后处理 器和显示处理器中执行色彩空间转换以解决此差异。如果维持相同的位深度，则RGB 与YCC/YUV之间的数据转换可导致数据压縮，因为当将R、 G和B中的强度信息变换 为Y分量时，其中的冗余减少，从而导致源信弓的相当大的压缩。因此，任一基于后处
14理的压縮将潜在地在YCC/YUV域中操作。
色度子取样涉及对于亮度(表示其的量)比对色彩(表示其的量)实施较多分辨率 的实践。其用于许多视频编码方案(模拟和数字)中且也用于JPEG编码中。在色度子 取样中，亮度和色度分量经形成为伽玛校正(三色激励)R'G'B'分量的加权和，而非线 性(三色激励)RGB分量的加权和。通常将子取样方案表达为三部分比(例如，4:2:2)， 但有时表达为四部分(例如，4:2:2:4)。四个部分为(按其各自次序)第--部分亮度水平 取样参考(最初，在NTSC电视系统中为3.579 MHz的倍数)；第二部分Cb和Cr (色 度)水平因子(相对于第一数字)；与第二数字相同(除了当为零时，其指示Cb和Cr 经垂直地2:1子取样)的第三部分；和如果存在，与亮度数字相同的第四部分(指示a "键(key)"分量)。后处理技术可包括色度上取样(例如，将4:2:0数据转换为4:2:2数 据)或下取样(例如，将4:4:4数据转换为4:2:0数据)。通常对4:2:0视频执行低到中等 位速率压缩。如果源多媒体数据具有比4:2:0高的色度(例如，4:4:4或4:2:2)，则在后 处理操作期间可将其下取样到4:2:0、编码、传输、解码和接着上取样回到原始色度。在 显示装置处，当变换为RGB以用于显示时，将色度恢复到其完整的4:4:4比。可使用此 类后处理操作来配置解码器22以重复可能发生于下游显示装置处的解码/处理操作。
图形操作
关于图形处理的后处理技术也可实施于解码器22中。 一些显示装置包括图形处理 器，例如，支持多媒体和2D或3D游戏的显示装置。图形处理器的功能性可包括像素 处理操作，可合适地应用其中的一些(或全部)操作以改进视频质量或潜在地并入在包 括压缩/解压縮的视频处理中。
a混合
a混合为通常用于两个场景之间的转变中或用于在一GUI上的现有屏幕上的视频的 重叠中的操作，其为也可实施于解码器22中的像素操作后处理技术的一实例。在ot混 合中，色码中的a值范围为从O.O至1.0，其中O.O表示完全透明色彩，而1.0表示完全 不透明色彩。为了 "混合"，将从图片缓冲器读取的像素乘以"a"。将从显示缓冲器读 取的像素乘以负(x。将两者加在一起且显示结果。视频内容含有各种形式的转变效应， 包括从/到黑色或其它均匀/恒定色彩的淡化转变(fade transition)、场景之间的交叉淡 化(cross fade)和内容类型之间的接合点(例如，动画到商业视频等)。H.264标准具有 使用用于转变的帧数目或POC (图片序列号)传送a值和用于开始和停止点的指示符的 规定。也可指定用于转变的均匀色彩。
转变区域可难以编码，因为其并非突发的场景改变，其中可将新场景的开始(第一帧)编码为I帧，并将随后的帧编码为预测帧。归因于通常用于解码器中的运动评估/ 补偿技术的性质，可将运动跟踪作为数据块，且恒定的亮度偏移量被吸收到残差内(加 权预测可在一定程度上解决此问题)。交叉淡化具有较大的问题，因为亮度和正跟踪的 运动中的改变并非真实运动，而是从一个图像到另一图像的逐渐切换，其导致较大的残 差。这些较大的残差在量化(低位速率的过程)后导致大规模运动和区块化伪像。相对 于诱发区块化伪像的情况，对于类似或较佳的感知/视觉质量，编码界定转变区域的完整 图像且指定a混合配置以影响淡化/交叉淡化将导致转变的无伪像回放和压縮效率/比率 的改进或位速率的减小。
在编码器处知晓解码器的a混合能力可有助于将转变效应编码为元数据而非经由常 规编码将位消耗在大的残差上。除了a值外，此类元数据的一些实例也包括对在解码器 /后处理器处支持的一组转变效应(例如，缩放、旋转、渐隐和淡化)的索引。
透明度
"透明度"为可包括于编码装置20的解码器22中的另一相对简单的后处理像素操 作。在透明度过程中，从显示缓冲器读出像素值，且从图片缓冲器读出另一像素值(将 要显示的帧)。如果从图片缓冲器读出的值匹配透明度值，则将从显示缓冲器读取的值 写入显示器。否则，将从图片缓冲器读取的值写入显示器。
视频缩放(x2、 /2、 /4、任意比例)
视频縮放("放大(upscaling)"或"縮小(downscaling)")的意图通常为在将一信 号格式或分辨率下传达的信息迁移到另一不同信号格式或分辨率时，保持同样多的原始 信号信息和质量。其在二 (2)或四(4)倍的縮放下工作，且经由像素值的简单平均化 加以执行。放大涉及内插滤波器且可在两个轴上进行。对Y值执行双三次内插，且对色 度值执行最近相邻滤波。
举例来说，可通过以下等式来计算Y的内插值-
Y[i J—-Y[i-3，j] + 9Y[i-1，j] + 9Y[i + l，j]-Y[i + 3,j]
16 等式l
对于一行中的每一内插的Y，以及
Y〖i — Y[i,j — 3] + 9Y[i,j — l] + 9Y[i,j + l]—Y[i，j + 3]
16 等式2
16对于一列中的每一内插的Y。
从并排比较，双线性和双三次内插方案展示极小的可视差异。双三次内插得到略锐利的图像。必须建置较大的线缓冲器，以便进行双三次内插。所有的双三次滤波器均为一维的，其中系数仅取决于縮放比率。在一实例中，8位足以编码系数来保证图像质量。仅需将所有的系数编码为不带正负号的，且使用电路可能难以编码正负号。对于双三次内插，系数的正负号始终为[-++-]。
图8展示对于给定比例缩放因子的滤波器的各种选择。图8中列出的比例縮放因子
为在移动装置中最常遇到的比例縮放因子的实例。对于每一比例縮放因子，可基于检测
到的边缘的类型和所要的滑离(roll off)特征来选择滤波器的不同相位。对于某些纹理和边缘区域， 一些滤波器比其它滤波器更好地工作。基于实验结果和视觉估计导出滤波器分接头(filtert叩)。在一些实施例中，在接收器(解码器/显示器驱动器)处的适度复杂的缩放器可基于区块/瓦片(tile)自适应地在滤波器之间选择。了解接收器的縮放器中的特征的编码器可指示(基于与原始的比较)针对每一区块选择滤波器中的哪一者(例如，提供对滤波器的表格的索引)。此方法可为对解码器经由边缘检测决定适当的滤波器的替代方案。其使处理循环和解码器中的功率最小化，因为其并不必须执行与边缘检测相关联的决策逻辑(例如，消耗许多处理器循环的修剪和定向操作)。伽玛校正
伽玛校正、伽玛非线性、伽玛编码或通常简称的伽玛为用以编码和解码视频或静态图像系统中的亮度或三色激励值的非线性操作的名称，且其也为可在解码器22中实施的另一种后处理技术。伽玛校正控制图像的整体亮度。未经适当校正的图像可能看起来褪色或者太暗。试图准确地再现色彩也需要对伽玛校正有些了解。改变伽玛校正的量不仅改变亮度，也改变红绿蓝的比率。在最简单的情况下，伽玛校正由以下幂律表达式定义
其中输入和输出值为非负实值，通常处于例如o到i的预定范围内。通常将y〈i的情况
称作伽玛压縮，并将7"称作伽玛扩展。在其中解码器后处理包括伽玛校正的实施方案中，可在解码器22中实施对应的伽玛后处理技术。通常，在LCD面板内的模拟域中进行伽玛校正。通常，伽玛校正后跟随抖动(dithering),但在一些情况下，首先执行抖动。
直方图均衡化
直方图均衡化为使用像素值的直方图修改图像中的像素的动态范围的方法。通常，
图像中的信息并非均匀地分布在可能的值范围上。可通过绘示像素的数目(y轴)对每一像素的亮度(例如，对于八位单色图像为从0到255) (x轴)的关系以形成图像直方图来说明图像的此像素强度频率分布。图像直方图展示图像中落在各种亮度水平边界内的像素数目的图形表示。动态范围为直方图的所占据部分的宽度的测量。通常，具有小的动态范围的图像也具有低对比度，且具有大的动态范围的图像具有高对比度。使用映射操作(例如，直方图均衡化、对比度或伽玛调整或者另一重新映射操作)可改变图像的动态范围。当减小了图像的动态范围时，可使用较少的位表示(和编码)所得的"平坦化(flattened)"图像。
可对像素强度范围(例如，像素亮度值的范围)执行动态范围调整。虽然通常对整个图像执行，但也可对一图像的一部分(例如，表示所述图像的一部分的经识别的像素强度范围)进行动态范围调整。在一些实施例中，图像可具有两个或两个以上识别部分(例如，由不同图像标的物内容、空间位置或由图像直方图的不同部分而区分)，且可单独地调整每一部分的动态范围。
直方图均衡化可用以增加图像的局部对比度，尤其当图像的可用数据由紧密的对比度值表示时。经由此调整，可将强度优选分布于直方图上。此允许较低局部对比度的区域获得较高的对比度，而不影响整体对比度。通过有效地展开像素强度值，直方图均衡化实现此情形。所述方法可用于具有均为亮或均为暗的背景与前景的图像中。
虽然直方图均衡化改进对比度，但其也降低了图像的压缩效率。在一些编码方法中，在编码前可使用直方图均衡化特性的"反向"以大体上改进压縮效率。在反向直方图均衡化过程中，重新映射像素亮度值以减小对比度；所得的图像直方图具有较小的(压縮的)动态范围。在此过程的一些实施例中，可在编码图像之前导出每一图像的直方图。多媒体的图像中的像素的亮度范围可经縮放以有效地将图像直方图压缩到较窄范围的亮度值。因此，可减小图像的对比度。当压縮此图像时，归因于低/小范围的亮度值，编码效率高于无直方图压縮的情况。当在终端装置处解码所述图像时，在所述终端装置上运行的直方图均衡化过程将图像的对比度恢复到原始分布。在一些实施例中，编码器可维持(或接收)识别用于终端装置处的解码器中的直方图均衡化算法的指示符。在此情况下，编码器可使用直方图均衡化算法的反向以改进压縮效率，且接着将足够的信息提供到解码器以用于对比度的恢复。
18图11说明编码装置1120的一实施例，其可在编码多媒体数据之前减小多媒体数据 的动态范围，以便使用较少位来编码多媒体数据。在图11中，多媒体源1126将多媒体 数据提供到编码装置1120。编码装置1120包括预处理器1118，其接收多媒体数据且减 小所述多媒体数据中所含的至少一个图像的动态范围。所得的数据"压縮"减小了多媒 体数据的大小，且相应地减少了需编码的多媒体数据的量。将所得的数据提供到编码器 1121。
编码器1121编码经调整的多媒体数据且将经编码的数据提供到通信模块1125,以 用于传输到如图1中所说明的终端装置16 (例如，手持机)。在一些实施例中，也将与 动态范围调整相关联的信息提供到编码器1121。可将所述信息维持于编码装置1121中 以作为指示对像素强度范围进行的修改的指示符。如果提供了与动态范围调整相关联的 信息(或指示符)，则编码器1121也可编码此信息且将其提供到通信模块1125，以用于 传输到终端装置16。随后，终端装置16在显示图像前重新映射(扩展)所述图像的动 态范围。在一些实施例中，例如图2的编码器21的编码器可经配置以执行此预处理动 态范围调整。在一些实施例中，除了其它编码实施例(包括本文中例如参考图1到图9 所描述的编码实施例)之外，可执行预处理动态范围调整。
图9中说明用以指定将在解码器处执行的后处理操作的类型和其参数的元数据(或 指示符)。对缩放的选项为图9中所描述的用于内插滤波器的不同组的系数。功能指定 符为在图9中所说明的表格的第2列中列出的一组后处理功能的索引。编码器可从此组 选择产生将要编码的差异信息的最小熵的功能(基于区块)。视情况，选择标准也可为 最高质量，经由一些目标装置(例如，PSNR、 SSIM、 PQR等)测量所述质量。另外， 对于每一指定的功能，基于用于此功能的方法提供一组选项。举例来说，使用边缘检测 方法(例如， 一组Sobd滤波器或者3x3或5x5高斯掩模)，接着使用高频强调，边缘 增强可发生于回路外。在一些实施例中，通过使用回路内解块器电路，边缘增强可发生 于回路内。在后者情况下，在回路内解块期间使用的边缘检测方法用以识别边缘，且对 由解块滤波器进行的常规低通滤波的补充功能将为用以增强边缘的锐化滤波器。类似 地，直方图均衡化具有选项，以在全部范围的强度值或部分强度值上均衡化，且伽玛校 正具有用于抖动的选项。
图7说明通过编码结构(例如，编码装置20(图2)、编码装置30(图3)、编码装 置40 (图4)和编码装置50 (图5))编码多媒体数据的过程70的一实例。在状态71 处，所述过程维持后处理技术的指示符。举例来说，所述后处理技术可用于显示装置(例 如，终端16 (图l))的解码器中。元数据也可在不具体知晓在接收显示装置处执行什
19么后处理技术(如果有)的情况下指示众所周知或普遍的处理技术。在状态72处，所 接收的第一多媒体数据首先经编码以形成第一经编码多媒体数据。
在状态73处，通过解码第一经编码多媒体数据并应用由指示符识别的后处理技术， 过程70产生第二多媒体数据。所述后处理技术可为本文中描述的后处理技术中的一者 或另一后处理技术。在状态74处，过程70将第二多媒体数据与第一多媒体数据进行比 较以确定比较信息。所述比较信息可为指示所述第二多媒体数据与所述第一多媒体数据 之间的差异的差异信息。在状态75处，过程70接着编码所述比较信息以形成辅助信息 (第二经编码数据)。随后可将辅助信息和经编码的多媒体数据传送到显示装置，所述显 示装置可使用所述辅助信息以解码多媒体数据。
图10为说明通过在编码多媒体数据前减小所述多媒体数据的至少一部分的像素亮 度强度范围来编码多媒体数据(例如，由图11的编码器1120执行)的过程1000的流 程图。在状态1005处，过程IOOO识别多媒体数据中的像素亮度强度范围。举例来说， 如果所述多媒体数据包含一图像，则过程IOOO可识别或确定那个图像的像素强度范围。 如果多媒体数据包含图像序列(例如，视频)，则可识别所述图像中的一者或一者以上 的像素强度范围。举例来说，像素强度范围可为含有909b (或者，例如，95%或99%) 的亮度值的图像中的像素的亮度值范围。在一些实施例中，如果一图像序列中的图像类 似，则可识别所述图像序列中的所有(或至少许多)图像的相同的像素强度范围。在一 些实施例中，可识别和平均化两个或两个以上图像的像素亮度强度范围。
在状态1010处，过程IOOO修改多媒体数据的一部分以减小像素亮度强度范围。通 常，图像的像素亮度值集中于可用强度范围的一部分上。减小(或重新映射)像素值以 覆盖较小的范围可大大地减少图像中的数据量，其有助于较有效的数据编码和传输。减 小像素亮度强度范围的实例包括"反向"直方图均衡化、伽玛校正或将来自"全部"范 围(例如，对于八位图像为0-255)的亮度值重新映射到原始强度范围的仅一部分的减 小的范围。
在状态1015处，过程IOOO编码经修改的多媒体数据以形成经编码数据。可将经编 码数据传输到解码经编码数据的终端装置16 (图1)。终端装置中的解码器执行用于扩 展多媒体数据的强度范围的过程。举例来说，在一些实施例中，解码器执行直方图均衡 化、伽玛校正或另一图像重新映射过程，以扩展在一像素强度范围上的多媒体数据的像 素值。所得的经扩展多媒体数据可能看起来类似于其原始外观，或者至少在终端装置的 显示器上观看是令人愉悦的。在一些实施例中，指示强度范围减小的指示符可经产生、 编码并传输到终端装置。终端装置中的解码器可使用所述指示符作为用于解码所接收多
20媒体数据的辅助信息。
应注意，可将所述方面描述为描绘为流程图、流程图表、结构图或方框图的过程。 虽然流程图可将所述操作描述为一连续过程，但可并行或同时执行许多所述操作。另外， 可重新布置所述操作的次序。当一过程的操作完成时，终止所述过程。过程可对应于方 法、函数、程序、例行程序、子程序等。当过程对应于函数时，其终止对应于所述函数 返回到调用函数或主函数。
所属领域的技术人员也应了解，在不影响装置的操作的情况下，可重新布置本文中 所揭示的装置的一个或一个以上元件。类似地，在不影响装置的操作的情况下，可组合 本文中所揭示的装置的一个或一个以上元件。所属领域的技术人员应理解，可使用多种 不同科技和技术中的任一者来表示信息和信号。所属领域的技术人员应进一步了解，可 将结合本文中所揭示的实例所描述的各种说明性逻辑区块、模块和算法步骤实施为电子 硬件、固件、计算机软件、中间件、微代码或其组合。为了清楚地说明硬件和软件的此 互换性，在上文已大体上根据其功能性而描述了各种说明性组件、区块、模块、电路和 步骤。将此功能性实施为硬件还是软件取决于特定应用和强加在整个系统上的设计约 束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但不应 将此类实施决策解释为造成脱离所揭示的方法的范围。
结合本文中所揭示的实例所描述的方法或算法的步骤可直接包含在硬件中、由处理 器执行的软件模块中，或两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、 ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM， 或此项技术中己知的任何其它形式的存储媒体中。将示范性存储媒体耦合到处理器以使 得所述处理器可从所述存储媒体读取信息，以及将信息写入所述存储媒体。在替代方案 中，存储媒体可整合到所述处理器。处理器和存储媒体可驻留于专用集成电路(ASIC) 中。所述ASIC可驻留于无线调制解调器中。在替代方案中，处理器和存储媒体可作为 离散组件而驻留于无线调制解调器中。
此外，可通过经设计以执行本文中所描述的功能的通用处理器、数字信号处理器 (DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、 离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实 例而描述的各种说明性逻辑区块、组件、模块和电路。通用处理器可为微处理器，但在 替代方案中，所述处理器可为任-常规处理器、控制器、微控制器或状态机。也可将处 理器实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、 一个或一 个以上微处理器结合DSP核心或者任一其它此类配置。所揭示的实例的先前描述经提供以使任何所属领域的技术人员能够制造或使用揭 示的方法和设备。所属领域的技术人员将容易明白对这些实例的各种修改，且在不脱离 所揭示的方法和设备的精神或范围的情况下，可将本文中界定的原理应用于其它实例或 可添加额外的元件。希望对所述方面的描述是说明性的，且不限制权利要求书的范围。
权利要求
1. 一种处理多媒体数据的方法，所述方法包含识别多媒体数据的至少一个图像中的至少一个像素强度范围；修改所述多媒体数据的至少一部分以减小所述至少一个像素强度范围；以及编码所述经修改的多媒体数据以形成经编码的多媒体数据。
2. 根据权利要求1所述的方法，其进一步包含将所述经编码的多媒体数据传输到终端 装置。
3. 根据权利要求1所述的方法，其进一步包含维持指示对所述多媒体数据进行的用以减小所述至少一个像素强度范围的所述 修改的指示符；以及编码所述指示符以供传输到终端装置。
4. 根据权利要求3所述的方法，其进一步包含将所述指示符多媒体数据传输到终端装 置。
5. 根据权利要求1所述的方法，其进一步包含存储在终端装置的解码器中用以修改像 素强度范围的后处理技术的指示符，以及在编码前基于所述指示符修改所述多媒体 数据的所述至少一个像素强度范围。
6. 根据权利要求1所述的方法，其中修改所述至少一个像素强度范围包含反向直方图 均衡化操作。
7. 根据权利要求1所述的方法，其中修改所述至少一个像素强度范围包含伽玛校正。
8. 根据权利要求1所述的方法，其中至少部分基于所检测的像素值范围和界定像素强 度值范围的极限的阈值来修改所述至少一个像素强度范围。
9. 根据权利要求1所述的方法，其中所述识别包含识别所述多媒体数据的至少一个图 像中的两个或两个以上像素强度范围，且其中所述修改包含修改所述多媒体数据以减小所述两个或两个以上像素强度范围。
10. 根据权利要求9所述的方法，其中所述两个或两个以上像素强度范围表示所述至少 一个图像的不同图像标的物内容。
11. 根据权利要求9所述的方法，其中所述两个或两个以上像素强度范围表示所述至少 一个图像的像素的不同空间位置。
12. 根据权利要求9所述的方法，其中所述两个或两个以上像素强度范围表示所述至少 一个图像的图像直方图的不同部分。
13. —种用于处理多媒体数据的系统，其包含图像处理模块，其经配置以识别多媒体数据的一部分的像素强度范围，所述图像处理模块进一步经配置以修改所述多媒体数据，以减小所述像素强度范围；以及 编码器，其经配置以编码所述经修改的多媒体数据，以形成经编码的多媒体数据。
14. 根据权利要求13所述的系统，其中所述图像处理模块产生指示对所述多媒体数据 进行的用以减小所述像素强度范围的所述修改的指示符，且其中所述编码器经配置 以编码所述指示符以供与所述经编码的多媒体数据一起传输。
15. 根据权利要求13所述的系统，其进一步包含存储装置，所述存储装置经配置以存 储在终端装置的解码器中用以修改像素强度范围的后处理技术的指示符，以及在编 码前基于所述指示符修改所述多媒体数据的所述至少一个像素强度范围。
16. 根据权利要求13所述的系统，其中修改所述至少一个像素强度范围包含反向直方 图均衡化操作。
17. 根据权利要求13所述的系统，其中修改所述至少一个像素强度范围包含伽玛校正。
18. 根据权利要求13所述的系统，其中所述图像处理模块经配置以识别所述多媒体数 据的至少一个图像中的两个或两个以上像素强度范围，以及修改所述多媒体数据以 减小所述两个或两个以上像素强度范围。
19. 根据权利要求18所述的系统，其中所述两个或两个以上像素强度范围表示所述至 少一个图像的不同图像标的物内容。
20. 根据权利要求18所述的系统，其中所述两个或两个以上像素强度范围表示所述至 少一个图像的像素的不同空间位置。
21. 根据权利要求18所述的系统，其中所述两个或两个以上像素强度范围表示所述全 少一个图像的图像直方图的不同部分。
22. —种用于处理多媒体数据的系统，其包含用于识别多媒体数据的至少一个图像中的至少一个像素强度范围的装置； 用于修改所述多媒体数据的至少一部分以减小所述至少一个像素强度范围的装 置以及用于编码所述经修改的多媒体数据以形成经编码的多媒体数据的装置。
23. 根据权利要求22所述的系统，其进一步包含用于将所述经编码的多媒体数据传输 到终端装置的装置。
24. 根据权利要求22所述的系统，其进一步包含用于维持指示对所述多媒体数据进行的用以减小所述至少一个像素强度范围的 所述修改的指示符的装置；以及用于编码所述指示符以供传输到终端装置的装置。
25. 根据权利要求22所述的系统，其中所述用于修改所述至少一个像素强度范围的装 置包含用于执行反向直方图均衡化操作的装置。
26. 根据权利要求22所述的系统，其中所述用于修改所述至少一个像素强度范围的装 置包含用于执行伽玛校正的装置。
27. 根据权利要求22所述的系统，其中至少部分基于所检测的像素值范围和界定像素 强度值范围的极限的阈值来修改所述至少一个像素强度范围。
28. 根据权利要求22所述的系统，其中所述用于识别的装置包含用于识别所述多媒体 数据的至少一个图像中的两个或两个以上像素强度范围的装置，且其中所述用于修 改的装置包含用于修改所述多媒体数据以减小所述两个或两个以上像素强度范围 的装置。
29. —种机器可读媒体，其包含存储于其上的指令，其中所述指令可在一个或一个以上机器上执行，且其中所述指令包含用于识别多媒体数据的至少一个图像中的至少一个像素强度范围的指令 用于修改所述多媒体数据的至少一部分以减小所述至少一个像素强度范围的指令；以及用于编码所述经修改的多媒体数据以形成经编码的多媒体数据的指令。
30. 根据权利要求29所述的机器可读媒体，其进一步包含用于将所述经编码的多媒体数据传输到终端装置的指令。
31. 根据权利要求29所述的机器可读媒体，其进一步包含用于维持指示对所述多媒体数据进行的用以减小所述至少一个像素强度范围的所述修改的指示符的指令；以及用于编码所述指示符以供传输到终端装置的指令。
32. 根据权利要求29所述的机器可读媒体，其中所述用于修改所述至少一个像素强度 范围的指令包含用于执行反向直方图均衡化操作的指令。
33. 根据权利要求29所述的机器可读媒体，其中所述用于修改所述至少一个像素强度 范围的指令包含用于执行伽玛校正的指令。
34. 根据权利要求29所述的机器可读媒体，其中至少部分基于所检测的像素值范围和 界定像素强度值范围的极限的阈值来修改所述至少一个像素强度范围。
35. 根据权利要求29所述的机器可读媒体，其中所述用于识别的指令包含用于识别所 述多媒体数据的至少一个图像中的两个或两个以上像素强度范围的指令，且其中所述用于修改的指令包含用于修改所述多媒体数据以减小所述两个或两个以上像素 强度范围的指令。
全文摘要
本申请案包括用于基于编码器辅助式预处理来处理多媒体数据以在接收器处产生增强的多媒体数据的装置和方法。在一方面中，处理多媒体数据包括识别多媒体数据的至少一个图像中的至少一个像素强度范围；修改所述多媒体数据的至少一部分以减小所述像素强度范围；以及编码所述经修改的多媒体数据以形成经编码的多媒体数据。
文档编号H04N7/26GK101491103SQ200780027205
公开日2009年7月22日 申请日期2007年7月19日 优先权日2006年7月20日
发明者维贾雅拉克希米·R·拉温德朗 申请人:高通股份有限公司