将后处理视为在解码器中执行的视频编码的制作方法

专利名称：将后处理视为在解码器中执行的视频编码的制作方法
技术领域：
本申请案大体上是针对多媒体数据处理，且更明确地说，是针对使用后解码器处理 技术来对视频进行编码。
背景技术：
对将高分辨率多媒体数据传输到显示装置(例如，手机、计算机和PDA的显示装 置)存在不断增长的需求。为最佳地检视某些多媒体数据(例如，体育、视频、电视广 播馈入和其它此些图像)而需要高分辨率(本文用来指示査看某些所需细节和特征所需 要的分辨率的术语)。提供高分辨率多媒体数据通常需要增加发送到显示装置的数据的 量，这是需要较多通信资源和传输带宽的过程。
空间可縮放性是用以增强分辨率的典型方法，其中高分辨率信息(明确地说，高频 率数据)经编码目-作为增强层而传输到较低分辨率数据的基础层。然而，空间可縮放性 效率较低，因为此些数据具有类似噪声的统计特征且具有较差的编码效率。另外，空间 可縮放性是高限制性的，因为上取样分辨率在创建/编码增强层时已预先确定。因此，需 要其它方法来克服空间可縮放性和此项技术中已知的其它分辨率增强方法的不足。

发明内容
本文中描述的设备和方法中的每一者均具有若干方面，所述方面中并无单个方面单 独负责其理想的属性。在不限制本发明的范围的情况下，现将简要论述本发明较突出的 特征。在考虑此论述后，且明确地说，在阅读题为"具体实施方式
"的章节后，将理解 本发明的特征如何提供对多媒体数据处理设备和方法的改进。
在一个方面，处理多媒体数据的方法包含识别后处理技术的指示符；对第一多媒 体数据进行编码以形成第一经编码数据；处理所述第一经编码数据以形成第二多媒体数 据，所述处理包括通过应用由所述指示符识别的所述后处理技术来对所述第一经编码数 据进行解码；将所述第二多媒体数据与所述第一多媒体数据进行比较以确定比较信息； 以及基于差异信息而产生第二经编码数据。比较以确定比较信息可包含确定指示所述第 二多媒体数据与所述第一多媒体数据之间的差异的差异信息。所述第一多媒体数据编码 可包含对所述第一多媒体数据进行下取样和压缩以形成所述第一经编码数据。
可使用各种后处理技术，例如包含上取样、应用噪声减少技术以减少第二多媒体数据中的噪声以及应用强化第一多媒体图像的至少一个特征的增强技术。所述增强技术可 包含应用包括增强对应于第一多媒体图像中的皮肤特征的皮肤信息的增强技术。所述方 法可进一步包括将第二经编码数据和第一经编码数据传输到(例如)终端装置。所述方 法可进一步包括使用第二经编码数据来对第一经编码数据进行解码。对第一经编码数据 进行解码以形成第二多媒体图像可包含使用直方图均衡、使用边缘增强技术和/或使用视 频复原。可确定关于各种规模的数据的差异信息，包含通过区块、宏区块或促进此方法 的特定实施例的另一大小的数据。所述差异信息包括低分辨率经编码数据中的现存信息 的一组关系；此组关系可包括等式、包含经量化残差系数的数量和位置的决策逻辑， 和/或包括模糊逻辑规则的决策逻辑。
在另一实施例中， 一种用于处理多媒体数据的系统包含编码器，其经配置以识别
后处理技术的指示符，il进一步经配置以对第一多媒体数据进行编码从而形成第一经编
码数据；第一解码器，其经配置以处理所述第一经编码数据从而形成第二多媒体数据， 所述处理包括对所述第一经编码数据进行解码以及应用由所述指示符识别的所述后处 理技术；以及比较器，其经配置以确定比较信息，所述编码器进一步经配置以基于差异 信息而产生第二经编码数据，其中所述第二经编码数据随后用于对所述第一经编码数据 进行解码。所述比较信息可包括指示所述第一多媒体数据与所述第二多媒体数据之间的 差异的差异信息。所述编码器可经配置以通过对所述第一多媒体数据进行下取样且压縮 所得的经下取样的数据来对所述第一经编码数据进行编码。所述第一解码器配置可包 含上取样过程和解压縮过程，用以产生经编码的图像；以及数据存储装置，其中保存 用于形成第二多媒体图像的解码技术的指示符。所述后处理技术进一步包括噪声滤波模 块，其经配置以减少第二多媒体数据屮的噪声。在一些实施例中，所述后处理技术包括 强化第二多媒体数据的特征的增强技术。
在另一实施例中， 一种用于处理多媒体数据的系统包含用于识别后处理技术的指 示符的装置；用于对第一多媒体数据进行编码以形成第一经编码数据的装置用于处理 所述第一经编码数据以形成第二多媒体数据的装置，所述处理包括对所述第一经编码数 据进行解码以及应用由所述指示符识别的所述后处理技术；用于将所述第二多媒体数据 与所述第一多媒体数据进行比较以确定比较信息的装置；以及用于基于所述比较信息而 产生第二经编码数据的装置。
在另一实施例中， 一种机器可读媒体包括用于处理多媒体数据的指令，当执行时，
所述指令致使机器识别后处理技术的指示符；对第一多媒体数据进行编码以形成第一
经编码数据；处理所述第一经编码数据以形成第二多媒体数据，所述处理包括对所述第
8一经编码数据进行解码以及应用由所述指示符识别的所述后处理技术；将所述第二多媒 体数据与所述第一多媒体数据进行比较以确定比较信息；以及基于差异信息而产生第二 经编码数据。
在另一实施例中， 一种用于处理多媒体数据的系统包含终端装置，其经配置以接收 第一经编码多媒体数据，所述第一经编码多媒体是从第一多媒体数据产生的，所述终端 装置进一步经配置以接收第二经编码数据，所述第二经编码数据包括表示第一多媒体数 据的像素与第二多媒体数据的对应像素之间的差异的信息，其中通过对所述第一多媒体 数据进行编码目.接着使用还用于所述终端装置的解码器中的后处理技术对所述经编码 的第一多媒体数据进行解码来形成所述第二多媒体数据，所述终端装置包括解码器，其 经配置以对所述第二经编码数据进行解码，且使用来自所述经解码的第二经编码数据的 信息对所述第一经编码数据进行解码。
在另一实施例中， 一种处理多媒体数据的方法，所述方法包含在终端装置中接收 第一经编码多媒体，所述第一经编码多媒体是从第一多媒体数据产生的在所述终端装 置中接收第二经编码数据，所述第二经编码数据包括表示通过将第一多媒体数据与第二 多媒体数据进行比较而产生的差异的信息，通过对所述第一多媒体数据进行编码且接着 使用还用于所述终端装置的解码器中的后处理技术对所述经编码的第一多媒体数据进 行解码来形成所述第二多媒体；对所述第二经编码数据进行解码以产生差异信息；以及 使用所述差异信息对所述第一经编码数据进行解码。


图1是说明用于传递多媒体的通信系统的框图。 图2是说明用于对多媒体进行编码的通信系统的特定组件的框图。 图3是说明用于对多媒体进行编码的通信系统的特定组件的另一实施例的框图。 图4是说明用于对多媒体进行编码的特定组件的另一实施例的框图。 图5是说明具有经配置以用于对多媒体数据进行编码的处理器的编码装置的框图。 图6是说明具有经配置以用于对多媒体数据进行编码的处理器的编码装置的另一实 施例的框图。
图7是说明对多媒体数据进行编码的过程的流程图。 图8是说明内插滤波器系数因子的实例的表。
图9是说明用以指定将在解码器处执行的后处理操作的类型及其参数的指示符的表。图10是说明通过重新映射多媒体数据的至少一部分的像素亮度值来对多媒体数据 进行编码的过程的流程图。
图11是具有经配置以在编码前修改多媒体数据的预处理器的编码装置的框图。
具体实施例方式
在以下描述中，给出具体细节以提供对所描述的方面的全面理解。然而，所属领域 的技术人员将理解，可在没有这些具体细节的情况下实践所述方面。举例来说，电路可 能以框图的形式展示，以便不会在不必要的细节方面使所述方面模糊。在其它情况下， 可能不详细地展示众所周知的电路、结构和技术，以便不会使所述方面模糊。
本文中对"一个方面"、"一方面"、"一些方面"或"某些方面"以及使用术语"实 施例"的类似短语的提及意味着结合所述方面而描述的特定特征、结构或特性中的一者 或一者以上可包含在至少一个方面中。在本说明书中各处出现此些短语未必全部指代同 一方面，也不是与其它方面相互排斥的单独或替代方面。此外，描述可通过一些方面而 不是通过其它方面展现的各种特征。类似地，描述可能是对一些方面而不是其它方面的 要求的各种要求。
如本文中所使用的"多媒体数据"或仅"多媒体"是广义术语，其包含视频数据(其 可包含音频数据)、音频数据或视频数据和音频数据两者，且还可包含图形数据。如本 文中所使用的"视频数据"或"视频"是广义术语，其指代含有文本信息或图像信息和 /或音频数据的图像的序列。
为了将所需的高分辨率多媒体数据提供给一个或一个以上显示装置，空间可縮放性 和上取样算法通常包含图像或边缘增强技术，所述技术使用边缘检测接着使用线性或自 适应(有时为非线性)滤波过程。然而，无法通过具有高百分比的置信度的这些机制来 检测在编码器处在压縮和下取样期间丢失的关键和细微细节边缘，或者在解码和上取样 期间无法有效地重新创建关键和细微细节边缘。本文中所描述的方法和系统的某些特征 包含用以识别与由于压縮而丢失的多媒体数据的细节有关的信息的过程。其它特征与通 过使用此信息在经解码的多媒体数据中复原此些细节有关。进一步关于图l到图7来描 述和说明此处所介绍的此些系统和方法。在一个示范性实施例中，为了促进对多媒体数 据进行编码的过程，编码方法可使用与后处理或解码过程(例如，在显示装置处)有关 的信息来对多媒体数据进行编码，以解决由特定的编码和/或解码过程(例如，在编码器 中实施的下取样和/或在解码器中实施的上取样算法)产生的数据不一致。
在一个实例中，首先对多媒体数据进行编码(例如，下取样和压縮)，从而形成随后将被传输到至少一个显示装置的经压縮数据。使用解码器的已知解码和上取样算法来 对经编码数据的拷贝进行解压縮和上取样，且将所得数据与原始接收到的(未经压缩的) 多媒体数据进行比较。将原始多媒体数据与经解压縮的经上取样的数据之间的差异表示 为"差异信息"。并入后处理技术(例如，下取样和上取样滤波器)中的增强过程可移 除噪声、增强特征(例如，皮肤、面部特征、指示"快速移动"对象的数据中的快速改 变区)，或减小所产生的差异信息中的熵。将差异信息编码为"辅助信息"。辅助信息还 被传输到解码器，在解码器处，辅助信息用以增强在编码期间可能已经降级的经解码图 像的细节。可接着将经增强的图像呈现在显示装置上。
图1是用于传递流式传输或其它类型的多媒体数据的通信系统10的框图。此技术 可应用于数字传输设施12中，数字传输设施12将数字经压缩多媒体数据传输到许多显 示装置或终端16。由传输设施12接收的多媒体数据可以是数字视频源，例如，数字电 缆馈入或经数字化的模拟高信号/比源。在传输设施12中处理视频源，并将其调制到载 波上以供在网络14上传输到一个或一个以上终端16。
网络14可以是适合传输数据的任一类型的有线或无线网络，包含以太网、电话(例 如，POTS)、电缆、电力线和光纤系统和/或无线系统中的一者或一者以上，其中无线系 统包括以下系统中的一者或一者以上码分多址(CDMA或CDMA2000)通信系统、 频分多址(FDMA)系统、正交频分多重(orthogonal frequency division multiple, OFDM) 接入系统、例如GSM/GPRS (通用无线分组业务)/EDGE (增强型数据GSM环境)的 时分多址(TDMA)系统、TETRA (陆地中继无线电)移动电话系统、宽带码分多址 (WCDMA)系统、高数据速率(lxEV-DO或lxEV-DO黄金多播)系统、IEEE 802.11 系统、MediaFLOTM系统、DMB系统或DVB-H系统。举例来说，所述网络可以是蜂窝 式电话网络、例如因特网的全球计算机通信网络、广域网、城域网、局域网和卫星网络， 以及这些和其它类型网络的部分或组合。
从网络14接收经编码的多媒体数据的每一终端16可以是任一类型的通信装置，包 含(但不限于)无线电话、个人数字助理(PDA)、个人计算机、电视机、机顶盒、桌 上型、膝上型或掌上型计算机(PDA)、视频/图像存储装置(例如盒式磁带录像机(video cassette recorder, VCR)、数字录像机(DVR)等)以及这些和其它装置的部分或组合。
图2是说明用于对多媒体进行编码的数字传输设施12中的通信系统的特定组件的
框图。传输设施12包含多媒体源26，多媒体源26经配置以基于其(例如)从存储装置
接收到或以其它方式可以使用的多媒体，将多媒体数据提供给编码装置20。编码装置
20 (至少部分地)基于与解码算法有关的信息来对多媒体数据进行编码，所述解码算法
11随后用于或可用于例如终端16的下游接收装置中。
编码装置20包含用于对多媒体数据进行编码的第一编码器21。第一编码器21将经 编码的多媒体数据提供给通信模块25，用于传输到终端16中的一者或一者以上。第一 编码器21还将经编码数据的拷贝提供给解码器22。解码器22经配置以对经编码的数据 进行解码，且应用优选还在接收装置中的解码过程中使用的后处理技术。解码器22将 经解码的数据提供给比较器23。
识别指示符以供解码器22使用，所述指示符指示后处理技术。如在前述句子中使 用的"识别"指解码器保存、存储、选择或可以使用指示符。在一些实施例中，所述指 示符可保存或存储在解码器22的存储器装置中，或保存或存储在与解码器22通信的另 一装置中。在一些实施例中，所述指示符可选自多个指示符，每一指示符指示后处理技 术。在一些实施例中，在不知道接收装置中的解码器所使用的具体处理技术的情况下， 解码器22还可使用其它已知或典型的处理技术。
解码器22可经配置以执行一种或一种以上后处理技术。在一些实施例中，解码器 22经配置以基于指示使用哪一技术的输入而使用多种后处理技术中的一者。通常，由于 用于对多媒体数据进行编码的第一编码器21中所使用的压縮和下取样过程，以及用于 对多媒体数据进行解码的解码器22中所使用的解压缩和上取样过程，经解码的数据将 可能与原始多媒体数据至少有些不同(且从原始多媒体数据降级)。比较器23经配置以 接收并比较原始多媒体数据与经解码的多媒体数据，且确定比较信息。比较信息可包含 通过将原始多媒体数据与经解码的多媒体数据进行比较而确定的任何信息。在一些实施 例中，比较数据包括两个数据组中的差异且被称为"差异信息"。举例来说，可在逐帧 基础上产生差异信息。还可在逐区块基础上进行所述比较。本文中所提及的区块可从一 个像素的"区块"(lxl)变化为MxN任意大小的像素"区块"。区块的形状未必是正方 形的。
"差异信息"表示由于编码/解码过程而在终端16处显示的多媒体数据中看见的图像 降级。比较器23将比较信息提供给第二编码器24。在第二编码器24中对比较信息进行 编码，且将经编码的"辅助信息"提供给通信模块25。通信模块25可将包括经编码多 媒体和经编码辅助信息的数据18传输到终端装置16 (图1)。终端装置中的解码器使用 使用所述"辅助信息"来将增强添加(例如，将细节添加)到在编码和解码期间受到影 响或降级的经解码的多媒体数据。这增强了接收到的经编码多媒体数据的图像质量，目. 使得可将较高分辨率的经解码图像呈现在显示装置上。在一些实施例中，可将第一编码 器21和第二编码器24实施为单个编码器。后处理技术可包括增强多媒体数据中的某些特征(例如，皮肤和面部特征)的一种 或一种以上技术。将经编码的差异信息传输到接收装置。接收装置使用辅助信息将细节 添加到经解码的图像，以补偿在编码和解码期间受到影响的细节。因此，可将较高分辨 率和/或较高质量的图像呈现在接收装置上。
将差异信息识别为主要经编码位流中的辅助信息。可用户数据或"填充符(filler)" 分组来使经编码数据的大小适合于经编码媒体数据的传输协议分组大小(例如，IP数据 报或MTU)的大小以输送辅助信息。在一些实施例中，可将差异信息识别为低分辨率 经编码数据中的现存信息的一组关系(例如，等式、决策逻辑、经量化残差系数的数目 和位置、模糊逻辑规则)，且可将进入这些关系中的索引编码为辅助信息。由于并非所 有差异信息都必定被编码且可将此信息的格式简化为关系的査询表的索引，所以对元数 据进行编码器辅助的上取样更高效地编码，且利用接收装置中的信息以减小需要被传输 的信息的熵。
还预期所描述的编码装置20的其它配置。举例来说，图3说明使用一个编码器31 替代两个编码器(如图2中所示)的编码装置30的替代实施例。在此实施例中，比较 器23将差异信息提供给单个编码器31以用于编码。编码器31将经编码的多媒体数据 (例如，第一经编码数据)和经编码的辅助信息(例如，第二经编码数据)提供给通信 模块25以用于传输到终端16。
图4是说明图2和图3中所示的系统的一部分(明确地说是编码器21、解码器40 和比较器23)的实例的框图。解码器40经配置以用于对经编码的多媒体数据进行解码， 且应用接收终端16 (图1)中所使用的后处理技术。可在本文中所描述的编码器(例如， 图2和图3中所说明的解码器22)中实施解码器40的功能性。解码器22从编码器21 接收经编码的多媒体数据。解码器40中的解码器模块41对经编码的多媒体数据进行解 码，且将经解码的数据提供给解码器40中的后处理模块。在此实例中，后处理模块包 含噪声抑制器(denoiser)模块42和数据增强器模块43。
通常假定视频序列中的噪声为加性白高斯。然而，视频信号在时间和空间上都高度 相关。因此，通过在时间上和空间上利用其白度，有可能从信号部分移除噪声。在一些 实施例中，噪声抑制器模块42包含时间降噪，例如，卡尔曼(Kalman)滤波器。噪声 抑制器模块42可包含其它降噪过程，例如，小波收縮滤波器和/或小波维纳(Wiener) 滤波器。小波是用以使给定信号定位在空间域和比例缩放域两者中的一类功能。小波后 面的基础理念是分析不同标度或分辨率下的信号，使得小波表示的小幅改变产生原始信 号的对应的小幅改变。还可将小波收縮或小波维纳滤波器应用为噪声抑制器41。小波收縮降噪可涉及小波变换域中的收縮，且通常包括三个步骤线性正向小波变换、非线性 收缩降噪和线性反向小波变换。维纳滤波器是MSE最优线性滤波器，其可用以改进因 加性噪声和混乱而降级的图像。在一些方面，降噪滤波器是基于(4,2)双正交三次B样条 小波滤波器((4, 2) bi-orthogonal cubic B-spline wavelet filter)的一方面的。
噪声抑制器模块42将经降噪的经解码数据提供给数据增强器模块43。数据增强器 模块43可经配置以增强被认为是检视(例如)皮肤、面部特征和快速改变数据(例如， 对于与体育事件相关联的多媒体数据)所需要的数据的某些特征。数据增强器模块的主 要功能是在数据的重放或消耗期间提供图像或视频增强。典型的图像增强包含锐化、色 域/饱和度/色调改进、对比度改进、直方图均衡和高频加强。关于增强皮肤特征，存在 若干肤色检测方法。 一旦在图像中识别到具有肤色的区域，就可修改对应于此区域的色 度分量以改进色调，从而适合所需的调色板。
关于改进面部特征，如果在面部特征中检测到振铃噪声(ringing noise)(例如通过 肤色检测而识别到)，那么可应用去振铃(de-ringing)滤波器和/或适当的平滑/噪声减少 滤波器来使这些假象减到最小，且执行上下文/内容选择性图像增强。视频增强包含闪烁 减少、帧速率提高等。在视频中的一组帧上发送平均亮度的指示符可帮助与闪烁减少有 关的解码器/后解码器/后处理。闪烁常由DC量化造成，DC量化导致在原始存在的具有 相同发光条件/亮度的那些帧上平均亮度等级有波动的经重构的视频。闪烁减少通常涉及 邻接帧的平均亮度(例如，DC直方图)的计算，以及应用平均滤波器，以使每一帧的 平均亮度返回到在所述帧上所计算出的平均亮度。在此情况下，差异信息可以是待应用 于每一帧的经预计算的平均亮度偏移。数据增强器模块43将经增强的经解码多媒体数 据提供给比较器23。
图5是说明具有经配置以用于对多媒体数据进行编码的处理器51的编码装置50的 实例的框图。编码装置50可在传输设施(例如，数字传输设施12 (图l))中实施。编 码装置50包含存储媒体58，其经配置以与处理器51通信且经配置以与通信模块59通 信。在一些实施例中，处理器51经配置以便以与图2中所说明的编码器20类似的方式 对多媒体数据进行编码。处理器51使用第一编码器模块52对接收到的多媒体数据进行 编码。接着使用解码器模块53对经编码的多媒体进行解码，解码器模块53经配置以使 用在终端16(图1)中实施的至少一种后处理技术来对多媒体数据进行解码。处理器51 使用噪声抑制器模块55来移除经解码的多媒体数据中的噪声。处理器51可包含数据增 强器模块56，其经配置以增强经解码的多媒体数据，以用于例如面部特征或皮肤的预定 特征。通过比较器模块54来确定经解码的(且经增强的)多媒体数据与原始多媒体数据之间的差异，比较器模块54产生表示经解码的多媒体数据与原始多媒体数据之间的差异的差异信息。通过第二编码器57对经增强的差异信息进行编码。第二编码器57产生提供给通信模块59的经编码的辅助信息。经编码的多媒体数据也被提供给通信模块59。将经编码的多媒体数据和辅助信息两者传送到显示装置(例如，图1的终端16)，显示装置使用辅助信息来对多媒体数据进行解码以产生经增强的多媒体数据。
图6是说明具有经配置以用于对多媒体数据进行编码的处理器61的编码装置60的另一实施例的框图。此实施例可以类似于图5的方式来对多媒体数据进行编码，只是处理器61含有对多媒体数据和差异信息两者进行编码的一个编码器62。接着通过通信模块59将经编码的多媒体数据和辅助信息两者传送到显示装置(例如，图1中的终端16)。显示装置中的解码器接着使用辅助信息对多媒体数据进行解码，以产生经增强的分辨率数据并显示此数据。
下文列出可在解码器中实施的某些后处理技术的实例，然而，对这些实例的描述并不意味着使本发明限于仅所描述的那些技术。如上文所述，解码器22可实施许多后处理技术中的任一者来识别差异信息并产生对应的辅助信息。
色度处理
后处理技术的一个实例是色度处理，其涉及与待显示的多媒体数据的色度有关的操作。色彩空间转换是一个这样的实例。典型的压縮操作(解码、解块等)和一些后处理操作(例如，独立于色度来修改由亮度或Y分量表示的强度的功能，例如，直方图均衡)发生在YCbCr或YUV域或色彩空间中，而显示器通常在RGB色彩空间中操作。在后处理器和显示处理器中执行色彩空间转换以解决此差异。如果维持相同的位深度，那么RGB与YCC/YUV之间的数据转换可能导致数据压縮，因为当R、 G和B中的强度信息变换为Y分量时，R、 G和B中的强度信息的冗余减少，从而导致源信号的相当大的压縮。因此，任何基于后处理的压縮都将潜在地在YCC/YUV域中操作。
色度子取样涉及对亮度(的数量表示)比对色彩(的数量表示)实施较多的分辨率的实践。色度子取样在许多视频编码方案(模拟和数字)中使用且还在JPEG编码中使用。在色度子取样中，将亮度和色度分量形成为经伽马校正的(三色激励的)R'G'B'分量的加权和，而不是线性的(三色激励的)RGB分量的加权和。通常将子取样方案表达为三部分比率(例如，4:2:2),但有时也表达为四个部分(例如，4:2:2:4)。所述四个部分是(按其相应的次序)第一部分亮度水平取样参考(最初，在NTSC电视系统中为3.579 MHz的倍数)；第二部分Cb和Cr (色度)水平因子(相对于第一数字)；与第二
15数字相同(除了为零时，零指示Cb和Cr被垂直地2:l子取样)的第三部分以及如果 存在的话，与亮度数字相同的第四部分(指示a"键(key)"分量)。后处理技术可包含 色度上取样(例如，将4:2:0数据转换为4:2:2数据)或下取样(例如，将4:4:4数据转 换为4:2:0数据)。通常对4:2:0视频执行低到中等位速率压縮。如果源多媒体数据具有 比4:2:0高的色度(例如，4:4:4或4:2:2)，那么可在后处理操作期间将其下取样到4:2:0、 编码、传输、解码且接着上取样回到原始色度。在显示装置处，当变换为RGB以供显 示时，使色度复原到其完整的4:4:4比率。解码器22可配置有此些后处理操作以重复可 能发生在下游显示装置处的解码/处理操作。 图形操作
与图形处理有关的后处理技术也可在解码器22中实施。 一些显示装置包含图形处 理器，例如，支持多媒体和2D或3D游戏的显示装置。图形处理器的功能性可包含像 素处理操作，可合适地应用所述操作中的一些(或全部)操作以改进视频质量或可将所 述操作中的一些(或全部)操作潜在地并入包含压縮/解压缩的视频处理中。
a混合
a混合是两个场景之间的转变中或GUI上的现存屏幕上的视频的重叠中通常使用的 操作，a混合是也可在解码器22中实施的像素操作后处理技术的一个实例。在a混合中， 色码中的a的值在从O.O到l.O的范围内，其中O.O表示完全透明的色彩，而1.0表示完 全不透明的色彩。为了 "混合"，使从图片缓冲器读取到的像素乘以"a"。使从显示缓 冲器读取到的像素乘以--个负a。将上述两者加在一起并显示结果。视频内容含有各种 形式的转变效应，包含从/到黑色或其它均匀/恒定色彩的淡化转变(fade transition)、 场景之间的交叉淡化(cross fade)以及内容的类型之间的接合点(例如，动画到商业视 频等)。H.264标准具有使用用于转变的帧数目或POC (图片序号)来传送a值以及对 开始和停止点的指示符的规定。还可指定用于转变的均匀色彩。
转变区域可能难以编码，因为其并非突然的场景改变，在突然的场景改变中，可将 新场景的开始(第一帧)编码为I帧，且将随后的帧编码为预测帧。由于解码器中通常 所使用的运动估计/补偿技术的性质，可将运动作为数据块来跟踪，且恒定的亮度偏移被 吸收到残差中(加权预测可在某一程度上解决此问题)。交叉淡化具有较大的问题，因 为亮度发生改变且正被跟踪的运动并非真实的运动，而是从一个图像到另一图像的逐渐 切换，从而导致较大的残差。这些较大的残差在量化(低位速率的进程)后导致大规模 运动和区块假象(blocking artifact)。对界定转变区域的完整图像进行编码且指定a混合
配置以影响淡化/交叉淡化将导致转变的无假象重放和压縮效率/比率的改进或位速率的
16减小，以相对于引起区块假象的情况而获得类似或较佳的知觉/视觉质量。
在编码器处知晓解码器的a混合能力可促进将转变效应编码为元数据而不是通过常规编码将位花费在较大的残差上。除了a值之外，此些元数据的一些实例还包含进入解码器/后处理器处所支持的一组转变效应(例如，縮放、旋转、渐隐和淡化)中的索弓l。透明度
"透明度"是可包含在编码装置20的解码器22中的另一相对简单的后处理像素操作。在透明度过程中，从显示缓冲器读出像素值，且从图片缓冲器读出另一像素值(待显示的帧)。如果从图片缓冲器读出的值匹配透明度值，那么将从显示缓冲器读取的值写入显示器。否则，将从图片缓冲器读取的值写入显示器。
视频按比例縮放(x2、 /2、 /4、任意比例)
视频按比例縮放("按比例放大(叩scaling)"或"按比例縮小(downscaling)")的
意图通常是在将以一种信号格式或分辨率传达的信息迁移到另一不同信号格式或分辨率的同时，保存同样多的原始信号信息和质量。视频按比例缩放在二 (2)或四(4)倍的按比例縮小中起作用，且通过像素值的简单求平均来执行。按比例放大涉及内插滤波器，且可在两个轴上进行。对Y值执行双三次内插，且对色度值执行最近相邻滤波。举例来说，可通过以下等式来计算Y的内插值
Y[i ^-Y[i-3，j] + 9Y[卜l，j] + 9Y[i + l,j]-Y[i + 3，j]
16 等式i
对于一行中的每一内插的Y,以及
Yfi "-Y[i,j-3] + 9Y[i,j-l]+9Y[i，j + l]-Y[i，j + 3〗
16 等式2
对于一列中的每一内插的Y。
从并排比较，双线性和双三次内插方案展示非常小的可视差异。双三次内插导致稍
微较清晰的图像。必须建立较大的线缓冲器，以便进行双三次内插。所有的双三次滤波
器都是一维的，其中系数仅视縮放比率而定。在一个实例中，8个位足以对系数进行编
码以保证图像质量。仅需将所有的系数编码为不带正负号的，且用电路可能难以对正负
号进行编码。对于双二次内插，系数的正负号始终为[-++-]。
图8展示对于给定比例縮放因子的滤波器的各种选择。图8中列出的比例縮放因子是在移动装置中最常遇到的比例缩放因子的实例。对于每一比例縮放因子，可基于检测 到的边缘的类型和所需的滚降(roll off)特征来选择滤波器的不同相位。对于某些纹理
和边缘区域， 一些滤波器比其它滤波器更好地起作用。基于实验结果和视觉评估得出滤
波器分接头(filtertap)。在一些实施例中，在接收器(解码器/显示器驱动器)处的适度 复杂的按比例縮放器可在区块/小片(tile)基础上自适应性地在滤波器之间进行选择。 在知道接收器的按比例缩放器中的特征的情况下，编码器可指示(基于与原始的比较) 针对每一区块选择滤波器中的哪一者(例如，提供进入滤波器表格中的索引)。此方法 可以是对解码器通过边缘检测对适当的滤波器作出决策的替代方案。此方法使解码器中 的处理循环和功率减到最少，因为其并不必执行与边缘检测相关联的决策逻辑(例如， 消耗许多处理器循环的修剪和定向操作)。 伽马校正
伽马校正、伽马非线性、伽马编码或常简称为伽马是用以对视频或静态图像系统中 的亮度或三色激励值进行编码和解码的非线性操作的名称，且其也是可在解码器22中 实施的另一后处理技术。伽马校正控制图像的整体光亮度。未经适当校正的图像可能看 起来变白了或者太暗。尝试准确地再现色彩还需要对伽马校正有些了解。改变伽马校正 的量不仅改变光亮度，而且改变红对绿对蓝的比率。在最简单的情况下，伽马校正由以
下幂定律表达式定义
其中输入和输出值是非负实值，通常在例如o到1的预定范围内。通常将7〈i的情
况称为伽马压缩，且将7〉M尔为伽马扩展。在解码器后处理包含伽马校正的实施方案中，
可在解码器22中实施对应的伽马后处理技术6通常，在LCD面板内的模拟域中进行伽 马校正。通常，抖动(dithering)在伽马校正之后进行，尽管在一些情况下，首先执行 抖动。
直方图均衡
直方图均衡是使用像素值的直方图来修改图像中的像素的动态范围的过程。通常， 图像中的信息并非均匀地分布在可能的值范围上。可通过用图表表示像素的数目(y轴) 与每一像素的光亮度(例如，对于八位单色图像为从0到255) (x轴)的关系以形成图 像直方图，来说明图像的此像素强度频率分布。图像直方图展示图像内有多少像素落入
18各种光亮度等级边界中的图形表示。动态范围是直方图的占据部分的宽度的测量值。通常，具有较小动态范围的图像也具有较低的对比度，且具有较大动态范围的图像具有较高的对比度。使用映射操作(例如，直方图均衡、对比度或伽马调整或者另一重新映射操作)可改变图像的动态范围。当图像的动态范围减小时，可使用较少的位表示(并编码)所得的"展平"图像。
可对像素强度范围(例如，像素光亮度值的范围)执行动态范围调整。尽管通常对整个图像执行，但还可对图像的一部分(例如，所识别的表示所述图像的一部分的像素强度范围)进行动态范围调整。在一些实施例中，图像可具有两个或两个以上所识别的部分(例如，通过不同的图像主题内容、空间位置或通过图像直方图的不同部分而区分)，且可单独地调整每一部分的动态范围。
直方图均衡可用以增加图像的局部对比度，尤其当图像的可用数据由接近的对比度值表示时。通过此调整，可使强度更好地分布在直方图上。此情形允许较低局部对比度的区域获得较高的对比度，而不影响整体对比度。直方图均衡通过有效地展开像素强度值来实现此目的。所述方法在具有都为亮或都为暗的背景与前景的图像中有用。
尽管直方图均衡改进了对比度，但其也降低了图像的压縮效率。在一些编码方法中，在编码之前可使用直方图均衡特性的"反向"特性来大体改进压缩效率。在反向直方图均衡过程中，重映射像素光亮度值以减小对比度；所得的图像直方图具有较小的(经压缩的)动态范围。在此过程的一些实施例中，可在对图像进行编码前得出每一图像的直方图。多媒体图像中的像素的亮度范围可经按比例缩放，以有效地将图像直方图压缩到较窄的亮度值范围。因此，可减小图像的对比度。当压缩此图像时，由于较低/较小的亮度值范围，编码效率高于无直方图压縮的情况下的编码效率。当在终端装置处对所述图像进行解码时，在所述终端装置上运行的直方图均衡过程将图像的对比度复原到原始分布。在一些实施例中，编码器可保存(或接收)识别用于终端装置处的解码器中的直方图均衡算法的指示符。在此情况下，编码器可使用直方图均衡算法的反向算法来改进压縮效率，且接着将足够的信息提供给解码器以用于对比度的复原。
图11说明编码装置1120的实施例，其可在对多媒体数据进行编码之前减小多媒体数据的动态范围，以便使用较少的位来对多媒体数据进行编码。在图11中，多媒体源1126将多媒体数据提供给编码装置1120。编码装置1120包含预处理器1118,其接收多媒体数据且减小所述多媒体数据中所含的至少一个图像的动态范围。所得的数据"压縮"减小了多媒体数据的大小，且相应地减少了需要编码的多媒体数据的量。将所得的数据提供给编码器1121。编码器1121对经调整的多媒体数据进行编码，且将经编码的数据提供给通信模块 1125，以用于传输到如图1中所说明的终端装置16 (例如，手持机)。在一些实施例中， 还将与动态范围调整相关联的信息提供给编码器1121。可将所述信息保存在编码装置 1121中作为指示对像素强度范围进行的修改的指示符。如果提供了与动态范围调整相关 联的信息(或指示符)，那么编码器H21还可对此信息进行编码，并将其提供给通信模 块1125，以用于传输给终端装置16。随后，终端装置16在显示图像之前重新映射(扩 展)所述图像的动态范围。在一些实施例中，例如图2的编码器21的编码器可经配置 以执行此预处理动态范围调整。在一些实施例中，除了其它编码实施例(包含本文中例 如参考图1到图9所描述的编码实施例)之外，还可执行预处理动态范围调整。
图9中说明用以指定将在解码器处执行的后处理操作的类型以及所述后处理操作的 参数的元数据(或指示符)。用于按比例縮放的选项是图9中所描述的用于内插滤波器 的不同系数组。功能指定符是图9中所说明的表的第2列中所列出的一组后处理功能的 索引。编码器可从此组选择产生待编码的差异信息的最小熵的功能(在区块基础上)。 任选地，选择标准还可以是最高质量的，质量是通过一些客观手段(例如，PSNR、SSIM、 PQR等)来测量的。另外，对于每一指定的功能，基于用于此功能的方法而提供一组选 项。举例来说，使用边缘检测方法(例如， 一组索伯尔(Sobel)滤波器或者3x3或5x5 高斯掩模)，接着使用高频加强，边缘增强可在回路外发生。在一些实施例中，使用回 路内解块器电路，边缘增强可在回路内发生。在后者情况下，回路内解块期间所使用的 边缘检测方法用以识别边缘，且对由解块滤波器进行的常规低通滤波的补充功能将是用 以增强边缘的锐化滤波器。类似地，直方图均衡具有在全范围的强度值或部分强度值上 均衡的选项，且伽马校正具有用于抖动的选项。
图7说明通过编码结构(例如，编码装置20(图2)、编码装置30(图3)、编码装 置40 (图4)和编码装置50 (图5))对多媒体数据进行编码的过程70的实例。在状态 71处，所述过程保存后处理技术的指示符。举例来说，所述后处理技术可在显示装置(例 如，终端16 (图l))的解码器中使用。元数据还可在不具体知晓接收显示装置处所执 行的后处理技术(如果有的话)的情况下，指示众所周知或普遍的处理技术。在状态72 处，对接收到的第一多媒体数据进行编码以形成第一经编码多媒体数据。
在状态73处，通过对第一经编码多媒体数据进行解码且应用由所述指示符识别的
后处理技术，过程70产生第二多媒体数据。所述后处理技术可以是本文中所描述的后
处理技术中的一者或另一后处理技术。在状态74处，过程70将第二多媒体数据与第一
多媒体数据进行比较以确定比较信息。所述比较信息可以是指示所述第二多媒体数据与
20所述第一多媒体数据之间的差异的差异信息。在状态75处，过程70接着对所述比较信息进行编码以形成辅助信息(第二经编码数据)。随后可将辅助信息和经编码的多媒体数据传送到显示装置，所述显示装置可使用所述辅助信息对多媒体数据进行解码。
图10是说明通过在对多媒体数据进行编码之前减小至少一部分多媒体数据的像素亮度强度范围来对多媒体数据进行编码(例如，由图11的编码器1120执行)的过程1000的流程图。在状态1005处，过程IOOO识别多媒体数据中的像素亮度强度范围。举例来说，如果多媒体数据包括图像，那么过程IOOO可识别或确定所述图像的像素强度范围。如果多媒体数据包括图像序列(例如，视频)，那么可针对所述图像中的一者或一者以上而识别像素强度范围。举例来说，像素强度范围可以是图像中含有卯％(或者，例如，95%或99%)亮度值的像素的亮度值的范围。在一些实施例中，如果图像序列中的图像是类似的，那么可针对所述图像序列中的所有(或至少许多)图像而识别相同的像素强度范围。在一些实施例中，可识别两个或两个以上图像的像素亮度强度范围并求其平均值。
在状态1010处，过程IOOO修改多媒体数据的一部分以减小像素亮度强度范围。通常，图像的像素亮度值集中在可用强度范围的一部分上。减小(或重新映射)像素值以覆盖较小的范围可大大地减少图像中的数据量，这促进了较高效率的数据编码和传输。减小像素亮度强度范围的实例包含"反向"直方图均衡、伽马校正或将来自"全"范围(例如，对于八位图像为0到255)的亮度值重新映射到原始强度范围的仅一部分的减小的范围。
在状态1015处，过程IOOO对经修改的多媒体数据进行编码以形成经编码的数据。可将经编码的数据传输到对经编码的数据进行解码的终端装置16 (图1)。终端装置中的解码器执行用于扩展多媒体数据的强度范围的过程。举例来说，在一些实施例中，解码器执行直方图均衡、伽马校正或另一图像重新映射过程，以在像素强度范围上扩展多媒体数据的像素值。所得的经扩展的多媒体数据可看起来类似于其原始外观，或者至少在终端装置的显示器上检视起来令人愉快。在一些实施例中，可产生指示强度范围减小的指示符、对其进行编码并将其传输到终端装置。终端装置中的解码器可使用所述指示符作为用于对接收到的多媒体数据进行解码的辅助信息。
注意，可将所述方面描述为过程，将所述过程描绘为流程图、流程图表、结构图或框图。虽然流程图可将所述操作描述为循序过程，但可并行或同时执行所述操作中的许多操作。另外，可重新排列所述操作的次序。当过程的操作完成时，所述过程终止。过程可对应于方法、函数、程序、子例行程序、子程序等。当过程对应于函数时，其终止
21对应于所述函数返回到调用函数或主函数。
所属领域的技术人员还应明白，可在不影响装置的操作的情况下，重新布置本文中所揭示的装置的一个或一个以上元件。类似地，可在不影响装置的操作的情况下，组合本文中所揭示的装置的一个或一个以上元件。所属领域的技术人员将理解，可使用多种不同技术和技法中的任一者来表示信息和信号。所属领域的技术人员将进一步了解，可将结合本文中所揭示的实例而描述的各种说明性逻辑区块、模块和算法步骤实施为电子硬件、固件、计算机软件、中间件、微码或其组合。为了清楚地说明硬件与软件的这种可互换性，上文已经大体上根据各种说明性组件、区块、模块、电路和步骤的功能性描述了各种说明性组件、区块、模块、电路和步骤。将此功能性实施为硬件还是软件取决于特定应用和强加于整个系统的设计限制。熟练的技术人员可针对每个特定应用以不同的方式来实施所描述的功能性，但此类实施决策不应被解释为导致与所揭示方法的范围偏离。
结合本文所揭示的实施例而描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中或在所述两者的组合中实施。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存储媒体可与处理器成 一 体式。处理器和存储媒体可驻存在专用集成电路(Application SpecificIntegrated Circuit, ASIC)中。ASIC可驻存在无线调制解调器中。在替代方案中，处理器和存储媒体可作为离散组件驻存在无线调制解调器中。
另外，可用以下装置来实施或执行结合本文所揭示的实施例而描述的各种说明性逻辑区块、组件、模块和电路通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所述的功能的任一组合。通用处理器可以是微处理器，但在替代方案中，处理器可以是任一常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。
提供对所揭示实例的先前描述是为了使所属领域的技术人员能够制作或使用所揭
示的方法和设备。所属领域的技术人员将容易明白对这些实例的各种修改，且可在不脱
离所揭示的方法和设备的精神或范围的情况下，将本文所界定的原理应用于其它实例，
且可添加额外元件。对所述方面的描述既定为是说明性的，且不限制权利要求书的范围。
权利要求
1. 一种处理多媒体数据的方法，所述方法包括识别后处理技术的指示符；对第一多媒体数据进行编码以形成第一经编码数据；处理所述第一经编码数据以形成第二多媒体数据，所述处理包括通过应用由所述指示符识别的所述后处理技术来对所述第一经编码数据进行解码；将所述第二多媒体数据与所述第一多媒体数据进行比较，以确定比较信息；以及基于所述比较信息而产生第二经编码数据。
2. 根据权利要求1所述的方法，其中所述确定比较信息的比较包括确定指示所述第 二多媒体数据与所述第一多媒体数据之间差异的差异信息。
3. 根据权利要求2所述的方法，其中所述第一多媒体数据编码包括对所述第一多媒体数据进行下取样和压縮以形成所述第一经编码数据。
4. 根据权利要求2所述的方法，其中所述后处理技术包括上取样。
5. 根据权利要求2所述的方法，其中所述后处理技术包括应用噪声减少技术来减少 所述第二多媒体数据中的噪声。
6. 根据权利要求2所述的方法，其中所述后处理技术包括应用强化第一多媒体图像的至少一个特征的增强技术。
7. 根据权利要求6所述的方法，其中应用增强技术包括增强对应于所述第一多媒体图像中的皮肤特征的皮肤信息。
8. 根据权利要求7所述的方法，其进一步包括将所述第一经编码数据和所述第二经编 码数据传输到终端装置。
9. 根据权利要求2所述的方法，其中对所述第一经编码数据进行解码以形成第二多媒 体图像包括使用直方图均衡。
10. 根据权利要求2所述的方法，其中对所述经编码数据进行解码以形成第二多媒体图 像包括使用边缘增强。
11. 根据权利要求2所述的方法，其中对所述经编码数据进行解码以形成第二多媒体图 像包括使用视频复原。
12. 根据权利要求2所述的方法，其中在区块基础上确定所述差异信息。
13. 根据权利要求2所述的方法，其中所述差异信息包括低分辨率经编码数据中的一组 关系。
14. 根据权利要求13所述的方法，其中所述组关系包括等式。
15. 根据权利要求13所述的方法，其中所述组关系包括决策逻辑，所述决策逻辑包含 经量化残差系数的数量和位置。
16. 根据权利要求13所述的方法，其中所述组关系决策逻辑包括模糊逻辑规则。
17. —种用于处理多媒体数据的系统，其包括编码器，其经配置以识别后处理技术的指示符，且进一步经配置以对第一多媒体数据进行编码以形成第一经编码数据；第一解码器，其经配置以处理所述第一经编码数据以形成第二多媒体数据，所述 处理包括对所述第一经编码数据进行解码以及应用由所述指示符识别的所述后处 理技术；以及比较器，其经配置以将所述第一多媒体数据与所述第二多媒体数据迸行比较以确 定比较信息；所述编码器进一步经配置以基于所述比较信息而产生第二经编码数据。
18. 根据权利要求17所述的系统，其中所述比较信息包括指示所述第一多媒体数据与 所述第二多媒体数据之间差异的差异信息。
19. 根据权利要求17所述的系统，其中所述编码器经配置以通过对所述第一多媒体数据进行下取样且对所述所得的经下取样的数据进行压縮来对所述第一经编码数据 进行编码。
20. 根据权利要求17所述的系统，其中所述第一解码器配置包括上取样过程和解压縮过程，用以产生经编码的图像，以及数据存储装置，用以在其中保存用于形成第二多媒体图像的解码技术的指示符。
21. 根据权利要求17所述的系统，其中所述后处理技术进一步包括噪声滤波模块，所 述噪声滤波模块经配置以减少所述第二多媒体数据中的噪声。
22. 根据权利要求17所述的系统，其中所述后处理技术包括强化所述第二多媒体数据 的特征的增强技术。
23. 根据权利要求22所述的系统，其进一步包括通信模块，所述通信模块经配置以将 所述第一经编码数据和所述第二经编码数据信息传输到第二解码器，所述第二解码 器使用辅助信息来对所述第一经编码数据进行解码。
24. —种用于处理多媒体数据的系统，其包括用于识别后处理技术的指示符的装置；用于对第一多媒体数据进行编码以形成第一经编码数据的装置； 用于处理所述第一经编码数据以形成第二多媒体数据的装置，所述处理包括对所述第一经编码数据进行解码以及应用由所述指示符识别的所述后处理技术；用于将所述第二多媒体数据与所述第一多媒体数据进行比较以确定比较信息的装置；以及用于基于差异信息而产生第二经编码数据的装置。
25. 根据权利要求24所述的系统，其中所述比较装置确定包括指示所述第二多媒体数 据与所述第一多媒体数据之间差异的差异信息的比较信息。
26. 根据权利要求25所述的系统，其中所述编码装置包括编码器。
27.根据权利要求25所述的系统，其中所述解码装置包括解码器。
28. 根据权利要求25所述的系统，其中所述比较装置包括比较器模块，所述比较器模 块经配置以确定所述第一多媒体数据与所述第二多媒体数据之间的差异信息。
29. —种机器可读媒体，其包含存储在上面的指令，其中所述指令可在一个或一个以上 机器上执行，且其中所述指令包括用于识别后处理技术的指示符的指令；用于对第一多媒体数据进行编码以形成第一经编码数据的指令；用于处理所述第一经编码数据以形成第二多媒体数据的指令，所述处理包括对所述第一经编码数据进行解码以及应用由所述指示符识别的所述后处理技术；用于将所述第二多媒体数据与所述第一多媒体数据进行比较以确定比较信息的 指令以及用于基于差异信息而产生第二经编码数据的指令。
30. 根据权利要求29所述的机器可读媒体，其中所述比较信息包括指示所述第二多媒体数据与所述第一多媒体数据之间差异的差异信息。
31. —种用于处理多媒体数据的系统，其包括终端装置，其经配置以接收第一经编码多媒体数据，所述第一经编码多媒体是从 第一多媒体数据产生的，所述终端装置进一步经配置以接收第二经编码数据，所述 第二经编码数据包括表示所述第一多媒体数据与第二多媒体数据之间差异的信息， 其中通过对所述第一多媒体数据进行编码且接着使用后处理技术对所述经编码的 第一多媒体数据进行解码来形成所述第二多媒体数据，所述终端装置包括解码器， 所述解码器经配置以对所述第二经编码数据进行解码，且使用来自所述经解码的第 二经编码数据的信息对所述第一经编码数据进行解码。
32. —种处理多媒体数据的方法，所述方法包括在终端装置中接收第一经编码多媒体，所述第一经编码多媒体是从第一多媒体数 据产生的在所述终端装置中接收第二经编码数据，所述第二经编码数据包括表示通过将所 述第一多媒体数据与第二多媒体数据进行比较而产生的差异的信息，所述第二多媒 体是通过对所述第一多媒体数据进行编码且接着使用还在所述终端装置的解码器中使用的后处理技术对所述经编码的第一多媒体数据进行解码而形成的 对所述第二经编码数据进行解码以产生所述差异信息；以及使用所述差异信息对所述第一经编码数据进行解码。
全文摘要
本申请案包含用于基于编码器辅助的后处理来处理多媒体数据以在接收器处产生增强质量的多媒体数据的装置和方法。在一个方面，处理多媒体数据包含识别后处理技术的指示符；对第一多媒体数据进行编码以形成第一经编码数据；处理所述第一经编码数据以形成第二多媒体数据，所述处理包括对所述第一经编码数据进行解码以及应用由所述指示符识别的所述后处理技术；将所述第二多媒体数据与所述第一多媒体数据进行比较，以确定指示所述第二多媒体数据与所述第一多媒体数据之间差异的差异信息；以及基于所述差异信息而产生第二经编码数据。
文档编号H04N7/26GK101491102SQ200780027133
公开日2009年7月22日 申请日期2007年7月19日 优先权日2006年7月20日
发明者维贾雅拉克希米·R·拉温德朗 申请人:高通股份有限公司