对高动态范围图像编码和/或对比特流解码的方法和设备的制造方法

对高动态范围图像编码和/或对比特流解码的方法和设备的制造方法
【专利摘要】本发明一般地涉及对图像进行编码的方法和设备。所述方法包含：对根据图像所确定(11)的背光图像进行编码(12)；通过用背光图像的解码版本划分图像，来获得(13)残差图像；通过对残差图像进行色调映射，来获得(16)经色调映射的残差图像；以及对经色调映射的残差图像进行编码(19)。本发明还涉及对比特流进行解码的方法和设备，所述比特流表示通过用背光图像分割图像而计算出的残差图像。
【专利说明】
对高动态范围图像编码和/或对比特流解码的方法和设备
技术领域
[0001] 本发明一般地设及图像/视频编码和解码。具体地，本发明的技术领域设及对像素 值属于高动态范围的图像进行编码/解码。
【背景技术】
[0002] 本部分旨在向读者介绍现有技术的各个方面，其可能与下面所描述和/或所要求 保护的本发明的各个方面有关。相信该讨论对于向读者提供背景信息W便于更好地理解本 发明的各个方面是有帮助的。因此，应当理解的是，运些陈述要从运个角度来阅读，而不作 为对现有技术的承认。
[0003] 低动态范围图像化DR图像)是亮度值用有限数量(最常见的是8或10)的比特来表 示的图像。该有限的表示不允许正确地擅染小信号变化(特别是在暗的和亮的亮度范围 中）。在高动态范围图像化DR图像）中，扩充信号表示，W便维持信号在其整个范围内的高准 确度。在HDR图像中，像素值通常W浮点格式(针对每个分量，32比特或16比特，即浮点或半 浮点）来表示，最常见的格式是ope址XR半浮点格式(针对每个RGB分量16比特，即针对每个 像素48比特），或者W具有长表示(通常至少16比特)的整数来表示。
[0004] 对HDR图像进行编码的典型的方法是减小图像的动态范围，W便通过传统的编码 方案(最初被配置为对LDR图像进行编码)对图像进行编码。
[0005] 根据第一种方法，对所输入的皿R图像应用色调映射算子，然后通过诸如JPEG/ JPEG200或MPEG-2、针对视频的H. 264( "Advanced video coding for generic audiovisual Services", SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264,TeIecommunication Standardization Sector of ITU， 2012年I月）等传统的8-10比特深度编码方案，对经色调映射的图像进行编码。然后，对经解 码的图像应用逆色调映射算子，并且在所输入的图像与经解码和逆色调映射的图像之间计 算残差图像。最后，通过第二传统的8-10比特深度编码方案对残差图像进行编码。
[0006] 该第一方法在低动态范围图像可W通过传统装置进行解码和显示运个意义上是 向后兼容的。
[0007] 然而，该第一种方法使用两个编码方案，并且将输入图像的动态范围限定为传统 编码方案的动态范围的两倍（16-20比特）。而且，运种方法有时会导致与所输入的HDR图像 具有较弱相关性的低动态范围图像。运导致图像的低的编码性能。
[000引根据第二种方法，根据所输入的HDR图像的亮度分量来确定背光图像。然后，通过 用背光图像划分所输入的HDR图像来获得残差图像，并且对背光图像和残差图像二者直接 进行编码。
[0009]对所输入的皿R图像进行编码的运种特定方法不与传统装置(其不能够对高动态 范围进行解码和/或显示）向后兼容。

【发明内容】

[0010] 本发明通过一种对图像进行编码的方法来着手解决现有技术的一些弊端，所述方 法包含：
[0011] -对根据图像所确定的背光图像进行编码；
[0012] -通过用背光图像的解码版本划分图像，来获得残差图像；
[0013] -通过对残差图像进行色调映射，来获得经色调映射的残差图像；W及
[0014] -对经色调映射的残差图像进行编码。
[0015] 运提供可视的残差图像，即，在所得到的残差图像相当好地且与图像中的原始场 景相比一致地、艺术地擅染经色调映射的场景的意义上的残差图像。因此，该方法是向后兼 容的，因为可视的残差图像可W通过不能够处理高动态范围的传统装置进行解码和/或显 /J、- O
[0016] 而且，因为分别对在空间上高度相关（W及与相同序列的图像中的其他图像在时 间上相关）的经色调映射的残差图像(低动态范围图像)和背光图像进行编码，所W通过运 样的方法对高动态范围图像进行编码导致高效的编码方案。因此，由于经色调映射的残差 图像的高压缩比率和用W对背光图像进行编码的少量数据，能够得到编码增益。
[0017] 根据实施例，对残差图像进行色调映射包含根据残差图像的像素值的伽马校正或 化Og校正。
[0018] 使得没有暗信息和亮信息的损失的伽马校正和化Og校正导致根据残差图像和背 光图像的HDR图像的高精度的重构。而且，伽马校正和化Og校正避免在所重构的HDR图像和 可视的残差图像二者中的轮廓不清的(flat)剪切区域。
[0019] 根据实施例，根据图像获得背光图像包含：
[0020] -根据图像的亮度分量来获得背光图像;W及
[0021] -用图像的平均亮度值来调制背光图像。
[0022] 用图像的平均亮度值来调制背光图像改善图像和残差图像之间的全局亮度相干 性，例如图像中的亮区域在残差图像中显得亮，而图像中的暗区域在残差图像中显得暗。
[0023] 根据实施例，根据图像获得背光图像还包含：
[0024] -在调制背光图像之前，通过背光图像的平均值使背光图像规格化。
[00巧]运允许获得图像的中间灰度一致(mid-gray-at-one)的背光图像。
[0026] 根据实施例，所述方法还包含:在进行编码之前，缩放残差图像。
[0027] 运使从残差图像获得的图像的平均灰度处于用于进行查看和编码二者的足够的 值。
[0028] 根据实施例，所述方法还包含:在进行编码之前，剪切残差图像。
[0029] 剪切残差图像确保有限数量的比特，并且允许使用传统的编码/解码方案对其进 行编码。而且，编码/解码方案与现有的基础结构(编解码器、显示器、分配信道等)是向后兼 容的，因为仅具有低动态范围（典型地，8-10比特）的残差图像可W在运样的基础结构上传 送W显示图像的低动态范围版本。可W在专用基础结构上的侧容器(side container)中携 带包含背光数据的小比特流，W分发图像(即皿姻像)的原始版本。
[0030] 根据本发明的另一方面，本发明设及一种对来自比特流的图像进行解码的方法， 所述方法包含：
[0031] -通过至少部分地对比特流进行解码，来获得背光图像和经解码的残差图像，W及
[0032] -通过将经解码的残差图像乘W背光图像，来获得经解码的图像；
[0033] 其特征在于，在将经解码的残差图像乘W背光图像之前，对经解码的残差图像进 行逆色调映射。
[0034] 根据本发明的另一方面，本发明设及实现上述方法的对图像进行编码的设备W及 对比特流进行解码的设备。
[0035] 根据下面结合附图进行的对优选实施例的描述，本发明的特定性质W及本发明的 其它目标、优点、特征和使用将会变得明显。
【附图说明】
[0036] 将参照W下附图来描述实施例：
[0037] -图1示出根据本发明的实施例的对图像I进行编码的方法的步骤的框图；
[0038] -图2示出根据本发明的实施例的方法的步骤的框图；
[0039] -图3示出根据本发明的实施例的方法的步骤的框图；
[0040] -图4示出根据本发明的实施例的方法的步骤的框图；
[0041] -图5示出根据本发明的实施例的对表示通过用背光图像划分图像而计算出的残 差图像的比特流进行解码的方法的步骤的框图；
[0042] -图6示出根据本发明的实施例的设备的架构的示例；W及
[0043] -图7示出根据本发明的实施例的通过通信网络进行通信的两个远程设备。
【具体实施方式】
[0044] 下文中将参照示出本发明的实施例的附图来更全面地描述本发明。然而，本发明 能够W许多替代形式来实施，并且不应当被理解为局限于在本文中所阐述的实施例。因此， 虽然本发明易受到各种修改和替代形式的影响，但是其特定实施例通过附图中的示例来示 出，并且将在本文中详细地描述。然而，应当理解的是，无意将本发明限制于所公开的具体 形式，而是相反地，本发明覆盖落入由权利要求所限定的本发明的精神和范围内的所有修 改、等同物W及替代物。在附图的描述的各处，相似的标号指代相似的元件。
[0045] 在本文中所使用的术语仅用于描述具体实施例的目的，并且不旨在限制本发明。 如在本文中所使用的那样，单数形式的"一"、"一个"和"该"意指也包括复数形式，除非上下 文清楚地指示不是如此。还要理解的是，术语"包含"、"包含有"、"包括"和/或"包括有"在本 说明书中使用时指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除 一个或多个其它特征、整数、步骤、操作、元件、组件和/或其分组的存在或添加。此外，当元 件被称为"响应于"或"连接到"另一元件时，它可W直接地响应于或连接到所述其它元件， 或者可W存在中间元件。相反，当元件被称为"直接响应于"或"直接连接到"其它元件时，贝U 不存在中间元件。如在本文中所使用的那样，术语"和/或"包括相关联的所列出的项目中的 一个或多个的任意和所有的组合，并且可W简写为7"。
[0046] 应当理解的是，虽然术语第一、第二等可W在本文中被用于描述不同的元件，但是 运些元件不应当受限于运些术语。运些术语仅用于区分一个元件与另一元件。例如，第一元 件可W被称为第二元件，并且相似地，第二元件可W被称为第一元件，而不脱离本公开的教 导。
[0047] 虽然一些图包括通信路径上的箭头W示出通信的主要方向，但是应当理解的是， 通信也可W在与所示箭头相反的方向上进行。
[0048] -些实施例参照框图和操作流程图来描述，其中每个框表示电路元件、模块或者 包含用于实现特定逻辑功能的一个或多个可执行指令的部分代码。还应当注意的是，在其 它实施中，在框中所标记的功能可W不按照所示出的次序进行。例如，取决于所设及的功 能，相继示出的两个框实际上可W基本上同时地执行，或者运些框有时可W相反的次序来 执行。
[0049] 在本文中所提到的"一个实施例"或"实施例"意指结合实施例所描述的具体特征、 结构或特性能够包括在本发明的至少一种实现方式中。在本说明书中各处出现的短语"在 一个实施例中"或"根据实施例"未必全部指相同的实施例，而单独的或替代的实施例也未 必与其它实施例相互排斥。
[0050] 在权利要求中出现的标号仅是作为例示，而不应对权利要求的范围有限定效果。
[0051] 虽然没有明确描述，但是所呈现的实施例和变型可W W任意组合或子组合来采 用。
[0052] 本发明针对对图像进行编码/解码进行描述，但是扩展至对图像序列（视频)进行 编码/解码，因为序列中的每个图像如下所述那样地被顺序地编码/解码。
[0053] 图1示出根据本发明的实施例的对图像I进行编码的方法的步骤的框图。
[0054] 在步骤10中，模块IC获得要编码的图像I的亮度分量L(并且可能地，至少一个色彩 分量C(i))。
[0055] 例如，当图像I属于色彩空间(X，Y，Z)时，通过分量Y的变换f (.)来获得亮度分量L， 例如 L = f(Y)。
[0056] 当图像I属于色彩空间（R，G，B)时，例如在709全域(gamut)中，通过由下式给出的 线性组合来获得亮度分量^
[0057] L = O. 2127. R+0.7152.G+0.0722. B
[0058] 在步骤11中，模块BAM根据图像I的亮度分量L来确定背光图像Bal。
[0059] 根据步骤11的实施例，如图2所示，模块BI将背光图像Ba确定为由下式给出的形状 函数如的加权线性组合：
[0060] Ba=SwiWi (1)
[0061 ]其中ai是加权系数。
[0062] 因此，根据亮度分量L确定背光图像Ba在于，找到最佳加权系数(并且可能地，在事 先未知的情况下找到最佳形状函数)W便使背光图像Ba适合亮度分量L。
[0063] 有很多众所周知的方法用W找到加权系数ai。例如，可W使用最小均方方法使背 光图像Ba与亮度分量L之间的均方误差最小化。
[0064] 本发明不限于用W获得背光图像Ba的任何特定方法。
[0065] 可W注意到，形状函数可W是显示背光的真实物理响应（例如由Lm)构成，然后每 个形状函数对应于对一个L邸的响应），或者可W是纯数学结构W便最佳地适合亮度分量。
[0066] 根据该实施例，从步骤11输出的背光图像Bal是由等式(1)给出的背光图像Ba。
[0067] 根据步骤11的实施例，如图3所示，模块BM用通过模块化获得的图像I的平均亮度 值Lmean对背光图像Ba(由等式(1 )给出）进行调制。
[0068] 根据该实施例，从步骤11输出的背光图像Bal是经调制的背光图像。
[0069] 根据实施例，模块化被配置为计算在整个亮度分量L上的平均亮度值Lmean。
[0070] 根据实施例，模块化被配置为通过下式计算平均亮度值Lmean
[0071]
[0072] 其中0是小于1的系数，E(X)是亮度分量L的数学期望值(平均）。
[0073] 该最后的实施例是有利的，因为其避免平均亮度值Lmean被具有极高值的一些像素 (当图像I属于图像序列时，其通常导致非常讨厌的时间平均亮度不稳定)所影响。
[0074] 本发明不限于用于计算平均亮度值Lmean的特定实施例。
[0075] 根据该实施例的变型，如图4所示，模块N通过背光图像Ba(由等式（1)给出）的平均 值E(Ba)来使其规格化，从而得到图像(如果图像I属于图像序列，则针对所有图像）的中间 灰度一致的背井:阁像化。ray:
[0076]
[0077] 然后，模块BM被配置为用图像L的低空间频率版本Lif、通过使用W下关系对中间灰 度一致的背光图像Bagray进行调制：
[007引 Bamod * CStmod 丄 If a. Bagray (2)
[0079] 其中CStmod是调制系数，并且a是小于1的另一调制系数，典型地化/3。
[0080] 根据该变型，从步骤11输出的背光图像Bal是由等式(2)给出的经调制的背光图像 B过皿od O
[0081] 可W注意到，调制系数CStmDd被调谐W获得残差图像的好看的亮度，并且高度依赖 于获得背光图像的处理。例如，对于通过最小均方获得的背光图像，CStmDd -1.7。
[0082] 实际上，按照线性，用W调制背光图像的所有运算都作为将背光系数ai变换为新 的系数幾的巧巿巧子而府用于背光系数ai，从而得到：
[0083]
[0084] 在步骤12中，确定从步骤11输出的背光图像Bal所需的数据通过编码器ENCl被编 码，并且被添加到比特流BF中，该比特流BF可被存储在本地或远程存储器中和/或通过通信 接口传送(例如传送至总线或者在通信网络或广播网络上传送）。
[0085] 例如，当使用已知的非自适应的形状函数时，要编码的数据受限于加权系数曰1或 馬，但是例如有稍微最佳的数学结构W便更好地适合的情况下，形状函数如也可W是未知的 先验，然后被编码在比特流BF中。因此，所有加权系数曰1或钱（并且可能地，形状函数如)被编 码在比特流BF中。
[0086] 有利地，在被编码之前，对加权系数ai或浑进行量化，W减小比特流BF的大小。
[0087] 在步骤13中，通过用背光图像的解码版本寡苗划分图像，来计算残差图像Res。
[0088] 有利地，使用背光图像的解码版本簽苗拟确保在编码器和解码器两侧的相同的背 光图像，从而导致最终的经解码的图像.1'的更好的精度。
[0089] 更准确地，通过背光图像的解码版本来划分从模块IC获得的图像I的亮度分量 L(并且可能地，每个色彩分量C( i))。该划分逐像素地进行。
[0090] 例如，当图像I的分量R、G、或B表示在色彩空间(R，G，B)中时，如下那样地获得分量 RRes、GRes 和BRes :
[0091]
[0092] 例如，当图像I的分量X、Y或Z表示在色彩空间（X，Y，Z)中时，如下那样地获得分量 XRes、Zr。。，
[0093]
[0094] 根据实施例，在步骤14中，通过解码器DECl至少部分地对比特流BF进行解码，由此 获得背光图像的解码版本.衰為。
[00M]如前面所解释的那样，获得作为步骤11的输出的背光图像所需的一些数据已经被 编码(步骤12)并且然后通过至少部分地对比特流BF进行解码来获得。
[0096] 在上面所给出的示例之后，然后获得加权系数爲(并且可能地，形状函数菊)作为 步骤14的输出。
[0097] 然后，在步骤15中，模块BAG根据加权系数爲W及一些已知的非自适应的形状函数 或形状函数窮，通过下式生成背光图像的解码版本蘇:
[009引
[0099] 在步骤16中，模块TMO对残差图像Res进行色调映射，W得到可视的残差图像Resv。
[0100] 因为残差图像Res的动态范围过高并且因为该残差图像Res的解码版本示出过于 明显的伪像，所W可能出现残差图像Res可能不可视的情况。对残差图像进行色调映射补救 运些缺点中的至少一个。
[0101] 本发明不限于任何特定的色调映射算子。该唯一的条件是色调映射算子应当是可 逆的。
[0102] 例如，可^使用由1?6；[]111日'(1(1?6；[]111日'(1,6.、51日'4,]\1.、化；[1'167,?.和。61'"6'(1日， J.，"Photographic tone reproduction for digital images,"ACM Transactions on Graphics 21(2002年7月））或者Boitard,R.、Bouatouch,K.、Cozot,R.、Thoreau,D.、 Gruson,A.(Boitard,R.,Bouatouch,K.,Cozot,R.,Thoreau,D.,&Gruson,A.(2012) ? Temporal coherency for video tone mapping. In A.M.J.van Eijk,C.C.Davis , S.M.Hammel,&A.K.Majumdar(Eds.),Proc.SPIE 8499,Applications of Digital Image Processing(p.84990D-84990D-10))所定义的色调映射算子。
[0103] 在步骤19中，可视的残差图像Resv通过编码器ENC2被编码在比特流F中，比特流F 可W被存储在本地或远程存储器中和/或通过通信接口（例如在总线上或者通过通信网络 或广播网络)传送。
[0104] 根据步骤16的实施例，对残差图像进行色调映射包含根据残差图像的像素值的伽 马校正或化Og校正。
[0105] 然后，例如通过下式给出可视的残差图像Resv:
[0106] ReSv=A.Res 丫
[0107] 其中A是常量值，丫是例如等于1/2.4的伽马曲线的系数。
[0108] 替代地，例如通过下式给出可视的残差图像Resv:
[0109] Resv=a. ln(Res+b)+c
[0110] 其中a、b和C是所确定的化Og曲线的系数，使得0和I为不变量，并且当按照在IW下 的伽马曲线被延长时，SLog曲线的导数在1中是连续的。因此，a、b和C是参数丫的函数。
[0111] 根据实施例，伽马-SLog曲线的参数丫被编码在比特流BF中。
[0112] 对残差图像Res应用伽马校正，拉起(pull up)暗区但不降低足够的高光W避免亮 像素发光(burning)。
[0113] 对残差图像Res应用化Og校正降低足够的高光但不拉起暗区。
[0114] 然后，根据步骤16的优选实施例，模块TMO根据残差图像Res的像素值，应用伽马校 正或化Og校正。
[0115] 例如，当残差图像Res的像素值在阔值（等于1) W下时，应用伽马校正，否则应用 化Og校正。
[0116] 按照结构，取决于图像I的亮度，可视的残差图像Resv通常具有或多或少地接近于 1的平均值，使得使用上述伽马-SLog组合特别有效。
[0117] 根据方法的实施例，在步骤17中，在进行编码(步骤19)之前，模块SCA通过将可视 的残差图像Resv的每个分量乘W缩放因子CStscaling,对可视的残差图像Resv进行缩放。然 后，所得到的残差图像Ress由下式给出：
[011 引 ReSs - CStscaling . RgSv
[0119] 在具体实施例中，定义缩放因子CStscaling, W在从0到最大值/-1之间映射可视的 残差图像Resv的值，其中N是允许作为由编码器ENC2进行的编码的输入的比特数。
[0120] 当然，运通过将值1(其大致为可视的残差图像Resv的平均值)映射到中间灰度值 2^-1来获得。因此，对于具有标准比特数N=S的可视的残差图像Resv，等于120的缩放因子是 非常符合的值，因为其非常接近于2 7=128的中性灰度。
[0121] 根据方法的该实施例，在步骤19中，通过编码器ENC2对残差图像Ress进行编码。
[0122] 根据方法的实施例，在步骤18中，在进行编码之前，模块化I对可视的残差图像 Resv进行剪切，W将其动态范围限制到例如根据编码器ENC2的能力定义的目标动态范围 TDR。
[0123] 根据该最后的实施例，根据方法的实施例，所得到的残差图像Resc例如通过W下 给出：
[0124] Resc=max(2^,Resv)
[0125] Resc=max(2^,Ress)
[0126] 本发明不限于运样的剪切(max(.))，而是扩展到任何种类的剪切。
[0127] 根据方法的该实施例，在步骤19中，通过编码器ENC2对残差图像Resc进行编码。
[0128] 组合缩放和剪切实施例，根据本方法的实施例，得到通过W下给出的残差图像 RoSsc :
[01 巧]Ressc=max(2N, cstscaiing*Resv)
[0130] 或通过 Ressc=max(2N,cstscaiing*Ress)
[0131] 根据方法的该实施例，在步骤19中，通过编码器ENC2对残差图像Ressc进行编码。
[0132] 可视的残差图像Resv的色调映射和缩放是参量过程(parametric process)。参数 可W是固定的或者不固定的，并且在后者的情况下，它们可W通过编码器ENCl被编码在比 特流BF中。
[0133] 根据方法的实施例，伽马校正的常量值丫、缩放因子CStsealing可W是被编码在比 特流BF中的参数。
[0134] 可W注意到，对参数〇、[3^。<1、。3*3。311吨、丫、0的选取，对于选取适合在后期制作和 色彩分级中最佳地遵循专家品味的内容的色调映射，给出余地。
[0135] 另一方面，可W定义通用参数，W便对于很多种类的图像的全部是可接受的。然 后，不将参数编码在比特流BF中。
[0136] 图5示出根据本发明的实施例的、用于对表示通过用背光图像划分图像而计算出 的残差图像的比特流进行解码的方法的步骤的框图。
[0137] 如上所述，在步骤14和15中，例如通过解码器DECl至少部分地对比特流BF进行解 码，来获得背光图像!曼。
[0138] 比特流邸可W已经被存储到本地或者可W从通信网络接收。
[0139] 在步骤51中，通过解码器DEC2至少部分地对比特流F进行解码，来获得经解码的残 差图像接。
[0140] 比特流F可W已被存储到本地或者可W从通信网络接收。
[0141] 如下所述，经解码的残差图像fir是通过传统装置可视的。
[0142] 在步骤54中，通过将经解码的残差图像持芯；r乘W背光图像焉，来获得经解码的图 像f .〇
[0143] 根据步骤14的实施例，还可W从本地存储器或者通过解码器DECl至少部分地对比 特流BF进行解码来获得参数#和/或CSf;品UW。
[0144] 根据该方法，在步骤52中，模块ISCA通过将经解码的残差图像/援r除W参数 CSf完品,W，对经解码的残差图像疼名应用逆缩放。
[0145] 在步骤53中，模块ITMO通过参数f对经解码的残差图像窓i：r.应用逆色调映射。
[0146] 例如，参数#定义伽马曲线，而逆色调映射正是用W从伽马曲线找到与经解码的残 差图像挥品r的像素值相对应的值。
[0147] 解码器DECl(相应地，DEC2)被配置为对已由编码器ENCl(相应地，ENC2)编码的数 据进行解码。
[014引编码器ENCl和ENC2(W及解码器DECl和DEC2)不限于特定的编码器(解码器），但是 当需要赌编码器（解码器）时，诸如化ffmann编码器、算数编码器或者像是在h264/AVC或 肥VC中所使用的化bac的上下文自适应编码器运样的赌编码器是有利的。
[0149] 编码器ENCl和ENC2( W及解码器DECl和DEC2)不限于例如可W是像是JPEG、 肝EG2000、MPEG2、h264/AVC或肥VC运样的有损的图像/视频编码器的特定编码器。
[0150] 在图1至5中，模块是功能单元，其可W与可区分的物理单元有关，或者与可区分的 物理单元无关。例如，运些模块或者它们中的一些可W被一起安置在唯一的组件或电路中， 或者促成软件的功能。相反，可能地，一些模块可W由单独的物理实体构成。使用纯硬件，例 如使用诸如ASIC或FPGA或化SK分别为专用集成电路、现场可编程口阵列、超大规模集成电 路)运样的专用硬件，或者由在设备中嵌入的若干集成电子组件，或者由硬件组件和软件组 件的混合，来实现与本发明兼容的装置。
[0151] 图6表示可W被配置为实现参照图1至5所描述的方法的设备60的示例性架构。
[0152] 设备60包含通过数据和地址总线61链接在一起的下列元件：
[0153] -微处理器62(或CPU)，其例如是DSP(数字信号处理器）；
[0154] -ROM(只读存储器)63;
[0K5] -RAM(随机存取存储器)64;
[0156] -用于从应用接收数据W传送的I/O接口65; W及
[0157] -电池 66。
[0158] 根据变型，电池66在设备的外部。图6的运些元件中的每个被本领域技术人员所熟 知，不作进一步的公开。在每个所提到的存储器中，在说明书中所使用的措词"寄存器"可W 对应于小容量(一些比特)的区域或非常大的区域(例如整个程序或者大量的所接收的或经 解码的数据KROM 63至少包含程序和参数。根据本发明的方法的算法存储在ROM 63中。当 接通时，CPU 62将程序上载到RAM中并执行相应的指令。
[0159] RAM 64包含寄存器中的由CPU 62执行并且在设备60接通之后上载的程序、寄存器 中的输入数据、寄存器中的方法的不同状态下的中间数据W及寄存器中的用于执行方法的 其它变量。
[0160] 在本文中所描述的实现方式可W实现在例如方法或处理、装置、软件程序、数据流 或信号中。即使仅在单一形式的实现方式的背景下进行了讨论(例如仅作为方法或设备进 行了讨论），但是所讨论的特征的实现方式也可W W其它形式(例如程序)来实现。装置例如 可W实现为合适的硬件、软件和固件。方法例如可W实现在诸如处理器(其一般被称为处理 设备，例如包括计算机、微处理器、集成电路或可编程逻辑设备)运样的装置中。处理器还包 括诸如例如计算机、手机、便携/个人数字助理（"PDA")运样的通信设备W及便于在终端用 户之间进行信息通信的其它设备。
[0161] 根据编码或编码器的具体实施例，图像I从一来源获得。例如，该来源属于一集合， 该集合包括：
[0162] -本地存储器(63或64)，例如视频存储器或RAM(随机存取存储器）、闪速存储器、 ROM(只读存储器）、硬盘；
[0163] -存储接口（65)，例如与海量储存器、RAM、闪速存储器、ROM、光盘或磁性支撑之间 的接口；
[0164] -通信接口（65)，例如有线接口（例如总线接口、广域网接口、局域网接口）或无线 接口（诸如IE邸802.11接口或BluetO饥h⑥接口）； W及
[0165] -图像捕获电路，例如传感器(诸如CCD(电荷禪合器件)或CMOS(互补金属氧化物半 导体)）。
[0166] 根据解码或解码器的不同实施例，将解码图像i发送到目的地;具体地，该目的地 属于一集合，该集合包括：
[0167] -本地存储器(63或64)，例如视频存储器或RAM、闪速存储器、硬盘；
[0168] -存储接口（65)，例如与海量储存器、RAM、闪速存储器、ROM、光盘或磁性支撑之间 的接口；
[0169] -通信接口（65)，例如有线接口（例如总线接口（例如USB(通用串行总线））、广域网 接口、局域网接口、HDMI (高清多媒体接口）接口）或无线接口（例如IE趾802.11接口、 馬袖'嫉或BI UdOO化饭接口）； W及
[0170] -显示器。
[0171] 根据编码或编码器的不同实施例，将比特流BF和/或F发送到目的地。作为示例，将 比特流F和BF之一或者比特流F和BF二者存储在本地或远程存储器中，例如视频存储器(64) 或RAM(64)、硬盘(63)中。在变型中，将所述比特流之一或二者发送到存储接口（65)，例如与 海量储存器、RAM、闪速存储器、ROM、光盘或磁性支撑之间的接口，和/或通过通信接口（65) (例如到点到点链路、通信总线、点到多点链路或广播网络的接口）来传送。
[0172] 根据解码或解码器的不同实施例，从来源获得比特流BF和/或F。示例性地，从本地 存储器（例如视频存储器(64)、RAM(64)、R0M(63)、闪速存储器(63)或硬盘(63))读取比特 流。在变型中，比特流从存储接口（65)(例如与海量储存器、RAM、ROM、闪速存储器、光盘或磁 性支撑之间的接口）接收和/或从通信接日（65)(例如到点到点链路、总线、点到多点链路或 广播网络的接口）接收。
[0173] 根据不同实施例，被配置为实现参照图1至4描述的编码方法的设备60属于一集 合，该集合包括：
[0174] -移动设备.
[0175] -通信设备；
[0176] -游戏设备；
[0177] -平板(或平板计算机）；
[017引-膝上型电脑；
[0179] -静止图像相机；
[0180] -摄像机；
[0181] -编码忍片；
[0182] -静止图像服务器；W及
[0183] -视频服务器(例如广播服务器、视频点播服务器或网络服务器）。
[0184] 根据不同实施例，被配置为实现参照图5描述的解码方法的设备60属于一集合，该 集合包括：
[0185] -移动设备.
[0186] -通信设备；
[0187] -游戏设备；
[018引-机顶盒；
[0189] -电视机；
[0190] -平板(或平板计算机）；
[0191] -膝上型电脑；
[0192] -显示器；臥及
[0193] -解码忍片。
[0194] 根据在图7中所示的实施例，在通信网络肥T上的两个远程设备A和B之间的传送背 景下，设备A包含被配置为实现参照图1描述的对图像进行编码的方法的部件，并且设备B包 含被配置为实施参照图5描述的进行解码的方法的部件。
[0195] 根据本发明的变型，网络是广播网络，其适合于从设备A向包括设备B的解码设备 广播静止图像或视频图像。
[0196] 在本文中所描述的各种处理和特征的实现方式可W在各种不同的设备或应用中 实施，特别是例如设备或应用。运样的设备的示例包括编码器、解码器、处理来自解码器的 输出的后置处理器、向编码器提供输入的前置处理器、视频编码器、视频解码器、视频编解 码器、网络服务器、机顶盒、膝上型电脑、个人计算机、手机、PDAW及其它通信设备。应当清 楚的是，设备可W是可移动的，并且甚至可W安装在移动车辆中。
[0197] 此外，可W通过由处理器执行的指令来实现所述方法，并且运样的指令(和/或由 实现方式所产生的数据值)可W存储在处理器可读介质中，诸如例如集成电路、软件载体或 者诸如例如硬盘、压缩磁盘(CD)、光盘(诸如例如通常被称为数字多功能盘或数字视频盘的 DVD)、随机存取存储器(RAM)或只读存储器(ROM)运样的其它存储设备。指令可W形成有形 地实施在处理器可读介质上的应用程序。指令可W例如在硬件、固件、软件或其组合中。指 令可W存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可W被表征为被配 置为执行处理的设备W及包括具有用于执行处理的指令的处理器可读介质（诸如存储设 备）的设备二者。此外，除了指令或者代替指令，处理器可读介质可W存储由实现方式所产 生的数据值。
[0198] 对于本领域技术人员将很明显的是，实现方式可W产生被格式化为携带例如可W 被存储或传送的信息的各种信号。信息可W包括例如用于执行方法的指令或者由所描述的 实现方式之一所产生的数据。例如，可W将信号格式化为携带用于写入或读取所描述的实 施例的语法的规则作为数据或者携带由所描述的实施例写入的实际的语法值作为数据。运 样的信号可W例如被格式化为电磁波(例如使用频谱的射频部分)或基带信号。格式化可W 包括例如对数据流进行编码W及用经编码的数据流来调制载波。信号携带的信息可W例如 是模拟信息或数字信息。如已知的那样，信号可W通过各种不同的有线或无线链路来传送。 信号可W存储在处理器可读介质上。
[0199] 已描述了很多实现方式。然而，应当理解的是，可W做出各种修改。例如，可W对不 同实现方式的元件进行组合、补充、修改或移除，W产生其他实现方式。此外，本领域技术人 员将理解的是，其它结构和处理可W替代所公开的结构和处理，并且所得到的实现方式将 W与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的 功能，W获得与公开的实现方式至少基本相同的结果。因此，本申请想到运些W及其它实现 方式。
【主权项】
1. 一种对图像进行编码的方法，其特征在于，其包含： 对根据图像所确定（11)的背光图像进行编码(12); 通过用背光图像的解码版本划分图像，来获得(13)残差图像； 通过对残差图像进行色调映射，来获得（16)经色调映射的残差图像；以及 对经色调映射的残差图像进行编码（19)。2. 根据前述权利要求中的一项所述的方法，其中，对残差图像进行色调映射包含根据 残差图像的像素值的伽马校正或SLog校正。3. 根据权利要求1或2所述的方法，其中，根据图像获得(11)背光图像包含： 根据图像的亮度分量来获得背光图像；以及 用图像的平均亮度值(Lm_)来调制背光图像。4. 根据权利要求3所述的方法，其中，根据图像获得(11)背光图像还包含： 在调制背光图像之前，通过背光图像的平均值使背光图像规格化。5. 根据前述权利要求中的一项所述的方法，其中，所述方法还包含：在进行编码之前， 通过将残差图像的每个分量乘以缩放因子，来缩放(17)残差图像。6. 根据前述权利要求中的一项所述的方法，其中，所述方法还包含：在进行编码之前， 剪切(18)残差图像，以将残差图像的动态范围限制到目标动态范围。7. 根据权利要求1-6中的任一项所述的方法，其中，所述图像从属于包括本地存储器、 存储接口、广播接口、通信接口和图像捕获电路的集合的来源获得。8. 根据权利要求1-7中的任一项所述的方法，其中，将图像编码为经编码的图像，经编 码的图像被发送给属于包括本地存储器、存储接口和通信接口的集合的目的地。9. 一种对比特流进行解码的方法，所述比特流表示通过用背光图像划分图像而计算出 的残差图像，所述方法包含： 通过至少部分地对比特流进行解码，来获得背光图像（14,15)和经解码的残差图像 (15);以及 通过将经解码的残差图像乘以背光图像，来获得(54)经解码的图像； 其特征在于，在将经解码的残差图像乘以背光图像之前，对经解码的残差图像进行逆 色调映射(53)。10. -种对图像进行编码的设备，其特征在于，其被配置为： 对根据图像所确定(BAM)的背光图像进行编码(ENC1); 通过用背光图像的解码版本划分图像，来获得残差图像； 通过对残差图像进行色调映射，来获得(TM0)经色调映射的残差图像；以及 对经色调映射的残差图像进行编码(ENC2)。11. 根据权利要求10所述的设备，其中，所述设备属于包括移动设备、通信设备、游戏设 备、平板、膝上型电脑、静止图像相机、摄像机、编码芯片、静止图像服务器和视频服务器的 集合。12. 根据权利要求10或11中的任一项所述的设备，其中，所述设备包含属于包括本地存 储器、存储接口、广播接口、通信接口和图像捕获电路的集合的用以获得所述图像的部件。13. 根据权利要求10至12中的任一项所述的设备，其中，所述设备包含属于包括本地存 储器、存储接口、广播接口、显示器和通信接口的集合的用以向目的地发送经编码的图像的 部件。14. 一种对比特流进行解码的设备，所述比特流表示通过用背光图像划分图像而计算 出的残差图像，其中，所述设备被配置为： 通过至少部分地对比特流进行解码，来获得背光图像(DEC1，BAG)和经解码的残差图像 (DEC2);以及 通过将经解码的残差图像乘以背光图像，来获得经解码的图像； 其特征在于，在将经解码的残差图像乘以背光图像之前，对经解码的残差图像进行逆 色调映射(ITMO)。15. 根据权利要求14所述的解码设备，其中，所述设备属于包括移动设备、通信设备、游 戏设备、机顶盒、电视机、平板、膝上型电脑和解码芯片的集合。
【文档编号】H04N19/30GK105850128SQ201480071207
【公开日】2016年8月10日
【申请日】2014年12月22日
【发明人】S.拉塞尔, Y.奥利维尔, F.勒利恩尼克, D.图泽
【申请人】汤姆逊许可公司