用于预测图像采样以进行编码或解码的方法与装置与流程

本发明与用于预测图像数据以进行编码或解码处理的方法与装置相关。具体地但不排他地，本发明与用于对高动态范围(HDR)应用的视频数据进行编码与解码的图像数据预测相关。

技术背景

由图像设备所捕捉的场景中的光的变化可以是巨大的。例如，位于场景的阴影中的对象与被直射的阳照明亮的对象相比会显得非常暗。由传统的低动态范围(LDR)图像所提供的有限动态范围以及色域不提供用于这样的场景内的亮度与颜色变化的精确重现的充足范围。通常表示图像像素的亮度或颜色的LDR图像的分量值由有限数量的比特(通常是8、10或12比特)来表示。由这样的表示所提供的有限范围的亮度并不能使得微小的信号变化能够有效地重现，尤其在亮度的亮度与暗度的范围中。

高动态范围成像(也被称为HDR或HDRI)使得场景的亮与暗区域之间的亮度与传统的LDR图像相比，能够有更大的动态范围。这通过将信号表示扩展到更宽的动态范围从而提供横跨整个范围的高信号精确度而实现在HDR成像中。在HDR图像中，像素的分量值通常用更大数量的比特(诸如从16比特到64比特)来表示，包括以浮点格式(诸如每个分量32比特或16比特，即浮点或半浮点的)，最常用的格式是openEXR半浮点格式(每个红绿蓝颜色标准(RGB)分量16比特，即每个像素48比特)，或以具有长表示的整型，通常至少16比特。这样的范围对应人类视觉系统的自然敏感度。以这种方式HDR图像更加精确地表示在真实场景中所发现的宽的亮度范围，因此提供场景的更加真实的表示。

然而，因为提供了值的更大范围，HDR图像消耗大量的存储空间和带宽，使得HDR图像与视频的存储以及传输出现问题。因此要求高效的编码技术从而将数据压缩到更小、更易管理的数据尺寸。找到适合的编码/解码技术来有效地压缩HDR数据同时保留亮度的动态范围以用于精确渲染被证明是有挑战性的。

用于编码HDR图像的通常的方法是降低图像的动态范围，以通过用于编码LDR图像的传统的编码方案来编码图像。

例如在一个这样的技术中，色调映射算子被应用到输入HDR图像并且经过色调映射的图像然后以传统的8-10比特深度编码方案(诸如JPEG/JPEG200或MPEG-2、用于视频的H.264/AVC(Karsten Suhring，H.264/AVC Reference Software，http：//iphome.hhi.de/suehring/hml/download/，2003年9月发表于J.Wiley&Sons的标题为《H.264and MPEG-4video compression》的I.E.Richardson的书))的方法来编码。之后逆色调映射算子被应用到经解码的图像并且计算在输入图像与经解码且经逆色调映射的图像之间的残余。最后，以第二传统8-10比特深度编码器方案的方式来编码残余。

此第一种方法的主要缺点是使用了两种编码方案，以及输入图像的动态范围是传统编码方案(16-20比特)的动态范围的两倍的局限。根据另一方法，输入HDR图像被转换从而获得图像像素在颜色空间中的视觉无损的表示，在该颜色空间中值属于与传统的8-10比特或扩展的12、14或16比特深度编码方案(诸如高效视频编码(HEVC)(B.Bross，W.J.Han，G.J.Sullivan，J.R.Ohm，T.Wiegand JCTVC-K1003，“High Efficiency Video Coding(HEVC)text specification draft 9”2012年10月)以及它的高比特深度扩展)相兼容的动态范围。即使传统的编解码器可以操作高像素(比特)深度，但贯穿图像以统一的方式在这样的比特深度进行编码通常是困难的，因为获得的压缩比例针对传输应用来说太低。

使用可应用于LDR图像的编码技术的其他方法使得在经解码的图像中出现伪影。本发明考虑到以上所述而设计。

技术实现要素：

根据发明的第一个方面，提供了一种编码或解码高动态范围图像的至少一部分的方法，该图像被定义在高动态范围的颜色空间中，该方法包括，针对该图像的至少一部分中的块：

将用于该块的预测的参考采样转换到将要被预测的该块的本地LDR颜色空间中，该参考采样先前已在其相关联的本地LDR颜色空间中被重构，其中要被预测的该块的本地LDR颜色空间基于该块的代表性的亮度值；以及使用经转换的参考采样来预测该块，以使用适于LDR图像的编码或解码技术来对该块进行编码或解码。块的本地LDR感知空间的特征在于基于的块的代表性亮度的块的参考照明条件。例如参考照明条件可以从块的平均亮度值中推导出来。

在实施例中参考采样的转换包括：

将该参考采样从其相应的经重构的LDR颜色空间缩放到高动态范围的本地感知颜色空间；

在该图像的原始HDR感知颜色空间中重构经缩放的参考采样；

将重构后的经缩放的参考采样映射到将要被预测的该块的本地感知颜色空间；以及

将经转换的参考采样的动态范围减小到用于将要被预测的该块的编码/解码的LDR颜色空间。

在实施例中，在该图像的原始HDR感知颜色空间中重构经缩放的参考采样取决于相应地与该参考采样相关联的共同代表性的亮度分量。

在实施例中，将重构后的经缩放的采样映射到将要被预测的该块的本地感知颜色空间取决于与将要被预测的该块相关联的共同代表性的亮度分量值。每一个共同亮度分量表示构成该参考采样所属的块的采样的亮度。

在实施例中，针对参考采样的共同代表性的亮度分量值基于该采样所属的图像块的图像采样的亮度值而获得。

在实施例中，针对将要被预测的该块的共同代表性的亮度分量值基于该块的图像采样的亮度值而获得。

在实施例中，该方法包括：

通过应用包括至少一个编码参数的编码参数集合，使用适于低动态范围(LDR)图像的编码处理来编码该图像的至少一部分中的该块；在高动态范围的空间中重构经编码的块；在高动态范围的空间中估计针对经编码的块的速率失真代价；以及基于所估计的速率失真代价来调整用于该块的编码处理的编码参数集合。

在实施例中，估计速率失真代价包括估计与对将要被编码的该块的共同代表性的分量值进行编码相关联的速率。

在实施例中，将要被预测的图像块在对该块进行编码之前，基于相应的共同代表性的亮度分量值而表示在高动态范围的本地感知空间中。

在实施例中，该方法包括针对将要被预测的该块获得在低动态范围的本地空间中的至少一个本地残余亮度分量，至少一个本地残余亮度分量对应于原始图像的相应亮度分量与该块的共同代表性的亮度值之间的差。。

在实施例中，该方法包括针对该块获得在本地感知空间中的至少一个图像部分，该至少一个图像部分对应于本地残余亮度分量或图像部分的颜色分量，其根据该块的至少一个共同代表性的亮度值被标准化。

在实施例中，估计速率失真代价包括估计与至少一个图像部分的编码相关联的速率。

在实施例中，估计速率失真代价包括估计与在高动态范围的感知空间中的经编码的块的重构相关联的失真。

在实施例中，该方法包括在本地感知空间中所重构的残余图像部分的采样与原始结构的采样以及该图像的相应采样之间执行视觉无损的细化。

本发明的第二方面提供了用于编码被定义在具有亮度分量以及色差度量的感知空间中的高动态范围的图像的至少一部分的编码设备，该设备包括：参考采样转换器，用于将用于该图像的块的预测的参考采样转换到将要被预测的该块的本地LDR颜色空间中，该参考采样先前已在其相关联的本地LDR空间中被重构，该块的本地LDR颜色空间基于该块的代表性的亮度值；预测模块，用于使用经转换的参考采样来预测该块；以及编码器，用于使用适于LDR图像的编码技术来编码该块。

根据本发明的第二方面的编码设备可以被配置来执行本发明的第一方面的实施例的方法。

本发明的第三方面提供了用于解码定义在具有亮度分量以及色差度量的感知空间中的高动态范围的图像的至少一部分的解码设备，该设备包括：

解码器，用于使用适于LDR图像的解码技术来解码图像块；

参考采样转换器，用于将用于该块的预测的参考采样转换到将要被预测的该块的本地LDR颜色空间中，该参考采样先前已在其相关联的LDR空间中被重构，并且该块的本地LDR颜色空间基于该块的代表性的亮度值；以及

预测模块，用于使用经转换的参考采样来预测该块。

在本发明的第三或第四方面，参考采样转换器可以包括一个或多个处理器，该处理器被配置以：

将该参考采样从其相应的经重构的LDR空间缩放到高动态范围的本地感知空间；

在该图像的原始HDR空间中重构经缩放的参考采样；

将重构后的经缩放的参考采样映射到将要被预测的该块的本地感知空间；以及

将经转换的参考采样的动态范围减小到用于将要被预测的该块的编码/解码的LDR空间。

本发明的实施例为提供改进的视觉体验的广泛应用提供了用于高动态范围图像数据的编码与解码方法。

根据发明的至少部分的方法可以由计算机所实现。相应地，本发明可以具有全硬件实施例、全软件的实施例(包括固件、常驻软件、微代码等等)或者组合了软件与硬件方面的实施例的形式，其可以在本文中总体被称作“电路”、“模块”或“系统”。更多地，本发明可以具有在任何有形介质中所体现的计算机程序产品的形式，该有形介质具有体现在介质中的计算机可用程序代码的表达。

由于本发明可以在软件中实现，本发明可以作为计算机可读代码所体现，该计算机可读代码用于提供给在任何适合的载体媒体上的可编程装置。有形载体介质可以包括诸如软盘、只读型光盘(CD-ROM)、硬盘驱动、磁带设备或固态存储器设备等等的存储设备。暂态载体介质可以包括信号(诸如电信号、电子信号、光学信号、声学信号、磁信号或电磁信号，例如微波或RE信号)。

附图说明

发明的实施例现现仅作为示例的方式描述，参照下列附图：

图1是根据本发明的第一实施例的编码过程的框图；

图2是示出了根据HEVC视频压缩标准，将编码单元分解到预测单元以及变换单元的示例的示意图；

图3是示出了帧内预测方法的示例的示意图；

图4是根据本发明的实施例的参考采样转换处理的流程图；

图5是示出了根据本发明的实施例的帧内预测的示例的框图；

图6是示出了根据发明的实施例的帧间预测的示例的框图；

图7是根据本发明的其他实施例的编码处理的框图；

图8是根据本发明的其他实施例的编码处理的框图；

图9是根据本发明的一个或多个实施例的解码处理的框图；

图10是本根据发明的一个或多个实施例的解码处理的框图；

图11是在其中本发明的一个或多个实施例可以被实现的编码或解码设备的示例的框图；

图12是在其中本发明的一个或多个实施例可以被实现的数据通信系统的示例的框图；

图13是在其中本发明的一个或多个实施例可以被实现的数据发送器系统的示例的框图；

图14是在其中发明的一个或多个实施例可以被实现的数据接收器系统的示例的框图。

具体实施方式

图1根据本发明的第一实施例示出了用于编码图像I的至少一部分的方法的步骤的示意框图。图1的方法的编码步骤总体上基于适用于LDR类型图像的HEVC压缩标准，但是应当理解本发明的实施例可以用于适用于LDR类型图像的其他编码标准(诸如H.264/AVC，MPEG2或MPEG4)。

该方法从HDR图像数据的获取开始。HDR图像数据可以表示多个图像的视频序列、图像或图像的一部分。出于简化以下说明的目的，所获得的图像数据对应HDR图像。HDR图像数据可以从诸如视频相机之类的成像设备直接获取、从它所储存的位于本地或远程的存储器设备获取、或者通过无线或有线传输线路来接收。

如本文所使用的术语“HDR图像”指的是包括以浮点(浮点或半浮点)、定点或通常以大于16的比特数所表示的长整型格式的高动态范围数据的任何HDR图像。输入HDR图像可被定义在任何颜色或感知空间中。例如，在本实施例中输入HDR图像被定义在RGB颜色空间中。在另一实施例中，输入HDR图像可以被定义在诸如亮度和色差信号(YUV)的另一颜色空间中或任何感知空间中。输入HDR图像还可以被定义为线性或非线性表示，例如产生于伽马校正/变换的对数表示。

总体地，处理的编码步骤在图像上执行，该图像包括表示图像像素的亮度的数据。这样的图像数据包括亮度分量L以及有可能的至少一个颜色或色度分量C(i)，其中i是标识图像的颜色或色度分量的索引。图像的分量定义颜色空间(通常是3D空间)，例如图像可以被定义在包括亮度分量L以及可能的两个颜色分量C1与C2的颜色感知空间中。

然而应当理解，本发明并不限制于具有颜色分量的HDR图像。例如，HDR图像可以是在具有亮度分量而没有任何颜色分量的感知空间中的灰色图像。

感知空间被定义为由包括亮度分量的多个分量定义的颜色空间，并且具有色差度量d((L，C1，C2)，(L′，C1′，C2′))，该色差度量的值表示(优选地成比例于)该感知空间中的两个点的视觉感知之间的相应差别。

在数学上，色差度量d((L，C1，C2)，(L′，C1′，C2′))被定义为使得感知阈值ΔE₀(也被称为最小可觉差(JND))存在，低于它时人类眼睛不能够感知在感知空间的两个颜色之间的视觉差，即：

d((L，C1，C2)，(L′，C1′，C2′))＜ΔE₀ (1)

感知阈值ΔE₀独立于感知区域中的两个点(L，C1，C2)以及(L’，C1’，C2’)。因此，编码图像(该图像的分量属于感知区域)以使得公式(1)的度量保持低于界限ΔE₀，确保了所显示的经解码的图像版本是视觉上无损的。

当所获取的图像I包括属于非感知空间(诸如(R，G，B))的分量时，在步骤S101由图像转换模块(IC)对图像数据I应用感知变换，以获得具有定义感知空间的亮度分量L以及有可能的至少一个颜色分量(诸如亮度分量L以及两个颜色分量C1与C2)的HDR图像I_p。

感知变换基于显示器的照明条件并且在原始颜色空间中执行。例如，假设原始颜色空间是(R，G，B)颜色空间，则图像I首先被变换为众所周知的线性空间(X，Y，Z)。这个步骤包括在适当的时候通过应用逆伽马校正以及之后通过3×3变换矩阵将线性RGB空间数据变换到XYZ空间来执行数据的线性化。针对这个步骤，使用表征图像的视觉环境的数据。例如可以使用在(X，Y，Z)空间中定义显示器的参考照明条件的值的3D向量(X_n，Y_n，Z_n)。

作为示例，在选择感知空间LabCIE1976的情形中，感知变换被定义如下：

L^*＝116f(Y/Y_n)-16

a^*＝500(f(X/X_n)-f(Y/Y_n))

b^*＝200(f(Y/Y_n)-f(Z/Z_n))

其中f是例如由下列公式给定的伽马校正：

f(r)＝r^1/3如果r＞(6/29)³

其他

当在感知空间LabCIE1976上定义的以下色差度量满足时，在参考照明条件(X_n，Y_n，Z_n)中的两个颜色相对彼此是人类可分辨的：

d((L^*，a^*，b^*)，(L^*′，α^*′，b^*′))²＝(△L^*)²+(△a^*)²+(△b^*)²＜(△E₀)²

其中ΔL^*是两个颜色(L^*，a^*，b^*)与(L^*’，a^*’，b^*’)的亮度分量之间的差，以及Δa^*(对应Δb^*)是两个颜色之间的颜色分量之间的差。通常ΔE₀具有介于1与2之间的值。

在一些情境下，在空间(X，Y，Z)中的图像可以被逆变换来获得对原始空间(诸如本示例中的(R，G，B)空间)中的经解码的图像的估计。相应的逆感知变换由下式给出：

Y＝Y_nf^-1(1/116(L^*+16))

根据另一示例，当选择感知空间Lu^*v^*的时候，感知变换可以由下式定义：

u^*＝13L(u′-u′_white)and v^*＝13L(v′-v′_white)

其中定义下式：

以及

以下欧几里得度量可以定义于感知空间Lu^*v^*上：

d((L，u^*，v^*)，(L′，u^*′，v^*′))²＝(ΔL)²+(Δu^*)²+(Δv^*)²

其中ΔL^*是两个颜色(L^*，u^*，v^*)与(L^*′，u^*′，v^*′)的亮度分量之间的差，以及Δu^*(对应地Δv^*)是这两个颜色的颜色分量之间的差。

Luv空间的对应的逆感知变换由下式给出：

应当理解本发明不局限于感知空间LabCIE1976，而是可以被扩展到诸如LabCIE1994、LabCIE2000(这些空间是相同的Lab空间但具有不同的度量来测量感知距离)的任何类型的感知空间或任何其他的欧几里得感知空间。

其他示例是LMS空间以及IPT空间。在这样的感知空间中，度量被定义为使得它优选地与感知差是成比例的；结果，存在均匀最大感知阈值ΔE₀，低于ΔE₀则人类无法感知该感知空间的两个颜色之间的视觉差别。

在步骤S102中，图像通过分区模块PART1被空间地分解到一系列的空间单元。依据在图像的编码中的HEVC视频压缩技术的空间编码结构的示例在图2中示出。在HEVC类型编码器的情境下，最大空间单元被称为编码树单元(CTU)。每个空间单元根据由编码参数表明的分解配置被分解到进一步的元素，通常被称为四叉树。四叉树的每一个叶子被叫做编码单元(CU)，并且进一步地被分区为被称为预测单元(PU)的一个或多个子元素(预测单元的采样共享共同的预测参数)，以及定义处理块尺寸的变换单元(TU)。

在图1的示例的步骤S102中，依据本发明的实施例，编码单元被分区为一个或多个子元素或块BI，其在本示例中对应于用于基于预测的编码的预测单元(PU)。

图3示出了用于HEVC标准的空间预测方法的示例。在基于预测的编码或解码方法中，将要被重构的空间块根据通常被称为预测器的参考采样来预测。预测器可以位于与将要被预测的块相同的帧中(如帧内预测的情境)，或在帧序列的不同帧中(如帧间预测的情境)。在帧内预测的情境中，预测器由预测模式指示，预测模式可对应于定向模式和非定向模式。帧索引以及运动向量表明。在帧间预测的情境中，预测器可以由预测类型(单预测或双预测)、帧索引以及运动向量来指示。如果用于预测块的经重构的采样与将要预测的块的采样很好地相关，那么预测编码或解码产生更优的结果。

尽管在本示例中步骤S102的输出块BI是PU，应当理解在应用HEVC类型技术的本发明的其他实施例中，步骤S102的输出可以是CU或TU。在其他实施例中，块BI指的是正被编码的图像的适合的空间区域。空间区域可以由一个或多个像素构成。在一些实施例中，空间区域或块的实施例可以对应于有时被称作宏块的区域。

在本示例中，每一个预测单元或块BI对应于与各预测(帧内或帧间)参数相关联的图像的正方形或长方形的空间区域：

用于对块进行编码的编码参数可以包括一个或多个以下的编码参数：

·关于编码四叉树、预测单元以及变换单元的编码树单元组织；

·分配给编码树的编码单元的编码模式(INTRA或INTER)，其中INTER表示图片间(时间)预测，并且INTRA表示图片内(空间)预测；

·在所考虑的编码树中，用于每个帧内编码单元的帧内预测模式(DC，二维或角度方向)；

·在所考虑的编码树中，用于每个帧间编码单元的帧间预测模式(单预测、双预测、跳过)；

·在帧间编码单元情境中的帧间预测参数：运动向量、参考图片索引等等；

在步骤S103中，每一个预测单元或块被标记亮度分量值，被称为低空间频率亮度分量L_lf，该分量表示组成预测单元或块的采样(采样可以包括一个或多个像素)的亮度值的均值。这由亮度处理模块LF执行的。针对块计算低空间频率亮度分量，基本包括将原始图像的亮度分量降采样。应当理解本发明不局限于用于针对每个预测单元或块获得低空间频率版本的任何具体实施例，并且可以采用图像I_p的亮度分量的任何低通滤波或降采样。在步骤S104中低空间频率亮度分量由量化单元Q量化以提供经量化的低空间频率亮度分量在步骤S130中由熵编码器ENC1对经量化的低空间频率亮度分量执行熵编码，以输出视频比特流。在本文中低空间频率亮度分量的编码可以被称为第一层编码或亮度层。

基于经量化的低空间频率亮度分量的相应的值，在步骤S105中预测单元或块的亮度与颜色分量的值由本地感知变换单元LPT变换为对应步骤S101的感知空间变换的本地感知空间。本示例中的这个感知空间是感知空间L^＊a^＊b^＊。与块相关联的经量化的低空间频率亮度分量被作为显示器的参考照明条件以用于变换。块的本地感知空间L^*a^*b^*的亮度与颜色分量被标写为在实践中，到本地感知空间的变换依据本地感知空间的编码处理中所规定的最大误差阈值ΔE以及经量化的低空间频率亮度分量

到本地感知空间的变换包括以下步骤。首先亮度信号被变换为所谓的本地LDR表示，通过以下亮度残余计算：

其中L_r表示计算出的残余亮度分量，L表示在原始图像中的对应的亮度分量，以及表示经量化的低空间频率亮度分量。

本文中这个步骤可以被称为LDR本地化步骤。

之后残余亮度分量L_r在本地亮度空间中被表示如下。假设L^＊a^＊b^＊感知空间模式中名义上的照明亮度Y_n，照明条件改变因子Y_E将感知空间分量变换为：

(X_n，Y_n，Z_n)→(Y_EX_n，Y_EY_n，Y_EZ_n)

相应地，得到经修改的感知阈值对应：

ΔE’_O＝ΔE_O.Y_E^(1/3)

因此，感知阈值ΔE’₀适于在后处理中根据最大照明变化乘法因子的编码。新的阈值ΔE’₀从Y_E因子中推导而出，其中Y_E＝Y_lf/Y_n，在Y_lf与之间的关系由下式给出：

由于它基于与当前预测单元相关联的低空间频率亮度分量感知空间以这种方式被本地化。

在对应于LabCIE76感知空间的实施例中，感知空间的本地化在实际操作中采用下列形式：

关于颜色分量a^*与b^*，不需要LDR本地化。感知空间的本地化包括下列变换：

因此在每个预测单元中将要被编码的残余纹理数据在本地感知空间以表示。

之后在步骤S106中，采用适用于LDR图像数据的编码处理。编码处理包括针对每一个预测单元或编码单元确定一个或多个变换单元(TU)或预测单元(PU)，将针对它们应用预测处理以根据参考采样(通常被称为预测器)来预测该单元。例如在帧内编码单元的情境中，编码单元的每一个变换单元根据先前被编码并且被重构的相邻TU的采样来进行空间上的预测。在步骤S107中应用根据本发明用于针对预测处理提供参考采样的实施例的处理。在步骤S107中，用于将要被编码的当前TU或PU块的预测的参考采样被变换为正在被处理的当前TU或PU的本地LDR空间。在步骤S106的LDR编码处理中采用使用经本地LDR空间变换的采样的当前TU或PU的预测。在LDR编码过程中，与当前TU或PU相关联的残余结构由步骤S140被确定、变换以及量化以用于由熵编码器ENC2进行熵编码。在本文中对纹理结构的编码可以被称为第二层编码。虽然本发明的这个特定的实施例针对当前TU所描述，应当理解它还可以用于当前PU，并且可以延伸用于帧间模式编码情境。

依照本发明的实施例，提供参考采样以用于编码处理的空间和时间预测的机制包括如图4所列出的四个主要的步骤。在预测器的处理参考数据用于预测处理被转换到将要被预测的块的本地LDR空间。这个处理以相同的方式在编码器与解码器侧应用。

步骤S401中，先前在其本地LDR空间中被重构、并且由用于当前TU的空间预测的预测参数指示、或由来自用于当前PU的时间预测的先前所编码的图片的帧间编码参数指示的TU(或PU)的采样的亮度与色度分量如下伸缩到其本地感知LDR空间中的对应的分量

在空间帧内预测中，用于块的预测的参考采样通常与将被预测的块相邻。

转换和标准化步骤S401包括伸缩处理以及被数学地表示如下：

其中：

·表示在其本地LDR空间中被重构的LDR参考采样的亮度分量；

·LDRSCALING表示用于在LDR编码层的输入处固定采样的动态范围的整数常量；

LDRSCALING被选择为使得当乘以表示最大LDR信号值的边界时，

达到由所用的空间内LDR编解码器所支持的最大值。例如，如果所使用的LDR编解码器通过10比特来工作，那么这个产品必须等于2⁹＝512(最高有效位用于符号)。

·表示在与用于当前TU或PU的预测的参考TU或PU相关联的本地感知Lab空间中重构的亮度采样(例如在空间预测的情境中的相邻TU的采样，或由在时间预测的情境中的参考图片中的运动向量所标识的PU的采样)。

在步骤S402中，在图像的原始HDR空间中，用与相应的参考TU相关联的所量化的空间频率亮度分量将先前所重构的TU或PU采样的所重新伸缩的分量之后转换到对应的分量(L^rec，a^rec，b^rec)：

在重构步骤S402中，用于当前的块的预测的每一个参考采样根据作为它所包含在其中的TU的低频率亮度值的函数，而在HDR空间中经受重构。该步骤在数学上表示如下：

其中：

·L^rec表示在将被压缩的图像I_p的原始HDR空间中所重构的参考采样；

·表示在逆量化之后，与参考TU相关联的所重构的低空间频率亮度分量。

在HDR空间中的以这种方式重构的参考采样集合被映射在与正在被编码的当前图片的当前TU或PU相关联的本地感知空间中。在步骤S403中实现此过程，转换到原始HDR空间中的之前已重构的TU或PU的分量然后从原始图像的HDR空间中被转换到将要被预测的TU或PU的本地感知空间中。针对将要被预测的当前TU或PU的经量化的低空间频率亮度分量在下列转换中被采用：

这个步骤在数学上被表示如下：

其中：

·表示在将要被预测的当前TU或PU的本地感知空间中所变换的参考采样；

在步骤S404中，在本地感知空间中的数据之后被缩放回用于当前TU或PU的编码的本地LDR空间中：

这个处理在数学上被表示如下：

其中：

·Bound_LDR×LDRSCALING表示由LDR层的编解码器所处理的图像采样的动态的绝对值；

·运算符表示与x最相近的整数值，其具有等于或小于x的绝对值。

所提出的机制的优点是被变换到将要被预测的TU或PU的本地LDR空间中的采样分量与将要被预测的TU或PU的内容更好的相关，因此提供了预测的效率与精确度，使得数据能够更好地被压缩。

图5概述了在帧内空间预测的情境中，本地LDR与HDR空间之间的采样转换的实现示例。用于当前TU的预测的参考采样由帧内预测模式(DC，二维或角方向)而确定。在所示出的示例中，将要被预测的TU500由与将要被预测的TU相邻的TU的先前已重构的边界采样而被预测。在所示的示例中，所重构TU的采样：位于通常高于且在将要被预测的TU500左边的边界的TUa到TUe被用来预测TU的结构。所重构的TU的每一个具有相关联的低频率亮度值用于当前TU的预测的参考采样的每一个经过图4的变换处理。

图6概述了在时间预测的情境中本地LDR与HDR空间之间采样的转换的实现示例。在时间预测的情境中，当前图像的当前TU或PU块由运动向量被链接到在参考图像中的参考块上。在所示的示例中，参考块被插入一个或多个参考图像的块。每一个插入参考块具有其相关联的低频率亮度值

用于当前块的预测的每一个参考采样经过在HDR空间中的重构，其作为它所包含在其中的TU的低频率亮度值的函数。以这种方式在HDR空间中所重构的参考采样集合之后被映射到与正在被编码的当前图像的TU块相关联的本地感知空间中。

图7根据本发明的其他实施例，示出了编码图像的至少一部分的方法的步骤。参考图7，步骤S701到S707与图1的对应步骤S101到S107相似。图7的实施例的处理与在图1中的不同，其还包括在原始HDR空间中将要被编码的编码单元的重构以及根据在重构编码单元上所计算的速率失真代价的编码处理的编码参数的调整。

在步骤S706中对将要被编码的TU或PU进行预测处理之后，在预测单元的每一个中将要被编码的残余结构数据因此被表示在本地感知空间中。如果速率失真代价基于本地感知空间被计算，则对于将要被编码的HDR图像的CTU的四叉树表示的选择，很有可能会发生不一致性。例如，假设针对以给定的四叉树层等级的给定CU，编码器的分区单元需要在两个类型的预测单元2Nx2N与NxN之间进行选择，那么对应的速率失真代价之前的对比如下：

即：

在项的右边可以看出在不同颜色空间中所表示的PU的所计算的失真上执行加法。这可能导致不一致。

为了解决这样的问题，在原始HDR空间中而不是在本地LDR感知空间中考虑图7中的实施例中与图像的空间实体相关联的速率失真代价。以这样的方式对应于图像的不同图像块的速率失真代价是可比较的，由于它们在相同的感知空间中被计算。因此在HDR空间中重构编码单元的步骤包括在图7的实施例的编码处理中。在HDR空间中的编码单元的重构实现如下。

编码单元的TU或PU的每一个通过执行步骤S712中的逆量化、步骤S714中的逆变换、以及步骤S716中的预测加法而被重构。所重构的TU然后在步骤S718中的原始HDR空间中获得。

针对在HDR空间中重构残余的TU或PU的步骤S718采用下列公式，其中本发明的具体实施例中的本地颜色空间是Lab76。公式相应地对应针对亮度分量L以及色度分量a、b的在HDR空间中的TU的经解码的像素的重构：

1.

2.

3.

4.

5.

6.

其中：

·LDRSCALING表示用于在LDR编码层的输入处固定给定像素的动态范围的整数常量；

·表示在与包含采样的PU相关联的本地Lab空间中重构的亮度和色度采样；

·表示将被压缩的原始图像I_p的DHR空间中所重构的采样；

·表示与PU相关联的低空间频率亮度分量，在逆量化之后经重构的版本。

编码器控制模块管理被用于编码当前图像中给定编码单元或编码单元的子元素的策略。为了完成这些，它将候选的编码参数分配给当前编码单元或编码单元子元素。用于块编码的编码参数可以包括一个或多个以下编码参数：

·关于编码四叉树、预测单元以及变换单元的编码树单元组织；

·分配给编码树的编码单元的编码模式(INTRA或INTER)，其中INTER表示图片间(时间)预测，并且INTRA表示图片内(空间)预测；

·针对在所考虑的编码树中的每一个帧内编码单元的帧内预测模式(DC，二维的或角方向)；

·在帧间编码单元的情形中的帧间预测参数：运动向量、参考图片索引等等。

针对编码单元的编码参数的选择通过最小化速率失真代价来执行如下：

其中p表示用于给定编码单元的候选编码参数，以及λ表示拉格朗日参数，以及D(p)以及R(p)相应地表示与具有候选的编码参数p的集合的当前编码单元的编码相关联的失真以及速率。

在本发明的实施例中，失真项D(p)表示在将要被编码的图像的初始HDR空间中所获得的编码误差。如下列将被描述的，这总体上包括在计算与编码参数p相关联的失真D(p)之前，将正在被处理的CU或CU子元素重构到初始空间(L^*，a^*，b^*)中。由于考虑了原始HDR空间中的编码单元或编码子元素，这样的步骤帮助减少在经解码的图像中出现伪影。

根据本发明的一个或多个实施例，计算针对用编码参数p的集合来编码编码单元的速率失真代价的处理被如下示出。在图7的实施例中，速率失真代价处理在步骤S720处由速率失真模块RATE-DIST执行。

处理通过将速率失真代价J重置到0开始：J←0

在低空间频率分量L_lf(PU)已经在步骤S730中熵编码之后，用于熵编码低空间频率分量L_lf(PU)的相关联的速率R(L_lf)在步骤S720中确定。之后速率失真代价J根据下式更新：

J←J+λ.R(L_lf)其中入代表拉格朗日参数。

相关联的速率R(TU，p)在步骤S720中被确定以用于步骤S740中的熵编码的残余结构。

之后用于在原始HDR空间中的所重构的TU的失真如下计算：

其中对应于在原始HDR图像中所重构的TU的采样，以及对应在HDR空间中所重构的TU的采样。之后CU的速率失真代价J如下更新：

J←J+D^HDR(TU，p)+λ.R(TU，p)

与用编码参数p的编码相关联的速率失真代价可以用以下公式计算：

D^HDR(CU，p)+λ(R_LDR(CU，p)+R(L_lf，p))

其中：

·R_LDR(Cu，p)是在LDR层所考虑的CU的编码代价，R(L_lf，p)是与属于所考虑的CU的PU相关联的低频率亮度分量的编码代价。

在步骤S722中，编码器控制模块ENCODER CONTROL基于步骤S720中针对在HDR空间中所编码的TU的所计算的速率失真代价来调整LDR编码处理的编码参数。

图8是根据本发明的其他实施例来编码图像的至少一部分的方法的步骤的示意框图。参考图8，步骤S801到S807与图1的对应步骤S101到S107相似。依据本发明的实施例，具体步骤S807被实现用来执行对预测器采样的转换以及预测。图8的实施例的处理与在图1与图7中的处理不同，其中包括细化步骤(通常被称为近似无损)，其中细化在正在被处理的PU的本地感知空间中经重构的结构数据上被执行。编码可以被称为三层编码，由于其包括低空间频率分量L_lf、残余结构数据的熵编码以及L_∞标准熵编码。基于原始结构数据以及在所考虑的本地感知空间中所重构的纹结构数据之间的L_∞标准(步骤S816到S824)，编码处理中的另外的细化步骤保证了失真。编码模块ENC3在步骤S821中针对这个编码层执行编码。

在每一个所描述的实施例中，表示原始HDR图像的经编码的比特流被传输到目的地接收设备，该设备被装备有解码设备。关于用于编码图像数据的编码参数的信息可以被传输到解码设备来使得表示HDR图像的比特流被解码并且原始HDR图像被重构。表示编码参数的信息可以在传输之前被编码。例如，在图7的实施例中，表示编码参数的数据由编码控制模块所提供并且由编码器ENC2编码到数据流中。在这些示例中，参数因此被编码到对应于第二层编码(LDR层)的比特流中。

图9是根据本发明的实施例示出了由解码设备所实现的用于解码表示图像I的比特流的解码处理的示例的示意框图。在解码处理中解码器DEC1、DEC2、以及DEC3被配置来解码被相应的编码器ENC1、ENC2以及ENC3已编码的数据。

示例中比特流表示包括亮度分量以及可能的至少一个颜色分量的HDR图像I。如上所述，图像I的分量属于感知颜色空间。

在步骤901中，图像I的亮度分量的低空间频率版本的经解码的版本通过由解码器DEC1解码至少部分的比特流F而获得。

在步骤902中，所编码的残余结构数据的经解码的版本由解码器DEC2通过比特流F的至少部分的解码而获得。

在步骤907中，用于TU的或PU的预测的参考采样经历根据用于当前TU或PU的预测的本发明的实施例的转换处理。用当前块的预测的每一个参考采样经受在HDR空间中的重构，该重构作为它所包含在其中的TU或PU的低频率亮度值的函数。之后以这种方式在HDR空间中所重构的参考采样的集合被映射到与当前图像的TU或PU块相关联的本地感知空间中，该当前图像在它的动态范围减少到TU或PU的块之前而被解码。

转换处理与图1的S107的转换处理相同。在图4中所详述的步骤被执行来提供用于当前TU或PU的预测的经转换的参考采样。在步骤906中，TU或PU依据本发明的实施例执行。步骤906与对应编码处理的步骤S106相同。S907的转换处理以相同的方式在编码器与解码器方面所采用。

在步骤909中，图像的亮度分量的残余结构数据的解码版本以及低空间频率版本的解码版本与彼此相关联来获得经解码的图像

在图像数据依据诸如图8的处理的三层编码处理被编码的本发明的一些实施例中，提供第三层解码，其中由解码器单元DEC3执行解码。

图10示出了根据本发明的实施例(诸如在图7或图8的编码示例中)的解码器，其中编码参数以速率失真标准为基础来调整。表示经调整的编码参数的数据P可以由解码设备所接收并且在附加的步骤930中由参数解码器模块DEC-PAR所解码。编码参数数据P以具有图像数据I的比特流的形式被传输。关于所采用的编码参数的信息之后被提供到解码器DEC1、DEC2以及DEC3，使得所编码的图像数据可以用根据由编码器的编码控制模块ENCODER CONTROL所确定的编码参数的解码参数被解码。步骤901到909以与图9中的步骤901到909相同的方式执行。

解码器DEC2的解码精度基于在感知空间中所定义的、定义度量的上限的感知阈值ΔE，其确保控制在图像的所显示的经解码的版本中的视觉损失。解码精度因此是在本地变化的感知阈值的函数。。

如以上所描述的，根据实施例，感知阈值ΔE根据(与针对编码相同的)显示的参考照明条件以及图像I的亮度分量的低空间频率版本的经解码的版本所确定。

根据实施例，残余图像的每一个分量通过感知阈值ΔE的方式被标准化，残余图像以恒定精度被解码，并且不同图像的经编码的版本的分量的每一个通过感知阈值ΔE的帮助下被再次标准化：

根据实施例，再次标准化是除以一个值，该值是由感知阈值ΔE的函数。

编码器ENC1、ENC2和/或ENC3(和解码器DEC1、DEC2和/或DEC)不局限于具体的编码器(解码器)，但是当熵编码器(解码器)被需求的时候，诸如霍夫曼编码器、算术编码器或上下文自适应编码器(诸如在H264/AVC或HEVC中所使用的自适应二进制算术编码)之类的熵编码器是有利的。

编码器ENC2(以及解码器DEC2)不局限于可能是诸如有损图像/视频编码器(诸如JEPG、JPEG2000、MPEG2、h264/AVC或HEVC)的具体编码器。

编码器ENC3(以及解码器DEC3)不局限于可能是诸如图像编码器(诸如JPEG无损、h264/AVC无损、基于网格的义编码器、或自适应(差分脉冲编码调制DPCM)编码器)的具体无损或近似无损编码器。

根据在步骤910中的变化，模块IIC被配置将逆感知变换采用到在步骤909的输出处的经解码的图像例如，经解码的图像的估计被变换到众所周知的空间(X，Y，Z)中。

当感知空间LabCIE1976被选则，逆感知变换由下列给出：

Y＝Y_nf^-1(1/116(L^*+16))

当感知空间Luv被选则，逆感知变换由下列给出：

可能地，在空间(X，Y，Z)中的图像被逆变换以得到在诸如(R，G，B)的原始空间中所编码的图像的估计。

在图1、图4以及图7到图10中，模块是可能或可能不对应可区分的物理单元的功能单元。例如，多个这样的模块可以在独特的分量或电路中相关联、或对应软件功能。更多地，模块可以可能地包括分别的物理实体或软件功能。

与发明的实施例相匹配的设备可以单独由硬件、单独由软件、或由硬件与软件的组合所实现。依据诸如专用硬件的诸如特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、或超大规模集成电路(VLSI)的硬件，或通过采用植入设备的一些集成的电子分量或来自硬件与软件分量的混合所使用。

图11是表示在可能实现的发明的一个或多个实施例中的编码设备或解码设备1100的功能分量的示意图。

设备1100包括存储器1100、一个或多个处理单元(CPU)1120、用于来自(以及到)应用的数据传输的输入/输出接口1130。分量通过一个或多个通信总线1150通信。

存储器可以包括高速随机存取存储器(RAM)1111以及只读存储器(ROM)1112。存储器的寄存器可以对应设备的存储器的小容量(一些比特)的部分，或者非常大容量的部分(诸如至少整个计算机程序编码或大量的已压缩或未压缩的数据)。ROM1112至少储存程序编码以及参数。根据发明的实施例的方法的算法可以被储存在ROM 1112中。当被开启时，CPU1120上传在RAM1111中的程序并且执行对应的指令。

RAM111包括在寄存器中由CPA1112所执行的以及在开启设备11100之后所上传的程序、在寄存器中的数据、在寄存器中的不同状态的算法的中间值，以及用于在寄存器中算法的执行的其他变量。

存储器1100可以包括非易失存储器，诸如一个或多个磁盘存储设备、闪存设备或其他非易失固态存储器设备。在一些实施例中，存储器还可以包括远离一个或多个CPU120的存储设备，例如通过接口和/或通信网络的可访问的存储设备。

在一些实施例中，设备被提供诸如电池1140的能源。根据其他的实施例，能源可以在设备的外部。

应当理解图11的元件被本领域技术人员所知，并且因此对于发明的理解不需要被更详细地描述。

根据实施例，图11的设备还包括获得诸如显示照明的最大环境亮度值Yn的显示的参考照明条件的方法，例如光敏二极管等等。

根据实施例，例如在解码设备的情境中，图11的设备包括显示器1160，以及获得显示的参考照明条件的方法被配置以确定来自显示器1160的特征的或来自由装置所捕捉的显示器1160周围的照明条件的显示的这样的参考照明条件。例如，获得最大显示的照明的环境的亮度值Yn的方法是附着到显示器并且测量环境的条件的传感器。光敏二极管等等可以被用于这个目的。

在发明的一些实施例中，显示可以通过触摸敏感显示器或任何类型的显示器用于显示视频数据。

图12概述了数据通信系统的示例，在该示例中发明的一个或多个实施例被实现。数据通信系统1200包括传输设备，在这个情境中，通过数据通信网络1230，将数据流的数据包传输到接收设备的可操作的服务器1210(在这个情境中是客户终端1210)。数据通信网络1230可以是无线网络、有线网络或无线与有线通信链路的组合。例如，数据通信链路可以是广域网(WAN)或局域网(LAN)。这样的网络可以是诸如无线网络(WiFi802.11a或b或g)、以太网、因特网或包括了一些不同网络的混合网络。在发明的具体的实施例中，数据通信系统可以是广播系统，诸如数字电视广播系统或任何其他视听的数据提供系统，在该系统中服务器1210发送相同的数据内容到多个客户1220。

由服务器1210所提供的数据流1240包括所编码的数据，其包括根据发明的实施例被编码到比特流的视频数据。

根据发明的实施例，客户1220接收所编码的比特流并且解码比特流以渲染多媒体数据给客户终端。客户终端可以是固定的设备，诸如电视或计算机或便携的电子设备，该电子设备包括但不局限于便携计算机、掌上计算机、平板电脑、移动电话、媒体播放器、个人数字助手等等的，包括两个或多个这种项的组合。

图13示出了示例的传输系统1300。例如包括HDR图像数据的音频或视频数据的输入媒体数据，根据发明的实施例在媒体编码器1310处被编码。所以编码的数据在多路复用器1320处被多路传输，并且在传输器1330处被传输。传输系统可以在通常的TV广播环境中使用，或者可以在提供用于流动与下载视听数据的任何服务中使用。

图4示出了接收系统1400的示例。系统1400的输入数据可以是以比特流的形式被编码的多媒体数据，例如系统1300的输出。数据在接收器1410处被接收，在信号分离器1420处被分离，并且根据发明的实施例通过采用解码方法在媒体解码器1430处被解码。所解码的包可以被放在分离器1420的缓存中。渲染引擎1440渲染媒体内容，例如给显示HDR图像。

设备1300以及设备1400可以被配置来在参考照明条件(诸如显示照明的最大环境亮度值Yn显示)上访问信息，用于根据本发明的实施例的HDR图像数据的编码与解码。

例如，设备1300与1400储存显示的相同的参考照明条件，诸如显示照明的最大环境亮度值Yn。

此外，设备1400被配置来获得显示的相同的参考照明条件(诸如显示照明的最大环境亮度值Yn)，并且将它发送到设备1300。之后设备1300被配置来接收所传输的显示的参考照明条件(诸如显示照明的最大环境亮度值Yn)。

相反地，设备1300被配置来获得显示的相同的参考照明条件(诸如显示照明的最大环境亮度值Yn)，例如来自存储设备存储器并且将它发送到设备1400。之后设备1400被配置来接收这样的所传输的显示的参考照明条件(诸如显示照明的最大环境亮度值Yn)。

本文所描述的发明的实施例可以在例如方法、处理、装置、软件程序、数据流、或信号中被实现。即使仅仅在实现的单独的形式的上下文中所讨论(例如仅作为方法来讨论)，所讨论的特性的实现依旧可以以其他形式所实现(诸如装置或程序)。装置可以在诸如合适的硬件、软件以及固件中被实现。方法可以在诸如处理器的装置中被实现。术语处理器指的是通常的处理设备，其包括诸如计算机、微处理器、集成电路、或可编程逻辑设备。处理器还可以包括通信设备，其诸如计算机、平板、蜂窝式电话、便携/个人的数字助理(PDA)，以及促进在终端用户之间的信息的通信的其他设备。

参考本原则的“一个实施例”、“实施例”、“一个实现”或“实现”，以及其中的其他变量，指的是在本原则的至少一个实施例中包括与实施例相关的前述描述中的具体的特性、结构、特征等等。因此贯穿说明书出现在各种地方的短语“在一个实施例中”、“在实施例中”、“在一个实现中”、或“在实现中”以及其他变量的出现，不必要全部指的是相同的实施例。

此外，本说明或权利要求书可以指的是“确定”信息的各种片段。确定信息可以包括一个或多个例如估计信息、计算信息、预测信息、或检索来自存储器的信息。

此外，本说明或权利要求书可以指的是“接收”信息的各种片段。接收是作为意指广泛的术语的“访问”。接收信息可以包括例如访问信息、或检索信息(诸如从存储器)的一个或多个。更多地，“接收”通常以一种或另一种方式被包括在操作中，该操作例如储存信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、或估计信息。

尽管本发明在本文中关于具体实施例所描述，应当理解本发明不局限于具体实施例，并且在本发明的范围内的修改对于本领域技术人员来说是显而易见的。

例如，在前述示例中，基于HEVC编码处理的编码或解码处理被描述，应当理解发明不局限于任何具体的编码或解码处理。适用于LDR图像的编码的其他编码或解码处理可以用于发明的上下文中，例如编码处理以及补充的解码处理可以基于包括一些编码方案的最优化步骤(诸如MPEG2、MPEG4、AVC、H.263等等)的其他编码/解码方法。

许多更进一步的修改与改变参照先前示出的实施例对于本领域技术人员可见的，其仅作为示例的方式并且不意在局限发明的范围，仅由所附的权利要求所确定。在来自不同实施例的具体的不同的特性可以在合适的地方互换。