编码、解码和表现高动态范围图像的制作方法

编码、解码和表现高动态范围图像的制作方法
【专利摘要】提供用于通过为亮度比和颜色残差值的形式的HDR重构数据编码和解码包含色调映射（TM）图像的图像数据的技术。在示例性的实施例中，基于高动态范围（HDR）图像和衍生色调映射（TM）图像在单独像素基础上产生亮度比值和颜色空间的颜色通道中的残差值，该衍生色调映射（TM）图像包含不能通过亮度比图像从TM图像恢复的一个或更多个颜色改变。具有从亮度比值和颜色通道残差值导出的HDR重构数据的TM图像可在图像文件中被输出到例如用于解码、呈现和/或存储的下游装置。图像文件可被解码以产生被恢复的没有颜色改变的HDR图像。
【专利说明】编码、解码和表现高动态范围图像
[0001]对相关申请的交叉引用
[0002]本申请要求在2011年4月15日提交的美国临时专利申请No. 61/476174和在2011年10月28日提交的美国专利临时申请No. 61/552868的优先权，在这里通过引用并入它们的全部内容。
【技术领域】
[0003]本发明总体上涉及图像处理，特别是涉及编码、解码和表现高动态范围图像。
【背景技术】
[0004]由受让人以及其它人开发的显示器技术能够再现具有高动态范围（HDR)的图像。与常规的显示器相比，这种显示器可再现更忠实地表现真实世界场景的图像。
[0005]为了支持向后兼容性以及新的HDR显示技术，可通过具有包含灰度级亮度比的附加元数据的色调映射图像表现HDR图像。另一方面，色调映射图像可被用于表现正常动态范围图像(例如，在传统显示器上)。另一方面，附加元数据可与色调映射图像一起使用以产生、恢复或表现HDR图像(例如，通过HDR显示器)。
[0006]但是，色调映射图像可包含与操作图像的用户有关地或者与用于产生色调映射图像的特定色调映射操作器有关地出于各种原因而导致的一个或更多个颜色改变（coloralteration)。例如，为了产生更具美感的图像，用户可改变与图像中的像素中的一些或全部有关的色调信息。另外，色调映射操作器可在各种颜色通道中执行不同的黑或白裁剪（clipping)，并且可例如在图像的相对曝光不足或者曝光过度区域中引入颜色改变。在现有的技术中，当下游的解码器尝试从色调映射图像和伴随的灰度级亮度比重构HDR图像时，色调映射图像中的这些颜色改变是难以或者不能去除的。
[0007]在本部分中描述的方法是可探究的方法，但未必是以前已构想或探究的方法。因此，除非另外指示，不应假定在本部分中描述的方法中的任一个由于被包含于本部分就是被当作现有技术。类似地，除非另外指示，参照一个或更多个方法认识到的问题不应基于本部分假定为已在任何现有技术中被认识到。
【专利附图】

【附图说明】
[0008]在附图中，作为例子而不是限制示出本发明，并且在附图中，相似的附图标记指的是相似的要素，并且，
[0009]图I示出根据本发明的一些可能的实施例的示例性HDR图像编码器；
[0010]图2示出根据本发明的一些可能的实施例的示例性HDR图像解码器；
[0011]图3A和图3B示出根据本发明的一些可能的实施例的示例性的处理流程；以及
[0012]图4示出根据本发明的一些可能的实施例的在其上可实现这里描述的计算机或计算装置的示例性硬件平台。
[0013]图5示出黑到白的梯度上的典型照相机中的不同的颜色传感器的变化的饱和度特性。
[0014]图6A和图6B示出将图像数据从照相机传感器颜色空间转换成执行事后白平衡的监视器颜色空间的本系统的实施例。
[0015]图7示出白平衡校正技术的实施例。
【具体实施方式】
[0016]在这里描述与图像处理技术有关的示例性的可能实施例。在以下的描述中，出于解释的目的，为了能够彻底地理解本发明，阐述大量的特定细节。但是，很明显，可以在没有这些特定的细节的情况下实现本发明。在其它的情况下，为了避免不必要地使本发明变得难解、模糊或者混乱，没有描述公知的结构和器件的详尽的细节。
[0017]这里，根据以下的概述来描述示例性实施例：
[0018]I.总体概述
[0019]2. HDR图像编码器
[0020]3.白平衡校正
[0021]4. HDR图像解码器
[0022]5.示例性处理流程
[0023]6.实现机构一硬件概述
[0024]7.等同、扩展、替代和混杂
[0025]I.总体概述
[0026]本概要给出本发明的可能的实施例的一些方面的基本描述。应当注意，本概要不是可能的实施例的各方面的广泛或详尽的概括。并且，应当注意，本概要不应被理解为标识可能的实施例的任何特别重要的方面或要素，也不是要特别地将可能的实施例的任何范围，也不是要一般地将本发明的任何范围划界。本概要仅以简洁的形式给出与示例性的可能的实施例有关的一些概念，并且应被理解为仅仅是以下给出的示例性的可能的实施例的更详细的描述的概念性的序言。
[0027]为了在各种图像呈现装置上显示图像，色调映射操作器（TMO)将输入HDR图像处理成色调映射（TM)基本图像。TM基本图像可包含相对于输入图像的颜色改变(例如，色调变化，颜色裁剪（color clipping)、艺术风格等)。在一些技术中，TM基本图像连同亮度比一起被提供给下游的图像解码器，以重构等同于输入HDR图像的HDR图像。但是，下游的图像解码器不能根据TM基本图像和灰度级亮度比去除重构的HDR图像中的颜色改变。作为结果，颜色改变会在重构的HDR图像中保持明显。
[0028]相反，基于输入HDR图像和TM基本图像，根据这里描述的技术的HDR图像编码器不仅产生亮度比，而且产生颜色残差值（color residual value)。亮度比和颜色残差值可统一表示为HDR重构数据。可选地和/或附加地，亮度比被转换至对数域中以支持相对宽范围的亮度值。可选地和/或附加地，得到的对数亮度比和颜色残差值被量化。可选地和/或附加地，量化后的对数比和颜色残差值被存储于残差图像中。量化后的对数比和颜色残差值或一些实施例中的残差图像与TM基本图像一起被提供给下游的图像解码器。可选地和/或附加地，与量化后的对数比和颜色残差值有关的参数(例如，范围限度等）也与TM基本图像一起被提供。[0029]这里的TMO可自由地对于具有低（黑）或高（白）亮度水平的各像素在颜色通道中执行颜色裁剪。并且，这里描述的TMO不需要保持在各像素处的色调。在这里描述的技术中，用户可自由地基于图像内容(例如，人像、室内图像、户外场景、夜景、黄昏等）或应用（例如，用于电影、海报、婚礼照片、杂志等中）选择ΤΜ0。可以有意且自由地使用颜色裁剪或修改以产生图像的艺术效果。这里的HDR图像编码器和解码器支持通过可引入宽范围的可能的颜色改变的不同类型的编辑软件和照相机制造商实现的ΤΜ0。在这里描述的技术中，HDR编码器向HDR解码器提供颜色残差值。HDR解码器又利用颜色残差值以防止在重构的HDR图像中存在颜色改变(或者使其最小化)。
[0030]在这里描述的技术中，可以使用位流和/或图像文件以存储并向下游的图像观察器或解码器提供TM基本图像和它们的各自的HDR重构数据以用于解码和/或呈现。在这里描述的技术中的图像格式支持通过不同类型的编辑软件和照相机制造商实现的ΤΜ0。这里描述的图像格式的例子可包含但不限于标准JPEG图像格式(包含例如JPEG (HDR)等。在示例性实施例中，JPEG-HDR图像格式被用于支持存储具有亮度比和颜色残差值的TM基本图像。可选地和/或附加地，存储于图像文件中的TM基本图像和残差图像中的一个或两者被压缩。可通过使用JPEG标准或不同的方法执行这里描述的压缩。
[0031]不支持这里描述的技术中的HDR图像处理的图像解码器或观察器简单地打开图像文件中的TM基本图像。另一方面，这里描述的技术中的HDR图像解码器被配置为将图像文件读取/解析为TM基本图像及其相应的亮度比和颜色残差值并且恢复/重构HDR图像。这里描述的重构的HDR图像没有在原输入HDR图像中不存在但通过TMO被引入到TM基本图像中的颜色改变。
[0032]在一些可能的实施例中，这里描述的机构形成图像编码器的一部分，该图像编码器包括但不限于手持装置、游戏机、剧院系统、家庭娱乐系统、电视、膝上型计算机、笔记本计算机、蜂窝式无线电电话、电子书阅读器、销售终端、台式计算机、计算机工作站、计算机售货亭和各种其它类型的终端及处理单元。
[0033]本领域技术人员将容易想到这里描述的优选实施例和总体原理和特征的各种修改。因此，本公开不是要局限于表示的实施例，而是要被赋予与这里描述的原理和特征一致的最宽的范围。
[0034]2. HDR图像编码器
[0035]图I示出根据本发明的一些可能的实施例的示例性HDR图像编码器。在一些可能的实施例中，图像编码器通过一个或更多个计算装置被实现，并配置有如下这样的软件和/或硬件部件，该软件和/或硬件部件实现用于将输入HDR图像编码成为基于标准的或专有的图像格式的具有HDR重构数据的TM图像的图像处理技术。
[0036]HDR图像编码器包含被配置为接收输入HDR图像的软件和/或硬件部件。如这里使用的那样，“输入HDR图像”指的是可包含浮点或定点高动态范围图像数据的任何HDR图像。输入HDR图像可以位于支持高动态范围色域的任何颜色空间中。在示例性实施例中，输入HDR图像是RGB颜色空间中的RGB图像(例如，图I所示的输入HDR RGB102)。在例子中，输入HDR图像中的各像素包含针对在颜色空间中限定的所有通道(例如，RGB颜色空间中的红色、绿色和蓝色颜色通道）的浮点像素值。在另一例子中，输入HDR图像中的各像素包含针对在颜色空间中限定的所有通道的定点像素值(例如，RGB颜色空间中的红色、绿色和蓝色颜色通道的16位或更高/更低的位数的定点像素值)。各像素可选地并且/或者作为替代地包含针对颜色空间中的通道中的一个或更多个的经下采样的像素值。
[0037]在示例性实施例中，HDR图像编码器包含被配置为执行多个预处理步骤的软件和/或硬件部件。可选地和/或作为替代地，预处理步骤包含但不限于输入HDR图像的零个或更多个完整性检查（santiy check)等。例如，输入HDR图像可以包含或者可以不包含例如通过上游步骤或者通过在编码或传送中引入的局部数据损坏而引入的意味着负亮度值的像素值。为了防止底层的亮度值为负由此在随后的色调映射操作中导致问题，通过完整性检查(负亮度检查104)检查输入HDR图像中的底层的亮度值。如果像素的底层的亮度值不为正，那么像素的所有颜色通道的像素值可被设为零。
[0038]在不对于颜色空间中的像素直接给出亮度值的可能的实施例中，可（间接地）从颜色空间中的像素的像素值导出像素的亮度值。在示例性实施例中，像素的RGB颜色空间中的像素值R、G和B可被用于计算像素的亮度值Y如下：
[0039]Y = O. 30078125*R+0. 59765625*G+0. 1015625*B 式（I)
[0040]在可以被或者可以不被预处理的输入HDR图像被提供给色调映射操作器(TM0106)之前，输入HDR图像通过白平衡操作器（105)。如后面更详细地讨论的那样，作为HDR编码的一部分以及在色调映射操作之前，校正和/或调整HDR图像中的白平衡可能是希望的。
[0041]在示例性实施例中，TM0106包含被配置为基于输入HDR图像(可被预处理)产生可在各种显示装置上呈现的色调映射（TM)图像的软件和/或硬件部件。在这里描述的技术中，TMO106被视为HDR图像编码器中的黑盒子。TM0106或使用TM0106以操作输入HDR图像的用户可自由地从TM0106引入影响输出TM图像的一些或所有部分的色相或色度性能的一个或更多个颜色改变。在这里描述的技术中，具有由TM0106或用户自由进行的颜色改变的TM图像可作为基本图像连同在这里描述的技术中产生的可被用于再现/呈现HDR图像的HDR重构数据一起被提供给下游的装置。HDR重构数据向接收下游装置提供足够的信息，以再现没有由TM0106进行的颜色改变的HDR图像。
[0042]可选地和/或作为替代方案，HDR图像编码器包含被配置为对TM0106的输出即TM图像（R' G' B' 108)执行黑色修改（black modification)的软件或硬件部件(黑色修改110)。HDR图像编码器或其中的黑色修改110定位在TM图像（R' G' B' 108)中的零像素值。在例子中，如果颜色通道的像素值是零，那么像素值被给予诸如1、2、10的小值或另一较大或较小的值。在另一例子中，如果像素的亮度值是零，那么一个或更多个颜色通道的像素值被给予诸如1、2、10的小值或其它的较大或较小的值。小的像素值(例如，小于10)不会在感觉上造成视觉差。
[0043]TM图像（R' G1 B' 108)可以是或者可以不是8位伽马校正图像。仅出于解释的目的，由TM0106输出的色调映射图像（R' G' B' 108)已在TM0106内被伽马校正。可选地和/或作为替代方案，HDR图像编码器包含如下这样的软件和/或硬件部件（InverseGammall2)，其被配置为在TM0106的输出参数或返回值指示已在TM0106内执行伽马校正的情况下将色调映射图像（R' G' B' 108)转换成线性域中的中间色调映射图像（RGBt)。用于伽马校正和/或用于伽马转换的伽马曲线可与可由TM0106通过使用一个或更多个输出参数或返回值指示的诸如sRGB或AdobeRGB的标准颜色空间有关。在示例性实施例中，RGBt可被用于进一步导出这里描述的亮度比和残差值。
[0044]在示例性实施例中，可以计算输入HDR图像（RGBh)中的亮度值（Yh)和RGBt中的亮度值（Yt)。在一些可能的实施例中，Yh、Yt以及Yh与Yt之间的亮度比（r)可在单独像素的基础上被计算如下：
[0045]Yh = L(RGBh) = O. 30078125*Rh+0. 59765625*Gh+0. 1015625*Bh
[0046]Yt = L (RGBt) = O. 20078125*Rt+0. 59765625*Gt+0. 1015625*Bt
【权利要求】
1.一种方法，包括： 接收高动态范围（HDR)图像； 接收基于所述HDR图像产生的色调映射（TM)图像，该TM图像包含不能通过亮度比图像从TM图像恢复的一个或更多个颜色改变； 通过在单独像素的基础上用所述TM图像的亮度值除所述HDR图像的亮度值，在单独像素的基础上计算亮度比值； 将所述亮度比值应用于所述HDR图像以产生重新映射图像； 基于所述重新映射图像和所述TM图像，确定颜色空间的颜色通道中的残差值；以及 输出具有HDR重构数据的TM图像，该HDR重构数据是从所述亮度比值和所述残差值导出的。
2.根据权利要求1的方法，还包括将所述重新映射图像和TM图像中的至少一个从不同的颜色空间转换成所述残差值的颜色空间。
3.根据权利要求1的方法，其中，所述颜色空间是YCbCr颜色空间，并且其中，所述颜色空间的所述颜色通道包含Cb颜色通道和Cr颜色通道。
4.根据权利要求3的方法，其中，所述颜色空间的所述颜色通道中的残差值被计算为所述颜色通道中的从所述重新映射图像导出的第一像素值与所述颜色通道中的从TM图像导出的第二像素值之间的差值。
5.根据权利要求1的方法，其中，TM图像中的所述一个或更多个颜色改变中的至少一个是由在一个或更多个像素处的色调的箝位或修改中的一个导致的。
6.根据权利要求1的方法，其中，所述HDR重构数据包含具有从所述亮度比值导出的量化值和所述颜色空间的所述颜色通道中的所述残差值的残差图像。
7.根据权利要求6的方法，其中，所述HDR重构数据还包含规定所述量化值的范围的参数。
8.根据权利要求1的方法，其中，所述HDR重构数据存储于所述图像文件的应用段中，其中所述TM图像为所述图像文件中的基本图像。
9.根据权利要求1的方法，其中，所述图像文件是JPEG-HDR格式。
10.根据权利要求1的方法，还包括对于所述HDR图像执行一个或更多个完整性检查。
11.根据权利要求1的方法，还包括允许任何色调映射操作器的任何色调映射操作和/或TM图像中的任意数量的像素上的任何颜色改变。
12.根据权利要求1的方法，还包括用零或比阈值小的值替代TM图像中的零个、一个或更多个颜色通道零值。
13.根据权利要求1的方法，还包括向所述HDR图像、TM图像或重新映射图像中的至少一个应用颜色空间转换。
14.根据权利要求1的方法，其中，TM图像与重新映射图像之间的亮度残差值均为零。
15.根据权利要求1的方法，其中，HDR图像是定点图像或浮点图像中的一个。
16.根据权利要求1的方法，还包括对HDR图像执行色调映射操作器所要求的预处理操作，其中，预处理操作是颜色空间转换、伽马编码、伽马解码、下采样或上采样中的一个。
17.根据权利要求1的方法，还包括在确定颜色空间的颜色通道中的残差值之前，接收与在TM图像中执行的伽马编码有关的信息并对TM图像执行伽马编码的逆操作以产生中间TM图像。
18.根据权利要求1的方法，其中，HDR图像以JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或另一图像格式中的一种被编码。
19.一种方法,包括： 解析包含色调映射（TM)基本图像和HDR重构数据的图像文件，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变； 提取与量化亮度比值和颜色空间的颜色通道中的量化残差值有关的量化参数； 至少部分地基于量化参数将量化亮度比值和量化残差值转换成亮度比值和颜色空间的颜色通道中的残差值；以及 通过使用TM基本图像、亮度比值和颜色空间的颜色通道中的残差值重构HDR图像。
20.根据权利要求19的方法，其中，图像文件通过基于标准的图像解码器被解析。
21.根据权利要求19的方法，其中，量化亮度比和量化残差值存储于残差图像中，并且其中，残差图像和TM基本图像通过使用公共过程被解量化和解压缩。
22.根据权利要求19的方法，其中，TM基本图像包含任何色调映射操作器的任何色调映射操作和/或任意数量的像素上的任何颜色改变的结果。
23.根据权利要求19的方法，其中，HDR图像是定点图像或浮点图像中的一个。
24.根据权利要求19的方法，还包括执行颜色空间转换、伽马编码、伽马解码、下采样或上采样的操作。
25.根据权利要求19的方法，其中，图像文件是JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或其它图像格式中的一种。
26.—种方法,包括： 将色调映射（TM)基本图像和HDR重构数据编码成图像文件，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变。
27.—种方法,包括： 传送包含色调映射（TM)图像和HDR重构数据的图像文件，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变。
28.—种方法,包括： 将图像文件解码成色调映射（TM)图像和HDR重构数据，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变。
29.如权利要求25~27所述的方法，其中，图像文件是支持在应用段中存储颜色残差值的JPEG-HDR格式。
30.一种装置，包括处理器并被配置为执行如权利要求1、19、26、27或28所述的方法中的任一个。
31.一种计算机可读存储介质，包括当由一个或更多个处理器执行时导致执行如权利要求1、19、26、27或28所述的方法中的任一个的软件指令。
32.一种用于对于初始图像数据执行白平衡校正的方法，所述初始图像数据包含色调映射（TM)图像数据和残差图像数据，所述残差图像数据还包含高动态范围（HDR)图像数据、有效线性传感器值和白平衡乘数，所述方法的步骤包括： 从所述残差图像数据恢复有效线性传感器值和白平衡乘数； 从所述有效线性传感器值和所述初始图像数据产生传感器颜色空间值以形成第一中间图像数据； 对于各颜色通道，向所述第一中间图像数据应用白平衡乘数以产生第二中间图像数据； 如果不能从所述初始图像数据得到的HDR图像数据，则将第二中间图像数据箝位为多个最大颜色通道值中的最小值，以形成第三中间图像数据；以及 如果未执行箝位，那么将所述第二中间图像数据变换成目标监视器颜色空间以形成最终图像数据；和 如果执行了箝位，那么将所述第三中间图像数据变换成目标监视器颜色空间以形成最终图像数据。
33.如权利要求32所述的方法，其中，所述初始图像数据以JPEG-HDR格式被格式化。
34.如权利要求33所述的方法，其中，在RGB颜色通道中的每一个中，所述初始图像数据包含被捕获的HDR的上部传感器范围。
35.如权利要求34所述的方法，其中，所述上部传感器范围包含白平衡乘数和阵列，所述矩阵还包含有效线性传感器值。
36.如权利要求35所述的方法，其中，所述最终图像数据被输入到图像编码器的HDR路径中。
37.一种用于处理初始图像数据的方法，所述方法的步骤包括： 输入所述初始图像数据； 输入传感器颜色空间数据和白平衡乘数； 如果采用用于所述图像数据的新白点，则计算新白平衡乘数以产生当前白平衡乘数；对于所述图像数据中的各像素，将所述初始图像数据转换成返回到所述传感器颜色空间中的第一中间图像数据； 对于所述中间图像数据中的各颜色通道，应用当前白平衡乘数以产生第二中间图像数据； 将所述第二中间图像数据箝位到所有颜色通道最大值中的最小值量，以产生第三中间图像数据；和 将所述第三中间图像数据变换成希望的监视器颜色空间以产生第四中间图像数据。
38.如权利要求37所述的方法，其中，所述第四中间图像数据被输入到色调映射操作器中。
39.如权利要求37所述的方法，其中，所述初始图像数据通过图像捕获装置被捕获的，并且其中，所述图像捕获装置的照相机RAW数据是不可用的。
40.如权利要求39所述的方法，其中，所述图像捕获装置能够捕获多个颜色通道中的图像数据，并且其中，至少两个所述颜色通道在沿黑白梯度的不同亮度值处饱和。
41.一种方法，包括：接收高动态范围（HDR)图像； 对于HDR数据处理白平衡校正； 接收基于HDR图像产生的色调映射（TM)图像，TM图像包含不能通过亮度比图像从TM图像恢复的一个或更多个颜色改变； 通过在单独像素的基础上用TM图像的亮度值除HDR图像的亮度值，在单独像素的基础上计算亮度比值； 对于HDR图像应用亮度比值，以产生重新映射图像； 基于重新映射图像和TM图像，确定颜色空间的颜色通道中的残差值；以及 输出具有HDR重构数据的TM图像，该HDR重构数据是从亮度比值和残差值导出的。
42.—种方法,包括： 解析图像文件，所述图像文件包含图像数据，所述图像数据还包含色调映射（TM)基本图像和HDR重构数据，HDR重构数据包含量化亮度比值、颜色空间的颜色通道中的量化残差值、白平衡乘数和有效线性传感器值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变； 提取与量化亮度比值和颜色空间的颜色通道中的量化残差值有关的量化参数； 至少部分地基于白平衡乘数和有效线性传感器值校正图像数据的白平衡； 至少部分地基于量化参数将量化亮度比值和量化残差值转换成亮度比值和颜色空间的颜色通道中的残差值；和 通过使用TM基本图像、亮度比值和颜色空间的颜色通道中的残差值，重构HDR图像。
43.一种装置，包括处理器并被配置为执行如权利要求32、37、41或42所述的方法中的任一个。
44.一种计算机可读存储介质，包括当由一个或更多个处理器执行时导致执行如权利要求32、37、41或42所述的方法中的任一个的软件指令。
【文档编号】H04N1/46GK103503429SQ201280018609
【公开日】2014年1月8日 申请日期:2012年4月16日 优先权日:2011年4月15日
【发明者】贾文辉, A·尼南, A·顿, G·J·沃德, G·王 申请人:杜比实验室特许公司