专利名称：高动态范围图像的编码、解码和表示的制作方法
技术领域：
本发明涉及高动态范围数字图像。具体而言，本发明涉及用于对高动态范围图像进行编码和解码的方法和设备以及包含数字高动态范围图像的数据结构。
背景技术：
人类视觉能够察觉高达1∶10,000的对比率。也就是说，人可以接受这样的景象，其中该景象某些部分的亮度是该景象其它部分的亮度的10,000倍，而人可以看到该景象的最亮部分和最暗部分二者中的细节。此外，人类视觉可以以进一步的6个量级使其灵敏度适应于较亮或较暗的景象。
大部分传统数字图像格式(所谓的24位格式)使用高达24位来存储图像中每个像素的颜色和亮度信息。例如，像素的红、绿和蓝(RGB)值的每个可以存储在一个字节(8位)中。这样的格式仅能够表示约两个量级(每个字节可存储256个可能值之一)的亮度变化。存在许多用于表示数字图像(其包括静止图像和视频图像二者)的标准格式。这些格式包括JPEG(联合图像专家组)、MPEG(运动图像专家组)、AVI(音频视频交错)、TIFF(标签图像文件格式)、BMP(位图)、PNG(便携式网络图形)、GIF(图形交换格式)等等。这样的格式可称为“有关输出的标准”，因为它们并不试图保存超出了最通用类型的电子显示器所能再现的图像信息的图像信息。直到最近，显示器如计算机显示器、电视机、数字移动画面投影仪等还不能精确地再现具有优于1∶1000左右的对比率的图像。
由受让人开发的显示技术及其它技术能够再现具有高动态范围(HDR)的图像。与传统显示器相比，这样的显示器可再现更如实地表示真实世界景象的图像。存在对用于存储HDR图像的格式的需求，以便在这些显示器及未来可获得的其它HDR显示器上再现。
人们已提出了许多用于将HDR图像存储为数字数据的格式。这些格式全部具有各种缺点。这些格式中有许多产生仅可使用专用软件来观看的大得惊人的图像文件。一些数码相机制造商提供了专有的RAW格式。这些格式趋向于相机专用，并且趋向于对数据存储的要求过高。
需要一种方便的架构来存储、交换和再现高动态范围图像。尤其需要对现有的图像观看器技术向后兼容的架构。在可能需要通过具有基于硬件的图像解码器的传统设备如DVD播放器来再现图像的情形下，尤其需要向后兼容性。
发明内容
本发明的一方面提供了用于对高动态范围图像数据进行编码的方法。所述方法包括获得对应于高动态范围图像数据的色调映射(tonemap)数据。色调映射数据的动态范围低于高动态范围图像数据的动态范围。该方法计算比率数据，包括高动态范围图像数据中的值与色调映射数据中的对应值的比率；基于比率数据来生成高动态范围信息；基于色调映射数据来生成色调映射信息；并且将高动态范围信息和色调映射信息存储在数据结构中。
数据结构可由传统图像观看器读取。传统图像观看器可读取色调映射信息而忽略高动态范围信息。在一些实施例中，数据结构包括JFIF文件，而色调映射信息包括JPEG图像。在一些实施例中，数据结构包括MPEG文件，而色调映射信息包括MPEG视频的帧。
本发明的另一方面提供了一种用于表示具有初始动态范围的高动态范围图像的数据结构。该数据结构包括色调映射部分和高动态范围信息部分。色调映射部分包含表示图像的色调映射信息，并且具有比初始动态范围小的动态范围。高动态范围信息部分包含对色调映射部分中的亮度值与高动态范围图像的亮度值的比率进行描述的信息。
本发明的另一方面提供了用于对高动态范围图像进行编码的设备。
下面将描述本发明的另外方面和本发明特定实施例的特征。
在图示了本发明的非限定性实施例的附图中图1是图示了根据本发明的一般实施例创建HDR图像文件的方法的数据流程图；图2是给出根据本发明的HDR图像编码和解码方法的概观的流程图；图3是图示了根据本发明一个特定实施例创建HDR图像文件的方法的数据流程图；图4是图示了根据本发明的一些实施例提供对由压缩和/或下采样导致的假象(artefact)的校正的方法的流程图；以及图5是图示了根据本发明的一个实施例在HDR图像重建期间提供对由压缩和/或下采样导致的假象的校正的方法的流程图。
具体实施例方式
在下面的描述中，为了提供对本发明的更全面的理解而阐明了特定的细节。然而，可以在没有这些细节的情况下实践本发明。在其它情形下，未示出或详细描述众所周知的元件，以避免不必要地混淆本发明。因此，说明书和附图应视为说明性的，而非限定性的。
本发明的一方面提供了用于表示HDR图像的数据结构(HDR数据结构)。在优选的实施例中，HDR数据结构允许使用标准图像观看软件以标准动态范围模式来观看图像，并且允许使用HDR观看器和适当的HDR显示器以高动态范围模式来观看该同一图像的高动态范围版本。
图1示出根据本发明的用于创建HDR数据结构16和用于观看由HDR数据结构16表示的图像的系统10。图2示出由系统10执行的用于创建HDR数据结构的方法30、以及用于根据HDR数据结构16的数据来显示图像的可替选的方法31A和31B。
系统10包括用于基于原始HDR图像数据12来创建HDR图像数据结构16的编码器14。数据结构16可由标准解码器18来解码，以提供标准动态范围图像19。在本发明的一些实施例中，标准解码器18包括“传统”硬件解码器或基于软件的解码器，如合适的图像观看器软件。数据结构16可由HDR解码器20来解码，以产生重建的HDR图像21。
通过获取HDR图像数据12，方法30开始于框32。HDR图像数据12包括直接或间接规定图像中像素的亮度的信息。HDR图像数据12可以是任何合适的格式，并且可以使用合适的HDR相机(可能通过将多次曝光相组合)来获取或在计算机中直接重现。对于本发明的实践来说，HDR图像数据12的来源不重要。
方法30还获得(框34)对应于HDR图像数据12的色调映射数据15。色调映射数据15表示与HDR图像12的相似图像，但具有比HDR图像数据12低的动态范围。色调映射数据15可根据HDR图像数据12来生成，如线13所示，或以某些其它方式从具有与HDR图像数据12共同来源的数据中得到。如果色调映射数据15不是从HDR图像数据12中得到的，则获得色调映射数据15和HDR图像数据12的顺序(即框32和34的顺序)不重要。
编码器14生成数据结构16。数据结构16包括色调映射部分16A，其基于色调映射数据15；以及HDR信息部分16B，其包含这样的信息HDR解码器20可以将此信息与来自色调映射部分16A的数据相组合以重建HDR图像数据12或与其接近的近似。方法30通过将色调映射数据15(或等价地，根据数据结构16的色调映射部分16A重建的色调映射数据)与HDR图像数据12相比较来生成(框36)HDR信息部分。在框38中，方法30将色调映射部分16A和HDR信息部分16B存储在数据结构16中。
在本发明的优选实施例中，数据结构16具有可由标准解码器读取以产生较低动态范围(LDR)图像的格式。标准解码器18可以实施解码方法31A。标准解码器18通过取回色调映射部分16A并显示由色调映射部分16A表示的图像(框39)来生成标准LDR图像19。该标准解码器可忽略HDR信息部分16B。
数据结构16还可由HDR解码器20来读取。HDR解码器20实施解码方法31B，并基于来自色调映射部分16A和HDR信息部分16B二者的信息来生成HDR图像21。在框40中，方法31B从数据结构16的色调映射部分16A和HDR信息部分16B取回数据。在框42中，通过根据来自HDR信息部分16B的HDR信息修改从色调映射部分16A中提取的色调映射来创建重建的HDR图像。在框44中，显示重建的HDR图像。
色调映射部分16A可以是任何合适的格式。例如，色调映射部分16A可以是JPEG、MPEG、AVI、TIFF、BMP、GIF或一些其它合适的格式。色调映射部分16A包括直接或间接规定动态范围小于原始HDR图像12的动态范围的图像中像素的亮度的信息。如果HDR图像数据12规定彩色图像，则色调映射部分16A优选地包括规定图像中像素的颜色的信息。
在本发明的一些实施例中，数据结构16包括JPEG文件、交换格式(JFIF)格式文件。在这样的实施例中，色调映射部分16A可包含在JFIF文件的图像部分中，而HDR信息部分16B可存储在JFIF文件的一个或多个应用扩展部分中和/或存储在JFIF文件的一个或多个注释部分中。在这样的实施例中，任何标准的JPEG观看器可打开数据结构16，并以低于原始HDR数据12或重建的HDR图像21的动态范围来显示色调映射部分16A中提供的图像。
标准JPEG观看器忽略它们不支持的JFIF文件中的应用扩展。因此，HDR信息部分16B的存在基本上不影响使用任何标准JPEG观看器来观看来自数据结构16的图像。如果HDR信息16B在JFIF文件的注释字段中，则HDR信息16B优选地编码为ASCII文本，因为一些应用可能试图读取JFIF文件的注释字段。这样的应用可能期望注释字段仅包含文本，并且在试图打开包含非期望类型数据的注释字段时，可不正确地运行。Version1.2版是JFIF的一个版本。JFIF Version1.2版在ISO DIS10918-1的附录B中完整地描述，其通过引用结合于此。
在本发明的一些实施例中，数据结构16包括MPEG格式的文件。在这样的实施例中，色调映射部分16A可包含在MPEG文件的图像部分中，而HDR信息部分16B可存储在MPEG文件的一个或多个应用扩展中和/或存储在MPEG文件的一个或多个注释部分中。在这样的实施例中，任何标准的MPEG观看器可打开数据结构16，并以低于原始HDR数据12或重建的HDR图像21的动态范围来显示色调映射部分16A中提供的图像。一个HDR信息部分16B可与MPEG视频文件的每个帧相关联，或对于采用关键帧的MPEG的版本，HDR信息部分16B可以仅与关键帧相关联。传统MPEG关键帧插入技术可用来创建关键帧间帧(即关键帧之间的帧)。
标准MPEG观看器忽略它们不支持的MPEG文件的通道。因此，HDR信息部分16B的存在基本上不影响使用任何标准JPEG观看器来观看来自数据结构16的图像。如果HDR信息16B在MPEG文件的注释字段中，则HDR信息16B优选地编码为ASCII文本，因为一些应用可能试图读取MPEG文件的注释字段。这样的应用可能期望注释字段仅包含文本，并且在试图打开包含非期望类型数据的注释字段时，可不正确地运行。
色调映射部分16A可根据色调映射数据15以任何合适的方式来创建。例如，色调映射部分16A可使用合适的色调映射算子来生成。该色调映射算子优选地具有下列特性·原始HDR输入(即原始HDR图像数据12)被平滑地映射到标准动态分辨率(典型地为24位)输出域中；·没有色调映射算子的输出的分量被钳位于值0或255；·对于每个像素，色调(hue)被保持；以及·如果色调映射算子改变饱和值，则其仅进行可由可逆函数描述的轻微改变。
发明人已发现在ACM Transations on Graphics，21，3，249-256(2002)、Durand和Dorsey的“Fast bilateral filtering for the display ofhigh dynamicrange images”中所描述的双边滤波器提供了合适的色调映射算子。色调映射部分16A可以使用合适的编码器如JPEG编码器或MPEG编码器来编码。
色调映射部分16A可以以任何合适的方式来表示像素颜色值。例如，像素颜色值可以表示为RGB(红、绿和蓝)值、CMYK(青、紫、黄和黑)值、YCbCr(亮度和色度)值等。色调映射部分16A中的数据可使用任何合适的压缩方案来压缩。例如，色调映射部分16A中的数据可以与JPEG或MPEG格式兼容的方式来压缩。
在本发明的一些实施例中，HDR信息部分16B包含色调映射部分16A为各像素规定的值与原始HDR图像12为相同像素规定的值之间的比率。在这样的实施例中，HDR信息16B可以通过将原始HDR图像12规定的值除以色调映射部分16A规定的对应值来生成。由此操作所产生的数据可以存储为HDR信息部分16B。可以选择HDR信息部分16B中数据值被表示的精度，以提供重建的HDR图像的可接受的质量。在本发明的一些实施例中，HDR信息部分16B中的数据值每个在压缩之前由一个字节(8位)来表示。
在本发明的一些实施例中，HDR信息部分16B规定了重建的HDR图像21中的像素亮度与色调映射信息16A为对应像素规定的亮度之间的关系。在这样的实施例中，HDR信息部分16B不需要包含颜色信息。
HDR信息部分16B可包括原始HDR图像12为图像内的区域或像素规定的亮度与色调映射部分16A为对应区域或像素规定的亮度的比率。在这样的实施例中，颜色信息由色调映射部分16A承载。在这样的实施例中，HDR部分16B可具有与灰度图像相同的结构。例如，如果HDR数据结构16包括JFIF文件，则HDR部分16B可编码为JPEG灰度图像。如果HDR数据结构16包括MPEG文件，则HDR部分16B可编码为MPEG灰度图像。
图3示出根据本发明的一个实施例的HDR编码器50，其中用来构成数据结构16的HDR部分16B的HDR信息包括HDR图像12中的像素值与色调映射部分16A规定的对应值的比率。编码器50接收HDR图像数据12。编码器50通过下列方式来获得色调映射数据15通过从HDR图像数据12中提取色调映射数据15，如虚线13和色调映射器(tonemapper)17所示；或通过从一些其它源来接收色调映射数据15，如虚线13A所示。优选地，色调映射器17不削减颜色或亮度值，并保持色调映射数据15中的每个像素的颜色和亮度比率。
在图示的实施例中，编码器50包括标准编码器52。标准编码器对色调映射数据15进行编码，以产生编码的色调映射数据15A。编码的色调映射数据15A可利用标准观看器来读取。例如，标准编码器52可包括将色调映射数据15编码为可由JPEG或MPEG观看器来读取的JPEG或MPEG编码的色调映射数据的编码器。编码的色调映射数据被保存到HDR数据结构16的色调映射数据部分16A中。
在本发明的一些实施例中，编码器50从一些外部的源来接收编码的色调映射数据15A。在这样的实施例中，编码器50不需要并入标准编码器52。
编码的色调映射数据15A由解码器54解码，以产生重建的色调映射数据55。通过除法器56，HDR图像数据12被除以重建的色调映射数据55，以产生比率数据57。比率数据57可选地由数据压缩器58压缩，以产生HDR信息16B。数据压缩器58可方便地包括JPEG或MPEG编码器。在本发明的一些实施例中，使用相同的JPEG或MPEG编码器来对HDR数据结构16的色调映射部分16A和HDR信息部分16B二者进行编码。
在本发明的一些实施例中，比率数据57包括HDR图像数据12的值与色调映射数据15(或色调映射部分16A)所规定的对应值的比率的某个函数。例如，比率数据57可包括规定这样的比率的对数的信息。
在本发明的一些可替选实施例中，色调映射数据15被直接提供给除法器56，如线53所示。在这样的实施例中，不需要解码器54。如果色调映射部分16A使用有损失的算法如JPEG或MPEG编码来编码，则优选的是使HDR信息部分16B基于重建的色调映射数据55，而不是基于色调映射数据15。如果色调映射信息部分16A通过有损失的编码过程来编码，则HDR信息部分16B基于重建的色调映射数据55使得能够根据HDR数据结构16来更精确地重建HDR图像数据12。将使用色调映射信息部分16A而不是色调映射数据15来重建HDR图像21(图1)。
压缩器58可采取多种形式中的任何形式。在本发明的一些实施例中，压缩器58执行下列操作中的一个或多个·对比率数据57进行下采样；·对比率数据57进行压缩。
可使用任何合适形式的压缩。在本发明的当前优选实施例中，压缩器58既对比率数据57进行下采样，也对下采样的比率数据进行编码。如果比率数据57被下采样，则HDR信息部分16B具有比比率数据57或色调映射数据15小的图像尺寸(即HDR信息部分16B规定的像素数目的值小于比率数据57或色调映射数据15规定的像素数目的值)。在这样的情形下，HDR信息部分16B具有比色调映射数据15低的空间分辨率。
在其中比率数据57经受下采样或其它有损失的压缩机制的那些本发明的实施例中，HDR信息16B可缺乏精确重建HDR图像数据12所必需的所有细节。由比率数据57的有损失的压缩所导致的失真可通过对色调映射部分16A和/或HDR信息部分16B施加校正来至少部分地加以补偿。
图4是图示了方法60的操作的流程图，方法60对色调映射部分16A或HDR信息部分16B中的数据施加校正，以减少由色调映射部分16A和/或HDR信息部分16B的有损失的编码所导致的假象。在框62和64中，方法60获取HDR图像数据90和色调映射数据91。HDR图像数据90和色调映射数据91可以包括上述那些方式的任何合适的方式来获得。在一些实施例中，色调映射数据91从HDR图像数据90中提取，如箭头65所示。
在框66中，色调映射数据91被编码，以产生编码的色调映射数据92。在本发明的一些实施例中，编码框66包括JPEG或MPEG编码。随后，在框68中，编码的色调映射数据92被解码，以产生重建的色调映射数据94。重建框68可包括将编码的色调映射数据92传递到合适的解码器，在框66包括JPEG或MPEG编码的情形下，该解码器如JPEG或MPEG解码器。
框70通过应用一个函数来生成比率数据96，该函数以来自HDR图像数据90的值(第一值)和来自重建的色调映射数据94的对应值(第二值)作为输入。该函数包括将第一值除以第二值或将第二值除以第一值。在本发明的一个简单实施例中，比率数据96包括针对图像中每个像素的值RI，由下面的等式给出
RI(x,y)=L(HDR(x,y))L(TM(x,y))---(1)]]>其中(x，y)是对像素进行标识的坐标；L是根据像素的数据返回像素亮度的函数；HDR(x，y)是坐标(x，y)处的HDR图像数据90中的像素数据；而TM(x，y)是针对坐标(x，y)处像素的重建的色调映射数据94(或色调映射数据91)中的像素数据。在一些实施例中，比率数据存储RI的对数、RI的平方根或RI的另一函数。
框72和74对比率数据96进行编码。在此典型实施例中，编码包括在框72中对比率数据96进行下采样，以产生下采样比率数据98，以及然后，对下采样比率数据98进行压缩，以产生编码的比率数据100。可以基于使得HDR图像部分16B小以及使得根据HDR数据结构16重建的HDR图像以最高保真度再现HDR图像数据90的竞争目标(competing goal)来选择在框72中执行的下采样的量。在本发明的一些实施例中，比率数据96被充分地下采样，使得下采样比率数据98的像素是比率数据96的1/4到1/15。
例如，下采样可使用高斯滤波器核(Gaussian filter kernel)来执行，高斯滤波器核遵循加权公式e-(x^2/R^2)，其中x是输入图像中与输出像素的中心的距离，R是下采样半径。下采样半径可定义为这样的区域在该区域下，有贡献的输入像素的权重共计为输出像素总值的一显著部分。
可以在框74中执行任何合适形式的数据压缩。在本发明的一些实施例中，框74执行JPEG编码。在本发明的其它实施例中，框74执行MPEG编码。
在框76中，重建的比率数据102通过对编码的比率数据100进行解码来创建。由于框74和76中的数据损失，重建的比率数据102一般与比率数据96不相同。
在框78中，通过将框70中应用于比率数据的函数的反函数应用于重建的比率数据102、以及然后对于每个像素将重建的色调映射数据94中的像素的亮度与该结果相乘，来创建重建的HDR图像数据104。例如，如果比率数据96存储如等式(1)中所定义的值RI，则可通过将重建的色调映射数据94中的每个像素的亮度乘以来自重建的比率数据102的RI的对应值来获得重建的HDR图像数据104。例如，如果比率数据存储自然对数值In(RI)，则可通过将自然对数的底数e上升至重建的比率数据102中的值的幂、并然后将该结果与重建的色调映射数据94中的每个像素的亮度相乘来获得重建的HDR图像数据104。
由于重建的比率数据102与原始比率数据96不相同，并且由于比率数据96中的舍入误差(通常较不重要)，重建的HDR图像数据104将与原始HDR图像数据90不相同。可选地，框80将重建的HDR图像数据104与原始HDR图像数据90相比较，以确定是否需要任何校正，并确定将如何执行校正。可通过校正色调映射部分16A的数据和/或通过校正HDR信息部分16B的数据来执行校正。一些方法简单地执行这些校正中的一个或另一个。
框82获得校正的色调映射数据106。可通过将原始HDR图像数据90除以重建的比率数据102来获得校正的色调映射数据106。然后如果必要，则对校正的色调映射数据106进行编码，如框83所示，并在框84中将校正的色调映射数据106存储为HDR数据结构16的色调映射数据部分16A。此预校正可以在可获得重建的比率数据102之后的任何时间执行。对许多场合来说，此预校正未使可通过利用传统图像观看器来观看色调映射数据部分16A来看到的图像显著劣化。此校正趋向于使得色调映射部分16A表示的图像比没有此校正的情形下有些锐化。在框86中，重建的HDR图像数据104可存储为HDR数据结构16的HDR信息部分16B在某些情形下，改变存储在色调映射部分16A中的色调映射数据是不需要的。例如，编码的色调映射数据92可能已被仔细优化，以在利用特定观看器例如DVD播放机中的MPEG解码器观看时提供最佳图像质量。在这样的情形下，编码的色调映射数据92可存储在数据结构16的色调映射部分16A中，并且比率数据96可存储在HDR数据结构16的HDR信息部分16B中。对根据数据结构16所产生的HDR图像的外观的校正可通过在重建HDR图像时校正HDR信息部分16B来进行。例如，HDR信息部分16B中的数据可通过能够处理HDR图像的观看器来校正。
图5是图示了方法110的操作的流程图，方法110将后校正施加于HDR信息部分16B中的数据，以减少由HDR信息部分16B的有损失的编码所导致的假象。方法110可在能够处理HDR图像的处理器上执行。在框112，由标准解码器对色调映射数据部分16A进行解码，以产生标准图像19。在框114，使用解码的色调映射信息来校正HDR信息部分16B。在框116，由HDR解码器对校正的HDR信息进行解码，以产生重建的HDR图像21。
在简单的情形下，如果由色调映射数据部分16A表示的全分辨率图像的空间频率内容与比率数据96基本上相同，则校正的比率数据可通过执行下列计算来获得RICORRECTED=RI×L(TM)L(TMR)---(2)]]>其中RICORRECTED是校正的HDR信息所基于的RI的校正值；RI是来自比率数据96的像素的比率；L(TM)是来自色调映射数据91的像素的亮度；而L(TMR)是已经以与框72中所执行的相同的方式被下采样以产生下采样比率数据98的色调映射数据的对应像素的亮度。色调映射数据可以与比率图像RI相同的方式被下采样，然后再被上采样，以使TM和TMR具有相同的分辨率。
此简单校正并非总是适当的，因为对于所有图像，比率数据96中所呈现的空间频率与色调映射数据91中所呈现的空间频率不相同。因此，优选地在校正函数中包括了一个因子，该因子考虑了比率数据96中的RI的值与对应的L(TMR)的值之间的比率的偏差(variance)。考虑此偏差的一种方法是根据下面的等式来生成校正的值RICORRECTEDRICORRECTED=RI×(L(TM)L(TMR))σ---(3)]]>其中σ是对比率数据96中RI的值与对应L(TMR)值之间的比率的偏差的度量。在本发明的一些实施例中，σ根据下面的等式来计算σ=var(RI)var(L(TMR))---(4)]]>偏差函数var(x)可定义为邻域内的像素的x的最大值与最小值之间的差除以该邻域内的x的平均值或除以位于该邻域中心的像素的x的值。例如，可以在以所讨论的像素为中心的一块像素的范围内来计算偏差。在其范围内计算σ的邻域的大小优选地等于用于框72的下采样的下采样半径。
由于框114所提供的后校正可引入假象，所以需要保守地选择校正的量值。例如，如果var(L(TMR))大于试图校正的误差，则σ可设定为零。误差的量值可通过框80的比较来确定，并被存储在数据结构16中。还需要确保0≤σ≤1。如果允许σ具有大于1的值，可导致RICORRECTED的值高得不合期望。
在可选地执行框82、83和84的预校正并且还允许在观看HDR图像时执行框83的校正的本发明的实施例中，需要在数据结构16中包括指示是否已执行预校正的标志。该标志优选地提供于注释字段或应用扩展字段中，可被不支持HDR图像的标准显示器所忽略。
在某些情形下，HDR显示器能够重现传统显示器的色阶之外的颜色。需要提供一种机制，其允许高保真地再现原始HDR图像数据所规定的颜色。提供增强色的一种方法是对颜色信息进行缩放，使得具有可由用来对色调映射部分16A进行编码的编码器(例如，其可以是JPEG编码器或MPEG编码器)有效处理的范围之外的基本成分的任何颜色被缩放回可由该编码器处理的范围内。可调整比率数据，以正确地恢复被缩放的颜色。
提供增强色的一种方法是在创建色调映射部分16A的同时对图像施加整体去饱和。可选择去饱和的量，以确保图像中的所有颜色在可由用来对色调映射部分16A进行编码的JPEG编码器或其它编码器有效处理的范围之内。在此方法和上述方法二者中，优先选择此方法，因为其能够处理具有负的基本成分的颜色。负的基本成分在某些HDR格式中是允许的，并且可能对于表示标准RGB色阶之外的颜色是必需的。在由HDR观看器解码期间，去饱和过程可以是反向的。
输入颜色饱和水平可定义如下S≡1-min(R,G,B)Y---(5)]]>其中S是饱和水平；R、G和B分别是红、绿和蓝基色成分的值；而Y是总体亮度。如果图像包含基色成分的任何负值，则饱和水平将具有大于1的值。
如果饱和水平为零，则不需要对图像进行附加的处理。如果饱和水平不为零，则饱和水平可根据下面的等式来修改S′=α×Sβ---(6)]]>其中，α和β是参数；S′是校正的饱和度。α参数指示在编码的颜色中保持多大的饱和度。
可通过导出图像每个像素的基本成分的新值来实现饱和水平的改变。在一些实施例中，这根据下面的等式来执行R′=(1-S′S)Y+S′SR---(7)]]>以及
G′=(1-S′S)Y+S′SG---(8)]]>以及B′=(1-S′S)Y+S′SB---(9)]]>其中R′、G和B′分别是R、G和B的缩放值。
注意，此变换不改变亮度Y。在变换之前为最小的基本成分在变换之后保持最小。原始颜色值可通过对等式(7)、(8)和(9)取反来恢复。例如，如果一像素的具有最小值的基色成分为蓝，则该像素的针对蓝通道的反变换由下面的等式给出B=Y-Y×(Y-B1αY)1/β---(10)]]>而针对红和绿通道的反变换分别由下面的等式给出R=Y-(Y-R′)α(1-BY)1-β---(11)]]>以及G=Y-(Y-G′)α(1-BY)1-β---(12)]]>实例如上所述，多个HDR图像存储在HDR数据结构16中。原始图像与根据HDR数据结构16重建的HDR图像作比较。Digital Image andHuman Vision，A.B.Watson editor，MIT Press，Cambridge Massachusetts，1993中的Daly等的“The visual differences predictorAn algorithm for theassessment of image fidelity”中描述的Daly视差预测器(VDP)被用来评估在典型的观看条件下人可察觉的、可能与原始HDR图像的对应像素不同的重建的HDR图像中像素的百分数(例如具有大于75％的概率)。VDP是预测何时可察觉图像之间的差异的优秀预测器。
第一组实验涉及使用各种色调映射算子来产生色调映射部分16A，且对于每个色调映射算子，根据上述校正方法之一来校正色调映射部分16A或HDR信息部分16B。色调映射部分16A和HDR信息16B的每个使用JPEG编码以两个质量水平90和100来编码。此组实验产生表I所示的结果。
表I中的VDP值是多个图像的平均。可以看到，色调映射算子的选择可对可根据HDR数据结构16重建的HDR图像的质量有相当的影响。在这些实验中所使用的色调映射算子中，平均起来，双边滤波器看来似乎提供了最佳结果。
本发明的特定实施包括执行软件指令的计算机处理器，所述软件指令使得处理器执行本发明的方法。例如，计算机系统中的一个或多个处理器可通过执行处理器可访问的程序存储器中的软件指令来实施图1到5中的任何方法。本发明还可以程序产品的形式提供。该程序产品可包括承载一组计算机可读信号的任何介质，该组计算机可读信号包括由计算机处理器执行时使得数据处理器执行本发明的方法的指令。根据本发明的程序产品可以是多种形式的任一种。例如，该程序产品可包括物理介质，如包括软盘、硬盘驱动器的磁数据存储介质、包括CD ROM、DVD的光数据存储介质、包括ROM、快闪RAM等的电子数据存储介质、或传输型介质，如数字或模拟通信链路。可选地，指令可以压缩的和/或加密的格式存在于计算机可读信号中。
如果一部件(例如软件模块、处理器、组件、设备、电路等)指的是上述部件，除非另外指出，对该部件的引用(包括对“装置”的引用)应解释为包括该部件的等同，执行所述部件功能(即功能上等同)的任何部件，包括在结构上不等同于执行本发明所示典型实施例中功能的所公开的结构的部件。
根据前面的公开，对于本领域的技术人员显而易见的是，可以在不背离本发明的精神和范围的情况下，对本发明的实践进行多种改变和修改。因此，本发明的范围应根据由下面的权利要求所限定的实质来解释。
权利要求
1.一种用于对具有初始动态范围的高动态范围图像数据进行编码的方法，所述方法包括获得对应于所述高动态范围图像数据的色调映射数据，所述色调映射数据具有低于所述初始动态范围的减小的动态范围；计算比率数据，所述比率数据包括所述高动态范围图像数据中的值与所述色调映射数据中的对应值的比率；基于所述比率数据来生成高动态范围信息；基于所述色调映射数据来生成色调映射信息；以及将所述高动态范围信息和所述色调映射信息存储在数据结构中。
2.根据权利要求1的方法，其中所述数据结构包括图像字段和应用扩展字段，并且存储所述高动态范围信息和所述色调映射信息包括将所述高动态范围信息存储在所述应用扩展字段中以及将所述色调映射信息存储在所述图像字段中。
3.根据权利要求1的方法，其中生成所述色调映射信息包括对所述色调映射数据进行JPEG编码。
4.根据权利要求3的方法，其中所述数据结构包括JFIF数据结构。
5.根据权利要求4的方法，包括将所述高动态范围信息存储在所述JFIF数据结构的应用扩展中。
6.根据权利要求4的方法，包括将所述高动态范围信息存储在所述JFIF数据结构的注释字段中。
7.根据权利要求6的方法，包括在将所述高动态范围信息存储在所述注释字段中之前将所述高动态范围信息编码为文本。
8.根据权利要求4的方法，其中生成所述高动态范围信息包括压缩所述比率数据。
9.根据权利要求8的方法，其中压缩所述比率数据包括对所述比率数据进行下采样。
10.根据权利要求8的方法，其中压缩所述比率数据包括对所述比率数据进行JPEG编码。
11.根据权利要求1的方法，其中生成所述色调映射信息包括对所述色调映射数据进行MPEG编码。
12.根据权利要求11的方法，其中所述数据结构包括MPEG数据结构。
13.根据权利要求12的方法，包括将所述高动态范围信息存储在所述MPEG数据结构的应用扩展中。
14.根据权利要求12的方法，包括将所述高动态范围信息存储在所述MPEG数据结构的注释字段中。
15.根据权利要求13或权利要求14的方法，包括针对MPEG视频的每个帧存储所述高动态范围信息。
16.根据权利要求13或权利要求14的方法，包括仅针对MPEG视频的关键帧存储所述高动态范围信息，传统MPEG关键帧插入技术用来为所述关键帧创建关键帧间帧。
17.根据权利要求11的方法，其中生成所述高动态范围信息包括压缩所述比率数据。
18.根据权利要求17的方法，其中压缩所述比率数据包括对所述比率数据进行下采样。
19.根据权利要求17的方法，其中压缩所述比率数据包括对所述比率数据进行MPEG编码。
20.根据权利要求1的方法，其中所述色调映射数据通过有损失的编码来编码，并且所述方法包括对所述色调映射数据进行解码、以及随后根据所解码的色调映射数据来计算所述比率数据。
21.根据权利要求20的方法，包括在对所述色调映射数据进行解码之前通过所述有损失的编码方法对所述色调映射数据进行编码。
22.根据权利要求20或权利要求21的方法，其中存储所述色调映射信息包括存储所编码的色调映射数据。
23.根据权利要求22的方法，其中生成所述高动态范围信息包括压缩所述比率数据，以产生压缩的比率数据。
24.根据权利要求23的方法，其中压缩所述比率数据包括执行所述比率数据的有损失的压缩。
25.根据权利要求24的方法，其中压缩所述比率数据包括对所述比率数据进行下采样。
26.根据权利要求24或权利要求25的方法，其中压缩所述比率数据包括对所述比率数据进行JPEG编码。
27.根据权利要求24或权利要求25的方法，其中压缩所述比率数据包括对所述比率数据进行MPEG编码。
28.根据权利要求23到27中的任何一项的方法，其中生成所述色调映射信息包括根据所述压缩的比率数据来重建所述比率数据以及将所述高动态范围图像数据除以所重建的比率数据。
29.根据权利要求23到27中的任何一项的方法，其中生成所述高动态范围信息包括将校正函数应用于所述比率数据，所述校正函数基于所述色调映射数据。
30.根据权利要求29的方法，其中所述校正函数包括L(TM)与L(TMR)的比率，其中L(TM)是所述色调映射数据中像素的亮度，而L(TMR)是已被下采样的色调映射数据的对应像素的亮度。
31.根据权利要求29的方法，其中所述校正函数的形式为RICORRECTED=RI×(L(TM)L(TMR))σ]]>或其数学等价式，其中σ是数值参数。
32.根据权利要求31的方法，其中σ是L(TM)与L(TMR)的比率的偏差的度量。
33.根据权利要求32的方法，其中σ根据下面的等式来计算σ=var(RI)var(L(TMR))]]>
34.根据权利要求1到33中的任何一项的方法，其中生成所述高动态范围信息包括计算所述比率数据的数学函数。
35.根据权利要求34的方法，其中所述数学函数包括对数计算。
36.根据权利要求1的方法，其中获得所述色调映射数据包括利用色调映射器而不削减颜色或亮度值来生成所述色调映射数据。
37.根据权利要求1的方法，其中获得所述色调映射数据包括利用色调映射器来生成所述色调映射数据，所述色调映射器保持所述色调映射数据的每个像素的颜色和亮度比率。
38.一种用于表示具有初始动态范围的高动态范围图像的数据结构，所述数据结构包括色调映射部分和高动态范围信息部分，所述色调映射部分包含表示所述图像的色调映射信息，所述色调映射部分具有小于所述初始动态范围的减小的动态范围；所述高动态范围信息部分包含描述所述色调映射部分中的值与所述高动态范围图像的对应值的比率的信息。
39.根据权利要求38的数据结构，其中所述色调映射部分中的值是亮度值。
40.根据权利要求38的数据结构，其中所述色调映射信息是JPEG编码的。
41.根据权利要求40的数据结构，其中所述数据结构构成JFIF数据结构。
42.根据权利要求41的数据结构，其中所述高动态范围信息部分包括至少一个JFIF应用扩展。
43.根据权利要求41的数据结构，其中所述高动态范围信息部分包括JFIF注释字段。
44.根据权利要求38的数据结构，其中所述色调映射信息是MPEG编码的。
45.根据权利要求44的数据结构，其中所述数据结构构成MPEG数据结构。
46.根据权利要求45的数据结构，其中所述高动态范围信息部分包括至少一个MPEG应用扩展。
47.根据权利要求47的数据结构，其中所述高动态范围信息部分包括MPEG注释字段。
48.根据权利要求46或权利要求47的数据结构，其中所述高动态范围部分与MPEG视频的帧相关联。
49.根据权利要求46或权利要求47的数据结构，其中所述高动态范围部分与MPEG视频的关键帧相关联，传统MPEG关键帧插入技术用来为所述关键帧创建关键帧间帧。
50.根据权利要求38到49中的任何一项的数据结构，其中所述色调映射信息针对所有像素规定非零值。
51.根据权利要求38的数据结构，其中所述高动态范围信息是压缩的。
52.根据权利要求38的数据结构，其中所述高动态范围信息是JPEG编码的。
53.根据权利要求38的数据结构，其中所述高动态范围信息是MPEG编码的。
54.根据权利要求52或权利要求53的数据结构，其中所述色调映射信息具有大于所述高动态范围信息的图像尺寸的图像尺寸。
55.用于对具有初始动态范围的高动态范围图像数据进行编码的设备，所述设备包括用于计算比率数据的装置，所述比率数据包括所述高动态范围图像数据中的值与对应于所述高动态范围图像数据的色调映射数据中的对应值的比率，所述色调映射数据具有低于所述初始动态范围的减小的动态范围；用于基于所述比率数据来生成高动态范围信息的装置；用于基于所述色调映射数据来生成色调映射信息的装置；以及用于将所述高动态范围信息和所述色调映射信息存储在数据结构中的装置。
全文摘要
一种限定高动态范围图像的数据结构，包括具有减小的动态范围的色调映射以及HDR信息。所述高动态范围图像可根据所述色调映射和所述HDR信息来重建。所述数据结构可对传统硬件或软件观看器向后兼容。所述数据结构可包括JFIF文件或MPEG文件，所述JFIF文件使所述色调映射编码为JPEG图像，所述HDR信息在所述JFIF文件的应用扩展或注释字段中；所述MPEG文件使所述色调映射编码为MPEG图像，所述HDR信息在所述MPEG文件的视频或音频通道中。用于对所述数据结构进行编码或解码的设备和方法可施加预校正或后校正，以补偿所述高动态范围信息的有损失的编码。
文档编号G06T5/00GK1954344SQ200480042828
公开日2007年4月25日 申请日期2004年12月24日 优先权日2004年4月23日
发明者格里戈里·J·沃德, 玛丽安·西蒙斯 申请人:布赖特赛德科技有限公司