用于图像的逆色调映射的方法

用于图像的逆色调映射的方法
【专利摘要】方法包括：通过对像素的空间邻域中的像素的颜色的亮度值进行低通滤波来针对每个像素获取像素扩展指数值E’(p)，通过对像素的空间邻域中的像素的颜色的亮度值的高频率进行提取来获取的像素亮度增强值Yenhance(p)，并且根据等式Yexp(p)＝Y(p)E’(p)x[Yenhance(p)]c来对亮度Y(p)执行逆色调映射。
【专利说明】
用于图像的逆色调映射的方法
技术领域
[0001] 本发明设及高动态范围成像领域，并且特别地解决了扩展低动态范围内容的动态 范围，W使运些内容准备好由具有特别高峰值亮度的显示设备来显示。
【背景技术】
[0002] 显示技术的最新发展已开始W允许对要显示的颜色、亮度和对比度的扩展范围。
[0003] 允许对图像内容的亮度或明度的范围的扩展技术被称为高动态范围成像化igh dynamic range imaging),通常简称为皿R。皿R技术专注于捕捉、处理和显示更宽的动态范 围的内容。
[0004] 虽然已经出现了一些HDR显示设备，并且研发出了能够捕获具有增加的动态范围 的图像的图像摄像头，但可用的皿R内容仍然有非常有限。虽然最近的发展保证了在不久的 将来皿R内容的本地捕获，但运无法处理(acMres S)现有内容。
[0005] 为了为皿R显示设备准备传统的(本文称为LDR低动态范围）内容，也可W使用反向 (reverse)或逆色调映射算子（iTMO, inverse tone mapping operator)。运样的算法处理 图像内容中颜色的亮度信息，用于回复或重新创建原始场景的外观的目的。通常情况下， iTMOs采用传统的（即，LDR)图像作为输入，W全局的方式扩展该图像的颜色的亮度范围，W 及随后局部地处理高光或亮区域，W提升图像中颜色的皿R外观。
[0006] 虽然存在一些iTMO方案，运些方案专注于感知上再现原始场景的外观，并且有赖 于对内容的严格假设。另外，文献中提出的多数扩展方法正朝着动态范围的极端增加进行 优化。
[0007] 通常，皿R成像是通过对颜色的亮度的暗值和亮值之间的动态范围的扩展、和量化 步骤的数量的组合来定义的。为了实现动态范围更极端的增大，许多方法将全局扩展与增 强图像的高光或其它亮区域的外观的局部处理步骤进行组合。文献中提出的已知全局扩展 步骤可W是不同于逆S形的线性或分段线性。
[000引为了增强图像中亮的局部特征，创建亮度扩展图是已知的，其中图像的每个像素 与扩展值相关联W适用于该象素的亮度。在最简单的情况下，图像中的限幅区可被检测到 随后被使用睹峭扩展曲线来扩张，但运样的方案不提供对图像的外观的充分控制。
[0009] 需要一种新颖的iTMO,其目的是通过选择性地且动态地重映射其颜色的亮度及其 对比度范围，来提高图像的视觉美观性。

【发明内容】

[0010] 本发明的目的是通过选择性和动态地重映射图像的颜色的亮度及其对比度范围， 来增强图像的视觉吸引力。基本上，不同的亮度处理被认为对图像的不同部分是必要的。当 在显示侧动态范围扩展的情境中没有可用的场景相关数据时，任何亮度扩展方案需要在尽 可能好地再现原始场景的外观、W及同时确保压缩的伪像或噪声不被扩展之间折衷。因此， 在如下文所述的图像逆色调映射方法中，扩展在空间上是变化的，因此完全适用于图像内 容。
[0011] 因此，本发明的主题是用于图像的逆色调映射的方法，其中图像的颜色在将亮度 从色度分离的颜色空间中表示，方法包括：
[0012] -通过对像素的空间邻域中的像素的颜色的亮度值进行低通滤波，来获取所述图 像的每个像素(P)的像素扩展指数值E'（P)，
[0013] -通过对像素的空间邻域中的像素的颜色的亮度值的高频率进行提取，来获取所 述图像的每个像素(P)的像素亮度增强值Yenhanee(P),
[0014] -将所述图像的每个像素(P)的亮度Y(P)逆色调映射到通过下述两项的乘积获得 的扩展亮度Yexp(P): W该像素的亮度Y(P)为底数、W针对像素获取的像素扩展指数值E'（P) 为指数的幕，和W针对该像素获取的像素亮度增强值为底数、W指数参数C为指数的幕，其 中C大于或等于1。
[001引运表示为
[0016] 指数参数C巧制由像素亮巧增强但巧米细节增强量。因此，更大的C值逐渐增加图 像边缘的对比度。C = I.5的值是优选的。
[0017] 作为亮度值的低通滤波的像素，W获得其像素扩展指数值的空间邻域进行的，运 意味着每个像素将获得它自己的扩展指数。
[0018] 由于在像素的空间邻域中执行了对亮度值的低通滤波来获取其像素扩展指数值， 运意味着每个像素将获得其自己的扩展指数。因此，由此方法获得的亮度范围的扩展在空 间上是变化的，并且适用于图像内容。
[0019] 由于在像素的空间邻域中执行了对亮度值的高频的提取来获取其像素亮度增强 值，运意味着每个像素将获得其自己的亮度增强，并且运样的亮度增强将有利地适用于至 少部分地补偿由执行来扩展亮度的亮度值的低通滤波的空间分量造成的、对图像的细节的 平滑。
[0020] 优选地，低通滤波被执行，使得图像的亮区域内的像素的颜色的增强大于该图像 的暗区域内的像素的颜色的增强。
[0021] 优选地，所述像素扩展指数值E'（P)也通过整形经低通滤波的亮度值来获取，使得 运些值被重分布，从而所获取的图像的均值扩展亮度约等于原始图像的均值亮度。
[0022] 在第一变体中，如果经逆色调映射的图像意欲在具有给定的峰值亮度Dmax的显示 设备上再现，则所述像素扩展指数值E'（P)也优选地通过重缩放经低通滤波的亮度值来获 取，使得W所述图像的像素中最大亮度max (Y)为底数、W针对具有该最大亮度max (Y)的像 素获取的像素扩展指数'1 "
[0023] 运表示为例巧 其中E(P)为通过对该像素 的空间邻域中的像素(P)的颜色的亮度值进行低通滤波直接获取的值，其中a是可用于控制 亮度的整体扩展的重缩放参数。因此，有了项Dmax,图像的亮度处理取决于用于显示该图像 的皿R显示设备的能力，特别是其峰值亮度。
[0024] 该方法随后有利地适用于内容本身和显示设备的亮度范围，并且允许内容的皿R 外观的提高，即使显示设备在动态范围内适度增加时被使用。
[0025] 在第二变体中，所述像素扩展指数值E'（P)优选地通过经由应用到经低通滤波的 亮度值的二次函数整形运些值来获取。
[0026] 优选地，为了计算每个像素的像素扩展指数值，通过计算应用在像素的空间邻域 中的第一高斯函数、与应用在该像素的颜色的亮度值的邻域中的第二高斯函数的乘积，来 在第一变体中执行所述低通滤波。
[0027] 运意味着使用应用在像素的空间域的第一高斯函数、W及应用于亮度范围域的第 二高斯函数来执行滤波。
[0028] 优选地，第一高斯函数的标准差Os的值大于或等于3。
[0029] 第二高斯函数的标准差Or的值应优选地高到足W平滑原始图像中的纹理和噪声， 但也低到足W避免该图像的对象之间的交叉边缘。标准差Or的值优选地从0.1 max(Y)和 0.Smax(Y)之间选出，其中max(Y)是原始图像的所有像素中的最大亮度值。
[0030] 优选地，为了计算像素亮度增强值，通过计算第二低通滤波除W第=低通滤波的 比率执行所述亮度值的高频率的提取，其中，第=低通滤波被配置为比第二低通滤波去除 图像中更多的细节。
[0031] 优选地，为了计算像素的像素亮度增强值，所述第二低通滤波通过计算应用于该 像素的邻域中的第=高斯函数(其具有第一标准差）、与应用于该像素的颜色的亮度邻域中 的第四高斯函数的乘积来执行，并且第=低通滤波通过第二次应用所述第二低通滤波来获 取，其中第二低通滤波具有高于第=高斯函数的第一标准差的第二标准差。
[0032] 通过当在第二次应用所述第二低通滤波时使用第=高斯函数的较高的标准差值， 相较于第二低通滤波第=低通滤波除去图像中的更多细节。因此，所获得的比例对应于高 通滤波。
[0033] 优选地，所述颜色的亮度被编码成小波(wavelet)分解的递增级数（level),每个 级数具有至少一个高频系数化H)和低频率系数化L)，在第二变体中每个像素的像素扩展指 数值被计算为等于W最高级数编码所述像素(P)的颜色亮度的低频系数A(P)=化，随后在 该像素的空间邻域中执行低通滤波。
[0034] 优选地，为了计算像素的像素亮度增强值，通过计算像素的亮度Y(P)与该像素的 低频系数A(P)之差，来执行对位于该像素的空间邻域中的像素的亮度值的高频率的提取。
[0035] 因此，只有从亮度的小波分解的（最高)级数的最低频率子带除去的高频率得W保 留用于对图像的细节的增强。
[0036] 优选地，计算包括将指数系数应用于该差值。该指数系数优选地等于2。
[0037] 本发明的主题还是用于图像的逆色调映射的图像处理设备，其中图像的颜色在将 亮度从色度分离的颜色空间中进行表示，该图像处理设备包括：
[0038] -低通滤波模块，被配置为通过对像素的空间邻域中的像素的颜色的亮度值进行 低通滤波，来获取所述图像的每个像素的像素扩展指数值，
[0039] -整形/重缩放模块，被配置为对由低通滤波模块提供的经低通滤波的亮度值进行 整形/重缩放，
[0040] -高频率提取模块，被配置为通过对像素的空间邻域中的像素的颜色的亮度值的 高频率进行提取，来获取所述图像的每个像素的像素亮度增强值，
[0041] -逆色调映射模块，被配置为将所述图像的每个像素的亮度逆色调映射到通过下 述两项的乘积获得的扩展亮度：W该像素的亮度为底数、W由整形/重缩放模块针对像素提 供的像素扩展指数值为指数的幕，和W高频率提取模块针对该像素提供的像素亮度增强值 为底数、W指数参数C为指数的幕，其中C大于或等于1。
【附图说明】
[0042] 阅读下面的描述本发明将得W更清楚地理解，描述通过非限制性示例的方式给出 并且参考所附附图，其中：
[0043] -图1示出了根据本发明的第一和第二实施例的不同步骤，
[0044] -图2示出了要进行逆色调映射的图像的颜色的YUV坐标的小波分解，
[0045] -图3示出了该图像的小波分解。
【具体实施方式】
[0046] 在图中所示的各种元件的功能可W通过使用专用硬件W及能够与适当的软件结 合来执行相关软件的硬件来提供。
[0047] 应当理解，本发明可W W各种形式的硬件、软件、固件、专用处理器或其组合来实 现。术语"处理器"不应当被解释为专指能够执行软件的硬件，并且可W隐含地包括但不限 于:数字信号处理器（"DSP")硬件、用于存储软件的只读存储器（"ROM")、随机存取存储器 ("RAM" )，W及非易失性存储设备。显然本发明可W作为硬件和软件的组合来实现。此外，软 件可W作为有形地体现在程序存储单元上的应用程序来实现。运样的软件可W采取要集成 到另一软件的插件的形式。该应用程序可W被上传到包括任何适当架构的图像处理设备， 并且由该图像处理设备执行。优选地，图像处理设备在计算机平台上实现，计算机平台具有 诸如一个或多个中央处理单元（"CPU")、随机存取存储器（"RAM" )、W及输入/输出（"1/炉） 接口之类的硬件。计算机平台还可W包括操作系统和微指令代码。本文描述的各种处理和 功能可W是微指令代码的一部分或应用程序的一部分，或者是它们的任意组合，其可W由 CPU执行。此外，各种其它外围单元可W连接到计算机平台，例如附加的数据存储单元、显示 设备、打印单元、……等等。实现根据本发明的方法实施例的图像处理设备可W是能够接收 的图像的任何电子设备(例如，电视机、机顶盒、网关、蜂窝电话、平板电脑)的一部分。
[0048] 用于图像的逆色调映射的图像处理设备(其中图像的颜色在将亮度从色度分离的 颜色空间中进行表示)包括：
[0049] -低通滤波模块，被配置为通过对像素的空间邻域中的像素的颜色的亮度值进行 低通滤波，来获取所述图像的每个像素的像素扩展指数值，
[0050] -整形/重缩放模块，被配置为对由低通滤波模块提供的经低通滤波的亮度值进行 整形/重缩放，
[0051] -高频率提取模块，被配置为通过对像素的空间邻域中的像素的颜色的亮度值的 高频率进行提取，来获取所述图像的每个像素的像素亮度增强值，
[0052] -逆色调映射模块，被配置为将所述图像的每个像素的亮度逆色调映射到通过下 述两项的乘积获得的扩展亮度：W该像素的亮度为底数、W由整形/重缩放模块针对像素提 供的像素扩展指数值为指数的幕，W及W高频率提取模块针对该像素提供的像素亮度增强 值为底数、W指数参数C为指数的幕，其中C大于或等于1。
[0053] 现在将使用如上所述的图像处理设备、参考图1来描述用于图像的逆色调映射的 方法的第一实施例。
[0054] 使用例如图像接收器，图像与和每个像素的颜色相关的所有数据一起被接收，其 中与图像的每个像素相关联的颜色被编码为=个颜色坐标，即一种颜色坐标用于每个颜色 通道R、G和B。
[0055] 在本实施例的第一准备步骤（图1中未示出）中，如果需要的话，所接收的运些颜色 的RGB颜色坐标被W本身已知的方式归一化和可选地线性化，从而所接收到的图像的颜色 被表示在显示设备的RGB颜色空间中。运个RGB颜色空间可W被标准化，并且相应的显示设 备是虚拟的显示设备。随后，运些颜色被转换到将亮度从色度分离的颜色空间，例如YUV颜 色空间。从RGB颜色空间到YUV颜色空间的颜色转换本身是已知的，因此没有详细描述。替代 地可W使用将亮度从色度分离的任何其它颜色空间，例如乂￥2、￥巧、(：16、1^曰13。因此，亮度值￥ (P)和两个色度值U(P)、V(p)与所接收的图像中的任何像素 P的颜色相关联。将要描述的逆 色调映射的方法的实施例的目的是通过将指数值(P)提供给每个亮度值Y(P)，来将运些 亮度值扩展到扩展亮度值。
[0056] 在本实施例的第二步骤中，使用低通滤波模块，对于具有其亮度值为Y(P)的图像 的每个像素 P，通过对像素 P的空间邻域中的像素的亮度值(并且可选地还在亮度值Y(P)的 邻域中）进行低通滤波来获取中间像素扩展指数值E(P)D该低通滤波步骤优选使用高斯函 数。E(P)例如通过W下等式获得：
[0化7]
[0058] 其中fs是应用于图像的空间域的第一高斯函数，W及fr是应用于亮度范围域的第 二高斯函数，其中Q是W像素 P为中屯、的图像的窗口的尺寸，Pi是此窗口中的像素。窗口尺 寸可W是例如5或7。为了计算效率，窗口尺寸的较小的值是优选的。
[0059] 在根据本发明的方法的第一实施例中，随后的低通滤波是双重的(bilateral)。词 语"双重的"指的是滤波既在空间域也在亮度范围域执行的事实。
[0060] 优选地，第一高斯函数fs的标准差Os的值大于或等于2。
[0061] 第二高斯函数fr的标准差Or的值应优选地高到足W平滑原始图像中的纹理和噪 声，但也低到足W避免该图像的对象之间的交叉边缘。标准差Or的值优选地从0.1 max(Y)和 0.Smax(Y)之间选出，其中max(Y)是原始图像的所有像素中的最大亮度值。
[0062] 在第一实施例的具体实现方式中，空间高斯函数fs的标准差被设定为〇s = 3,并且 亮度范围高斯函数fr的标准差设定为Or = O. SXmax(Y)D
[0063] 经由运种低通滤波获取的所有中间像素扩展指数值随后形成中间扩展指数映射E (P)。
[0064] 在本实施例的第=步骤中，使用整形/重缩放模块，中间扩展指数映射是通过使用 S形函数(取决于图像上像素扩展指数值的分布)被整形为最终扩展指数映射，和/或基于将 用于再现经扩展的图像的显示设备的峰值亮度被重缩放。
[0065] 虽然如上述计算出的像素扩展指数值W相对比例指示了每个像素的扩展，运些扩 展值需要被重缩放使得它们符合一组约束。尽管有可用于再现由逆色调映射方法提供的 HDR图像的HDR显示设备的增加的能力，但由该方法获得的扩展HDR图像中的平均亮度应当 优选地保持在能够与原始LDR图像兼容的水平。同时，亮度的扩展应考虑到将用于再现扩展 HDR图像的显示设备的峰值亮度Dmax，从而适当地扩展亮度。因此，经由该第S步骤，整形/ 重缩放像素扩展指数值E'（P)通过W下等式获得：
[0066]
[0067] 其中参数a可用来控制亮度扩展的整体行为，其中E(P)为如上文在第二步骤中计 算出中间像素扩展指数值，其中max化）是图像的所有像素中E(P)的最大值，其中项
t许当Wp) =Hiax(Y)时有Wp)E W = Dmax。
[0068] 参数a的目的是控制亮度扩展的"平面化(flat)"程度。它是的空间上变化的扩展 和常量指数之间的加权平衡。a的较高值意味着亮度扩展更为局部，因此导向更极端的结 果，而a的较低值导向更接近全局的扩展。值0 = 0.1实际上已提供了亮点扩展和对中间色调 的有效管理之间的很好的权衡。
[0069] 在第一实施例的具体实现方式中，参数a设定为值a = 〇.l，因为此值提供了亮点扩 展和对中间色调的有效管理之间的良好折衷。
[0070] 随后所有经整形/重缩放的像素扩展指数值形成最终扩展指数映射E'（P)。
[0071] 在本实施例的第四步骤中，使用高频率提取模块，原始图像中亮度值的高空间频 率被提取，W获取针对图像中亮度值为Y(P)的每个像素 P的像素亮度增强值Yenhance(P)。本 步骤是例如通过如下的=个子步骤执行的。
[0072] 在滤波的第一子步骤，基底层化ase计算如下，Ybase包含图像亮度的较大变化，但不 包括噪声或其它小的特征：
[007；3] Ybase(P)= 2iEQ'Wpi)f's( I |pi-p|| )f'r( I IY(Pi)-Y(P)II )
[0074] 使用与上述相同的高斯函数f's，、f'r，首先在像素 P的空间邻域中使用，并且第二 次在亮度值Y(P)的邻域中使用，其中Q '是W像素 P为中屯、的图像的窗口的尺寸，具有与上 述相同的优选尺寸，并且其中Pl是在窗口中的像素。
[0075] 在第一实施例的具体的实现方式中，空间高斯函数f's的标准差现在设置为o's = 10,并且亮度范围高斯函数f'r的标准差设置为O'r = 0.1 Xmax(Y)。
[0076] 在滤波的第二子步骤中，由第一子步骤中获得的基底层化ase还使用高斯函数(此 次的高斯函数具有更大的亮度范围标准差从而移除图像中更多的亮度细节)进行第二次滤 波，获取Y'base如下：
[0077]
[007引其中是与上述相同的高斯函数，首先在像素 P的空间邻域中使用，并且第 二次在亮度值Y(P)的邻域中使用，其中Q"是W像素 P为中屯、的图像的窗口的尺寸，具有与 上述相同的优选尺寸，并且其中Pl是在窗口中的像素。
[0079] 可选地，Y'base(p)可W被设置成等于如上定义的E(P), W最小化最终HDR图像中 的噪声。
[0080] 在第一实施例的具体实现方式中，空间高斯函数f's的标准差现在设置为〇"s = 〇 'S，并且亮度范围高斯函数f'r的标准差设置为移除图像中更多的亮度细节（即，〇"r>〇'r)。 例如〇"r = 0.3 Xmax(Y)。
[0081] 对于图像中的亮度值的高频率的提取的第立和最后子步骤中，对于图像的每个像 素，像素亮度增强值Yenhance(P)作为第一子步骤的结果化ase(P)除W第二子步骤的结果Y'base (P)得出的比例来计算，从而Yenhance(P) = Ybase(P)/Y'base(P)。由于〇"r>〇'r，该比例对应于图 像中的像素值的高频率的提取。在不脱离本发明的范围的情况下，可W使用其他方式提取 图像中的亮度值的高空间频率。
[0082] 随后所有最终像素亮度增强值形成亮度-增强映射，由于对亮度值的高频率的提 取，当被应用于图像的亮度值时亮度-增强映射将增强其细节，
[0083] 在本实施例的第五步骤中，使用逆色调映射模块，图像的每个像素 P的亮度Y(P)被 逆色调映到扩展亮度Yexp(P),扩展亮度Yexp(P)是通过下述两项的乘积获得的：W该像素的 亮度为底数、W从上述第=步骤获得的最终像素扩展指数值E'（P)为指数的幕，W及W从上 述第四步骤获得的像素亮度增强值为底数、W指数参数C为指数的幕，其中C大于或等于1。 运意味着 Yexp(P) =Y(P)E(P)X[Yenhance(P)]c。
[0084] 指数参数C控制由像素亮度增强值带来细节增强量。因此，更大的C值逐渐增加图 像边缘的对比度。C = I.5的值是优选的。
[0085] 当如上所述地扩展图像的亮度时，亮度和对比度的改变可能影响图像中的饱和度 和颜色的外观。在扩展其亮度范围时，图像的颜色信息可W在第六可选步骤中进行管理，W 保持图像的艺术意图。优选地，颜色饱和度使用的扩展指数值作为指导(guide)进行增强。 更具体地，每个像素的颜色饱和度由等于该象素的扩展指数的因子来增强。像素 P的颜色饱 和度例如通过调节该象素的色度值C(P)来增强，在圆柱YUV空间中计算如下：
[0086]
[0087] 并且调整后的色度值C'（P)作为该像素 P的扩展指数E'（P)、W及该像素 P的色度值 C(P)的乘积来计算，从而：
[0088] C'(P)=E'(p)xC(p)
[0089] 在第一实施例的具体实现方式中，将C(P)转换为C'（P)的色度缩放优选地限制为 1.5倍，W避免过度饱和的亮点，例如避光爆和亮光。
[0090] C'（P)有了新的值，使用从圆柱颜色空间（例如运里的LCH)到YUV空间的惯用转换 方式来计算新的色度U'（P)、V'（P):
[0091] U'（p)=cos[H(p)]XC'（p)
[0092] V'（p)=sin[化(p)]XC'（p)
[0093] 其中H(P)为从原始U'（p)、V'（p)如下计算的原始色彩：
[0094] H(p)=arctan[V(p),U(p)]
[00M]在第五或第六步的结束时，图像的每种颜色的YUV坐标随后被映射到表示YUV颜色 空间中的扩展的颜色新的Y ' U ' V '坐标。
[0096] 在第一实施例的最终的第屯步骤（图1中未示出），扩展颜色的新Y'U'V'坐标W本 身已知的方式转化为表示RGB颜色空间中的相同颜色的对应新的R'G'B'坐标。如果需要的 话，运些R'G'B'坐标去线性化，W例如代表运样的颜色空间中扩展的颜色:在上述第一步骤 中颜色曾在该颜色空间中接收。
[0097] 如在图1中所述，基于运些扩展颜色的扩展图像现在准备好被发送到峰值亮度为 Dmax的显示设备，从而在高动态范围内再现。
[0098] ^
[0099] 通过根据本发明的方法获得的扩展图像尽可能与相同场景的皿R图像看上去近 似。所得到的扩展内容相较LDR输入图像具有较高的视觉质量，即使在只能应用于适度扩展 的情况下也是如此。运种亮度扩展方法增强了亮图像特征，向观看者递送高亮和光源的外 观，同时保留中档值。有赖于用于再现运些扩展图像的显示设备的亮度范围，暗值可W被保 留或进一步压缩，W提高图像中的全局对比度。
[0100] 根据本发明的方法使用空间域中的低通滤波处理来定义用于扩展颜色的亮度的 扩展指数值。该低通滤波处理平滑图像的一些细节。有利的是，对细节的移除由对空间域中 高空间频率(其用于获取应用到扩展亮度的亮度增强因子)的提取来补偿。换言之，执行亮 度值的高通滤波的空间分量，从而至少部分地补偿由亮度值的低通滤波的空间分量造成 的、对图像的细节的平滑。
[0101] 如上所述地对使亮度使用双重的低通滤波器，可W得到有利于图像的亮区域的扩 展映射，同时平滑小局部细节(例如如噪声或条纹伪像）。运允许亮区的扩展，但没有放大噪 声或纹理信息。
[0102] 事实上，目前大多数的皿R LCD显示设备的局限性之一是，相较运些设备前端的液 晶面板，运些设备随空间变化的背光具有较低的分辨率。因此，尽管运样的HDR显示设备可 W达成很高的全局对比度，但在局部对比度受到影响。运在图像的小型高对比度区域(例如 亮点）、或者在暗区和亮区间的尖锐过渡处尤为明显。虽然许多方案可用于增强图像的对比 度，但在逆色调映射的情境中，需要特别小屯、W确保噪声或其它伪像不被同时增强。上文描 述了用于提取图像的高空间频率的双通双重滤波处理特别适用于增强对比度而不增强噪 声和伪像。
[0103] 当像素扩展指数值E(P)被如上所述地整形为E'（P)时，所获得的扩展图像最好利 用用于再现图像的显示设备的可用动态范围。
[0…4] 第一实施例的第一变体
[0105] 对于图像序列（即视频内容）的逆色调映射，上述方法的实施例顺序地进行应用， 序列的一幅图像之后是另一幅图像。如果此方法独立地应用于序列的每个连续图像，可能 难W保证所获得的HDR序列的扩展图像之间的时间相干性。事实上，如果场景中存在移动的 亮的物体，可能会产生闪烁伪像。为了避免运个问题，优选地通过确保扩展连续镜头的均值 亮度保持不变来应用简单的时间处理。对于序列中的图像i(如上述第一实施例所述，已针 对该图像获取了扩展亮度值Y'exp.i)，经调整的扩展亮度值r exp.1被计算如下，并且取代 Y exp. i用于扩展图像：
[0106]
[0107]为了确保在个场景中的强特征不会传播到下一场景，均值在每一镜头的开始处复 位。运可W通过采用现有的镜头检测算法来实现。 陶]第一实施例的第二变体
[0109]此第二变体设及从如上述实施例的第二步骤处获得的中间像素扩展指数值E(P), 计算经整形/重缩放的像素扩展指数E'（P)。现在根据下述等式，提出根据中间像素扩展指 数值E(P)的二次函数来整形像素扩展指数值：
[0110] E'（p)=a[E(p)]2+b E(p)+c
[0111] 需要注意在该等式中，E(P)不像先前的等式中那样由max化(P))来缩放。
[0112] 在第一示例中，上述等式中的参数a、b、c可W被设置为常数，并且针对具体的显示 设备进行优化。
[0113] 在第二示例中，上述等式中的参数a、b、C可根据Dmax来计算。下面的等式例如用于 计算参数a、b、c的值：
[0114] a = Paiexp ( Pa2Dmax ) +Pa3GXp ( Pa4Dmax ) (S_l)
[011 引
（s-2)
[0116] C = 1.3 (s-3)
[0117] 在等式(S-I)和(s-2)中给出的值的示例示出于表1中。
[0118] 表1
[0119]
[0120]
[0121] 在第=示例中，参数a、b、c的值取决于像素扩展指数值E(P)本身的值，从而与E(P) 的暗值形成区分，并且对于E(P)的亮值更好地控制展后得到的图像的亮点和阴影。
[0122] 根据本变体的所有经整形/重新调整的像素扩展指数随后形成取代先前映射的最 终扩展指数映射E，（P)。
[0123] 现在将公开用于图像的逆色调映射的方法的第二实施例，使用如上所述、但具体 针对实现此实施例配置的图像处理设备。
[0124] 与第一个实施例相比，唯一的区别设及：
[0125] -第二步骤，对于每个像素 P，通过对像素 P的空间邻域中的像素的亮度值进行低通 滤波来获取像素扩展指数值E(P)。
[0126] -第四步骤，提取高空间频率来获取图像的每个像素 P的像素亮度增强值Yenhance (P)。
[0127] 在第二实施例中，颜色作为表示将亮度从色度分离的颜色空间（例如YUV颜色空 间）中的运些颜色的=色坐标组来接收。重申，可W替代地使用从色度分离的颜色空间的任 何其它颜色空间。因此，亮度值Y(P)和两个色度值U(P)、V(p)被关联至图像的任意像素 P的 颜色。
[012引更具体地，运些=色坐标组W压缩的格式(其为小波压缩类型)被接收，因此，颜色 的亮度Y(P)被编码成小波分解的递增级数，每个级数具有至少一个高频系数LH和低频率系 数化，例如如图2所述，其中化、LH、化和皿子带分区指示近似图像W及分别具有水平边缘、 垂直边缘和角边缘的图像，例如如图3所示。
[0129]为了创建像素扩展指数映射和像素亮度增强映射，在此实施例中仅使用了小波分 解的一个级数。
[0130] 为了实现方法的第二步骤，使用所谓的化ar提升小波化aar lifting wavelet)实 现方式，并且像素 P的像素扩展指数值E(p)从化子带获得。h(6(n) = {l/^^2;l/^^2}和
是卷积滤波器。
[0131] 因此，运意味着在本实施例的第二步骤中，每个像素的像素扩展指数值被计算为 等于编码该像素 P的颜色亮度的最高级数的低频系数A(P)=化，随后在该像素的空间邻域 中执行低通滤波。
[0132] 实现方法的第四步骤中，通过计算像素 P的亮度Y(P)和该像素的低频系数A(P)的 之差，来执行对空间域中亮度的高频率的提取。更精确地，LL子带(其是原始亮度Y(P)分辨 率除W4的低频率版本A(P))被进行上采样，并且随后从该原始亮度Y(P)中减去，W如下所 述地获得像素亮度增强值 Yenhance(P) : Yenhance(P) = ((Y(p)-cA(p)T2) + 128)/255巧。
[0133] 因此，只有从化子带移除高频被保持用作创建亮度增强映射Yenhanse的基础。
[0134] 所有其它步骤类似于在第一实施例中描述的步骤。当然，因为所获得的扩展颜色 的新Y'U'V'坐标可能不需要被转换成相应的新R'G'B'坐标，可W除去最终的第屯步骤。
[0135] 虽然相对于特定示例和优选实施例描述了本发明，应当理解，本发明并不限于运 些示例和实施例。因此，要求保护的本发明包括来自本文所述的特定示例和优选实施例的 变体，运对本技术领域技术人员是显而易见的。尽管一些具体实施例可W被单独描述并要 求保护，应该理解本文所描述和要求保护实施例的各种特征可组合使用。权利要求中出现 的参考数字仅仅是说明性的，并且应当对权利要求的范围没有限制作用。
【主权项】
1. 一种用于图像的逆色调映射的方法，其中所述图像的颜色在将亮度从色度分离的颜 色空间中表示，所述方法包括： -通过对像素的空间邻域中的像素的颜色的亮度值进行低通滤波，来获取所述图像的 每个像素(P)的像素扩展指数值E'（P)， -通过对所述像素的空间邻域中的像素的颜色的亮度值的高频率进行提取，来获取所 述图像的每个像素(P)的像素亮度增强值Yenhmc^P)， -将所述图像的每个像素(P)的亮度γ(ρ)逆色调映射到通过下述两项的乘积获得的扩 展亮以所述像素的亮度Υ(Ρ)为底数、以针对该像素获取的像素扩展指数值Ε'（ρ) 为指数的幂，和以针对该像素获取的像素亮度增强值为底数、以指数参数c为指数的幂，其 中C大于或等于1。2. 如权利要求1所述的图像的逆色调映射方法，其中所述像素扩展指数值Ε'（ρ)还通过 对经低通滤波的亮度值进行整形来获取，使得这些值被重分布，从而所获取的图像的均值 扩展亮度约等于原始图像的均值亮度。3. 如权利要求1或2所述的图像的逆色调映射方法，适合于在具有给定的峰值亮度Dmax 的显示设备上再现，其中所述像素扩展指数值E'（p)还通过对经低通滤波的亮度值进行重 缩放来获取，使得以所述图像的像素中最大亮度max(Y)为底数、以针对具有该最大亮度max (Y)的像素获取的像素扩展指数值为指数的幂等于所述峰值亮度Dmax。4. 如权利要求1或2所述的图像的逆色调映射方法，其中所述像素扩展指数值E'（p)通 过经由应用到经低通滤波的亮度值的二次函数整形这些值来获取。5. 如权利要求1-4中任一项所述的图像的逆色调映射方法，其中为了计算每个像素的 所述像素扩展指数值，通过计算应用在所述像素的所述空间邻域中的第一高斯函数、与应 用在所述像素的颜色的亮度值的邻域中的第二高斯函数的乘积，来执行所述低通滤波。6. 如权利要求5所述的图像的逆色调映射方法，其中为了计算像素亮度增强值，通过计 算第二低通滤波除以第三低通滤波的比例来执行对所述亮度值的高频率的提取，其中相较 于所述第二低通滤波所述第三低通滤波除去所述图像中的更多细节。7. 如权利要求1-4中任一项所述的图像的逆色调映射方法，其中所述颜色的亮度被编 码成小波分解的递增级数，每个级数具有至少一个高频系数(LH)和低频率系数(LL)，其中 每个像素的像素扩展指数值被计算为等于编码所述像素(P)的颜色亮度的最高级数的低频 系数A(p)=LL，随后在所述像素的所述空间邻域中执行所述低通滤波。8. 如权利要求7所述的图像的逆色调映射方法，其中为了计算像素的像素亮度增强值， 通过计算所述像素的亮度Y(P)和所述像素的所述低频系数A(p)之间的差，来执行对位于所 述像素的空间邻域中的像素的亮度值的高频率的提取。9. 一种用于图像的逆色调映射的图像处理设备，其中所述图像的颜色在将亮度从色度 分离的颜色空间中进行表示，所述图像处理设备包括： -低通滤波模块，所述低通滤波模块被配置为通过对像素的空间邻域中的像素的颜色 的亮度值进行低通滤波，来获取所述图像的每个像素的像素扩展指数值， -整形/重缩放模块，所述整形/重缩放模块被配置为对由所述低通滤波模块提供的经 低通滤波的亮度值进行整形/重缩放， -高频率提取模块，所述高频率提取模块被配置为通过对该像素的空间邻域中的像素 的颜色的亮度值的高频率进行提取，来获取所述图像的每个像素的像素亮度增强值， -逆色调映射模块，所述逆色调映射模块被配置为将所述图像的每个像素的亮度逆色 调映射到通过下述两项的乘积获得的扩展亮度：以所述像素的亮度为底数、以由所述整形/ 重缩放模块针对该像素提供的像素扩展指数值为指数的幂，和由所述高频率提取模块针对 该像素提供的像素亮度增强值为底数、以指数参数C为指数的幂，其中C大于或等于1。
【文档编号】H04N5/235GK105850114SQ201480070990
【公开日】2016年8月10日
【申请日】2014年12月2日
【发明人】塔尼亚·波利, 艾瑞克·莱因哈德, 克里斯特尔·查玛雷特
【申请人】汤姆逊许可公司