将饱和图像变换成不饱和图像的方法

将饱和图像变换成不饱和图像的方法
【专利摘要】方法包含：将多个行分割成饱和像素的区域；针对这些饱和区域，选择不饱和的至少一个色彩通道；然后，针对所述区域的每个像素，对由所述像素的饱和色彩通道所提供的色彩信息添加由所述像素的所选择的不饱和色彩通道所提供的色彩信息与针对该像素的区域计算出的基线色彩值之间的差分。
【专利说明】
将饱和图像变换成不饱和图像的方法
技术领域
[0001] 本发明设及基于来自图像的饱和区域的不饱和色彩通道的色彩信息来重构运些 区域。
【背景技术】
[0002] 多数现有的相机只可W捕获单次曝光内的有限范围的照明。相机设置的错误选择 W及相机传感器的物理约束限制了对于给定的曝光时间和放大器增益可W捕获并存储为 图像的最大发光值。因此，无法精确地捕获超出相机传感器元件的最大能力的场景发光值， 导致所捕获的图像中的过度曝光或色彩饱和的区域。
[0003] 图像的明亮图像区域的饱和当然是不期望的，因为其视觉上降低了图像的品质。 在高动态范围化DR)成像的情况下，具体地，在逆色质映射的情况下，丢失明亮图像区域中 的细节特别是个问题。在显示器性能方面的最近的进展表明，消费者显示器在不远的将来 能够显示皿R内容，运需要针对运种新的显示形式准备现有的内容。多数当前的逆色质映射 解决方案检测并扩展图像中的明亮区域，因此，W健壮的方式恢复运些区域中的丢失的色 彩信息是至关紧要的。
[0004] 图像色彩饱和可W采取两种形式，其通常使用显著不同的方法来处理。如果图像 的饱和部分的色彩的全部=个色彩通道由于饱和而被修剪，则在图像的该部分中存在不健 壮的色彩信息，因此，校正方法依赖于从图像的其余部分所获得的用W使丢失的像素产生 幻觉的有问题的信息，或者依赖于基于该图像的全局在前部分在丢失信息中进行的填充。 另一方面，如果在图像的一部分中仅RGB成分中的一个或两个是饱和的，则能够使用未修剪 的通道中的色彩信息或者通过将其与来自附近图像区域的信息相结合，来重构经修剪的色 彩通道中的丢失信息。本发明设及该第二形式的图像色彩饱和。
[0005] 由于特别是在RGB色彩空间中的色彩通道之间的强相关性（参见E. Reinhard和 T.Pouli，（'Colour spaces for colour transfer，，，IAP民 Computational Color Imaging Workshop，ser. Lecture Notes in Computer Science，民.Schettini、S.Tominaga和 A.Tremeau^Eds. Springer Berlin Heidelberg，2011-invited pater，第6626卷，第1-15 页），涉及上述第二形式的多数方法处理RGB色彩空间中的图像。在最简单的情况下，色彩通 道之间的全局相关性可^^全局贝叶斯模型的形式来确定，并且可^用于恢复由于饱和而 丢失的色彩信息的处理中（参见X? Zhang和D .H. Brainard，"Estimation of saturated pixel values in digital color imaging，'，J0SA A，第21 卷，第12号，第2301-2310页， 2004页）。
[0006] 可^通过使用相同空间区域内的未修剪的色彩通道中的信息来利用色彩通道之 间的相关性D在S.Z.Masood、J.Zhu和M.F.l'appen的"Automatic correction of sa化rated regions in photographs using cross-channel correlation^^ (Computer Graphics Forum,第28卷，第7号，Wiley Online Library,2009年，第 1861-1869页）中，Zhang等人的贝 叶斯建模方法(参见上文)被扩展并且使用像素与它们的邻域之间的关系W估计RGB通道之 间的比率。
[0007] 该方法依赖于两个成本函数的最小化，其显著地增加了其计算复杂度。另外，使用 邻域信息可能导致不正确的色调值。
[0008] 本发明的目的是避免前述的不足。

【发明内容】

[0009] 将饱和图像变换成不饱和图像的方法还依赖于色彩通道之间的相关性，但是选择 简单的统计量，W便恢复修剪的色彩信息W及增强跨越图像的不同行的色彩的空间一致 性。
[0010] 另外，与先前的方法不同，本方法被设计为对图像的行轮廓进行操作，使其良好地 适合于硬件应用和显示器侧的处理。
[0011] 本方法依赖于在过度曝光的图像区域中RGB成分倾向于不在相同的空间位置处修 剪运一事实。基于色彩通道在空间上强相关的假设，本方法通过考虑相同空间位置处的未 修剪的色彩通道内的变化来重构一个色彩通道的过度曝光的区域。
[0012] 本发明的主题是一种将饱和图像变换成不饱和图像的方法，其包含：
[0013] 将饱和图像分割成其色彩具有饱和的线性RGB色彩空间中的至少一个色彩通道的 像素区域，并且对于运些饱和区域中的每个，
[0014] 在针对区域的像素提供所述线性RGB色彩空间中的色彩信息的不同的色彩通道之 中，选择在所述区域上不饱和的至少一个色彩通道，
[0015] 对于所述区域的每个像素，用重构的不饱和色彩信息来替换由所述区域的至少一 个饱和色彩通道提供的所述像素的色彩信息，
[0016] 其中，所重构的不饱和色彩信息是由所述像素的所述区域的至少一个饱和色彩通 道所提供的色彩信息和由所述像素的所选择的至少一个不饱和色彩通道所提供的色彩信 息与针对所述像素的区域所计算出的基线色彩值之间的差分的和，从而提供所变换的不饱 和图像。
[0017] 优选地，将区域的基线色彩值计算为在该区域中的至少所有像素上的该区域的参 考色彩通道所提供的最小色彩值。可W考虑其他像素，特别是该区域周围的像素，来计算该 最小色彩值。
[0018] 注意，在6?2367360的第63、66和69^及图8中，饱和像素的所重构的不饱和色彩信 息是所述像素的不饱和色彩通道所提供的色彩信息和差分(而不是如本发明中那样的饱和 色彩通道)的和。在本发明中，假设直至修剪或饱和阔值，在每个色彩通道中所提供的色彩 信息是正确的。如果针对区域的像素W值Gmax修剪色彩通道G，则本发明考虑在没有饱和的 情况下的那些像素的正确的G值将是Gmax加上某个增量，该增量由于饱和/修剪而未被捕获。 在EP2367360中，校正的G值不是Gmax加上某个增量，而是B值加上某个增量或者R值加上某个 增量。在EP2367360中，最大的校正G值将不大于Gmax，因为在本发明中正确的G值总是超过 Gmax,并且因此更接近于真实的场景值。运意味着，本发明特别良好地适合于范围的动态扩 展，亦即适合于将LDR图像变换成皿R图像。
[0019] 优选地，逐行地、即具有饱和像素的行相继地执行分割，并且其中所述区域是行的 片段。优选地，将片段的基线色彩值计算为最小色彩值，在该片段中的所有像素上并且在色 调比接近阔值更接近于该片段的代表性平均色调的相邻行中的邻近于该片段的像素上由 该片段的参考像素通道提供该最小色彩值。优选地，还使用基于属于所述像素的片段的相 同行和/或属于相邻行的其他像素有关的色彩信息的色彩统计量来计算替换由所述至少一 个饱和色彩通道所提供的像素的色彩信息的所重构的色彩信息。优选地，运些相邻行彼此 邻近。
[0020] 本发明的主题还是一种将饱和图像变换成不饱和图像的方法，所述饱和图像的每 个像素的色彩信息通过S个不同的色彩通道来提供，诸如W将该色彩信息表示到RGB色彩 空间中，所述方法包含W下步骤：
[0021] 将所述饱和图像的邻近像素的行分割成其色彩具有饱和的至少一个色彩通道的 邻近像素的片段，W及
[0022] 对于运些饱和片段中的每个，
[0023] 在针对所述片段的像素提供所述线性RGB色彩空间中的色彩信息的不同的色彩通 道上，选择在所述片段上不饱和的至少一个色彩通道，
[0024] 对于所述片段的每个像素，将所述片段的至少一个饱和色彩通道所提供的所述像 素的色彩信息替换为使用针对相同像素由所述片段的所选择的至少一个不饱和的色彩通 道所提供的至少一个色彩信息计算出的重构的色彩信息，
[0025] 从而提供所变换的不饱和图像。
[0026] 优选地，通过将所述片段的至少一个饱和色彩通道所提供的所述像素的色彩信息 和由所述像素的所述片段的所选择的至少一个不饱和的色彩通道所提供的色彩信息与针 对所述片段计算出的基线色彩值之间的差分相加，来计算出片段的像素的所重构的不饱和 的色彩信息。
[0027] 优选地，将片段的所述基线色彩值计算为最小色彩值，在该片段中的所有像素上 W及在其色调比接近阔值更接近于该片段的代表性平均色调的相邻行中的邻近该片段的 像素上、由该片段的参考色彩通道提供该最小色彩值。优选地，相邻的行彼此邻近。
[00%]优选地，所述方法逐行地，即具有饱和像素的行相继地实现。
[0029] 总之，根据本发明的方法包含将行分割成饱和像素的区域，并且针对运些饱和区 域中的每个，选择不饱和的至少一个色彩通道，然后针对所述区域的每个像素，向由所述像 素的饱和色彩通道所提供的色彩信息添加由所述像素的所选择的不饱和色彩通道所提供 的色彩信息与针对该像素的区域所计算出的基线色彩值之间的差分。
[0030] 本发明的主题还是一种将饱和图像变换成去饱和的图像的图像变换设备，其包 含：
[0031] 第一模块，其被配置为将图像分割成其色彩具有色彩饱和的线性RGB色彩空间中 的至少一个色彩通道的像素的区域，W及
[0032] 第二模块，其被配置为通过选择在所述区域的像素上不饱和的至少一个色彩通 道，并且针对那些像素中的每个，将所述区域的至少一个饱和色彩通道所提供的所述像素 的色彩信息替换为由所述像素的所述区域的所述至少一个饱和色彩通道所提供的色彩信 息和由所述像素的所选择的至少一个不饱和的色彩通道所提供的色彩信息与针对所述像 素的区域所计算的基线色彩值之间的差分的和，来对第一模块所提供的每个饱和区域的像 素去饱和。
[0033] 优选地，所述第一模块被配置为将所述图像的每个行分割成作为所述行的片段的 区域。
[0034] 本发明的主题还是一种电子设备，其包含根据本发明的图像变换设备。优选地，该 电子设备是电视机、手机、平板、机顶盒、网关或相机。
【附图说明】
[0035] 通过阅读W下作为非限制性示例给出的描述，并且参照附图，将更清楚地理解本 发明，附图中：
[0036] 图1是例示根据本发明的方法的第一实施例的流程图；
[0037] 图2例示针对每个色彩通道RecUGreen和Blue的在图1的实施例的第一步骤之后所 获得的掩蔽S;
[0038] 图3例示在图1的实施例的第二步骤之后的饱和图像的一行到色彩饱和像素的不 同片段S1、S2、S3、……的分段，其基于它们的色调值而被分组；
[0039] 图4例示图3所示的相同行的所有像素上由=个色彩通道R、G、B所提供的色彩信息 的变化，其中相同的饱和片段si、S2、S3、……通过由S个色彩通道R、G、B中的至少一个所提 供的色彩信息的饱和来标识；
[0040] 图5例示在图3和图4的片段中如何根据图1的实施例的第四步骤将针对该片段的 像素由参考色彩通道所提供的色彩值与针对该片段所计算出的基线色彩值Psi之间差分添 加到由该片段的饱和色彩通道所提供的像素的色彩值；
[0041] 图6例示图1的实施例的第四步骤结束时的、从图5所示的所有色彩通道的去饱和 得到的、在图3所示的相同的行的所有像素上由=个色彩通道R、G、B所提供的色彩信息的变 化；
[0042] 图7是例示根据本发明的方法的第二实施例的流程图。
【具体实施方式】
[0043] 现在将参照图1来描述根据本发明的方法的两个非限制性实施例的不同的步骤。 运些不同的步骤通过使用专用硬件W及与适当的软件相关联的能够执行软件的硬件(一起 形成图像变换设备）来提供。特别地，硬件可W非限制性地包括数字信号处理器（"DSP")硬 件、用于存储软件的只读存储器（"ROM")、随机存取存储器（"RAM" ) W及非易失性储存器。图 像变换设备可W是例如电视机、手机、平板、机顶盒、网关或相机运样的电子消费者设备的 一部分。
[0044] 将在R、G、B色彩通道下进行色彩编码的、大小为M X N个像素的、被标记为I的输入 的8比特RGB饱和图像提供给图像变换设备。如果该图像变换设备是手机、平板或相机的一 部分，则该图像可W直接通过图像的捕获来提供。在运样的情况下，与R、G、B色彩通道相关 联的线性RGB色彩空间优选与图像捕获设备(特别是用于该捕获的图像捕获设备)相关。如 果该图像变换设备是诸如电视机、机顶盒、手机、平板或网关运样的电子设备的一部分，贝U 图像可W通过在它们中集成的图像接收器来提供。在运样的情况下，与R、G、B色彩通道相关 联的线性RGB色彩空间优选与该电子设备或其图像接收器所关联的图像显示设备相关。
[0045] 如有必要，首先从饱和图像W本身已知的方式移除伽马校正（例如假设2.2伽马） W便获得具有在显示设备的线性RGB色彩空间中所表示的色彩数据的图像。该显示设备可 W是任何种类的实际的或虚拟的设备，例如LCD、OLm)显示器、投影仪或者除例如ITU 709运 样的标准的任何设备。对于图像的像素的每个色彩，对应有表示线性RGB空间中的该色彩的 色彩坐标的=个色彩值。每个色彩值与色彩通道R、G或B相关。
[0046] 现在将描述本发明的第一非限制性实施例，其中将图像分割成全部属于像素的相 同行的色彩饱和邻近像素的片段。该实施例的优点是，图像可W逐行地处理，从而需要较低 的计算资源。
[0047] 在该第一实施例的第一步骤中，针对图像的每个色彩通道W本身知道的方式重构 饱和掩蔽SW便标记图像的过度曝光的区域，更准确地说，标记具有该图像在=个色彩通道 的至少一个中饱和的至少一个色彩值的每个像素。在图2中例示运些掩蔽。对于每个色彩通 道，例如通过下面的等式1、使用可W对所有色彩通道公用的或者可W特定于每个色彩通道 的饱和色彩值t来计算饱和掩蔽S:
[004引
烘
[0049] 其中，lm(n，c)是属于图像的行m和图像的列n的像素的色彩通道C中色彩的值，其 中m属于区间[1;M]并且表示行，其中n属于区间[1;N]并且表示列，其中C属于色彩通道R、G 和B的分组并且表示色彩通道。对于8比特RGB图像，阔值t例如对于所有色彩通道是公用的 并且被设置为235(而不是28) W考虑噪声。
[0050] 根据被分配给色彩通道C的饱和掩蔽S的每个像素的值的上述定义：
[0051] 在位置m，n处的像素的值0意味着与该像素相关联的色彩通道C的值是饱和的并且 针对该像素需要重构与该色彩通道相关的色彩信息；
[0052] 该像素的值1意味着与该像素相关联的色彩通道C的值是不饱和的并且不需要重 构色彩信息。
[0053] 在该第一实施例的第二步骤中，图像的邻近像素的行被分割成掩蔽的对应值为0 的邻近像素的片段。那些片段中的任何一个的所有像素被修剪，亦即具有至少一个色彩通 道饱和的色彩。
[0054] 在理想的情况下，将对整个图像执行成为邻近饱和像素的片段的分割W及每个饱 和像素的重构的不饱和色彩信息的所述的计算运两者(参见下面的第四步骤）。然而，在多 数基于硬件的应用中，特别是在图像处理设备集成到电子消费者设备中时，处理作为整体 的饱和图像在计算上将是不可行的。为了解决运一点，如下所述，优选分开地处理已经标记 了邻近饱和像素的至少一个片段的不同行，亦即逐行地处理。有利地，运样的迭代处理仅需 要访问该行W及（如下所述)前面的和随后的a行（亦即区域[m-a，m+a]中的所有行）的色彩 值来处理。当具有低计算资源时，可W将a设置为0或1，而为了增加方法的健壮性，优选更大 的值。当然，图像的像素的行一般是水平的，然后列是垂直的。但是像素的行也可W是垂直 的，然后列是水平的。
[0055] 关于使用在上述第一步骤中建立的饱和掩蔽将饱和图像的像素的行分割成邻近 色彩饱和像素的片段的一种方式，现在将给出更多的细节。在不脱离本发明的情况下，可W 使用将行分割成饱和片段的其他方式，例如那些不需要掩蔽的方式。
[0056] 在该第一实施例中，为了避免引入不连续性并且确保W-致的方式来处理图像的 类似的修剪区域，在图像的每行中，将修剪的像素基于它们的色调值来分组成片段，并且如 下所述那样地对每个分组(亦即片段)的像素分配相同的像素标签。
[0057]属于行m和列n的像素的色调Hm(n) W通常的方式在CKLab色彩空间中被定义为Hm (n) =a;rctan(bm(n) ;am(n))，其中a和b是与该像素的RGB色彩空间中的上述色彩值相对应的 Lab色彩空间中的CKLab色度成分。然后执行图像的像素的行m的分割处理，使得考虑具有 比给定阔值t。(例如tc = 30°)更近的色调值Hm(n)的经修剪和邻近的像素作为该行的相同片 段的一部分，并且因此被分配相同的标签Sm,1。因此，属于行m和列n的像素的标签Sm,1可W根 据等式2定义如下：
[005引 Sm,姻果 AH(m，n)<tc并且Sm(n，c)三 1
[0059] Sm,(i+l)如果AH(m，n)>tc并且Sm(n，c)三l
[0060] 0 否则
[0061] 其中，i属于区间[l，Lm]，Lm为行m中的经修剪的片段的数量，
[0062] 其中，关于像素位置m，n的函数AH(m，n)在等式3中定义：
[0063] AH(m，n)=min( |Hm(n)-Hm(n+l) I，360-|Hm(n)-Hm(n+l) I ) 等式(3)
[0064] 其中，Hm(n)是如上所定义的该像素的色调。
[0065] 在包含色彩饱和像素的行m的该分割步骤结束时，如图3和图4所示，在该行中存在 色彩饱和像素的Lm个片段S1、S2、S3、……、SLm，它们的色彩值需要针对相同的至少一个色彩 通道来重构。在图4中，饱和的RGB色彩空间的色彩通道可W在每个片段S1、S2、S3、……中是 等同的。使用图像的每个行中的相似的色调值对经修剪的像素进行分组的处理是可选的， 但是优选的，因为其确保相似的色度的像素将被相似地处理，并且因此将能够在重构用于 去饱和的色彩信息之后获得更一致的外观。
[0066] 在第一实施例的第S步骤中，对于行m的饱和片段Sl、S2、……、Si、……、SLm中的每 个Si,在提供该片段的像素的色彩信息的不同色彩通道之中选择出不饱和的至少一个色彩 通道。该所选择的色彩通道被称为参考色彩通道Cref,因为其将被如下所述的那样地用于重 构该片段的像素的色彩信息。根据下面的表格1中定义的规则，基于该片段的饱和色彩通道 的标识，例如使用图4所示的不同通道所提供的色彩信息，在片段的未修剪的色彩通道之中 选择出该参考通道Cref。
[0067] 表格 1 [006引
[0069]根据该规则，如果在片段中仅修剪一个色彩通道(在表格1中的情况1、2和3)，将未 修剪的通道中的一个选择为用于去饱和校正的参考色彩通道。在可能的情况下，在该选择 中绿色通道优选为偏好，因为发现该通道对于其余通道是更好的预测器。运阻止其由于通 常在相机中所使用的色彩滤波器阵列而与图像亮度的高相关性。在两个色彩通道是饱和的 情况下（表格1中的情况4、5和6)，仅选择未修剪的色彩通道作为将被用于去饱和校正的参 考色彩通道。最后，如果在该片段中所有色彩通道都是饱和的，则根据被应用于图像的其余 部分的校正来应用简单的亮度扩展(见下文）。
[0070] 在第一实施例的第四步骤中，在如上所定义的行的每个饱和的片段中，与该片段 的所标识的饱和色彩通道有关的每个像素的色彩值被替换为通过至少使用与在上述第= 步骤中所选择的该片段的参考色彩通道有关的相同像素的色彩值而计算出的重构的不饱 和色彩值。
[0071] 在该步骤中，每个所检测的片段的像素的饱和通道根据针对该片段所选择出的参 考色彩通道Cref所给出的信息来去饱和。
[0072] 现在将针对具有一个或两个饱和色彩通道的行m的片段Si的运些饱和色彩通道中 的一个来描述用于该片段的像素的去饱和的色彩校正。对于该校正，如下所述，由该片段的 参考色彩通道Cref所提供的一些色彩信息将被传递给该片段的饱和色彩通道。为了实现该 校正而不引入图像的类似区域之间的不一致性(例如，在相同对象上的多个高光），除了基 于色调分割成上述第二步骤的像素的片段之外，还使用色调一致性约束。运种类型的色调 约束是可选的，但是优选的。
[0073] 假设与片段Si的参考色彩通道Cref有关的色彩值的变换可W被用于重构该片段Si 内的像素的另外的色彩通道中的丢失的色彩信息。然而，色彩值无法被直接从参考色彩通 道传递给饱和色彩通道，因为沿着该片段的饱和通道和沿着相同片段的不饱和通道不提供 相同级别的值。一个比另一个更高。因此，如下所述，优选地，针对该传递执行缩放操作。
[0074] 为了解决该缩放问题，计算与要去饱和的片段Si的参考色彩通道Cref有关的基线 色彩值Psi。在下面详述运样的计算。然而，如图5所示那样地执行传递，亦即，针对该片段Si 的每个像素，将该像素的参考色彩通道Cref的色彩值与针对该片段所计算出的基线色彩值 Psi之间的差分添加到相同像素的饱和色彩通道的色彩值。
[0075] 为了计算行m的饱和片段Si的用于缩放的和与参考色彩通道Cref相关的基线色彩 值Psi,首先在该片段Si的所有像素的CIELab色彩空间中计算出该片段Si的代表性平均色调 出1。然后，如上述的等式3那样地W类似的方式计算该片段Si的该平均色调Hsi与处于k，n处 (其中抑，球，亦即在行m中W及a个前面的W及随后的行中）的像素的色调化(n)的 平均值之间的差分A H化，n)。然后，根据下面的等式4计算出基线色彩值Psi:
[0076]
[0077]
[0078] 运意味着，当a = 〇时，将基线色彩值化i计算为其色度根据基于由I A H(m，n) I Cthue 所定义的接近参数thue的标准足够接近于Hsi的片段Si中的所有像素上的参考色彩通道Cref 所提供的最小色彩值。
[0079] 运意味着，当日>〇时，将基线色彩值Psi计算为在行m的片段Si中的所有像素上W及
在其色调根据I 巧定义的接近参数thus的标准足够接近于Hsi 的相邻行k(其4 朽S于该片段的像素上的参考色彩通道Cref所 提供的最小色彩值。
[0080] 然后，如果存在另外的色彩通道，则针对其重复用于图像的行的片段的所有像素 的饱和色彩通道的色彩值的去饱和的上述色彩校正。在所有=个色彩通道被修剪的片段 中，运些片段的像素的色彩值根据相同行上的像素的经校正的邻近色彩值来扩展，W便获 得局部最大色彩值。运确保完全修剪的像素与被应用于相同行的其他经修剪的片段的一个 或两个色彩通道的校正一致。
[0081] 然后，针对该行的每个片段，迭代上述色彩校正处理。图6示出然后所获得的该行 的所有像素上的=个色彩通道R、G、B所提供的色彩信息的变化。
[0082] 然后，针对包含具有饱和色彩的像素的图像的所有行，迭代上述针对一行像素描 述的处理。
[0083] 在对图像的所有像素去饱和之后，获得去饱和的图像I'，然后W相比于上述的处 理的开始相反的方式进行伽马校正。
[0084] 可选地，为了进一步提高上述方法的健壮性，水平地并且垂直地处理图像。运意味 着，在上述的第一处理之后，饱和图像的行变成列，并且该饱和图像的列变成行，然后在该 饱和图像上，第二次重复去饱和处理，提供第二去饱和图像。通过在两个去饱和的图像上取 得每个像素的每个色彩通道的最大色彩值，计算出最终图像。为了避免在饱和边界附近引 起不连续性，优选地，通过使用区间[t;255]中的输入像素值的简单倾斜(ramp)的未校正的 输入，对经校正的图像进行al地a混合。
[0085] 代替依赖于复杂的图像分析，根据该第一实施例的方法采用从图像的像素的行的 小集合计算出的简单统计量来增强所恢复的区域之间的色调一致性。通过在整个校正过程 中考虑色调信息，该方法产生自然的结果。方法的分割和校正步骤运两者对像素的少量行 进行，使得该方法良好地适合于实时的硬件应用，诸如在扩展动态范围之前在显示器侧校 正图像。尽管计算简单，但是该方法胜过现有的根据若干图像质量和色彩差分度量的部分 饱和校正方案。
[0086] 参照图1，被用于实现该第一实施例的图像变换设备主要包含：
[0087] 第一模块1，其被配置为将具有带有饱和色彩的至少一个像素的图像的像素的每 个行分割成其色彩具有饱和的线性RGB色彩空间中的至少一个色彩通道的邻近像素的至少 一个片段，W及
[0088] 第二模块2,其被配置为对由第一模块1所提供的行的每个饱和片段的像素去饱 和，其通过在提供所述片段的像素的所述线性RGB色彩空间中的色彩信息的不同的色彩通 道之中选择在所述片段上不饱和的至少一个色彩通道Cref,并且将所述片段的至少一个饱 和色彩通道所提供的那些像素中的每个的色彩信息替换为至少使用所述像素的所选择的 至少一个不饱和的色彩通道Cref所提供的色彩信息所计算出的重构的不饱和色彩信息。
[0089] 现在，将参照图7来描述本发明的第二非限制性实施例，其中图像被分割成色彩饱 和的邻近像素的区域，其中给定的饱和区域的像素一般分布在像素的若干行上。
[0090] 在该第二实施例的第一步骤中，针对图像的每个色彩通道，W本身已知的方式，如 上述第一实施例中那样地构造饱和掩蔽S，W便标记图像的过度曝光的区域，更准确地说， 标记具有在=个色彩通道中的至少一个中饱和的至少一个色彩值的该图像的每个像素。运 些掩蔽再次在图2中示出。
[0091] 在该第二实施例的第二步骤中，将图像分割成色彩饱和像素的区域。
[0092] 为了执行该第二步骤，最初，通过检测饱和掩蔽内的连通的色彩成分，将图像分割 成邻近像素的加标签的区域。为此，如果在步骤1的饱和掩蔽中被分配0值的像素（亦即，作 为相同区域的一部分)是近邻，则对它们给出相同的分割标签。当两个像素之间的空间像素 距离小于或等于空间距离近邻阔值时，将运些像素视为近邻。运被视为近邻标准。空间距离 近邻阔值一般包含在4与8个像素之间。如果在步骤1的饱和掩蔽中被分配0值的像素不满足 邻近标准，则对它们给出不同的分割标签，并且因此将被视为属于不同的初始区域。
[0093] 然后，如下那样地，基于色彩相似性和加标签的区域之间的距离，对图像的上述初 始分割进行精细化：
[0094] 1. W本身已知的方式将图像的像素的色彩从RGB色彩空间变换到CIE Lab色彩空 间；
[00巧]2.对于每个加标签的区域r G R，使用
计算平均色彩值，其中I r 表示该区域r内的像素的数量；
[0096] 3.对于每个标签的区域r，使用
f算r与每个其他加标签的区域 P之间的色彩差异；
[0097] 4.对于每个标签的区域r，另外使用W下来计算其到每个其他加标签的区域P的空 间距离Dr(P):
[0098] a. AMr(P)=Hiin IMr-Mp I，其中M表示图像中的每个区域的垂直坐标，
[0099] b. A Nr(P)=Hiin I Nr-Np I，其中N表示图像中的每个区域的水平坐标，
[0100] I
[0101] 5.最后，合并具有小于色彩距离合并阔值的到每个其他加标签的区域P的色彩差 分A Er(P)的加标签的区域和小于空间距离合并阔值的到每个其他加标签的区域P的空间 距罔Dr ( P )。
[0102] 色彩距离合并阔值例如等于10,并且空间距离合并阔值例如等于图像的最大尺度 的1%。
[0103] 在该步骤结束时，获得图像到色彩饱和区域的最终分割。
[0104] 在该第二实施例的第S步骤中，对于每个饱和区域ri、n、……、ri、……、a，，在提 供该饱和区域的像素的色彩信息的不同的色彩通道之中选择不饱和的至少一个色彩通道。 该所选择的色彩通道被称为参考色彩通道c'ref,ri，并且将如下面在步骤4中所描述的那样 地被用于该区域ri的像素的色彩信息的重构。针对每个区域ri，如在第一实施例的第=步骤 中所描述的那样地，选择特定参考通道C ' ref, Tl。
[0105] 如果将术语"片段"替换为"区域"，则该第二实施例的第四步骤类似于第一实施例 的第四步骤。
[0106] 在W上分割步骤2中所定义的每个饱和区域中，对像素的饱和色彩通道去饱和。更 准确地说，如在第一实施例的步骤4中那样地，将与该区域的所标识的饱和色彩通道相关的 该区域的每个像素的色彩值替换为重构的不饱和色彩值。
[0107] 针对每个饱和区域ri，计算与要去饱和的区域ri的参考色彩通道C'ref,Tl有关的基 线色彩值P'ri。该基线色彩值P'ri例如被采取为该饱和区域ri中的所有像素上的参考通道 C ' ref, ri所提供的最小色彩值，并且根据下面的等式来计算：
[010 引
[0109] 具甲，k巧不K域ri内的像累怔置。
[0110] 然后，对于饱和区域ri的每个像素，通过将该像素的饱和色彩通道的色彩值和该 像素的参考色彩通道C'ref,ri的色彩值与针对该区域所计算出的基线色彩值P'ri之间的差分 相加，来获得该像素的重构的不饱和色彩值。
[0111] 在该第二实施例中，针对每个饱和区域完成基线P'ri的计算。运改善图像中的一致 性，因为更多的像素被设及用来计算该基线，并且因为其有利地允许不同的饱和区域更准 确地遵循图像结构。
[0112] 如果存在另外的色彩通道，则针对其重复用于对图像的饱和区域的所有像素的饱 和色彩通道的色彩值去饱和的上述色彩校正。
[0113] 然后。针对图像的每个饱和区域迭代上述色彩校正处理，直到最后的区域n，。
[0114] 在对图像所有饱和区域去饱和之后，获得去饱和图像I'，然后W相比于处理的开 始相反的方式对其进行伽马校正。
[0115] 参照图7,被用于实现该第二实施例的图像变换设备主要包含：
[0116] 第一模块1'，其被配置为将图像分割成其色彩具有色彩饱和的线性RGB色彩空间 中的至少一个色彩通道的像素区域，W及
[0117] 第二模块2'，其被配置为对第一模块1'所提供的每个饱和区域(rO的像素去饱 和，其通过针对运些饱和区域的每个(rO,选择所述区域（Si;r〇的所述像素上不饱和的至 少一个色彩通道(Cref，C'ref,ri)，并且对于那些像素中的每个，将所述区域的至少一个饱和 色彩通道所提供的所述像素的色彩信息替换为所述像素的所述区域的所述至少一个饱和 色彩通道所提供的色彩信息和所述像素的所选择的至少一个不饱和色彩通道（Cref; C 'ref.ri)所提供的色彩信息与针对所述像素的区域(SiJi)所计算出的基线色彩值(Psi;P'si) 之间的差分的和。
[0118] 应当理解，被用于实现第一和第二实施例W及W下所要求保护的任何其他实施例 的图像变换设备可W包含各种形式的硬件、软件、固件、专用处理器或者它们的组合。特别 地，本发明可W实现为硬件和软件的组合。而且，软件可W是有形地实施在程序存储单元上 的应用程序。应用程序可W被上载至包含任何适合架构的机器，并由其执行。优选地，该机 器可W实现在具有诸如一个或多个中央处理单元（"CPU")、随机存取存储器（"RAM")和输 入/输出（"1/炉）接口运样的硬件的计算机平台上。计算机平台还可W包括操作系统和微指 令代码。在本文中所描述的各种处理和功能可W是微指令代码的一部分或者应用程序的一 部分，或者它们的组合，其可W由CPU执行。另外，各种其他外围单元可W连接到计算机平 台，诸如另外的数据存储单元W及在去饱和之前和之后显示图像的监视器显示设备。
[0119] 特别地，该图像变换设备可W是诸如电视机、手机、平板、机顶盒、网关或相机运样 的电子设备的一部分。
[0120] 作为结论，已经描述的将饱和图像变换成去饱和图像的方法利用在自然图像中存 在的空间RGB通道相关性。替代依赖于复杂的图像分析，根据本发明的方法采用从图像的像 素的小集合计算出的简单的统计量。
[0121]虽然W上参照具体实施例描述了本发明，但是应当理解，本发明不限于该实施例。 因此，在下面所要求保护的本发明包括来自在本文中描述的该实施例的变型，运对于本领 域的技术人员是显然的。
【主权项】
1. 一种将饱和图像变换成不饱和图像的方法，其包含： 将所述饱和图像分割成其色彩具有饱和的线性RGB色彩空间中的至少一个色彩通道的 像素的区域，并且针对这些饱和区域中的每个(si; ri)， 在针对所述区域(s1;ri)的像素提供所述线性RGB色彩空间中的色彩信息的不同的色彩 通道之中，选择在所述区域(Sl;n)的像素上不饱和的至少一个色彩通道(Cref;C' ref,rl)， 针对所述区域的每个像素，将所述区域(Sl;ri)的至少一个饱和色彩通道所提供的所述 像素的色彩信息替换为重构的不饱和色彩信息， 其中，所述重构的不饱和色彩信息是由所述像素的所述区域的所述至少一个饱和色彩 通道所提供的色彩信息和由所述像素的所选择的至少一个不饱和色彩通道(Cre3f;C'rrf,η) 所提供的色彩信息与针对所述像素的区域( Sl;ri)所计算出的基线色彩值(psl;p'sl)之间的 差分的和， 从而提供所述变换的不饱和图像。2. 根据权利要求1所述的进行变换的方法，其中，将区域(Sl;ri)的所述基线色彩值(psl; P ' si )计算为在该区域的至少所有像素上由该区域的参考色彩通道(cref ; C ' ref, ri )所提供的 最小色彩值。3. 根据权利要求1至2中的任一项所述的进行变换的方法，其中，逐行地、具有饱和像素 的行相继地执行所述分割，并且其中所述区域是行的片段。4. 一种将饱和图像变换成去饱和的图像的图像变换设备，其包含： 第一模块（1，Γ )，其被配置为将图像分割成其色彩具有色彩饱和的线性RGB色彩空间 中的至少一个色彩通道的像素的区域，以及 第二模块(2,2'），其被配置为通过选择在所述区域(Sl;ri)的所述像素上不饱和的至少 一个色彩通道(cref，c ' ref ,ri)，并且针对那些像素中的每个，将所述区域的至少一个饱和色 彩通道所提供的所述像素的色彩信息替换为由所述像素的所述区域的所述至少一个饱和 色彩通道所提供的色彩信息和由所述像素的所选择的至少一个不饱和的色彩通道（cm; c'^n)所提供的色彩信息与针对所述像素的区域(Sl;ri)所计算的基线色彩值(psl;p' sl) 之间的差分的和，来对第一模块α，Γ)所提供的每个饱和区域(Sl;n)的像素去饱和。5. 根据权利要求4所述的图像变换设备，其中，所述第一模块（1)被配置为将所述图像 的每个行分割为作为所述行的片段的区域。6. -种包含根据权利要求4或5所述的图像变换设备的电子设备。7. 根据权利要求6所述的电子设备，其中，所述电子设备是电视机、手机、平板、机顶盒、 网关或相机。
【文档编号】H04N1/60GK105940666SQ201580006613
【公开日】2016年9月14日
【申请日】2015年1月21日
【发明人】J.克维克, M.A.阿比比, T.F.波利, J.施陶德尔
【申请人】汤姆逊许可公司