专利名称：图像逆色调映射的方法和系统以及编解码器的制作方法
技术领域：
本发明总体上涉及对图像的编码和解码，更具体地说，涉及对具有 可缩放位元深度的图像序列的编码和解码。
背景技术：
在计算机图形学中，色调映射改变图像的动态范围。例如，色调映射可以将高动态范围(HDR)图像转换为低动态范围(LDR)图像，或 者将低动态范围(HDR)图像转换为高动态范围(LDR)图像。在图像 中，该动态范围由被分配用以存储像素亮度值(pixel intensity value)的 位元数量(位元深度)决定。色调映射试图在保持图像外观的同时，避 免从场景亮度值到可渲染范围的强反差衰减(contrastreduction)。常规的视频编码机制(例如，MPEG和ITU系列的视频编码标准) 非常适于具有固定位元深度(例如，8比特/像素(bpp)的视频压縮)。 VHS和DVD上的可获得的消费视频以及数字电视广播通常为8bpp，并 且被称为具有低动态范围(LDR)。具有更大位元深度的视频(例如，10bpp 至24bpp)通常被用于专业应用，并且具有高动态范围(HDR)。图1示出了具有运动估计器110的常规编码器100。该编码器的输入 是固定位元深度的图像序列(或视频)101。该视频中的帧(图像)被划 分为多个块(例如，8x8个或16x16个像素的块)。每次处理一个块。运 动估计器110为要编码的当前块确定存储在帧存储器111中的参考帧的 最佳匹配块。这个最佳匹配块用作当前块的预测帧。相应的运动矢量112 被熵编码(150)。确定(120)输入视频的当前块与由运动补偿预测器130 生成预测块121之间的差信号122。然后，该差信号经过转换/量化处理 (140)，产生一组量化转换系数(纹理)141。这些系数被熵编码(150)， 产生压縮的输出比特流109。对该量化转换系数141执行逆转换/量化(160)，并且将该结果与运动补偿预测121相加(170)，以生成重建的 参考帧171，该参考帧被存储在帧存储器111中并用于由运动补偿预测器 130对输入视频101的连续帧进行预测。该输出编码比特流109基于运动 矢量112和纹理(DC (直流)系数)141的熵编码(150)而产生。图2示出了常规解码器200。输入的编码比特流201被熵解码器210 处理，该熵解码器产生量化转换系数211以及相应的运动矢量212。该运 动矢量被运动补偿预测器220使用以生成预测信号221。量化转换系数 211被逆转换/量化(230)，并与该预测信号221相加(240)产生了重建 的固定(单个)位元深度的视频209。重建的视频帧(其被用于对连续帧 进行解码)被存储到帧存储器250。编码器与解码器的组合被称为编解码 器。当输入图像具有固定位元深度时，上述机制能够获得很好的压缩效 率。目前，大部分消费类显示器只能展现LDR (8bpp)的视频。因此， 可以直接应用常规的编码机制。为了观看具有更大位元深度的视频，需要HDR显示设备。显示技术 的进步使得消费者在不久的将来享受到HDR视频的好处成为可能。为了 有效地支持LDR显示设备和HDR显示设备，需要视频的可縮放表示， 其使得能够对LDR视频和HDR视频这两者或者任意一方进行重建。一种实现可縮放表示(scalable representation)的方法是通过两个独 立的通道(即，分别利用固定位元深度的HDR编码器和固定位元深度的 LDR编码器)来压縮输入的HDR视频和LDR版本。这被称为同时联播 编码(simulcast coding)。然而，由于HDR版本和LDR版本存在冗余， 导致这种方法的压縮效率非常低，并且计算复杂度非常高。Winken等在 "SVC bit-depth scalability, " Joint Video Team of ISO/IEC MPEG & ITU-T VCEG， Doc. JVT-V078, 22nd Meeting, January 2007中描述了一种位元 深度可縮放视频压縮机制。图3示出了位元深度可縮放编码器300。利用色调映射310将输入 HDR视频301下转换为LDR视频101。然后，LDR视频101被压縮以产 生基本层109。利用逆色调映射320将来自基本层的各当前重建帧115上转换为输入视频301的位元深度，以产生逆色调映射帧321。确定(329) 该逆色调映射帧321与该输入HDR帧301之间的差，接着对该差信号进 行转换/量化处理(330)以产生一组量化转换系数331。这些系数被熵编 码(340)以产生增强层341。该增强层比特流341与基本层比特流109 被多路复用(350)以产生输出的位元深度可縮放比特流309。图4示出了对应的解码器400。输入的编码比特流401被解复用(410) 为基本层201以及增强层402。基本层以如上所述的方式被解码。增强层 也被熵解码(210)并被逆转换/量化以产生输出431。在这种情况下，帧 存储器250的输出被逆色调映射(420)，并且该色调映射的输出与输出 431相加以产生输入视频101的重建409。在现有技术的位元深度可縮放视频编解码器中，已知三种逆色调映 射320的方法，包括线性縮放(linear scaling)法、线性插值法、以及 查找表映射法。所有这些方法都对整个视频中所有的帧应用相同的逆色 调映射，当通过局部色调映射310法或基于区域的色调映射310法从HDR 视频产生LDR视频时，其性能并不好。事实上，局部色调映射法被用于许多具有感兴趣区域(ROI)的应用 中。此外，线性縮放和线性插值法相对粗糙，其导致很差的逆色调映射 质量，对全局色调映射LDR视频则更差。査找表映射可获得较好的逆色 调映射结果，但需要初始训练以便通过检査整个视频序列来建立像素亮 度值的映射。这个过程非常复杂，并且将导致在解码和显示之前产生相 当大的初始延迟，可能不适合许多实时的应用。并且，该方法对许多ROI 应用的性能不好。Segall禾口 Su在"System for bit-depth scalable coding" ， Joint Video Team of ISO/IEC MPEG & ITU-T VCEG， Doc. JVT-W113, April 2007中描述了 另一种逆色调映射方法。在该方法中使用了两个比例因子， 一个用于亮 度分量，另一个用于色度分量。这些比例因子被分配给各个块以执行逆 色调映射。因此，该方法更适于ROI应用。作为一个主要的缺点，比例 因子被预定义为一个集合{0.5， 1， 1.5， 2, 2.5, 3, 3.5， 4， 4.5}，其中该比例因 子的集合适用于具有特定的位元深度的输入视频。因此，该方法失去了压縮具有不同位元深度的HDR视频的灵活性。另一个缺点是相同的比例 因子被用于所有的色度分量。这会降低逆色调映射的质量。很明显，期望有一种逆色调映射，其适用于位元深度可縮放的视频 压縮机制并且能够克服现有技术中的缺陷。具体地说，需要一种能够产 生高质量的逆色调映射技术，其兼容于各种色调映射技术，并且不会带 来巨大的编码开销。发明内容一种在解码器中执行图像逆色调映射的方法和系统。对图像的各颜 色通道的各个块执行以下步骤。通过将当前块的预测比例因子和相邻块的比例因子二者的差与该当 前块的预测比例因子相加来确定当前块的比例因子。通过将当前块的预测偏移值和相邻块的偏移值二者的差与该当前块 的预测偏移值相加来确定当前块的偏移值。对当前块的像素亮度值应用该比例因子和该偏移值以产生映射块， 其中该映射块的位元深度大于当前块的位元深度。
图1是现有技术的视频编码器的框图； 图2是现有技术的视频解码器的框图；图3是现有技术具有位元深度可縮放性的视频编码器的框图；图4是现有技术具有位元深度可縮放性的视频解码器的框图；图5是在根据本发明的一种实施方式的编码器中逆色调映射的框图；图6是在根据本发明的一种实施方式的解码器中逆色调映射的框 图；以及图7是根据本发明的一种实施方式确定逆色调映射的基于最佳块的 比例因子的过程的框图。
具体实施方式
本发明提供了一种使用色调映射在图像和视频的位元深度表示之间转换的系统和方法。位元深度转换可以是从低到高(LDR—HDR)或者 从高到低(HDR—LDR)。图像和视频既可以是单通道的单色又可以是多 通道的颜色。块尺寸是可变的。该方法使用以下参数比例因子、偏移 值和预测方向。针对各颜色通道的各个块确定这些参数。我们也描述了 用于确定最佳比例因子的过程。与固定或限制比例因子的集合的常规方 法相比，本发明的比例因子可以被定制并且比例因子的范围可以被适应 性和动态地增加，以适应图像的更大动态范围。根据比例因子来确定相 应的偏移值和预测方向。为了在编码比特流中有效地编码比例因子和偏移值，考虑相邻块之 间存在的相关性，将各个块与各颜色通道的一个预测方向相关联。根据 (预测)的相邻块的比例因子和偏移值来预测当前块的比例因子和偏移 值。本发明的实施方式针对上转换(即，从LDR视频到HDR视频)进 行描述。本发明也可被用于从HDR视频到LDR视频的下转换，在这种 情况下，术语LDR和HDR在以下描述中应被互换。在编码器中逆色调映射图5示出了根据本发明的实施方式的逆色调映射过程。该逆色调映 射可以代替图3中的功能步骤320。对要转换的各图像的各颜色通道和各 块的像素亮度值501应用该色调映射。该方法的输入是特定块的像素亮度值501。首先，在一组候选比例 因子中确定最佳比例因子511 (步骤700)。对于上转换，该比例因子通 常为1或者更大，而对于下转换，该因子为1或者更小。然而，由于该 转换还考虑到多个因子，所以只要能够实现预期的转换则不需要严格遵 守上述比例因子范围。下面将描述用于确定最佳比例因子的过程700。将偏移值521确定 为利用最佳比例因子511向上放大后的LDR像素亮度值与当前块501中 像素亮度值之间的差的平均数(步骤520)。在本发明的一种实施方式中，比例因子的预测方向遵循该偏移值的预测方向。当前偏移值521与相邻块的参考(LEFT (左侧)或者ABOVE (上方))偏移值522相比较。如果LEFT (块)偏移值更接近当前偏移 值521，则预测方向531被设为LEFT;否贝lj，预测方向被设为ABOVE。在本发明的另一实施方式中，偏移值的预测方向遵循比例因子的预 测方向。当前比例因子与相邻参考(LEFT或ABOVE)比例因子相比较。 如果LEFT比例因子更接近当前比例因子，则预测方向531被设为LEFT; 否则，预测方向被设为ABOVE。预测方向也可以基于相邻块之间比例因子的差和偏移值的差的函 数。例如，可以使用比例因子差和偏移值差的加权函数。基于预测方向531，该预测比例因子512被设为LEFT比例因子或者 ABOVE比例因子，并且预测偏移值522被设为LEFT偏移值或者ABOVE 偏移值。确定当前比例因子511和预测比例因子512的比例因子差541 (步骤540)。确定当前偏移值521和预测偏移值522的偏移值差551 (步 骤550)。参见图3，对预测方向531、比例因子差541和偏移值差551进行熵 编码(熵编码器340)，并且所得的编码比特被(复用器350)加入到输 出比特流309。对于各像素，通过将比例因子511与LDR像素亮度值相乘并加上偏 移值521来确定层间(inter-layer)预测值321。为了减少与各块相关的开销，也可以根据解码器中存在的信息获得 该预测方向。例如，该预测方向可以根据当前块和空间相邻块的重建的 DC系数来确定。当前块的DC系数与相邻块的参考(LEFT或ABOVE) DC系数相比较。如果LEFT DC系数更接近当前DC系数，则预测方向 531被设为LEFT;否则，预测方向531被设为ABOVE。当以这种内含 方式确定预测方向时，则不需要以显式方式将该预测方向编码到输出比 特流中。解码器中的逆色调映射图6例示了根据本发明的一种实施方式的逆色调映射，其应用于各颜色通道的各个块并且在位元深度可縮放解码器400的范围内。该色调 映射可以替代图4中的功能步骤420。如上所述，该映射可以是上转换或者下转换。在本发明的一种实施方式中，通过步骤610、步骤620和步骤630 根据输入位元深度可縮放的编码比特流601分别对当前块的各颜色分量 的预测方向611、比例因子差621和偏移值差631进行熵解码。在本发明的另一实施方式中，预测方向611可以根据空间相邻块的 DC系数获得。例如，如果LEFT DC系数更接近当前DC系数，则预测 方向611被设为LEFT;否则，预测方向611被设为ABOVE。根据预测方向611，预测比例因子641和预测偏移值651可以根据 LEFT相邻块或者ABOVE相邻块获得。通过将比例因子差621加上预测 比例因子641来重建当前块的比例因子645 (步骤640)。通过将偏移值 差631加上预测偏移值651来重建当前块的偏移值655 (步骤650)。对层间余数(inter-layerresidue) 681进行熵解码(步骤680)。位元深度转换(步骤670)将各像素的亮度值与比例因子645相乘， 并且加上偏移值655和层间余数681以产生经色调映射的HDR块609。确定最佳比例因子图7示出了根据本发明的一种实施方式为各颜色通道的各个块确定 最佳比例因子的过程700。对候选比例因子集合中的各候选比例因子重复 该过程中的步骤。像素亮度值701与候选比例因子702相乘以产生比例 调整后的像素亮度值711 (步骤710)。逐个像素地确定比例调整后的像 素亮度值711与输入像素亮度值712之间的差721 (步骤720)。当前块 内所有像素亮度值的绝对差的和(SAD) 731被确定(步骤730)。对由 所有候选比例因子产生的SAD 731进行比较(步骤740)，并且选择与最 小SAD相关的比例因子作为该块的最佳比例因子。代替上述过程中使用的SAD标准，还可以使用另选的测量方法(例 如，均方误差(MSE)法、或者变换后对绝对差求和(SATD)法)。另一个实施方式使用最小平方(LS)拟合。以这种方式，可以避免 对各比例因子的重复，以便在候选比例因子的数量很大时减少计算的复杂度。与现有技术的比较现有技术的系统相比，本发明具有明显的区别和优势。本发明的逆色调映射是基于块的，而Winken等描述的方法是基于整体的。因此，根 据本发明的逆色调映射更适于ROI应用，同时保持了高质量。此外，本发明的逆色调映射技术不需要解码和渲染之前的初始延迟。 因此，该编码机制可被用于实时的应用。此外，本发明的逆色调映射技术可以独立于已被用以确定(LDR) 像素亮度值的(前向)色调映射技术而被应用。这是很重要的，因为在 实践中解码器并不了解在编码过程中所使用的色调映射。与Segall和Su所描述的方法相比，本发明的逆色调映射参数包括对 各图像的各个块的各颜色通道的预测方向、比例因子和偏移值。现有技 术对两个色度分量使用同样的比例因子和偏移值。因此，本发明的逆色 调映射方法对于多颜色通道应用更加通用，对于当不同的位元深度被用 于不同的颜色通道的情况尤其如此。应该注意的是，当使用多于三个颜 色通道时，本发明的方法也可以使用。本发明的逆色调映射根据相邻块来预测块偏移值以及比例因子。现 有技术没有预测偏移值。而只是在频域中将偏移值编码为DC系数。通 过预测偏移值，本发明的逆色调映射需要更少的开销并带来更高的编码 效率。根据本发明，可以根据输入图像的位元深度或者应用动态地修改候 选比例因子的范围。在现有技术中，比例因子被预先设定。因此，本发 明可以更加通用地适用于各种应用和具有不同位元深度的更广范围的图 像源。
权利要求
1.一种用于对解码器(400)中的图像进行逆色调映射的方法，该方法包括对该图像的各颜色通道的各个块执行的以下步骤确定当前块的比例因子的步骤(540)，通过将当前块的预测比例因子和相邻块的比例因子这二者之间的差与该当前块的预测比例因子相加来确定该当前块的比例因子；确定当前块的偏移值的步骤(550)，通过将当前块的预测偏移值和相邻块的偏移值这二者之间的差与该当前块的预测偏移值相加来确定该当前块的偏移值；以及应用该比例因子和该偏移值的步骤(670)，对该当前块的像素亮度值应用该比例因子和该偏移值以产生映射块，其中该映射块的位元深度大于该当前块的位元深度。
2. 根据权利要求1的方法，其中对图像序列执行所述确定当前块的 比例因子的步骤、确定当前块的偏移值的步骤和应用该比例因子和该偏 移值的步骤。
3. 根据权利要求l的方法，其中通过预测方向来选择该相邻块。
4. 根据权利要求1的方法，其中在编码器(100)中确定该比例因 子和该偏移值。
5. 根据权利要求l的方法，其中所述确定当前块的比例因子的步骤 (540)、确定当前块的偏移值的步骤(550)和应用该比例因子和该偏移值的步骤(670)被实时地执行。
6. 根据权利要求1的方法，其中从一组候选比例因子中选择出该比 例因子，并且动态修改该比例因子的范围。
7. 根据权利要求1的方法，其中从当前块上方的块和该当前块左侧 的块中选择该相邻块。
8. 根据权利要求l的方法，其中从被编码比特流中获得该预测比例 因子与该相邻块的比例因子之间的差、以及该预测偏移值与该相邻块的 偏移值之间的差。
9. 根据权利要求3的方法，其中从编码流中获得该预测方向、该预 测比例因子与该相邻块的比例因子之间的差、以及该预测偏移值与该相 邻块的偏移值之间的差。
10. 根据权利要求3的方法，其中根据该当前块的比例因子和相邻 块的比例因子来确定该预测方向。
11. 根据权利要求3的方法，其中根据当前块的偏移值和相邻块的 偏移值来确定该预测方向。
12. 根据权利要求3的方法，其中根据当前块的直流系数和相邻块 的直流系数来确定该预测方向。
13. 根据权利要求1的方法，其中所述应用该比例因子和该偏移值 的步骤(670)进一步包括将该像素亮度值与该比例因子相乘，然后与该偏移值相加。
14. 根据权利要求13的方法，该方法进一步包括 将该像素亮度值与层间余数相加。
15. 根据权利要求4的方法，该方法进一步包括对一组候选比例因 子中的各候选比例因子进行以下步骤将像素亮度值与候选比例因子相乘以产生比例调整后的像素亮度值(710);确定比例调整后的像素亮度值与该像素亮度值之间的差(720);选择与最小差相关的候选比例因子作为该比例因子(740)。
16. —种用于图像逆色调映射的系统，该系统包括解码器，该解码器被配置为针对该图像的各颜色通道的各个块通 过将当前块的预测比例因子和相邻块的比例因子这二者之间的差与该当 前块的预测比例因子相加来确定(540)该当前块的比例因子；以及通过将当前块的预测偏移值和相邻块的偏移值这二者之间的差与该当前块的预测偏移值相加来确定(550)当前块的偏移值；以及对当前块的像素亮 度值应用(670)该比例因子和该偏移值以产生映射块，其中该映射块的位元深度大于该当前块的位元深度。
17. 根据权利要求16的系统，其中解码器(400)对图像序列进行操作。
18. 根据权利要求16的系统，该系统进一步包括 编码器(100)，被配置为确定该比例因子和该偏移值。
19. 一种执行图像逆色调映射的编解码器，该编解码器包括 解码器(400)，被配置为针对该图像的各颜色通道的各个块通过将当前块的预测比例因子和相邻块的比例因子这二者之间的差与该当前 块的预测比例因子相加来确定(540)当前块的比例因子；以及通过将当 前块的预测偏移值和相邻块的偏移值这二者之间的差与该当前块的预测 偏移值相加来确定(550)当前块的偏移值；以及对当前块的像素亮度值应用(670)该比例因子和该偏移值以产生映射块，其中该映射块的位元 深度大于当前块的位元深度；以及编码器(100)，被配置为确定该比例因子和该偏移值。
全文摘要
一种图像逆色调映射的方法和系统以及编解码器，该方法在解码器中执行图像的逆色调映射。对该图像的各颜色通道的各个块执行以下步骤。通过将当前块的预测比例因子和相邻块的比例因子二者的差与该当前块的预测比例因子相加来确定当前块的比例因子。通过将当前块的预测偏移值和相邻块的偏移值二者的差与该当前块的预测偏移值相加来确定当前块的偏移值。对当前块的像素亮度值应用该比例因子和该偏移值以产生映射块，其中该映射块的位元深度大于当前块的位元深度。
文档编号H04N7/26GK101335894SQ20081012772
公开日2008年12月31日 申请日期2008年6月25日 优先权日2007年6月26日
发明者杉 刘, 安东尼·韦特罗, 金祐湜 申请人:三菱电机株式会社