专利名称：用于对视频颜色增强数据进行编码的方法和设备，以及用于对视频颜色增强数据进行解 ...的制作方法
技术领域：
本发明涉及一种用于对视频颜色增强数据进行编码的方法和设 备，本发明还涉及一种用于对视频颜色增强数据进行解码的方法和设
备o
背景技术：
近年来，优于传统的8比特颜色深度的可见亮度和对比度的高精 度重现逐渐使用在诸如医学成像、高质量支持视频的计算机游戏和专 业摄影室等许多领域以及家庭影院相关应用中。该处理促进了增强动 态范围(为了便于与传统8比特颜色深度相比较，这里被称作高比特深 度)的发展。与为捕获和显示设备产生极高像素分辨率的电子传感器、 处理器和存储器件的发展对比，数字成像系统的颜色功能进展缓慢。 自第一代数字化可视内容的出现起，8比特颜色深度成为捕获和显示设 备的主要技术。
考虑到未来相当长时间内标准8比特和更高比特数字成像系统将 同时存在于消费者市场的事实，颜色比特深度可扩展性是有益的。不 同的颜色比特深度对于例如多媒体内容传送期间的终端显示设备尤为 重要。
发明内容
本发明提供了一种用于实现视频颜色空间可扩展性的方法和设 备。根据本发明的一个方面，提供了一种用于对颜色增强层进行编码 的方法和设备，该方法和设备有差别地对该颜色增强层进行编码。本 发明的另一方面是一种用于对视频信号进行解码来获得传统颜色比特 深度图像或增强颜色比特深度图像的方法和设备。原则上，本发明的编码方面包括以下步骤产生转换函数，例如 以适于建立输入颜色值到输出颜色值的映射的査找表(LUT)的形式， 该输入颜色值和输出颜色值均包括2M种不同颜色；向具有较低或传统 颜色比特深度的第一视频图像应用转换函数；在转换后的视频图像和
具有较高颜色比特深度(N比特，N>M;但与第一视频图像的空间分 辨率相同)的第二视频图像之间产生差值图像或残差；并且对残差进
行编码。然后，将编码后的第一视频图像、转换函数的参数(例如，
LUT本身)和编码后的残差发送到接收机。也可以对转换函数的参数 进行编码。另外，也如此表示转换函数的参数。
第一和第二图像可以分别视作颜色基本层和颜色增强层。
特别地，可以通过将第一和第二视频图像的颜色直方图进行比较 来获得转换函数，为此，将具有2M个bin的第一图像的颜色直方图变换 成具有2W个bin (N>M)的"平滑"颜色直方图，并且从平滑的直方图 和定义了平滑的颜色直方图的值和颜色增强层直方图的值之间的变换 的颜色增强层直方图来确定转换函数。针对红、绿和蓝基本显示颜色 来分别进行所述过程。
根据本发明的解码方面， 一种用于解码的方法包括从比特流中 提取第一和第二视频图像的视频数据，提取颜色增强控制数据，还对 第一视频图像进行解码和重建，其中，获得具有各为M比特的颜色像 素值的重建的第一视频图像，并且从颜色增强控制数据中重建实现转 换函数的映射表。然后，将该映射表应用到重建的第一视频图像的每 一个像素，产生的变换视频图像作为预测图像，随后利用解码的第二 视频图像对该预测图像进行更新。解码的第二视频图像是残差图像， 并且更新产生了具有各为N比特(N>M)的像素的增强视频图像，并 因此产生比重建的第一视频图像更高的颜色空间。
针对红、绿和蓝基本视频颜色分别执行上述步骤。因此，完整的 视频信号可以包括针对每一幅图像的编码的低颜色分辨率图像，以 及针对这些颜色中每一项的残差图像和转换函数的参数，上述均用于 产生更高颜色分辨率图像。有利地，基于原始视频图像的R-G-B值来 执行产生转换函数和残差图像，因此产生转换函数和残差图像独立于进一步的视频编码。因此，然后可以使用任何传统编码对低颜色分辨
率图像进行编码，例如根据MPEG或JVT标准(AVC、 SVC等)。同样， 在解码端，基于传统解码来执行颜色增强，因此独立于编码格式进行 解码。
因此，具有比特深度显示功能的设备(例如，8比特显示器)仅 需要对具有较低颜色比特深度的颜色基本层进行解码，而具有增强颜 色比特深度显示功能的高级设备(例如，12比特显示器)还可以对颜 色增强层和红、绿和蓝的变换表迸行解码，并产生具有完全颜色空间 应用的图像。
本发明涉及一种新型的视频可扩展性(即，颜色比特深度可扩展 性)，并且提供了一种颜色比特深度预测解决方案，可以应用在颜色比 特深度可縮放的编解码器的中间层预测以提高编码效率。使用转换函 数来在产生残差图像之前产生预测图像的优点在于，由于预测图像更 加匹配相应的颜色增强层图像，因此编码更加有效。例如，由颜色基 本层中8比特值9Ahex描述的特定绿色值可以映射到颜色增强层中16种 不同的12比特颜色值(从9A0hex到9AFhex)。尽管在一个图像中这16个 值中的一个可以在颜色增强层中起主导作用，其可以是其他图像的其 他值。因此，本发明实现了颜色增强层的优化编码。
在从属权利要求、以下说明书和附图中公开了本发明的有利实施例。
参照附图对本发明的示例性实施例进行描述，附图中
图l是颜色比特深度可伸縮视频编码和解码的结构；
图2是编码处理的流程图3是平滑直方图规范的流程图； 图4是直方图平滑的示例； 图5是解码处理的流程图；以及
图6是完整增强层解码器的概要。
具体实施例方式
图l示出了颜色比特深度可伸缩视频编码和解码的总体结构。编
码器ENC以M比特的传统颜色分辨率和N比特(N>M)的增强颜色分 辨率对每一幅视频图像接收两次。不同于产生两个独立分离的视频流， 而是产生颜色基本层和颜色增强层，其中颜色增强层依赖于颜色基本 层。如图1所示，在编码器和解码器中执行中间层预测，用于预测更高 比特深度的颜色。
图l中的基本层编码器方框包含所有传统编码步骤，例如任意空 间和/或时间冗余度縮减技术，例如产生分离的亮度和色度值、DCT变 换等。在解码器端，基本层解码器执行相应的解码。"基本层"和"增 强层"仅指颜色比特深度。有利地，任何视频编码和解码方法可以独 立于本发明所实现的颜色增强处理而用于基本层。基本层解码器的输 出适于传统显示设备，而增强层解码器的输出适于能够针对红、绿和 蓝部分图像中的每一项显示2W (N>M)个不同的颜色值的高质量显示 器。如果M例如为8，则N的示例为IO、 12或16比特，而原则上可以实 现M和N (N>M)的所有组合。诸如质量可扩展性、空间可扩展性和 时域可扩展性、中间层预测等类似的其他类型的可扩展性显著影响编 码效率。
本发明提出了一种基于平滑直方图规范的颜色比特深度预测的 空间均匀方法。考虑描述相同场景的两幅图像。对于这两幅图像，相 应的像素(这里"相应的像素"表示分别属于两幅图像但在图像坐标 系统中具有相同坐标的两个像素)指出相同的场景位置。相应的像素 之间的唯一不同是颜色比特深度。假设利用M比特长度的码字对一副 图像的每一种颜色进行编码，而利用N比特长度的码字对其他图像进 行编码，其中]VKN。遵照使预测N比特图像和原始N比特图像之间的 差值最小化的准则，逆颜色映射的任务是从M比特图像中产生N比特 图像的预测版本。可以通过例如被广泛接受并使用在视频压缩领域的 PSNR的任意方法来测量预测的N比特图像和原始N比特图像之间的差 值。另外，在这种情况下，最重要的方面是预测图像如何有效地用于 随后的残差数据压縮，而不是预测图像看起来是什么样子的。图2示出了本发明一个实施例的总体编码过程。使用实现映射函
数的査找表LUTfina,对基本层图像IM肌进行变换TR。变换TR的结果是 变换的基本层图像IMTR,BL 。查找表LUTfmal从另 一 中间查找表LUTinter
产生，该中间查找表LUTinter从基本层图像(优选地，重建的基本层图 像)的颜色直方图、和增强层图像的颜色直方图产生。由于这些图像
的不同颜色分辨率，这些图像的颜色直方图不仅具有不同数量的bin (一个bin用于每一个可能的颜色)，而且针对每一种基本层颜色、和 序列的每一幅图像，分布在增强层图像的bin之间的值也可以不同。例 如，如果基本层具有M比特并且增强层具有N比特，基本层直方图的 每一个bin与增强层直方图的2^M个bin相对应，即每一个基本层像素值 将按照惯例用来预测2^M个像素值中的一个。通过考虑两幅图像的颜 色直方图可以优化这种预测。如下所述，中间查找表LUTin^实现了描
述增强层图像的颜色直方图HistEL和从基本层图像IMBL产生的颜色直
方图SmHistBL之间的变换的直方图转换函数。
变换的基本层图像IMTR,BL用于预测增强层图像IMEL，计算差值或
残差A，编码的IM^并发送，所有这些处理分别用于R、 G和B。
图3示出了提出的空间均匀逆颜色映射的细节。为了更好的理解， 将基本层(M比特)图像命名为"输入图像"iW，而增强层(N比特) 图像被重新命名为"期望图像""/。 一个基本思想是将直方图规范1 f1 R.C. Gonzalez and R,E. Woods, "Digital image processing" , 2nd edition, pp.94-102,/Ve""ce/^〃， 2002;>的算法应用到iV/和D/。产生查 找表来转换W/，从而使其具有如D/的直方图规定的特定直方图。
然而，当对颜色比特深度预测采用经典直方图规范时，存在两个 主要缺陷。首先，由于直方图具有离散值，因此转换的iV/不能具有与 "/完全相同的直方图。相反，转换的iV/的直方图近似于Z)/的直方图。 其次，两个直方图的不同bin大小(由不同比特深度所引起)破坏了它 们之间的匹配(bin大小表示每一个颜色分量的级的数目，例如，8比 特图像的bin大小为256)。这是经考虑的颜色比特深度预测中的特定缺 陷。例如，在A7是Z)/简单比特移位的情况下，通过直方图规范获得的 转换A7的PSNR通常低于通过简单逆比特移位获得的转换;V/的PSNR。为了克服这些缺陷，提出在规范^/的直方图之前将其"平滑"。
平滑的直方图SmHistBL具有与"/的直方图HistEL相同的bin大小，D/的 直方图HistEL充当直方图规范处理的期望直方图。将经典直方图规范算
法应用到平滑直方图和期望直方图上。最后，执行被称作"概率映射"
的后处理来获得LUT。图3示出了平滑的直方图规范的流程图。 A(;O,"0,l,…,-l表示iW的直方图HistBL，通过^(zJ,hO,l,…2Ll描
述D/的直方图HistEL。
在图3中，对于低比特(M比特)图像NI， 一个颜色通道的直方 图是A-(x)。通过使用方程(5)来平滑该直方图，并且产生具有与高 比特(N比特)图像DI的直方图相同的bin大小的平滑直方图A(x)。累 加该值，从而产生^ (对于图3的示例，& = 1,...,16)。可以将^表示为 函数FOO。高比特(N比特)图像DI具有相同颜色通道的直方图《(力，
累积该直方图^(力来产生^ a与如上所述的w目同)。可以将、表示为
函数G^)。然后，确定分布、，针对^的每一值(从高比特图像DI的 ^值)给出最佳匹配值v,。该分布、建立从值^ (因此x:)到值^的变 换，并且是变换G的逆。
以下，对直方图平滑的处理进行描述。直方图平滑的目的是"拉 伸(stretch)"输入直方图，从而使其具有与期望直方图相同的bin大小。 这是直方图规范处理的必备条件。以下为图3中的表示，A(^)的值均
匀分布到相应的范围[^^+l,…,A+2^")-l]中，如方程(5)所示
(5)
为了确保"均匀分布"，使用非归一化的直方图。图4中示出了平 滑直方图的简单示例。图4 a)示出了具有2比特的颜色比特深度的基 本层输入图像的颜色直方图，§卩，特定颜色(例如，红色)的22=4个 可能颜色值。直方图平滑处理将直方图"拉伸"到4比特颜色比特深度， 即24=16个可能的颜色值。输入图像的单个bin中的值的数目是具有该 特定颜色值的输入图像之内的像素数目，例如，与值O相对应的最左边的值40表示具有值为0的"红色"(在该直方图中指"红"色)的输入 图像的40个像素。平滑处理将这些值分布到平滑直方图的2^M个相应 的bin。在该示例中，根据2^M=4，平滑直方图的前4个bin与原始直方 图的第一个bin相对应。如图4b)所示，根据方程(5)，原始直方图的 值40被平均地分布到平滑直方图的4个相应的bin。
平滑的思想在于，提高了输入直方图的连续性，从而直方图规范 将更加有效。详细地，将图3中所示的方程(1)、 (2)和(4)的可选 描述成连续的灰度图像
在连续灰度级的情况下，可以将输入直方图规范为与期望的直方 图完全相同。然而，如上所述，对于离散灰度级，仅可以实现近似期 望的直方图。此外，由于灰度级的数目接近无穷，因此近似接近精确 匹配。因此，理论上，平滑过程等同于在输入直方图的离散化期间增 加采样率，平滑过程优于具有不同bin大小的两个直方图之间的直接直 方图规范。
平滑直方图仅是该算法中的中间步骤。不存在与其相对应的图像。
以下对概率映射处理进行描述。 一旦己经将经典直方图规范算法 应用到平滑直方图A(x)和期望直方图A(》，就产生中间LUT
A ""Lf"')。下个问题是从其相应范围k,A+1,..,x」+ 2(m)-l]的多 个映射值中选择唯一映射值^。示例地，提出了两种不同准则作为概 率映射的准则，如等式(6)和(7)所示
凡^argmax < =丄6^咖扭)5《e〖-Vx& ' ■，％ M) — 1〕}
(6)
(7)其中，力是映射值A。产生最终LUT^-zt/:r^(;cj来将原始直方
图映射到期望直方图，其中，"0,1,...,-1， ^e{Z;,/ = 0,l,..，2w-l}。方程(6)表示，在与x,相对应的2^M个值之间，选择在期望直方
图pzu')中具有最大值的一个值。
方程(7)表示，在与&相对应的2^M个值之间，使用小于或等于
其平均值的最接近的整数作为最终的映射值。
由于LUT^将输入图像的平滑直方图映射到期望图像的直方图，
函此LUT^是"一对一"映射。然而，如果考虑输入图像的直接直方图，可以看到每一个^与2^M个值相对应。"概率映射"的任务是仅从
2N-M个值中选择一个值作为最终映射值^。因此，LUTf^仍旧是"一
对一"映射将每一个值^映射到一个值A。 LUT的映射是可逆的，这是因为期望图像的全部值(2N)中仅2M个值具有相应的^。
当将上述算法应用到输入图像和期望图像时，计算两幅图像的直方图。然后，平滑输入直方图，产生"平滑直方图"。在保留步骤(经
典直方图规范和概率映射)完成之后，产生最终LUT来将输入直方图的级映射到期望直方图的级。然后，通过将LUT应用到输入图像的每一个像素来产生预测图像。
图6示出了具有针对R、 G和B图像的分离分支的完整增强层编码器的概述。对基本层进行传统编码。
本发明可用于视频编码器和视频解码器，并且特别可用于对颜色基本层和具有最优效率的相同空间分辨率的颜色增强层进行编码/解码。
权利要求
1、一种用于对第一视频图像(IMBL)和第二视频图像(IMEL)进行编码的方法，第一视频图像(IMBL)包括各具有M比特的RGB像素值，第二视频图像(IMEL)包括各具有N比特的RGB像素值，M<N，其中，第一和第二视频图像具有相同的空间分辨率，所述方法包括以下步骤-产生第一转换函数(LUTinter)，所述第一转换函数(LUTinter)具有2N个可能的输入值并基于第一和第二视频图像的颜色直方图(HistBL，HistEL)；-基于第一转换函数(LUTinter)产生第二转换函数(LUTfinal)，其中，第二转换函数具有2M个可能的输入值并包括将其每一个输入值映射到第一转换函数的2(N-M)个相应值之一的函数；-将第二转换函数(LUTfinal)应用(TR)到第一视频图像，其中，第二转换函数用于映射像素，并且产生变换的第一视频图像(IMTR，BL)；-计算变换的第一视频图像(IMTR，BL)和第二视频图像(IMEL)之间的差值(IMres)；-对差值(IMres)进行编码；-对第一视频图像(IMBL)进行编码；以及-发送编码的第一视频图像(IMBL)、第二转换函数(LUTfinal)和编码的差值(IMres)。
2、根据权利要求l的方法，其中，产生第一转换函数(LUTinte》 的步骤包括以下步骤-产生重建的第一图像的第一颜色直方图(HistBL)，所述第一颜 色直方图具有2M个bin;-产生第二图像的第二颜色直方图(HistEL)，所述第二颜色直方 图具有2W个bin;以及-从第一颜色直方图(HistBL)产生(sm)具有2N个bin的平滑颜 色直方图(SmHist肌)，其中，将第一直方图的每一个bin的值分布到2N—M个bin中，并且第一转换函数(LUTinter)定义了平滑颜色直方图 (SmHistBL)和第二颜色直方图(HistEIj)之间的转换。
3、 根据权利要求1或2的方法，其中，还包括以下初始化步骤 -对第一视频图像(IMBL)进行编码；以及-对编码的第一视频图像进行解码以获得重建的第一视频图像 (IMbl.w)，其中，应用(TR)第二转换函数的步骤参照重建的第一 视频图像。
4、 根据权利要求l-3中任一项的方法，其中，用于将第二转换函 数(LUTfinal)的每一个输入值映射到第一转换函数的2^^个相应值之一的函数是概率映射函数。
5、 根据权利要求4的方法，其中，概率映射函数针对第二转换函 数的2M个值中的每一个从第一转换函数的2^m个相应值中选择一个 值，所选值是第二直方图(HistEL)中的最大值。
6、 根据权利要求4的方法，其中，概率映射函数针对第二转换函 数的2M个值中的每一个从第一转换函数的2^m个相应值中选择一个 值，所选值是小于或等于所述2^m个相应值的平均值的最接近的整数。
7、 一种用于对在比特流(bs)中接收的第一和第二视频图像进行 解码的方法，其中，第一和第二视频图像具有相同的空间分辨率，所 述方法包括以下步骤-从比特流(bs)中提取第一和第二视频图像的视频数据和颜色 增强控制数据；-对第一视频图像进行解码和重建(decBL)，其中，获得具有各 为M比特的颜色像素值的重建的第一视频图像(IM礼)；-从颜色增强控制数据构建(decujT)映射表(LUTfinal);-将映射表(LUTfinal)应用(TRdee)到所述重建的第一视频图像 (IMBL)的像素，其中，产生变换的第一视频图像(IMtr,bl)，所述 变换的第一视频图像(IMTR,BL)具有不同于重建的第一视频图像的颜 色直方图；-对第二视频图像(IM^)进行解码，其中，第二视频图像包括 像素差值；以及-将解码的第二视频图像(IMres)添加到变换的第一视频图像(IMTR，BL)，其中，获得具有各为N比特的颜色像素值的重建的第二视 频图像(IMEL)， M<N。
8、 根据权利要求7的方法，其中，变换的第一视频图像(IMTR,礼) 具有不同于重建的第一视频图像(IMBL)的相应颜色直方图的红、绿 和/或蓝的颜色直方图。
9、 根据权利要求7或8的方法，其中，从颜色增强控制数据产生 三个分离的映射表(LUTfinal)或映射表区，分离的映射表或映射表区 的每一个与红色、绿色和蓝色之一相关。
10、 一种对第一视频图像(IMBL)和第二视频图像(IMEL)进行 编码的设备，第一视频图像(IMBL)包括各具有M比特的RGB像素值， 第二视频图像(IMEJ包括各自具有N比特的RGB像素值，M<N，其 中，第一和第二视频图像具有相同的空间分辨率，所述设备包括-用于产生第一转换函数(LUTinter)的装置，所述第一转换函数 (LUTintei_)具有2W个可能的输入值并基于第一和第二视频图像的颜色 直方图(HistBL， HistEL);-用于基于第一转换函数(LUTinter)产生第二转换函数(LUTfinal) 的装置，其中，第二转换函数具有2M个可能的输入值，并包括将其每 一个输入值映射到第一转换函数的2^—W个相应值之一的函数；-用于将第二转换函数(LUTflnal)应用(TR)到第一视频图像的 装置，其中，第二转换函数用于映射像素，并且产生变换的第一视频图像(IMtr,bl);-用于计算变换的第一视频图像(IMTR,bl)和第二视频图像(IMEL)之间的差值(IM^)的装置；-用于对差值(IM^)进行编码的装置；-用于对第一视频图像(IMBL)进行编码的装置；以及-用于发送编码的第一视频图像(IMBL)、第二转换函数(LUTf^)和编码的差值(IMres)的装置。
11、 根据权利要求10的设备，其中，用于产生第一转换函数(LUTinter)的装置包括-用于产生重建的第一图像的第一颜色直方图(HistBL)的装置， 所述第一颜色直方图具有2M个bin;-用于产生第二图像的第二颜色直方图(HistE[j)的装置，所述第 二颜色直方图具有2"个bin;以及-用于从第一颜色直方图(HistBL)产生(sm)具有2W个bin的平 滑颜色直方图(SmHistBL)的装置，其中，将第一直方图的每一个bin 的值分布到2^m个bin中，并且第一转换函数(LUTinte》定义了平滑 颜色直方图(SmHistBL)和第二颜色直方图(HistEL)之间的转换。
12、 一种对在比特流(bs)中接收的第一和第二视频图像进行解 码的设备，其中，第一和第二视频图像具有相同的空间分辨率，所述 设备包括-用于从比特流(bs)中提取第一和第二视频图像的视频数据和 颜色增强控制数据的装置；-用于对第一视频图像进行解码和重建(dec肌)的装置，其中， 获得具有各为M比特的颜色像素值的重建的第一视频图像(IMbl);-用于从颜色增强控制数据构建(decLUT)映射表(LUTfmal)的 装置；-用于将映射表(LUTfinal)应用(TRdec)到重建的第一视频图像 (IMBL)的像素的装置，其中，产生变换的第一视频图像(IMTR，BL)， 所述变换的第一视频图像(IMTR,BL)具有不同于重建的第一视频图像 的颜色直方图；-用于对第二视频图像(IMres)进行解码的装置，其中，第二视 频图像包括像素差值；以及-用于将解码的第二视频图像(IMres)添加到变换的第一视频图 像(IMTR，BL)的装置，其中，获得具有各为N比特的颜色像素值的重 建的第二视频图像(IMEl)， M<N。
全文摘要
越来越多地使用优于传统的8比特颜色深度的可见亮度和对比度的高精度重现，促进了被称作高比特深度的增强动态范围的发展。本发明提供了一种编码方法，用于对M比特RGB像素的第一低比特深度视频图像(IM<sub>BL</sub>)和N比特RGB像素的第二高比特深度视频图像(IM<sub>EL</sub>)进行编码，M＜N，其中，第一和第二视频图像具有相同的空间分辨率，所述编码方法包括基于第一和第二视频图像的颜色直方图(Hist<sub>BL</sub>，Hist<sub>EL</sub>)产生第一转换函数(LUT<sub>inter</sub>)；基于第一转换函数(LUT<sub>inter</sub>)产生第二转换函数(LUT<sub>final</sub>)；将第二转换函数(LUT<sub>final</sub>)应用(TR)到第一视频图像，其中，产生变换的第一视频图像(IM<sub>TR，BL</sub>)；对残差(IM<sub>res</sub>)f进行计算并编码；对第一视频图像(IM<sub>BL</sub>)进行编码；以及发送编码的第一视频图像(IM<sub>BL</sub>)、第二转换函数(LUT<sub>final</sub>)和编码的差值。
文档编号H04N7/50GK101507284SQ200680055369
公开日2009年8月12日 申请日期2006年7月17日 优先权日2006年7月17日
发明者武宇文, 颖 陈, 高永英 申请人:汤姆森许可贸易公司