专利名称：用于比特深度可分级的视频编解码器的色调映射的制作方法
技术领域：
本发明总体上涉及可分级的视频编解码器。
背景技术：
可分级的视频编解码器能够根据用户喜欢的服务类型而将不同的图像 质量级别传递给不同的用户。与较高质量的视频服务相比，较低质量的视 频服务便宜。
在可分级的视频编解码器中，将较低的比特深度称为基线层，而将较 高的比特深度称为增强层。比特深度越大，视频质量就越好。
在可分级的视频编解码器中，可以将编码器和解码器作为一个单元来 提供。在一些情况下，仅提供了编码器，而在另一些情况下，仅提供了解 码器。可分级的视频编解码器使得系统能够至少对基线层进行操作。因此， 在低成本的系统中，可以仅采用基线层，而在较高成本的更为高级的系统 中，可以采用增强层。
从基线层推导出增强层是有利的。为了实现该目的，可以利用逆色调
映射(inverse tone mapping)来将基线层的比特深度增加到增强层的比特深 度。在一些情况下，例如，基线层可以是每像素8比特，而增强层可以是 每像素IO、 12或更多比特。
图1是根据本发明一个实施例的编码器和解码器系统的示意性图示； 图2是根据本发明另一实施例的编码器和解码器系统的图示；以及 图3是本发明另一实施例的系统图示。
具体实施例方式
参考图l,可分级的视频编解码器包括编码器10，编码器10可以通过视频传输或视频存储14而与解码器12进行通信。图1示出了一个编解码 器的编码器、以及另一个编解码器的解码器。
举例而言，网络计算机可以通过网络与另一计算机进行通信。每个计 算机可以具有包括编码器和解码器两者的编解码器，从而可以在一个节点 上对信息进行编码，通过网络将编码后的信息传输到另一节点，然后所述 另一节点对编码后的信息进行解码。
图1中所示的编解码器是可分级的视频编解码器(SVC)。这意味着它 能够使用不同的比特深度来对信息进行编码和/或解码。视频源16和26可 以连接到编码器IO。视频源16可以使用N-比特的视频数据，而视频源26 可以提供M-比特的视频数据，这里，比特深度M大于比特深度N。在其它 实施例中，可以提供具有两个以上比特深度的两个以上的源。
在每种情况下，将来自视频源的信息提供给编码器。在具有较低比特 深度的视频源16的情况下，将该信息提供给基线编码器18。在具有较高比 特深度的视频源26的情况下，采用增强层编码器28。
然而，为了在增强层编码中使用，对在B处的来自基线编码器18的经 过基线解码的信息进行逆色调映射，以将它的比特深度增加到M个比特。 这样，在一个实施例中，将解码后的N-比特视频提供给逆色调映射单元20。 逆色调映射20增加比特深度，并产生了到增强层编码器28的M-比特输出。 解码后的流B还被提供给色调映射推导24。色调映射推导24还从M -比特 的视频源26接收信息。色调映射推导24的输出用于逆色调映射20。
同时，在A处的来自编码器18的经过编码的输出被输出至视频传输或 视频存储14。
作为将解码后的流B用于色调映射推导器24的结果，可以减小在增强 层编码器28中的编码残差，因为编码器28中的更好的预测，在一些情况 下这提高了编码效率。
图1的编码器例如符合H.264 (先进视频编解码器(AVC)和MPEG-4 第10部分)压縮标准。H.264标准已经由联合视频工作组(JVT)制定， 该联合视频工作组包括ITU-T SG16 Q.6 (也称为VCEG (视频编码专家组)) 和ISO-IECJTC/SC29/WG11 (2003)(也称为MPEG (运动图像专家组))。 举几个例子，化264被设计为应用在数字1￥广播、直播卫星视频、数字用户线视频、交换式存储媒体、多媒体消息、数字地面TV广播以及远程视频 监控等领域中。
尽管一个实施例可以符合H.264视频编码，但是本发明并不局限于此。 相反，这些实施例可以用于各种视频压縮系统，包括MPEG-2 (ISO/正C 13818-1 (2000)MPEG-2，可从瑞士日内瓦的国际标准化组织获得该ISO/IEC 13818-1 (2000) MPEG画2)以及VC1 (SMPTE421M (2006)，可从SMPTE White Plains, NY， 10601获得该SMPTE 421M (2006))。
编码器通过视频传输或视频存储14提供信息，以供解码器使用。可提 供的信息可以包括基线(BL)层视频流、逆色调映射(ITM)信息、来自 自适应滤波24的滤波器抽头(filter tap)以及增强层(EL)视频流。该信 息中的一些可以包含在分组报头中。例如，逆色调映射(ITM)信息和滤波 器抽头信息可以在分组化数据传输中在合适的报头中提供。
一旦在解码器12中接收到合适的信息，基线解码器30就解码该信息， 以便由显示器32显示N-比特视频。然而，如果作为替代提供了增强层装置， 则可以提供较高比特深度的显示器40。(通常，不会包括两个显示器)。使 用逆色调映射单元34将N-比特的基线解码器输出转换为M-比特视频，还 向逆色调映射单元34提供与在编码器10中进行的逆色调映射相关的ITM 信息。
视频解码器是自推导式(self-deriving)的，这是因为使用解码器可获 得的信息来进行编码。解码器可以访问该相同的信息来对编码后的信息进 行解码，而无需从编码器搜索该信息。
通常，可以采用任何类型的色调映射来增加基线层视频的比特密度， 包括基于块的逆縮放以及分段的逆线性映射。
图1中的色调映射推导24寻找在较高/较低比特深度视频之间的关系。 通常，通过编码器端的原始高比特深度视频和原始较低比特深度视频的统 计特征，推导该映射关系。
使用较低比特深度N输入的像素x以及较高比特深度M输入的相同位 置的像素y来建立查询表(LUT)。借助于"相同位置"，旨在查询在来自 源16和26的两个图像中的相同位置处的像素。
对于在较低比特深度输入中的每个像素&以及在较高比特深度输入中的相同位置的像素yi，令 sumk-=I 一)
numk+= D I 一) 那么，第j湘LUT[j]=sumj/numj。
如果(numj=0)，则LUT[j]是LUT[j-]和LUT[j+]的加权平均，其中如 果可以获得j.和j+，则j.和j+是第j项的最接近的非零邻居。
不使用较低比特深度的源16的输入像素，而是将来自基层编码器18
的经解码的输出像素与较高比特深度的源26的输入一起使用来得到映射
LUT。像素z是解码后的较低比特深度N输出，而相同位置的输入像素y
是较高比特深度M输入。对于在较低比特深度的解码后输出中的每个像素
Zi以及在较高比特深度输入中的相同位置的像素yi，令 sumk —=不乂 I (一
numk+= I (")
那么，第j项LUT[j]-sumj/numj。
如果(numj=0),则LUT[j]是LUT[j.]和LUT[j+]的加权平均，其中如
果可以获得j.和j+，则j-和j+是第j项的最接近的非零邻居。
在图2中，内容自适应技术推导出色调映射LUT，该内容自适应技术 使用内容分析和滤波42。像素z是解码后的较低比特深度N输出，而相同 位置的输入像素y来自于较高比特深度M。如果在目标像素z的周围邻域 中不存在边缘像素，则可以用滤波后的像素f来替代该目标像素z，以推导 出色调映射LUT。
对于在较低比特深度的解码后的输出中的每个像素&以及在较高比特 深度输入中的相同位置的像素yi，如果在Xi的邻域中不存在边缘像素，则: 设置fl = filter (Xi) sumk-=I (/,="
numk+= $ I 第j项LUT。]=sumj/numj。
如果(numj-0)，则LUT[j]是LUT[j.]和LUT[j+]的加权平均，其中如果可以获得j-和j + ，贝U j.和j+是第j项的最接近的非零邻居。
在一个实施例中，将Sobd边缘算子用于内容分析和滤波42。假定目
标像素Z:
1_2-r匿-i01 —二2-1 o-力-1-2—
000五—V-_202—10 110一l
12i_10101 2210
目标像素z的边缘度量(EM)用公式表示为以下等式中的加权与其3 X3邻域NH9(z)的巻积，如EM(z) = |NH9(z)*E_h| + |NH9(z)*E—v|+ |NH9(z)*E—P45| + |NH9(z)*E—N45|。
对于很多应用而言，使用两个方向E—v和E_h就足够了。在45度上的 检测进一歩改善了边缘检测，但是带来了更大的计算复杂度。
对于边缘检测，可以使用其它内容分析技术，例如Canny算法和基于 导数的算法。
在图2中，使用来自邻域像素的滤波器支持(filter support)来对目标 像素进行滤波。在一些实施例中，可以将线性滤波器或平均滤波器与边缘 检测器一起使用。
邻域的定义可以与在诸如SVC和H.264等通用视频编码标准中的指定 的块大小的定义自然对齐。举例而言，所述块大小可以是4X4、 8X4、 4 X8和8X8。利用该对齐，色调映射推导24是内容自适应的并且是基于块 的。尽管可以使用3X3邻域，但也可以使用其它邻域像素。
可以分别基于亮度通道和色度通道来推导色调映射表。亮度LUT可以 用于亮度像素的映射，色度LUT可以用于色度像素的映射。在一些方案中， Cb通道和Cr通道两者共享一个色度表，或者可以分别使用Cb和Cr各自 的表。
在一些实施例中，使用色调映射关系，以便借助于使用较低比特深度 的解码后像素和较高比特深度的相同位置的输入像素来预测较高比特深度 的像素。通过使用较低比特深度的解码后像素取代较低比特深度的输入像 素，在一些实施例中可以减小编码残差并且实现更好的编码效率。
内容自适应技术利用相邻像素产生滤波后的像素，作为未经滤波的解 码后像素的替代，以推导出色调映射关系。借助于邻域分析，消除了另一边界上的像素，以便在一些实施例中产生更为平滑的像素并且更好地预测 较高比特深度的像素。这样，在一些情况下实现了更加有效的编码效率。 由于在视频解码器端获得的自推导，因此在一些实施例中不需要将额外的 开销从视频编码器端发送到视频解码器端。
参考图3，在一个实施例中，图1和图2中所示的编码器和解码器可以 是图形处理器112的一部分。在一些实施例中，图1和图2中所示的编码 器和解码器可以用硬件实现，而在其它实施例中，它们可以用软件或固件 来实现。在软件实现的情况下，相关代码可以存储在任何合适的半导体、 磁存储器或光存储器中，包括主存储器132。因此，在一个实施例中，源代 码139可以存储在机器可读介质中，例如存储在主存储器132中，以便由 诸如处理器100或图形处理器112等处理器执行。
计算机系统130可以包括硬盘驱动器134和可移动介质136，它们通过 总线104耦合到芯片组内核逻辑110。在一个实施例中，该内核逻辑可以耦 合到图形处理器112 (经由总线105)和主处理器100。图形处理器112还 可以通过总线106耦合到帧缓冲器114。帧缓冲器114可以通过总线107耦 合到显示器屏幕118，显示器屏幕118进而通过总线108耦合到诸如键盘或 鼠标120之类的常规组件。
图1和图2中所示的块可以构成硬件或软件组件。在软件组件的情况 下，该图可以表示可存储在诸如半导体集成电路存储器、光存储设备或磁 存储设备之类的机器可读介质中的指令序列。在牝情况下，所述指令可由 计算机或基于处理器的系统执行，所述计算机或基于处理器的系统从存储 器中得到所述指令并执行所述指令。在一些情况下，所述指令可以是固件, 其可以存储在合适的存储介质中。上述指令的执行结果是最终显示在显示 器屏幕上的图像质量得到了改善。
本说明书通篇引用的"一个实施例"或"实施例"意思是结合该实施 例所述的特定特征、结构或特性可以包括在本发明范围内包含的至少一种 实现方式中。这样，出现的短语"一个实施例"或"在实施例中"并非一 定指的是同一实施例。此外，所述特定特征、结构或特性可以用除所述的 特定实施例之外的其它合适形式来替代，并且所有这些形式都包含在本申 请权利要求的范围内。 '虽然已经针对有限数量的实施例描述了本发明，但是本领域技术人员 应该意识到从中得到的各种修改和变型。目的在于使所附的权利要求覆盖 落入本发明的真实精神和范围之内的所有这些修改和变型。
权利要求
1、一种方法，包括使用解码后的较低比特深度的视频来进行逆色调映射，以便用于较高比特深度的编码。
2、 如权利要求1所述的方法， 比特深度。
3、 如权利要求2所述的方法，提供给增强层编码器。
4、 如权利要求l所述的方法，
5、 如权利要求1所述的方法， 频来进行色调映射推导。
6、 如权利要求1所述的方法， 出来进行逆色调映射。包括增加编码后的基线层视频信息的包括将所述比特深度增加的视频信息包括使用自推导式解码。 包括使用解码后的较低比特深度的视包括使用基线层编码器的解码后的输包括:
7、 如权利要求1所述的方法，包括使用在较低比特深度的视频和较 高比特深度的视频中相同位置的像素来进行色调映射推导。
8、 如权利要求l所述的方法，包括使用在较低比特深度的视频中的 经滤波的像素来进行色调映射推导。
9、 如权利要求1所述的方法，包括在逆色调映射之前，对所述解码 后的较低比特深度的视频进行滤波。
10、 如权利要求9所述的方法，包括使用对相邻像素的分析来进行逆色调映射。
11、 如权利要求10所述的方法，包括使用所述相邻像素以及在所述 较低比特深度的视频和较高比特深度的视频中相同位置的像素来建立色调 映射査询表。
12、 一种装置，包括较低比特深度的编码器，其具有编码后的视频输出和解码后的视频输 出；以及设备，其使用来自所述解码后的视频输出的视频来增加编码后的视频 信息的比特深度。
13、 如权利要求12所述的装置，其中，所述设备包括逆色调映射。
14、 如权利要求12所述的装置，其中，所述装置是编码器。
15、 如权利要求12所述的装置，其中，所述装置包括解码器。
16、 如权利要求15所述的装置，其中，所述解码器是自推导式的。
17、 如权利要求12所述的装置，包括耦合到所述设备的基线编码器。
18、 如权利要求13所述的装置，包括耦合到所述滤波器的增强层编 码器。
19、 如权利要求12所述的装置，包括用于对所述解码后的视频输出 进行滤波的滤波器。
20、 如权利要求19所述的装置，包括逆色调映射和色调映射推导，其中，所述滤波器的输出耦合到所述逆色调映射和所述色调映射推导。
21、 一种视频编码器，包括 基线层编码器，其具有解码后的输出； 逆色调映射，其耦合到所述解码后的输出；以及 增强层编码器，其耦合到所述逆色调映射。
22、 如权利要求21所述的编码器，包括耦合到所述基线层编码器的 色调映射推导，所述色调映射推导耦合到所述逆色调映射并且耦合到增强 层视频源。
23、 如权利要求22所述的编码器，其中，所述逆色调映射推导使用在 基线层视频和增强层视频中的像素来建立色调映射查询表。
24、 如权利要求22所述的编码器，所述逆色调映射使用在所述基线层 视频和所述增强层视频中的相同位置的像素。
25、 如权利要求23所述的编码器，所述逆色调映射推导使用在所述基 线层视频和所述增强层视频中的相邻像素来建立色调映射查询表。
26、 如权利要求21所述的编码器，包括耦合到所述解码后的输出的
27、 如权利要求26所述的编码器，其中，所述逆色调映射耦合到所述 滤波器的输出。
28、 如权利要求27所述的编码器，包括耦合到所述滤波器的所述输 出的色调映射推导。
29、 一种视频解码器，包括 基线层解码器；以及 .自推导式增强层解码器，其耦合到所述基线层解码器。
30、 如权利要求29所述的解码器，包括耦合到所述基线层解码器的 增强层解码器。
31、 如权利要求30所述的解码器，包括位于所述增强层解码器与所述基线解码器之间的内容分析和滤波。
全文摘要
本发明公开了用于比特深度可分级的视频编解码器的色调映射。可分级的视频编解码器可以使用经解码的较低比特深度的视频来进行色调映射和色调映射推导，从而将较低比特深度的视频转换为较高比特深度的视频。该转换还可以使用经滤波的较低比特深度的视频来进行色调映射和色调映射推导。
文档编号H04N7/26GK101577828SQ20091013275
公开日2009年11月11日 申请日期2009年4月16日 优先权日2008年4月16日
发明者L·徐, Y-J·秋, 洪 江 申请人:英特尔公司