用于具有增强动态范围的信号的层间预测的制作方法

本申请要求于2015年2月17日提交的美国临时申请no.62/117,076的优先权权益，该申请的全部内容通过引用并入本文。

本发明大体上涉及图像。更具体地，本发明的实施例涉及用于编码和解码具有增强动态范围的信号的层间预测。

背景技术：

音频和视频压缩是多媒体内容的开发、存储、分布和消费的关键成分。压缩方法的选择涉及编码效率、编码复杂度和延迟之间的权衡。随着处理能力与计算成本的比增加，它允许开发允许更高效的压缩的更复杂的压缩技术。作为示例，在视频压缩中，来自国际标准组织(iso)的运动图片专家组(mpeg)通过发布mpeg-2、mpeg-4(第2部分)、h.264/avc(或mpeg-4，第10部分)和h.265/hevc编码标准而持续改进原始的mpeg-1视频标准。

视频信号可以由多个参数表征，诸如位深度、颜色空间、色域和分辨率。现代电视和视频回放设备(例如，蓝光播放器)支持各种分辨率，包括标准清晰度(例如，720×480i)和高清晰度(hd)(例如1920×1080p)。超高清晰度(uhd)是下一代分辨率格式，至少具有3840×2160的分辨率(被称为4kuhd)和高达7680×4320(被称为8kuhd)的选项。超高清晰度也可以称为ultrahd、uhdtv或超高视觉。如本文所使用的，uhd指示高于hd分辨率的任何分辨率。

视频信号的特性的另一方面是其动态范围。动态范围(dr)是图像中的强度(例如，辉度(luminance)、亮度(luma))范围，例如，从最暗的黑色到最亮的白色。如本文所使用的，术语‘动态范围’(dr)可以涉及人类心理视觉系统(hvs)感知图像中的强度(例如，亮度，辉度)范围(例如，从最暗的黑色到最亮的高亮)的能力。在这个意义上，dr涉及‘场景相关的(scene-referred)’强度。dr还可以涉及显示设备充分地或近似地呈现(render)特定宽度(breadth)的强度范围的能力。在这个意义上，dr涉及‘显示相关的(display-referred)’强度。除非特定意义在本文描述中的任何点处被明确指定为具有特定意思，否则应该推断该术语可以例如可互换地用于任何一意义。

如本文所使用的，术语高动态范围(hdr)涉及人类视觉系统(hvs)的跨越大约14-15个数量级的dr宽度。例如，具有基本正常视力(例如，在统计、生物测定或眼科意义中的一个或多个上)的良好适应的人(welladaptedhumans)具有跨越约15个数量级的强度范围。适应的人(adaptedhuman)可以感知少至只有少量光子(amerehandfulofphotons)的昏暗的光源。还有，上述这些人可以感知在沙漠、海洋或雪中正午太阳的接近极度耀眼的强度(nearpainfullybrilliantintensity)(或者甚至是扫视太阳，但很短暂以防止伤害)。但是，这个跨度可用于“适应”的人，例如，其hvs具有复位和调整的时间段的人。

相比之下，人可以同时感知强度范围中的广泛宽度的dr相对于hdr可以稍微截短。如本文所使用的，术语‘增强或扩展的动态范围’(edr)、‘视觉动态范围”或“可变动态范围’(vdr)可以单独地或可互换地涉及可由hvs同时感知的dr。如本文所使用的，edr可以涉及跨5-6个数量级的dr。因而，虽然相对于真正的场景相关的hdr可能稍微更窄，但是edr仍然表示宽的dr宽度，并且也可以被称为hdr。如本文所使用的，术语‘同时动态范围’可以涉及edr。

在实践中，图像包括一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中每个颜色分量由每像素n位的精度(例如，n＝8)表示。使用线性辉度编码，n≤8的图像(例如，彩色24位jpeg图像)被认为是标准动态范围的图像，而n>8的图像可以被认为是增强动态范围的图像。还可以使用低位深度、非线性辉度编码(例如，10位和对数辉度编码)或高精度(例如，16位)浮点格式(诸如由工业光魔(industriallightandmagic)开发的openexr文件格式)来存储和分布edr和hdr图像。

为了支持与传统(legacy)回放设备的向后兼容性以及新的hdr或uhd显示技术，可以使用多个层将uhd和hdr(或edr)视频数据从上游设备递送到下游设备。给定这样的多层流，传统解码器可以使用基本层来重构内容的hdsdr版本。高级解码器可以使用基本层和增强层两者来重构内容的uhdedr版本，以使其在更有能力的显示器上呈现。如发明人所认识到的，用于edr视频的分层编码的改进技术(尤其是与层间预测相关的技术)是期望的。

本节中描述的方法是可以被实行的方法，但不一定是先前已经设想或实行的方法。因此，除非另外表明，否则不应当假定本节中描述的任何方法仅仅因为被包括在本节中就有资格作为现有技术。类似地，除非另外表明，否则关于一个或多个方法识别的问题不应当基于本节而假定已经在任何现有技术中被意识到。

附图说明

本发明的实施例在附图的各图中以示例的方式而不是以限制的方式被示出，附图中相同的附图标记指代相似的元素，并且其中：

图1描绘了根据本发明的实施例的具有层间预测器的分层edr编码系统的示例实现；

图2a-2d描绘了根据本发明的实施例的计算出的像素统计的示例；和

图3描绘了根据本发明的实施例的用于生成层间预测器的示例处理。

具体实施方式

本文描述适用于具有增强动态范围的信号的分层编码的层间预测。给定可以使用基本层(bl)sdr信号和残差edr增强层(el)编码的edr输入视频信号，通过考虑输入sdr视频的高亮和暗区的特性，构建两个层之间的层间预测器。

在以下描述中，为了解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。但是，将清楚的是，本发明可以在没有这些具体细节的情况下实践。在其它情况下，众所周知的结构和设备没有被进行详尽描述，以避免不必要地模糊本发明。

概述

本文描述的示例实施例涉及具有增强动态范围的视频信号的分层编码和解码中的层间预测。基于具有常规动态范围(sdr)的对应视频序列的像素数据和层间预测器来预测具有增强动态范围(edr)的视频序列的像素数据。在高亮限幅(highlightsclipping)约束下，常规的sdr到edr预测被调整如下：a)给定高亮阈值，调整sdr到edr层间预测器，以便对大于高亮阈值的所有输入sdr像素值输出固定输出值，以及b)给定暗区阈值，对于低于暗区阈值的所有输入sdr像素值，将输入edr信号和它的预测值之间的残差值设置为零。

在实施例中，关于是否存在高亮限幅的决定基于从sdr和edr像素值导出的统计值。

在实施例中，常规的层间预测器包括8段式mse预测器，并且高亮阈值包括mse预测器中最后一段的起始枢轴点。

在实施例中，暗区阈值基于改变程度，该改变程度是基于edr值的累积方差值来计算的。

edr信号的分层编码

现有的显示和回放设备，诸如hdtv、机顶盒或蓝光播放器，通常支持高达1080phd分辨率的信号(例如，每秒60帧的1920×1080)。对于消费级应用，这样的信号现在通常使用亮度-色度颜色格式的每颜色分量每像素8位的位深度来压缩，其中色度分量通常具有比亮度分量低的分辨率(例如，ycbcr或yuv4:2:0颜色格式)。由于8位深度和对应的低动态范围，这样的信号通常被称为具有标准动态范围(sdr)的信号。

随着新的电视标准正在被开发(诸如超高清晰度(uhd))，可以期望以传统hdtv解码器和较新的uhd解码器都可以处理的格式来编码具有增强分辨率和/或增强动态范围的信号。

如在通过引用整体并入本文的、由gmsu等人于2003年12月04日提交、标题为“用于具有增强动态范围的超高清晰度信号的向后兼容编码(backwardcompatiblecodingforultra-highdefinitionsignalswithenhanceddynamicrange)”、序列号为pct/us2013/073085的pct申请中所描述的，图1描绘了支持具有增强动态范围(edr)的uhd信号的向后兼容编码的系统的示例实现的实施例。编码器包括基本层(bl)编码器(130)和增强层(el)编码器(160)。在实施例中，bl编码器(130)是诸如mpeg-2或h.264编码器的传统编码器，而el编码器(160)是诸如hevc编码器的新标准编码器。为了支持传统bl解码器，bl编码器(130)通常是8位编码器；但是，如由h.264和hevc(h.265)标准所规定的，el编码器(160)可以支持具有更高位深度(诸如10位)的输入流。但是，这种系统适用于使用已知或未来编码器(无论它们是基于标准的还是专有的)的任何组合以任何空间分辨率和位深度编码edr和sdr层。

如图1中所描绘的，诸如电影或电视广播之类的输入信号可以由两个信号表示：uhdedr输入(102)和uhdsdr输入(104)。例如，uhdedr信号(102)可以是由hdr照相机捕获并且针对edr显示进行颜色分级的4k(例如，3840×2160)分辨率信号。相同的信号也可以通过内容映射处理(105)，以通过应用现有技术色调映射或显示管理技术中的任何一种来生成被色调映射或内容映射的sdr信号。可选地，或者与内容映射处理(105)组合，sdr信号(104)可以由调色师使用剪辑通过(trim-pass)颜色分级处理(103)从edr信号(102)或sdr信号(107)生成。如本文所使用的，术语“剪辑通过颜色分级处理”指示根据导演的意图、为了匹配目标显示器的特性而对视频信号的颜色、色调(tone)、对比度和动态范围的任何手动调整。

在不失一般性的情况下，这些输入信号通常都可以使用16位或等同(例如，浮点)位深度表示在rgb颜色空间中表示。如本文所使用的，术语n位信号指示具有一个或多个颜色分量(例如，rgb或ycbcr)的图像或视频信号，其中这些颜色分量中的任何一个(例如，y)中的每个像素由n位像素值表示。给定n位表示，每个这样的像素可以取0和2ⁿ-1之间的值。例如，在8位表示中，对于每个颜色分量，每个像素可以取0到255之间的值。

在实施例中，uhdsdr信号(104)可以被下采样到hdsdr信号(例如，1080p)中，然后该hdsdr信号被颜色转换成适于使用传统的8位编码器进行编码的颜色格式，例如，以8位ycbcr4:2:0颜色格式。这样的转换可以包括颜色变换(诸如rgb到ycbcr转换115-c)和色度子采样(例如，4:4:4到4:2:0转换120-c)。因而，hdsdr信号(128)表示原始uhdedr信号(102)的向后兼容信号表示。信号(128)可以由bl编码器(130)编码以生成向后兼容的编码位流(132)。bl编码器(130)可以使用已知或未来的视频压缩算法(诸如mpeg-2、mpeg-4、第2部分、h.264、hevc、vp8、vp9等)中的任何一个来压缩或编码hdsdr信号(128)。

给定uhdedr信号(102)，下采样(110-a)和颜色转换处理(115-b和120-b)可以将uhdedr信号(102)转换为参考预测hdedr信号(124)。在优选实施例中，这个阶段中的下采样和颜色转换处理(110-a、115-b和120-b)(例如，所选择的滤波器和颜色空间)应当与基本层中用来生成hdsdr信号(128)的下采样和颜色转换处理(110-b、115-c和120-c)相同或尽可能接近。

在uhdedr到hdedr变换之后，hdedr信号(124)的输出被分离成亮度(y124-y)和色度(cbcr124-c)分量，该亮度和色度分量被应用以确定用于亮度预测器(145)和色度预测器(140)的预测系数。

给定hdsdr信号(128)，bl编码器(130)不仅生成编码的bl位流(132)，而且还生成表示当将由对应的bl解码器解码时的hdsdr信号(128)的bl信号(126)。在一些实施例中，信号(126)可以由bl编码器(130)之后的分离的bl解码器(未示出)生成。在一些其它实施例中，信号(126)可以从用来在bl编码器(130)中执行运动补偿的反馈回路生成。如图1中所描绘的，hdedr信号(126)的输出也可以被分离成被应用于亮度预测器(145)和色度预测器(140)以预测hdedr’s信号(147)的亮度(y126-y)和色度分量(cbcr126-c)。在一些其它实施例中，可以跳过下采样(110-a、110-b)，使得所有处理都以全分辨率执行。

在实施例中，亮度预测器(145)可以包括多项式预测器以基于基本层hdsdr信号的亮度像素值(126-y)预测hdedr’信号(147)的亮度分量。在这样的预测器中，可以预测亮度像素分量而不考虑信号的其它颜色分量中任何一个的任何像素值。例如，令si指示blhdsdr信号的亮度像素值(126-y)，然后，在不失一般性的情况下，三阶多项式预测器可以表达为

其中ak(k＝0到3)是预测器系数。在实施例中，可以通过现有技术中任何已知的最小化误差技术来确定预测器系数，诸如最小化预测值与参考hdedr信号(124-y)中的亮度像素值(vi)之间的均方误差(例如，)。

在实施例中，色度预测器(140)也可以是多项式预测器，类似于前面描述的预测器；但是，在优选实施例中，色度预测器(140)包括由g-msu等人在标题为“多颜色通道多元回归预测器(multiplecolorchannelmultipleregressionpredictor)”的序列号为8,811,490的美国专利中描述的多颜色通道、多元回归(mmr)预测器，该专利通过引用整体并入本文。mmr预测器使用来自hdedr参考信号(124)和基本层hdsdr信号(126)中的亮度和色度像素值两者的信息来预测hdedr’s信号的色度分量。mmr模型中的预测系数也可以通过最小化预测色度值与参考hdedr信号(124)的亮度和色度像素值之间的mse使用均方误差最小化技术来确定。

因为hdsdr信号(126)和参考hdhdr信号(124)两者是ycbcr4:2:0格式，其中亮度分量的空间分辨率是色度分量中每个的空间分辨率的二倍，所以这些信号两者的亮度分量都在应用到色度预测器(140)之前被下采样(135-a和135-b)。在优选实施例中，在亮度下采样(135-a)和(135-b)中使用的滤波器与在4:4:4到4:2:0处理(120)中使用的色度下采样滤波器相同。亮度和色度预测系数可以以感兴趣的各种时间间隔(诸如每个场景、每个图片组或每帧)更新。预测滤波器系数可以通过各种方法(诸如将它们的值作为辅助数据或元数据嵌入位流中)被传送到视频解码器。

给定预测的hdedr’信号(147)，上采样器(150)生成用来生成残差信号(167)的uhdedr’信号(152)。因为uhdedr’s信号是优选编码格式(例如，ycbcr4:2:0)，所以可能需要附加的颜色变换(115-a)和色度下采样(120-a)步骤来将原始uhdedr信号(102)从原始格式(例如，rgb)转换到优选编码格式的uhdedr信号(122)。信号(122)和(152)被相减以创建el残差信号(167)。

在实施例中，颜色变换(115-a)和色度子采样处理(120-a)与用来生成bl编码信号(128)和预测信号(124)的颜色变换(115-b和115-c)和色度子采样处理(120-b和120-c)相同或尽可能接近。

在实施例中，在由el编码器(160)编码el信号(167)之前，该信号可以由非线性量化器(nlq)(155)处理。合适的非线性量化器的示例可以在于2012年4月24日提交的标题为“非线性vdr残差量化器(non-linearvdrresidualquantizer)”的序列号为pct/us2012/034747的pct专利申请(作为wo2012/148883公开)中找到，该申请通过引用整体并入本文。nlq(155)的输出可以使用el编码器(160)来压缩以生成可以被发送到合适解码器的编码的el位流(162)。此外，在一些实施例中，残差(167)也可以由下采样模块(未示出)进行空间下采样。这样的下采样(例如，在两个维度上的因子为二或四)改善了编码效率，在非常低的位速率处尤其如此。可以在非线性量化器(155)之前或之后执行下采样。

el编码器(160)可以是任何合适的编码器，诸如由mpeg-2、mpeg-4、h.264、hevc规范等描述的编码器。在实施例中，bl编码的位流(132)、el编码的位流(162)以及与编码处理相关的元数据(例如，预测器参数或查找表)可以被复用到单个位流(未示出)中。

在一些实施例中，基线(baseline)hdsdr信号(128)可能已经以正确的分辨率和颜色格式可用于编码器(100)。在这种情况下，可以绕过下采样(110-b)和颜色变换步骤(115-c和120-c)。

在一些实施例中，uhdedr信号(102)可以以比16位低或高的精度可用；但是，预期uhdedr信号(102)的精度高于8位(例如，10位或12位)。类似地，uhdsdr信号(104)可能已经以低于16位(例如，8位或10位)的精度可用。

层间预测

背景和命名

令sji指示sdr信号(例如，126-y)的帧j处的第i个像素。令vji指示edr信号(例如，124-y)中对应的相同定位的像素。令指示对应的相同定位的预测edr像素(例如，147)。假定给定的图片中有p个像素。给定但不限于二阶多项式预测器，则对于第i个像素，预测值可以表达为

其中，对于i＝0,1和2，mji指示预测系数。

在实施例中，可以使用预测成本函数(诸如原始与预测edr像素值之间的均方误差(mse)(例如，))来确定预测系数以最小化失真度量。等式(2)可以以矩阵/向量形式表达，诸如

或者

其中并且

然后，可以获得最小二乘解为

mj＝((sj)^t(sj))^-1((sj)^tvj)，(4)

其中

指示参考edr像素值(124)。令bj和aj被定义为：

bj＝(sj)^t(sj)(5)

和

aj＝(sj)^tvj。(6)

然后，从等式(4)

mj＝bj^-1aj。(7)

在实施例中，可以使用分片(piecewise)多项式预测来改进预测器(例如，145)的性能。在这样的实施例中，代替对可能的sdr像素值的整个范围使用单个多项式预测器(例如，诸如等式(1)或(2)中所描绘的那些)，可以将sdr像素范围(例如，[0,k-1]，其中k＝2^b，并且b指示sdr信号的位深度)划分成两个或更多个子范围，然后对子范围中的每个应用预测器。在这样的实现中，需要找到分离不同的分片多项式预测器的“枢轴”或边界点。例如，假定使用两个多项式的分片多项式预测，在视频预测中，需要识别sdr域中的枢轴点sjv，该点将把sdr范围分成两个范围：[0,sjv)和[sjv,k-1)。分片多项式可以是线性或非线性的、全部具有相同的阶数，或者具有不同的阶数。

作为示例，通过引用整体并入本文的、于2015年2月4日提交的pct/us2015/14482申请描述了导出这样的分片多项式预测器的方法。在优选实施例中，使用八个二阶多项式来执行亮度预测(145)。虽然这样的预测器对于仅通过内容映射处理(例如，(105))生成的sdr信号工作良好，但是实验结果表明，当通过剪辑通过颜色分级处理(103)生成sdr信号(104)时，需要调整预测方法。已经观察到，使用具有剪辑通过数据的传统或常规预测器(在这里不失一般性地指示为“mse预测器”)在输入视频信号的高亮部分中生成异常大的残差误差。这可能是由调色师执行的手动调整的伪影，调色师通常在原始edr输入的高亮中比在中间色调或暗区中执行更多的调整。这些大于预期(expected)的残差值加重(strain)el编码器(160)的负担，并且在低位速率约束下使接收到的重构edr信号的总体质量变差，例如显现块状伪影。虽然在暗区和高亮两者中都可能生成伪影，但是高亮中的伪影明显得多。因此，在实施例中，在位速率约束下，向高亮区域分配比暗区多的位。在实施例中，所提出的用于新型预测器的解决方案(从现在开始被指示为“高亮预测器”，以将其与常规mse预测器区分开)包括三个主要的成分：

a)确定是否存在高亮限幅(通常但不一定是由于剪辑通过步骤)

如果存在高亮限幅，则调整sdr到edr预测处理如下：

b)对于大于高亮阈值的sdr输入，将预测器输出设置为固定值；以及

c)对于低于暗阈值的残差值，将残差输出设置为零。

接下来描述用于检测高亮限幅和设置这两个阈值的示例实施例。

检测高亮限幅

已经观察到，具有标准mse预测器的剪辑通过处理(103)在高亮中产生较大的残差或限幅(167)。在这种情况下，通常，存在多个一对多的sdr到edr映射。在示例实施例中，可以基于输入sdr和edr信号中的像素值的收集的(collected)统计在实际预测处理之前检测高亮限幅(其引起增加的预测误差)。

假定存在为sdr像素成分分配的b个位(例如，b＝8或b＝10)。在帧j中，对于i＝0，...2^b-1，对于edr像素vji及其对应的sdr像素sji，可以测量以下值：

h[i]：sdr像素值的直方图，即，其sdr值为i的像素的数量。

b[i]：其对应sdr值为i的edr值的和。

b2[i]：其sdr值为i的edr值的平方和。

mean[i]：其sdr值为i的edr值的均值。

var[i]：其sdr值为i的edr值的方差。

例如，表1指示使用伪代码计算这些值的示例过程。

表1：生成sdr到edr映射像素统计的例程

像素统计也可以表示为，对于i＝0,1,2，...，k-1并且h[i]>0：

在典型的视频处理环境中，合法或可允许的sdr值可以由小于最大可能值(例如，2^b-1)的值限界(bounded)。令该值被指示为u(例如，大于u的像素值可以被认为是非法值)。例如，对于smpte编码的数据，在实施例中，对于b＝8，u＝235，而对于b＝10，u＝940。令mj指示其var[i]为最大值的帧j中的edr像素值。给定直方图阈值th(例如，th＝64)，在实施例中，如果对于mj范围(例如，其中l是正整数，例如，l＝3)内的sdr值的直方图值高于th阈值，则在高亮中的潜在限幅被确定。表2以伪代码描述用于确定高亮限幅的示例例程。

表2：决定是否存在高亮限幅的例程

//对于具有f帧的相同场景中的每个帧j

步骤1：

步骤2：

//dj＝1意味着检测到高亮限幅。

//给定具有f帧的场景，以及场景阈值ts，

//为整个场景作出最后决定如下：

如果

则

应用高亮预测

否则

应用常规预测

结束

如表2中所指出的，在一些实施例中，优选的是在场景级别而不是帧级别确定高亮限幅。例如，在实施例中，如果各个帧的至少10％显现限幅(例如，ts＝0.1)，则对于整个场景的高亮限幅可以被确定。如本文所使用的，用于视频序列的术语“场景”或“镜头(shot)”可以涉及共享相似颜色和动态范围特性的视频信号中的一系列连续帧。由于在大多数视频压缩格式中视频预测的连续性质，因此优选的是仅在与视频编码器的典型边界(诸如场景改变或新的图片组(gop))匹配的边界处调整预测参数。

本领域的普通技术人员将认识到的是，var[i]可以用其平方根(或标准偏差)代替，并且所有阈值可以相应地调整。此外，依赖于可用的计算资源，表2中的步骤2可以容易地对l的不同值(例如，l＝0,2或3)计算。在实施例中，对于8位信号l＝3，对于10位信号l＝12。

高亮预测器的实施例

如前所述，在实施例中，mse预测器可以被设计为多段式预测器。这些段可以具有或者均匀的长度或者不均匀的长度。例如，对于8段式mse预测器，定义八个段的枢轴点对于b＝8可以是0、31、62、93、124、155、186、217和255，对于b＝10可以是0、127、254、,381、508、635、762、889和1023。在实施例中，除了其尾端，对于所有段，高亮预测器与mse预测器相同，该尾端处理高亮，例如大于tsh的像素值。

令指示表征常规预测函数(例如，mse预测器)的函数，其不考虑高亮限幅。已经观察到，当发生高亮限幅时，如果可以如下地调整这样的预测器以便对sji＞tsh生成固定输出值预测器，则可以改善视频质量，即：

其中tsh是小于2^b-1的阈值并且sh是固定值。直观上，人们可能会认为这种方法将产生较差的性能，因为在固定预测值的情况下残差误差应该增加；但是，实际上，这种方法迫使大部分高亮在增强层中被编码为“图像”而不是随机残差，因此利用标准视频编码器的编码更高效并且整体质量得到改善。

在实施例中，sh值可以被确定如下：

1.选择阈值tsh＜u＜2^b-1(例如，多段式预测器中最后一段的起始点或接近总动态范围的近似80％的值)

2.收集小于tsh的所有sdr像素及它们对应的edr像素

3.基于以上样本构建mse多段式预测器

4.设置sh＝fpred(tsh)。例如，对于b＝10，mse预测器可以被设计用于sdr像素值0到889，则sh＝fpred(889)。

5.调整预测器，以便对大于或等于tsh的所有sdr像素值输出固定值(sh)。

作为示例，对于b＝8，tsh＝217，而对于b＝10，tsh＝889。

暗区中的残差掩蔽

实验结果已经示出，方差值(例如，var[i])通常是单调的，从低像素值(暗)到高像素值(高亮)增加。在实施例中，为了向高亮分配比暗多的位并且改进总体质量，低于预定义sdr值阈值的所有残差被掩蔽并被设置为零(或者任何其它非常小的固定值)。换句话说，令tsl<tsh指示sdr阈值。令

则，在实施例中：

如果sji＜tsl，则eji＝0。(9)

可替代地，如果，指示预测器对于sji＝tsl的输出，则

如果则eji＝0。

在实施例中，可以使用以下处理来识别阈值tsl：

1.插值方差var[i]中缺失的点；

2.平滑var[i]值；

3.计算var[i]的累积均值；

4.定义tsl为计算出的累积均值的改变的函数。

伪代码的示例处理在表3中给出。

表3：识别暗区阈值tsl的示例处理

在它们更一般的形式中，等式(t3.1)和(t3.2)也可以表达为：

对于i＝0,1，...，(k-1)-a，(10)

对于d＝0,1,2，...，k-1，(11)

其中cn(对于n＝-a，-a+1，...，a-1，a)表示用来平滑方差值的(2a+1)抽头滤波器的系数。

在实施例中，对于b＝8，wl＝45，wh＝75并且α＝1.5。给定具有f帧的场景，给定用于第j帧的tsl(j)值，总体阈值可以被定义为

图2a至2d描绘了对于单个帧的、表3中描述的处理的输出步骤的示例。图2a描绘了在直方图方差插值步骤之后var[i]值的示例。如图2a中所描绘的，这些值相当“嘈杂”。图2b描绘了在对图2a的值应用低通滤波器以生成平滑的var[i]值之后的示例输出。图2c描绘了对应的值，图2d描绘了的输出。用于8位数据的阈值tsl＝100似乎满足等式(t3.5)。在一些实施例中，用于8位数据的固定阈值tsl＝100似乎对于各种运动视频限幅是令人满意的。因此，一些实施例可以使用固定的暗区阈值(例如，tsl＝100)并且绕过找出最佳阈值的处理。

图3描绘了根据本发明的实施例的、用于生成层间预测器的示例处理。如图3中所描绘的，对这个处理的输入是edr和sdr帧(102，104)，每个帧表示相同的场景，但是处于不同的动态范围和/或颜色等级。在步骤(302)中，与sdr和edr数据对的像素相关的统计被收集。如关于表1中列出的算法所讨论的，这样的统计的示例包括sdr直方图和对应的edr方差或标准偏差值(例如，h[i]，var[i])。然后将这些统计数据在步骤(304)中应用以决定是否需要通过应用高亮预测器来调整预测器。如果没有检测到高亮限幅，则在步骤(320)中，现有技术中已知的常规预测器(例如，多段式mse预测器)可以作为层间预测器应用。高亮限幅测试处理的示例在表2中给出。

如果检测到高亮限幅，则，如前面所讨论的，更高效的层间预测器可以被设计如下：

a)在步骤(306)中，如在步骤(320)中那样，确定预测函数fpred(sji)。这个函数基于本领域中任何已知的设计(例如，多段式mse预测器等)。

b)在步骤(308)中，确定高亮阈值。例如，在八段式预测器中，高亮阈值可以被定义为最后一段的起始点或者动态范围的近似85％。

c)在步骤(310)中，给定高亮阈值(例如，tsh)，调整步骤(306)的预测函数，使得

d)在步骤(312)中，基于步骤(302)中收集的统计，确定暗区阈值(例如，tsl)。这样的过程的示例在表3中给出。

e)最后，在步骤(314)中，使用来自步骤d)的暗区阈值来创建残差掩蔽，使得

如果sji＜tsl，则eji＝0。(9)

可替代地，如果，则

如果则eji＝0。

示例计算机系统实现

本发明的实施例可以用计算机系统、以电子电路和部件配置的系统、集成电路(ic)设备(诸如微控制器、现场可编程门阵列(fpga)或其它可配置或可编程逻辑器件(pld)、离散时间或数字信号处理器(dsp)、专用ic(asic))和/或包括这样的系统、设备或部件中的一个或多个的装置来实现。计算机和/或ic可以执行、控制或运行与层间预测相关的指令，诸如本文描述的那些指令。计算机和/或ic可以计算与本文描述的层间预测相关的各种参数或值中的任何一个。编码和解码实施例可以用硬件、软件、固件及其各种组合来实现。

本发明的某些实现包括执行使处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过在处理器可访问的程序存储器中执行软件指令来实现与上述层间预测相关的方法。本发明也可以以程序产品的形式提供。程序产品可以包括携带包括指令的一组计算机可读信号的任何介质，所述指令在由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以是各种各样的形式中的任何一种。程序产品可以包括例如物理介质，诸如包括软盘、硬盘驱动器的磁数据存储介质、包括cdrom、dvd的光学数据存储介质、包括rom、闪存ram的电子数据存储介质，等等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在以上引用部件(例如软件模块、处理器、组件、设备、电路等)的地方，除非另外表明，否则对那个部件的引用(包括对“装置”的引用)应当被解释为包括执行所描述的部件的功能的任何部件作为那个部件的等同物(例如，功能上等同)，包括执行在本发明的所示示例实施例中的功能的、在结构上不等同于所公开的结构的部件。

等同物、扩展、替代和其它事项

因此描述了与层间预测相关的示例实施例。在前面的说明书中，本发明的实施例已经参考众多的具体细节进行了描述，这些细节可以从一种实现到另一种实现而不同。因此，本发明的唯一且排他指示，以及申请人意图作为本发明的内容，是由本申请发布的权利要求集合，以这样的权利要求发布的具体形式，包括任何后续的校正。本文针对在这样的权利要求中包含的术语明确阐述的任何定义将决定如权利要求中使用的这样的术语的含义。因此，未在权利要求中明确记载的任何限制、元素、性质、特征、优点或属性均不应当以任何方式限制这样的权利要求的范围。相应地，说明书和附图应当被认为是示例性而不是限制性的。