级联预测的制作方法

级联预测
1.相关申请的交叉引用
2.本技术要求于2019年12月6日提交的欧洲专利申请号19214124.0和2019年12月6日提交的美国临时专利申请号62/944,636的优先权，所述两个专利申请均通过引用并入本文。
技术领域
3.本公开总体上涉及图像处理操作。更具体地，本公开的实施例涉及视频编解码器。


背景技术：

4.如本文所使用的，术语“动态范围(dr)”可以涉及人类视觉系统(hvs)感知图像中的强度范围(例如光亮度、亮度)的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，dr与“参考场景的(scene-referred)”强度有关。dr还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，dr与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为所述术语可以在任一意义上例如可互换地使用。
5.如本文所使用的，术语“高动态范围(hdr)”涉及跨越人类视觉系统(hvs)的大约14至15个或更多数量级的dr阔度。实际上，相对于hdr，人类可以同时感知强度范围广泛阔度的dr可能会被稍微截短。如本文所使用的，术语“增强动态范围(edr)或视觉动态范围(vdr)”可以单独地或可互换地与这种dr相关：所述dr可在场景或图像内由包括眼运动的人类视觉系统(hvs)感知，允许场景或图像上的一些光适性变化。如本文所使用的，edr可以涉及跨越5到6个数量级的dr。因此，虽然相对于真实场景参考的hdr可能稍微窄一些，但edr可以表示宽dr阔度并且也可以被称为hdr。
6.实际上，图像包括颜色空间的一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用非线性光亮度编码(例如，伽马编码)，其中n≤8的图像(例如，彩色24位jpeg图像)被视为标准动态范围的图像，而其中n》8的图像可被视为增强动态范围的图像。
7.给定显示器的参考电光传递函数(eotf)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，itu rec.itu-r bt.1886，“reference electro-optical transfer function for flat panel displays used in hdtv studio production[hdtv工作室制作中使用的平板显示器的参考电光传递函数]”(2011年3月)限定了平板显示器的参考eotf，其内容通过引用以其全文并入本文。在给定了视频流的情况下，关于其eotf的信息可以作为(图像)元数据嵌入比特流中。本文术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文所描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。
[0008]
如本文所使用的术语“pq”是指感知光亮度幅度量化。人类视觉系统以极非线性方
式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的空间频率以及在观看刺激物的特定时刻眼睛所适应的光亮度水平。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在smpte st 2084:2014“high dynamic range eotf of mastering reference displays[母版制作参考显示器的高动态范围eotf]”(下文称为“smpte”)中描述了示例pq映射函数，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(例如，刺激水平等)，根据最敏感的适应水平和最敏感的空间频率(根据hvs模型)来选择该光亮度水平处的最小可见对比度步长。
[0009]
支持200至1,000cd/m2或尼特的光亮度的显示器代表了与edr(或hdr)相关的较低动态范围(ldr)，也被称为标准动态范围(sdr)。edr内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的edr显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000或更高尼特)的替代eotf来限定。在smpte 2084和rec.itu-r bt.2100，“image parameter values for high dynamic range television for use in production and international programme exchange[用于在制作和国际节目交换中使用的高动态范围电视的图像参数值]”(06/2017)中定义了这种eotf的示例。如本发明人在此理解的，期望可以用于支持各种sdr和hdr显示设备的显示能力的用于合成视频内容数据的改进技术。
[0010]
在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指明，否则不应该认为本节中所述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有表示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。
附图说明
[0011]
在附图中以举例而非限制的方式来图示本发明的实施例，并且其中类似的附图标记指代类似的元件，并且在附图中：
[0012]
图1a描绘了视频传输流水线的示例过程；图1b至图1f图示了实施级联预测操作的示例编解码器；
[0013]
图2a至图2d图示了输入码字和预测码字的示例分布和关联；
[0014]
图3a图示了示例单层后向兼容(slbc)编解码器；图3b图示了示例单层逆显示管理(slidm)编解码器；
[0015]
图4a和图4b图示了示例过程流程；以及
[0016]
图5图示了示例硬件平台的简化框图，在所述硬件平台上可以实施如本文所描述的计算机或计算设备。
具体实施方式
[0017]
在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本公开。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本公开，没有详尽地描述众所周知的结构和设备。
[0018]
概述
[0019]
如本文所描述的级联预测方法可以在各种视频传输和显示应用中实施和执行，包括但不限于支持后向兼容性的视频传输和显示应用。在一些操作场景中，基本层(bl)图像数据可以在第一域(例如，具有第一动态范围、在第一颜色空间中、对应于第一电光传递函数或eotf等)中与图像元数据一起被编码到编码比特流中，所述图像元数据用于从在第一域中编码的bl图像数据生成/重建在第二域(例如，具有第二动态范围、在第二颜色空间中、对应于第二eotf等)中编码的图像数据。可以将bl图像数据和图像元数据提供给接收方解码和回放设备，这些设备可以在解码后将(例如，第一动态范围的、在第一颜色空间中的、对应于第一eotf的等)bl图像数据直接在支持渲染第一域中的图像的显示器上渲染，或者可以从解码bl图像数据和图像元数据重建第二域中的图像数据，并将重建(例如，第二动态范围的、在第二颜色空间中的、对应于第二eotf的等)图像数据在支持渲染第二域中的图像的显示器上渲染。第一域中的bl或输入图像数据和第二域中的重建或输出图像数据可以具有不同的动态范围。附加地、可选地或替代性地，第一域中的bl或输入图像数据和第二域中的重建或输出图像数据可以具有相同的动态范围；然而，bl或输入图像数据和重建或输出图像数据可以在不同的颜色空间中和/或可以对应于不同的eotf。例如，第一域中的bl或输入图像数据可以具有最大光亮度为1000尼特的动态范围、在r.2020颜色空间中、与hlg eotf相对应，而重建或输出图像数据可以具有最大光亮度为1000尼特的相同的动态范围、在r.2020颜色空间中、与pq eotf相对应。在该示例中，第一域和第二域都具有最大光亮度为1000尼特的相同的动态范围，并且也处于相同的颜色空间中；然而，bl或输入图像数据和重建或输出图像数据可以根据或对应于不同的eotf进行编码。因此，只要表示/编码图像数据的域的至少一个属性——例如动态范围、颜色空间或eotf——在bl或输入图像数据与重建或输出图像数据之间是不同的，就可以应用本文所描述的级联预测方法。因此，在编码比特流中编码的由一些显示设备支持的域的图像数据可以用于生成由一些其他显示设备支持的一个或多个其他域的重建图像数据，而不需要编码比特流中的其他域的其他图像数据。在一些操作场景中，支持各种域中的显示或图像处理操作的各种显示设备类型可以被在本文所描述的技术下生成的编码流所支持。
[0020]
在一些操作场景中，可以生成不同的多组级联预测系数以支持重建图像数据的各种视频质量水平。例如，第一组级联预测系数可以用于构建第一预测视频信号，所述第一预测视频信号的重建图像数据支持第一视频质量水平。第二组级联预测系数可以用于构建细化信号，所述细化信号当与第一预测信号组合时将产生第二预测信号，所述第二预测信号的重建图像数据支持高于第一视频质量水平的第二视频质量水平。不同组的级联预测系数可以用于支持不同版本的视频解码器或回放设备。可以在该领域广泛部署的一些视频解码器或回放设备可能仅识别第一组级联预测系数，并相应地在预测操作中应用第一组级联预测系数。当相对高级的视频解码器或回放设备识别出附加的一组(或多组)预测系数并将其应用于预测操作时，可以逐渐提高视频质量水平。
[0021]
本文描述的示例实施例涉及生成和编码用于图像重建的级联预测元数据。将第一预测器应用于在第一域中编码的输入图像以生成第一级预测码字，所述第一级预测码字近似于在不同于第一域的第二域中编码的预测目标图像的预测目标码字。通过对预测目标码字和第一级预测码字执行逆级联操作来创建第二级预测目标值。将第二预测器应用于第一域中的输入图像以生成近似于第二级预测目标值的第二级预测值。生成多组级联预测系数
以包括指定第一预测器的第一组级联预测系数和指定第二预测器的第二组不同的级联预测系数。将多组级联预测系数作为图像元数据编码到视频信号中。视频信号进一步编码有第一域中的输入图像。视频信号的接收方设备使用所述多组级联预测系数，以将第一预测器和第二预测器应用于输入图像，从而生成第二域中的预测图像。第二域中的预测图像近似于第二域中的预测目标图像。
[0022]
本文描述的示例实施例涉及解码用于图像重建和渲染的级联预测元数据。从视频信号中解码在第一域中编码的输入图像。从视频信号中解码包括多组级联预测系数的图像元数据。上游图像处理设备生成多组级联预测系数以包括第一组级联预测系数——其至少部分地基于在第二域中编码的预测目标图像而生成并且指定第一预测器——和第二组级联预测系数——其至少部分地基于第二域中的预测目标图像而生成并且指定第二预测器。第一域与第二域不同。通过级联操作结合的第一预测器和第二预测器被应用于第一域中的输入图像以生成第二域中的重建图像，以近似于第二域中的预测目标图像。利用显示设备渲染从第二域中的重建图像得出的显示图像。
[0023]
示例视频传输处理流水线
[0024]
图1a描绘了视频传输流水线(100)的示例过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如，由数码相机等)数字地捕获或者由计算机(例如，使用计算机动画等)生成以提供视频数据(107)。附加地、可选地或替代性地，视频帧(102)可以由胶片相机捕获在胶片上。胶片可以被转换为数字格式以提供视频数据(107)。在制作阶段(110)，对视频数据(107)进行编辑以提供视频制作流(112)。
[0025]
制作流(112)的视频数据然后被提供给处理器以进行后期制作编辑(115)。后期制作编辑(115)可以包括调整或修改图像的特定区中的颜色或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。可以在后期制作编辑(115)处执行其他编辑(例如，场景选择和排序、手动和/或自动场景剪切信息生成、图像裁剪、添加计算机生成的视觉特效等)以产生hdr图像(117-1)或sdr(或相对窄的动态范围)图像(117)(例如，sdr等)的发布版本。在一些实施例中，在后期制作编辑(115)期间，由正在对hdr图像(117-1)执行后期制作编辑操作的调色师在支持高动态范围的参考hdr显示器上查看hdr图像(117-1)。附加地、可选地或替代性地，在后期制作编辑(115)期间，由正在对sdr图像(117)执行后期制作编辑操作的调色师在支持标准动态范围(或相对窄的动态范围)的参考显示器(125)上查看sdr图像(117)。附加地、可选地或替代性地，sdr图像(117)可以是从hdr图像(117-1)映射的内容。
[0026]
在一些实施例中，编码块(120)可以实施级联预测操作中的一些或全部以生成多组级联预测系数。编码块(120)从后期制作编辑(115)接收hdr图像(117-1)，并且将hdr图像(117-1)前向整形为经(前向)整形的sdr图像。经前向整形的sdr图像可以接近地近似于来自颜色分级操作的sdr图像(117)(如果可用)。仅出于说明的目的，编码块(120)将生成编码比特流，所述编码比特流包括sdr图像(例如，经前向整形的sdr图像等)和被编码比特流的接收设备用来从sdr图像重建hdr图像的图像元数据。然而，应当注意，在各种实施例中，在第一域中编码/表示的图像数据可以与图像元数据一起编码到编码比特流中，所述图像元
数据被编码比特流的接收设备用来从第一域中的图像数据重建在第二域中编码的图像数据。
[0027]
在一些实施例中，编码块(120)可以包括音频和视频编码器诸如由atsc、dvb、dvd、蓝光和其他传输格式定义的音频和视频编码器，以生成编码比特流(122)。
[0028]
经前向整形的sdr图像可以被编码块(120)压缩/编码到编码比特流(122)中。所述多组级联预测系数可以作为图像元数据的一部分被包括或编码到同一编码比特流中。
[0029]
编码比特流(122)可以表示与多种sdr显示设备(例如，sdr显示器等)后向兼容的视频信号(例如，8位sdr视频信号、10位sdr视频信号等)。在非限制性示例中，编码有经整形的sdr图像的视频信号可以是单层后向兼容视频信号。在此，“单层后向兼容视频信号”可以是指在单个信号层中承载针对sdr显示器进行了专门优化或颜色分级的sdr图像的视频信号。示例单层视频编码操作在2016年3月23日提交的美国临时专利申请号62/312,450(还公布于2019年4月11日，作为美国专利申请公开序列号2019/011054)中进行了描述，所述申请的全部内容如本文充分阐述的那样通过引用并入本文。
[0030]
多组级联预测系数可以被视频信号或编码比特流的接收方设备解码并用于级联预测操作，以从解码的经前向整形的sdr图像生成重建hdr图像。重建hdr图像可以近似于颜色分级hdr图像(117-1)中的对应输入或源hdr图像。可以使用级联预测操作(例如，后向整形操作、逆色调映射操作等)和由(上游)编码块(120)生成的多组级联预测系数来为重建hdr图像生成不同的视频质量水平。如本文所使用的，后向整形是指将第一动态范围的图像——例如，将要或已经在编码比特流中编码的图像——转换为第二更高动态范围的图像的图像处理操作。前向整形是指将第二动态范围的图像转换为第一更高动态范围的图像——例如，将要或已经在编码比特流中编码的图像——的图像处理操作。示例整形操作在2015年3月20日提交的美国临时申请序列号62/136,402(还公布于2018年1月18日，作为美国专利申请公开序列号2018/0020224)中进行了描述，所述申请的全部内容如本文充分阐述的那样通过引用并入本文。
[0031]
附加地、可选地或替代性地，编码比特流(122)编码有附加的图像元数据，所述图像元数据包括但不限于显示管理(dm)元数据，下游解码器可以使用所述dm元数据对hdr参考显示器的经后向整形的图像执行显示管理操作以生成被优化用于在如非参考hdr显示器等其他显示器上渲染的显示图像。
[0032]
然后，将编码比特流(122)向下游传输到如解码和回放设备、媒体源设备、媒体流客户端设备、电视机(例如，智能电视等)、机顶盒、电影院等接收器。在接收器(或下游设备)中，解码块(130)对编码比特流(122)进行解码以生成经解码图像182，所述经解码图像可以与经整形的sdr图像相同，但会经受在由编码块(120)执行的压缩和由解码块(130)执行的解压缩中生成的量化误差的影响。
[0033]
在接收器与支持标准动态范围或与标准动态范围可比或小于标准动态范围的相对窄的动态范围的目标显示器140一起操作(或者附接到或可操作地链接到所述目标显示器)的操作场景中，解码块(130)可以从编码比特流(122)(例如，编码比特流中的单层等)中解码经整形的sdr图像，并且直接或间接地使用解码的经整形的sdr图像以在目标显示器(140)上进行渲染。在目标显示器(140)具有与sdr参考显示器(125)类似的特性的实施例中，可以在目标显示器(140)上直接观看经整形的sdr图像。
[0034]
在一些实施例中，接收器与支持高动态范围(例如，400尼特、1000尼特、4000尼特、10000尼特或更高等)的hdr目标显示器140-1一起操作(或附接到所述hdr目标显示器或可操作地链接到所述hdr目标显示器)、可以从编码比特流(122)(例如，编码比特流中的(多个)元数据容器)中提取图像元数据、使用图像元数据(或合成器元数据)中的多组级联预测系数中的两个或更多个通过至少部分地基于图像元数据(合成器元数据)对经整形的sdr图像进行后向整形——包括但不限于对其执行级联预测操作——来从经整形的sdr图像合成经后向整形的图像132-1。
[0035]
在一些操作场景中，经后向整形的图像(132-1)表示针对在与结合接收器操作的hdr目标显示器相同或可比的hdr(例如，参考等)显示器上查看而优化的重建hdr图像。接收器可以直接使用经后向整形的图像(132-1)以在hdr目标显示器上进行渲染。
[0036]
在一些操作场景中，经后向整形的图像(132-1)表示针对在与结合接收器操作的hdr目标显示器(140-1)不同的hdr(例如，参考等)显示器上查看而优化的重建hdr图像。可以位于接收器中、位于hdr目标显示器(140-1)中或位于单独的设备中的显示管理块(例如，135-1等)通过生成适于hdr目标显示器(140-1)的特性的显示器映射信号(137-1)进一步调整经后向整形的图像(132-1)以适应hdr目标显示器(140-1)的特性。可以在hdr目标显示器(140-1)上渲染显示图像或调整的经后向整形的图像。
[0037]
视频编解码器和级联预测
[0038]
图1b图示了在解码器侧的示例两级级联预测操作。如图所示，输入信号作为输入被馈送到第一预测块(表示为“预测1”)，所述第一预测块生成第一预测(视频)信号(表示为“预测信号1”)作为输出。输入信号还作为输入被馈送到第二预测块(表示为“预测2”)以生成残差残余(视频)信号作为输出。从第一预测块输出的第一预测信号和由第二预测块生成的预测残差信号作为输入被馈送到级联操作块，所述级联操作块对输入的信号执行合并操作(例如，加法、乘法等)以生成第二预测(视频)信号(表示为“预测信号2”)作为输出。第二预测信号表示相对于第一预测信号和第二预测信号中的每一个被委任为对其进行近似的源或输入(视频)信号来说比第一预测信号准确度更高且质量更好的重建视频信号。
[0039]
在一些操作场景中，图1b的第一预测块在颜色空间(例如，ycbcr等)的亮度通道(表示为“y”)中使用8段2阶多项式执行预测操作、并且在颜色空间的色度通道(表示为“cb”或“c0”、“cr”或“cl”)中使用mmr系数执行预测操作。图1b的第二预测块在一些或所有亮度和色度通道中使用mmr(多颜色通道多元回归)系数或tpb(张量积b-样条)预测系数来执行预测操作。在第一预测块和第二预测块都使用基于mmr的预测的场景中，可以在这些预测块中重复使用实施基于mmr的预测的一些或所有处理逻辑。示例累积密度函数(cdf)匹配操作在以下项中进行了描述：2017年9月11日提交的pct申请号pct/us 2017/50980；2016年10月5日提交的美国临时申请序列号62/404,307(还公布于2018年4月5日，作为美国专利申请公开序列号2018/0098094)中进行了描述，所述申请的全部内容如本文充分阐述的那样通过引用并入本文。mmr操作的示例在美国专利号8,811,490中进行了描述，所述美国专利如本文充分阐述的那样以其全部内容通过引用并入本文。tpb操作的示例在2019年10月1日提交的题为“tensor-product b-spline predictor[张量积b-样条预测器]”的美国临时申请序列号62/908,770(代理人案卷号60175-0417)中进行了描述，所述申请如本文充分阐述的那样以其全部内容通过引用并入本文。
[0040]
图1c图示了基于函数模型的函数的示例两级预测。在该模型中，第一预测块的输出直接被馈送到第二预测块。在一些操作场景中，除了第一预测块已经获得的信息之外，该模型中的预测操作可能无法或几乎无法获得附加信息。相比之下，在如图1b所图示的级联模型中，第二预测块直接从输入(或源)信号接收原始图像数据。因此，第二预测块被更好地定位以校正由第一预测块生成的预测误差或不准确性。
[0041]
如本文所描述的由级联预测产生的示例优势和益处包括但不一定仅限于：(1)后向兼容现有的编解码器架构；(2)第一预测块和第二预测块的并行处理，其可以被利用或实施以提供相对低的(例如，处理、整体等)延迟和相对独立的预测处理。
[0042]
图1d图示了用于级联预测的示例编码器侧架构。视频编解码器(例如，视频编码器、视频转码器等)接收源(视频)信号和参考(视频)信号。仅出于说明的目的，源信号包括sdr图像(例如，要被编码到如图1a的122等编码比特流中的经前向整形的sdr图像等)。参考信号包括参考hdr图像，由接收方设备从sdr图像生成的重建hdr图像将近似于这些参考hdr图像。编解码器的目标是生成多组级联预测系数，以便在将所述多组级联预测系数中的一个、一些或全部应用于源信号中的sdr图像时，在预测(视频)信号中生成重建hdr图像以(例如，接近地、以多个质量水平中的特定质量水平、尽可能接近地，等等)近似于参考信号中的参考hdr图像。
[0043]
多组级联预测系数中的第一组级联预测系数(例如，指定8段2阶多项式和mmr系数等)可以被相对广泛地部署到该领域的第一群接收方解码或回放设备用来生成以第一质量水平近似于参考hdr图像的第一重建hdr图像。
[0044]
如图1d所图示的，编解码器可以使用第一预测块(表示为“预测1”)来接收参考信号和源信号，至少部分地基于接收到的参考信号和源信号生成第一组级联预测系数，输出第一组级联预测系数(表示为“预测器1系数”)作为要与源信号一起编码到编码比特流(例如，图1a的122等)中的图像元数据(或合成器元数据)的一部分，并且生成和输出至少部分地基于第一组级联预测系数而从源信号中的源图像生成的第一预测(视频)信号。
[0045]
多组级联预测系数中的第二组级联预测系数(例如，指定mmr系数或tpb预测系数等)可以与第一组一起由相对高级的第二群接收方解码或回放设备使用，以生成以高于第一质量水平的第二质量水平近似于参考hdr图像的第二重建hdr图像。
[0046]
如图1d所图示的，编解码器可以使用两级来生成第二组级联预测系数。第一级由逆级联操作块实施，以生成第二参考信号并将所述第二参考信号输出到第二预测块(表示为“预测2”)。逆级联操作块可以实施逆级联操作，比如，要由接收方解码器或回放设备应用的级联操作的反转(或与所述级联操作相反)。第二预测块除了接收由逆级联操作块生成的第二参考信号外，还接收由第一预测块接收的同一源信号。第二预测块至少部分地基于源信号和第二参考信号生成第二组级联预测系数，使得可以至少部分地基于第二组级联预测系数从源信号生成预测残差信号，以尽可能地近似于从逆级联操作块输出的第二参考信号。图1d的编解码器可以(例如，按命令、动态地、静态地，等等)包括第二组级联预测系数(表示为“预测器2系数”)作为编码比特流中的要传输到(多个)接收方解码器或回放设备的图像元数据的一部分。
[0047]
图1e图示了用于级联预测的示例解码器侧架构。视频编解码器(例如，视频解码器、视频转码器等)将接收到的编码比特流(例如，图1a的122等)解码为源信号的解码版本
(其可以与经受了由编码/解码或压缩/解压缩引起的量化/编码误差的源信号相同)和由上游编解码器(例如，图1d中的编码块(120)等)生成的多组级联预测系数中的一组或多组级联预测系数。
[0048]
所述多组级联预测系数中的一组或多组级联预测系数包括第一组级联预测系数。图1e的编解码器的第一预测块(表示为“预测1”)可以接收源信号(或其解码版本)和第一组级联预测系数(表示为“预测器1系数”)，并且至少部分地基于第一组级联预测系数从源信号中的sdr图像生成第一重建hdr图像(在第一预测参考信号中)。第一重建hdr图像以第一质量水平近似于(图1d的参考信号中的)参考hdr图像。
[0049]
在一些操作场景中，图1e的编解码器基于第一重建hdr图像得到第一显示图像并且在hdr显示设备上渲染第一显示图像，而不涉及除了第一组级联预测系数之外的任何其他组级联预测系数。
[0050]
在一些操作场景中，图1e的编解码器从接收到的编码比特流中解码第二组级联预测系数(表示为“预测器2系数”)，并使用预测2来接收源信号(或其解码版本)和第二组级联预测系数作为输入，并至少部分地基于第二组级联系数从源信号生成预测残差信号。预测残差信号可以由预测2输出到级联操作块(表示为“预测2”)。第一预测信号可以由第一预测块输出到级联操作块，所述级联操作块将预测残差信号与第一预测信号相结合以生成第二预测信号，所述第二预测信号包括以高于第一质量水平的第二质量水平近似于参考hdr图像的第二重建hdr图像。
[0051]
编码器处的前向和后向映射中的级联预测
[0052]
在一些操作场景中，作为编码器执行的整体图像处理操作的一部分，如本文所描述的视频编码器可以执行(hdr到sdr)前向映射和(sdr到hdr)后向映射两者。例如，编码器可以接收参考(或输入)hdr视频信号和内容映射的sdr视频信号。这些视频信号中的一个或多个可以是例如由(多个)调色师使用sdr参考显示器、hdr参考显示器、sdr和hdr参考显示器两者等来执行的颜色分级操作的结果。附加地、可选地或替代性地，可以从一个视频信号中的对应图像数据(例如，无用户干预或手动输入的情况下完全自动地、有用户干预和手动输入的情况下基本上自动地，等等)内容映射另一个视频信号中的图像数据。
[0053]
级联预测可以应用于编码器中的前向映射和后向映射。通过在编码器中应用级联预测，可以改善前向映射和后向映射的准确度和质量。
[0054]
为了将如本文所描述的级联预测应用于编码器侧的前向映射或后向映射，可以实施和执行与图1d中所描绘的相同或相似的多级(或级联)预测。
[0055]
编码器处的前向映射中的级联预测
[0056]
假设(由视频编码器接收的)输入sdr视频信号中的第j个输入sdr图像和(由视频编码器接收的)输入hdr视频信号中的第j个输入hdr图像(描绘与输入sdr图像相同的视觉语义内容，但具有更高的光亮度动态范围)中的每一个中都有p个像素。
[0057]
让三元组和分别表示第j个sdr和hdr图像中第i个像素的(诸如ycbcr或yc0c1等颜色空间的)归一化y、c0和c1值。
[0058]
在颜色空间的亮度或光亮度通道(表示为y)中，可以执行单通道亮度预测操作以使用亮度前向整形函数将hdr码字映射或前向整形为预测或映射的sdr码字(表
示为)，以近似于sdr码字如下所示：
[0059][0060]
亮度前向整形函数可以是提供从hdr亮度码字/值到预测或映射的sdr亮度码字/值的一对一映射的一维查找表(1d-lut)——或flut。可以使用输入hdr信号作为预测输入(例如，包括要映射的hdr码字等)并且使用输入sdr信号作为预测参考(例如，包括要由预测sdr码字来近似的sdr码字等)来生成亮度前向整形函数。
[0061]
然而，像素的亮度码字/值/强度经常受到这些像素的色度分量的影响。单通道亮度前向整形函数可能不善于捕获跨颜色信息或像素的色度分量与亮度分量之间的影响。因此，预测sdr码字可能偏离由输入sdr码字(预测sdr码字要对其进行近似)表示的预期sdr码字。
[0062]
为了克服与单通道亮度前向整形函数相关联的缺点，单通道亮度前向整形函数可以(例如，仅仅等)被视为以输入sdr信号作为包括第一预测目标值的第一预测目标信号而生成的第一亮度前向预测函数。第二亮度前向预测函数可以用于进一步结合(或更好地捕获)色度信息或对亮度分量的影响。
[0063]
可以生成第二预测目标信号(表示为)以包括第二预测目标值，使用第二亮度前向预测函数而生成的第二预测值要近似于所述第二预测目标值，如下所示：
[0064][0065]
其中表达式(2)右侧的算子
“‑”
表示逆级联算子op-1
()。仅出于说明的目的，逆级联算子op-1
()在表达式(2)中表示为减法算子。应当注意，在各种实施例中，如本文所描述的逆级联算子可以表示为减法算子、除法算子、可逆算子、基于泛函的算子等。
[0066]
可以使用输入hdr图像中的hdr亮度和/或色度码字(例如，等)——或其特定函数——作为输入并且使用第二预测目标信号作为预测目标，来生成第二亮度前向预测函数(表示为)。一旦第二亮度前向预测函数已被生成，其就可以用于将输入hdr图像中的hdr亮度和色度码字——或其特定函数——映射为预测码字残差如下所示：
[0067][0068]
因为第一亮度前向预测函数和第二亮度前向预测函数都与级联算子op()结合，可以给出整体亮度前向预测函数(表示为)，如下所示：
[0069][0070]
其中表达式(4)右侧的算子“+”表示与表达式(2)中的逆级联算子op-1
()相逆的级联算子op()。仅出于说明的目的，级联算子op()在表达式(4)中表示为加法算子。应当注意，在各种实施例中，只要表达式(4)中所表示的级联操作与表达式(2)中的逆级联操作是
共轭的，如本文所描述的级联算子就可以表示为加法算子、乘法算子、可逆算子、基于泛函的算子等。
[0071]
更具体地，通过将第二映射值——通过将第二亮度前向预测函数应用于输入hdr信号而生成——作为预测残差添加到通过将第一亮度前向预测函数应用于输入hdr信号而生成的第一映射值，可以获得包括sdr亮度通道中的整体映射的(或整体前向整形的)sdr码字/值的经前向整形的sdr信号，如下所示：
[0072][0073]
色度通道(或非亮度通道)中的前向预测(或前向整形中的预测操作)可以遵循与本文描述的用于亮度通道中的前向预测的级联过程类似的级联过程。在各种实施例中，色度通道中的前向预测可以使用与在亮度通道中的前向预测中使用的预测函数相似或不同的预测函数选择。作为说明而非限制，色度通道中的前向预测可以将第一色度预测函数选择为(二阶mmr系数所指定的)二阶mmr算子以预测色度通道中的sdr色度码字/值，并且进一步将第二色度预测函数选择为(三阶mmr系数所指定的)三阶mmr算子或一些其他算子(例如，除了二阶mmr算子，等等)以预测色度通道中的残差sdr色度码字/值。
[0074]
包括使用如本文所描述的级联前向预测而生成的经前向整形的sdr码字/值的经前向整形的sdr图像的sdr信号可以与后向整形元数据一起被编码到编码比特流(例如，图1a的122等)中，并被传输到下游解码器和/或回放设备，所述后向整形元数据用于从经前向整形的sdr图像生成和渲染重建hdr图像。
[0075]
编码器处的后向映射中的级联预测
[0076]
假设sdr视频信号中的(要后向整形的)第j个sdr图像和hdr视频信号中的(对应的预测目标)第j个hdr图像(描绘与sdr图像相同的视觉语义内容，但具有更高的光亮度动态范围)中的每一个中都有p个像素。
[0077]
让三元组和分别表示第j个sdr和hdr图像中第i个像素的(诸如ycbcr或yc0c1等颜色空间的)归一化y、c0和c1值。
[0078]
在颜色空间的亮度或光亮度通道(表示为y)中，可以执行单通道亮度预测操作以使用亮度后向整形函数将sdr码字映射或后向整形为预测或映射的hdr码字(表示为)，以近似于hdr码字如下所示：
[0079][0080]
亮度后向整形函数可以是提供从sdr亮度码字/值到预测或映射的hdr亮度码字/值的一对一映射的一维查找表(1d-lut)——或blut。可以使用(要后向整形的)sdr图像作为预测输入(例如，包括要映射的sdr码字等)并且使用(预测目标)hdr图像作为预测参考(例如，包括要由预测hdr码字来近似的hdr码字等)来生成亮度后向整形函数。
[0081]
然而，像素的亮度码字/值/强度经常受到这些像素的色度分量的影响。单通道亮度后向整形函数可能不善于捕获跨颜色信息或像素的色度分量与亮度分量之间的影响。因此，预测hdr码字可能偏离由hdr码字(预测hdr码字要对其进行近似)表示
的预期hdr码字。
[0082]
为了克服与单通道亮度后向整形函数相关联的缺点，单通道亮度后向整形函数可以(例如，仅仅等)被视为以(预测目标)hdr图像作为包括第一预测目标值的预测目标而生成的第一亮度后向预测函数。第二亮度后向预测函数可以用于进一步结合(或更好地捕获)色度信息或对亮度分量的影响。
[0083]
可以生成第二预测目标信号(表示为)以包括第二预测目标值，使用第二亮度后向预测函数生成的第二预测值要近似于所述第二预测目标值，如下所示：
[0084][0085]
其中表达式(7)右侧的算子
“‑”
表示逆级联算子op-1
()。仅出于说明的目的，逆级联算子op-1
()在表达式(7)中表示为减法算子。应当注意，在各种实施例中，如本文所描述的逆级联算子可以表示为减法算子、除法算子、可逆算子、基于泛函的算子等。附加地、可选地或替代性地，在各种实施例中，相似或不同类型的逆级联算子可以用于前向整形和后向整形。因此，不需要在前向整形和后向整形中使用相同类型的逆级联操作。
[0086]
可以使用输入(要后向整形的)sdr图像中的(要后向整形的)sdr亮度和色度码字(例如等)——或其特定函数——作为输入并且使用第二预测目标信号作为预测目标，来生成第二亮度后向预测函数(表示为)。一旦第二亮度后向预测函数已被生成，其就可以用于将(要后向整形的)sdr图像中的(要后向整形的)sdr亮度和色度码字——或其特定函数——映射为预测码字残差如下所示：
[0087][0088]
因为第一亮度后向预测函数和第二亮度后向预测函数都与逆级联算子op()结合，可以给出整体亮度后向预测函数(表示为)，如下所示：
[0089][0090]
其中表达式(9)右侧的算子“+”表示与表达式(7)中的逆级联算子op-1
()相逆的级联算子op()。仅出于说明的目的，级联算子op()在表达式(9)中表示为加法算子。应当注意，在各种实施例中，如本文所描述的级联算子就可以表示为加法算子、乘法算子、可逆算子、基于泛函的算子等，只要表达式(9)中所表示的级联操作与表达式(7)中的逆级联操作是共轭的。附加地、可选地或替代性地，在各种实施例中，相似或不同类型的级联算子可以用于前向整形和后向整形。因此，不需要在前向整形和后向整形中使用相同类型的级联操作。
[0091]
更具体地，通过将第二映射值——通过将第二亮度后向预测函数应用于(要后向整形的)sdr信号或其中的sdr图像而生成——作为预测残差添加到通过将第一亮度后向预测函数应用于(要后向整形的)sdr信号或其中的sdr图像而生成的第一映射值，可以获得包括hdr亮度通道中的整体映射的(或整体后向整形的)hdr码字/值的经后向整形的hdr信号，如下所示：
[0092][0093]
色度通道(或非亮度通道)中的后向预测(或后向整形中的预测操作)可以遵循与本文描述的用于亮度通道中的后向预测的级联过程类似的级联过程。在各种实施例中，色度通道中的后向预测可以使用与在亮度通道中的后向预测中使用的预测函数相似或不同的预测函数选择。作为说明而非限制，色度通道中的后向预测可以将第一色度预测函数选择为(二阶mmr系数所指定的)二阶mmr算子以预测色度通道中的hdr色度码字/值，并且进一步将第二色度预测函数选择为(三阶mmr系数所指定的)三阶mmr算子或一些其他算子(例如，除了二阶mmr算子，等等)以预测色度通道中的残差hdr色度码字/值。
[0094]
指定第一后向整形映射(比如，第一亮度和色度后向预测函数)的第一组级联预测系数(或预测操作参数)以及指定第二后向整形映射(比如，第二亮度和色度后向预测函数)的第二组级联预测系数(或预测操作参数)可以作为图像元数据的一部分被包括在编码比特流(例如，图1a的122等)中，所述编码比特流编码有(要后向整形的)sdr图像并被传输到下游解码器和/或回放设备，以从sdr图像生成和渲染重建hdr图像。
[0095]
解码器处的级联预测
[0096]
在一些操作场景中，如图1e所图示的，如视频解码器等编解码器仅执行从sdr到hdr的后向映射。仅出于说明的目的，可以首先针对亮度后向整形(或亮度通道中的后向整形)来解释解码器侧的后向映射。解码器从接收到的编码比特流(例如，图1a的122等)或其中的图像元数据容器中解码或读入多组级联预测系数。
[0097]
所述多组级联预测系数包括第一预测操作的第一组级联预测系数和第二预测操作的第二组的级联预测系数。第一组级联预测系数可以指定第一亮度后向预测函数例如，将解码的sdr码字映射到预测hdr码字的8段二阶多项式，这些预测hdr码字近似于生成多组级联预测系数的上游设备中的预测目标(或参考)hdr信号中的参考hdr图像，如下所示：
[0098][0099]
在一些操作场景中，解码器可以从包括利用第一亮度后向预测函数生成的预测hdr亮度码字的第一预测/重建hdr图像生成显示图像，并且利用与解码器一起操作的显示设备来渲染显示图像。
[0100]
在一些操作场景中，解码器可以(例如，同时地、并行处理等)使用由第二组级联预测系数指定的第二亮度后向预测函数来从解码的sdr亮度和色度码字(例如等)或其特定函数预测或估计差异信号(例如，预测残差)如下所示：
[0101][0102]
使用级联操作将利用第二亮度后向预测函数生成的估计差异信号添加到利用第一亮度后向预测函数生成的预测hdr码字上，以获得进一步改进的预测信号(表示为)中的第二预测或经后向整形的hdr图像，如下所示：
[0103][0104]
可以类似地获得第一和第二预测/重建hdr图像的色度分量。在一些操作场景中，第一色度后向预测函数/映射可以是三通道mmr预测器或函数。第二色度后向预测函数/映射可以是不同阶或不同类型的mmr预测器或函数，或者与第一色度后向预测函数/映射不同或相异(或比其更高级)的另一个预测器/函数。
[0105]
示例级联预测器和操作类型/类别
[0106]
在一些操作场景中，多个级联预测器中的第一级联预测器可以是但不一定仅限于相对简单的预测器(例如，单通道预测器、低阶多项式、低阶mmr算子等)，而多个级联预测器中的第二或另外的级联预测器可以是但不一定仅限于相对复杂或高级的预测器(例如，跨通道预测器、高阶多项式、高阶mmr算子等)。
[0107]
在一些操作场景中，多个级联预测器中的两个或更多个级联预测器可以是但不一定仅限于具有可比复杂性的预测器。这两个或更多个级联预测器在类型或类别上可以是多样的或不同的。
[0108]
仅作为说明，可以使用hdr到sdr的映射(例如，后向整形映射等)作为示例，以解释不同类型或类别的级联预测器或操作。应当注意，在各种实施例中，与用于hdr到sdr的映射的级联预测器或操作的类型或类别相似或不同的级联预测器或操作可以用于sdr到hdr的映射(例如，前向整形映射等)。
[0109]
级联预测器的第一示例类型或类别是使用具有由(多个)色度通道中的码字构成的单个输入变量的多项式的单变量函数。由于只使用了一个输入变量，因此色度饱和度是许多不同候选项中的一个候选项。色度饱和度(表示为)可以被定义或计算如下：
[0110][0111]
级联预测器的第一示例类型可以用以表达式(14)中的色度饱和度为单个输入变量的多项式来表示，且可以表示为可以通过根据预测目标信号(例如，要近似的信号等)和预测输入信号(例如，要前向整形的信号、要后向整形的信号等)最小化误差度量/成本来获得表示级联预测器的这种多项式的多项式系数。
[0112]
级联预测器的第二示例类型或类别是以色度通道中的码字作为输入的mmr预测器/函数。在选择输入变量时存在许多选项。
[0113]
作为第一示例选项，两个输入变量和可以用于如本文所描述的mmr预测器/函数(表示为)。
[0114]
作为第二示例选项，两个输入变量和可以用于如本文所描述的mmr预测器/函数(表示为)。
[0115]
作为第三示例选项，三个输入变量和可以用于如本文所描述的mmr预测器/函数(表示为)。
[0116]
作为第四示例选项，三个输入变量i和j可以用于如本文所描述的mmr预测器/
函数(表示为)。输入变量i和j可以用于高效地捕获(多个)特定像素位置处的局部变化。
[0117]
可以通过根据预测目标信号(例如，要近似的信号等)和预测输入信号(例如，要前向整形的信号、要后向整形的信号等)最小化误差度量/成本来获得表示级联预测器的mmr预测器的mmr预测系数。
[0118]
级联预测器的第三示例类型或类别是以色度通道中的码字作为输入的tpb预测器/函数。在选择输入变量时存在许多选项。
[0119]
作为第一示例选项，两个输入变量和可以用于如本文所描述的tpb预测器/函数(表示为)。
[0120]
作为第二示例选项，两个输入变量和可以用于如本文所描述的mmr预测器/函数(表示为)。
[0121]
作为第三示例选项，三个输入变量和可以用于如本文所描述的mmr预测器/函数(表示为)。
[0122]
作为第四示例选项，三个输入变量i和j可以用于如本文所描述的mmr预测器/函数(表示为)。输入变量i和j可以用于高效地捕获(多个)特定像素位置处的局部变化。
[0123]
可以通过根据预测目标信号(例如，要近似的信号等)和预测输入信号(例如，要前向整形的信号、要后向整形的信号等)最小化误差度量/成本来获得表示级联预测器的tpb预测器的tpb预测系数。
[0124]
附加地、可选地或替代性地，级联预测器的类型或类别中可以使用除本文说明的那些级联预测器的类型或类别之外的级联预测器的类型或类别(例如，非多项式、非mmr、非tpb等)。附加地、可选地或替代性地，可以在一种类型或类别的级联预测器中使用除本文说明的那些输入变量之外的输入变量。
[0125]
在各种实施例中，可以使用类似或不同类型或类别的(例如，可逆转的(reversible)、可逆的(invertible)等)级联操作及其共轭或逆级联操作。
[0126]
第一示例级联操作是(比如，在中的)(算术)加法。第二示例级联操作是(比如，在中的)(算术)乘法。
[0127]
附加地、可选地或替代性地，可以在一种类型或类别的级联预测器中使用除本文说明的那些级联操作类型(算术加法和乘法)之外的级联操作类型。
[0128]
多重级联预测
[0129]
两级级联预测可以扩展到多重(或多级)级联预测，比如三级级联预测。在一些操作场景中，可以生成多个分段mmr算子作为如本文所描述的级联预测中的多个预测器。附加地、可选地或替代性地，代替或除了创建1d-lut来引导mmr预测(例如，单通道多段mmr预测、多通道单段mmr预测等)之外，级联预测可以用于支持多通道多段mmr预测，而无需在段分区边界处执行特殊处理，比如在段分区边界处融合多个mmr预测结果。例如，不同类型的多通
道多段mmr预测可以在不同的连续或级联预测级中实施，同时具有相对较高的计算效率和相对较高的性能。如图1f所图示的，除了第一和第二预测操作(分别表示为“预测1”和“预测2”)分别使用第一预测器和第二预测器之外，第三预测操作(表示为“预测3”)可以使用第三预测器
[0130]
如前所述，不同类型的级联操作可以由本文描述的编解码器在不同的操作场景中使用。作为说明而非限制，可以使用两种不同类型的级联算子。
[0131]
首先，在一些操作场景中，(算术)加法算子可以用作用于组合来自图1f的三个预测操作的预测值的级联操作，如下所示：
[0132][0133]
其次，在一些操作场景中，(算术)乘法算子可以用作用于组合来自图1f的三个预测操作的预测值的级联操作，如下所示：
[0134][0135]
随着第三的、新的级的添加(与两级级联预测相比)，可以捕获其他级中的其他预测操作所遗漏的图像数据中的一些附加结构、信息等。(多个)较晚的预测操作——其可以与本文所描述的解码器中的(多个)较早的预测操作完全同时执行——可以被选择为与(多个)较早的预测操作不同或相异、或者比其更高级。随着新的级的添加，要由后续预测操作预测的后续残差可能会变得更像随机噪声，从而会提供几乎微不足道的益处，同时随着越来越多的新的级的添加而会增加计算复杂度。
[0136]
预测器系数的推导
[0137]
第一预测器可以用多项式、mmr、tpb等计算或表示。作为说明而非限制，本文针对前向整形(从hdr到sdr)描述了第二预测器的级联预测系数(或操作参数)的示例计算。
[0138]
为简单起见，将第二预测器的目标信号表示为s
ji
，并且将来自第一预测器的(第一)预测值表示为因此，
[0139][0140]
第一预测器(或第一预测操作)可以基于输入形式为单个输入变量或多个输入变量的单通道多项式或mmr。预测系数(构成第一组级联预测系数)可以经由优化过程获得，以最小化误差度量/成本，比如表示为均方误差(mse)的误差度量/成本，如下所示：
[0141][0142]
在编码器侧，可以确定残差信号(表示为)，比如，原始预测目标(或参考)信号与来自第一预测器的输出预测信号之间的差。取决于要与第一预测器和第二预测器结合使用的级联算子或级联操作的类型(例如，可逆的等)，可以确定第二预测器要在第二预测操作中预测的不同预测目标(或参考)值。
[0143]
在示例中，级联操作是算术加法。因此，对应的逆级联操作(或逆级联算子)是(算术)减法。可以使用逆级联算子从原始预测目标信号和第一预测信号计算亮度通道中的残
差信号，如下所示：
[0144][0145]
在另一个示例中，级联操作是算术乘法。因此，对应的逆级联操作(或逆级联算子)是(算术)除法。可以使用逆级联算子从原始预测目标信号和第一预测信号计算亮度通道中的残差信号，如下所示：
[0146][0147]
第二预测器(或预测操作)可以由第二预测函数表示如下：
[0148][0149]
第二预测器(或预测操作)旨在使用原始输入值预测作为示例而非限制，第二预测算子的类型可以是mmr、tpb或输入形式为多个输入变量的另一种类型。第二预测器的预测系数(构成第二组级联预测系数)可以经由优化过程获得，以最小化误差度量/成本，比如表示为均方误差(mse)的误差度量/成本，如下所示：
[0150][0151]
以3通道mmr为例，设计向量可以构建为输入源(例如，要前向整形的等)信号的多元多项式向量，如下所示：
[0152][0153]
针对所有像素(或sdr和hdr像素对)的包括表达式(23)中的设计向量的设计矩阵可以构建如下：
[0154][0155]
包括将由第二预测器针对y、cb和cr通道为所有像素(或sdr和hdr像素对)生成的值来近似的值的参考(或预测目标)信号的y、cb或c0以及cr或c1分量可以构建如下：
[0156][0157][0158][0159]
可以用亮度和色度通道的mmr系数来指定第二预测器，如下所示：
[0160][0161][0162][0163]
其中，m是mmr系数的总数，例如，7*mmr_order+1。
[0164]
可以使用这些mmr系数生成用于近似于表达式(25)中的参考(或预测目标)信号的y、cb或c0以及cr或c1分量中的每一个的预测值，如下所示：
[0165][0166][0167][0168]
出于导出mmr系数的目的，最小化所有像素(或像素箱)的整体近似误差的优化问题可以被解决如下：
[0169]
对于通道y：
[0170]
对于通道c0：
[0171]
对于通道c1：
[0172]
该优化问题可以利用线性最小二乘解来求解，如下所示：
[0173][0174][0175][0176]
图2a图示了sdr图像中的亮度(y)码字/值(如竖直轴所指示的)与对应的hdr图像中的对应亮度(y)码字/值(如水平轴所指示的)的示例散点图，所述hdr图像描绘了与sdr图像相同的视觉语义内容。
[0177]
图2b图示了预测亮度(y)码字/值(如竖直轴所指示的)与sdr图像中的对应的亮度(y)码字/值(如水平轴所指示的)的示例散点图，这些预测亮度码字/值由第一预测器或预测操作(表示为“预测器#1”)使用hdr图像作为输入并使用sdr图像作为要由预测亮度(y)码字/值近似的预测目标/参考来生成。
[0178]
图2c图示了第二级预测值(如竖直轴所指示的；表示为“预测信号#2”)与由第一预测器或预测操作生成的预测亮度(y)码字/值(如水平轴所指示的)的示例散点图，这些第二级预测值由第二预测器或预测操作使用hdr图像作为输入并使用由逆级联操作所生成并由第二级预测值近似的目标/参考值来生成。
[0179]
图2d图示了整体预测亮度(y)码字/值(如竖直轴所指示的)与sdr图像中的对应的
亮度(y)码字/值(如水平轴所指示的)的示例散点图，这些整体预测亮度码字/值是通过组合来自第一和第二预测器或预测操作的预测值而生成的。
[0180]
与仅使用第一预测器或预测操作的图2b的散点图相比，由第一和第二预测器或预测操作两者在如本文所描述的级联预测下生成的整体预测亮度(y)码字/值显示出与sdr图像中的亮度(y)码字/值的相对较强的关联，从而在包括整体预测亮度(y)码字/值的预测图像中实现了相对较高的准确度和质量水平。
[0181]
应用架构
[0182]
如本文所述的级联预测可以集成到用视频编解码器实施的多种应用架构中，包括但不限于支持单层后向兼容(slbc)和单层逆显示管理(slidm)视频应用的应用架构。
[0183]
slbc架构
[0184]
图3a图示了包括前向整形路径和后向整形路径的示例slbc编解码器(例如，slbc视频编码器、slbc视频转码器)。可以在前向整形路径和后向整形路径的每一个中(例如，附加地、可选地或替代性地等)执行级联预测，比如，与逆级联操作结合的两级级联预测。
[0185]
如图所示，前向整形路径中的级联预测包括第一前向预测操作(表示为“前向预测1”)和第二前向预测操作(表示为“前向预测2”)。后向整形路径中的级联预测包括第一后向预测操作(表示为“后向预测1”)和第二后向预测操作(表示为“后向预测2”)。
[0186]
应当注意，前向整形路径中的预测器或预测操作相对于后向整形路径中的预测器或预测操作不需要是对称或以其他方式确定的。例如，第二前向预测不必与第一后向预测相同或共轭(例如，相逆、转置等)。类似地，第一前向预测不必与第二后向预测相同或共轭(例如，相逆、转置等)。
[0187]
附加地、可选地或替代性地，不同类型的级联预测可以用于前向整形路径和后向整形路径中的每一个的两级预测。例如，对于前向整形路径和后向整形路径中的每一个，可以将相对简单的预测器或预测操作放置在第一级中，然而可以将不同的、相对高级的预测器或预测操作放置在较简单的预测器或预测操作之后的第二级中以获得额外的预测准确度和性能增益。
[0188]
更具体地，在一些操作场景中，第二前向预测器或预测操作可以被选择为与第一前向预测器或预测操作不同或相异(或比其更高级)。类似地，第二后向预测器或预测操作可以被选择为与第一后向预测器或预测操作不同或相异(或比其更高级)。
[0189]
在前向整形路径中，可以将构成输入(或源)hdr信号(表示为“hdr信号”)中每个hdr图像的亮度和色度hdr码字/值前向整形为构成经前向整形的信号(表示为“经前向整形的sdr信号”)中的对应的经前向整形的sdr图像的亮度和色度sdr码字/值。经前向整形的亮度和色度sdr码字/值(例如，接近地、以各种质量水平等)近似于参考(或目标)sdr信号(表示为“sdr信号”)中对应参考(或目标)sdr图像中的亮度和色度sdr码字/值。
[0190]
作为示例而非限制，在前向(整形)路径中，第一前向预测器或预测操作包括根据cdf匹配技术构建的第一亮度前向预测器(例如，函数、曲线、查找表、flut等)，如下所示：
[0191][0192]
其中，表示由第一亮度前向预测器输出的第一预测亮度码字/值。
[0193]
可以使用逆级联操作(其可以是亮度特定的、第一级特定的、编码器特定的等)来
生成第一预测亮度码字/值与将由第一预测亮度码字/值近似的参考(或目标)sdr信号中的目标亮度码字/值之间的预测误差，如下所示：
[0194][0195]
预测误差可以用作将使用第二前向预测器或预测操作中的第二亮度前向预测器(比如，mmr映射)来预测或近似的预测目标值，如下所示：
[0196][0197]
通过将和第二亮度前向预测器两者输出的预测值相加来生成亮度通道的最终预测值如下所示：
[0198][0199]
类似地，在前向(整形)路径中，对于色度通道cb/c0和cr/cl，第一前向预测器或预测操作包括第一色度前向预测器，如下所示：
[0200][0201][0202]
其中，和表示基于单级mmr操作的色度通道的第一预测色度值。
[0203]
可以使用逆级联操作(其可以是亮度特定的、第一级特定的、编码器特定的等)为每个色度通道生成第一预测色度码字/值与将由第一预测色度码字/值近似的参考sdr信号中的目标色度码字/值之间的预测误差，如下所示：
[0204][0205][0206]
预测误差可以用作将使用第二前向预测器或预测操作中的第二色度前向预测器(比如，在以下方面比第一色度前向预测器中使用的mmr映射更高级的mmr映射：使用的级总数的类型、构建物的阶或度、使用的映射和函数、操作、输入变量的总数、输入变量的(多种)类型等)来预测或近似的预测目标值，如下所示：
[0207][0208][0209]
通过将和第二色度前向预测器两者输出的预测值相加来生成色度通道的最终预测值和如下所示：
[0210][0211][0212]
在一些操作场景中，表达式(33)和(37)中的最终预测值可以作为经前向整形的亮
度和色度码字/值而作为经前向整形的sdr图像/信号的一部分被输出。在编码比特流(例如，图1a的122等)中编码经前向整形的图像/信号，并将其作为输入提供给后向整形路径。
[0213]
在后向整形路径中，可以将构成经前向整形的sdr信号中的每个经前向整形的sdr图像的经前向整形的亮度和色度sdr码字/值后向整形为构成重建hdr信号中对应的重建hdr图像的重建亮度和色度hdr码字/值。重建或经后向整形的亮度和色度hdr码字/值(例如，接近地、以各种质量水平等)近似于输入hdr信号中的对应输入hdr图像中的亮度和色度hdr码字/值。输入hdr信号和重建hdr信号都没有被编码到编码比特流中。而是，指定后向整形映射(比如，多组级联预测操作)的图像元数据(或合成器元数据)被包括在编码比特流中。替代从编码比特流中解码hdr图像，接收方解码器或回放设备对经前向整形的sdr图像进行解码，并通过将后向整形映射应用于经前向整形的sdr图像来从经前向整形的sdr图像生成重建hdr图像。
[0214]
作为示例而非限制，在后向(整形)路径中，第一后向预测器或预测操作包括根据cdf匹配技术构建的第一亮度后向预测器(例如，函数、曲线、查找表、blut等)，如下所示：
[0215][0216]
其中，表示由第一亮度后向预测器输出的第一预测亮度码字/值。
[0217]
可以使用逆级联操作(其可以是亮度特定的、第一级特定的、编码器特定的等)来生成第一预测亮度码字/值与将由第一预测亮度码字/值近似的输入hdr信号中的目标亮度码字/值之间的预测误差，如下所示：
[0218][0219]
预测误差可以用作将使用第二后向预测器或预测操作中的第二亮度后向预测器(比如，mmr映射)来预测或近似的预测目标值，如下所示：
[0220][0221]
通过将第一和第二亮度后向预测器两者输出的预测值相加来生成亮度通道的最终预测值如下所示：
[0222][0223]
类似地，在后向(整形)路径中，对于色度通道cb/c0和cr/cl，第一后向预测器或预测操作包括第一色度后向预测器，如下所示：
[0224][0225][0226]
其中，和表示基于单级mmr操作的色度通道的第一预测色度值。
[0227]
可以使用逆级联操作(其可以是亮度特定的、第一级特定的、编码器特定的等)为每个色度通道生成第一预测色度码字/值与将由第一预测色度码字/值近似的参考(或目标)hdr信号中的目标色度码字/值之间的预测误差，如下所示：
[0228][0229][0230]
预测误差可以用作将使用第二后向预测器或预测操作中的第二色度后向预测器(比如，在以下方面比第一色度后向预测器中使用的mmr映射更高级的mmr映射：使用的级总数的类型、构建物的阶或度、使用的映射和函数、操作、输入变量的总数、输入变量的(多种)类型等)来预测或近似的预测目标值，如下所示：
[0231][0232][0233]
通过将和第二色度后向预测器两者输出的预测值相加来生成色度通道的最终预测值和如下所示：
[0234][0235][0236]
应当注意，将由接收包括多组级联预测系数的图像元数据(或合成器元数据)的接收设备来生成最终预测亮度和色度值和所述多组级联预测系数包括指定第一亮度和色度后向预测器的第一组级联预测系数和指定第二亮度和色度后向预测器的第二组级联预测系数。这些后向预测器可以由接收方设备应用于从编码比特流解码的经前向整形的sdr图像(包括经前向整形的sdr码字/值)，以生成重建hdr图像的最终预测亮度和色度值和slidm架构
[0237]
图3b图示了包括后向整形路径的示例slidm编解码器(例如，slidm视频编码器、slidm视频转码器)。可以在后向整形路径中(例如，附加地、可选地或替代性地等)执行级联预测，比如，与逆级联操作结合的两级级联预测。
[0238]
如图所示，后向整形路径中的级联预测包括第一后向预测操作(表示为“后向预测1”)和第二后向预测操作(表示为“后向预测2”)。
[0239]
不同类型的级联预测可以用于后向整形路径的两级预测。例如，可以将相对简单的预测器或预测操作放置在第一级中，然而可以将不同的、相对高级的预测器或预测操作放置在较简单的预测器或预测操作之后的第二级中以获得额外的预测准确度和性能增益。
[0240]
在一些操作场景中，输入sdr信号中的每个sdr图像的亮度和色度码字/值被编码到编码比特流(例如，图1a的122等)中，并作为输入被提供给后向整形路径。
[0241]
可以将构成输入sdr信号中每个输入sdr图像的亮度和色度sdr码字/值后向整形为构成重建hdr信号中的对应重建hdr图像的重建亮度和色度hdr码字/值。重建或经后向整形的亮度和色度hdr码字/值(例如，接近地、以各种质量水平等)近似于输入hdr信号中的对应输入hdr图像中的亮度和色度hdr码字/值。输入hdr信号和重建hdr信号都没有被编码到
编码比特流中。而是，指定后向整形映射(比如，多组级联预测操作)的图像元数据(或合成器元数据)被包括在编码比特流中。替代从编码比特流中解码hdr图像，接收方解码器或回放设备解码sdr图像，并通过将后向整形映射应用于sdr图像来从sdr图像生成重建hdr图像。
[0242]
作为示例而非限制，第一后向预测器或预测操作包括根据cdf匹配技术构建的第一亮度后向预测器(例如，函数、曲线、查找表、blut等)，如下所示：
[0243][0244]
其中，表示由第一亮度后向预测器输出的第一预测亮度码字/值。
[0245]
可以使用逆级联操作(其可以是亮度特定的、第一级特定的、编码器特定的等)来生成第一预测亮度码字/值与将由第一预测亮度码字/值近似的输入hdr信号中的目标亮度码字/值之间的预测误差，如下所示：
[0246][0247]
预测误差可以用作将使用第二后向预测器或预测操作中的第二亮度后向预测器(比如，mmr映射)来预测或近似的预测目标值，如下所示：
[0248][0249]
可以通过将和第二亮度后向预测器两者输出的预测值相加来生成亮度通道的最终预测值如下所示：
[0250][0251]
类似地，在后向(整形)路径中，对于色度通道cb/c0和cr/cl，第一后向预测器或预测操作包括第一色度后向预测器，如下所示：
[0252][0253][0254]
其中，和表示基于单级mmr操作的色度通道的第一预测色度值。
[0255]
可以使用逆级联操作(其可以是亮度特定的、第一级特定的、编码器特定的等)为每个色度通道生成第一预测色度码字/值与将由第一预测色度码字/值近似的参考(或目标)hdr信号中的目标色度码字/值之间的预测误差，如下所示：
[0256][0257][0258]
预测误差可以用作将使用第二后向预测器或预测操作中的第二色度后向预测器(比如，在以下方面比第一色度后向预测器中使用的mmr映射更高级的mmr映射：使用的级总数的类型、构建物的阶或度、使用的映射和函数、操作、输入变量的总数、输入变量的(多种)
类型等)来预测或近似的预测目标值，如下所示：
[0259][0260][0261]
可以通过将和第二色度后向预测器两者输出的预测值相加来生成色度通道的最终预测值和如下所示：
[0262][0263][0264]
应当注意，将由接收包括多组级联预测系数的图像元数据(或合成器元数据)的接收设备来生成最终预测亮度和色度值和所述多组级联预测系数包括指定第一亮度和色度后向预测器的第一组级联预测系数和指定第二亮度和色度后向预测器的第二组级联预测系数。这些后向预测器可以由接收方设备应用于从编码比特流解码的解码sdr图像(包括sdr码字/值)，以生成重建hdr图像的最终预测亮度和色度值和
[0265]
在一些操作场景中，线性的基于段的结构可以用于计算/生成/包括图像元数据中的后向整形映射，以保持图像元数据的时间稳定性。示例线性的基于段的结构在2018年1月4日公布的美国专利申请公开序列号2018/0007356中进行了描述，所述美国专利申请的全部内容如本文充分阐述的那样通过引用并入本文。
[0266]
如本文所描述的一些或所有技术可以作为实时操作的部分来实施和/或执行，以产生适合于广播视频应用、实时流式应用等的视频内容颜色分级。附加地、可选地或替代性地，如本文所描述的一些或所有技术可以作为时间延迟或离线操作的部分来实施和/或执行，以产生适合于非实时流式应用、影院应用等的视频内容颜色分级。
[0267]
示例过程流程
[0268]
图4a图示了根据实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、反向映射生成和应用系统等)可以执行此过程流程。在框402中，图像处理系统将第一预测器应用于在第一域中编码的输入图像以生成近似于在不同于第一域的第二域中编码的预测目标图像的预测目标码字的第一级预测码字。
[0269]
在框404中，图像处理系统通过对预测目标码字和第一级预测码字执行逆级联操作来创建第二级预测目标值。
[0270]
在框406中，图像处理系统将第二预测器应用于第一域中的输入图像以生成近似于第二级预测目标值的第二级预测值；
[0271]
在框408中，图像处理系统生成多组级联预测系数。所述多组级联预测系数包括指定第一预测器的第一组级联预测系数。所述多组级联预测系数包括指定第二预测器的第二组不同的级联预测系数。
[0272]
在框410中，图像处理系统将多组级联预测系数作为图像元数据编码到视频信号中。视频信号进一步编码有第一域中的输入图像。视频信号的接收方设备使用所述多组级联预测系数，以将第一预测器和第二预测器应用于输入图像，从而生成第二域中的预测图像。第二域中的预测图像近似于第二域中的预测目标图像。
[0273]
在实施例中，视频信号表示以下之一：单层后向兼容信号或单层逆显示管理信号；第二域具有以下之一：比第一域更高的动态范围、与第一域相同的动态范围或比第一域更低的动态范围。
[0274]
在实施例中，第一预测器和第二预测器表示将第一域中的输入图像映射到第二域中的预测图像的整体后向整形映射。
[0275]
在实施例中，第一预测器包括第一亮度预测器和第一色度预测器；第二预测器包括第二亮度预测器和第二色度预测器；第一亮度预测器和第二亮度预测器是不同类型的亮度预测器，并且其中，第一色度预测器和第二色度预测器是不同类型的色度预测器。
[0276]
在实施例中，第二亮度预测器比第一亮度预测器更高级。
[0277]
在实施例中，第一亮度预测器表示单通道多项式预测器；第二亮度预测器表示多通道多变量多元回归(mmr)预测器。
[0278]
在实施例中，第二色度预测器比第一色度预测器更高级。
[0279]
在实施例中，第一色度预测器表示一阶多变量多元回归(mmr)预测器；第二色度预测器表示高于一阶的二阶mmr预测器。
[0280]
在实施例中，第一域中的输入图像是通过将前向整形映射应用于第二域中的预测目标图像而生成的经前向整形的图像。
[0281]
在实施例中，前向整形映射表示以下之一：不基于多级级联预测的映射、或基于多级级联预测的映射。
[0282]
在实施例中，级联预测表示以下之一：算术加法运算、算术乘法运算、可逆算术运算、可逆泛函运算、另一个可逆运算等。
[0283]
图4b图示了根据本发明的实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、预测模型和特征选择系统、反向映射生成和应用系统等)可以执行此过程流程。在框452中，视频解码系统从视频信号中解码在第一域中编码的输入图像。
[0284]
在框454中，视频解码系统从视频信号中解码包括多组级联预测系数的图像元数据。
[0285]
所述多组级联预测系数由上游图像处理设备生成。
[0286]
所述多组级联预测系数包括第一组级联预测系数，所述第一组级联预测系数指定第一预测器，所述第一组级联预测系数是至少部分地基于在第二域中编码的预测目标图像而生成的。第一域与第二域不同。
[0287]
所述多组级联预测系数包括指定第二预测器的至少部分地基于在第二域中的预测目标图像而生成的第二组级联预测系数。
[0288]
在框456中，视频解码系统将通过级联操作结合的第一预测器和第二预测器应用于第一域中的输入图像以生成第二域中的重建图像。第二域中的重建图像近似于第二域中
的预测目标图像。
[0289]
在框458中，视频解码系统利用显示设备渲染从第二域中的重建图像得出的显示图像。
[0290]
在实施例中，如显示设备、移动设备、机顶盒、多媒体设备等计算设备被配置用于执行前述方法中的任何方法。在实施例中，一种装置包括处理器，并且被配置用于执行前述方法中的任何方法。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，所述软件指令当由一个或多个处理器执行时使得执行前述方法中的任何方法。
[0291]
在实施例中，一种计算设备包括一个或多个处理器以及一个或多个存储介质，所述一个或多个存储介质存储指令集，所述指令集当由所述一个或多个处理器执行时使得执行前述方法中的任何方法。
[0292]
注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。
[0293]
示例计算机系统实施方式
[0294]
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(ic)装置(比如微控制器、现场可编程门阵列(fpga)或另一个可配置或可编程逻辑装置(pld)、离散时间或数字信号处理器(dsp)、专用ic(asic))和/或包括这样的系统、装置或部件中的一个或多个的设备来实施。计算机和/或ic可以执行、控制或实施与对具有增强动态范围的图像的自适应感知量化有关的指令，如本文所描述的那些。计算机和/或ic可以计算与本文所描述的自适应感知量化过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。
[0295]
本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本公开的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的对hdr图像的自适应感知量化有关的方法。还可以以程序产品的形式提供本发明的实施例。程序产品可以包括携带一组计算机可读信号的任何非暂态介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时使数据处理器执行本发明的实施例的方法。根据本发明的实施例的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括cd rom、dvd的光学数据存储介质、包括rom、闪速存储器ram的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
[0296]
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对所述部件的引用(包括对“装置”的引用)都应该被解释为包括执行所描述部件的功能的任何部件为所述部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。
[0297]
根据一个实施例，本文所描述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以用于执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备，如一个或多个专用集成电路(asic)或现场可编程门阵列(fpga)，或者可以包括被编程为根据固件、存储器、其他存储设备或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这种专用计算设备也可以将定制的硬接线逻辑、asic或fpga与
定制编程相结合来实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施所述技术的任何其他设备。
[0298]
例如，图5是图示了可以在其上实施本发明的实施例的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机制、以及与总线502耦接以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。
[0299]
计算机系统500还包括耦接到总线502以用于存储要由处理器504执行的信息和指令的主存储器506，如随机存取存储器(ram)或其他动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其他中间信息。在被存储于处理器504可访问的非暂态存储介质中时，这种指令使得计算机系统500变成被定制用于执行在指令中指定的操作的专用机器。
[0300]
计算机系统500进一步包括只读存储器(rom)508或耦接到总线502的用于存储处理器504的静态信息和指令的其他静态存储设备。提供存储设备510(如磁盘或光盘)，并将其耦接到总线502以用于存储信息和指令。
[0301]
计算机系统500可以经由总线502耦接到如液晶显示器等显示器512上，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦接到总线502，以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是如鼠标、轨迹球或光标方向键等光标控制件516，以用于将方向信息和命令选择传送到处理器504并用于控制在显示器512上的光标移动。典型地，此输入设备具有在两条轴线——第一轴线(例如，x轴)和第二轴线(例如，y轴)——上的两个自由度，允许设备在某个平面中指定方位。
[0302]
计算机系统500可以使用自定义硬接线逻辑、一个或多个asic或fpga、固件和/或程序逻辑来实施本文所描述的技术，所述固件和/或程序逻辑与计算机系统相结合使计算机系统500成为或编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行如本文所描述的技术。这种指令可以从另一个存储介质(如存储设备510)读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文所描述的过程步骤。在替代实施例中，可以使用硬接线电路来代替软件指令或者与软件指令相结合。
[0303]
本文中使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，如存储设备510。易失性介质包括动态存储器，如主存储器506。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、cd-rom、任何其他光学数据存储介质、具有孔图案的任何物理介质、ram、prom和eprom、闪速eprom、nvram、任何其他存储器芯片或存储盒。
[0304]
存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，如在无线电波和红外数据通信期间生成的声波或光波。
[0305]
各种形式的介质可以涉及将一个或多个指令的一个或多个序列载送到处理器504以供执行。例如，指令最初可以携带在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本
地的调制解调器可以接收电话线上的数据并使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中携带的数据，并且适当的电路可以将数据放在总线502上。总线502将数据载送到主存储器506，处理器504从所述主存储器取得并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。
[0306]
计算机系统500还包括耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，所述网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(isdn)卡、电缆调制解调器、卫星调制解调器或调制解调器，以向对应类型的电话线提供数据通信连接。作为另一个示例，通信接口518可以是局域网(lan)卡，用于提供与相容lan的数据通信连接。还可以实施无线链路。在任何这种实施方式中，通信接口518发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
[0307]
网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(isp)526操作的数据设备的连接。isp 526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和因特网528都使用携带数字数据流的电信号、电磁信号或光信号。其将数字数据载送到计算机系统500和从所述计算机系统载送数字数据的通过各种网络的信号以及网络链路520上和通过通信接口518的信号是传输介质的示例形式。
[0308]
计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可以通过因特网528、isp 526、本地网络522和通信接口518传输应用程序的请求代码。
[0309]
所接收的代码可以在被接收到时由处理器504执行，和/或存储在存储设备510、或其他非易失性存储器中以供稍后执行。
[0310]
等同物、扩展、替代方案和杂项
[0311]
在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，指明本发明的要求保护的实施例以及申请人认为的本发明的要求保护的实施例的唯一且排他性指示是根据本技术以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续修正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应该支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应该以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。