端对端单层后向兼容编码流水线中的高保真度全参考和高效部分参考编码的制作方法
相关申请的交叉引用
本专利申请要求于2018年5月11日提交的美国临时专利申请号62/670,086；于2018年5月11日提交的欧洲专利申请号18171795.0以及于2018年8月21号提交的美国临时专利申请号62/720,375的优先权的权益，每个专利申请通过引用以其全文并入本文。
本发明总体上涉及图像。更具体地，本发明的实施例涉及(多个)端对端单层后向兼容编码流水线中的高保真全参考和高效部分参考编码(high-efficiencyreducedreferenceencoding)。
背景技术：
如本文所使用的，术语“动态范围(dr)”可以涉及人类视觉系统(hvs)感知图像中的强度范围(例如光亮度、亮度)的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，dr与“参考场景的(scene-referred)”强度有关。dr还可以涉及显示设备充分或近似渲染特定宽度(breadth)的强度范围的能力。从这个意义上说，dr与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上例如可互换地使用。
如本文所使用的，术语“高动态范围(hdr)”涉及跨越人类视觉系统(hvs)的大约14至15个或更多数量级的dr宽度。在实践中，相对于hdr，人类可以同时感知强度范围广泛宽度的dr可能会被稍微截短。如本文所使用的，术语“增强动态范围(edr)或视觉动态范围(vdr)”可以单独地或可互换地与这种dr相关，所述dr可在场景或图像内由包括眼运动的人类视觉系统(hvs)感知，允许场景或图像上的一些光适性变化。如本文所使用的，edr可以涉及跨越5到6个数量级的dr。因此，虽然相对于真实场景参考的hdr可能稍微窄一些，但edr可以表示宽dr宽度并且也可以被称为hdr。
实际上，图像包括颜色空间的一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用非线性光亮度编码(例如，伽马编码)，其中n≤8的图像(例如，彩色24位jpeg图像)被视为标准动态范围的图像，而其中n＞8的图像可以被视为增强动态范围的图像。
给定显示器的参考电光传递函数(eotf)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，iturec.itu-rbt.1886年，“referenceelectro-opticaltransferfunctionforflatpaneldisplaysusedinhdtvstudioproduction(hdtv工作室制作中使用的平板显示器的参考电光传递函数)”(2011年3月)限定了平板显示器的参考eotf，其内容通过引用以其全文并入本文。在给定了视频流的情况下，关于其eotf的信息可以作为元数据嵌入比特流中。本文术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文所描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。
如本文所使用的术语“pq”是指感知光亮度幅度量化。人类视觉系统以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的空间频率以及在观看刺激物的特定时刻眼睛所适应的光亮度水平。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在smptest2084:2014“highdynamicrangeeotfofmasteringreferencedisplays(主参考显示器的高动态范围eotf)”(下文称为“smpte”)中描述了示例pq映射函数，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(例如，刺激水平等)，根据最敏感的适应水平和最敏感的空间频率(根据hvs模型)来选择该光亮度水平处的最小可见对比度步长。
支持200至1,000cd/m2或尼特的光亮度的显示器代表了与edr(或hdr)相关的较低动态范围(ldr)，也被称为标准动态范围(sdr)。edr内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的edr显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000尼特)的替代eotf来限定。smpte中定义了这种eotf的示例。如本发明人在此理解的，期望可以用于支持各种各样的sdr和hdr显示设备的显示能力的用于对视频数据进行编码和解码的改进技术。
在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指示，否则不应认为本节所描述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。
附图说明
在附图中以举例而非限制的方式来图示本发明的实施例，并且其中相似的附图标记指代相似的元素，并且在附图中：
图1描绘了视频传输流水线的示例过程；
图2a图示了示例端对端单层后向兼容(slbc)编码流水线的整体视图；图2b图示了在高保真全参考模式下操作的示例端对端slbc编码流水线；图2c图示了在高效部分参考模式下操作的示例端对端slbc编码流水线；图2d图示了slbc解码器侧编解码器架构的示例；
图3a图示了包含黑边(letterbox)的示例源hdr图像和其中出现黑边问题的示例重构hdr图像；图3b图示了在黑色背景上包含白色块的示例源hdr图像以及其中黑色背景上的白色块消失并且变为全灰色的示例重构hdr图像；图3c图示了表示在没有抑制的情况下由前向整形查找表(flut)构造的第一后向查找表(blut)的示例曲线图；图3d图示了表示在有抑制的情况下由同一flut构造的第二blut的示例曲线图；
图4a图示了用于高保真全参考slbc色度前向整形的示例过程流程；图4b图示了用于高保真全参考slbc色度后向整形的示例过程流程；图4c图示了用于高效部分参考slbc色度前向和后向整形的示例过程流程；图4d至图4g图示了示例过程流程；以及
图5图示了示例硬件平台的简化框图，在所述硬件平台上可以实施如本文所描述的计算机或计算设备。
具体实施方式
本文描述了(多个)端对端单层后向兼容编码流水线中的高保真全参考(hffr)和高效部分参考(herr)编码。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。
概述
本文描述的示例实施例涉及编码图像数据。生成第一动态范围的第一图像和与第一图像相对应的第二图像的3d映射统计信息。第二图像具有不同于第一动态范围的第二动态范围。多变量多元回归(mmr)系数是在没有黑边约束的情况下通过求解使用至少部分地利用3d映射统计信息构建的mmr矩阵制定的优化问题生成的。mmr系数用于生成用于预测第二图像的色度码字值的色度映射。确定在所述第一图像或所述第二图像中的至少一个中是否存在黑边。响应于确定所述第一图像或所述第二图像中的至少一个中存在黑边，确定通过求解无约束优化问题生成的所述色度映射是否准确地预测所述第二图像中的色度码字值。将所述第一图像或与所述第二图像近似的第三图像中的一个图像提供给接收方设备，以使至少通过对所述第一图像或与所述第二图像近似的第三图像中的所述一个图像进行后向整形而生成的重构图像由与所述接收方设备结合操作的显示设备渲染。
本文描述的示例实施例涉及编码图像数据。在一个或多个源hdr图像中识别通过亮度前向整形映射映射到一个或多个标准动态范围(sdr)图像中的经前向整形的sdr亮度码字值的一组一个或多个hdr亮度码字值，所述一个或多个sdr图像至少部分地经由基于亮度前向整形映射的前向整形由一个或多个源hdr图像生成。所述一组一个或多个hdr亮度码字值用于确定加权的hdr亮度码字值。后向整形映射被构造成至少包括后向整形亮度映射，所述后向整形亮度映射将经前向整形的sdr亮度码字值映射到加权的hdr亮度码字值。后向整形映射用于将一个或多个经整形的sdr图像后向整形为一个或多个重构hdr图像，以近似一个或多个源hdr图像。至少部分地根据所述后向整形映射生成后向整形图像元数据，以将所述后向整形图像元数据与所述一个或多个经前向整形的图像一起提供给接收方设备以渲染所述一个或多个重构hdr图像。
本文描述的示例实施例涉及解码图像数据。接收包括用于生成第一动态范围的重构图像的后向整形图像元数据的视频信号。重构图像将与第一动态范围的第一图像近似。将通过基于后向整形图像元数据对与第一动态范围不同的第二动态范围的第二图像进行后向整形来生成重构图像。第二图像对应于第一图像。后向整形图像元数据包括由mmr系数生成的色度映射。通过求解使用mmr矩阵制定的优化问题来生成所述mmr系数，所述mmr矩阵至少部分地由所述第一图像和与所述第一图像相对应的所述第二图像的所生成的三维(3d)映射统计信息构建。从视频信号中解码第二图像。基于后向整形图像元数据，对第二动态范围的第二图像进行后向整形以生成第一动态范围的重构图像。使重构图像由显示设备渲染。
本文描述的示例实施例涉及解码图像数据。接收包括用于生成一个或多个重构高动态范围(hdr)图像的后向整形图像元数据的视频信号。一个或多个重构hdr图像将与一个或多个源hdr图像近似。将基于后向整形图像元数据，通过对与一个或多个源hdr图像相对应的一个或多个经前向整形的sdr图像生成一个或多个重构hdr图像。至少部分地根据至少包括后向整形亮度映射的后向整形映射生成后向整形图像元数据，所述后向整形亮度映射将一个或多个经前向整形的sdr图像中的经前向整形的sdr亮度码字值映射到加权的hdr亮度码字值。一组一个或多个hdr亮度码字值用于确定加权的hdr亮度码字值。在一个或多个源hdr图像中识别所述一组一个或多个hdr亮度码字值。通过亮度前向整形映射将一个或多个源hdr图像中的所述一组一个或多个hdr亮度码字值中的每个hdr亮度码字值映射到一个或多个经前向整形的sdr图像中的经前向整形的sdr亮度码字值。至少部分地基于亮度前向整形映射经由前向整形由一个或多个源hdr图像生成一个或多个经前向整形的sdr图像。从视频信号中解码一个或多个经前向整形的sdr图像。基于后向整形图像元数据对一个或多个经前向整形的图像进行后向整形以生成一个或多个重构hdr图像。使一个或多个重构hdr图像由显示设备渲染。
示例视频传输处理流水线
图1描绘了视频传输流水线(100)的示例过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如，由数码相机)数字地捕获或者由计算机(例如，使用计算机动画)生成以提供视频数据(107)。替代性地，视频帧(102)可以由胶片相机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作阶段(110)，对视频数据(107)进行编辑以提供视频制作流(112)。
制作流(112)的视频数据然后被提供给处理器以进行后期制作编辑(115)。后期制作编辑(115)可以包括调整或修改图像的特定区中的颜色或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(colortiming)”或“颜色分级(colorgrading)”。可以在后期制作编辑(115)处执行其他编辑(例如，场景选择和排序、手动和/或自动场景剪切信息生成、图像裁剪、添加计算机生成的视觉特效等)以产生hdr图像(117-1)或sdr(或相对窄的动态范围)图像的发布版本(117)(例如，sdr等)。在一些实施例中，在后期制作编辑(115)期间，由正在对hdr图像(117-1)执行后期制作编辑操作的调色师在支持高动态范围的参考hdr显示器上查看hdr图像(117-1)。另外地、可选地或替代性地，在后期制作编辑(115)期间，由正在对sdr图像(117)执行后期制作编辑操作的调色师在支持标准动态范围(或相对窄的动态范围)的参考显示器(125)上查看sdr图像(117)。另外地、可选地或替代性地，sdr图像(117)可以是从hdr图像(117-1)映射的内容。
在一些实施例中，编码块(120)可以在如图2a至图2c所图示的(多个)端对端单层后向兼容编码流水线中实施高保真全参考和高效部分参考编码。编码块(120)从后期制作编辑(115)接收hdr图像(117-1)，并且将hdr图像(117-1)前向整形为经(前向)整形的sdr图像。
可以通过编码块(120)将经整形的sdr图像压缩/编码为例如单个层中的编码比特流(122)。在一些实施例中，编码块(120)可以包括如由atsc、dvb、dvd、蓝光和其他传输格式定义的那些音频编码器和视频编码器，以生成编码比特流(122)。
可以将经整形的sdr图像编码成视频信号(例如，8位sdr视频信号、10位sdr视频信号等)中的视频数据，所述视频数据后向兼容各种各样的sdr显示设备(例如，sdr显示器等)。在非限制性示例中，利用经整形的sdr图像编码的视频信号可以是单层后向兼容视频信号。在此，“单层后向兼容视频信号”可以是指在单个信号层中承载针对sdr显示器进行了专门优化或颜色分级的sdr图像的视频信号。
在一些实施例中，由编码块(120)输出的编码比特流(122)可以表示具有图像元数据的输出8位sdrycbcr视频信号，所述图像元数据包括但不限于如由编码块(120)生成的合成器元数据。合成器元数据(或后向整形映射)可以由下游解码器用来对经整形的sdr图像执行后向整形(例如，逆色调映射等)，以便生成可以优化以在hdr参考显示器上进行渲染的经后向整形的图像。在一些实施例中，使用至少部分地基于合成器元数据实施逆色调映射的一个或多个sdr-hdr转换工具，可以由经整形的sdr图像(或其解码版本)生成经后向整形的图像。如本文所使用的，后向整形是指将再量化的(re-quantized)图像转换回原始eotf域(例如，伽玛、pq、混合对数伽玛或hlg等)以进行进一步的下游处理(如显示管理)的图像处理操作。示例后向整形操作在2015年3月20日提交的美国临时申请序列号62/136,402(还公布于2018年1月18日，作为美国专利申请公开序列号2018/0020224)中进行了描述，所述申请的整个内容如本文充分阐述的那样通过引用并入本文。
另外地、可选地或替代性地，编码比特流(122)进一步用图像元数据进行编码，所述图像元数据包括但不限于显示管理(dm)元数据，下游解码器可以使用所述dm元数据对用于hdr参考显示器的经后向整形的图像执行显示管理操作以生成被优化用于在如非参考hdr显示器等其他显示器上渲染的显示图像。
然后，将编码比特流(122)向下游传输到如解码和回放设备、媒体源设备、媒体流客户端设备、电视机(例如，智能电视等)、机顶盒、电影院等接收器。在接收器(或下游设备)中，解码块(130)对编码比特流(122)进行解码以生成经解码图像182，所述经解码图像可以与经整形的sdr图像相同，但会经受在由编码块(120)执行的压缩和由解码块(130)执行的解压缩中生成的量化误差的影响。
在接收器与支持标准动态范围或与标准动态范围可比或小于标准动态范围的相对窄的动态范围的目标显示器140一起操作(或附接到所述目标显示器)的操作场景中，解码块(130)可以从编码比特流(122)(例如，编码比特流中的单层等)中解码经整形的sdr图像，并且直接或间接地使用经解码的经整形的sdr图像以在目标显示器(140)上进行渲染。在目标显示器(140)具有与sdr参考显示器(125)类似的特性的实施例中，可以在目标显示器(140)上直接观看经整形的sdr图像。
在一些实施例中，与支持高动态范围(例如，400尼特、1000尼特、4000尼特、10000尼特或更高等)的hdr目标显示器140-1一起操作(或附接到所述hdr目标显示器)的接收器可以从编码比特流(122)(例如，编码比特流中的元数据容器)提取合成器元数据，使用合成器元数据通过基于合成器元数据对经整形的sdr图像进行后向整形，由经整形的sdr图像合成经后向整形的图像132-1，并且直接或间接使用经后向整形的图像(132-1)以在hdr目标显示器(140-1)上进行渲染。
可以优化经后向整形的图像(132-1)以在hdr参考显示器上查看，所述hdr参考显示器与例如支持最大或峰值光亮度值大于hdr目标显示器(140-1)的最大或峰值光亮度值的显示器不同但可比较。可以位于接收器中、位于hdr目标显示器(140-1)中或位于单独的设备中的显示管理块(例如，135-1等)通过生成适于hdr目标显示器(140-1)的特性的显示器映射信号(137-1)进一步将经后向整形的图像(132-1)调整为hdr目标显示器(140-1)的特性。
(多个)编解码器架构
实施针对端对端slbc编码流水线的hffr编码架构的目标是实现相对高(例如，最高，等等)的保真度以输入参考图像。在一些操作场景中，可以将hffr编码架构合并到工作室工作流程中或作为其一部分来实施，以处理具有大量修整过程(trimpass)用法的图像内容并且保持图片内容中表示的艺术家的意图(例如，达到或相对紧密近似的调色师意图等)。
另外，本文还描述了herr编码架构。herr编码架构可以至少部分地通过使用hffr架构中的编码工具的子集来实施，所述子集可能对hffr编码架构所提供的一些特征的支持减少。herr编码架构可以用于对相对较低(例如，最低，等等)的计算成本/时间权衡相对少量的质量劣化。herr编码架构可以应用于如移动设备、轻量级广播、对延迟敏感的媒体消耗应用程序等计算受限的平台。
图2a图示了示例端对端slbc编码流水线的整体视图，所述示例端对端slbc编码流水线包括：映射信息阶段(或模块)202，用于生成hdr到sdr映射信息(例如，将用于herr操作等)；前向整形阶段(或模块)204，用于生成看起来尽可能接近参考sdr图像的可恢复sdr图像(或经前向整形的sdr图像240)；后向整形阶段(或模块)206，用于生成可以由接收方设备用来重构看起来尽可能接近参考hdr图像(例如，对应于可恢复sdr图像等)的hdr图像(例如，从可恢复sdr进行后向整形等)的图像元数据(表示为“rpu”或“rpu”)。
如本文描述的端对端slbc编码流水线可以由更多或更少的处理块来实施。通过图示而非限制的方式，如图2b和图2c所图示的，一些或所有标有虚线的块可以是可选的，这取决于编码架构是hffr还是herr。
根据映射信息阶段(202)提供的信息，可以有两种不同的方式来执行前向/后向整形。
图2b图示了在hffr模式下操作的示例端对端slbc编码流水线。在这种模式下，映射信息阶段(202)可以将(例如，完整的，等等)参考hdr图像和(例如，完整的，等等)参考sdr图像提供给前向整形阶段(204)。因此，通过这些参考hdr和参考sdr图像可获得关于最终重构的sdr和hdr图像应看起来像或接近近似的图像的(例如，最全面、最丰富，等等)信息。信息可以由编码流水线或其中的前向整形阶段(204)和后向整形阶段(206)使用，以生成可以被接收方设备用来重构具有相对高(例如，最高，等等)的视频质量的sdr和hdr图像的经整形的sdr图像和伴随的图像元数据。
hffr模式下的图像处理操作可以利用或可以应用于参考sdr图像和/或与参考sdr图像相对应的参考hdr图像中的每一个中的相对大量的像素(例如，所有像素、突出部分的所有像素等)中的每个像素。例如，从参考hdr生成参考sdr的内容映射(cm)212可以与采样策略210一起操作，所述采样策略可以使内容映射针对参考sdr和/或参考hdr的每个单个像素进行操作，并且因此可能导致相对大量的计算成本。因此，cm(212)可以应用于hdr图像208的每个像素，以生成参考sdr图像244。
可以在映射信息阶段(202)与前向整形阶段(204)之间提供相对大量的带宽资源，以适应将(例如，整个，等等)参考sdr图像从映射信息阶段(202)发送到前向整形阶段(204)。
前向整形阶段(204)可以用于将参考sdr图像压缩或提取为图像元数据。可以使用从参考sdr图像得到的图像元数据代替直接参考sdr图像的像素信息来促进构造整形功能。
前向整形阶段(204)可以包括亮度前向整形部分214和色度前向整形部分222。亮度前向整形部分(214)包括直方图构造块216、累积密度函数(cdf)匹配块218、亮度修整过程处理块220等。色度前向整形部分(222)包括动态3d映射表(d3dmt)构造块224、色度修整过程处理块226、黑边处理块228等。
在亮度前向整形部分(214)中，参考hdr图像(208)和参考sdr图像(244)两者的1d亮度直方图分别由来自这些图像中的直方图构造块(216)构造。可以通过cdf匹配块(218)构建flut，以将参考hdr图像(208)中的(hdr)亮度码字前向整形为经整形的sdr图像240(其可以以编码比特流的形式提供给与显示设备一起操作的接收方设备或接收器)中的经整形的(sdr)亮度码字。示例cdf匹配操作在2017年9月11日提交的pct申请号pct/us2017/50980；2016年10月5日提交的美国临时申请序列号62/404,307(还公布于2018年4月5日，作为美国专利申请公开序列号2018/0098094)中进行了描述，所述申请的整个内容如本文充分阐述的那样通过引用并入本文。
在一些操作场景中，作为从参考hdr图像(208)到参考sdr图像(244)的内容映射(例如cm(212)等)的一部分执行的修整过程操作可能使参考sdr图像(244)丢失可以用于在重构hdr图像中生成正确光亮度(或图像细节)的图像信息。亮度修整过程处理块(220)可以用于以避免在要由接收方设备从经整形的sdr图像(240)构造的重构hdr图像中丢失图像细节的方式来帮助构建flut。亮度的示例修整过程检测和校正在2018年1月4日公布的美国专利申请公开号2018/0007356中进行了描述，所述美国专利申请的整个内容如本文充分阐述的那样通过引用并入本文。
在色度前向整形部分(222)中，由d3dmt构造块(224)从参考hdr图像(208)和参考sdr图像(244)构建d3dmt，以将参考hdr图像(208)中的色度码字前向整形为经整形的sdr图像(240)中的经整形的色度码字，从而实现相对高(例如，最高，等等)的感知颜色保真度。在一些操作场景中，作为从参考hdr图像(208)到参考sdr图像(244)的内容映射(例如cm(212)等)的一部分执行的修整过程操作可能使参考sdr图像(244)丢失可以用于在重构hdr图像中生成准确颜色的图像信息。色度修整过程处理块(226)可以用于以避免在经整形的sdr图像(240)和/或重构hdr图像中避免颜色损失(或颜色准确度损失)的方式帮助构建d3dmt。黑边处理块(228)可以用于处理参考hdr图像(208)中可能存在的任何黑边，以帮助确保d3dmt在经整形的sdr图像(240)和/或重构hdr图像中生成正确的颜色。
后向整形阶段(206)可以包括亮度后向整形部分230和色度后向整形部分234。亮度后向整形部分(230)包括直方图加权的blut构造块232等。色度后向整形部分(234)包括动态3d映射表(d3dmt)构造块236、黑边处理块238等。
在亮度后向整形部分(230)中，直方图加权的blut构造块(232)可以应用直方图加权的方法来构造blut，以将经整形的sdr图像(240)中的(sdr)亮度码字后向整形为重构hdr图像中的重构(hdr)亮度码字。因此，在构建累积码字之间的映射概率的cdf传递函数时，使用加权的码字。示例cdf传递函数在前面提到的美国临时申请序列号62/404,307中进行了描述。
在色度后向整形部分(234)中，由d3dmt构造块(236)从经整形的sdr图像(240)和参考hdr图像(208)构造另一个d3dmt，以将经整形的sdr图像(240)中的色度码字后向整形为重构hdr图像中的重构色度码字，从而实现相对高(例如，最高等)的感知颜色保真度。黑边处理块(238)可以用于处理经整形的sdr图像(240)中可能存在的任何黑边，以帮助确保d3dmt在重构hdr图像中生成正确的颜色。
可以在编码比特流中输出包括(或指定)blut和d3dmt的后向整形图像元数据作为伴随经整形的sdr图像(240)的图像元数据(例如，rpu242等)的一部分。
图2c图示了在herr模式下操作的示例端对端slbc编码流水线。在此模式下，映射信息阶段(202)可以仅将(例如，完整的，等等)参考hdr图像但没有参考sdr图像提供给前向整形阶段(204)。代替提供参考sdr图像，映射信息阶段(202)可以将针对由对参考hdr图像进行内容映射而生成的sdr图像压缩/提取/得到的映射辅助信息提供给前向整形阶段(204)。在一些实施例中，映射辅助信息可以包括3d-lut、平面映射表、直方图等。由于前向整形阶段(204)和/或后向整形阶段(206)从映射信息阶段(202)接收到的信息不完整，经整形的sdr图像(例如，240等)和/或通过对经整形的sdr图像(240)进行后向整形而生成的重构hdr图像的视频质量可能受到影响。
在映射信息阶段(202)中，可以至少部分地基于采样策略(210)构造3d采样网格(例如，具有顶点数的均匀或不均匀分布/密度的直线3d网格、稀疏3d网格、3d网格等)。在各种实施例中，可以或可以不基于3d采样网格选择采样点。在一些实施例中，可以基于密度分布选择采样点；例如，根据图片中是否存在如密度分布所指示的颜色来选择采样点。cm(212)可以用于(例如，仅，等等)生成从hdr采样点到sdr采样点的采样内容映射。采样内容映射可以表示从所有hdr像素(例如，1920×1080空间分辨率的图像的200万像素或更高像素，等等)到对应的sdr像素的相对较少数量的采样点(例如，10,000个采样点等)处的内容映射的小(适当)子集，并且因此其生成比针对所有像素的所有内容映射要轻松得多。
可以在映射信息阶段(202)与前向整形阶段(204)之间提供相对少量的带宽资源，以适应将映射辅助信息246从映射信息阶段(202)发送到前向整形阶段(204)，所述映射辅助信息包括从所选采样点的内容映射生成的信息。
在herr模式下，由于hdr与sdr之间的映射辅助信息(例如，内容映射信息等)已经由映射信息阶段(202)在所选采样点处捕获，因此在前向整形阶段(204)中，不执行用于在像素域中(例如，对于给定图像的一些或所有像素中的每个像素，等等)构造或得到内容映射信息的计算。因此，在此模式下，可以降低图像处理操作中的cpu和内存使用率。
可以与色度前向整形函数的构造并行地构造色度后向整形函数(例如，mmr系数等)，因为前向整形阶段(204)和后向整形阶段(206)两者都可以使用(例如，同时、以任何顺序等)与由映射信息阶段(202)提供的相同的映射辅助信息(246)。
可以关闭(或在一些不需要支持hffr模式的操作场景中去除)如亮度修整过程处理块(220)、色度修整过程处理块(226)、d3dmt构造块(224和236)等在hffr模式下使用的一些处理块。在用于herr模式的编码架构中，内容映射未应用于参考hdr图像的每个像素(208)。在一些实施例中，3d采样网格用于选择采样点。可以相对于采样点执行内容映射。如通过对hdr样本进行内容映射生成的hdr样本(或hdr采样点处的像素值)和经映射的sdr样本(或sdr采样点处的像素值)可以由映射信息阶段(202)发送到前向整形阶段(204)和/或后向整形阶段(206)。hdr样本以及其对应的经内容映射的sdr样本可以被表示为多个hdr-sdr映射对并且在映射辅助信息中(246)被捕获。不仅可以节省或减少后面的前向和后向整形阶段(204和206)的计算，而且可以节省或减少映射信息阶段(202)的计算。
在前向整形阶段(204)中，hdr和sdr的亮度直方图可以由直方图构造块(216)根据经稀疏采样的映射辅助信息(246)来构造(或恢复)。可以通过cdf匹配块(218)构建前向整形查找表(flut)，以将参考hdr图像(208)中的(hdr)亮度码字前向整形为经整形的sdr图像240(其可以以编码比特流的形式提供给与显示设备一起操作的接收方设备或接收器)中的经整形的(sdr)亮度码字。在herr模式下可能无法执行亮度修整过程处理。
在色度前向整形部分(222)中，可以直接由从映射信息阶段(202)接收的映射辅助信息(246)生成色度整形mmr系数。示例mmr系数生成操作在前面提到的美国临时申请序列号62/404,307中进行了描述。
然后，可以在前向整形阶段(204)中应用flut和mmr系数，以将参考hdr图像(208)中的亮度和色度码字前向整形为经整形的sdr图像中的经前向整形的亮度和色度码字。
在后向整形阶段(206)中，通过直方图加权的blut构造块(232)使用直方图加权的方法来构造用于亮度后向整形的blut。映射辅助信息(246)用于生成用于色度后向整形的后向整形mmr系数。可以将指定后向整形mmr系数和blut的后向整形图像元数据(表示为rpu(242))写入用经前向整形的sdr图像(240)编码的编码比特流中或被所述编码比特流包括。
在herr模式下，由于映射辅助信息(246)已经包括hdr(亮度和色度)码字与sdr(亮度和色度)码字之间的映射，因此在前向整形阶段(204)或后向整形阶段(206)中均未构造d3dmt。可以基于来自映射信息阶段(202)的映射辅助信息(246)，与生成色度后向整形mmr系数并行地或以任何顺序处理色度前向整形mmr系数的生成，因为这两个生成操作之间不存在依赖性。
总之，如本文描述的技术可以用于支持使用多种高保真编码工具以高保真全参考模式操作的端对端编码流水线。亮度整形操作可以以消除或避免黑边变亮和块消失问题的方式来实施。色度整形操作可以以消除或避免如颜色伪像、黑边颜色问题以及由于严重的修整过程操作导致的颜色损失等问题的方式来实施。
另外地、可选地或替代性地，如本文描述的技术可以用于支持根据产生的用于生成经整形的sdr图像和后向整形图像元数据的计算资源利用相对低成本的编码工具以高效部分参考模式操作的端对端编码流水线。可以利用来自映射信息阶段(202)的经稀疏采样的d3dmt来高效地构造flut。可以并行执行用于前向整形和后向整形的色度整形mmr系数，以减少端对端编码流水线中的时延或延迟。
图2d图示了slbc解码器侧编解码器架构的示例，其还可以用下游视频解码器(例如，接收器等)中的一个或多个计算处理器等来实施。
在一些实施例中，如图2d所图示的，用单个层144中的经(前向)整形的sdr图像和图像元数据152编码的视频信号如由视频解码器输入，所述图像元数据包括但不限于仅后向整形图像元数据(142)。
解压缩块154(例如，图1的解码块(130)的一部分等)将视频信号的单个层(144)中的压缩视频数据解压缩/解码成经解码的sdr图像(182)。经解码的sdr图像(182)可以与经整形的sdr图像相同，经受编码块(120)和解压缩块(154)中的量化误差，这已经针对sdr显示设备进行了优化。经解码的sdr图像(182)可以以输出sdr视频信号156的形式输出(例如，通过hdmi接口、通过视频链路等)到sdr显示设备并且在所述sdr显示设备上渲染。
另外，后向整形块158从输入视频信号中提取后向整形图像元数据(142)，基于图像元数据(152)中的所提取的后向整形图像元数据(142)来构造最优后向整形函数，并且基于最优后向整形函数对经整形的sdr图像执行后向整形操作以生成经后向整形的图像(132-1)(或重构hdr图像)。
在一些实施例中，经后向整形的图像表示针对hdr目标/参考显示设备进行了优化的生产质量或接近生产质量的hdr图像。经后向整形的图像(132)可以以输出hdr视频信号160的形式输出(例如，通过hdmi接口、通过视频链路等)到hdr显示设备并且在所述hdr显示设备上渲染。在一些实施例中，接收器可以不实施dm功能以简化设备操作并且降低设备成本。
另外地、可选地或替代性地，在一些实施例中，dm元数据可以以图像元数据(152)和经整形的sdr图像的形式被传输到接收器。可以至少部分地基于图像元数据(152)中的dm元数据对经后向整形的图像(132)执行特定于hdr显示设备的显示管理操作，例如以生成要在hdr显示设备上渲染的显示图像。
为了说明的目的，已经描述了单层编解码器架构。应当注意的是，如本文描述的技术可以用于除图2a至图2d中图示的架构以外的不同的单层编解码器架构。另外地、可选地或替代性地，这些技术可以用于多层编解码器架构。因此，单层或多层编解码器架构的这些和其他变型可以与如本文描述的技术中的一些或全部技术一起操作。
直方图-加权的亮度后向整形
对于亮度整形，前向lut(或flut)表示用于将参考hdr图像的(源)hdr亮度码字映射到经(前向)整形的sdr亮度码字的前向映射函数。此前向映射函数可以是多对一的，并且因此在数学上是不可逆的，因为flut中可能存在由flut映射到单个sdr亮度码字的多个hdr码字条目。flut可以由cdf匹配块(218)通过cdf匹配来构建。
另一方面，后向lut(或blut)表示用于将经整形的sdr图像的经整形的sdr亮度码字映射到对应的重构hdr亮度码字的反向(或后向)映射函数。从flut构造blut可能不是通过flut的数学反演，而是可以通过blut估计过程来实现。
在一些方法下，为了构建blut，将与给定经整形的sdr码字相对应(或前向映射到所述经整形的sdr码字)的所有源hdr码字的平均值设置为给定经整形的sdr码字在blut中后向映射到的重构hdr码字。在这些方法下，在一些操作场景中，在重构hdr图像中存在的黑边可能比在对应的参考hdr图像中存在的对应的黑边看起来更亮。此平均方法还可以抑制暗图像区域和亮图像区域中的blut，从而在一些重构hdr图像中引入块消失的伪像/问题。
在如本文描述的技术下，直方图-加权的blut估计过程可以用于克服在其他方法中可能存在的缺点，如黑边问题。另外地、可选地或替代性地，在一些实施例中，可以禁用blut抑制操作作为块消失问题的解决方法。
在数学上，flut可以表达为f(w)→c，其为源hdr码字w的hdr条目指定了对应的重构sdr码字c。blut估计任务是构造反向lut(或对应的blut)fb(c)→w，所述反向lut可以用于将经整形的sdr码字映射到重构hdr码字，以生成接近近似参考hdr图像的重构hdr图像。
如上所述，flutf(w)→c可以包括可能地多对一映射，或者每个映射都可以将若干个源hdr码字映射到相同的经整形的sdr码字的映射。
令wi和wj表示这种hdr码字并且ck以这种多对以映射表示相同的经整形的sdr码字。
通过示例而非限制的方式，16位源hdr视频信号可以支持包括总共65536个可用hdr码字的源hdr码字空间，而10位经整形的sdr视频信号可以支持包括总共1024个可用的sdr码字的经整形的sdr码字空间。因此，在此示例中，wi，wj∈[0，216-1]，而ck∈[0，210-1]。假设范围[wi，wj]内的源hdr码字都映射到flut中的经整形的sdr码字ck。在blutfb(c)→w中，sdr值ck可以仅具有带有表示为wk的单个重构hdr码字的一个hdr条目。从本质上讲，这意味着重构(或输出)的hdr图像在整个范围[0，216-1]内具有1024个唯一的重构hdr码字，而不是在16位源hdr视频信号中可表示的65536个唯一码字。挑战是以使得重构hdr图像在感觉上仍然看起来类似于源(或参考)hdr图像的方式，在blut中选择那些1024个hdr码字。
如上所述，在一些方法下，用于blut估计的求平均方法选择范围[wi，wj]中的hdr码字的平均值作为blutfb(c)→w中的sdr码字ck的经映射(或重构)值wk，如下：
在一些操作场景中，此求平均方法可能会很好地发挥作用，在重构hdr图像中不会有可感知的质量损失。当条目[wi，wj]映射到flut中的ck但源hdr图像不具有范围[wi，wj]中的那些码字中的许多(例如，大多数等)码字时，问题出现。
图3a图示了包含黑边的示例源hdr图像(a)和其中出现黑边问题的示例重构hdr图像(b)。
通过图示的方式，源hdr图像(a)中的黑边具有(例如，相对统一的、相对一致的等)4096个源hdr码字，而重构hdr图像(b)中的黑边具有8608个重构hdr码字，这表示与源hdr码字相比，值出现了较大的跳跃。如在图3a(b)中可以看到的，重构hdr图像的黑边中的重构hdr码字的值的此跳跃使黑边看起来比平时更亮。此差异或跳跃的原因可以解释如下。源hdr图像的黑边值为4096，并且具有高于13121的下一个较高值的hdr码字。在一些方法下，范围从4096直到13120(在下一个更高值的hdr码字以下)的所有hdr码字都映射到相同的经整形的sdr码字，例如值为67。在用于后向整形的blut中，为67的经整形的sdr码字映射到4096到13120的数值的平均值，所述平均值为约(或取整为)8608。与源hdr图像中的黑边相比，这使重构hdr图像中的黑边更加明亮。可以通过直方图加权的方法有效地解决此问题，所述方法更好地在重构hdr图像中保持光亮度保真度。
在一些其他方法下出现的另一个问题是消失块问题。图3b图示了在黑色背景上包含白色块的示例源hdr图像(a)以及其中黑色背景上的白色块消失并且变为全灰色的示例重构hdr图像(b)。
如以上所讨论的，源hdr图像中的黑色背景在重构hdr图像中变为灰色可以归因于求平均方法(或基于非直方图的求平均方法)。源hdr图像仅具有两个码字，例如白色(55350)和黑色(7600)。在flut中，从7600直到55349的所有源hdr码字都映射到为81的相同的经整形的sdr码字。在blut中，为81的经整形的sdr码字映射到7600到55349的数值的平均值或31475。因此，重构hdr图像中的背景变为灰色。
由于blut抑制操作，白色块在重构hdr图像中消失。
图3c图示了表示在没有抑制的情况下由flut构造的第一blut的示例曲线图。如所图示的，在没有抑制的情况下生成的第一blut在曲线图的最末端处在高强度区域(高hdr码字值区域)中包括相对急剧转变。
图3d图示了表示在有抑制的情况下由同一flut构造的第二blut的示例曲线图。如所图示的，在有抑制的情况下生成的第二blut在曲线图的最末端处通过抑制操作去除了高强度区域(高hdr码字值区域)中的相对急剧转变。在一些方法下，抑制操作旨在绘制表示有助于多项式拟合/近似的第二blut的曲线(或曲线图)。示例多项式拟合/近似操作在2017年10月26日公布的美国专利申请公开2017/0308996中进行了描述，所述美国专利申请的整个内容如本文充分阐述的那样通过引用并入本文。
在一些操作场景中，在没有抑制的情况下使用求平均方法从flut计算的blut可能看起来像阶梯函数。也就是说，表示blut的曲线可以在深色和中间色调区域中是平坦的，而在高强度区域中有急剧(或相对陡峭)转变，所述急剧转变将sdr中的如白色等相对高光亮度级别映射到hdr。如果将抑制操作应用于blut以生成另一个blut，则可以在后一个blut中去除前一个blut的高强度区域中的急剧转变。因此，在后一个blut中，所有sdr码字可以被映射到相同的重构hdr码字。这导致黑色背景和白色框两者都映射到相同的重构hdr码字值，从而使框消失。除此以外，求平均方法使所有内容变为灰色，如之前讨论的。
为了克服与求平均方法相关联的问题，可以使用如本文描述的直方图加权的blut生成技术来生成blut。hdr直方图可以(例如，容易地等)从cdf匹配中得到，并且可以被使用或利用以改善blut生成/预测。
令i(p)表示定位于给定(例如，每个等)源hdr图像i中的p处的像素的亮度码字(例如，强度等)。可以为(例如，每个等)源hdr图像i计算hdr直方图，如下：
其中，n表示在hdr直方图
考虑多个(不同)源hdr码字[wi，wj]映射到flut中的相同经整形的sdr码字ck的场景。可以在blutfb(c)→w中找到经整形的sdr码字ck映射到的经映射的(经后向整形的)hdr码字wk，如下：
使用此基于直方图的blut估计方法(或过程)考虑如图3a所图示的黑边问题。在图3a的源hdr图像(a)中，从4096直到13120的源hdr码字都映射到经整形的sdr码字67。然而，由于具有从4097直到13120的hdr码字的源hdr图像中不存在像素，因此以上表达式(3)简化为如下表达式：
如在以上表达式(4)中可以看出，基于直方图的blut估计方法提供了正确的blut映射fb(67)→4096。因此，在重构hdr图像中，黑边由正确的重构hdr码字表示。
为了解决消失块的问题，可以在blut构造中禁用抑制操作。在示例中，可以在可能出现消失块问题的图像中禁用抑制操作。在另一个示例中，可以在配备多项式拟合/近似过程以处理表示blut的曲线图中可能发生的任何急剧转变的场景中禁用抑制操作。
在没有抑制的情况下，可以在重构hdr图像中保持在源hdr图像中可见的如图3b(a)所图示的白色矩形块。另外，还可以在重构hdr图像中保持在源hdr图像中可见的如图3b(a)所图示的黑色背景。
高保真全参考slbc色度整形
图4a图示了在如本文描述的技术下用于高保真全参考slbc色度前向整形的示例过程流程。使用此过程流程生成的mmr系数可以用于将源(或参考)hdr视频信号中的色度码字前向整形为经整形的sdr视频信号中的经整形的色度码字，并且可以相对于源hdr视频信号中的源(或参考)hdr图像保留经整形的sdr视频信号中的经整形的sdr图像中的颜色保真度。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块等)可以执行此过程流程。例如，端对端编码流水线的前向整形阶段(例如，图2a或图2b的204等)中的色度前向整形部分(例如，图2a或图2b的222等)可以用于执行此过程流程中的一些或全部操作。
与其他方法相比，在如本文描述的技术下，d3dmt构造块(例如，224等)可以用于从源(或参考)hdr图像(例如，208等)和参考sdr图像(例如，244等)构造动态3d映射表(d3dmt)。
可以在修整过程检测块402中分析参考sdr图像(244)或其中的亮度和/或色度码字的分布。在框404处，确定在参考sdr图像(244)中是否存在修整过程。可以在从源hdr视频信号到包括参考sdr图像(244)的参考sdr视频信号的内容映射(例如，基于艺术或调色师意图执行的操纵/操作、颜色分级操作等)中引入这种修整过程。
响应于确定在参考sdr图像(244)中存在修整过程，可以通过将如由d3dmt构造块(244)生成的参考sdr图像(244)的d3dmt与修整颜色的经训练的参考3dmt合并成经合并的d3dmt、通过色度修整过程校正(例如，226等)来校正这种修整过程。
在图4a至图4c中，对块的输入可以取决于另一个块中作出的决策。例如，如图4a所图示的，d3dmt构造块(224)的输出(或d3dmt)或色度修整过程校正块(226)的输出(或经合并的d3dmt)将被输入到无约束mmr矩阵构造412。两个块(224和226)中的哪个块的输出是对无约束mmr矩阵构造(412)的实际输入取决于框404中关于参考sdr图像(244)中是否存在修整过程的决策。如果是，则将由色度修整过程校正块(226)输出的经合并的d3dmt用作对无约束mmr矩阵构造(412)的(实际)输入。如果否，则将由d3dmt构造块(224)输出的d3dmt(不与经训练的3dmt数据合并)用作对无约束mmr矩阵构造(412)的(实际)输入。在框414中，制定无约束最小二乘问题以求解要用于将源hdr图像(208)中的黑边的色度码字前向整形为经整形的sdr图像(240)中的对应黑边的经整形的色度码字的mmr系数。
可以在黑边检测块406中分析参考sdr图像(244)或其中的亮度码字和/或色度码字的分布。在框408处，确定在参考sdr图像(244)中是否存在黑边(例如，单个黑边、多个黑边等)。
响应于确定参考sdr图像(244)中不存在黑边，在框418中，将由无约束mmr矩阵构造块(412)通过求解无约束最小二乘问题生成的mmr系数应用于将源hdr图像(208)中的色度码字前向整形为经整形的sdr图像(例如，240等)中的经整形的色度码字，所述经整形的sdr图像可以以编码比特流(例如，slbc视频信号、图1的112等)的形式输出到接收方设备。可以由亮度前向整形部分(例如，图2a或图2b的214等)通过对源hdr图像(208)中的亮度码字进行前向整形来获得经整形的sdr图像(240)中的经整形的亮度码字。
另一方面，响应于确定参考sdr图像(244)中存在黑边，为了保证黑边的颜色(或保持颜色保真度等)，在框416中，将由无约束mmr矩阵构造块(412)通过求解无约束最小二乘问题生成的mmr系数应用于将源hdr图像(208)中的黑边的色度码字前向整形为经整形的sdr图像(240)中的对应黑边的经整形的色度码字。
在框410中，确定经整形的sdr图像(240)中的对应黑边的经整形的色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)是否足够准确(例如，基于一个或多个准确度/范围阈值等)。
响应于确定经整形的sdr图像(240)中的对应黑边的经整形的色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)足够准确，过程流程进行到框418，在所述框中，将由无约束mmr矩阵构造块(412)通过求解无约束最小二乘问题生成的mmr系数应用于将源hdr图像(208)中的色度码字前向整形为经整形的sdr图像(例如，240等)中的经整形的色度码字，所述经整形的sdr图像可以以编码比特流(例如，slbc视频信号、图1的112等)的形式输出到接收方设备。可以由亮度前向整形部分(例如，图2a或图2b的214等)通过对源hdr图像(208)中的亮度码字进行前向整形来获得经整形的sdr图像(240)中的经整形的亮度码字。
另一方面，响应于确定经整形的sdr图像(240)中的对应黑边的经整形的色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)不足够准确，由约束mmr矩阵构造块420构造约束mmr矩阵。在框422中，使用约束mmr矩阵通过求解优化问题(例如，最小化问题等)生成要用于将源hdr图像(208)中的黑边的色度码字前向整形为经整形的sdr图像(240)中的对应黑边的经整形的色度码字的mmr系数。过程流程然后进行到框418，在所述框中，将由约束mmr矩阵构造块(420)通过求解约束最小二乘问题生成的mmr系数应用于将源hdr图像(208)中的色度码字前向整形为经整形的sdr图像(例如，240等)中的经整形的色度码字，所述经整形的sdr图像可以以编码比特流(例如，slbc视频信号、图1的112等)的形式输出到接收方设备。可以由亮度前向整形部分(例如，图2a或图2b的214等)通过对源hdr图像(208)中的亮度码字进行前向整形来获得经整形的sdr图像(240)中的经整形的亮度码字。
图4b图示了在如本文描述的技术下用于高保真全参考slbc色度后向整形的示例过程流程。使用此过程流程生成的mmr系数可以提供给接收方设备作为后向整形图像元数据并且由所述接收方设备用于将经整形的sdr图像(例如，240等)中的色度码字后向整形为重构hdr图像中的重构色度码字，并且可以相对于用于生成经整形的sdr图像(240)的源(或参考)hdr图像(例如，208等)保留重构hdr图像中的颜色保真度。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块等)可以执行此过程流程。例如，端对端编码流水线的后向整形阶段(例如，图2a或图2b的206等)中的色度后向整形部分(例如，图2a或图2b的234等)可以用于执行此过程流程中的一些或全部操作。
d3dmt构造块(例如，230等)可以用于从经整形的sdr图像(例如，240，如由先前的前向整形阶段生成的，如图2a或图2b的204等)和源(或参考)hdr图像(例如，208等)构造动态3d映射表(d3dmt)。
如由d3dmt构造块(230)构造的d3dmt将输入到无约束mmr矩阵构造432以构造无约束mmr矩阵。在框436中，制定无约束最小二乘问题以求解要用于将经整形的sdr图像(240)的色度码字后向整形为重构hdr图像中的重构色度码字的mmr系数。
可以在黑边检测块430中分析经整形的sdr图像(240)、源hdr图像(208)或参考sdr图像(244)中的任何图像中的亮度和/或色度码字的分布。在一些实施例中，确定黑边是否存在可以由框430和框434用来确定在这些图像中的任何图像中是否存在黑边。
响应于确定黑边不存在，在框440中，由无约束mmr矩阵构造块(436)通过求解无约束最小二乘问题生成的mmr系数作为后向整形图像元数据被包括，所述后向整形图像元数据要以编码比特流(例如，slbc视频信号、图1的112等)的形式使用经整形的sdr图像(例如，240等)传输到下游接收方设备。
另一方面，响应于确定黑边存在，为了保证黑边的颜色(或保持颜色保真度等)，在框438中，将由无约束mmr矩阵构造块(436)通过求解无约束最小二乘问题生成的mmr系数应用于将经整形的sdr图像(240)中的黑边的色度码字后向整形为重构hdr图像中的对应黑边的重构色度码字。
在框442中，确定重构hdr图像中的对应黑边的重构色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)是否足够准确(例如，基于一个或多个准确度/范围阈值等)。
响应于确定重构hdr图像中的对应黑边的重构色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)足够准确，过程流程进行到框440，在所述框中，由无约束mmr矩阵构造块(436)通过求解无约束最小二乘问题生成的mmr系数作为后向整形图像元数据被包括，所述后向整形图像元数据要以编码比特流(例如，slbc视频信号、图1的112等)的形式使用经整形的sdr图像(例如，240等)传输到下游接收方设备。
另一方面，响应于确定重构hdr图像中的对应黑边的重构色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)不足够准确，由约束mmr矩阵构造块444构造约束mmr矩阵。在框446中，使用约束mmr矩阵通过求解优化问题(例如，最小化问题等)生成要用于将经整形的sdr图像(240)中的黑边的色度码字后向整形为重构hdr图像中的对应黑边的重构色度码字的mmr系数。过程流程然后进行到框440，在所述框中，包括作为要以编码比特流(例如，slbc视频信号、图1的112等)的形式使用经整形的sdr图像(例如，240等)传输到下游接收方设备的后向整形图像元数据。
3ddmt构造
包括但不一定仅限于经训练的3dmt或动态3dmt(或d3dmt)的3d映射表(3dmt)可以例如由d3dmt构造块(例如，图2a或图2b的226或236、图4a的226、图4b的226等)使用颜色空间(例如，rgb、ycbcr等)的每个颜色通道(例如，红色或r、绿色或g、蓝色或b、y、cb、cr等)进行构建。示例3dmt(或3d展平映射表)构造在2018年2月28日提交的美国临时申请序列号62/636,388中进行描述，所述美国临时申请的整个内容如本文充分阐述的那样通过引用并入本文。
颜色通道的整个可用分量像素值(或可用分量码字)范围可以根据(多个)图像中实际发现的每个颜色通道的最小和最大分量像素值(或分量码字)静态划分为多个固定大小的仓，或动态划分为多个非固定大小的仓，如将在下文进一步详细解释的。
由于端对端slbc编码流水线包括前向整形阶段(例如，204等)和后向整形阶段(例如，206等)两者并且支持后向兼容性，因此如本文描述的相同d3dmt构造技术可以由前向整形阶段(204)和后向整形阶段(206)两者用来构建其相应d3dmt。在前向整形阶段(204)中，第一d3dmt被构造成将源(或参考)hdr图像(208)映射到参考sdr图像(244)。在后向整形阶段(206)中，第二d3dmt被构造成将通过对源hdr图像(208)进行前向整形而生成的经整形的sdr图像(240)映射到源hdr图像(208)。
仅出于说明的目的，d3dmt被认为表示从源信号到目标信号，或者从源图像到目标图像的映射。因此，前向整形阶段(204)中的第一d3dmt表示从源信号(如源(或参考)hdr视频信号)到目标信号(如参考sdr视频信号)，或从源图像(如hdr图像(208))到目标图像(如参考sdr图像(244))的映射。类似地，后向整形阶段(206)中的第二d3dmt表示从源信号(如经整形的sdr视频信号)到目标信号(如源hdr视频信号)，或从源图像(如经整形的sdr图像(240))到目标图像(如源(或参考)hdr图像(208))的映射。
如果源信号的色度通道的分辨率不同于(例如，小于等)亮度通道的分辨率，则可以对源信号的亮度通道先进行下采样，使得亮度通道的分辨率与色度通道的分辨率相同。
令
首先，对于源帧t的每个通道，可以找到未归一化最小值(表示为
其次，可以基于未归一化最小值和最大值将每个通道统一量化或划分为q个仓。仓j的范围如下：
其中
经划分的仓(每个颜色通道中的q个仓)可以用于计算源信号中的源帧t的(qxqxq)或3d直方图(表示为
可以针对每个亮度或色度通道计算3d直方图
另外，可以针对每个色度通道计算从3d直方图
用于收集表示d3dmt的3d(源)直方图中的3d仓的上述统计信息(以及对应目标像素值统计信息)的示例程序在下表1中示出，所述d3dmt的描述了从源视频信号(或源图像t)到目标视频信号(或对应目标图像)的映射。
表1
在一些实施例中，对于t(其表示逻辑时间，如帧索引)处的(当前)源帧，可以识别和保持3d直方图中具有非零总数(
表2
包括例如使用表2的示例程序计算的质心值
如上所述，在一些实施例中，每个通道可以不从0到
另一方面，在每个通道中从实际最小值
另外地、可选地或替代性地，可以确定每个(源)仓的质心(或质量中心)而不是中点，并且将其用于计算mmr系数，从而在与色度通道有关的预测中提供相对较高的准确度。
修整过程校正
由亮度修整过程处理块(例如，图2a或图2b的222等)、色度修整过程处理块(例如，图2a、图2b或图4a的226等)等中的一个或多个执行的修整过程校正可以在前向整形阶段(例如，图2a或图2b的204等)中实施。
如本文描述的参考sdr图像(例如，244等)可以基于内容映射元数据从源(或参考)hdr图像(例如，208等)中通过一个或多个(例如，以编程方式执行、自动执行、以最少的用户交互等)cm算法生成，所述内容映射元数据可以包括但不一定仅限于sop参数(例如，移位、偏移、功率等)。有时，可以由调色师(例如，视频专业人员、导演等)对生成的参考sdr图像进行操作(例如，通过手动输入、通过用户交互等)以调整(例如，手动地，通过与gui控件交互等)颜色分级工具中可用的修整过程参数(例如，提升、增益、伽玛等)以实现期望的外观。由调色师执行的修整过程操作表示在参考sdr图像中实现期望的外观的过程中的调色师干预。
尽管修整过程操作可以用于表达或保留参考sdr图像中的源(或参考)hdr图像的艺术意图，但是剪裁伪像可以在一个或多个光亮度范围内引入参考sdr图像中。如果没有适当地纠正，则这些剪裁伪像会在使用修整过程操作由参考sdr图像生成的经后向整形的hdr图像中引起视觉伪像，并且因此传播到经后向整形的hdr。对于亮度，视觉伪像表现为纹理细节的损失。对于色度，伪像表现为颜色损失。例如，参考hdr图像或参考sdr图像中女孩嘴唇的红玫瑰色在经后向整形的hdr图像中可能看起来几乎是黑色。
为了维持经整形的sdr图像中的sdr码字的可逆性以便在经后向整形的hdr图像中生成相对准确的hdr码字，可以在前向整形阶段(204)中应用修整过程校正。修整过程校正不会消除修整过程操作对sdr域中表达或表示的艺术意图的影响。相反，如本文描述的修整过程校正避免/减少了修整过程操作引起的剪裁(或光亮度和色度信息的非可逆损失)，但仍保留了在经整形的sdr图像中以调色师干预表示的表达或表示的艺术意图。
另外，由于参考hdr图像中的细节可以按照如本文描述的技术进行整形为经整形的sdr图像中的可逆(或无剪裁)sdr码字，因此通过对经整形的sdr图像进行后向整形而生成的重构hdr图像可以包含相对于参考hdr图像的相对准确的光亮度和色度信息，从而在重构hdr图像中保留在参考hdr图像中表示/表达的相同或类似的艺术意图。
如前所述，亮度的示例修整过程检测和校正在美国专利申请公开号2018/0007356中进行了描述。色度的修整过程校正如下进行了详细描述。
首先，修整过程操作对低强度区域(或低光亮度子范围)的亮度码字的影响可能很严重。那些区域中的颜色可能会被相对严重地剪裁。例如，面部(例如，女孩的面部等)上的大量图像细节消失了。在后向整形期间，具有相同像素值的经整形的sdr像素将被映射到或后向整形为相同的hdr值。因此，这些区域中的剪裁被传播到重构hdr图像，导致图像细节和颜色非可逆性丢失。
其次，为了解决此问题，由于重构hdr中的颜色损失是由参考sdr图像中的剪裁引起的，因此在如本文描述的技术下，可以在经整形的sdr图像中恢复颜色，使得参考sdr图像中的剪裁效果在经整形的sdr图像中避免或减少，后者可以用来代替参考sdr图像来对重构hdr图像进行重构。
在一些实施例中，颜色的恢复是通过将经训练的参考3dmt(例如，没有或几乎没有剪裁等)与由参考sdr图像(例如，有剪裁等)构建的d3dmt合并来实现的。经训练的参考3dmt可以由训练数据集中的训练hdr-sdr图像对(其中一些或全部可能没有或几乎没有剪裁)的群体构建。例如，可以将经训练的参考3dmt构建为来自视频图像序列中的大量(例如，50+个等)训练hdr-sdr图像对的训练数据集(例如，均匀采样、随机采样等)中的3000+个hdr-sdr图像(或帧)的平均3dmt。
无论图像中的像素值的范围如何，可以使用从0到
在一些实施例中，对于每个颜色空间和每种类型(例如，基于pq、基于伽马、基于hlg等)的eotf，可以例如通过离线处理来构建相应经训练的参考3dmt。
通过示例而非限制的方式，分别将经训练的参考3dmt中的经映射的sdr色度值表示为针对c0和c1的
在用于预测经整形的sdr色度码字的slbc操作期间，可以在初始化时将经训练的参考3dmt加载到(例如，相对较快、具有低时延等)存储器中。对于每个经整形的sdr图像，可以使用要被前向整形成所述经整形的sdr图像的源(或参考)hdr图像和与源hdr图像相对应(例如，以可能的调色师干预从中进行内容映射等)的参考sdr图像构建单独的d3dmt，例如使用如表1和表2所示的程序。此d3dmt可以被称为帧特定的3dmt，并且可以由包括具有源hdr值
(例如，每个等)参考sdr图像中的修整过程(或修整过程操作的效果)可以例如通过如图2a或图2b的220等用于实施亮度通道的修整过程检测和校正技术的亮度修整过程处理块使用亮度通道中的参考sdr图像的图像信息进行检测。
响应于确定在参考sdr图像(例如，帧t等)中的高sdr强度区域或低sdr强度区域(或sdr光亮度子范围)处或高sdr强度区域和低sdr强度区域两者处存在剪裁(或修整过程)，具有与经裁剪的sdr强度区域(或sdr光亮度子范围)相对应的(多个)hdr强度区域(或hdr光亮度子范围)的帧特定的3dmt中的仓。低强度区域处的裁剪点可以针对帧t表示为
下表3中示出了用于修整过程校正操作的示例程序。在此示例程序中，对于帧3dmt中亮度值处于裁剪范围
表3
更新的sdr码字值
黑边约束
由黑边处理块(例如，图2a或图2b的228或238等)执行的黑边处理可以在前向整形阶段(例如，图2a或图2b的204等)以及后向整形阶段(例如，图2a或图2b的206等)中实施。
如前所述，如本文描述的d3dmt可以被认为表示从源信号到目标信号，或者从源图像到目标图像的映射。因此，在前向整形阶段(204)中，帧特定的d3dmt(其可以是修整过程校正的)表示从源信号(如源(或参考)hdr视频信号)到目标信号(如参考sdr视频信号)，或从源图像(如hdr图像(208))到目标图像(如参考sdr图像(244))的映射。类似地，在后向整形阶段(206)中，帧特定的d3dmt表示从源信号(如经整形的sdr视频信号)到目标信号(如源hdr视频信号)，或从源图像(如经整形的sdr图像(240))到目标图像(如源(或参考)hdr图像(208))的映射。从帧特定的d3dmt中，可以使用帧特定的d3dmt中的非零仓的平均参考色度值来构造两个向量，如下：
进一步地，可以使用帧特定的d3dmt中的非零仓的平均源值来构造矩阵，如下：
其中
其可以用于包含或表示所有支持的mmr。示例mmr相关矩阵和/或向量构造在前面提到的美国临时申请序列号62/404,307中进行了描述。
可以通过求解如下的优化问题来计算或生成mmr系数：
其中
令
mmr系数的封闭式解可以如下给出：
如本文所使用的，黑边可以指图像、屏幕等的顶部、底部、左侧或右侧上的黑条，并且可以包括柱状黑边(例如，包括两个相对的柱状边，包括两个相对的条状边等等)。用于描绘(或清晰表达)黑边的像素可以具有相同的像素值，并且因此可以映射到对应帧特定的d3dmt中的单个仓。无论黑边的大小如何，黑边只可以将一个码字值输入贡献给帧特定的d3dmt。由于黑边对码字值的分布的贡献相对限制于单个仓，因此黑边的存在对mmr拟合/优化过程可能具有相对小的影响或相对低的影响。因此，从此过程生成的mmr系数对于黑边可能没有特别优化，并且更具体地，可能不特别适合黑边的像素所属/贡献的仓。因此，如前向整形阶段(204)中的经整形的sdr图像或后向整形阶段(206)中的重构hdr图像等生成的图像(或目标图像)中的黑边有时看起来不同于黑色，甚至当如前向整形阶段(204)中的源(或参考)hdr图像或后向整形阶段(206)中的经整形的sdr图像等源(或参考)图像中的对应黑边看起来是黑色时。
为了解决此问题，可以将从以上表达式(14)获得的mmr系数作为黑边约束应用，以预测如前向整形阶段(204)中的经整形的sdr图像和后向整形阶段(206)中的源(或参考)hdr图像等目标图像中的黑边色度值。
分别针对三个通道将源图像(前向整形阶段(204)中的源hdr图像或后向整形阶段(206)中的经整形的sdr图像)中的黑边的码字值表示为
可以形成mmr项的向量，如下：
可以使用mmr系数(以上表达式(14)中)和向量(以上表达式(15)中)获得目标图像(前向整形阶段(204)中的经整形的sdr图像或后向整形阶段(206)中的重构hdr图像)的预测(或目标)色度值，如下：
如归一化的预测色度值可以与如在源图像中归一化的色度值进行比较，所述色度值中的全部色度值期望接近归一化值范围[0,1]内的1/2。
响应于确定如归一化的(目标图像中的黑边的)预测(或目标)色度值与如归一化的(源图像中的黑边的)参考色度值差异太大，可以将约束应用于mmr计算，使得经整形的sdr图像中的黑边的目标色度值的预测相对准确。
对应参考图像中的黑边的色度值表示为
在黑边约束的情况下对mmr的优化问题可以如下制定：
等式约束问题可以通过使用拉格朗日乘数
mmr系数的封闭形式解可以如下获得：
令
然后可以将以上表达式(19)中的解进行如下重写或表示：
下表4中示出了用于执行前述黑边处理操作的示例程序。
表4
hffr中的时间稳定性
在一些实施例中，可以对如场景等图像的子集执行色度整形以例如在描绘同一场景的所有图像中提供时间稳定性。对于每个场景，收集场景中所有图像的单独统计信息，并且然后将其聚合以生成用于亮度和/或色度码字前向和后向整形的单个整形参数集合。下表5示出了用于获得多个图像(例如，表示同一场景等)的用于对色度码字进行前向整形的单个整形参数集合的示例程序。
表5
另外地、可选地或替代性地，可以获得多个图像(例如，表示同一场景等)的用于后向整形色度码字、前向整形亮度码字、后向整形亮度码字等中的每一个的单个整形参数集合。
在一些实施例中，线性和基于段的slbc前向和/或后向整形操作作为视频编码操作的一部分，基于三个级别的滑动窗口使用利用滑动窗口操作生成的统计信息来执行。示例滑动窗口操作在前面提到的美国临时申请序列号62/636,388中进行了描述。
整个图像序列可以用于定义图像的多个重叠段。图像的多个重叠段中的每个重叠段可以表示单独图像序列。
对于每个当前(或当前处理的)输入图像(或时间t处的帧)，可以计算用于计算/得到flut、blut、mmr系数的如标量、向量和/或矩阵等中的一些或全部等帧级统计信息，并将其存储在3级(或l3)滑动窗口中。可以使用源hdr码字、参考sdr码字、经整形的sdr码字等中的一些或全部来计算帧级统计信息中的一些或全部。可以将新输入帧的统计信息插入到如环形缓冲器等存储器结构中，作为置换存储器结构中的最早输入帧的统计信息的最新的l3数据。可以使用如以下中的任何操作等滑动窗口操作来计算新的输出数据(或统计信息)：相对简单的求平均操作、加权的线性/非线性组合操作等。新的输出数据可以用作时间
来自l3滑动窗口的新的输出数据可以插入到2级(或l2)滑动窗口中，作为置换第二存储器结构中的最早的l2数据的最新的l2数据。在每次插入新的统计信息时(或在每次插入来自l3滑动窗口的新的输出数据时)，都会计算并输出基于l2滑动窗口的新的统计信息。基于l2滑动窗口计算的这些新的统计信息可以用作时间
来自l2窗口的新的输出数据可以插入到1级(或l1)滑动窗口中，作为置换第三存储器结构中的最早的l1数据的最新的l1数据。在每次这种插入时，基于l1滑动窗口计算一组新的统计信息，并将其用作时间
高效部分参考slbc编解码器
图4c图示了在如本文描述的技术下用于高效部分参考slbc色度前向和后向整形的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块等)可以执行此过程流程。例如，端对端编码流水线的前向整形阶段(例如，图2a或图2c的204等)可以用于执行此过程流程中与前向整形有关的一些或全部操作，而端对端编码流水线的后向整形阶段(例如，图2a或图2c的206等)可以用于执行此过程流程中与后向整形有关的一些或全部操作。
使用此过程流程生成的前向整形mmr系数可以用于将源(或参考)hdr视频信号中的色度码字前向整形为经整形的sdr视频信号中的经整形的色度码字，并且可以相对于源hdr视频信号中的源(或参考)hdr图像保留经整形的sdr视频信号中的经整形的sdr图像中的颜色保真度。
使用此过程流程生成的后向整形mmr系数可以提供给接收方设备作为后向整形图像元数据并且由所述接收方设备用于将经整形的sdr图像(例如，240等)中的色度码字后向整形为重构hdr图像中的重构色度码字，并且可以相对于用于生成经整形的sdr图像(240)的源(或参考)hdr图像(例如，208等)保留重构hdr图像中的颜色保真度。
视频编码器可以实施如本文描述的高效部分参考编解码器架构以减少计算复杂度。如图4c所图示的，映射辅助信息(例如，246等)而不是包括(例如，全部、基本上全部等)单独的像素的(例如，全部、基本上全部等)像素值的参考sdr图像(例如，图4a或图4b的244等)可以从视频编码器的映射信息阶段(例如，202等)发送到如前向整形阶段(例如，204等)、后向整形阶段(例如，206等)等稍后的处理阶段。在如图2c和图4c所图示的herr解码操作中，源(或参考)hdr图像(例如，208等)和与源(或参考)hdr图像(208)相关联的映射辅助信息(246)由稍后的处理阶段用来构造(多个)前向整形函数(例如，flut、mmr系数等)，以通过基于(多个)前向整形函数对源hdr图像(208)进行前向整形来生成(经前向)整形的sdr图像(例如，240等)，生成要由接收方设备(或接收方视频解码器)使用的后向整形图像元数据(例如，242等)以生成接近近似源hdr图像(208)的重构hdr图像，使用slbc视频信号中的后向整形图像元数据(242)对经整形的sdr图像(240)进行编码，等等。在一些操作场景中，与全参考sdr图像中表示的颜色相比，映射辅助信息(246)可以包括减少数量的颜色。
在hffr代码中，通过将内容映射应用于源hdr图像(208)的每个像素来生成参考sdr图像(例如，图4a的244等)，所述参考sdr图像用于构建用于色度前向整形的d3dmt。在hffr模式下，参考sdr图像(244)没有被编码为slbc视频信号，而是用作构建用于色度前向整形的d3dmt的近似参考。因此，在hffr模式下，存在在每个单独的像素级别(例如，对于图像中的数百万个像素中的每个像素，等等)下执行的许多编码相关的操作。
相比之下，在herr模式下，在框中，可以从如内容映射信息等映射辅助信息(246)以减少的采样点数量(例如，10,000、远少于数百万等)生成d3dmt而无需在每个单独的像素级别使用全参考sdr图像生成或操作。因此，可以节省或避免大量计算或编码相关的操作。
与全参考模式下一样，为了在部分参考模式下在映射信息阶段(202)生成映射辅助信息(246)，可以基于每个颜色通道中的最小和最大码字值，将源hdr图像(208)(表示为帧t)中的码字划分为每个这种颜色通道的q个仓。总计，存在qxqxq个3d仓。将未归一化最小码字值表示为
其中
针对hdr像素值(或码字值)的3d直方图(表示为
表6
从上表6中可以看出，与全参考模式不同，通过将内容映射应用于采样点处的hdr像素值而不是在参考sdr图像中对单独的sdr像素值求平均，可以获得部分参考模式下的经映射的sdr像素值。这种内容映射可以仅应用于表示d3dmt的3d直方图
如本文所使用的，与每个源hdr图像一起从映射信息阶段(例如，图2c的202等)发送到前向整形阶段(例如，图2c的204等)和/或后向整形阶段(例如，图2c的206等)的示例映射辅助信息可以包括但不一定仅限于以下信息中的任何信息：如
色度前向整形
来自映射信息阶段(图2c的202)的d3dmt在前向整形阶段(图2c的204)中由无约束mmr矩阵构造460接收。在框468中，制定无约束最小二乘问题以求解要用于将源hdr图像(208)中的色度码字(包括任何黑边源hdr色度码字(如果适用的话))前向整形为经整形的sdr图像(例如，240等)中的经整形的色度码字(包括任何经黑边整形的sdr色度码字(如果适用的话))的mmr系数。
根据映射辅助信息(246)中提供的d3dmt，可以使用表示d3dmt的3d直方图的非零仓(或非空仓)的sdr色度值构造两个向量，如下：
进一步地，可以使用非零仓的平均hdr像素值构造矩阵，如下：
其中
其包含所有支持的mmr项。
令
可以通过使用无约束mmr矩阵求解无约束最小二乘问题，以封闭形式获得无约束mmr系数，如下：
可以在映射信息阶段(图2c的202)中分析源hdr图像(208)或其中的亮度和/或色度码字的分布，以检测源hdr图像(208)中任何黑边的存在。映射辅助信息(246)可以包括从映射信息阶段(图2c的202)到如前向整形阶段(图2c的204)和后向整形阶段(图2c的206)等稍后的处理阶段的黑边指示符。在框466中，例如，在前向整形阶段(图2c的204)中，基于从映射信息阶段(图2c的202)接收的映射辅助信息(246)中的黑边指示符，来确定源hdr图像(208)中是否存在黑边(例如，单个黑边、多个黑边等)。
响应于确定源hdr图像(208)中不存在黑边，在框464中，将由无约束mmr矩阵构造块(462)通过求解无约束最小二乘问题生成的mmr系数应用于将源hdr图像(208)中的色度码字前向整形为经整形的sdr图像(例如，240等)中的经整形的色度码字，所述经整形的sdr图像可以以编码比特流(例如，slbc视频信号、图1的112等)的形式输出到接收方设备。可以由亮度前向整形部分(例如，图2a或图2b的214等)通过对源hdr图像(208)中的亮度码字进行前向整形来获得经整形的sdr图像(240)中的经整形的亮度码字。
另一方面，响应于确定源hdr图像(208)中存在黑边，为了保证经整形的sdr图像(240)中的黑边的颜色(或保持颜色保真度等)，在框468中，将由无约束mmr矩阵构造块(462)通过求解无约束最小二乘问题生成的mmr系数应用于将源hdr图像(208)中的黑边的色度码字前向整形为经整形的sdr图像(240)中的对应黑边的经整形的色度码字。
在一些实施例中，当在映射信息阶段(图2c的202)中检测到源hdr图像中的黑边时，确定黑边的归一化hdr像素值(表示为
在框470中，可以如下构造向量：
可以使用无约束mmr系数来计算预测的黑边值，如下：
然后在框470中，确定经整形的sdr图像(240)中的对应黑边的经整形的色度码字(如用通过求解以上表达式(30)中的无约束最小二乘问题生成的mmr系数预测的)是否足够准确(例如，基于如δ等一个或多个准确度/范围阈值等)。
响应于确定经整形的sdr图像(240)中的对应黑边的经整形的色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)足够准确，过程流程进行到框464，在所述框中，将由无约束mmr矩阵构造块(462)通过求解无约束最小二乘问题生成的mmr系数应用于将源hdr图像(208)中的色度码字前向整形为经整形的sdr图像(例如，240等)中的经整形的色度码字，所述经整形的sdr图像可以以编码比特流(例如，slbc视频信号、图1的112等)的形式输出到接收方设备。可以由亮度前向整形部分(例如，图2a或图2c的214等)通过对源hdr图像(208)中的亮度码字进行前向整形来获得经整形的sdr图像(240)中的经整形的亮度码字。
另一方面，响应于确定经整形的sdr图像(240)中的对应黑边的经整形的色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)不足够准确，由约束mmr矩阵构造块490构造约束mmr矩阵。
例如，如果黑边的针对黑边的经整形的色度码字的预测像素值中的任一个与如在映射辅助信息(246)中接收的黑边的经映射的sdr像素值相差太大(例如，(
在框486中，使用约束mmr矩阵通过求解优化问题(例如，最小化问题等)生成要用于将源hdr图像(208)中的黑边的色度码字前向整形为经整形的sdr图像(240)中的对应黑边的经整形的色度码字的mmr系数。
例如，可以如下使用约束mmr矩阵来获得mmr系数：
过程流程然后进行到框464，在所述框中，将由约束mmr矩阵构造块(420)通过求解约束最小二乘问题生成的mmr系数应用于将源hdr图像(208)中的色度码字前向整形为经整形的sdr图像(例如，240等)中的经整形的色度码字，所述经整形的sdr图像可以以编码比特流(例如，slbc视频信号、图1的112等)的形式输出到接收方设备。可以由亮度前向整形部分(例如，图2a或图2c的214等)通过对源hdr图像(208)中的亮度码字进行前向整形来获得经整形的sdr图像(240)中的经整形的亮度码字。
色度后向整形
在全参考模式下，第一d3dmt被构造用于基于源hdr图像(例如，208等)和参考sdr图像进行前向整形；并且第二不同的d3dmt被构造用于基于源hdr图像和通过对源hdr图像(208)进行前向整形而生成的经整形的sdr图像(例如，240等)来进行后向整形。在部分参考模式下，如由映射信息阶段(图2c的202)构造的相同d3dmt可以用于进行前向整形和后向整形两者以降低计算复杂度。
来自映射信息阶段(图2c的202)的d3dmt在后向整形阶段(图2c的206)中由无约束mmr矩阵构造472接收。在框480中，制定无约束最小二乘问题以求解要用于将经整形的sdr图像(240)中的色度码字(包括任何经黑边整形的sdr色度码字(如果适用的话))后向整形为重构hdr图像中的重构色度码字(包括任何黑边重构hdr色度码字(如果适用的话))的mmr系数。
根据映射辅助信息(246)中提供的d3dmt，可以使用表示d3dmt的3d直方图的非零仓(或非空仓)的平均hdr色度值构造两个向量，如下：
进一步地，可以使用非零仓的sdr像素值构造矩阵，如下：
其中
其包含所有支持的mmr项。
令
可以通过使用无约束mmr矩阵求解无约束最小二乘问题，以封闭形式获得无约束mmr系数，如下：
在框474中，例如，在后向整形阶段(图2c的206)中，基于从映射信息阶段(图2c的202)接收的映射辅助信息(246)中的黑边指示符，来确定源hdr图像(208)中是否存在黑边(例如，单个黑边、多个黑边等)。
响应于确定在源hdr图像(208)中不存在黑边，在框488中，由无约束mmr矩阵构造块(480)通过求解无约束最小二乘问题生成的mmr系数以编码比特流的形式与经整形的sdr图像(240)一起作为后向整形图像元数据写入。
另一方面，响应于确定源hdr图像(208)中存在黑边，为了保证经整形的sdr图像(240)中的黑边的颜色(或保持颜色保真度等)，在框476中，将由无约束mmr矩阵构造块(480)通过求解无约束最小二乘问题生成的mmr系数应用于将经整形的sdr图像(240)中的黑边的色度码字后向整形为重构hdr图像中的对应黑边的重构色度码字。
在一些实施例中，当在映射信息阶段(图2c的202)中检测到源hdr图像中的黑边时，如下构造向量：
可以使用无约束mmr系数来计算预测的黑边值，如下：
然后在框478中，确定重构hdr图像中的对应黑边的重构色度码字(如用通过求解以上表达式(41)中的无约束最小二乘问题生成的mmr系数预测的)是否足够准确(例如，基于如δ等一个或多个准确度/范围阈值等)。
响应于确定重构hdr图像中的对应黑边的重构色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)足够准确，过程流程进行到框488，在所述框中，由无约束mmr矩阵构造块(480)通过求解无约束最小二乘问题生成的mmr系数以编码比特流的形式与经整形的sdr图像(240)一起作为后向整形图像元数据写入。
另一方面，响应于确定重构hdr图像中的对应黑边的重构色度码字(如用通过求解无约束最小二乘问题生成的mmr系数预测的)不足够准确，由约束mmr矩阵构造块482构造约束mmr矩阵。
例如，如果预测值中的任一个太不同
在框484中，使用约束mmr矩阵通过求解优化问题(例如，最小化问题等)生成要用于将经整形的sdr图像(240)中的黑边的色度码字后向整形为重构hdr图像中的对应黑边的重构色度码字的mmr系数。
例如，可以如下使用约束mmr矩阵来获得mmr系数：
过程流程然后进行到框488，在所述框中，由约束mmr矩阵构造块(484)通过求解约束最小二乘问题生成的mmr系数以编码比特流的形式与经整形的sdr图像(240)一起作为后向整形图像元数据写入。
亮度前向和后向整形
在一些实施例中，可以采用cdf匹配来构建前向整形查找表(flut)。在框450中，使用从采样点(例如，hdr和sdr图像帧中的每一个中的采样网格等)处的源hdr码字值和sdr码字值而不是从每个未采样的像素级别处的源hdr图像(208)和参考sdr图像生成的d3dmt构造1d亮度直方图。由于在来自映射信息阶段(图2c的202)的映射辅助信息(246)中已经获得表示d3dmt的3d直方图，因此前向整形阶段(图2c的204)可以通过对3d直方图中亮度值对应于1d亮度直方图中的相同亮度仓的所有3d仓进行求和来构建1d亮度直方图。
cdf匹配可以由cdf匹配块(例如，218等)执行，以基于1d亮度直方图生成经内插的flut452。可以使经内插的flut平滑以生成经平滑的flut。另外，可以由blut构造块456使用经平滑的flut中表示的码字映射或曲线(例如，8段二阶多项式等)来构造后向整形lut(blut)。
下表7和表8图示了用于使用不同的计算成本构建1d亮度直方图的两个示例方法或程序。在如表7所图示的第一方法中，计算每个仓的质心。使用质心执行cdf匹配。这需要相对高成本的计算，但是生成具有相对高精度的映射。在如表8所图示的第二方法中，每个仓由其中点表示，所述中点可以通过相对低成本的计算轻松确定。下面呈现了两种方法。
表7
表8
herr中的时间稳定性
在一些实施例中，如在hffr模式下那样，在herr模式下，可以对如场景等图像的子集执行色度整形以提供时间稳定性，例如在描绘同一场景的所有图像中。对于每个场景，收集场景中所有图像的单独统计信息，并且然后将其聚合以生成用于亮度和/或色度码字前向和后向整形的单个整形参数集合。下表9示出了用于获得多个图像(例如，表示同一场景等)的用于对亮度和/或色度码字进行前向和/或后向整形的单个整形参数集合的示例程序。
表9
在一些实施例中，如在hffr模式下那样，在herr模式下，线性和基于段的slbc前向和/或后向整形操作作为视频编码操作的一部分，基于三个级别的滑动窗口使用利用滑动窗口操作生成的统计信息来执行。
示例过程流程
图4d图示了根据本发明的实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块等)可以执行此过程流程。在框4002中，图像处理设备(例如，编码块(120)等)生成第一动态范围的第一图像和与第一图像相对应的第二图像的三维(3d)映射统计信息。第二图像具有不同于第一动态范围的第二动态范围。
在框4004中，在没有黑边约束的情况下，图像处理设备通过求解使用至少部分地利用3d映射统计信息构建的多变量多元回归(mmr)矩阵制定的优化问题生成mmr系数。mmr系数用于生成用于预测第二图像的色度码字值的色度映射。
在框4006中，图像处理设备确定第一图像或第二图像中的至少一个中是否存在黑边。
在框4008中，响应于确定第一图像或第二图像中的至少一个中存在黑边，图像处理设备确定通过求解无约束优化问题生成的所述色度映射是否准确地预测所述第二图像中的色度码字值。
在框4010中，图像处理设备提供第一图像或与第二图像近似的第三图像中的一个图像，以使由接收方设备至少通过对第一图像或与第二图像近似的第三图像中的所述一个图像进行后向整形而生成的重构图像由与接收方设备结合操作的显示设备渲染。
在实施例中，所述3d映射统计信息是由具有根据其中表示第一图像和第二图像中之一或两者的颜色空间的每个颜色通道中的最小码字值和最大码字值动态创建的多个仓分区的直方图表示的。
在实施例中，所述3d映射统计信息由具有多个仓分区的直方图表示；图像处理设备进一步被配置成基于属于所述多个仓分区中的每个仓分区的码字来计算一组质心。
在实施例中，第三图像是经前向整形的标准动态范围(sdr)图像；第一图像表示源高动态范围(hdr)图像；第二图像表示通过内容映射由源hdr图像生成的参考sdr图像。
在实施例中，第二图像表示源高动态范围(hdr)图像；第一图像表示由源hdr图像生成的经前向整形的标准动态范围(sdr)图像；第三图像表示与源hdr图像近似的重构hdr图像；重构hdr图像是基于以比特流的形式提供给接收方设备的后向整形图像元数据通过后向整形由经前向整形的sdr图像生成的。
在实施例中，图像处理设备进一步被配置成执行以下操作：将后向整形图像元数据与经前向整形的sdr图像一起以编码比特流的形式提供给与显示设备一起操作的视频解码器。后向整形图像元数据包括由视频解码器用来生成色度映射以将经前向整形的sdr图像中的色度码字值后向整形为重构hdr图像中的重构码字值的图像元数据。
在实施例中，图像处理设备进一步被配置成执行以下操作：响应于确定所述第一图像或所述第二图像中的至少一个中不存在黑边，使用通过求解所述无约束优化问题生成的所述色度映射生成所述第二图像中的色度码字值。
在实施例中，图像处理设备进一步被配置成响应于确定通过求解所述无约束优化问题生成的所述色度映射未准确地预测所述第二图像中的色度码字值，执行以下操作：由通过求解约束优化问题生成的新的mmr系数重新生成所述色度映射，以获得一组mmr系数，所述约束优化问题是利用以下各项制定的：(a)无约束mmr矩阵和(b)将所述第一动态范围的特定黑边色度码字值与所述第二动态范围的特定黑边色度码字值相关联的特定黑边约束；使用由所述新的mmr系数重新生成的所述色度映射生成所述第三图像中的色度码字值。
在实施例中，使用以下各项的各个像素值在每个像素级别生成所述3d映射统计信息：(a)表示所述第一动态范围的源图像的所述第一图像和(b)所述第二动态范围的参考图像；所述第二动态范围的所述参考图像是从所述第一动态范围的所述源图像映射的内容；图像处理设备进一步被配置成执行以下操作：确定所述第二动态范围的所述参考图像中是否存在剪裁；响应于确定所述第二动态范围的所述参考图像中存在剪裁，通过将所述3d映射统计信息与经训练的3d映射统计信息合并来修改所述3d映射统计信息。
在实施例中，由包括所述第一动态范围的第一训练图像对和所述第二动态范围的第二训练图像的训练数据集生成所述经训练的3d映射统计信息。
在实施例中，所述经训练的3d映射统计信息构成基于颜色空间类型和电光传递函数类型从多组3d映射统计信息中选择的一组3d映射统计信息。
在实施例中，使用以下各项在采样点级别生成所述3d映射统计信息：(a)表示所述第一动态范围的源图像的所述第一图像的采样点像素值和(b)所述第二动态范围的对应采样点像素值；所述第二动态范围的所述对应采样点像素值是从所述第一动态范围的所述源图像的采样点像素值映射的内容。
在实施例中，所述采样点像素值是使用3d网格或密度分布中的一个或多个选择的样本点的像素值。
在实施例中，第一图像表示源高动态范围(hdr)图像；第三图像表示通过前向整形由源hdr图像生成的经前向整形的标准动态范围(sdr)图像；所述色度映射表示色度前向整形映射；图像处理设备进一步被配置成执行以下操作：在没有黑边约束的情况下通过求解使用至少部分地利用所述3d映射统计信息构建的第二mmr矩阵制定的第二优化问题来生成第二mmr系数，所述第二mmr系数用于生成用于预测要与所述源hdr图像近似的重构hdr图像的重构hdr色度码字值的第二色度映射；使所述重构hdr图像由显示设备渲染。
在实施例中，确定通过求解所述无约束优化问题生成的所述色度映射是否用于生成所述第二图像中的色度码字值包括确定所述色度映射是否以如由一个或多个范围阈值指定的特定容限范围来预测所述第二动态范围的黑边色度值。
在实施例中，所述3d映射统计信息表示所述第一图像的一组帧特定的3d映射统计信息。
在实施例中，所述第一图像位于所述第一动态范围的表示场景的多个图像当中；所述mmr矩阵是利用由所述第一动态范围的表示所述场景的所述多个图像的多组帧特定的3d映射统计信息生成的场景特定的3d映射统计信息构建的。
在实施例中，所述mmr矩阵是利用来自所述第一动态范围的多个图像的多组帧特定的3d映射统计信息的一个或多个滑动窗口构建的。
在实施例中，第三图像表示经前向整形的图像；第二动态范围的第三图像以单层后向兼容的编码比特流的形式提供给与所述显示设备一起操作的视频解码器。
在实施例中，所述第一图像或所述第二图像中的至少一个以下列之一表示：iptpq(ictcp)颜色空间、ycbcr颜色空间、rgb颜色空间、rec.2020颜色空间、rec.709颜色空间、扩展动态范围(edr)颜色空间、伽马/hlg/pq颜色空间、标准动态范围(sdr)颜色空间，等等。
在实施例中，所述第一图像或所述第二图像中的至少一个在比特深度为8、9、10、11、12、13、14或15+比特之一的视频信号中以相同动态范围的图像序列编码。
图4e图示了根据本发明的实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块等)可以执行此过程流程。在框4022中，图像处理设备(例如，编码块(120)等)在一个或多个源高动态范围(hdr)图像中识别通过亮度前向整形映射映射到一个或多个标准动态范围(sdr)图像中的经前向整形的sdr亮度码字值的一组一个或多个hdr亮度码字值，所述一个或多个sdr图像至少部分地基于亮度前向整形映射经由前向整形由一个或多个源hdr图像生成。
在块4024中，图像处理设备使用所述一组一个或多个hdr亮度码字值来确定加权的hdr亮度码字值。
在块4026中，图像处理设备构造至少包括后向整形亮度映射的后向整形映射，所述后向整形亮度映射将经前向整形的sdr亮度码字值映射到加权的hdr亮度码字值。后向整形映射用于将一个或多个经整形的sdr图像后向整形为一个或多个重构hdr图像，以近似一个或多个源hdr图像。
在框4028中，图像处理设备使至少部分地根据所述后向整形映射生成的后向整形图像元数据与所述一个或多个经前向整形的图像一起被提供给接收方设备以渲染所述一个或多个重构hdr图像。
在实施例中，所述亮度前向整形映射是通过将根据经内容映射的sdr码字值的分布生成的sdr直方图构造的sdr累积密度函数(cdf)与根据用于通过内容映射操作生成所述经内容映射的sdr码字值的源hdr码字值的分布生成的hdr直方图构造的hdrcdf进行匹配而构建的。
图4f图示了根据本发明的实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块等)可以执行此过程流程。在框4042中，图像处理设备(例如，解码块(130)等)接收包括用于生成第一动态范围的重构图像的后向整形图像元数据的视频信号。重构图像将与第一动态范围的第一图像近似。将基于后向整形图像元数据通过对与第一动态范围不同的第二动态范围的第二图像进行后向整形来生成重构图像。第二图像对应于第一图像。
后向整形图像元数据包括由多变量多元回归(mmr)系数生成的色度映射。通过求解使用mmr矩阵制定的优化问题来生成所述mmr系数，所述mmr矩阵至少部分地由所述第一图像和与所述第一图像相对应的所述第二图像的所生成的三维(3d)映射统计信息构建。
在框4044中，图像处理设备从视频信号中解码第二图像。
在框4046中，图像处理设备基于所述后向整形图像元数据，对所述第二动态范围的所述第二图像进行后向整形以生成所述第一动态范围的所述重构图像。
在框4048中，图像处理设备使重构图像由显示设备渲染。
图4g图示了根据本发明的实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块等)可以执行此过程流程。在框4062中，图像处理设备(例如，解码块(130)等)接收包括用于生成一个或多个重构高动态范围(hdr)图像的后向整形图像元数据的视频信号。一个或多个重构hdr图像将与一个或多个源hdr图像近似。将基于后向整形图像元数据，通过对与一个或多个源hdr图像相对应的一个或多个经前向整形的sdr图像生成一个或多个重构hdr图像。
至少部分地根据至少包括后向整形亮度映射的后向整形映射生成后向整形图像元数据，所述后向整形亮度映射将一个或多个经前向整形的sdr图像中的经前向整形的sdr亮度码字值映射到加权的hdr亮度码字值。一组一个或多个hdr亮度码字值用于确定加权的hdr亮度码字值。在一个或多个源hdr图像中识别所述一组一个或多个hdr亮度码字值。通过亮度前向整形映射将一个或多个源hdr图像中的所述一组一个或多个hdr亮度码字值中的每个hdr亮度码字值映射到一个或多个经前向整形的sdr图像中的经前向整形的sdr亮度码字值。至少部分地基于亮度前向整形映射经由前向整形由一个或多个源hdr图像生成一个或多个经前向整形的sdr图像。
在框4064中，图像处理设备从视频信号中解码一个或多个经前向整形的sdr图像。
在框4066中，图像处理设备基于所述后向整形图像元数据，对所述一个或多个经前向整形的图像进行后向整形以生成所述一个或多个重构hdr图像。
在框4068中，图像处理设备使一个或多个重构hdr图像由显示设备渲染。
在实施例中，如显示设备、移动设备、机顶盒、多媒体设备等计算设备被配置成执行前述方法中的任何方法。在实施例中，一种装置包括处理器，并且被配置成执行前述方法中的任何方法。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，所述软件指令当由一个或多个处理器执行时使得执行前述方法中的任何方法。
在实施例中，一种计算设备包括一个或多个处理器以及一个或多个存储介质，所述一个或多个存储介质存储指令集，所述指令集当由所述一个或多个处理器执行时使得执行前述方法中的任何方法。
注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。
示例计算机系统实施方式
本发明的实施例可以利用计算机系统、被配置成电子电路和部件来配置的系统、集成电路(ic)设备(如微控制器、现场可编程门阵列(fpga)或另一可配置或可编程逻辑设备(pld)、离散时间或数字信号处理器(dsp)、专用ic(asic))和/或包括一个或多个这种系统、设备或部件的装置来实施。计算机和/或ic可以执行、控制或实施与对具有增强动态范围的图像的自适应感知量化有关的指令，如本文所描述的那些。计算机和/或ic可以计算与本文所描述的自适应感知量化过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。
本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的对hdr图像的自适应感知量化有关的方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组计算机可读信号的任何非暂态介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括cdrom、dvd的光学数据存储介质、包括rom、闪速存储器ram的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有说明，否则对此部件的引用(包括对“装置”的引用)都应被解释为包括为此部件的执行所描述部件的功能的任何部件的等效物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。
根据一个实施例，本文所描述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以用于执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备，如一个或多个专用集成电路(asic)或现场可编程门阵列(fpga)，或者可以包括被编程为根据固件、存储器、其他存储设备或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这种专用计算设备也可以将定制的硬接线逻辑、asic或fpga与定制编程相结合来实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施所述技术的任何其他设备。
例如，图5是图示了可以在其上实施本发明的实施例的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机制、以及与总线502耦接以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。
计算机系统500还包括耦接到总线502以用于存储要由处理器504执行的信息和指令的主存储器506，如随机存取存储器(ram)或其他动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其他中间信息。在被存储于处理器504可访问的非暂态存储介质中时，这种指令使得计算机系统500变成被定制用于执行在指令中指定的操作的专用机器。
计算机系统500进一步包括只读存储器(rom)508或耦接到总线502的用于存储处理器504的静态信息和指令的其他静态存储设备。提供存储设备510(如磁盘或光盘)，并将其耦接到总线502以用于存储信息和指令。
计算机系统500可以经由总线502耦接到如液晶显示器等显示器512上，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦接到总线502，以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是如鼠标、轨迹球或光标方向键等光标控制设备516，用于将方向信息和命令选择传送到处理器504并用于控制在显示器512上的光标移动。典型地，此输入设备具有在两条轴线(第一轴线(例如，x轴)和第二轴线(例如，y轴))上的两个自由度，允许设备在某个平面中指定方位。
计算机系统500可以使用自定义硬接线逻辑、一个或多个asic或fpga、固件和/或程序逻辑来实施本文所描述的技术，所述固件和/或程序逻辑与计算机系统相结合使计算机系统500成为或编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行如本文所描述的技术。这种指令可以从另一个存储介质(如存储设备510)读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文所描述的过程步骤。在替代性实施例中，可以使用硬接线电路代替软件指令或与软件指令组合。
如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，如存储设备510。易失性介质包括动态存储器，如主存储器506。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、cd-rom、任何其他光学数据存储介质、具有孔图案的任何物理介质、ram、prom和eprom、闪速eprom、nvram、任何其他存储器芯片或存储盒。
存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，如在无线电波和红外数据通信期间生成的声波或光波。
各种形式的介质可以涉及将一个或多个指令的一个或多个序列载送到处理器504以供执行。例如，指令最初可以携带在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以接收电话线上的数据并使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中携带的数据，并且适当的电路可以将数据放在总线502上。总线502将数据载送到主存储器506，处理器504从所述主存储器取得并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。
计算机系统500还包括耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，所述网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(isdn)卡、电缆调制解调器、卫星调制解调器或调制解调器，以向相应类型的电话线提供数据通信连接。作为另一个示例，通信接口518可以是局域网(lan)卡，用于提供与相容lan的数据通信连接。还可以实施无线链路。在任何这种实施方式中，通信接口518发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(isp)526操作的数据设备的连接。isp526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和因特网528都使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的信号(其将数字数据载送到计算机系统500和从所述计算机系统载送数字数据)是传输介质的示例形式。
计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可以通过因特网528、isp526、本地网络522和通信接口518传送应用程序的请求代码。
所接收的代码可以在被接收到时由处理器504执行，和/或存储在存储设备510、或其他非易失性存储器中以供稍后执行。
等同物、扩展、替代方案和杂项
在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，指明本发明以及本发明人的发明意图的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续修正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。
可以从以下枚举的示例实施例(eee)中理解本发明的各个方面：
eee1.一种用于对图像数据进行编码的方法，所述方法包括：
生成第一动态范围的第一图像和与所述第一图像相对应的第二图像的三维(3d)映射统计信息，其中，所述第二图像具有与所述第一动态范围不同的第二动态范围；
在没有黑边约束的情况下通过求解使用至少部分地利用所述3d映射统计信息构建的多变量多元回归(mmr)矩阵制定的优化问题来生成mmr系数，其中，所述mmr系数用于生成用于预测所述第二图像的色度码字值的色度映射；
确定所述第一图像或所述第二图像中的至少一个中是否存在黑边；响应于确定所述第一图像或所述第二图像中的至少一个中存在黑边，确定通过求解无约束优化问题生成的所述色度映射是否准确地预测所述第二图像中的色度码字值；
将所述第一图像或与所述第二图像近似的第三图像中的一个图像提供给接收方设备，以使要由所述接收方设备至少通过对所述第一图像或与所述第二图像近似的第三图像中的所述一个图像进行后向整形而生成的重构图像由显示设备渲染。
eee2.如eee1所述的方法，其中，所述第三图像是经前向整形的标准动态范围(sdr)图像，其中，所述第一图像表示源高动态范围(hdr)图像，并且其中，所述第二图像表示通过内容映射由所述源hdr图像生成的参考sdr图像。
eee3.如eee1所述的方法，其中，所述第二图像表示源高动态范围(hdr)图像，其中，所述第一图像表示由所述源hdr图像生成的经前向整形的标准动态范围(sdr)图像，其中，所述第三图像表示与所述源hdr图像近似的重构hdr图像，并且其中，所述重构hdr图像是通过基于以比特流的形式提供给所述接收方设备的后向整形图像元数据的后向整形由所述经前向整形的sdr图像生成的。
eee4.如eee3所述的方法，进一步包括：将后向整形图像元数据与所述经前向整形的sdr图像一起以编码比特流的形式提供给与所述显示设备一起操作的视频解码器，其中，所述后向整形图像元数据包括由所述视频解码器用来生成所述色度映射以将所述经前向整形的sdr图像中的色度码字值后向整形为重构hdr图像中的重构码字值的图像元数据。
eee5.如eee1至4中任一项所述的方法，进一步包括：响应于确定所述第一图像或所述第二图像中的至少一个中不存在黑边，使用通过求解所述无约束优化问题生成的所述色度映射生成所述第二图像中的色度码字值。
eee6.如eee1至5中任一项所述的方法，进一步包括：
响应于确定通过求解所述无约束优化问题生成的所述色度映射未准确地预测所述第二图像中的色度码字值，执行以下操作：
由通过求解约束优化问题生成的新的mmr系数重新生成所述色度映射，以获得一组mmr系数，其中，所述约束优化问题是利用以下各项制定的：(a)无约束mmr矩阵和(b)将所述第一动态范围的特定黑边色度码字值与所述第二动态范围的特定黑边色度码字值相关联的特定黑边约束；
使用由所述新的mmr系数重新生成的所述色度映射生成所述第三图像中的色度码字值。
eee7.如eee1至6中任一项所述的方法，其中，使用以下各项的各个像素值在每像素级别生成所述3d映射统计信息：(a)表示所述第一动态范围的源图像的所述第一图像和(b)所述第二动态范围的参考图像；其中，所述第二动态范围的所述参考图像是从所述第一动态范围的所述源图像映射的内容；所述方法进一步包括：
确定所述第二动态范围的所述参考图像中是否存在剪裁；响应于确定所述第二动态范围的所述参考图像中存在剪裁，通过将所述3d映射统计信息与经训练的3d映射统计信息合并来修改所述3d映射统计信息。
eee8.如eee7所述的方法，其中，由包括所述第一动态范围的第一训练图像和所述第二动态范围的第二训练图像的训练数据集生成所述经训练的3d映射统计信息。
eee9.如eee7所述的方法，其中，所述经过训练的3d映射统计信息构成基于颜色空间类型和电光传递函数类型从多组3d映射统计信息中选择的一组3d映射统计信息。
eee10.如eee1至6中任一项所述的方法，其中，使用以下各项在采样点级别生成所述3d映射统计信息：(a)表示所述第一动态范围的源图像的所述第一图像的采样点像素值和(b)所述第二动态范围的对应采样点像素值；其中，所述第二动态范围的所述对应采样点像素值是从所述第一动态范围的所述源图像的采样点像素值映射的内容。
eee11.如eee10所述的方法，其中，所述采样点像素值是使用3d网格或密度分布中的一个或多个选择的样本点的像素值。
eee12.如eee10或eee11所述的方法，其中，所述第一图像表示源高动态范围(hdr)图像，并且其中，所述第三图像表示通过前向整形由所述源hdr图像生成的经前向整形的标准动态范围(sdr)图像；其中，所述色度映射表示色度前向整形映射；所述方法进一步包括：
在没有黑边约束的情况下通过求解使用至少部分地利用所述3d映射统计信息构建的第二mmr矩阵制定的第二优化问题来生成第二mmr系数，其中，所述第二mmr系数用于生成用于预测要与所述源hdr图像近似的重构hdr图像的重构hdr色度码字值的第二色度映射；
使所述重构hdr图像由显示设备渲染。
eee13.如eee1至12中任一项所述的方法，其中，确定通过求解所述无约束优化问题生成的所述色度映射是否用于生成所述第二图像中的色度码字值包括确定所述色度映射是否以如由一个或多个范围阈值指定的特定容限范围来预测所述第二动态范围的黑边色度值。
eee14.如eee1至13中任一项所述的方法，其中，所述3d映射统计信息表示所述第一图像的一组帧特定的3d映射统计信息。
eee15.如eee1至14中任一项所述的方法，其中，所述第一图像位于所述第一动态范围的表示场景的多个图像当中；其中，所述mmr矩阵是利用由所述第一动态范围的表示所述场景的所述多个图像的多组帧特定的3d映射统计信息生成的场景特定的3d映射统计信息构建的。
eee16.如eee1至15中任一项所述的方法，其中，所述mmr矩阵是利用来自所述第一动态范围的多个图像的多组帧特定的3d映射统计信息的一个或多个滑动窗口构建的。
eee17.如eee1至16中任一项所述的方法，其中，所述第三图像表示经前向整形的图像，并且其中，所述第二动态范围的所述第三图像以单层后向兼容的编码比特流的形式提供给与所述显示设备一起操作的视频解码器。
eee18.如eee1至17中任一项所述的方法，其中，所述第一图像或所述第二图像中的至少一个以下列之一表示：iptpq(ictcp)颜色空间、ycbcr颜色空间、rgb颜色空间、rec.2020颜色空间、rec.709颜色空间、扩展动态范围(edr)颜色空间、伽马/hlg/pq颜色空间或标准动态范围(sdr)颜色空间。
eee19.如eee1至18中任一项所述的方法，其中，所述第一图像或所述第二图像中的至少一个在比特深度为8、9、10、11、12、13、14或15+比特之一的视频信号中以相同动态范围的图像序列编码。
eee20.如eee1至19中的任一项所述的方法，其中，所述3d映射统计信息是由具有根据其中表示所述第一图像和所述第二图像之一或两者的颜色空间的每个颜色通道中的最小码字值和最大码字值动态创建的多个仓分区的直方图表示的。
eee21.如eee1至20中的任一项所述的方法，其中，所述3d映射统计信息由具有多个仓分区的直方图表示；所述方法进一步包括基于属于所述多个仓分区中的每个仓分区的码字来计算一组质心。
eee22.一种用于对图像数据进行编码的方法，所述方法包括：在一个或多个源高动态范围(hdr)图像中，识别通过亮度前向整形映射映射到一个或多个标准动态范围(sdr)图像中的经前向整形的sdr亮度码字值的一组一个或多个hdr亮度码字值，所述一个或多个sdr图像至少部分地基于亮度前向整形映射经由前向整形由所述一个或多个源hdr图像生成；
使用所述一组一个或多个hdr亮度码字值来确定加权的hdr亮度码字值；
构造至少包括将所述经前向整形的sdr亮度码字值映射到所述加权的hdr亮度码字值的后向整形亮度映射的后向整形映射，其中，所述后向整形映射用于将所述一个或多个经整形的sdr图像后向整形为一个或多个重构hdr图像，以近似所述一个或多个源hdr图像；
使至少部分地根据所述后向整形映射生成的后向整形图像元数据与所述一个或多个经前向整形的图像一起提供给接收方设备以渲染所述一个或多个重构hdr图像。
eee23.如eee22所述的方法，其中，所述亮度前向整形映射是通过将根据经内容映射的sdr码字值的分布生成的sdr直方图构造的sdr累积密度函数(cdf)与根据用于通过内容映射操作生成所述经内容映射的sdr码字值的源hdr码字值的分布生成的hdr直方图构造的hdrcdf进行匹配而构建的。
eee24.一种用于对图像数据进行解码的方法，所述方法包括：
接收包括用于生成第一动态范围的重构图像的后向整形图像元数据的视频信号，其中，所述重构图像将与所述第一动态范围的第一图像近似，其中，所述重构图像将通过基于所述后向整形图像元数据对与所述第一动态范围不同的第二动态范围的第二图像进行后向整形而生成，其中，所述第二图像对应于所述第一图像；
其中，所述后向整形图像元数据包括由多变量多元回归(mmr)系数生成的色度映射，其中，通过求解使用至少部分地由所述第一图像和与所述第一图像相对应的所述第二图像的所生成的三维(3d)映射统计信息构建的mmr矩阵制定的优化问题来生成所述mmr系数；
从所述视频信号中解码所述第二图像；
基于所述后向整形图像元数据，对所述第二动态范围的所述第二图像进行后向整形以生成所述第一动态范围的所述重构图像；使所述重构图像由显示设备渲染。
eee25.一种用于对图像数据进行解码的方法，所述方法包括：
接收包括用于生成一个或多个重构高动态范围(hdr)图像的后向整形图像元数据的视频信号，其中，所述一个或多个重构hdr图像将与一个或多个源hdr图像近似，其中，所述一个或多个重构hdr图像将通过基于所述后向整形图像元数据对与所述一个或多个源hdr图像相对应的一个或多个经前向整形的sdr图像进行后向整形来生成；
其中，所述后向整形图像元数据至少部分地由至少包括后向整形亮度映射的后向整形映射生成，所述后向整形亮度映射生成将所述一个或多个经前向整形的sdr图像中的经前向整形的sdr亮度码字值映射到加权的hdr亮度码字值，其中，一组一个或多个hdr亮度码字值用于确定所述加权的hdr亮度码字值，其中，所述一组一个或多个hdr亮度码字值在所述一个或多个源hdr图像中识别，其中，所述一个或多个源hdr图像中的所述一组一个或多个hdr亮度码字值中的每个hdr亮度码字值通过亮度前向整形映射映射到所述一个或多个经前向整形的sdr图像中的所述经前向整形的sdr亮度码字值，其中，所述一个或多个经前向整形的sdr图像至少部分地基于所述亮度前向整形映射经由前向整形由所述一个或多个源hdr图像生成；
从所述视频信号中解码所述一个或多个经前向整形的sdr图像；
基于所述后向整形图像元数据，对所述一个或多个经前向整形的图像进行后向整形以生成所述一个或多个重构hdr图像；
使所述一个或多个重构hdr图像由显示设备渲染。
eee26.一种计算机系统，被配置成执行如eee1至25中所述的方法中的任一种方法。
eee27.一种装置，包括处理器并且被配置成执行如eee1至25中所述的方法中的任一种方法。
eee28.一种非暂态计算机可读存储介质，具有存储于其上的用于执行根据eee1至25中任一项所述的方法的计算机可执行指令。
eee29.一种具有指令的计算机程序产品，所述指令当由计算设备或系统执行时使所述计算设备或系统执行根据eee1至25中任一项所述的方法。
- 还没有人留言评论。精彩留言会获得点赞！