用于生成图像编码信号的方法和装置制造方法

用于生成图像编码信号的方法和装置制造方法
【专利摘要】一种装置生成图像编码信号，该图像编码信号对于每幅图像包括具有照度分量和彩度分量的第一像素化图片和第二像素化图片。该装置包括将用于编码的第一图像的图像编码数据包含在第一像素化图片中的第一图片处理器（203，211）。第二图片处理器（205，207，209，211）将动态范围扩展数据包含在第二像素化图片中。该动态范围扩展数据可以是包含在第二像素化图片的彩度分量中的用于基于编码的第一图像生成动态范围增加的图像的动态范围扩展数据。补偿数据可以例如是用于校正另一个LDR至HDR变换（例如预先固定的全局伽玛变换）的补偿数据。动态范围扩展数据可以包含在照度分量中，并且包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据。
【专利说明】用于生成图像编码信号的方法和装置
【技术领域】
[0001]本发明涉及一种用于生成图像编码信号的方法和装置，并且具体地但是非排他性地，涉及包括低动态范围(LDR)图像和高动态范围(HDR)图像二者的表示的图像编码信号的生成。
【背景技术】
[0002]随着数字信号表示和通信日益取代模拟表示和通信，各种不同的源信号的数字编码在过去的几十年变得越来越重要。如何在将数据率保持为可接受的水平的同时改进可以从编码的图像和视频序列获得的质量的持续的研究和开发正在进行着。
[0003]感知的图像质量的一个重要因素是在显示图像时可以复现的动态范围。然而，常规上，复现的图像的动态范围倾向于相对于正常的视觉大大降低。事实上，真实世界中遇到的照度(luminance)水平跨越从无月亮的夜晚改变到直视太阳的高达14个数量级的动态范围。在晴天或者在夜晚，瞬时照度动态范围和相应的人类视觉系统响应可以落在
10.000:1与100.000:1之间(明亮的反射对暗影区块(region))。传统上，显示器的动态范围局限于大约2-3个数量级，并且传感器也具有有限的范围，例如〈10.000:1，这取决于噪声可接受性。因此，传统上有可能存储和传输8比特伽玛编码格式的图像，而不在传统再现设备上引入明显感知的伪像。然而，在记录更精确且更活泼的图像的努力中，开发了新颖的能够记录超过6个数量级的动态范围的高动态范围(HDR)图像传感器。而且，大多数特效、计算机图形学增强和其他的后制作工作已经在更高的比特深度且以更高的动态范围例行地进行。
[0004]此外，最新技术的显示系统的对比度和峰值照度继续增大。近来，已经提出了新的原型显示器，其具有高达3000 Cd/m2的峰值照度和5-6个数量级的对比率(显示器是原始的，观看环境也将影响最终再现的对比率，该对比率对于白天观看电视而言可能甚至下降至50:1以下)。期望的是，未来的显示器将能够提供甚至更高的动态范围以及特别是更高的峰值照度和对比率。当在这样的显示器上显示传统上编码的8比特信号时，令人讨厌的量化和剪切伪像可能出现。而且，传统的视频格式提供不充分的净空高度(headroom)和准确性来传达新的HDR图像中包含的丰富信息。
[0005]结果，存在对于新方法的增长的需求，这些方法允许消费者完全地受益于最新技术的(和未来的)传感器和显示系统的能力。优选地，这样的附加信息的表示是向后兼容的，使得旧式装备仍然可以接收普通的视频流，而新的支持HDR的设备可以充分利用新格式传达的附加信息。因此，希望的是，编码的视频数据不仅表示HDR图像，而且允许编码可以在常规装备上显示的相应传统低动态范围(LDR)图像。
[0006]最直接的方法将是彼此独立地压缩和存储LDR和HDR流(同时联播)。然而，这将导致高数据率。
[0007]因此，引入动态范围增加的视频和图像的关键问题是如何有效地编码、表示、存储和分发关联的信息。特别地，希望的是维持向后兼容性。数据率和处理复杂度方面的效率也是有重大意义的。当然，另一个关键问题是得到的图像质量。
[0008]因此，一种改进的用于表示动态范围增加的图像的方法将是有利的。

【发明内容】

[0009]相应地，本发明寻求优选地单独地或者以任意组合地缓解、减轻或者消除上述缺点中的一个或多个。
[0010]依照本发明的一个方面，提供了一种生成图像编码信号的方法，该信号包括[对于每个图像时刻(在对视频序列编码的情况下)，并且可以存在诸如摄像机角度、焦点堆号等等之类的另外的图像枚举变量]具有照度分量和至少一个颜色分量的第一像素化图片编码和第二像素化图片编码；该方法包括:将用于编码的第一图像的图像编码数据包含在第一像素化图片中；以及将动态范围扩展数据包含在第二像素化图片的所述至少一个颜色分量(例如作为二维例如8比特数据字集合的色度Cr，其通过诸如例如锯齿形扫描之类的几何分配或者像素集合到数据字的更复杂的映射与像素位置相应，我们也将在本文的其余部分中使用类似的措词彩度)中，动态范围扩展数据包括表示如何通过动态范围扩展变换将编码的第一图像变换成诸如例如原始捕获场景的HDR图像(的近似)之类的动态范围增加的图像的数据。即，对于像素或者区块而言(例如，可以在像DCT或者纹理表示那样的数学变换空间中应用该变换)，存在通过变换(其可以预先固定，例如按图像选自有限的变换集合，或者作为用于每个区块的特定变换而提供，等等)使高动态范围图像与低动态范围图像有关的方式，并且利用该变换与称为补偿数据的例如用于细调或者优化该变换等等(预先假定的变换的任何修改都可以)的另外的特定数据(至少一个数值)关联。为了简单起见，可以考虑例如利用例如作为缩放因子的可以对于图像的不同区块变化的变量的LDR像素照度值的线性缩放，但是当然可以编码更加复杂的变换，例如由多线性逼近的斜率表示的非线性函数。
[0011]我们想要强调，由于本发明的具体细节，存在若干不应当混淆的术语。首先，存在例如由摄像机捕获或者由计算机图形学装置计算的要表示的原始场景。我们将术语“图像”用于场景的某种实际表示，作为一个问题来说(as a matter of speaking),其“物理”表示。可以存在各种不同的表示相同场景(例如视频序列中的片刻时间)的方式，例如，可以利用两个对于场景具有不同视角的摄像机对其成像(在这种情况下，可以获得例如左右视图，即对场景属性的几何编码中的差异进行编码的图像)，或者所述两个视图可以具有如摄像机所看见的场景对象表面纹理属性的的不同表示或者换言之，光如何与对象交互的不同表示(这可能导致具有不同的表示准确性、不同的颜色空间或者由相同的所捕获的原始图像的甚至可能的不同分级(grading)引起的特定希望的外观等等的图像)。我们将这与术语“图片”形成对照，图片被保留用于任何这样的图片的数学表征，作为一个问题来说，占位符。我们想要强调，我们正在谈论这样的图像信号(作为需要被编码以便允许解码的东西的全体(即例如包括像帧率那样的元数据)的信号，或者作为特定照度或亮度(luma)码字与来自显示器的哪个实际要再现的照度相应的规定的信号)，其中存在至少两幅一起共同编码至IJ该信号中的图像或“视图”(例如，对于视频而言，在相同的捕获时间可能存在用于场景的两个视图的两个图片占位符)，我们将此称为第一和第二图片编码。应当指出的是，技术人员会理解这样的编码可能看起来像什么，并且其不必一定为像MPEG标准的DCT —样的“压缩的”编码(虽然其典型地可能是这样)。例如，它可以是码字集合，一个8比特字编码二维图片中的每像素位置的照度，并且颜色字处于颜色分量中，等等。即，它可以是二维彩色图像的任何RAW编码，或者例如比如依照MPEG2或AVC或HEVC压缩标准的任何规定的基于DCT的编码。图像编码领域的视图通常被解释为与摄像机或者摄像机角度有关，然而，也可以将视图解释为例如相同捕获的不同再现，例如不同的艺术分级或者色度变换。应当指出的是，我们将在其动词和名词意义二者中使用编码(例如，图像编码可以是该特定图像的JPEGDCT表示)，其差异对于阅读本文的具有图像编码技术人员的知识的任何人来说应当是非常清楚的。应当指出的是，使用图像的术语在需要像素位置时是有用的，因为那些位置典型地将是正常的采样像素位置，而图片也可以具有像素位置，但是其可能经由例如DCT基函数而与图像中的各个不同的其他像素位置相应。只要对于图像的至少一些像素，可以基于图片中的字导出变换，例如误差补偿值，那么就可以应用所述方法。当然，例如当在稀疏编码的情况下插值方案用来创建最终值时，这通过定义确切地在图片编码中何处写入什么而总是可能的(光照效果不必非常精确，因为图像处理可以使用对象对齐结构，比如对象属性调整的非线性自适应过滤器)。
[0012]现在，令人惊奇的事情在于，由于我们具有两个视图，或者更精确地说，可用于编码两个视图的占位符，因而我们不必一定要以相同的方式对其编码。第一图像/图片可以用经典方法编码，例如如在LDR图像编码中通常进行的标准摄像机捕获的MPEG2 8比特编码。然而，如果第二图片为例如相同捕获几何结构(尤其是具有更高的照度动态范围)的不同色度表示或者可替换地为第二几何视图，那么可以想象，对于第二图像/视图不再需要图像对象颜色的编码，因为它已经充分地存在于第一图片编码中(由于色度是大体与照度无关的对象属性，因而对于3D左/右编码而言，可以理解，可以使用协同定位算法将来自左视图对象的颜色映射到仅仅通过其照度分量定义和编码的右视图对象)。这典型地剩下第二图片编码的两个色度图片分量免于被重新使用，即对于编码数据而言，其可以用来使LDR图片与捕获的场景的HDR图片有关。
[0013]特别地，可以不放入“完整变换数据”，诸如例如局部地应用的伽玛函数拉伸，而是替换地将“补偿数据”置于这样的颜色分量中，例如在例如通过使用被编码为每图像时刻的元数据的单个固定伽玛从第一图片到更高动态范围图像预测的第一近似映射之后与要不同地编码的原始HDR图像相比较的剩余的误差。这具有以下优点，仅当原始近似被认为不够准确(由于例如条带的原因)时，可以局部地将一些补偿数据添加到(多个)颜色分量中，这意味着只需花费很少的附加比特。
[0014]实施例允许以这样的哲理工作:HDR可以大体编码为看起来合理的8或10比特LDR分级(例如通过施加最佳伽玛函数或者其他像S形函数那样的色调映射)，并且然后可以将例如从LDR/第一图片编码预测不好的关键HDR效果编码到(多个)第二图片颜色分量中。我们称此为第二高动态范围预测图像和第二动态范围变换，以便在形式上将其与第一高动态范围预测图像和第一动态范围变换区别，其中动态范围变换至少部分地(并且经常完全)由第二图片编码的颜色分量中的编码确定，而在这些实施例中，它由例如像典型的LDR-HDR伽玛映射那样的预先固定的变换确定，并且于是利用补偿数据细调该第二预测HDR图像，这可以是加性“误差校正”或者另一种变换，例如在某些照度区块中与伽玛有偏差的色调映射。但是通常，HDR数据不必与HDR图片相同，或者甚至不必具有图片几何结构，因为它可以例如是用于要施加到第一图像的若干区块上的各种不同的多线性照度变换的分量集合。应当指出的是，动态范围变换主要需要沿着照度/亮度轴的变换(尤其是，无论代码是什么——即使以8比特字编码——也需要规定将在再现显示器上生成多明亮的颜色)，即一切将参照颜色空间的这样的明度(lightness)相关维度进行编码，并且尽管也可能涉及颜色修改(比如校正颜色空间非线性、考虑可显示色域的形状、利用光与饱和度的影响的折衷等等)，但是这不应当与像例如多基色或者更饱和基色那样的宽色技术混淆。
[0015]技术人员会理解如何以这样的双图片方式编码各种各样的HDR变体，即例如HDR和LDR分级二者可以从分级者获得，并且然后例如根据具有其自己特定的指令准贝U (由标准LDR分级监视器上的分级规定)的LDR信号在尽可能忠实的差分预测中编码HDR版本。或者可替换地，可能仅仅存在HDR图像，但是其依照本发明以根据LDR预测(predication-from-LDR)的方式编码。或者，于是对于要完全在图像或视频传输系统中进一步使用的这些HDR信号编码方法的任何实施例而言，可以借助于智能图像处理装置从单独可用的(例如旧式)LDR视频预测HDR版本。LDR或HDR图像以及相应的图片编码中的任何一个可以直接从摄像机获得，或者可替换地从图像处理软件获得，该图像处理软件例如包括像火球或者在窗口之外看见的风景那样的HDR图形效果。此外，这些图像中的任何一幅可能经历了一次或多次图像变换，例如，可以依照MPEG或JPEG模型压缩以及后来解压缩原始RAW LDR图像，以便不根据原始图像，而是根据在接收侧可重建的图像预测HDR。
[0016]当然，技术人员会理解，当例如通过计算单元从输入格式达到输出格式时可能涉及哪种中间操作，比如格式化、(解)封装、图像变换等等。
[0017]本发明可以提供一种改进的用于在许多系统中支持动态范围增加的图像的方法。该方法可以允许在第一较低动态范围表示和相应的较高动态范围图像二者中高效地表示图像。
[0018]尽管存在若干可以在数学上编码为图像的物理实体，例如运动矢量场或者深度图，但是在这些当前实施例的背后存在许多新颖而令人惊奇的考量。我们具有已经被预先调整为以特定的方式(即介质上的足够空间，元数据格式描述结构，该结构原则上将反向教导技术人员以非标准的方式重新使用它，除非满足若干严格的条件，例如【技术领域】中认识到的良好需求以及容易的修改，尤其是如果它是合理地向后兼容的，等等)使占位符图片在一起的信号，即针对若干有关视图图像(典型地为用于例如立体系统的几何视图)预先调整该系统。该原理起作用，因为一些数据可能不是必要的，即，即使第二亮度图像(即编码亮度分量的第二图片)可用，我们也可以将颜色分量重新用于与第二图片中的图像视图完全不同的、有关的或者甚至不与所述图像之一有关的、尤其是潜在地无关的或者仅仅略微有关但是几何上不与图像对象并置的某物。该新的含义然后将用新的元数据以信号发出，诸如例如允许一些较小能力的系统忽略所述数据的一些，并且允许较高能力的系统以特定的方式使用它。特别地，编码的动态范围扩展数据可能与仅仅编码图像的真实纹理的部分的实际像素值关系不大，但是它们可能具有取决于使用的实际LDR至HDR数学运算的数学含义。更为有趣的是，一个考虑是，未来人们可能不仅仅想要具有经由LDR的HDR编码(尤其是允许具有旧式显示器或者较低质量显示器的系统使用LDR第一图像，而不是必须进行图像处理以便根据仅仅HDR编码的图像导出其最佳的LDR图像)，但是对于消费者而言，像高质量蓝光盘那样的高质量视频可能需要提供3D和HDR能力二者。更加令人惊奇的是，所述实施例也考虑到这点，因为图片占位符可以以这样的方式使用，使得系统部分地按照其所期望的表现((多个)第二图片的Y分量承载(多个)3D右视图)，而颜色分量承载完全不同的东西，与像在实例3D中那样的任何单一编码技术无关。
[0019]本发明可以允许改进的向后兼容性。特别地，在第二图片中提供动态范围扩展数据允许重新使用许多多图片编码方法。例如，(几何)多视图编码方法和标准可以在较大程度上经常被重新使用。此外，可以减少对现有方法和标准的修正和改变，同时仍然允许实现高质量动态范围扩展图像。此外，存在这样的令人感兴趣的属性:对于几何多视图编码而言，需要仅仅不同照度的图片，并且那些图片可以基于仅仅一幅彩色图片的详述(例如通过移位映射)而被(重新)着色，即可以既存储立体编码，又使用提供高数据容量的可用第二图片颜色分量以便同时编码良好质量的HDR信息。[注意:我们将几何视图与相同场景的一般视图相区别，因为前者典型地包括变化的角度或者在与场景平行的线上的摄像机位置或者尺度或者离焦等等，而后者包括诸如灰度值或颜色的变换之类的属性以表示场景(例如使得场景看起来更加模糊)]
与高动态范围图像的直接编码或者第一编码的图像和高动态范围图像之间的差异的直接编码相比，所述方法可以进一步提供例如大大降低的数据率。
[0020]动态范围扩展变换可以是可以施加到第一图像以生成具有增加的动态范围的图像的任何操作、函数和/或算法。例如，可以施加简单的伽玛变换，其已经给出良好的第一近似，至少给出HDR外观(例如，可以这样选择伽玛，使得它大体保留较低照度对象颜色的照度，并且增强亮点)。补偿数据可以提供要应用到动态范围扩展变换的结果(或者相反的情况，输入)的补偿的指示，并且特别地可以是添加到由变换得到的图像样本(或者添加到输入至变换的图像样本)的加性补偿值。除别的以外，这允许实现HDR外观的高程度的可调性，对于诸如例如比如通过互联网、电缆专用通道或者移动体的低带宽输送之类的应用感兴趣。但是，也可以使用该原理直接将内容制作现场的变换共同编码为补偿数据(例如，将由颜色分级者定义的增强给出更加突出的外观的几个区块的变换或者甚至例如第一改进变换的进一步修改与旧电影的原始LDR编码一起存储，所述第一变换可以用作用于非常高质量的显示的最佳再现，并且与其偏离的第二变换可以用作用于中间动态范围显示的引导变换)。
[0021]特别地，第一图像可以是低动态范围(LDR)图像并且第二图像可以是高动态范围(HDR)图像。
[0022]所述方法可以例如允许高效地传送关联的LDR和HDR信息，同时允许如所希望的优化各图像。例如，可以对LDR和HDR图像中的一个或者二者进行人工颜色分级以提供希望的(艺术)图像。可以单独地对LDR和HDR图像进行颜色分级以提供希望的效果，同时允许在图像编码信号中有效地表示该单独的颜色分级。
[0023]所述补偿可以是或者可以包括用于动态范围扩展变换的预先补偿。该预先补偿可以与施加动态范围扩展变换之前编码的第一图像的补偿相应。
[0024]动态范围增加的图像典型地可以在照度方向上具有比编码的第一图像更大的色域。
[0025]第一和第二像素化图片可以与多视图图像表示兼容。
[0026]依照本发明的一个可选的特征，所述方法进一步包括将动态范围扩展数据包含在第二像素化图片的照度分量中的步骤，该动态范围扩展数据例如包括表示动态范围扩展变换的数据，或者可用作动态范围扩展变换的参数化等等。即，如果无需3D表示，那么可以将这两个分量(照度和至少一幅色度图片)用于进行LDR-HDR变换，例如，照度图片可以包含局部近似映射，比如例如增强，并且色度可以提供用于细调该映射的另外的校正图片。单独地存储映射是有利的，因为它可以包括关于捕获的场景的两种(LDR与HDR)表示如何彼此有关的非常令人感兴趣的信息——具体而言，是否存在潜在的针对特定表示能力规定艺术家希望的外观的最佳颜色分级——哪些变换信息可以用于(没有校正数据或者与校正数据一起)映射到不同的中间表示(例如用于最大照度降低的HDR显示器)。它允许通过例如基本上根据第二图片的照度分量中的数据定义新的函数变换而实现非常通用的分解，所述变换可能甚至不是以下内容的准确规定:可以如何根据LDR图像导出高质量HDR图像(而是相反地，它可以例如粗略地表示指示某种HDR效果的潜在应用的局部变换，该局部变换然后可以通过显示器本身最终地被选择或确定)并且然后通过一个或多个颜色分量中的校正数据形成准确的HDR图像。
[0027]这可以改进变换的变型和灵活性，和/或可以提供改进的动态范围增加的图像。表示动态范围扩展变换的数据可以例如定义变换的参数，例如用于变换的权重(或者可以施加具有局部权重的两个变换)、用于功率变换的伽玛值，等等。
[0028]该方法可以例如通过人工颜色分级者例如允许编码的第一图像(例如LDR图像)和动态范围增加的图像(例如原始HDR图像或者其任何近似或导出)的单独的优化中的进一步的自由度。
[0029]依照本发明的一个可选的特征，动态范围扩展补偿数据包括用于第一图像，即例如用于第一图像中的像素位置的像素误差校正值。
[0030]这样的误差字段允许在希望的函数变换部分和校正部分上实现更好的分布，这例如鉴于最终再现环境的设想的光谱(尤其是在这些环境具有其自身的图像颜色变换能力的各种不同的变体的情况下)或者在可以预期(多个)图像信号的另外的分级或修改时作为中间物等等而可能是有用的。典型地，如果设想特定像素照度靶值用于所述(至少一幅)HDR图像，那么误差校正值是补偿值的特定变体(其通常可以是能够修改设想的照度变换的任何东西)。当然，补偿值可以是多种形式的，允许变换到场景对象的照度范围的若干区块。
[0031]依照本发明的一个可选的特征，像素误差校正值指示动态范围增加的图像的图像像素值与相应的输入的高动态范围图像的图像像素值之间的加权差。
[0032]这在许多情景中可以允许在复杂性、准确性和灵活性之间实现非常有利的折衷。在一些情景中，编码的第一图像可以根据输入的高动态范围图像(即例如由来自高质量摄像机的数据和计算机效果组成的数字主图像)生成。动态范围增加的图像可以是对于输入的高动态范围图像或输入的较低动态范围图像或者二者等等的预测。
[0033]例如，可以接收HDR图像并且将其转换成LDR图像(人工地、半自动地或者自动地)。可以将动态范围扩展变换施加到LDR图像以便对于输入的HDR图像生成预测的HDR图像。然后，可以确定输入的HDR图像与预测的HDR图像之间的差异。在一些情景中，这些误差值可以同等地被加权(例如被缩放)，但是在其他实施例中，可以将不同的权重(例如缩放因子)施加到不同的误差值。应当指出的是，可以应用各种不同的误差度量以便测量各种不同的误差效应，例如亮光在值上可能与原始捕获不同，但是在其具有在乘法因子乘以平均环绕照度以上的平均像素照度值的情况下仍然被评定为良好表示。
[0034]依照本发明的一个可选的特征，所述方法进一步包括响应于动态范围增加的图像和相应的输入的高动态范围图像的比较而生成动态范围扩展补偿数据。
[0035]在许多情景中，这可以允许在复杂性、准确性和灵活性之间实现非常有利的折衷。编码的第一图像可以根据输入的高动态范围图像生成。动态范围增加的图像可以是对于输入的高动态范围图像的预测或者近似。
[0036]例如，可以接收HDR图像并且将其转换成LDR图像(人工地、半自动地或者自动地)。可以将动态范围扩展变换施加到LDR图像以便对于输入的HDR图像生成预测的HDR图像。然后，可以确定输入的HDR图像与预测的HDR图像之间的差异。
[0037]依照本发明的一个可选的特征，动态范围扩展补偿数据包括颜色饱和度补偿数据。
[0038]已知的是，由于经典LDR显示器(以及尤其是驱动它们所用的视图或者换言之其中在与颜色通道的最大和最小驱动相应的黑色与白色之间的范围上表示颜色的视图)具有尖色域，因而在较高的照度与较高的饱和度之间存在折衷关系。较高动态范围显示器具有选择这些(例如形成明亮饱和蓝色)的增大的自由度，因此可能有利的是也在彩色方向上进一步规定用于至少一种或若干种设想的显示器或者显示策略的校正函数。
[0039]第一颜色分量(例如Cr)可以包括照度补偿数据并且第二颜色分量(Cb)包括颜色补偿数据。
[0040]在许多实施例和情景中，在所述(至少)两个颜色分量中智能地分配数据可以提供特别有利的性能。特别地，它可以允许对于最终的动态范围增加的图像的生成具有非常高程度的控制的系统。例如，第二视图的照度图片可以用于3D立体系统，第一颜色分量图片用于局部细调局部LDR至HDR变换，并且第二颜色分量可以包括用于至少一些像素(可能地被子采样)的加性补偿值。或者，如果代替存储第二几何视图的第二图片的照度分量已经包含用于获得合理的HDR变换/外观的良好质量数据，那么这两个彩色图片可以例如包含用于例如根据可利用照度分量确定的变换获得的外观创建若干导出的HDR外观的若干细调或偏差策略。可以甚至依照混合方案混合两个分量中的表示，例如像素位置中的可用码字中的系数的特定子采样，或者与分量编码相应的图像的空间子部分中的几何子分配，等等。
[0041]依照本发明的一个可选的特征，第一编码的图像为场景的第一视图图像，并且所述方法进一步包括:将用于编码的第二图像的图像编码数据包含在第二像素化图片中，该编码的第二图像是用于该场景的第二视图图像。
[0042]这在许多实施例中可能是特别有利的，并且特别地可以允许实现这样的功能，例如发送器，接收器以及被设计用于诸如3D信号之类的容易用于组合的LDR/HDR图像的分发的几何多视图信号的通信介质。
[0043]依照本发明的一个可选的特征，编码的第二 (例如3D多视图集合成员)图像和动态范围扩展补偿数据中的仅仅一个被包含在第二像素化图片中(例如至少在照度分量中)；并且所述方法进一步包括:在图像编码信号中包含第二像素化图片是包括编码的第二图像还是包含动态范围扩展补偿数据的指示(例如预定义的码字)。虽然典型地将对于整个电影或者视频节目标记该选择，但是通过允许该指示随时间变化，可以例如每场景(集合)这样做，在这种情况下，可以形成例如仅仅对于某些部分具有3D (或者对于某些部分具有较高质量3D——可以设想这样的新闻节目，其中报道是高质量的3D，但是中间的新闻播音员的谈话在电视中经过2D至3D转换)并且因此具有更多的可用于HDR或者2D部分中的其他属性的数据空间的节目。
[0044]这可以允许促进用于多视图图像以及较高动态范围图像的功能的互操作性。它可以允许例如分发介质容易地用于一个或者另一个(或者可能地二者)，同时允许容易地确定信宿(sink)端/接收端处的适当处理。
[0045]依照本发明的一个可选的特征，将用于编码的第二图像的图像编码数据包含在第二像素化图片的照度分量中，并且将动态范围扩展补偿数据包含在第二像素化图片的颜色分量中。
[0046]这可以允许在相同的图像信号中高效地表示多视图图像和高动态范围图像二者。在一些情景中，编码的第二图像的数据可以只是照度数据。
[0047]在一些情景中，将用于编码的第二图像的图像编码数据包含在第二像素化图片的颜色分量中，并且将动态范围扩展补偿数据包含在第二像素化图片的另一个颜色分量中或者可能地包含在其照度分量中。
[0048]依照本发明的一个可选的特征，所述方法进一步包括:将另外的动态范围扩展补偿数据包含在第二像素化图片的另外的颜色分量中，该另外的动态范围扩展补偿数据包括表示用于动态范围增加的图像的第二补偿的数据。
[0049]这可以允许实现动态范围增加的图像的优化/适应性调节中的进一步的灵活性。该方法可以例如允许可替换的补偿，或者可以例如允许所述另外的颜色分量提供更加准确的补偿数据，然而该补偿数据是可选的并且因此仅仅由更加强大的接收器使用(可以考虑允许较高准确性的显示器，具有更加强大的图像处理计算引擎，这些引擎可以每秒进行更多的操作，或者具有不同的图像处理功能，比如可编程图元，等等)。
[0050]依照本发明的一个可选的特征，动态范围扩展补偿数据包括用于在动态范围扩展变换之前应用到编码的第一图像的预先补偿数据。
[0051]在许多实施例和情景中，这可以提供特别有利的性能/操作。
[0052]依照本发明的一个方面，提供了一种用于生成图像编码信号的装置，该图像编码信号对于每幅图像包括具有照度分量和颜色分量的第一像素化图片和第二像素化图片；该装置包括:第一图片处理器，其用于将用于编码的第一图像的图像编码数据包含在第一像素化图片中；以及第二图片处理器，其用于将诸如例如动态范围补偿数据或者任何动态范围修改函数数据之类的动态范围扩展数据包含在第二像素化图片的所述颜色分量中。
[0053]依照本发明的一个方面，提供了一种生成动态范围增加的图像的方法，该方法包括:接收图像编码信号，该图像编码信号对于每幅图像包括具有照度分量和颜色分量的第一像素化图片和第二像素化图片，该图像编码信号包括第一像素化图片中的用于编码的第一图像的图像编码数据以及第二像素化图片的颜色分量中的动态范围扩展数据，动态范围扩展数据；根据用于编码的第一图像的图像编码数据生成第一图像；将动态范围扩展变换施加到第一图像以生成变换的动态范围增加的图像。
[0054]例如，典型地该方法可以包括步骤:
-根据用于编码的第一图像的图像编码数据生成第一图像；
-确定动态范围扩展变换并且将动态范围扩展变换施加到第一图像以生成动态范围增加的图像；以及
-基于表示用于生成的动态范围增加的图像的补偿的数据生成动态范围增强的图像。
[0055]即，该方法于是为迭代类型。所述确定动态范围扩展变换可以像选择用于所有HDR图像的固定变换(例如纯粹的缩放)那样简单，或者涉及每像素区块的参数组成。从那里修改的第二步骤可以例如构建第二变换。补偿通过在施加无论什么样的第一动态范围扩展变换之前将这样的校正图像(例如子采样并且然后上转换)施加到任一输入的(LDR)图像而可以是简单的加法或乘法类型，或者它可以是校正后的，但是也可以涉及变换本身的修改或者规定。例如，可以设想对于一些区块施加缺省变换的逆变换(T—1)并且然后施加基于至少一些补偿数据确定的修改的、局部更加适当的变换(T2X当然,可以实施在单遍中这样做的一些策略(即例如作为缺省变换策略的覆盖，其用于根据补偿数据确定适当的变换并且代替它)。
[0056][因此，我们通过以下措词区别两幅高动态范围图像(典型地可基于低动态范围图像而获得)，即可以被看作“粗糙变体” HDR图像的动态范围增加的图像，与依照当前描述的发明实施例的、称为 动态范围增强的图像的质量或者可用性等更好的最终HDR图像。在颜色分量仅仅包含单一 DR变换而没有进一步的补偿的情况下，当然所述预测将是最终编码的HDR图像]
依照本发明的一个方面，提供了一种用于生成动态范围增加的图像的装置，该装置包括:接收器，其用于接收图像编码信号，该图像编码信号对于每幅图像包括具有照度分量和颜色分量的第一像素化图片和第二像素化图片，该图像编码信号包括第一像素化图片中的用于编码的第一图像的图像编码数据以及第二像素化图片的颜色分量中的动态范围扩展数据；解码器，其用于根据用于第一图像的图像编码数据生成第一图像；以及变换单元520，其被布置成将基于动态范围扩展数据形成的总动态范围扩展变换施加到第一图像以生成动态范围增强的图像。
[0057]在许多实施例或者实际实现中，将构建变换单元520，其包括用于将第一(典型地粗糙的，例如缺省选自有限的变换集合的)动态范围扩展变换施加到第一图像以生成变换的动态范围增加的图像的变换器507，并且包括补偿器509，该补偿器用于通过对该动态范围增加的图像应用另外的校正策略，例如应用加性误差校正图片，以获得最终希望的动态范围增强的图像HDR而生成动态范围增强的图像(这是通过将总动态范围扩展变换实现为分解的初等变换集合而实现它的方式之一)。技术人员会认识到，可以如何对此重新实施以便在由变换器507施加变换之前将例如预先补偿应用到LDR图像(通过预先补偿单元)，或者在变换器中加载其他变换策略，不管该变换器被实现为单个的还是多个的单元、硬件或软件等等。
[0058]依照本发明的一个方面，提供了一种生成图像编码信号的方法，该图像编码信号对于每幅图像包括具有照度分量的第一像素化图片和第二像素化图片；该方法包括:将用于编码的第一图像的图像编码数据包含在第一像素化图片中；以及将动态范围扩展数据包含在第二像素化图片的照度分量中，该动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据。
[0059]本发明可以提供一种改进的用于在许多系统中支持动态范围增加的图像的方法。该方法可以允许闻效地表不图像和相应的较闻动态范围图像二者。[0060]本发明可以允许改进的向后兼容性。特别地，在第二图片中提供动态范围扩展数据允许重新使用许多多图片编码方法。例如，(几何)多视图编码方法和标准经常可以在较大的程度上被重新使用。此外，可以减少对现有方法和标准的修正和改变，同时仍然允许实现高质量动态范围扩展图像。
[0061]与高动态范围图像的直接编码或者第一图像和高动态范围图像之间的差异的直接编码相比，所述方法可以进一步提供例如大大降低的数据率。
[0062]动态范围扩展变换可以是可以施加到第一图像以生成具有增加的动态范围的图像的任何操作、函数和/或算法。例如，可以施加简单的伽玛变换。
[0063]所述变换提供了一种用于在无需传送用于高动态范围图像的详细信息的情况下增加动态范围的高效方法。因此，动态范围扩展变换的使用允许高效地扩展动态范围而无需传送精确地描述该扩展的详细数据(只需包含与必要的或者所希望的一样多的HDR图像对象改进)。
[0064]特别地，第一图像可以是低动态范围(LDR)图像并且第二图像可以是高动态范围(HDR)图像。
[0065]该方法可以例如允许高效地传送关联的LDR和HDR信息，同时允许如所希望的优化各图像。例如，可以对LDR和HDR图像中的一个或者二者进行人工颜色分级以提供希望的(艺术)图像。可以对LDR和HDR图像进行单独的颜色分级以提供希望的效果，同时允许在图像编码信号中有效地表示该单独的颜色分级。
[0066]动态范围增加的图像可以在照度方向上具有比编码的第一图像更大的色域。
[0067]第一和第二像素化图片可以与多视图图像表示兼容。
[0068]依照本发明的一个可选的特征，动态范围扩展数据包括用于编码的第一图像的至少一个颜色分量的缩放因子。
[0069]这可以提供一种用于增加动态范围的低复杂性然而高效的变换。
[0070]在一些实施例中，动态范围扩展数据可以包括用于编码的第一图像的至少一个照度分量的缩放因子。
[0071]依照本发明的一个可选的特征，缩放因子包括对于图像的至少一个像素导致减小的动态范围的值。
[0072]本发明可以允许动态范围增加的图像的灵活的优化/适应性调节。特别地，该方法可以允许扩展一些区域的照度或视亮度，但是可能地可以调暗或者减弱其他区域。
[0073]依照本发明的一个可选的特征，第一编码的图像为场景的第一视图图像，并且所述方法进一步包括:将用于编码的第二图像的图像编码数据包含在第二像素化图片中，该编码的第二图像是用于该场景的第二视图图像。
[0074]这在许多实施例中可能是特别有利的，并且特别地可以允许实现这样的功能，例如发送器，接收器以及被设计用于诸如3D信号之类的容易用于组合的LDR/HDR图像的分发的多视图信号的通信介质。
[0075]依照本发明的一个可选的特征，所述方法进一步包括:将另外的动态范围扩展数据包含在第二像素化图片的分量中，该另外的动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的另外的动态范围扩展变换的数据。
[0076]这可以允许实现动态范围增加的图像的优化/适应性调节中的进一步的灵活性。该方法可以例如允许可替换的补偿，或者可以例如允许所述另外的颜色分量提供更加准确的补偿数据，然而该补偿数据是可选的并且因此仅仅由更加强大的设备使用。
[0077]依照本发明的一个方面，提供了一种用于生成图像编码信号的装置，该图像编码信号对于每幅图像包括具有照度分量的第一像素化图片和第二像素化图片；该装置包括:第一图片处理器，其用于将用于编码的第一图像的图像编码数据包含在第一像素化图片中；以及第二图片处理器，其用于将动态范围扩展数据包含在第二像素化图片的照度分量中，该动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据。
[0078]依照本发明的一个方面，提供了一种生成动态范围增加的图像的方法，该方法包括:接收图像编码信号，该图像编码信号对于每幅图像包括具有照度分量的第一像素化图片和第二像素化图片，该图像编码信号包括第一像素化图片中的用于编码的第一图像的图像编码数据以及第二像素化图片的照度分量中的动态范围扩展数据，该动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据；根据用于编码的第一图像的图像编码数据生成第一图像；将动态范围扩展变换施加到第一图像以生成变换的动态范围增加的图像；以及响应于动态范围扩展数据而适应性调节动态范围扩展变换。
[0079]依照本发明的一个方面，提供了一种用于生成动态范围增加的图像的装置，该装置包括:接收器，其用于接收图像编码信号，该图像编码信号对于每幅图像包括具有照度分量的第一像素化图片和第二像素化图片，该图像编码信号包括第一像素化图片中的用于编码的第一图像的图像编码数据以及第二像素化图片的照度分量中的动态范围扩展数据，该动态范围扩展数据包括表示用于根据编码的第一图像生成动态范围增加的图像的动态范围扩展变换的数据；解码器，其用于根据用于编码的第一图像的图像编码数据生成第一图像；变换器，其用于将动态范围扩展变换施加到第一图像以生成变换的动态范围增加的图像；以及调节器，其用于响应于动态范围扩展数据而适应性调节动态范围扩展变换。
[0080]本发明的这些和其他方面、特征和优点根据以下描述的(多个)实施例将是清楚明白的，并且将参照所述(多个)实施例进行阐述。
【专利附图】

【附图说明】
[0081 ] 本发明的实施例仅仅通过实例的方式参照附图进行描述，在附图中 图1为用于视听内容的分发路径的图示；
图2图示出依照本发明一些实施例的图像编码器的元件的一个实例；
图3图示出HDR图像的照度值与LDR图像的照度值之间的一种可能的变换；
图4图示出依照本发明一些实施例的图像编码器的元件的一个实例；
图5图示出依照本发明一些实施例的图像解码器的元件的一个实例；
图6图示出依照本发明一些实施例的动态范围扩展数据的元素的一个实例；
图7图示出依照本发明一些实施例的用于AVC流的访问单元的一个实例；
图8和图9图示出依照现有技术的用于传送立体图像的格式的一个实例；
图10和图11图示出依照本发明一些实施例的用于传送LDR和HDR图像的结构的一个实例； 图12图不出用于生成视听内容的系统的一个实例；
图13图不出用于处理视听内容的系统的一个实例；以及 图14图示出子采样配置中几个HDR变换模型数据参数的可能的编码。
【具体实施方式】
[0082]图1图示出视听分发路径的一个实例。在该实例中，内容提供商装置101生成用于诸如例如电影、电视节目等等之类的视听内容项的视听内容信号。特别地，内容提供商装置101可以依照适当的编码格式和颜色表示对视听内容编码。特别地，内容提供商装置101可以依照诸如例如YCrCb之类的适当表示编码视听内容项的视频序列的图像。内容提供商装置101可以存在于创建或者广播该内容的制作或分发工作室的现场。
[0083]视听内容信号可以经由分发路径105分发至内容处理设备103。内容处理设备103可以例如为与内容项的特定消费者居住的机顶盒(该机顶盒可以具有显著的存储和计算资源，例如能够施加各种不同的简单和/或高级图像处理变换)。
[0084]视听内容被编码并且从内容提供商装置101通过介质、因特网或者广播分发，所述介质可以例如包括封装的介质(DVD或BD等等)。然后，它到达内容处理设备103形式的源设备，该设备包括用于解码和回放该内容的功能。
[0085]应当意识到，分发路径105可以是任何分发路径并且经由任何介质或者使用任何适当的通信标准。此外，分发路径无需是实时的，而是可以包括永久的或者临时的存储装置。例如，分发路径可以包括因特网、卫星或地面广播等等，诸如DVD或蓝光盘或者记忆卡之类的物理分布介质上的存储，等等。同样地，内容处理设备103可以是诸如蓝光播放器、卫星或地面电视接收器等等之类的任何适当的设备。
[0086]内容处理设备103经由通信路径109耦合到显示器107。内容处理设备103生成包括表示视听内容项的视听信号的显示信号。该显示信号特别地可以与视听内容信号相同。因此，该源设备将解码的内容流送至信宿设备，该信宿设备可以是电视或者将数字信号转换成物理表示的另一个设备。就所有的图示而言，它们仅仅示意性地用来以简单、可理解的方式阐明和教导发明构思，并且技术人员会认识到，利用当今先进的系统，可以将内容处理功能与显示设备集成，例如所有功能处于便携式HDR设备中，该便携式HDR设备例如是可以临时附接到例如墙壁的平板或者设备。类似地，这些功能可以通过家庭网络例如利用高质量显示器散布，该高质量显示器再现在夜间再现于卧室中的高分辨率大尺度HDR场景，在其上可以局部地叠加另外的信号(例如与朋友的视觉通信路径，其可以具有不同的HDR照度质量，例如动态范围或者分级灰度值范围分配等等)，但是也可以将这些信号中的一些重新传送至例如小的便携式显示器。
[0087]在一些实施例中，表示视听内容的图像的数据对于视听内容信号以及对于显示信号是相同的。在该实例中，显示器107可以包括用于图像处理的功能，包括例如生成具有增加的动态范围的图像。然而，应当意识到，在一些实施例中，内容处理设备103可以对该数据执行例如图像增强或者信号处理算法，并且特别地可以解码和重新编码(所处理的)视听信号。重新编码特别地可以是与用于视听内容信号的编码或表示格式不相同的编码或表示格式。例如，该显示器可能由于其固有的能力(可以借助于握手而使得机顶盒知道这点，并且从而将一般输入HDR信号变换成用于显示器或者用于临时存储器(其知道显示器仅仅具有某些能力)等等的特定HDR信号)而需要不同的HDR特征编码。
[0088]图1的系统被布置成提供高动态范围(HDR)视频信息。此外，为了提供例如改进的向后兼容性，它也提供允许呈现LDR图像的低动态范围(LDR)信息。特别地，该系统能够在单个信号(不管是视听内容信号还是显示信号)中传送/分发与LDR和HDR图像二者有关的信息，信号是一起可用于处理、传输等等的有关数据集合(例如并列的、交错的和/或共同编码的，等等……)。该方法基于使用这样的格式的图像编码信号(视听内容信号或者显示信号)，其中使用多幅图片编码视频信号的每幅图像或者每帧。这样的编码例如用于传送其中对于每个视图对图片编码的立体或者多视图图像。特别地，对于立体图像而言，图像编码信号包括用于视频序列的每帧或图像的左右图片。
[0089]图1的系统使用用于每幅图像的图片中的第一图片提供LDR图像。典型地，该LDR图像可以由内容提供商或者内容创作者通过自动的或者更典型地半自动的或人工的过程生成。例如，电影的内容提供商可以执行人工颜色分级或者到原始HDR视频序列的色调映射以生成相应的LDR视频序列。该方法允许分发改进的LDR图像，这些图像被优化以提供优选的视觉印象。尽管这种过程是复杂且耗时的，但是它典型地每内容项需要执行仅仅一次。例如，制作者可以在从要在蓝光盘或DVD上发布的电影格式转换电影时将原始胶片(例如数字母片(master))从较高动态范围转换成较低动态范围。
[0090]所述LDR图像可以依照任何编码格式和颜色表示编码到第一图片中，并且特别地可以使用具有一个照度分量和至少一个彩度分量的像素颜色表示进行编码(其中技术人员会理解变体，为了简单起见我们将利用经典电视(例如MPEG2)彩度信号和有关信号描述一些实施例)。在该实例中，对于图像编码信号的第一图片中的每个图元，第一图片提供了照度样本值以及一个或多个彩度样本值。特别地，所述系统可以具有一个照度和两个彩度分量，并且在许多实施例中可以有利地为YCrCb颜色表示。
[0091]图像编码信号进一步至少包括用于每图像/帧的第二图片(典型地，图像与视频序列的单个时刻相应)。然而，第二图`片并不仅仅包含诸如不同的几何视图图像之类的可替换图像，而是包含允许接收器生成与LDR图像相应的HDR图像的HDR数据。因此，第二图片包含指示可以如何根据第一图片的LDR图像生成HDR图像的动态范围扩展数据。
[0092]此外，该动态范围扩展数据以图片格式提供，并且因此与图片表示和结构兼容/一致(即，该数据相同，并且可以例如用来形成立体配对，只是这看起来将是奇怪的，但是通过以各种不同的相应物(典型地被共同编码)之一重新解释它，例如通过策略标识或说明一可能的HDR编码策略，它允许形成至少一幅HDR图像)。特别地，可以使用与第一图片相同的图片结构。因此，动态范围扩展数据可以基于像素来编码以适合像素化图片数据结构(只不过，这些像素值的含义将不同，并且该含义可以甚至与诸如用于预定类型的类型代码之类的小数据共同编码)。第二图片包括至少一个照度分量或者一个彩度分量。在下文中，描述将集中于其中第二图片包括一个照度分量和两个彩度分量的实例，并且特别地集中于其中第二图片采用YCrCb结构的实例。
[0093]因此，第二图片为像素化图片，其包括用于根据编码的第一图像(即第一图片中的LDR图像)生成动态范围增加的扩展图像的动态范围扩展数据。应当意识到，该扩展数据可能与第二图片的每个像素有关。第二图片无需包括用于每个像素的数据值。例如，一些像素可以使用无需传送的标称或缺省值，或者一些值可以用于多个像素(应当指出的是，HDR修改无需一定具有与编码图片内容/纹理的基础结构相同的高清晰度)。然而，典型地，第二图像将提供关于用于第一图像的每个像素的动态范围扩展的信息(即，这样的变换可以被导出，例如，如果对于给定像素没有包括明确的数据，那么这意味着该像素应当使用缺省值或者为另一个像素提供的值，或者甚至只是向LDR像素值施加像恒等变换那样的标准变换等等；应当指出的是，甚至可以将用于半全局变换的参数编码为像素值)。因此，虽然第二图片可能不一定包括用于每个像素的数据值，但是它仍然可以提供用于每个像素的信息，并且第二图片的结构特别地可以允许为每个像素定义(可能不同的)值。应当指出的是，尤其是对于低的子采样比率而言，插值策略可能是非常简单的(例如，如果必须重新照亮局部纹理图案，那么这可以通过使用用于一些LDR像素的重新照亮信息并且进一步依赖LDR图片中编码的LDR纹理而完成)。再者，对于逐渐变化的明度修改而言，如例如LED背光源的较低分辨率或者许多分级变换所证明的，甚至形成微小的空间误差都不是大问题。
[0094]在本文中，我们将区分术语图像和术语图片，图像是例如由摄像机捕获(或者在计算机图形环境中生成)的像素化对象的几何组成，图片是该图像的许多可能的编码尤其是分级之一(即，图像有点像图片家族的父亲，并且它可以例如为摄像机原始文件，而由此导出的第一图片可以是8比特线性编码，并且第二图片是伽玛为0.45的8比特非线性编码)。分级典型地为像素颜色的艺术变换(通过人类颜色分级者)，而编码倾向于纯粹是技术/数学的。
[0095]图片是可以编码正常地可观看/可再现的场景对象纹理捕获的占位符，但是如当前实施例中所看到的，它无需实际地包括这样的数据。如例如图14中所看到的，空间相邻字可以包括诸如例如伽玛系数和偏移量之类的用于局部地将LDR第一图像像素变换成HDR图像像素(依照例如14比特字中的数学运算)的参数。在此情景中可能存在仍然可见的某种图像结构，因为虽然例如伽玛系数可能看起来像例如暗灰度值，但是考虑到不同的局部要求的变换，它们典型地仍然遵循对象边界。在模型编号也沿着颜色分量从例如“伽玛亮化”变化到“线性增强”，变化到“S形曲线拟合”等等的情况下，当显示时颜色分量实际如何看起来像图像可能与原始场景的任何视图图像非常不同(因此术语“动态范围扩展数据”)。再者，例如，误差图片并不直接提供场景的视觉表示，而是仅仅提供两幅图片之间的视觉差异的表示(即，它最多示出潜在对象的粗略边缘，如果太简单化，预测在那里出错)。因此，误差图片与参考图像有关。图片本身可以不表示实际场景，但是可以在与具有若干像素的阵列/布置(诸如例如具有WxH像素的矩形阵列)相应的结构中提供视觉信息。因此，典型地向系统用信号发出在进行其HDR处理时如何对待这些奇怪的新编码。
[0096]该方法可以应用于从内容提供商装置101到内容处理设备103的分发链路105以及从内容处理设备103到显示器107的链路109中的任一个或者二者上。此外，该方法可以例如通过使用不同的颜色表示或者编码标准而不同地应用在这两个路径上。
[0097]该方法提供了这样的系统，其中较高动态范围信息可以与较低动态范围图像一起传送。因此，提供了可以由适当的装备直接使用的图像，同时提供了供适当的装备提供具有增加的动态范围的改进图像的附加信息。此外，这可以在维持低数据率并且使用需要对当前的标准和方法进行很少的修改的方法和结构的同时实现。
[0098]该方法特别适合于相应的低动态范围(LDR)图像和高动态范围(HDR)图像的组合分发。LDR图像被编码到第一图片中，而第二图片被编码为包含(至少部分地)描述可以如何将LDR图像扩展以提供HDR图像的扩展数据。系统因此可以提供优化的LDR图像，该图像例如已经从具有较高动态范围的原始电影源进行色调映射(典型地利用智能选择的S形曲线或者相似物，但是可以对其应用更特别的局部照度调整)。该LDR图像可以例如通过特定的色调映射生成。此外，动态范围扩展数据允许生成HDR图像，其可以有针对性地为HDR图像提供优化的性能(在理想情况下，从LDR图像生成的HDR图像具有与原始HDR捕获电影相似的外观，但是对于这样的外观，也可以特别地考虑到特定再现技术和观看环境而对HDR分级)。
[0099]因此可以动态和局部地改变LDR与HDR图像之间的直接关系，使得可以生成大大改进的HDR图像。事实上，在一定程度上，该方法允许LDR和HDR图像的个性化优化。例如，对于非常明亮的区域，第一关系可以用来根据LDR图像生成HDR图像，而在暗区域中，可以使用不同的关系。因此，HDR图像可以提供比使用相同的固定关系的情况改进的视觉印象。此外，内容提供商可以动态地、灵活地且可能地人工地确定和定义所需转化，以生成所希望的HDR图像。这些优点可以在不一定需要HDR图像的详细编码的情况下实现(不管是直接地还是相对于LDR图像不同地)。相反地，可以定义可以向LDR图像施加的变换的参数，从而允许局部地适应性调节该变换。可替换地或者附加地，可以提供对于该变换的补偿。该补偿数据可以定义应当如何修改变换的输出以生成希望的图像。因此，可以提供这样的动态范围扩展数据，其提供应当如何修改动态范围扩展变换和/或该变换的输入或输出以提供希望的图像的信息。特别地，可以独立地将该变换施加到LDR图像的每个像素，并且第二图片可以允许对于每个像素单独地应用动态范围扩展数据。
[0100]常规显示器典型地使用LDR表示。典型地，这样的LDR表示通过与规定的基色有关的三分量8比特表示提供。例如，RGB颜色表示可以通过尊敬地参考红色、绿色和蓝色基色的三个8比特样本提供。另一种表示使用一个亮度分量和两个彩度分量(例如YCrCb)。这些LDR表示与给定视亮度或亮度范围相应(典型地，预先假定这些表示预期用于具有例如20尼特(nit)的平均环绕等等的500尼特白色显示器，并且在捕获侧，它们与由摄影导演选择的捕获的和剪切的照度的范围相应)。
[0101]然而，越来越多的可以捕获更大动态范围的图像捕获设备被提供。例如，摄像机典型地提供12比特、14比特或者甚至16比特的范围。因此，与常规标准LDR 8比特摄像机相比较，HDR摄像机可以忠实地捕获从更明亮的白色到给定黑色的12比特、14比特(或者更高)(线性)。因此，HDR可以与越来越多的用于与LDR相应的数据样本的比特数相应，从而允许表示更高的动态范围。
[0102]HDR特别地允许呈现明亮得多的图像(或者图像区域)。事实上，HDR图像可以提供比相应LDR图像所能提供的白色明亮得多的白色。事实上，HDR图像可以允许实现LDR图像的至少四倍亮的白色。视亮度特别地可以相对于可以表示的最暗黑色测量，或者可以相对于给定灰度或黑色水平测量。
[0103]LDR图像特别地可以与诸如和特定基色集合和/或特定白点有关的固定比特分辨率之类的特定显示参数相应。例如，可以为给定RGB基色集合以及例如500Cd/m2的白点(SP规定色域内的颜色集合)提供8比特。HDR图像是包括应当超越这些限制再现的数据的图像。特别地，视亮度的亮可以是LDR白点亮的四倍以上(例如2000Cd/m2)或者更多。
[0104]高动态范围像素值具有这样的照度对比度范围(像素集合中的最亮的照度除以最暗的照度)，其比可以在NTSC和MPEG-2时代标准化的显示器(具有其典型的RGB基色和D65白色，对于最大驱动水平[255，255，255]，参考视亮度为例如500尼特或者以下)上忠实地显示的范围大(得多)。典型地，对于这样的参考显示器，8比特就足以以视觉上的小步长显示近似500尼特与近似0.5尼特之间(即具有对比度范围1000:1或者以下)的所有灰度值(尤其是在考虑像源噪声那样的其他典型因素的情况下)，而HDR图像以更高比特字，例如10比特编码(其也由具有更大的讲深(well depth)和DAC (例如14比特)的摄像机捕获)。特别地，HDR图像典型地包含场景白色以上的(亮图像对象的)许多像素值，特别地，若干像素比场景白色的2倍还亮。该场景白色典型地可以与NTSC或MPEG-2参考显示器的白色等同(并且在内容制作侧，可以在例如整个范围的良好照射的中间范围内定义场景白色、18%灰度和场景黑色)。
[0105]用于HDR图像的比特数M典型地可以大于或等于用于LDR图像的比特数N(N典型地可以为例如8或10比特(每颜色通道，如果使用了几个通道的话)，并且M可以例如为14或16)。可能需要进行变换/映射以便使像素适合较小的范围，例如压缩缩放。典型地，可能涉及非线性变换，例如，对数编码可以用N比特字编码比线性编码大得多的照度范围(像亮度那样)，即使从一个值到下一个值的照度差值步长于是不等距，但是对于人类视觉系统而言也不需要它们这样。
[0106]以下描述将集中于与立体图像表示兼容的像素化图片表示中的LDR和HDR图像信息的表示。特别地，将LDR图像编码到左图片中，并且将HDR扩展数据编码到右图像中，尤其是右图像的一个或多个颜色/彩度分量中。然而，应当意识到，这仅仅是为了清楚和简洁起见而提供的示例性描述，并且并不旨在指示所描述的图像的任何一般性的丧失。事实上，应当意识到，原理并不限于LDR和HDR图像，而是可以应用到寻求基于第一参考图像提供动态范围增加的扩展的任何系统。也应当意识到，对于左右图片的引用仅仅是为了简洁起见，并且并不预期编码与空间特性之间的特定相关。
[0107]图2图示出依照本发明一些实施例的编码器的一个实例。以下描述将集中于其中编码器位于内容提供商装置101处的实例，但是应当意识到，所描述的原理以及事实上图2的编码器也可以在例如内容处理设备103中提供。尽管我们更详细地叙述了用于例如全局或者几个局部预定义(例如在元数据中共同编码的)变换策略的编码补偿数据的令人感兴趣的实例，但是技术人员根据全部教导理解，可以如何也将其他的变换策略编码到颜色分量中。
[0108]在该实例中，编码器包括接收HDR输入图像的HDR输入201。HDR输入图像可以例如来源于使用例如每分量12或14比特(例如RGB或YCrCb或者数字电影编码等等)的HDR摄像机，或者可以例如是来自使用高动态范围赛璐珞电影和电视电影生成的主要电影版本的视频序列。作为另一个实例，输入图像可以是具有高动态范围和高比特表示的计算机生成为的HDR图像。
[0109]HDR输入201耦合到色调映射单元203，该色调映射单元继续以根据接收的HDR图像生成LDR图像。应当意识到，可以使用与HDR图像相应的LDR图像的任何适当的生成。在该实例中，可以例如使用半自动色调映射或分级，其中自动地生成初始LDR图像，随后是人工调节以便为LDR提供所希望的视觉印象。例如，操作者可以人工地修改单独的图像区域中的色调映射或颜色分级。例如，可以在与人脸等相应的图像区域中人工地优化LDR图像。可以生成LDR图像，使得它在旧式显示器上看起来是最佳的，或者依照像获得用于其他应用的特定场景描述那样的其他准则看起来是最佳的，并且使得它在旧式显示器上仍然看起来是合理的。
[0110]因此，编码器具有可用的原始的HDR图像和相应的LDR图像。然后，编码器继续以生成动态范围扩展数据，该数据描述可以如何根据LDR图像生成HDR图像。在该实例中，特别地这样确定动态范围扩展数据，使得得到的生成的HDR图像尽可能地类似于原始HDR图像(这可以基于像PSNR那样的纯数值准则或者人类视觉准则等等)。在其他实施例中，可以向HDR图像施加人工色调映射或者颜色分级。例如，可以通过人工过程向输入HDR图像提供修改，并且可以确定动态范围扩展数据，使得得到的生成的HDR图像尽可能地类似于该修改的HDR图像(这可以例如允许在显示侧进行调整，以便获得分级者在特定HDR外观中所预期的那样的密切相似)。
[0111]在图2的编码器中，色调映射单元203耦合到变换单元205，该变换单元接收LDR图像并且继续以施加动态范围扩展变换以便生成动态范围增加的图像(HDR_es)。动态范围增加的图像特别地为HDR图像并且具有比LDR图像更高的动态范围。特别地，它可以具有这样的白点，该白点至少是LDR图像的四倍亮。HDR图像可以用比LDR图像更多的数据比特来表示像素。例如，LDR图像可以每像素分量(例如RGB或YCrCb)使用8比特，而HDR_es图像可以每像素使用12、14或者甚至更多的比特。
[0112]作为一个特定的低复杂性实例，所述变换可以是指数或伽玛变换，其通过针对相应的LDR像素将幂应用到亮度值而生成HDR输出像素，例如
其中a为变换参数。
[0113]作为另一个实例，可以在LDR照`度与HDR照度之间提供分段线性关系，诸如例如图3中所图示的。在这样的实施例中，线性段之间的每个过渡点可以通过适当的参数指示。应当意识到，变换函数可以例如通过将参考适当的颜色表示的输入照度范围[0.05，I]依照相同的表示传递至大得多的范围而充分地增加动态范围。
[0114]作为又一个实例，可以将以下变换施加到图像中的位置i，j处的像素:
Yhde-^.YLDE+k2 (YLDE~e)
其中k、k2、e和b为适当的变换参数(并且可以被编码为图像(的部分)，即编码空间变化的参数，比如b(i，j)，其中i和j为空间像素位置；例如，可以在比幂修改器b更粗的尺度(例如50x50像素)上编码水平参数e)。
[0115]有用的可参数化变换的另一个实例为Yg^likQ，j)*YLDE+offset(i, j)] ~pow(i,j)，意味着需要三个分量图片，然而，可以针对分块的大区块固定例如幂pow(i，j)，并且仅仅将其编码为间歇性元数据。
[0116]当然，通过子采样，可以在仅仅一个分量图片中编码若干这样的局部函数。
[0117]图14给出了在仅仅一个分量(例如完全分辨率Y，但是它也可以是彩度分量)中对若干模型参数进行复杂编码的一个实例。
[0118]在该实例中，许多参数在(通过子采样的局部位置标号k和I表示的)3x3重复性方案上交错，每个参数具有例如8比特值。在对角位置上的是要应用到潜在的LDR像素的变换模型的参数值，并且在其他(菱形)位置(Diff_l，Diff_2，...)上的是通过添加到来自模型的HDR预测(predication)(在插值之后)获得HDR图片的差值字段。Mod_nr指示模型编号，例如在该区块中将使用伽玛模型。其他的对角位置可以用于伽玛函数的局部参数，例如，3，I像素值可以包含指数Gam_VAL。2，2位置可以包含沿着这种伽玛函数的值的平移GAM_SHFT (即，作为标号的LDR像素值确定伽玛函数上的某个x位置，并且这被偏移到新的X位置，从该新的X位置可以读取HDR值)。另一个模型编码到参数3，3中，即线性增强(boost_l)中。参数1，3包含权重因子Wght，例如以8比特精度编码的0与I之间的因子，第一预测(伽玛修改)和第二预测(线性增强)应当利用该权重因子进行平均(该加权可以指示例如空间相邻性或者从轻微到强烈的效果层级中的优选的外观等等)。下一个3x3像素集合(k+1，I)包含用于下一个HDR确定的类似参数。技术人员应当清楚，在这样的方式中可以如何以这样的可以对许多令人感兴趣的功能进行编码的方式共同规定若干编码，无论纯粹从最小信息的观点，还是从多功能性观点来看，从而允许有创造力的内容创造者共同编码在一定程度上可以由若干接收系统应用的许多HDR外观优化变换。例如，系统的用户可以选择在其遥控器上仅仅使用第一变换(具有完全的权重=1)，因为他偏好该效果/再现等等。可升级系统也可以在例如通过移动链路向便携式显示器传输之前丢弃该信息中的一些信息。
[0119]应当指出的是，代码也可以与特定增强相应，例如1=+20照度单位，2=+40，3=+100等等。变换数据可以对预先规定的变换进行校正、补足、覆盖等等。
[0120]在图2的实例中，变换不是固定的变换，而是相反地可以通过修改各个不同的参数进行调节的变换。例如，在前一实例中，应用的幂b可以对于每个像素或者像素集合而不同，并且可以被动态地修改。类似地，图3的传递函数的线性段之间的过渡点可以对于每个像素是不同的，并且可以被动态地修改。在该实例中，单个参数值可以应用于每个像素，所有过渡点都作为其函数而提供。例如，传递函数可以简单地用对于每个像素单独地设置的缩放因子进行缩放。作为另一个实例，用于该变换的变换参数a的值:
【权利要求】
1.一种生成图像信号的方法，该图像信号对捕获的物理场景的表示编码，该图像信号包括第一像素化图片编码和第二像素化图片编码，像素化图片编码具有作为N比特数目的码字集合的照度分量和颜色分量，与二维像素位置阵列相应；该方法包括: 利用照度和颜色码字将捕获的物理场景的第一图像编码到第一像素化图片编码中；以及代替用于相应像素位置的颜色值，将动态范围扩展数据编码到第二像素化图片编码的颜色分量中，该动态范围扩展数据包括表示基于第一像素化图片获得动态范围增加的图像的照度方向上的动态范围扩展变换的数据。
2.如权利要求1所述的生成图像信号的方法，其中将动态范围扩展数据包含在第二像素化图片编码的颜色分量中的步骤包括包含动态范围扩展补偿数据，该动态范围扩展补偿数据可用于通过第二动态范围扩展变换修改基于第一图片编码获得的第二动态范围增加的图像。
3.权利要求2的方法，进一步包括将动态范围扩展数据包含在第二像素化图片编码的照度分量中的步骤，该动态范围扩展数据包括表示第二动态范围扩展变换的数据。
4.权利要求2或3的方法，其中动态范围扩展补偿数据包括用于第一图像的像素位置的像素误差校正值。
5.权利要求4的方法，其中像素误差校正值指示第二动态范围增加的图像的图像像素值与相应的输入高动态范围图像的图像像素值之间的加权差。
6.权利要求2的方法，进一步包括响应于动态范围增加的图像与相应的输入高动态范围图像的比较而生成动态范围扩展补偿数据。
7.权利要求2的方法，其中动态范围扩展补偿数据包括颜色饱和度补偿数据。
8.权利要求2的方法，其中第一图像为场景的第一几何视图图像，并且该方法进一步包括:` 将用于第二图像的图像编码数据包含在第二像素化图片编码中，该第二图像为用于场景的第二几何视图图像。
9.权利要求8的方法，其中对于至少一些时刻，只有第二几何视图图像和动态范围扩展数据中的一个包含在第二像素化图片编码中；并且该方法进一步包括 在图像编码信号中包含第二像素化图片编码是包括第二几何视图图像还是包括动态范围补偿数据的指示。
10.权利要求8或9的方法，其中将用于编码的第二几何视图图像的图像编码数据包含在第二像素化图片编码的照度分量中，并且将动态范围补偿数据包含在第二像素化图片编码的颜色分量中。
11.权利要求1或2的方法，其中动态范围扩展变换包括应用预测函数。
12.权利要求1或2的方法，进一步包括将另外的动态范围扩展补偿数据包含在第二像素化图片编码的另外的颜色分量中，该另外的动态范围扩展补偿数据包括表示用于动态范围增加的图像的第二补偿的数据。
13.权利要求1的方法，其中动态范围扩展补偿数据包括用于在施加动态范围扩展变换之前应用到根据第一像素化图片编码解码的第一图像的预先补偿数据。
14.权利要求1或2的方法，其中图像编码信号与高清晰度多媒体接口和显示端口视频接口标准中的至少一个兼容。
15.一种用于生成图像编码信号的装置，该图像编码信号包括具有照度分量和颜色分量的第一像素化图片编码和第二像素化图片编码；该装置包括: 第一图片处理器(203，211)，其用于将用于第一图像的图像编码数据包含在第一像素化图片编码中；以及 第二图片处理器(205，207，209，211)，其用于将动态范围扩展数据包含在第二像素化图片的颜色分量中，该动态范围扩展数据包括表示第一图像的到动态范围增加的图像的照度方向上的变换的数据。
16.一种图像编码信号，包括具有照度分量和颜色分量的第一像素化图片编码和第二像素化图片编码；该图像编码信号包括: 第一像素化图片编码中的用于第一图像的图像编码数据；以及 第二像素化图片编码的颜色分量中的动态范围扩展数据，该动态范围扩展数据包括在照度方向上将第一图像变换成动态范围增加的图像的数据。
17.—种生成动态范围增加的图像的方法，该方法包括: 接收图像编码信号，该图像编码信号包括具有照度分量和颜色分量的第一像素化图片编码和第二像素化图片编码，该图像编码信号包括:第一像素化图片编码中的用于第一图像的图像编码数据以及第二像素化图片编码的颜色分量中的动态范围扩展数据，该动态范围扩展数据对照度方向上第一图像到动态范围增加的图像的变换编码；该方法包括: -根据编码到第一像素化图片编码中的第一图像的图像编码数据生成第一图像； -基于动态范围扩展数据确定动态范围扩展变换过程，并且将该动态范围扩展变换过程施加到第一图像以生成动态范围增强的图像。
18.一种用于生成动态范围增加的图像(HDR)的装置，该装置包括: 接收器(501)，其用于接收图像编码信号，该图像编码信号包括具有照度分量和颜色分量的第一像素化图片编码和第二像素化图片编码，该图像编码信号包括第一像素化图片编码中的用于第一图像的图像编码数据以及第二像素化图片编码的颜色分量中的动态范围扩展数据，该动态范围扩展数据包括表示第一图像的到动态范围增加的图像的照度方向上的变换的数据； 解码器(503)，其用于根据第一像素化图片编码中的用于第一图像的图像编码数据生成第一图像(LDR);以及 变换单元(520)，其用于将基于动态范围扩展数据形成的动态范围扩展变换施加到第一图像以生成动态范围增加的图像。
【文档编号】H04N19/98GK103621084SQ201280032100
【公开日】2014年3月5日 申请日期:2012年4月17日 优先权日:2011年4月28日
【发明者】P.S.纽顿, W.德哈安, M.J.W.梅坦斯 申请人:皇家飞利浦有限公司