简单但通用的动态范围编码的制作方法

本发明涉及使能够将第一照度动态范围的图像或者图像的视频转换成第二照度动态范围的图像或者视频的装置和方法以及产生的像是数据存储装置（例如，蓝光盘）或者传输产品或者信号这样的产品，特别地，所述转换是从可以不限于例如是由内容创造者的颜色分级机创造的主hdr分级的参考高动态范围（hdr）图像（例如，关联的参考显示器的2000nit峰值明亮度）到旧有ldr（100nit）图像的。方法和装置实施例特别地适合于需要能够处置比旧有（ldr）视频编码（其也可以被称为标准sdr编码）高的照度要求的视频编码和解码。

背景技术：

最近，一些非常不同的显示器已出现在市场上，特别是具有非常不同的峰值明亮度的电视信号接收显示器（电视机）。而在过去，所谓的旧有低动态范围（ldr）显示器的峰值明亮度（pb）相差最多大约2倍（80与150nits之间的某处），最近的向越来越高的峰值明亮度的倾向已导致产生所谓的1000nit及以上的高动态范围（hdr）的电视机和5000nitpb的显示器等，并且已假设不久各种这样的更高pb的显示器将上市。甚至在电影院中，人们正在考虑增大被观看者感知的极限明亮度动态范围的方法。相比于100nitldr标准旧有tv，例如，2000nit显示器具有20倍之多的峰值明亮度，这总计多于4个额外的停止点可用，即，更多的用于渲染各种图像中的更明亮的对象的方法。另一方面，假设人们也使用新一代hdr图像生成或者捕获系统，这允许对hdr场景或者效果的好得多的渲染。例如，取代对建筑物或者车辆外部的阳光充足的世界进行（软）剪辑（如将在旧有ldr分级中发生的），人们可以使用hdrtv色域的照度轴上的额外的可用明亮度来显示明亮并且多彩的外部区域。这意味着我们将称为非限制性颜色分级机（但是他可以以各种方式被体现，例如，在实况电视制造中）的内容创造者有余地来制作非常漂亮的专用hdr图像或者视频内容（典型地更明亮，可能更对比强烈，并且更多彩）。然而另一方面，这产生问题：ldr图像编码被相对设计为从白色开始并且根据18%反射的中等灰度被很好地照亮，这意味着典型地例如100nit的相对低pb的5%以下的被显示器渲染的亮度将典型地由于难以辨别深灰色或者甚至取决于周围照度而被观看者看作不可辨别的黑色。在5000nit显示器上，对于该最优地经分级的hdr图像将不存在任何问题：5000nit的5%仍然有250nit，因此这将例如看起来像正常的内部，并且像例如是灯、接近这样的灯的即被明亮地照亮的区域这样的照度范围的最高95%可以纯被用于hdr效果。但在ldr上，对该hdr分级的渲染将变成完全错误的（因为它也不是针对这样的显示器被创造的），并且观看者例如可能仅看见接近黑色的区域上的与最明亮的区域相对应的热点。一般地，对于针对足够不同（pb上至少2倍不同）的显示器创造最优的图像需要重新分级。该情况将在以下两者时候发生：对用于较低动态范围显示器的图像进行重新分级以使它适合于在较高动态范围显示器上的渲染（这将是升级，例如，1000nit参考显示器输入图像，即，其将在1000nitpb实际显示器上看起来是最优的，其然后被进行颜色处理以便在5000nitpb的实际显示器上进行渲染），作为相反方向，即，使图像降级以使得它将适合于在具有比与被编码为视频图像（并且，所述图像典型地以某种方式被传送到接收侧）的分级相关联的参考显示器低的pb的实际显示器上显示。出于简洁的考虑，我们将仅描述在其中一个或多个hdr图像将被降级到ldr的场景。

hdr技术（借此我们指应当能够处置至少某些hdr图像的技术，但其也可以与ldr图像或者中等动态范围图像等一起工作）将渗入将需要能够以不同的方式处置各种方面的技术的消费者和专业两者用途（例如，照相机、像蓝光播放器、电视机、计算机软件、投影系统、安全性或者视频会议系统这样的数据处置设备等）的各种领域。

在wo2013/144809（以及wo2014/056679）中，申请人一般地阐述了用于执行颜色处理的技术，其用于产生适合于不同于与输入图像（im-in）相关联的参考显示器动态范围的另一个显示器动态范围（典型地，pb足够表征不同的显示器动态范围以及因此被最优地分级的图像，因为对于若干场景，人们可以忽略黑点，并且务实地假设其是0）的图像（im_res），即，其基本阐述了针对其图像被创造为看起来最优的显示器的pb，这形成在下面被阐明的用于对其进行改进的发明的良好的现有技术。我们以更接近相同的原理的当前的实际实施例的方式在图1中再次简洁地重新阐述了所述原理。输入图像im_in的各种像素被颜色变换器100连续地进行颜色处理（通过由乘法器104将它们的线性rgb值乘以乘法因子（a））以便获得输出图像im_res中的像素的输出颜色rsgsbs。乘法因子是根据某个色调映射规范建立的，这样的色调映射规范典型地可以由人类颜色分级机创造，但也可以来自对图像的特性（例如，直方图或者像面部这样的特殊对象的颜色属性等）进行分析的自动转换算法。映射函数可以粗糙地是例如伽马类的，使得较暗的颜色被提升（其被需要以使它们变得更明亮并且更对比强烈以便在ldr显示器上渲染），代价是明亮区域的对比度降低，这将在ldr显示器上变成彩画的（pastelized）。分级机可能进一步已识别像面部这样的某个特殊对象，对于该特殊对象的照度，他已在曲线中创造增加了的对比度部分。现在特殊的是，该曲线被曲线应用单元102（其可以廉价地是例如lut，其可以典型地在已接收例如是伽马因子这样的对映射的函数形状进行编码的参数之后在执行颜色处理的接收侧处例如每图像镜头地被计算）应用于被称为m的每个像素的r、g和b颜色分量的最大值（由最大值评估单元101确定）。然后，乘法因子计算单元103对于每个当前被处理的像素计算合适的乘法因子。如果图像将在比方例如100nitldr显示器这样的第一目标显示器上被渲染，则这可以例如是被应用于m的色调映射函数f的输出，即f(m)除以m。如果需要针对例如中间显示器的图像，这样的中间显示器例如是800nitpb的（或者另一个值，可能高于hdr输入图像im_in的参考显示器pb），则可以对f(m)/m应用进一步的函数g，其将输入颜色的乘性映射的量重新缩放到适合于该图像适合于的显示器动态范围的值（不论其被直接渲染在显示器上还是被传送或者存储在某个存储器中以便稍后使用）。

我们迄今为止已描述的部分构成全局颜色处理。这意味着，处理可以仅基于像素的连续集合的颜色（并且我们将仅聚焦于那些颜色的照度）的特定的值被完成。因此，如果人们仅从例如图像的圆形子选择内的像素的集合获得像素，则颜色处理可以根据上面阐述的原理被完成。然而，由于人类视觉是非常相对的，也是在空间上相对的，因此，关于图像中的其它对象的色度学属性对对象的颜色和明亮度进行评判（并且也是鉴于各种技术限制），更高级的hdr编码系统具有执行局部处理的选项。在某个（些）图像中，人们想要隔离像灯或者面部这样的一个或多个对象，并且对该对象执行专用的处理。然而，在我们的技术中，这构成对可以从主分级的像素的图像导出的至少一个另外的分级（这里，从hdr导出的ldr）的编码的部分。主分级或者导出的分级可以作为对空间结构（即被成像的场景的对象）进行编码的图像被实际上传送到接收侧，并且如果对两个外表之间的关系进行编码的颜色变换函数也在元数据中被传送，则然后可以在接收侧处重新计算其它分级。即，假设hdr图像已被接收，则如果需要，例如需要通过对ldr图像进行解码来重构颜色处理，或者反之，假设ldr图像的外表的对已被传送或者存储，则需要hdr图像的重构。局部处理原理在编码技术中被使用的事实具有技术含义，特别是人们需要基本数学处理方法的简单集合，因为领域中的全部解码ic或者软件需要实施此，并且以可承担的价格为代价，需要能够理解编码并且创造解码器ldr图像。申请人在wo2013/144809中介绍的计算量不太昂贵但足够通用的简单原理通过区域评估单元108完成分级机专用的双重测试。该单元对几何和比色状况两者进行评估。在几何上，基于当前的像素（x,y）的坐标，其例如检查像素是否位于矩形（x_s,y_s）到（x_e,y_e）内。在比色上，其例如可以检查照度或者max(r,g,b)位于门限以上（在这种情况下，像素被评估为属于将被特殊处理的区域）还是以下（在这种情况下，其不被评估为属于将被特殊处理的区域），或者对当前将被处理的像素的颜色属性的更高级的评估被执行。颜色变换器100然后例如可以取决于像素不是位于特殊区域中并且将被全局处理还是将被局部处理加载另一个色调映射lut，或者两个并行的处理分支可以被使用，等等。

因此，技术限制在于，从ic角度（因为廉价的装置也可能需要简单的ic或者ic的区域部分或者软件）看，编码功能工具应当是很少的并且被智能地选择的，以便执行对于场景上的各种动态范围外表图像的创造和编码最被需要的操作。另一方面，伴随此的另一个问题在于，采用上面阐述的哲学的情况下，其中，人类颜色分级机指定如由例如hdr图像编码的重新分级和用于重新分级为合适的ldr图像的函数，在针对给定的场景的特定的外表的最优参数的集合中，分级机必须还具有正确的分级/编码工具，并且按照正确的次序，使得他可以方便地与它们一起工作（他不仅需要获得期望的颜色外表的良好精度，他还需要利用尽可能少的操作完成此，因为时间也是至关重要的）。需要以优雅的方式规定约束的该双重对手集合。

存在一些初步看起来相似但根据不同的基本原理被设计、实际上在技术上是不同的的一些教导。尽管如此，出于完整性考虑，我们将简短地讨论并且区分它们。

例如，us5446504教导了作为具有更好的捕获动态范围的照相机的系统。

与我们的系统类似的地方在于，甚至在照相机能够捕获非常大的动态范围（而非剪辑到满像素井，并且因此，码255是mpeg中的无纹理的/对象细节缺乏白色）时，其仍然需要在ldr显示器上被显示（因为1990年代不存在任何别的东西）。

即使同一个场景的ldr外表图像被传送，假设人们例如具有可用于使用全部其最漂亮和最明亮的颜色渲染其的4000nit峰值明亮度显示器，但那也不意味着人们具有被如此设计以便能够恢复原始hdr外表图像的系统。

图1a的分束器允许一个传感器是敏感的并且捕获场景的较暗部分，以及另一个传感器（4b）是不太敏感的（即，像素井慢得多地用光电子填满），以及然后在加法器6中将存在于场景中的全部照度的完整范围加在一起（即，取代具有多达照度_门限的被恰当地捕获的颜色，并且对以上的进行剪辑，现在全部更明亮的像素颜色仍然在更大的动态范围中被捕获）。

然而，该系统仅具有对数压缩函数（其可争辩地可以被认为是与我们的对数函数类似的，但——特别是就其本身而言——在us5446504中在技术上具有非常不同的意义），但明显地，不存在人们可以针对其弯曲非线性形状的第二个可定制的重新分级函数，然而其对于给定的hdr场景是被需要的，这可以理解为是之前根据特定的图像的需求被指定的。此外，在执行颜色变换之前不涉及最大值计算。

d3=wo2014/025588（dolby实验室）将与申请人不同的哲学用于hdr编码。申请人发送（hdr,ldr）对的仅一个图像和用于在接收侧计算另一个图像的函数。dolby使用a_2-层（即，两个图像被发送，尽管一个可以是比包含对象纹理的那个简单的图像）方法。他们首先计算“局部照明图像”，并且然后计算包含对象纹理的“对象属性图像”，就像被更好地照明。在重构侧，他们然后可以通过将对象图像（反射率）乘以局部照明图像来获得原始hdr图像。因为乘法和除法变成更简单的加法和减法，所以他们可能喜欢在某些实施例中在对数域中工作（见图5，减去作为它们的ldr图像的经色调映射的层tmorgb，这在ldr100nit显示器上应当看起来是合理的）。他们然后可以将hdr-到-ldr_层映射体现为对数轴域中的曲线，可以基于直方图自动地确定该曲线。分量的哲学是非常不同的，并且特别地是不能在创造侧利用来自外部位置的被精确地最优化的照度映射曲线来补充的严格自动转换框架，更不用说由人类颜色分级机根据他的特定的艺术期望指定用于专门地变更某个特定的对象的明亮度或者其照度范围等。此外，他们的基于局部照明的哲学将使得取代ytm（图2）而使用max(r,g,b)非常奇怪，这就是为什么他们不教导它的原因。

技术实现要素：

上面的具有一种在实践上可用的编码系统的问题被图像颜色处理装置（200）解决，所述的编码系统既是对于ic以视频速度运行它在计算上足够简单的，而又是对于分级机指定用于在任何预期的显示器上（至少在hdr显示器上，以及另一个，典型地是旧有ldr显示器，但编码优选地在至少hdr外表针对其被编码的hdr显示器与ldr外表针对其被协同编码的ldr显示器之间的一系列的显示器上看起来良好，所述协同编码是借助于指定与从hdr图像开始的颜色变换有关的函数的参数执行的，两者图像都典型地被定义为被缩放到[0,1]的10比特字）显示的任何详细颜色外表足够通用并且便于使用的，所述图像颜色处理装置（200）被布置为将具有输入图像（im_in）的像素的线性红、绿和蓝颜色分量表示（r,g,b）的输入颜色变换成输出图像（im_res）的像素的线性红、绿和蓝颜色分量输出颜色（rs,gs,bs），所述输入图像具有第一照度动态范围，所述输出图像具有第二照度动态范围，借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度的至少2倍高，或者反之，所述图像颜色处理装置（200）包括按照相继的次序被连接的以下各项：

-最大值确定单元（101），其被布置为计算所述输入颜色的所述线性红、绿和蓝颜色分量的最大值（m）；

-均匀化单元（201），其被布置为对作为输入的所述最大值（m）应用函数（fp），所述函数具有对数形状，并且被预定为具有固定的形状，使能够将线性输入变换成感知上更均匀的输出变量（u）；

-函数应用单元（203），其被布置为接收函数的非递减非线性的函数形状，该单元被配置为能访问之前已指定的定制的函数，并且被布置为将所述函数应用于所述均匀输出变量（u），产生经变换的均匀值（tu）；

-线性化单元（204），其被布置为将所述经变换的均匀值（tu）变换成线性域值（lu）；

-乘法因子确定单元（205），其被布置为将乘法因子（a）确定为等于所述线性域值（lu）除以所述最大值（m）；以及

-乘法器（104），其被布置为将所述线性红、绿和蓝颜色分量（r,g,b）乘以所述乘法因子（a），产生所述输出颜色。

定制的函数应用单元（203）允许人们可以基于该当前的hdr场景的需求（特别地，在小得多的ldr照度范围上将全部对象明亮度拼在一起有多复杂）设计非常专用的准确的函数，所述设计是在所述设计可以在其处被完成的地方（具有例如足够的时间、计算资源等）被执行的，即，典型地在创造侧处（并且该函数的形状的信息被传送给接收侧装置）。特别地，人类颜色分级机可以对非线性形状进行微调，以便在与起始图像的主要对象或者区域的照度相对应的全部合适的地方处使其弯曲。他可以因此如他期望的那样在导出的图像中使例如小的部分明亮化到任何照度。特别地，如果例如室内场景的大部分已经具有正确的照度，但通过窗口被看到的天空的某个小块太明亮或者太暗，则所述定制曲线cc可以被设计为使得仅对那些像素颜色进行颜色变换。对于某些特定的实施例，所述定制曲线可以甚至被设计为使得其梯度不在沿输入范围的任何地方处处在最小值以下。我们已将我们的系统设计为能够适应未来的市场中的各种种类的hdr图像或者视频处置系统（例如，通过现有的卫星信道的基于ldr的广播；以及互联网递送）和各种种类的内容（来自好莱坞的非常壮观的hdr艺术图像，以及碰巧具有它碰巧具有的动态范围的现场生产中的内容），因此我们的定制曲线单元允许对于图像的不论什么部分需要它，以及在各种实施方案中在创造侧具有这可能已经被以其实现的不论多么多或者多么少实施努力实施不论什么特定的照度（明亮度）行为。

有利地，为减少针对至少容易的hdr场景提供快速调整以便有差别地变更图像中的至少一个图像对象的平均照度和/或对象内对比度所需要的分级努力，其中，所述快速调整在没有进一步定制的微调的情况下可能已是合理的，一种图像颜色处理装置（200）在所述均匀化单元（201）与所述函数应用单元（203）之间包括粗糙映射单元（202），所述粗糙映射单元（202）被布置为应用由一些被连接的函数段构成的粗糙软剪辑明亮化函数，所述函数段一起跨所述函数的输入域范围，并且是受可以之前例如由人类颜色分级机在hdr内容的两个不同的动态范围外表的创造期间指定的相应的段形状控制参数控制的。单元203的定制函数如果仍然被分级机期望的话则然后可以被应用，并且其定义函数形状的参数被存储以便稍后使用（例如，作为除hdr图像之外的元数据被存储在蓝光盘上）或者作为图像信号s_im例如通过互联网、广播信道等被传送到接收端。定制曲线的函数形状典型地应当是单调的。其可以具有不递增的部分（即，若干相继的hdr输入值给出相同的ldr输出照度），但是相比于hdr分级，为了保留ldr分级图像中的各种对象的灰度值的次序，一般地，所述函数中不应当存在递减的部分。然而，除此之外，例如为了微调特定对象的对比度，所以所述形状可以是任意的，所述特定对象例如是需要在薄雾中是部分可见的男人。

有利地，所述图像颜色处理装置（200）具有所述粗糙映射单元（202），所述粗糙映射单元（202）被布置为应用由以下各项组成的三段曲线：针对最暗的输入值并且受斜率变量控制的线性段；针对最亮的输入值的、受第二斜率变量控制的第二线性段；以及所述两个线性段之间的抛物线段。这是对于分级机应用来说的简单函数，其已给出对某些种类的hdr图像的好的控制。当然，该三部分曲线可以被集成到例如6或者9部分曲线中，但单元202提供用于以三部分曲线开始的选项，并且如果需要则将其转换成6部分曲线（例如，针对最亮的值的线性段可以被转换成非线性的形状，该非线性的形状例如是由两个切线确定的，等等）。单元202被示为虚线，因为在某些实际的实施例中（例如，用于利用本文中描述的参数根据hdr外表对ldr外表进行编码的ic或者例如在pc上运行的软件），其可以不是可以使用任意形状的函数的单元203之前的实际的计算单元，而相反其可以是该任意的形状的起点，该起点如果不是足够的则可以通过添加例如用于具有某个特定灰度值的对象的在局部被增大了的对比度的s形部分或者某个地方的隆起等被进一步变换。即，在这种情况下，所述装置将仅在物理上具有单元203，但不具有202。

典型地，尽管不必要，但所述输入图像将是高动态范围图像，并且所述输出图像是低动态范围图像。应当指出，这些方法和装置可以被用于从hdr图像转换成ldr图像或者反之将ldr图像升级为hdr图像这两者，并且两者是在图像或者视频创造、中间的或者消费站点处。

以下的进一步的实施例也是有用的。

一种图像颜色处理的方法，其用于将具有输入图像（im_in）的像素的线性红、绿和蓝颜色分量表示（r,g,b）的输入颜色变换成输出图像（im_res）的像素的线性红、绿和蓝颜色分量输出颜色（rs,gs,bs），所述输入图像具有第一照度动态范围，所述输出图像具有第二照度动态范围，借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度的至少2倍高，或者反之，所述方法包括：

-计算所述输入颜色的所述线性红、绿和蓝颜色分量的最大值（m）；

-对作为输入的所述最大值（m）应用均匀化函数（fp），所述函数具有对数形状，并且被预定为具有固定的形状，使能够将线性输入变换成感知上均匀的输出变量（u）；

-接收定义之前被指定的函数（cc）的非递减非线性函数形状的参数，以及将所述函数（cc）应用于所述均匀输出变量（u），产生经变换的均匀值（tu）；

-通过应用线性化函数（fl）将所述经变换的均匀值（tu）变换成线性域值（lu）；

-将乘法因子（a）确定为等于所述线性域值（lu）除以所述最大值（m）；以及

-将所述线性红、绿和蓝颜色分量（r,g,b）乘以所述乘法因子（a），产生所述输出颜色（rs,gs,bs）。

应当指出，我们当前的装置和方法实施例使得在原则上有可能在我们使用所述红、绿和蓝颜色分量的最大值的情况下还使用照度，或者甚至每像素地决定是否要使用针对该像素的所述照度或者最大值或者甚至经加权的组合，但那导致产生具有不同行为的不同实施例。

根据权利要求5所述的对输入颜色进行变换的图像颜色处理的方法，在应用均匀化函数（fp）和应用所述函数（cc）的所述步骤之间包括以下步骤：应用由一些被连接的函数段构成的粗糙软剪辑明亮化函数，所述函数段一起跨所述函数的输入域范围，并且是受之前已被指定的相应的段形状控制参数控制的。

一种对输入颜色进行变换的图像颜色处理的方法，其中，应用粗糙软剪辑明亮化函数的所述步骤的特征是应用三段曲线，所述三段曲线由以下各项组成：针对最暗的输入值的线性段，其是受斜率变量控制的；针对最亮的输入值的第二线性段，其是受第二斜率变量控制的；以及所述两个线性段之间的抛物线段。这允许对hdr场景的最有趣的区域以及它需要如何被塞进ldr图像中的非常好的控制。

一种图像颜色处理的方法，其中，所述输入图像是高动态范围图像，并且所述输出图像是低动态范围图像。

一种包括代码的计算机程序产品，所述代码将所述方法实施例中的任一个实施例的步骤中的每个步骤代码化，从而在其被运行时，使处理器能够执行该方法。

一种图像颜色处理装置（200），其被布置为将具有输入图像（im_in）的像素的线性红、绿和蓝颜色分量表示（r,g,b）的输入颜色变换成输出图像（im_res）的像素的线性红、绿和蓝颜色分量输出颜色（rs,gs,bs），所述输入图像具有第一照度动态范围，所述输出图像具有第二照度动态范围，借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度的至少2倍高，或者反之，所述图像颜色处理装置（200）包括：

-最大值确定单元（101），其被布置为计算所述输入颜色的所述线性红、绿和蓝颜色分量的最大值（m）；

-均匀化单元（201），其被布置为对作为输入的所述最大值（m）应用函数（fp），所述函数具有对数形状，并且被预定为具有固定的形状，使能够将线性输入变换成感知上更均匀的输出变量（u）；

-粗糙映射单元（202），其被布置为应用由以下各项组成的三段曲线：针对最暗的输入值的线性段，其是受斜率变量控制的；针对最亮的输入值的第二线性段，其是受第二斜率变量控制的；以及所述两个线性段之间的抛物线段，并且被布置为输出经变换的均匀值（tu）；

-线性化单元（204），其被布置为将所述经变换的均匀值（tu）变换成线性域值（lu）；

-乘法因子确定单元（205），其被布置为将乘法因子（a）确定为等于所述线性域值（lu）除以所述最大值（m）；以及

-乘法器（104），其被布置为将所述线性红、绿和蓝颜色分量（r,g,b）乘以所述乘法因子（a），产生所述输出颜色。

一种图像颜色处理的方法，其用于将具有输入图像（im_in）的像素的线性红、绿和蓝颜色分量表示（r,g,b）的输入颜色变换成输出图像（im_res）的像素的线性红、绿和蓝颜色分量输出颜色（rs,gs,bs），所述输入图像具有第一照度动态范围，所述输出图像具有第二照度动态范围，借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度的至少2倍高，或者反之，所述方法包括：

-计算所述输入颜色的所述线性红、绿和蓝颜色分量的最大值（m）；

-对作为输入的所述最大值（m）应用均匀化函数（fp），所述函数具有对数形状，并且被预定为具有固定的形状，使能够将线性输入变换成感知上均匀的输出变量（u）；

-应用三段曲线，从而产生经变换的均匀值（tu），所述三段曲线由以下各项组成：针对最暗的输入值的线性段，其是受斜率变量控制的；针对最亮的输入值的第二线性段，其是受第二斜率变量控制的；以及所述两个线性段之间的抛物线段；

-通过应用线性化函数（fl）将所述经变换的均匀值（tu）变换成线性域值（lu）；

-将乘法因子（a）确定为等于所述线性域值（lu）除以所述最大值（m）；以及

-将所述线性红、绿和蓝颜色分量（r,g,b）乘以所述乘法因子（a），产生所述输出颜色（rs,gs,bs）。

一种视频解码器（550），包括：

-用于接收输入图像（ldr_ienc）的输入端（556）；

-图像解码单元（555），其被布置为将所述输入图像解码为线性红、绿和蓝颜色分量像素化的表示，并且被布置为接收表征至少一个照度处理函数的元数据；

-根据装置权利要求中的一项权利要求所述的图像颜色处理装置（552），其特征在于，所述图像颜色处理装置被布置为接收并且通过应用由所接收的元数据定义的颜色变换函数处理所述输入图像，并且被布置为产生线性红、绿和蓝颜色分量像素化的输出图像。

一种视频编码器（501），包括：

-用于接收输入图像（im_in）的输入端（509）；

-根据装置权利要求中的一项权利要求所述的图像颜色处理装置（503），其特征在于，所述图像颜色处理装置被布置为通过应用颜色变换函数处理所述输入图像，并且被布置为产生线性红、绿和蓝颜色分量像素化的输出图像（imed）；以及

-图像编码单元（505），其被布置为将输出图像（imed）编码为经编码的输出图像（ldr_oenc），并且被布置为输出表征至少一个照度处理函数的元数据。

附图说明

根据本发明的方法和装置的任何变型的这些和其它的方面将从下文中描述的实施方案和实施例中是明显的，以及将参考下文中描述的实施方案和实施例并且参考附图被阐明，所述附图仅用作例示更一般的概念的非限制性的特定的图示，并且其中，虚线被用于指示构件是可选的，非虚线构件不必然是必要的。虚线还可以被用于指示被解释为必要的元素被隐藏在对象的内部，或者被用于诸如是对对象/区域的选择、图表中的值水平的指示等这样的无形的事物。

在附图中：

图1示意性地图示了用于完成包括局部颜色处理的动态范围变换的可能的颜色处理装置，所述颜色处理将典型地包括至少变更输入图像中的对象的照度；以及

图2示意性地图示了系统的示例，所述系统被布置为对于能够以参数化的方式对hdr和ldr图像进行编码的系统完成动态范围变换，借此，仅所述hdr图像像素颜色被实际上传送到接收侧，并且所述ldr图像仅通过传输对参数进行定义的颜色变换函数的集合间接地被编码，这允许根据所接收的hdr图像像素颜色图像数据计算所述ldr图像，该系统对于人类颜色分级机使用是容易但通用的；

图3示出了用于根据hdr图像像素颜色数据对ldr进行编码的一种可能的粗糙初始照度映射的函数形状；

图4利用两个示例澄清了哪些技术和艺术问题典型地是与需要在较低动态范围的显示器上、甚至旧有100nit峰值明亮度（pb）sdr显示器的安装基础上可观看的hdr内容一起的；以及

图5示意性地进一步少许阐明了示例性视频编码系统，其中申请人的装置和方法实施例可以被有利地使用。

具体实施方式

图1示意性地示出了用于对（至少）两个经分级的图像进行编码以便在相当不同的动态范围（pb）的显示器上进行渲染的我们的系统，并且特别地，示出了其颜色变换核心单元。技术人员理解，该系统可以位于内容创造侧，其中，人类分级机将完成计算以便检查在经校准的显示器上他在根据他的品味指定编码函数工具集中的我们的分级函数的最优参数值的同时实际上正在制作哪些外表，以及位于接收侧，其中，所述装置可以例如被包括在像机顶盒、bd播放器或者计算机或者显示器自身或者电影院中的专业系统等这样的视频接收和颜色处理设备中。

我们将阐明接收侧，其中，我们已经具有指定两个分级（hdr和ldr，其可以然后通过进一步的计算被进一步最优化，所述进一步的计算是针对例如pb=800nit的任何中间动态范围mdr显示器的）的数据。

因此，根据我们的新颖的编码原理，接收装置实际上具有仅一个实际上被编码的图像（例如，传统地采用10bithevc编码，尽管可理解地可解码为经归一化的[0,1]图像），im_in_hdr，其例如在蓝光盘上或者经由与视频服务器的互联网连接或者通过来自某个其它装置的hdmi电缆等被接收。这然后必须被计算成ldr分级，例如因为ldr显示器被连接，并且需要被正确地分级的ldr图像（例如，观看者决定停止观看他的起居室hdr显示器，但在床上在他的便携式平板pc上继续观看）。

为了能够完成所述颜色处理，颜色变换装置还需要指定函数的参数（cf）。技术人员理解，例如抛物线可以由起始和结束点以及线性的起始斜率和曲率等指定。

典型地，可以涉及对于从hdr到ldr的映射以及还有至少影响输出对象的照度的映射的饱和度控制（尽管在数学上我们典型地通过用乘性缩放线性rgb颜色分量来应用该照度映射）。

图2更详细地示出了我们如何优选地完成该照度重新分级。

均匀化单元（201）执行到对于人类来说在视觉上更均匀的表示的变换。与传统的ldr处理相反，特别是对于hdr图像（其可以包含多达例如20000nit的照度），分级机具有对其灰度值的恰当的更有意义的控制是非常重要的。如果他们在感知上合理地均匀地分布，例如，每n个码与j个恰可察觉的差别相对应（即，1203中的值10可以是在暗的周围黑灰中暗得几乎不可见的，15可以是稍微更亮的黑灰，20可以是大约再次更亮相同量的），分级机具有对于他例如为了将罪犯隐藏在房间的黑暗角落里或者制作闪烁的hdr光效果等可以如何重新分配对象的明亮度和明度的好得多的控制。在线性空间中，分级机具有差的控制，例如，不能非常好地看到他正在黑暗中做什么、立即做太多等。

用于获得任何线性输入（m）的这样的均匀版本的优选的函数是以下：

其中，rho是常量，并且m是r、g、b的最大值（利用被预设为例如0.5、1.0、0.25或者由分级机根据图像预先指定的权重被适当地加权），并且可能还有y（否则，y的权重d被设置为0；这些权重也将例如在bd上与图像数据一起被接收）。

假设与hdr图像相对应的参考pb是10000nit，则rho可以例如是33和伽马2.4。

对于其它pb，分级侧装置将例如利用下述确定rho：

。

应当指出，人们不需要必然地对像素的照度应用该函数。具有例如是a*r（r是[0,1]中的红颜色分量）这样的由最大值计算产生的预定权重的任何被加权的颜色分量（最大值可以或者也可以不具有作为潜在地被选择为四个输入中的最高的输入的第四个输入的线性经加权照度d*y）可以被用作像素照度的相关项，并且在确定用于恰当地完成输入颜色（r,g,b）的乘性明亮度缩放的乘性因子（a）时起作用。

函数应用单元（203）应用定制的映射曲线，使得分级机可以容易地如他期望的那样使每个对象明亮并且对比强烈。在我们的双重分级编码技术中，该曲线将典型地由定义具有线性段的函数形状的一些点（u_in,tu_out）指定（其也可以在连接附近被稍微四舍五入）。例如，（0，tu_1）将给出黑色的偏移量，即，零输入将映射到哪个输出，并且因而（u_2,tu_2）将确定定义针对多达u_2的全部输入的映射的段，等等。

线性化单元将转换回线性域，因为乘性因子将被确定为两个线性量的除法（更多的信息整体上被包括在wo2014/056679的教导中）。

粗糙映射单元（202）的良好的实施例将应用例如像图3中这样的函数。抛物线段的位置可以通过对起始和结束u值进行编码来确定，但抛物线也可以被编码为其宽度，如在图3中那样。输入是m的经线性化的版本，即，u_hdr_in，并且输出tu_ldr_out是可以之后被单元203的定制形状曲线微调的内容。

在该实施例中，基本的“抛物线”色调映射曲线由3段组成：

-通过（0，0）的暗段，其受参数斜率bg（基础增益）的控制

-通过（u_max，tu_max）的明亮段，其具有斜率dg（差分增益）

-连接这两者的抛物线段，其具有宽度xp（x-宽度抛物线）

在没有抛物线的情况下，2个线性段在下面的点处连接

um=(tu_max–dg*u_max)/(bg–dg)，

tum=bg*um=tu_max–(u_max–um)*dg。

我们通过添加以该（um,tum）为中心的抛物线制作连续地可区分的曲线，并且其必须以斜率=bg开始并且以斜率=dg结束。根据数学计算，我们然后得出，剩下（3个中的）仅1个自由度：抛物线的宽度xp。

取决于所述宽度，针对u=um的y值从

针对up=0的tu=tum下降到

tu=tum–delta_tu=tu–up*(bg–dg)/8。

人们可以反转该关系以便根据delta_tu计算出：

up=8*delta_tu/(bg–dg)。

因此，典型地人们可以以up=0开始，然后看哪个最大距离delta_tu位于弯曲的曲线与参考照度映射曲线（散点图）之间，并且根据此计算。

因此，在该实施例中，抛物线段的宽度（典型地在0.0与1.0之间）将是除了基础增益斜率（例如，具有针对明亮图像的0.5与针对暗图像的1.0之间的典型值）和最亮输入范围斜率（典型地在0.0与0.25之间）之外被传送给任何接收侧装置的指定该函数形状的第三个参数。

在图2中，我们看到未来的hdr系统（例如，被连接到1000nitpb显示器的）可能需要能够正确地处置的许多可能的hdr场景的仅两个示例，所述处置即通过在最终将在不论任何被连接或者被设想将被连接的显示器上被渲染的图像中为图像中的全部对象/像素创造合适的照度。例如，imscn1是来自德克萨斯的牛仔电影播放的阳光充足的室外图像，并且imscn2是夜间图像。使hdr图像渲染不同于它在最近刚结束（或者实际上未来几年将在市场上开始）的ldr时代中经常的是，ldr具有如此有限的动态范围（大约pb=100nit，并且黑阶+-1nit，或者在较明亮的观看环境中由于屏幕反射而甚至更高），使得通常对象的仅反光可以被显示（其将落在针对好白色的90%与针对好黑色的1%之间）。因此，人们必须独立于它们的光照地显示对象，并且不可以同时忠实地一切都很好地显示可能发生的场景的有时高度地对比强烈的光照。在实践中，那表示，高度明亮的阳光充足的场景必须被渲染为与阴暗的雨天场景相同的显示照度（0-100nit）。并且甚至夜间场景不可以被渲染得太暗，或者观看者将不能够很好地辨别图像的最暗的部分，因此再一次地，将跨0与100nit之间的范围渲染那些夜间明亮度。因此人们常规上必须为夜景着蓝色，使得观看者将理解他不是正在看日间场景。当然，现在在实际生活中，人类视觉也将适应光的可用的量，但没有那么多（多数人在实际生活中认识到，它在变暗）。因此，至少如果人们具有可用的hdr显示器时，人们想要渲染具有人们可以在其中在艺术上设计的全部壮观的局部照明效果的图像。

但那不改变事实：对于某些人来说，我们将仍然需要把极好的新hdr电影降级到该有限的ldr显示器（在图4的右边不是按精确的比例地示出了其范围）。

因此，在左边我们看到我们想要在5000nitpb（即，针对在5000nitpb显示器上进行渲染被最优化的）主hdr分级中看到哪些对象照度。如果我们想要传达不仅错视而还有处在明亮的阳光照射的环境中的牛仔的实际场景，则我们必须在例如500nit附近指定并且渲染其照度。单独从这些示例中，人们可能已得到这样的感觉：将较小的ldr照度范围上的全部对象拼在一起理想地将不是简单的压缩的问题（例如，利用将hdrpb映射到ldrpb的线性函数，并且随此还有全部较低的照度）。相反地，我们给出不同的照度映射行为类的两个示例。对于日间场景，如果人们想要根据所接收的ldr图像计算hdr图像，则人们可以实际上应用拉伸函数，拉伸函数以特别地在18nit的ldr中间灰度附近被渲染的牛仔映射到hdr中的500nit（即，近似30倍明亮度提高）的方式对全部照度进行拉伸。但人们将不想要对夜间场景完成该操作，或者其将在hdr监视器上变得荒唐地明亮（实际上钻入细节，由于一些图像细节，甚至太明亮时大脑可能仍然想象它正在看夜景，但其被远离理想地渲染，如果人们实际想要壮观的并且高质量的hdr渲染，现在那已变成可能的）。对于该imscn2，人们想要夜间的全部暗对象的照度是在两个显示器（以及中间pb的全部显示器）上相同的。相反，它是灯杆光，并且可能是在hdr图像中被明亮化到更明亮的照度的月亮。因此，照度映射函数的形状将是非常不同的。人们可以想象，如果人们在一个图像中具有那两个原型图像方面，例如，在洞穴内进行，并且正在通过小孔看阳光充足的外部，则人们可能实际上想要设计复杂的照度映射曲线，以便根据人们的艺术期望获得ldr和hdr对象照度两者。这样的情形在ldr时代典型地如何发生在于，人们仅将洞穴外部的一切剪辑为白色。或者，因为在ldr时代中，人们仅将照相机捕获的内容看作相对照度，而不考虑它们的意义和那将对它们在不论什么显示器上的最终渲染暗示什么，所以图像的某些部分经常变得太暗。例如，如果人们走过走廊，并且看到阳光照进来，则这些阳光照射的点看起来非常明亮。走廊的其它部分是相对较暗的，但那不意味着在那里走的人看到它们比正常的暗（实际上，由于额外的照明，甚至阴影中的部分将看起来比如果太阳移到云后面时更明亮一些）。但将这些阳光充足的颜色放在白色附近的ldr渲染可以仅将走廊的阴影部分渲染得太暗，因为否则它可以在它的有限的范围上完成的仅有的事情是以合理的照度渲染阴影，但因而阳光中的一切在例如是255这样的最大亮度码以上剪辑，分别是被渲染的100nit。

因此，这样的场景的最优的ldr渲染是复杂的设计问题，但至少现在通过hdr显示器，我们可以现实地即在特定的照度以上渲染阳光充足的部分。例如，如果观看环境大体上与200nit相对应，则我们可以在200nit附近渲染图像的阴影部分。并且我们可以取决于显示器的pb——例如在2000nit处渲染阳光照射的部分。即使其不总是与实际生活中精确地相同的阴影照度以上的相对量，但至少其将看起来比太暗或者剪辑的走廊真实得多。

但读者理解，为什么该复杂度，特别是人们可能遇到的图像的许多种类以及至少一些较高质量hdr范围（例如，pb=10,000nit）与sdr100nit范围之间的巨大差别，要求允许对各种像素颜色以及特别地它们的照度的精确指定的系统。并且特别地，申请人具有这样的哲学：人们应当允许内容创造者影响任何其它动态范围图像将如何根据所接收的图像被计算（至少对于那些期望如此的人），以及他们期望这样做的程度，以及他们最少需要指定的内容的程度。

图5示出了我们的基本照度变更装置（或者方法）的可能的合并。技术人员将理解，例如，分级机可以如何使用ui构件来根据他的需求或者期望变更任何函数的形状，例如，它们的表征参数。我们想要强调，尽管我们将阐明模式-ii示例（其中，从内容创造者例如根据他的原始捕获制作的主hdr图像mast_hdr被降级的ldr图像实际上被传送，并且然后在接收侧，在需要时被重构成mast_hdr图像的接近的近似），但系统和我们的装置实施例也可以在模式-i操作中被使用，其中，mast_hdr图像实际上被传送，并且假设ldr图像需要用于提供到sdr显示器，则所述装置在接收器中应用照度降级。那些被接收的ldr或者hdr图像中的每个图像也可以被转换成不同的动态范围的图像，例如，1499nitpb。并且，所述装置实施例可以还被并入例如是编码器这样的创造侧装置中，例如用于允许颜色分级机检查什么将在接收侧发生，以及在给定的函数的情况下从mast_hdr计算的ldr图像将看起来怎么样，并且所述装置和方法也可以在位于任何中间位置处的转码器中被使用，所述中间位置例如是局部内容分布器的观看摊位等。

本示例性方案中的视频编码器501经由输入端509获得输入图像im_in，我们出于简化阐明的目的将假设输入图像im_in是已被艺术地创造的主hdr分级，但其也可以是来自某个原始图像馈入的hdr图像，其需要在几乎没有实时介入的情况下被最少地进行颜色处理等。

可能还存在被涉及的由色度处理单元502在像素颜色上计算的色度处理，例如饱和度变更，其降低饱和度以使得在ldr转换中例如着色的玻璃窗的较明亮的颜色可以通过将它们推入接近白色的ldr色域的窄顶而被额外地明亮化。然后，照度映射单元503将完成如图2中所示的我们的装置实施例中的任何实施例完成的各种事情，例如，照度均匀化和然后的三部分曲线，或者均匀化和然后某个被最优地塑形的函数cc，其针对图像的当前的集合被确定并且例如通过用户界面交互或者从对之前所确定的函数进行编码的元数据被载入。函数输入设备508可以被读者理解为例如典型的颜色分级工具或者与存储至少一个函数的数据库的连接或者与远程人类分级机的连接等。然后，现在在该示例中是具有沿0-100nitldr范围分布的像素照度的ldr图像（其可以仍然被编码为线性rgb图像）的该中间图像imed被图像或者视频编码单元505利用例如像hevc这样的典型旧有ldr编码技术进行编码。这是因为，至少对于像它将通过的图像分布管道这样的下面的技术，该图像“看起来”像规则的ldr图像，尽管它实际上是对hdr场景进行编码的hdr图像。我们也通过传送被用于根据主hdr图像生成ldr图像的颜色变换函数（或者它们的逆函数）将此告知任何接收器，这告知接收器不仅他实际上取代规则的ldr图像而接收hdr图像，而还允许接收器通过对所接收的ldr图像应用那些所接收的逆函数来重构mast_hdr图像的接近的近似。因此，被编码的图像或者视频ldr_oenc实际上对于系统的剩余部分充当正常的ldr视频，并且其将经过某个通信设备510，通信设备510例如可以是空中广播或者互联网连接或者被传输到不论什么消费者或者专业的（例如，电影院）位置的物理存储器等。

在接收端，该被编码的输出图像（ldr_oenc）变成输入图像或者视频ldr_ienc（其可以仍然已经历进一步的变换，但我们出于解释的目的而假设其是循环通过的相同的图像）。我们应当简短地指出，如果我们在ldr_oenc中使用模式-ihdr通信系统，则我们可能已使用与模式-ii下不同的函数形状，给予图像不同的对象明亮度和统计数据，但两者将是例如hevc编码的。

视频解码器550经由其输入端556获得图像和对函数进行编码的元数据met(f)，所述函数特别地是在创造侧例如由颜色分级机或者像生活生产的技术指导员这样的某个其他人等选择的最优的定制曲线。图像或者视频解码单元（555）对hevc视频进行解码，并且然后由体现我们的装置或者方法实施例中的任何实施例的照度映射器552以及由完成逆例如去饱和（即，饱和度增加）的色度处理单元551（如果对于该内容指定了该操作的话）对其进行颜色处理。最后，经正确地分级的rec_hdr（例如，5000nitpb图像）可以被发送给显示器580，例如，理想地5000nit显示器（假设hdr内容与显示器之间的pb的失配，例如被嵌入在stb中的该视频解码器可能已通过到需要的例如2500nit显示器pb的适当颜色变换对图像进行显示器调谐，或者显示器可以在内部通过具有我们教导的装置/方法的其自己的版本来完成此）。当然，如果旧有sdr100nit显示器将被提供有经恰当分级的内容，则视频解码器550可以向其提供ldr图像ldr_rnd，其在该示例中可以仅是解码器所接收的ldr图像，而不需要进一步的颜色变换，但假设在ldrhevc容器中接收hdr图像，则视频解码器550仍然将根据我们的装置/方法实施例中的任何实施例完成合适的降级。

本文中公开的算法构件可以（整体上或者部分地）在实践中被实现为硬件（例如，专用ic的部分）或者在特殊数字信号处理器或者通用处理器上运行的软件等。它们在至少一些用户输入可以存在/已存在（例如，在工厂或者消费者输入或者其它人类输入中）的意义上可以是半自动化的。

对于本领域的技术人员应当能从我们的呈现中理解，哪些构件可以是可选的改进，并且可以结合其它构件被实现，以及方法的（可选的）步骤如何与装置的相应的设备相对应，以及反之亦然。在本发明中采用特定的关系（例如，在单个图中采用特定的配置）公开了某些构件的事实不意味着其它配置作为与在本文中被公开的用于获取专利的发明构思相同的发明构思下的实施例是不可能的。此外，出于实用的原因已描述了仅有限的范围的示例的事实不意味着其它变型不能落在权利要求的范围下。事实上，本发明的构件可以在沿任何使用链的不同的变型中被体现，例如，像编码器这样的创造侧的全部变型可以类似于或者对应于例如是解码器这样的经分解的系统的消费侧处的对应的装置，并且反之亦然。实施例的若干构件可以被编码为信号中的特定的信号数据，以用于在编码器与解码器之间采用任何传输技术的传输或者诸如是协调这样的进一步的使用等。术语“装置”在本申请中在其最宽泛的意义上被使用，即，允许实现特定的目标的设备的组，并且因此可以例如是ic（的小部分）或者专用家电（诸如具有显示器的家电）或者联网系统的部分等。“布置”或者“系统”也旨在在最宽泛的意义上被使用，因此其可以尤其包括单个物理的、可购买的装置、装置的一部分、协同运行的装置（的部分）的集合等。

计算机程序产品表示应当被理解为包括使通用或者专用处理器能够在一系列加载步骤（其可以包括中间转换步骤，诸如到中间语言和最终的处理器语言的转换）之后将命令输入处理器中以便执行发明的特性功能中的任何功能的命令的集合的任何物理的实现。特别地，计算机程序产品可以被实现为诸如例如是磁盘或者磁带这样的载体上的数据、存在于存储器中的数据、经由网络连接——有线的或者无线的——行进的数据或者纸上的程序代码。除了程序代码之外，程序所需的特性数据也可以被体现为计算机程序产品。这样的数据可以（部分地）以任何方式被提供。

本发明或者像视频数据这样的根据本发明实施例的任何哲学可用的任何数据可以也被体现为数据载体上的信号，所述数据载体可以是像光盘、闪存、可移除硬盘、可经由无线设备写的便携式设备等这样的可移除存储器。

任何被呈现的方法的操作所必需的步骤中的一些步骤可以取代被描述在计算机程序产品或者任何单元中而已存在于处理器或者本发明的任何装置实施例的功能中，本文中描述的装置或者方法（具有本发明实施例的细节），诸如数据输入和输出步骤，众所周知地典型地合并诸如是标准显示器驱动等这样的处理步骤。我们还期望对于产生的产品和相似的产出的保护，像例如在方法的任何步骤处或者装置的任何子部分中被涉及的特定的新颖的信号，以及这样的信号的任何新用途或者任何相关的方法。

应当指出，上面提到的实施例图示而非限制本发明。在技术人员可以容易地实现被呈现的示例向权利要求的其它区域的映射的情况下，我们为简洁起见还未深入提到全部这些选项。除了如在权利要求中被组合的本发明的元素的组合之外，元素的其它组合是可能的。元素的任何组合可以在单个专用元素中被实现。

权利要求中的括号之间的任何附图标记不旨在用于限制权利要求，附图中的任何特定的符号也不旨在这样。词“包括”不排除未在权利要求中被列出的元素或者方面的存在。在元素前面的词“一个”或者“一个”不排除多个这样的元素的存在。