本发明涉及用于正确地处理来自不同源并且具有不同明亮度(luminance)特征的多幅图像(或者时间上相继的图像的视频)的组合的方法和装置，所述明亮度特征中的至少一些具有高动态范围。
背景技术：
直到几年以前，所有的视频都是根据所谓的低动态范围(ldr)基本原理(最近也被称为标准动态范围(sdr))被编码的。这意味着，不管所捕获的场景是什么，根据标准化定义，所述代码的最大值(例如，8位明度(luma)y'＝255；或者用于模拟显示驱动的100％的电压)应当对应于ldr显示器上的白色的绘制，其中，根据标准协议，显示峰值亮度(brightness)pb_d(即，显示器能够绘制的最亮的白色)为100尼特。如果人们购买的实际显示器略暗或者略亮，则假设观看者的视觉系统将做出调整，从而使图像将看起来仍然是合适的，而不是例如过亮到令人烦恼的地步(例如在恐怖电影中的夜景的情况下)。这是相对绘制范例，其总是将编码图像中的最大明亮度颜色映射至显示峰值亮度，而不管所述最大明亮度颜色可能是什么。如果在绘制或视频/图像消费侧的实际可用显示实际上并不比100尼特亮多少，那么这将是有效的，但是如果显示亮得多，例如，高10倍，即，具有pb_d＝1000尼特，那么这可能引起不希望的结果。
当然，这对于与之协同工作的每个人来说都是一种相当严格定义的电视系统比色法，对于实际节目而言，这样做通常意味着保持对场景照明装置的严格控制，因为即使在完全的均匀照明中，各种物体的反射也能够已经给出100:1的对比率，并且因而在各个区域的照明中仍然存在差异。通常进行照明和曝光(通过选取光圈设置)，使得场景(的受到良好照明的部分)中的白色被大致映射至白色代码，即，对应于编码峰值亮度pb_c的最大明度代码，并且通常对于场景中的甚至更亮的物体或区域可能存在对该pb_c明亮度值的限幅。同样地，通常相机、尤其是2000年代早期的较早几代的数字相机在同时捕获非常亮的区域和相当暗的区域时会有问题，即，例如，从房间窗户或车窗向外看的场景的部分将通常被限幅至白色(赋予红色、绿色和蓝色加性彩色分量r＝g＝b＝最大值，对应于其平方根明度代码值r'＝g'＝b'＝225)。
然而，最近的高动态范围相机(以及很重要的新的hdr图像捕获方式或者一般而言的图像创建方式)以及hdr显示器开始出现，并且其余的视频和/或图像技术(例如，图像编码、图像合成等)必须与这些新的技术水平要求保持协作。注意，如果在这种应用中，最先仅指定具有峰值亮度(即，最亮的绘制明亮度)的动态范围，则我们假定所述范围的底端独断地为零(而在实践中，其可能取决于观看条件，诸如显示器前罩板或电影院屏幕的光反射，例如，0.1尼特)，并且这些进一步的细节对于特定的解释而言是不相干的。在对最暗的图像颜色在技术上不进行任何具体操作的情况下，则可以说没有任何特定的原因使得较高动态范围显示(其因而将首先简化至较高显示峰值亮度)应当对最暗像素颜色做出不同于较低动态范围显示(诸如，特别是sdr显示)的绘制。注意，同样地，有若干种定义动态范围的方式，并且在下文的解释中通常使用的最自然的一种方式是显示绘制明亮度动态范围，即，最亮颜色的明亮度对比最暗颜色的明亮度(当然，在实践中也会涉及心理视觉方面，例如，暗场景中的单个亮像素可能不是很显眼，但是对于下文的一些技术解释而言可以将其抛弃，并且仅阐述符合人的需要的技术元件的设计)。能够将hdr图像定义为能够包含像素颜色、并且特别是像所述的那样包含较亮像素颜色(不能够在sdr图像编码中编码的像素颜色)的任何图像。由于这样的sdr图像或视频编码的比色法是固定的(其中，视频rec.709oetf对应于静态图片的srgboetf)，因而能够以数学方式确认8位明度编码可以仅适应1000:1的动态范围，即，从0.1尼特至100尼特的动态范围，并且不能超出其外。因此，如果想要能够对将被显示绘制为例如是正常sdr场景白色的2倍高、即高达200尼特的场景明亮度进行编码，那么将需要一种新形式的hdr图像或视频编码(新的smpte2084是oetf的范例，其允许对亮得多的场景明亮度进行编码，或者至少如何在正常的电视观看条件下将其绘制在显示器上，例如，作为明度高达10000尼特，甚至作为10位或8位明度，因而可以进一步将其作为“正常”明度进行处理，例如，对于像hevc压缩这样的视频压缩而言)。人类视觉系统能够对高得多的动态范围进行处理，并且其还存在于世界上的各种实际hdr场景中(例如，从洞穴内部看到的受到阳光照射的场景或者具有小窗的暗室)，因而需要更高动态范围的视频处理链，从而实现图像的提高的“生动性”。通常，室内照明可以是室外照明的百分之一，因而知道黑色物体反射进入光的大约1％，这将已经暗示需要10000:1的动态范围(dr)。但是，如果人在暗中视物时能对夜间场景中的最暗颜色的百分之一敏感，则编码图像内容的1000000:1dr可以是适宜的(某些相机能够实现并且例如进行对数测量)。当然，如果从内部看例如大的洞穴，原则上在某些情况下，可以从审美的角度选择将周围洞穴形状实际绘制为限幅(clipped)最小黑色，而在其他情况下则将非常希望或者需要图像中的像素的从最亮区域到最暗区域的所有经编码的不同灰度值，例如，当在洞穴内发生了某一动作时(当限幅至黑色时，某些洞穴形状中的某些局部外部视图会看起来很怪异，由于对前景和背景的心理学检测的倒置，使得其看起来像是撕破的纸屑，可以通过绘制更多洞穴内部暗色来避免这种情况)。因此，在实践中，从0.01尼特至10000尼特的显示绘制范围可以是合适的hdr范围，但是如所述的，即使对两倍(2x)的100尼特pb进行编码或绘制也已经有资格作为hdr技术了，其对应的需求是要小心地监视应当如何对其进行不同于旧版sdr视频基本原理的处理。还要注意，编码系统本身并不固有地具有动态范围，除非使参考显示与之相关联，其表明例如r'＝g'＝b'＝y'＝255应当与100尼特或者1000尼特等的pb相对应。以前常犯的错误是认为编码图像的动态范围与所使用的位的量紧密联系。尽管对于线性编码而言将是这样的，就像例如需要更多的位来很好地跨像素的较大范围的光电子变动的相机的adc那样，并且尽管具有至少在某种程度上更高的编码精确度、例如具有获得更高动态范围的位是好事，但是所需的位的量还取决于所选取的明度代码分配函数的形状，所述函数也被称为光电传递函数(oetf)。因此，10位的y'cbcr编码图像既可以是某种hdr图像(其颜色能被编码至某一pb_c值)，也可以是具有高精确度的sdr图像。其为哪种类型的图像，即，如何将所述明度以足够高的pb_d绘制到显示器上，从而能够将所有的编码明度显示成对应明亮度将通常通过读取元数据、诸如例如所接收到的图像的以尼特为单位的共同编码pb_c值来确定。所述pb_c实际上也能被解释为理想参考显示器的pb_d，对于所述理想参考显示器而言，已经对图像进行了颜色分级，即，在所述显示器上所述图像看起来最佳，而不是过暗或过亮。
因此，能够对具有高达例如1000尼特的待绘制明亮度的图像进行编码的图像编码是获得良好质量的hdr的良好起点，并且读者可以在需要总结下文教导的部分时记住这样的设置，除非提到了其他具体细节。
因此，在实践中存在能够具有非常高的动态范围的场景(例如，室内捕获暗至1尼特的物体，而同时穿过窗户看向外面具有超过10000尼特的明亮度的受到阳光照射的物体)，并且由于显示器正在变得越来越好(pb的明亮度是100尼特的数倍高，当前为1000尼特，并且数千尼特的pb正在设想中)，因而目标是能够生动地绘制这些图像，尽管并且很重要的是：其未必一定和原始情况完全相同，但是至少非常自然或者至少令人愉悦。因此，hdr不仅与最亮或者最暗颜色有关，而且还与其之间的所有明亮度有关，即，实际上其与最终给人的心理视觉外观有关。当然，在技术上，对于一些hdr处理技术(如仅编码)而言，可以依据将要在显示器上绘制的技术明亮度对所需的外观进行公式表达，因为这是将通过正确地驱动显示器而必须发生的，这样人才能看到正确绘制的颜色。但是申请人想要强调的是(为了使读者理解下文的整体思路以及其含义)，当希望设计通用hdr技术系统时，必须废除根深蒂固的纯编码的直接1对1连接视图的范例。在rec.709中，广播者可以在其标准的(仅存在的)sdr监视器上看到其正在捕获什么样的明亮度(通过监视所述明亮度如何在其监视器上绘制)以及在家庭中的所有电视上将绘制什么样的明亮度，所述明亮度将到处都一样，因为只有单一风格的100尼特pb_dsdr显示器。广播者之后所需做的唯一事情是通过适当地应用平方根函数将那些将要绘制的(相机测得的)明亮度转化成明度代码(因为这样的代码将更好地使用可用传输技术的技术细节)，并且然后，在接收器侧，逆(eotf)函数然后将保证，基本上在与创建侧相同的观看环境下，大致在相同的电视上观看解码内容的观看者将如期望地体验所述节目。这仍然是hdr10的观点。其使用与在rec.709中的不同形状的eotf，但是在接收侧仍然以相同的明亮度绘制在创建侧能视化的参考显示器绘制颜色，其方式是仅向所接收到的明度应用固定的数学方程。但是，现实的hdr世界是高度可变的，不同的观看者将利用具有不同pb_d的不同显示器、在其观看室中的等的数量也不同等。并且这也正是hdr10编码hdr电影饱受批判之处：由于hdr电影含有许多相对较暗的像素，因而那些像素在亮的周围照明之下将变得难以观看(尽管在视频的相对较暗的部分中常常有重要的动作发生)。hdr10没有提供针对该问题的解决方案，而是希望显示制造者将解决该问题。然而，申请人认为其总体上是一项取决于hdr场景图像的类型的复杂问题，应当具有一项使内容创建者能够对hdr图像颜色的最终(可变的，即，在预期颜色的某一明亮度与明度表示之间并非是一对一的直接关联逆反固定数学关系)显示器绘制有发言权的机制。
读者还应当理解，由于观看者通常是在不同的情况下观看内容(夜间坐在光线暗淡的客厅里或者在光线暗淡的家里或电影院里，而不是实际站在明亮的非洲景区内)，因而场景中的明亮度与最终在电视(或者其他显示器)上绘制的那些明亮度之间不具有一致性。实际上，不管什么电视都不会精确地绘制至少某些对象，例如，十亿尼特的太阳，观看者也不想被其闪瞎了眼(在观看小屏幕时，角度或者由此确定的闪耀与4*pi立体角环绕环境中是不同的，所以也应当注意这一点)。申请人通过定义主hdr颜色分级解决了从由相机捕获的相对rgb值到要显示器绘制的适当明亮度的转换，所述转换是在编码和通信时开始的。这种经hdr分级的图像组能够是由艺术家根据需要创建的(对于读者而言显然的是，尽管我们可能提到了艺术家，但是本发明的技术方面应当允许艺术家进行其要求的通信和控制)，如果艺术家具有可用的参考监视器，例如，其可能坐在典型的观看环境内，并且针对5000尼特pb显示器对其(一幅或多幅)hdr图像进行完美地分级。但是这只是一般的思路，亦即，能够(根本上，在要求的新的视频组中)一致地确定针对hdr场景在审美上令人愉悦的外观图像(并且能够忠实地绘制该图像，如果一个人刚好在相同的观看情况约束条件下在相同的5000尼特pb_d显示器上观看该图像的话)。下文将解释如果得到了5000尼特hdr图像的消费者仅具有1000尼特的显示器会发生什么(显示器调谐)。这仍然是全然不同的问题，其离直接1对1通信方案能够解决的问题已经很远了，并且这时能够开始思考那个具有一个参考显示器pb_d的单参考系统这时将是什么样子。
如果本申请谈的是“高动态范围”图像，那么这意味着其中之一具有适合于显示在至少1000尼特pb_d显示器上的图像内容(当然，所述内容也能够显示在100尼特或500尼特显示器上，但是这样不像其本该可以的那么理想，例如，灯光会比理想情况暗)。因此，在该图像中，将存在使其当在较高pb_d显示器上示出时会在视觉上有趣的的内容，即，有一些图像对象比平均水平亮得多(或者与最亮颜色形成了反向对比，其可以归一化为y＝1；至少一些物体比针对sdr图像的典型情况暗得多)。例如，室内场景可以具有在原始场景中高达500尼特或者甚至更高的明亮度，并且取决于是否具有良好照明的温室或者几尼特或更低的狭窄隧道区域，而外部明亮度在真实世界中可能有数千尼特。因此，可以在显示器上绘制低于100尼特的室内场景，并且使用该显示器可用的任何最佳地应用于室外对象的以上能力，例如，如果取得的是“阴天”的电影或节目，其高达500尼特，并且如果是阳光充足的室外，其高达1500尼特(假设具有能够绘制高达1500尼特或更高的明亮度的显示器的话(pb_d>＝1500尼特))。因此，即使在绘制中，在较亮的图案区域与较暗的图像区域之间也可能存在(1500/2)/(100/2)或者至少500/100的比值(其通常能被定义为受到不同照明的区域，即，各区域的中点仍然因物体反射而具有高达100:1并且通常为30:1的区域内对比度)。如果借助于连续函数将其与明度代码相关联，那么这些明度也将被扩展开，但是对于指定内容用处不大(其将取决于oetf形状，并且有可能取决于技术要求)。当本申请提及较低(低于hdr图像)或者低动态范围图像时，我们谈论的是具有低至少一级(stop)(乘法因子2)或者通常至少2-3级(4×或8×或更高)的峰值亮度(或者实际上与pb的参考显示器相关联)的图像(有可能是完全相同的原始相机捕获的场景图像、即相同场景的hdr图像的有可能受到不同分级的外观)。sdr图像将符合100尼特的标准规定的pb_c。这些图像中的所有物体的对比率通常不会远高于100:1或者最大高达1000:1，即，通常看到均匀得多的明亮度或明度直方图。
如果知道需要为其定义明度代码的图像像素明亮度动态范围(最终应当绘制的)，那么所需的第二件事情是如何实际分配代码，即，哪一代码分配函数将对应的明度代码y'(不仅是通常可以映射至相关联的参考显示器的pb_d的10位编码中的1023，而且还有例如明度代码743应当与哪一明亮度相对应)与物体或像素明亮度y相关联，或者反之亦然。
在过去的2-5年里，数家公司已经提出了对hdr视频(即，活动图像或者换言之时间上相继的图像构成的组)进行编码的不同方式。已经在某种程度上有了对首个产品的冲刺，其预计在2016年发布，因而不管hdr图像编码和处理的复杂性如何，一些棱角已经被剪切。这得到了不同的编码技术，其甚至基于不同的基本原理。未迎来最终的决定将意味着所有的图像处理系统将需要能够考虑所述差异，并且这可能变得相当复杂(当然是与5年前的sdr视频时代的唯一比色法的简单性相比)。
杜比实验室公司拿出了一种两层系统(即，需要基础图像和校正图像来制成一幅hdr图像，其与视频压缩中的可缩放性理念相符)，其有些过于昂贵，难以投放到廉价芯片中，但是该公式还设计了单层编码并且贡献了基础eotf，即所谓的感知量化器pq，其最近被标准化为smptest.2084。
在以下文章中对这项技术做了很好的解释：https://www.smpte.org/sites/default/files/2014-05-06-eotf-miller-1-2-handout.pdf。
其背后的思路是，不管使用多少位(或者至少对于如14位或更少位的实际数字而言，对于实际生活中可能出现的高动态范围而言，如针对20级或更多级场景的主分级那样)，传统上用于相机的将场景明亮度转化为明度代码的经典平方根(或者更确切的rec.709)光电子转换或传递函数oetf(二次幂eotf的逆)都不适合于在hdr图像中可能出现的不同区域之间的高对比率。但是，其已经被证明是良好的启示。尽管由于crt电子枪的偶然物理行为的原因最初设计的平方根函数密切地遵循人类视觉将场景明亮度转换为视觉亮度代码的方式，但这是一种最佳地使用所述代码的方式(其中，下一代码对应于下一生理视觉亮度印象，因而不会有太多代码被浪费在无论如何都不容易感知的内容上，也不会有因代码过少而不能准确地对平滑、精确的明亮度梯度进行编码的区域(这种情况更糟))。现在能够概括出这样的曲线，其针对每个相继的明亮度间隔(例如，明亮度提高一级)给出了大致相等的量的明度代码直至最大能编码明亮度，杜比通常将所述最大能编码明亮度取为10000尼特(其实际上将足以实现实用的显示器绘制，因为一些人已经在抱怨其太亮了，尽管根据实验可以发现甚至可以制做出具有更大区域的、并且甚至超过20000尼特的闪光区域的令人印象深刻的图像，但是当然一切要取决于如何沿着可能的范围分配各种图像对象的明亮度，而且不必总是始终将其一直填充至每种图像的pb；并且那些抱怨亮得让人难受的图像可能带来危险的人将发现晚上的满月也有5000尼特，而没有任何人会因盯着月亮看而致盲)。
因此，杜比标准化了一种参考eotf，并且能够使用它的作为oetf的逆(或者在想要另外的表现时大致使用所述逆)来定义针对图像中的所有对象/像素的明度，并且然后，能够在应用平常的hevc编码技术之后将那些代码(通常按照经典方式被彩色编码为ycbcr，但是也可以使用rgb编码)放置到例如蓝光盘上。然后，可以具有针对所述bd的主hdr分级，能够通过能够对其解码的5000尼特电视按照艺术家预期的方式对其进行绘制。因而获得了一种机制，从而端到端、1对1地实现在消费者场所的消费者显示器上绘制某一场景的(仅有的)hdr图像。当然，当在下文说到时(例如，经由bd)，本领域技术人员将理解，其也意指所有其他图像或视频通信机制，例如，卫星广播，因为所介绍的理念具有广泛的适用性。该2084eotf也已经被选择作为针对hdr10编码的明度到明亮度映射函数。
英国广播公司bbc已经设计了一种不同方式的hdr视频编码。他们带来了一种标准化oetf(因为他们开始于从相机的角度而非从显示器端对参考显示器的eotf进行标准化)，所述oetf具有存在一定程度的差别的形状。在以下文章中很好地描述了他们的观点和技术：
http://downloads.bbc.co.uk/rd/pubs/whp/whp-pdf-files/whp283.pdf
他们定义的oetf密切遵循经典的平方根rec.709oetf函数形状，直至经典的100尼特rec.709oetf的中间灰度(y'＝0,5)，并且对于更高明亮度而言，所述oetf变为具有对数特征，从而能够将场景的白色物体颜色以上的更多亮色压缩到可用的代码中。其灵感源自于相机在需要针对有点过于hdr化的场景做出良好的ldr输出图像时长久以来所做的工作。即，可能具有例如一些过亮的区域而不是具有大约200:1的像素明亮度对比率，因而试图挤入到是场景白色的四×高的明亮度内，场景白色将被映射至y'＝255，因而绘制明亮度为y＝100尼特。尽管场景中的白色物体将因而被绘制成略灰的颜色，但是其偶尔也能够是在生理视觉上能接受的，因为大脑还看到并且解释了总图像中的较亮像素区域。能够始终通过仅仅降低相机曝光(例如，通过改变光圈)将这样的明亮场景明亮度映射至显示器pb，但是这样例如新闻播报员的脸也会变得过暗。因此，相机所做的遵循了该曲线，直至例如y'＝80％或者某一其他曲线拐点，而且由其开始将使用具有小斜率的曲线，因而其能够表示在其余的20％的代码中有相当多的较高场景明亮度。或者，可以使用某一具有相机特异性的对数曲线，其在某种程度上降低了较暗像素明亮度(因而可能使脸稍暗一些，但是在高对比度场景中这未必成为问题，因为观看者理解人是站在相对暗的(可能是阴影的)区域内，并且无论如何可以在较亮的显示器上对明亮度进行适当调整)，但是给实际上明亮的像素颜色释放了更多的代码，因而明亮像素颜色的表达通常会变得更粗糙一些，例如，受到温和的限幅。以这种方式，在最终被绘制为足够亮的颜色与较亮颜色的仍然合理的视觉质量之间达到了平衡。但是问题是，每个相机仍然在以不同方式在所捕获的相对场景明亮度与(当然实质上是绝对的)明度代码之间做着这种对数映射，当相机仍然只是格外好的ldr相机时，这仍然是合理的，但是当相机实际上良好的hdr相机(其应当捕获大概20级(stop)的复杂hdr场景)时这会更成问题。因此，bbc想要定义一种针对所有实际目的的固定曲线。通过将该固定oetf曲线作为明亮度映射曲线应用于作为输入的主hdr分级图像，仍将得到该图像的某一合理的sdr版本，并且如果对该图像进行了广播，那么旧版显示器能够直接绘制sdr图像，并且hdr显示器能够应用固定反曲线来重建所述主hdr图像。而且，bbc方法的优点是几乎不用做出技术上的改变，因为一切几乎都像以前一样运行(但是其可能具有过度的不可靠性，而且会在制作或者至少在某些视频组合中伴有代价)。
他们可能具有各种不同的出发点，例如，杜比可能更多地关注专业电影市场，而bbc则可能更多地关注实际的电视要求，例如，秀的现场制作、所部署的电视装置等。但是本专利申请感兴趣的一个主要差别在于，bbc认为应当对像素明亮度(或者实际的颜色)进行相对表示，而杜比则认为应当对其进行绝对表示。这是主要的基本原理差异，因为其确定你站在要想得到最佳绘制而必须跨过的沟壑的涉及场景的一侧还是涉及显示器的一侧。其还是有关在需要合并的两幅图像中将对什么明亮度进行编码的主要差异，但是更进一步地，其可能影响这样的备选基本原理将如何从基本方案和属性的角度规定所述合并必须发生。
因此，bbc通过定义基础oetf而解决该问题，所述基础oetf定义了相对的主分级(或者至少相机捕获的，连同如选取曝光度这样的某些外观决定，并且可能是伽马曲线)hdr明亮度和明度，并且将通过应用某一系统伽马(其将既取决于显示器pb_d又取决于观看环境亮度)来计算适于绘制的显示明亮度。这将意味着，如果显示器制作者获得了bbc编码内容(其可以包含高达12×场景白色颜色水平的明亮度，但是所述明亮度可能不取决于实际场景内容和相机光圈设置)，其可以做两件事中的任一件。其可以使用bbc相对基本原理，并且总是将代码pb_c映射至显示器pb_d，而不管显示器pb_d是什么(并且因而可能应用某一伽马亮化和对比度修改函数，取决于实际具有哪一pb_d，但是至少白色将被绘制成白色，这种方案至少具有一个优点，即，如果碰巧没有这样的过亮区域，而是只有相对较暗的像素颜色，就像有雾的场景中那样，那么将按照容易校准的方式确立这样的较暗编码颜色也将被绘制得比pb_d暗，但是另一方面，将利用变化的pb_d明亮度来绘制场景的最亮部分，这看起来是一种用于组合图像数据的有利特性，但是真是这样吗？)。或者，他可以假装该编码图像明亮度数据刚好围绕pb_d值或者恰好是针对某一绝对明亮度pb_d值的，例如，1000尼特，那么当在电视仅有例如500尼特pb_d的情况下其将完成其自身的内部降级(通过盲色域映射)。然而，杜比认为应当按照绝对值指定将绘制哪些明亮度(至少在你具有高质量5000尼特sim2或pulsar显示器的情况下)，并且该图像是如何从审美的角度生成的都无关紧要，只要你能够沿着主eotf的0-10000尼特明亮度参考范围定义所需的物体明亮度即可。因而例如如果在恐怖电影中有阴暗的面部，那么在绝对方法中，通常说应当以例如15尼特绘制该图像，其既能够在低动态范围显示器上绘制，又能够在高动态范围显示器上绘制。然而，在相对方法中，该面部的亮度将缩放，即使不会离谱到100尼特的15％意味着5000尼特的15％，因为显示器pb相关的伽马函数将对其做出一定程度的校正，但是这样仍然不会如此精确地确定最终将在显示器上以何种明亮度绘制该面部。这使人想起艺术家将喜欢什么，如果在绘制侧能够发生这样多的变化，那么一定会倾向于更加精确的绝对绘制(如果使用全动态范围的显示器，当然观看者的敏感性将对应于其发生调整，但是如果内容将要求至少针对例如图像像素的99％要进行高达仅例如900尼特的绘制的话，也将通常使用hdr显示器的子范围)。而且，绝对明亮度编码也没有完整的答案，因为如果实际绘制的pb_d低于编码方案的pb_c，即，使图像最佳所需绘制的明亮度，那么仍然需要某种降级策略，该策略最好不要太过盲目，而是要对照特定hdr场景或场景类型的外观重新分级需求。读者能够想象，这样的不同基本原理不仅导致不同的确定代码的eotf，而且可能也导致对图像的不同处理，即，如何沿着该曲线或者其对应的参考明亮度范围将物体像素明亮度分配给各种区域。并且如果具有相对更简单的将具有特定pb_c的某一输入图像映射至某一具有较低的pb_d的显示器的问题时已经引起了困难的讨论，其中，仍然可以设想其可在某种程度上根据意愿对所述较低的pb_d的显示器加以设计(例如，如果使用我们所称的r曲线，那么由于其形状对明亮的东西有所提升，而且由于较亮的明亮度开始获得越来越小的斜率，因而将这些明亮度有效地压缩到了sdr明亮度范围的更小子范围内，即，如圆或椭圆的第一象限一样)，这时可以伸展例如hdr至sdr明亮度映射曲线的较暗颜色的提升部分，从而将最暗的颜色提升一点，这将提高输入明亮度范围或者所述曲线的该部分上的某一典型物体(例如，某人的外套)的亮度，之后读者能够想象在希望协调通常受到不同照明的而且有可能受到不同编码的具有不同动态范围的不同图像内的物体的亮度时事情可能变得更加复杂。
如杜比这样的申请人还认为最好定义主eotf，我们将其定义为0-5000尼特。一个原因在于，从明亮的非洲场景捕获的图像从绝对值的角度来看基本上不同于挪威的秋天的图像，因此，尽管能够总是应用所有种类的数学颜色(至少影响明亮度)变换，从而最终得到适当的明亮度外观，那么为什么不将这种差异编码到明度值中以及参考明亮度范围上的其对应的绝对明亮度中呢？(有利地，甚至可以设计那些明度以已经与生理视觉亮度相关，然后可以在从主起始hdr图像分级出不同动态范围(hdr10或bbc都没有)的对应图像时，在适当的额外曲线形状中更容易地对艺术需求进行编码。)但最重要的是，在最后，仅有像素颜色的最终绘制(即使那可能发生在不同pb的显示器上)，并且至少没有关联的参考显示器(不仅由峰值亮度定义，而且也由其作为eotf的灰度级行为定义)，所述图像仅仅是一组数字(希望能够得到正确地解码)，没有更多内容。这与hdr图像的最终体验有关，而与其如何恰好被设计成高达那个点不太相关，并且那也是分级者在其(一个或多个)参考显示器上看到的样子。必须要能够在生成侧制做出明确定义的起始图像。因此，我们必须通过对修复这个问题的参考eotf的标准化开始(否则，例如，用于颜色分级的计算机中的数字明度数值是未定义的)，并且然后能够在其顶部构建另外的系统(即使希望向所述系统中构建回某种相对性，至少那然后能够被相对控制，基于某种公共达成一致的参考明亮度测量系统被确定)。
现在，在上文已经总结了一些新颖的所需基本背景hdr发现，能够进入更实际的状况，即，有不同的可用图像，创建者由于某种原因决定必须要由一种或其他方法对其进行编码。
在图1中能够看到杜比eotf相对于bbceotf的行为的差异(本专利申请人设计了一种eotf，其非常类似于杜比pq，或者能够使用杜比pq)。oetf113是pqeotf(已经仅示出了高达1000尼特的部分，因为如果我们展示高达10000尼特的曲线图，另外两条曲线变得不清晰地小)。bbcoetf112是相对曲线，因此能够讨论应当对哪些绝对明亮度进行编码，但是假设其典型将达到高达500尼特(或者可能为1000尼特，但是那么其将开始示出错误并且变得不那么适当)。rec.709曲线仅能够将绝对明亮度编码到高达100尼特，并且应当记住，遥远的将来出于各种原因，仍然可能有许多sdr内容进入(例如，其不容易转换成某个hdr版本)。在y轴上，我们已经示出了相对明度，因为我们希望避免位深度论述，对于本申请而言这不那样相关(我们将假设所有编码都将为三个颜色通道使用10比特，因此，最大明度1023变为1023/1023＝1.0)。应当显而易见的是，如果得到输入明度0.5(即，512或8比特中的128)，根据所使用的编码方法，这能够表示对应明亮度的任何东西(在0.7附近某处，可能是10×不同，因此，简单地进行像素明度替换切换将突然产生非常暗或非常亮的替换像素)。在图1b中，示出了如果也在相对0-1.0的输入明亮度上对其进行定义曲线将如何不同。应当清楚，如果从编码图像的明度开始，则能够从反转曲线计算要绘制的明亮度。
现在，忽略所有实际问题，如各种编码质量之后的颜色误差、芯片重新设计成本等，可以说，如果仅需要传输单个hdr组的(一幅或多幅)图像，则全部三种编码机制都效果很好，该组图像是研究和开发以及标准化的第一阶段中关注的。
但是实际hdr处理系统需要更多，否则用户遗留下不确切的目的和问题，不能够如系统设计者那样做。
申请人设计了一种编码系统，其不仅能够针对现场中典型的单种显示器处理通信(编码)并且使用(最终适当绘制)单个标准化的hdr视频(每个人都需要具有5000尼特pb的显示器，或者可能仍然没有100尼特旧版电视的每个人都仅能够购买到1000尼特pb的电视)，而且这种系统能够处理现场中具有各种pb_d的各种可能显示器类型，方式是能够针对每个特定显示器计算最优(重新)分级的图像，申请人将该技术称为可调谐性或显示调谐。利用图2总结了其主要特性，尤其是解码器251(在本申请所需的程度上)。
申请人具有该方式，即：可以在显示器侧根据观看环境进行任何最终的外观优化，尽管未利用如bbc提出的最终伽马值，而是通过以下机制(尽管由例如电视或bd播放器内部的接收器计算)，该机制并非唯一由电视(即，其设计者)确定，并且也并非唯一基于接收器侧因子、如实际显示峰值亮度和观看周围亮度确定，而且还取决于图像内容自身，因为图像是复杂的，并且因此，其针对绘制侧特性的优化是复杂的。这与内容生成与内容使用之间的老的和困难的间隙相交。接收侧可以是实际知道实际有哪种显示能力可用的唯一一侧，而创建侧是仍然明确知道内容是关于什么、诸如艺术需求的唯一一侧。如果不能够销售电影导演或dop而非每个电视以优化接收侧的颜色外观，至少能够令创建者通过参数指定意图，至少大致地，利用图像创建者能够通过数学方式指定：“如果具有该pb_d的显示器，至少优选绘制像这样和这样的各种像素明亮度。”
申请人的工程师认为，取决于图像内容的部分可以通过以下方式处理：允许艺术家颜色分级者(尽管也可以同样使用自动图像分析功能，即，基于所建立的当前图像的明亮度性质来确定明亮度映射函数)根据其最优颜色变换在(显示峰值亮度的)可能范围的两个极值处指定哪种至少将针对对应于不同动态范围或实际pb_c的(仅)两种外观来改变对象像素明亮度。因此，hdr外观图像应当对应于相当高的pb_c，申请人选择其为5000尼特(尽管申请人也能够使用另一pb_c)，并且低dr图像也可以是100尼特的sdr分级，因为那将满足使用旧版sdr显示器的人们的例如一开始存在的市场的90％。因此，对于特定场景而言，颜色分级者可以说：“如果我仅有100尼特的pb，我必须在我看到以4000尼特绘制的图像中放置灯，以在绘制的图像中具有很好明亮出现的灯对象，但是现在那是不可能的，在95-100尼特下，当最优先期望显示明亮度范围上有足够明亮度空间以绘制充分明亮的房间中的更低明亮度的物体，即，在10尼特与90尼特之间，因此，现在我可能在恰好100尼特下放置所有灯像素”。例如，为了使夜景适当昏暗，并使街灯充分明亮，对于5000尼特和100尼特显示器绘制两者而言，能够做同样的事情。读者应当停止片刻，以思考使得夜间分级看起来适于夜间、即针对对象的正确明亮度并非那样不重要(例如，坐在阴影中照明不佳的区域中的黑人)，并且然后，在hdr和sdr两者中(尤其是另外的约束，如例如ic复杂性)，但是至少如果不如合理那样完美，则能够这样做(当然，如果显示器近似遵循该规范，并且自身不制作完全不同的图像)。
已经获得这两个分级的图像(m_hdr和m_ldr，其明亮度分布外观通常由人确定)之后，一个针对具有高质量hdr显示器以用于绘制图像的状况，一个针对旧版100尼特sdr显示器，申请人希望避免编码和传输两个完整组的图像，即针对双编码的需求，这将需要两个通道等。并且申请人还希望能利用现有的mpeg型基于dct的编码对两个不同dr分级的图像进行编码，因此，我们决定利用颜色变换函数(f_l)通过参数定义视频图像两个序列之一，以用于从实际传输的该组图像来计算图像(例如，尽管未必，图像的sdr序列)。因此，我们能够通过某种视频通信系统250(技术人员读者理解，能够在许多系统上采用我们的系统，例如，从专业视频供应服务，或者在家庭网络中连接的消费者装置之间，或者专业安全基于电缆的通信系统中向作为计算机的接收器在空中广播，其中接收器为电影院中的专业装置或者基于因特网的系统等)传输例如主hdr图像m_hdr，如由视频编码器203编码的hevc编码的视频信号s。所述编码器还添加定义颜色变换函数f_l的所有参数作为元数据，例如，sei消息或类似消息。或者反之亦然，能够与函数一起发送主ldr分级m_ldr，允许在接收侧重新计算高动态范围图像，如例如m_hdr。
因此，在创建(或转码)侧，例如将有某种颜色分级装置201，包含颜色变换单元202，其布置成根据需要确定并应用各种颜色变换函数f_l，以从先前创建的主hdr图像m_hdr(例如，典型为5000尼特pb_c)获得主ldr外观图像m_ldr(可以同时在同一颜色分级装置上做出或此前通过其他方式确定)。作为图像处理的范例，读者能够参照wo2014/056679，在此针对允许的国家全文并入该申请的教导。作为变换的范例，能够想象一种函数，其不影响色度，而是仅影响像素明亮度(为了理解简单起见，以下所有论述都集中于明亮度变换)，其稍微向下弯折更高明亮度，并且在函数的相对0-1.0hdr输入(x轴)到ldr输出绘图中提升更暗的颜色，从而它们在相对更暗的100尼特显示器上看起来充分亮(r形曲线)。但是，只要能够制做出两个相关的最优外观：ldr图像和hdr图像，更复杂的函数也是可能的，其定制地并且潜在地仅对一些对象明亮度进行局部细调，并且还变换色度方面，如饱和度。
现在，对于这种编码技术我们能够做的下一件事情是，如果实际上不需要重新计算5000尼特的(一幅或多幅)m_hdr图像，因为需要对于实际连接的峰值亮度pb_d＝1500尼特的显示器280具有正确分级的外观的m_mdr中等动态范围图像，例如，能够利用我们的显示调谐算法从所接收的例如m_hdr(或者在其他实施例/应用中，m_ldr)图像获得正确分级的m_mdr图像。接收侧具有经典的、例如hevc解码器260，其输出标称(例如，线性rgb或ycbcr)图像m_hdr以及用于将m_hdr变为m_ldr所需的颜色变换函数(f_l或者其反转形状的镜像函数)。基于全部这一信息，我们的颜色处理单元270中的颜色调谐单元271(对于这一示范性阐释实施例，我们假设其与电视独立，例如，在机顶盒内部，或者视频点播提供商的服务器中等，但是也可以存在于电视内部)不仅能够确定所需的最优函数f*_l，以从接收的(一幅或多幅)图像确定所需(一幅或多幅)m_mdr图像，而且还最终输出那些(一幅或多幅)中等动态范围图像m_mdr。根据希望哪个实施例变体，基于一个或多个f_lsdr至hdr明亮度变换函数针对sdr至mdr明亮度变换获得适当的f*_l函数的显示调谐算法会是相当复杂的，例如，为了考虑观看环境细节，但为了理解本申请，所有这些细节是超过所需的，因此读者能够仅仅注意将有某种明亮度函数f*_l应用，以从任何进入的编码的图像和mdr图像来获得例如伽马函数。
尽管这种机制现在允许具有最优的hdr图像绘制，不仅针对单个可能种类的hdr显示器(例如，每人都需要购买1000尼特pb_d的显示器，并且没有人能够买到3000尼特pb_d的显示器，并切仍然得到良好外观的图像，至少如果关注色度精确度时不是这样)，而且针对任何可能的显示器，这一额外的技术知识对于完全灵活的hdr处理生态系统仍然不足够。到此为止，所总结的技术仍然仅集中于从单一拍摄的hdr场景获得单个hdr组的视频图像，正确地输出到各种消费场所，以及在单个可用电视上适当绘制的方式。要准备好新的hdr视频技术，这曾经是令人畏缩的任务，因此稍晚延迟处理另外的方面。
但是，现在视频编程更加复杂。可能希望从所有种类的不同场所获得馈送，并且利用简单便携式设备(即使来自直升机的实况新闻馈送或某体育运动员利用绑到其头盔上的gopro拍摄其动作)制作视频内容(甚至对于消费者)已经变得容易，并且容易通过若干种通信手段，如例如因特网传输它。实际上，至少在理论上，因为消费者做出的大型部署可能仍然需要进行，电视正变得更像计算机，具有因特网连接，并且能够使用或共同供应被绘制为视觉信息的各种数据源。例如，我们期望通过各种方式使用视频，例如，可能正在后方观看新闻节目，并且同时，在某个显示器绘制的区域上播放某种视频游戏，无论那是同一显示器或相邻显示器的区域。
该问题确实开始于ldr区域中，但是不那样困难，因为所有视频都是在同一rec.709色度中定义的，并且或多或少相似地照明和曝光。并且，即使例如游戏的计算机图形也是相似定义的。但是当前，hdr视频或图像能够是任何东西，因为那是要满足的内容，因此，如果没有想到好的框架策略来处理，并且特别是组合多幅图像(部分)贡献，可以预期将来会有混乱。如上所述，在过去，所有视频都是在同一ldr框架中定义的，即，所有最大明度代码都对应于同一100尼特的绘制明亮度，并且可以借助于单一现有的rec.709eotf对与低于最大值的明度相对应的明亮度进行解码。
仍然有某种担心(尤其是在复杂制片中或者广播和其他现场制片之外)，以及对认真处理的需求，因为相机可能具有某种“微小”设置扭曲。重要的事情典型为白平衡(即，中性白色的色品方面，即，白色对象看起来过于偏蓝还是过于偏黄，当在不同相机馈送之间切换时这可能变得显著)和曝光设置。如果降低相机之一拍摄同一场景的曝光，该相机将很快被发现给出过暗的图像。尤其对于显著的相同展示的专业多相机制片而言，如新闻节目切分成实况报道那样，可以预期有不同的拍摄(尤其是如果其是业余移动电话视频)，或者至少那是完全不同外观的场景(例如，开罗的夜景，而不是美国照明良好的工作室)的拍摄(无论是暂时交织还是画中画)。现在，应当区分两种状况。当然，如果在夜景与沙漠日中场景之间切换，观看者将预期平均场景亮度中有某种差异，或者场景中的对象明亮度有差异，尽管其应当仍然是合理的差异，例如，沙漠场景不会惊吓到观看者，或者使其眯眼。但是另一方面，能够通过在相机曝光与绘制显示器的最终亮度的组合上播放来使得任何场景看起来像夜间或明亮。在sdr时代，如果摄影师必须做出不方便的曝光选择，有时导致奇怪的图像。例如，在很深的房间中的窗户很远处站立的某人会比接近窗户的物体看起来暗得多。摄影师然后希望对更暗区域中的人曝光，以使其看起来颜色很好，这可能导致图像左侧以及所有房间物体都完全被剪切成白色，使得观看者不得不观看丑陋的“半图像”。但是至少合理定义了色度。已知颜色会像这样展现，且与混合这样的图像还是单独绘制同样无关。在hdr时代，希望通过使所有区域都可编码而不是被剪切成白色来解决这样的问题，例如，根据房间明亮部分恰好对应于特定场景中演员或出场人员的明亮度有多亮，来降低曝光度。但是在希望和谐地混合视频内容时，那样令人厌恶将地返回成为问题，因此需要以下实施例技术。
此外，最近越来越复杂的相机具有额外的设置，如例如黑色伽马值。可能不容易完美匹配两个不同相机(如果其是同一品牌，至少可以例如关闭或设置类似的所有“外来”参数)，但是至少这是相机着色器的任务，这是对颜色差异有特殊眼光的工程师(或技术指导)，以对所有这些色度设置进行远程相机控制。这样解放了实际相机操作员以集中于分帧，这已经是足够困难的任务了，尤其对于演员在场景附近跳跃的一些制片而言。在任何情况下，在sdr框架中，即使稍微做错了一点，内容创建者确保至少其主要主题被合理照明(即，至少10％白色，或者中度灰之下近似1级，作为明度或视觉亮度印象)，组合有限范围100：1，这大致对应于各种漫反射，与其他对象明亮度相比，与定位不正确的某种对象明亮度的任何不正确组合典型地不会过于不和谐(至少关键观看者可以察觉到某些东西错误，例如，可能是黑色变得稍微有点牛奶灰，或者以大明亮度差异闪烁，或者成为可能在hdr生产中发生的事情)。
但是现在，在刚刚到来的hdr时代，没有这样的单个0-100尼特的ldr参考范围，也没有在该范围中相对简单工作(即，典型地，进行非极端颜色变换)的相机(和其他系统)。如在图1中能够看到的，即使将来我们选择仅使用可能的hdr编解码器中的(不明显的)一种，仍将会获得由ldr编解码器定义的某些内容。5000尼特与100尼特之间的差异非常大，不能称其为“微小”外观改变(有时实际仅被专业人员注意到)，而是非常显著的，并且可能极端地成为刺激性变化(并且我们可以预期，如果像电视那样的各种设备将来可能会根据其设计者的偏好连同该巨大颜色空间的巨大的明亮度范围一起工作，那种可变化性也可能变得更加极端，并且不是希望出现的情况)。
如果正在观看来自单个源的单个节目，问题可能尚不那么明显。例如，如果某人正在黑暗环境中观看高pb_d显示器的hdr内容，颜色可能稍微过亮，但是至少他的眼睛能够调节。如果有某种参考来通过例如两个视频的画中画(pip)表示来判断图像，差异始终会变得非常明显。
由于当前图像能够来自任何地方，未必全都在导演的控制下，该导演决定并非在受控框架中自身示出的图像的外观，而是可能有时第一次一起来自显示器侧(例如，插入专用商业广告)，迫切需要良好的框架来协调各种原始hdr图像的组合。
因此，如所述的，(新颖的)hdr技术的大部分恰好集中于能够通过传输明确定义的像素明度来完全传输hdr图像信息，然后能够将像素明度转换成要绘制的明亮度。如果具有比内容的pb_c更低的pb_d的显示器，可能将需要做某些事情，因为不能够在该显示器上绘制高达pb_c的明亮度。可以进行线性压缩(将白色映射至相对白色，即，实际在明亮度为pb_d的显示器上绘制具有编码明亮度pb_c的图像中的像素)，但是那样在所有可能性中，所绘制的图像将看起来是次优的(例如，图像的较暗部分中的一些可能看起来过暗，甚至可能发生的动作是不可见的)。因此，可以尝试进行更智能的明亮度映射，例如，利用r形曲线，保持较暗的明亮度合理的可见。通常，色域映射技术将是可能的，例如，在电视内部，但是这些将是盲目的，即，不能针对hdr图像的细节调整，并且因此是严重次优的。
us20150245004教导了，能够混合两幅图像，其中，至少一幅可以是hdr图像，并且另一幅可以是sdr图像。该申请描述了：能够有颜色空间中的失配(即，rgb三角形的宽度，因为在dcip3颜色定义中使用了与srgb通常视频定义中不同的其他加性基元，但是该色度方面对于本申请的解释而言是无关的，因为可以除本文主要实质之外能够选择它，亦即图像像素的明亮度，以及图像编码的对应动态范围)和动态范围中的失配两者。然而，该申请对应当如何或者能够对视频进行混合没有非常详细描述。第[0029]段提到了，所述混合能够发生在显示设备的颜色空间中，即，以本申请的名义结束于pb_d的动态范围。此外，所述处理似乎涉及转换成不同的传递函数tf或伽马校正，第[0027]段。最后，有非常一般性的教导，第[0036]段，关于合成单元可以评估视频内容的动态范围，并且假设其与不进一步详述的教导相对于，即可以进行对输入图像的统计分析，第[0028]段。技术人员会考虑现有知识解释这种情况。在sdr视频优化方面确实有教导，其观看输入视频的统计学性质，亦即明亮度直方图的端点，并且尤其针对可用显示范围优化该直方图。例如，由于各种原因，所拍摄图像中的黑色或最暗像素比它们可能(或应当)的更亮并不常见，例如，30而非0的明度(再次暂时忽略关于溢流保护范围、显示器光泄露、取决于照明的可见性问题等的复杂细节)。然后，可以拉伸直方图以具有最低图像明度0而不是30，这导致漂亮的图像，因为图像结构的对比度增大，以及更好的黑色，对于暗的周围观看尤其好。
实际上，当需要表面上设计一种视频混合器时，无需教导进一步的发明细节，技术人员可能具有以下两个选择以如图13所解释地考虑(除了结合图1所阐述的混合明度代码之外，尽管纯sdr图像混合很好并且简单，但是当具有不同方式定义的图像时不那么明显或智能)。如果教导指出因为不同的传递函数需要转换，技术人员将思考如在图13a中的自然设计的混合系统。在这种混合中，具有一定范围的自然明亮度(1301)，例如，高达50000尼特，这足够大，并且事实上，无论代码清晰度的oetf形状如何，都将它们转换成明亮度。这两幅图像然后都包含(物理上唯一定义的)明亮度，然后当然在原理上可以将它们混合，但是问题是那将是否足够，给定实际的生理视觉和艺术考虑。第二，如果我们映射至通常预建立的显示器动态范围(1302)，pb_d为例如700尼特[由此为了简单起见，现在跳过oetf的步骤以及纯粹关于对应明亮度的原因]，那么可以考虑的另一个自然映射(相对映射范式，例如)是向着显示器的能力调节(基于“图像的统计学性质”)图像(即，向着显示器的动态范围调节图像的动态范围)。这样做的自然方式是拉伸范围(即，对应于白到白映射)、例如线性地拉伸。还可以应用某种伽玛形状的映射函数，但是问题是那样的话，伽玛系数应当是什么以及为什么。但是这样产生的结果是在若干种情况下我们恰好希望避免的那些。如果将例如有雪的景色的sdr图像拉伸到700尼特，可能会变成亮到令人厌烦。
此外，尽管这些自然映射系统从仅仅关于其端点的考虑而言不是完美的，端点例如是应当映射的最亮颜色，这样的技术完全忽略了所述哪些可能是hdr最重要的方面，亦即所有对象明亮度在动态范围的端点之间(精确控制的)分布(并且当前，那仍看起来是许多、如果不是大部分专家的误解，他们看起来坚持hdr仅仅是关于任何技术都能实现的白明亮度值除以黑色，尽管在更低动态范围显示器上正确绘制的图像常常能够看起来好于在更高dr显示器上控制不好的图像，例如，从对比度和hdr效应方面)。通过集中于在pb_c＝5000尼特的hdr主分级上具有雪的范例，能够容易理解，动态范围不仅仅关于技术端点。分级者例如将映射太阳下雪的最亮部分，而另一分级者可以将其置于仅550尼特、因此基本上这看起来像更低动态范围的状况，因为编解码器的大部分能力未用于这一图像。在sdr分级中，能够假设通常分级者将以100尼特放置雪的最亮像素。对于mdr分级的图像，然后能够考虑最亮像素应当落在什么明亮度处，即使当仅绘制一幅图像而不是各种图像内容的可能非常复杂的混合时。因此，如何知道应当以什么最终(混合)明亮度最终绘制雪像素，其是否来自sdr图像，其是否在最大1.0处相对地编码，或者来自“某种”hdr图像编码，其中，即使因为那可能不是最重要的确定因子而忽略oetf形状，雪像素表面上稍微任意绘制例如0.126的相对明亮度。
图14阐明了另一个重要点，仅仅关注任何技术系统的动态范围的方法忽略了该重要点，无论某些编码对应于理论参考显示器或者是实际显示器等，因为某些东西主要具有由端点定义的范围，例如，色域映射的盲明亮度变换将如何工作。尤其是在hdr中，对物体的照明不需要严格地控制，例如，像在sdr新闻工作室中那样，而是在原则上能够是任何东西。如果在太阳下步行通过树林中的空地，例如，草地区域，能够在视觉上感知到，树林内部可能已经看起来很黑了。当然，那并非全部因为那会是黑色的，因为树木像任何别处一样为褐色，并且林下植物同样为翠绿色，而是因为局部照明例如为没有树木从而得到阳光和天空的全部光照的空地局部照明的1/20th，甚至更小。并且1/20th开始对于人来说看起来像生理视觉的黑色，直到更靠近观看。
因此，像t恤的物体可能具有不同明亮度，即使在同一部电影中(换言之，可能全部落在例如1000尼特pb_c_hdr范围上；注意，分级者可以决定在其主分级中稍微约束变化，但是我们利用与相机拍摄的原始场景的相对明亮度的自然几乎1比1的关系来解释)。在太阳下，t恤将比开始的半阴影中亮+-5x，其中，t恤大多由蓝天的相当大立体角照射。实际上，100尼特在艺术上也将是良好的hdr显示器上“阴沉天气”绘制可能预期的样子，而500尼特可能看起来像真正日光那样弹出。走入林中越远，可以照到他的天空有越多区域被树叶遮挡，因此特定物体(在这种情况下为人的t恤)的明亮度将是例如100尼特，因此比明亮的t恤暗50×倍，因此最可能在该特定hdr场景的绘制上看起来也稍微有点黑。可能在用于家庭观看的影院hdr分级中，可以更保守地对明亮度分级，例如，给定值的一半，但是各种明亮度的分布仍然可以证明相同的点。因此，现在问题将在于，如果利用以上相对静态混合方式的任何方式在运行视频(具有其自己的明亮度细节)中插入这些各种t恤绘制，那将始终“自动”合理地好？并且如果不好，然后应当做什么？
技术实现要素：
可以通过具有一种用于组合两幅图像或图像的两个视频(im_hdr、im_ldr)的装置(301)来解决以上需要一种方法来合理地协调具有(可能非常)不同的动态范围的图像组合的问题，所述两幅图像或图像的所述两个视频中的一个为高动态范围图像或视频，所述装置包括：
动态范围建立单元(302)，其被布置成建立组合明亮度动态范围(combrng)，其特征在于至少最大明亮度(lmc)，所述最大明亮度基于以下中的至少一项来确定：所述两幅图像或图像的所述两个视频中的至少一个的最大明亮度，以及用于绘制所述两幅图像或图像的所述两个视频的显示器的峰值亮度，所述动态范围建立单元还包括明亮度锚确定单元(303)，所述明亮度锚确定单元被布置成确定所述组合明亮度动态范围(combrng)中的锚明亮度(anc)，
颜色变换单元(310)，其被布置成至少对所述两幅图像或所述两个视频的至少一个进行明亮度变换，其中，所述颜色变换单元(310)包括源锚明亮度读取单元(311)，所述源锚明亮度读取单元被布置成从第一源(350)读取至少一个源锚明亮度(l_sa1)，所述第一源提供所述两幅图像或所述两个视频中的第一图像或第一视频(im1_ldr)，并且其中，所述颜色变换单元被布置成建立要被应用于所述第一图像或所述第一视频的颜色变换(ff_1)，所述颜色变换通过具有以下性质而取决于所述源锚明亮度的值(l_sa1)：所述源锚明亮度(l_sa1)被映射至所述锚明亮度(anc)附近的输出明亮度；以及
图像组合单元(320)，其被布置成组合所述两幅图像或图像的所述两个视频以形成至少一幅输出图像(im_o)。首先，为了避免疑虑，通过图像的组合，表示各种可能的选项以在空间上，或者对于视频，还可能在时间上将图像内容放在一起。必须要在宽泛的拉丁源语言意义上将组合理解为“将两者放在一起”，而不是在更受限制的意义上，理解为例如混合，在本文中，我将此意义为逐个像素对两个源进行加权相加保留。技术人员理解，本发明的各实施例解决了针对视频的良好(明亮度和谐或协调匹配)组合的需求，该组合尤其发生于以下形式：各种画中画组合(当前这一般包括空间交织第一图像的至少一些像素与第二图像的一些像素，例如，在时间上变化的量上，这对应于如同纸一样翻动第一图像，并且显露出下方图像的像素，但是本发明将确保像素颜色，并且特别是其感知的亮度，将正确地对应)，诸如淡入淡出的混合组合，或时间散置，诸如例如在电影期间以固定时间切换到广告，等等。当由某个其他(整个或部分)第二图像替换图像的空间区域时，以及当第一视频的图像之间或之后暂时示出另一视频序列的图像时，都不应当有过大的亮度不协调(即，图像之一不应当看起来比其他过度更亮，例如，关于其主要直方图或关键对象)，尤其是在还有闪烁内容等时。在任何这样的情形中，能够建立组合明亮度动态范围(combrng)，这是(空白表示)组合图像的动态范围，要利用组合图像数据填充(例如，可以取两者的最大范围进行时间散置或相继)。
技术人员应当明了高动态范围图像是什么以及为什么，亦即不是针对100尼特的峰值亮度定义的旧版ldr图像的图像，即，不能够以经典ldr方式进行组合(表面上看起来在两个不同图像编码框架中定义的图像对象或像素明亮度之间有某种失配)。技术人员读者应当明了，如果该装置仅得到2幅静止图像(或例如5幅)，典型地，输出图像(im_o)将是一幅静止图像。在组合两幅或更多幅相继图像的视频的情况下，将生成输出视频，即那些图像以某种形式相继，例如，在每个视频具有针对每个时刻的图像的情况下，所得视频可以是α混合的混合视频，对于对应时刻具有与初始两个图像序列恰好相同量的图像，或者所得视频可以具有针对不同时刻的图像，例如，具有第一视频的100％长度，第二视频的+50％，其各种图像在混合中分配到一些时刻。
为了使本专利的教导可读并且简洁，我们将假装实施例仅对明亮度进行变换(读者在阅读时能够假装图像为灰度级图像)，因为教导首要是关于如何处理明亮度动态范围的差异，以及这会给观看者带来的明亮度印象。然而，当然，技术人员理解，典型地将进行颜色变换，例如，他能够理解明亮度如何对应于线性r、g、b颜色定义，以及能够如何如在wo2014/056679中那样例如在线性rgb上对其颜色进行颜色变换来创建具有期望明亮度的像素。为了简洁起见，下文我们说到针对视频的某物，技术人员将理解其也可以应用于静止图像。在一些情况下，因为实时方面，视频可能期望简单的处理方式，因此提出了用于混合的优雅快速方案。性能更好的一些实施例将在人类艺术家干预下工作，因为人能够最好地判断hdr图像到底涉及什么，以及它们在各种混合的表示中需要什么，但是其他实施例将通过图像分析算法利用自动注释工作。
所述装置需要能够建立最合适的组合明亮度动态范围，这是新动态范围，其是非常复杂的组合问题变为更可管理问题的原因的一部分。如下文将解释的，这种需求不仅仅是已经存在的动态范围之一，亦即，已经发明并定义的，亦即，既不必是任何源图像的动态范围，也不是应当绘制该内容的最终显示器的动态范围(即使在组合期间知道，也不是对于所有实施例都成立)，期望的显示器(在一些实施例中可能不知道，尽管一些创建侧装置可能对良好的参考显示器可以是什么具有合理估计，这是本领域在消费者场所处典型为预期显示器的典型代表)。该组合明亮度动态范围应当使得组合的表示具有最佳视觉质量或对观看者有影响。那当然可以取决于要定义的内容的各个方面。如果主要内容(我们将其称为第二图像或第二视频，因为那使得权利要求更容易读)例如是电影，那么电影创建者例如将不希望他的电影受到过多干扰。例如，不应当使得在明亮的广告之后，观看者不能很好地看到电影黑暗场景中正在发生的任何其他内容。在这样的情形中，因为典型地两个视频中将有一个在其明亮度性质上失真，以使其与其他输入视频更和谐，并且因此，与组合视频更和谐，电影是最重要(或前导)视频，对其明亮度应当大部分保留不失真(在可能的情况下)。但是广告制片者或赞助商希望尽可能多地看到其广告出现于最终绘制中。颜色变换单元(310)和/或组合单元(320)可以实施以下策略：广告不能够超出电影，但是例如ldr广告不应当没必要地很暗地绘制。例如，如果与电影中另一相关对象相比，其看起来几乎是黑色的，那么面部可能不会看起来很漂亮。如上所述，与非常亮的日照区域相比，如果人类视觉系统调整其对该明亮区域上灰度值的解释，森林可能看起来是黑色的。因此，如果恰好在hdr电影或广播(或游戏等)中有非常亮的重要(大)区域，例如，2000尼特，并且尤其是当与组合的sdr像素紧邻时，那么仅大约20尼特的sdr对象可能看起来发黑，因此在组合之前希望进行某种加亮。同样地，例如面部特征或其他对象细节的可见性随着对象的平均明亮度和对比度而减小。尽管我们体验到，即使对于单图像，一些人也会抱怨在一些状况下对象亮度分布(例如，hdr绘制的像素明亮度直方图)并非完全最优，例如，在一些情形中过亮，视觉调整和人脑通常对绘制单图像相对宽容，因为大脑能够对该单图像中的所有对象应当是什么做出判断并调节。但是，如果现在对象在空间上是在另一图像中构成的，观看者一定会注意到差异很严重，即使某些内容在一帧中。因为大脑恰好判断图像内容中的一些为场景的亮度分布的基准，并且通常，场景不像pip那样没有联系，而是具有平滑的照明变化。如将示出的，表面上并不那么容易知道哪种是良好的亮度组合。至少，在单独视频的创建期间不能够那样做，因为例如电影的创建者不知道将(例如，由电视运营商)插入哪个局部广告，或者甚至，观看者将在观看电影的同时从例如pip的某个图像源选择哪个第二图像(可能由其家庭计算机流或者内容管理中央家庭装置传输)。还要指出，例如某个相对明亮对象的视觉重要性取决于其大小等。有两幅图像可用，该装置能够做出更智能的组合决策。例如，如果那是sdr图像，还可能需要其降低最大可绘制明亮度(lmc)，例如，以使得hdr内容更像第一图像。那可能取决于观察像素或对象明亮度的另外的性质(其中，对象是智能分组语意相关像素的集合)。例如，如果最亮的对象为灯，能够适应在组合动态范围(combrng)中在某个时间降低那些灯的亮度。那不是最惊人的hdr，而是hdr图像仍然能够用于绘制明亮的灯，并且尤其是对于峰值亮度(lm_mdr)低于组合图像(lmc)的亮度的所连接的显示器而言，不能都以恰好地、即以编解码器明亮度绘制最亮可编码灯。因此，然后仍然具有高动态范围电影，但是然后动态范围更适合组合的状况。
事实上，能够考虑两种典型的备选情形。通常，能够表示该组合动态范围，即，至少其上明亮度(lmc)是如下定义的：由装置查看一方面至少两幅图像的输入的需求，并且另一方面，如果关于其的某物已经可确认，则查看应当在其上绘制图像组合的所设想的显示器的动态范围(至少峰值亮度)(即，典型hdr显示器的适当绘制的图像内容的hdr需求)来定义。因此，一些实施例将需要单独基于两幅图像来确定combrng，如果没有任何或者没有那么多敏感项能够说成仍关于应当如何调谐这些加以使用(但是在一些实施例中，可能已经有朝向某种预期典型使用的调谐：例如，如果例如pb_c＝5000尼特的主hdr图像要主要显示于更低动态范围的显示器上，那么预期将相当多地与sdr图像材料散置，可以考虑已经在比pb_c＝5000尼特低的动态范围上，例如，1.5×预期典型消费侧显示器峰值亮度，例如1000尼特上生成——例如，针对用于传输的视频压缩——组合或可组合(在接收侧，表示某种图像信息仍然可能需要经过明亮度变换)图像，因此，组合动态范围将然后具有例如1500尼特的pb_c)。第一典型范例然后将具有hdr电影，即，两个相继图像的输入视频的更大动态范围，并且sdr内容应当是经过明亮度变换的，或者通过将其一个或多个源锚值放在共同传输的元数据中而至少进行适当注释，使得其与hdr电影、即前导内容进行了合理的和谐化(或者，能够使得在最终绘制场所处可以和谐)。然而，备选典型情形可能已经预先将hdr内容变换成某个更低动态范围，这更符合构思的典型显示器绘制和/或sdr内容插入。如果有实际显示器用于绘制例如750尼特的pb_d，这样的系统例如可以(或利用锚明亮度注释，以用于确定明亮度变换)将两个视频的明亮度(其可以发生在完全不同的制片场地和时间，这是一致锚定的能力)变换，以使得它们在例如1500或2000尼特的pb_c或者可能甚至1000尼特的pb_c的组合dr上和谐。然后，能够容易地将这种组合或能组合的内容降级到所需的pb_d＝750尼特的定义显示动态范围。
尤其因为申请人设计的框架中可以将(各种)最终(重新分级的)不同动态范围外观图像并非实际作为真实编码的图像来传输(即，像素颜色最终并固定定义于典型经dct压缩的图像的颜色分量中)，但是作为用于从任何主要图像计算这样的辅助图像的各种可能像素亮度的函数，那些函数能够被重新定义，并且因此能够传输更复杂的定义(例如，在各种状况、例如各种组合动态范围下应当如何计算针对至少一些特殊图像对象的图像明亮度的规范)。经典图像或视频编码仅编码和传输要使用的“该”图像，即，其像素明亮度如应当(！)绘制的那样，但是申请人能够发送完全不同的图像(即，所需的空间结构以及对象的纹理，但是没有正确的色度，特别是尚没有正确的图像对象或像素明亮度)，并且然后是最终如何为最终图像创建正确明亮度的方法的规定，在本申请中，最终图像将是组合图像，利用组合明亮度动态范围combrng上的其所有像素明亮度来定义。
类似地，可能有原因例如与图像中作为动态范围图像(动态范围为im2_rng)的一幅图像的最小值(lmih)相比增大组合范围的最小值(lmic)，例如，因为对于相对亮的ldr图像的组合而言(例如，如果其尚未非常精确地暗化)，组合的输出图像的全局(或hdr图像的至少一些暗部分局部的)亮度使得更暗的部分(唯一来自hdr图像)不能够被很好看到。即，通过将它们颜色变换成具有更亮黑色的combrng，能够适当加亮它们(那然后将因为选取组合范围而发生，并且不需要自己额外对hdr图像进行智能处理，即，甚至通过简单的颜色变换成combrng而适当地对其加亮)。
因此，读者能够理解，在图像处理链中的各个点处，例如，仍然在某个内容创建场所处，如何由装置典型在内容供应方的控制下定义最终内容，之后进入图像消费的图像链的该部分，或者某个图像消费场所(例如，在最终用户的负责下单独混合两种类型的内容，例如，由最终用户使用其遥控器或计算机控制器)，能够由人、可能半自动或自动地建立适当的组合动态范围。通常，这样的装置将既观看图像的内容(即，hdr质量，即，各种内容具有什么pb_c)，而且还观看各种对象或像素明亮度在pb_c处结束的动态范围上的分布，以及有什么种类的明亮对象[例如，hdr效应]，以及是否能够容易地使其发生明亮度失真而不对外观创建非常令人反感的修改)，以及最终使用这些图像的需求，即，典型地，显示器绘制(如果，例如要将图像供应到sdr显示器消费者的安装基底，然后更低的combrng可以是适当的)。当自动进行时，算法将使用启发式模型，其模拟人类组合器(即，制作组合图像的那些和/或用于此的元数据，例如，指定lmc值和至少一个锚定点，这将是要最终组合的两幅图像或两个视频中的至少一个的源锚定点)将使用什么作为方法。在combrng的黑暗侧，将通过基于诸如以下方面对这样的可见性进行建模来判断什么最暗的颜色将仍然相对良好可见：例如，来自更亮图像对象的最亮区域的眩光、预期的显示器泄露光以及因为典型显示器面板反射而造成的更暗颜色取决于环境光的掩蔽等。这种模型中的新元素与单独显示器和预期典型(例如，家庭影院，具有变暗的光)观看环境相比是次级图像内容的引入。但是通常因为典型首先建立combrng(在确定适当的锚之前)，这种估计可以是粗糙的(例如，不精确检查在哪里引入sdr内容，以及sdr图像的最亮部分，甚至潜在加亮的部分是否在地理上与电影的黑暗部分相邻，因此，潜在地造成相当大掩蔽，尽管一些实施例在建立combrng的上明亮度和下明亮度时也考虑所有那些，例如，在直接或迭代确定中，后者迭代地检查良好的锚明亮度将是什么，并且然后是对应适当的combrng极限明亮度)。
由于在各种应用中，粗略的组合可能已经是适当的(例如，如果电影观看者希望最终欣赏其电影，他不应当中断或者将其与任何额外的图像相组合，但是如果他这样做了，则他应当确认该前导视频内容的色度始终有某种失真，即使仅仅是生理视觉上感知到组合图像的总体图像印象，而非与在组合之前的它们的样子相比电影明亮度的实际改变)，这可能已经适合基于典型内容快速计算某种启发式更低明亮度lmic。例如，如果直方图示出了，大部分sdr内容落在10尼特与100尼特之间，则组合图像的显示区域的大约一半被明亮度高于50尼特的sdr像素占据，所述装置能够确立，对于该组合，其需要比例如0.01或者甚至0.1尼特更深的黑色(因为显示器典型的启发式算法判断更暗的图像结构将在这样的状况下将不被很好地看到)。使得组合范围的这种确立这样有趣的是(尽管hdr电影的初始内容创建者可能已经制做出定义了高达0.0001尼特的超级黑色的电影，对于在暗室中欣赏电影的情况而言，例如，能够绘制非常深黑色的oled显示器)，该组合装置(例如stb，或者甚至电视自身)现在能够通过在组合图像中放置hdr电影像素之前确定hdr电影(或通常前导内容)dr与组合动态范围、特别是那些动态范围的下部之间调节的适当明亮度映射，来决定稍微加亮hdr电影的最暗颜色。在明亮度范围的右侧，该算法将典型涉及确定仍然适合针对初始hdr图像多少剪切或对比度压缩(对于例如灯这将是不同的，灯不需要绘制内部结构，与日照的云朵相比，其中，将理想地在最终绘制的图像中具有充分的对比度，并且因此，针对其的任何图像编码[因此，理想地，最终图像的确定合理地简单基于编码的接收图像，这在其编码明亮度中已经大部分指定了所有像素的最终绘制的明亮度应当最终是什么]，因此对最亮图像颜色较少压缩，利用更大明度代码子集定义那些明亮区域，无论已经在组合图像中或组合前定义的hdr图像以前已经实际将其变换成组合图像像素)。因此，根据需求，例如，插入(对于电影制作者可以预期的，例如，在他通过特定渠道知道其电影——因此，电影的这种可能重新分级的定义——将与广告并排提供时)的不应看起来暗得令人厌烦的广告，可能必须将云朵挤压在sdr图像的最亮明亮度上方不太远的明亮明亮度的稍微较小区域中，至少在将该sdr图像转换以进行组合时。为了能够最适当地调谐这种图像需求(并且一般地，即，sdr图像的至少某个部分，以及典型地，hdr图像的某个重要部分或对象)并且针对各种引入的、例如sdr广告，理想地，该hdr图像为那些云指定若干重要明亮度，例如，3个，组合装置可以在其间改变，典型地，调暗各个云区域(由此，还减小雷雨云的例如暗灰部分的对比度)。但这是以下所教导的锚明亮度发挥作用的地方，该教导的本部分仅解释组合范围当然应当不以这样低的lmc值结束，使其开始破坏前导图像的外观(例如，如果电影是关于雷暴云的，如果云的某些部分被强地照明，例如，云朵被太阳照射的边缘，典型将具有很好的不同灰度，云的腹部不被太阳照射，而仅被环境光照射，因此它们会暗得多，那么如果combrng使得这些云朵必须在例如仅有10明度的combrng上方子范围中压缩，它们可能会暗得多，因为即使利用强函数明亮度拉伸作为显示器校正尝试，这也可能始终不会给出那些云朵的它们应当拥有的良好hdr绘制)。但是否则，组合装置能够决定对hdr图像亮度和对比度进行某种质量降低，以使(尤其是当来自更低需求的hdr场景时，例如，足球比赛，一些内容在太阳下，并且一些在阴影中)hdr图像与其将组合的典型或实际更低动态范围图像和谐。
当然，尽管动态范围(至少最大值，并且可能还有精确指定的非零最小值)是非常重要的针对图像最终外观的(起始)确定性质，但是这仍然未完全确定对象或像素亮度将位于该范围内哪里。简单的图像处理方法将确实假装全部所需的是某个动态范围的上限和下限，并且然后进行某种映射(常常根本不比仅仅线性压缩更智能，即，将输入内容白色映射至最终范围的白色，并且将输入内容黑色映射至最终范围的黑色)。并且那甚至可能也发生相当大的变化，尤其是当开始使用大动态范围的完整潜力时，对于非常关键的场景，既有要可绘制所需的明亮度，例如，洞穴中同时有许多深黑色，以及通过外部小裂隙看到的许多日照的颜色，甚至需要严格控制其对象内对比度的对象，诸如在薄雾笼罩中的人。但是如上所述，发明人认为，对hdr图像外观、并且尤其是对组合图像外观的良好控制对于combrng的极限之间的明亮度的全部或至少许多或至少最关键重要的那些的良好控制而言也是重要的，因此还需要别的某种东西以具有良好的hdr图像处理系统，特别是这样的装置能够无需其他困难的人为介入而针对实践中可能发生的任何状况生成适当外观的最终组合图像(因为不能在stb或电视中推销同一好莱坞导演，以令他为观看者确定适当的最终组合明亮度)。需要一种快速机制，其仍然能够由内容创建者很好地调节，无论他们的需求关键或复杂与否，以在图像内容组合的至少最实际情况中获得良好合理的高质量。
因此，用于充分控制组合的第二部件是该装置确定锚明亮度(anc)。那能够是各种事情，但是典型地是语义重要的对象的语义相关的明亮度。例如，能够以特定方式照明特别典型的重要对象，在总hdr图像范围的子范围中给出明亮度。其将是能够在某个组合范围中预期为很好的明亮度，以确定其周围的其他明亮度(即，该明亮度确定了明亮度的总体是否是适当亮度，既不过暗也不过亮)。换言之，如果正确地绘制了针对特定组合范围可能正确的任何锚的明亮度，那么其他明亮度也将不是坏的(利用图16，将图示能够如何利用更多技术部件，根据重建艺术家的期望控制它们以越来越好)。
图15示出了典型的hdr场景，具有照明相当不同的两个区域，亦即照明昏暗的谷仓(内)(参见图15a场景的几何性质)和照明相当明亮的阳光照耀的外部区域(外)。为了内容分级者从物理场景明亮度制做出适当外观的hdr图像以实现典型的电视观看(昏暗环境)，可能明智的是如在sdr图像中对室内照明进行分级，即，对于室内最亮的对象，高达100尼特。现实世界中室外明亮度大致是100×更亮，高达10000尼特，但是那会被体验为对于电视绘制而言过亮(即使观看者典型地会具有这样高端的10000尼特pb_d的显示器)。因此，分级者例如可以选择将这种场景制作成具有主hdr范围(drh)的hdr更亮的外部明亮度(在外部像素明亮度子范围sdrou中)，该范围对于最亮物体高达1200尼特(除了金属上可能有一些小的镜面反射)，典型平均外部明亮度为250尼特。
利用图15c图示了具有锚明亮度的能力(power)。在本范例中，我们已经使其简单，并且假设能够在所有状况下以相等明亮度绘制内部像素明亮度子范围sdrin的更暗明亮度(这将在组合范围上形成稳定、不变的明亮度集合，当然不需要始终是这种情况；例如，如果sdr广告包含许多明亮颜色，所述装置可以使用表征hdr主源图像材料的内部像素的较低锚点ancs_ins以实际稍微提高最暗像素，但是我们将利用以下情形阐明我们实施例的核心原理：其中，将仅使用一个锚点以在组合范围中对至少该第一主hdr图像的像素明亮度进行正确的明亮度定位(即，利用该组室外明亮像素的第二锚点ancs_outs))。首先，尽管可以使用感兴趣对象的任何明亮度，例如，典型光反射谱导致典型灰度值外观，当希望在这样的anc值附近确定像素的明亮度时，通常不坏的做法是在与合理相似照明的区域相对应的所有图像明亮度的直方图的子瓣中使用某种平均明亮的锚位置。读者能够想象，在下文利用图16，因为如果出于任何原因，该装置希望将这样的区域“重新光照”到例如更多光，那么能够利用锚点连续地加亮其周围的明亮度，就如同如果落到它们上的照明会增加那样，真实反射对象会变得更明亮。注意，为了自动确定何时计算代表性anc值，应当认真以免例如使云朵的非常亮的日光照射边缘的明亮度从合理平均值偏离该结果过多，因此，典型地，如果人能够与编码图像一起确定并传输锚明亮度，那将能够产生最佳结果。
因此，读者应当理解，有两种anc值，亦即，首先该结果(即，组合范围中的位置，其中，对应于anc定义的相同语义含义的图像的明亮度即接近这样的anc明亮度值，但是在(光照不同并且编码不同的)源动态范围中，应当最终当绘制或写入时落在组合图像中)，并且第二是针对所有或至少大部分输入图像(对应的)ancs值(在一些图像缺失注释anc的情况下，所述装置必须估计某个值，例如，sdr值，其不应当对于大部分典型sdr内容过分不合理)。如果定义了这样的anc值(即使是语义上与组合的那个不同的值，但是能够通过例如将其乘以4而与组合的那个相关的值)，然后，能够将输入内容与组合框架和谐化，并且因此与所有其他图像内容和谐化。
读者能够看到，anc值(即，图像组合的所得anc值，以及在两幅图像的实际混合之前准备的范围)如何与所确定的组合明亮度动态范围协调，即，典型地，至少其峰值亮度，例如，对于超级hdr质量组合pb_cs＝2000尼特。如果超级质量组合范围(cmbrngsup)是由动态范围建立单元(302)选择的，我们有可用的高质量动态范围，其接近主hdr内容的动态范围。因此，有意义的是还在250尼特处(在此，所述装置遵循在电视电影中绘制明亮区域的典型规则，这也是主分级者为主hdr图像选择(近似)250尼特的依据)定位所得的anc值(语义类型：“在平均明亮的第二子瓣上、外部颜色应当落在组合图像中的地方”)。这种组合状况将导致相关hdr明亮度的大部分(也是外部像素的)将很好地如内容创建者预期那样绘制，即，具有与在主hdr输入图像中编码的相同的明亮度，并且例如，仅有镜面反射需要稍微暗淡以降低到2000尼特以下。这是以上第一类型的情形的范例：该组合范围大致遵循原始主hdr视频内容，其被前导并且基本无明亮度失真地绘制，并且然后仅需要对sdr内容进行和谐(这将通过针对sdr图像查看对应1个或多个anc值来进行)。
对于质量较差的组合范围(comrnginf)而言，所述装置能够已经考虑所需的质量降低，也针对hdr主图像。这里，所述装置可能需要降低anc_outs值的位置，其可以例如典型地利用针对区域间和区域内对比度的启发式估计来这样做(即使不查看特定图像和场景，已经能够确定锚明亮度的良好位置的某个全局值，其应当针对电影的即将到来的各种不同的hdr镜头而相容地工作)。根据留下什么量的范围高于100尼特或换言之高于sdrin的较低明亮度，第二所得anc位置anc_outs2应当(例如，按照级别，10×为放置所有hdr效应的位置，无论它们可能是什么，即，反映明亮的阳光照明中的物体，但是也有灯或镜面反射，并且典型地还考虑了客户希望对高质量hdr图像看到的值，即，没有大的对象区域过亮也不过暗)被放在combrng中的明亮度位置，使得其亮区域或部分在100尼特以上具有充分的对比度(以具有真实日照的外观，例如，5-10倍可能是良好的值，并且这能够被表示为两个anc值的除法)，然而，仍然有充分大空间用于更亮的hdr效应，诸如物体上的小镜面反射区域、火焰或爆炸，或激光束，以及电影可能实际包含的要分级并且接近该1000尼特pb_c_inf的上限绘制的任何内容。自动方法的一些实施例可以通过计算误差估计来工作。例如，可以分析区域中的纹理，复杂性表示需要更高或更低的区域内对比度。
因此，如果仅知道两幅图像，例如，电影制作者正在创建的电影(利用至少一个anc值注释，并且可能已经明亮度映射至典型适当的combrng)和预期sdr内容的典型平均变体，那么该装置能够在组合之前在其重新加亮时，至少针对hdr图像的明亮度失真压缩以及sdr图像的失真或失谐来计算误差，如在图17中所图示的。能够既针对典型的平均情形和/或针对实际图像来计算这样的失真误差，平均情形例如是，具有针对一个或多个典型hdr场景的像素明亮度的概率，评估这样的场景将需要如何进行失真(大部分在图像的最亮区域中)，何时必须降级到具有pb_co1、pb_co2等的combrng等，实际图像即如果应用实际(最优)明亮度映射以将所有对象或区域明亮度从自然图像表示以及其动态范围映射至组合范围中的重新着色图像，考虑剩余的烦恼。在图17中，我们看到，示意性地阐述了errore_cmp能够如何与图像的至少一个部分或对象、例如云结构的压缩相关联。模拟人类分级者行为的各种实际实施例例如能够提取纹理，并且通过计算局部区域的纹理度量和其他空间和/或统计学度量来估计降级到更小子范围将有什么问题。例如，对于云而言，纹理分析器将发现，没有锐利的边界，并且对云的感知将基本上通过(许多)灰度值的(平滑)分布来进行，而不是通过典型的几何形状方面来进行(例如，苏格兰裙纹理的线性图案将允许更少明度代码中更多的压缩或海报效应)。即，如果将许多精细分级的、平滑分布的灰度值被映射至更有限集合并且具有不正确的明亮度，则将很快预期，将发生某种误差，这将禁止该装置在过大程度上这样做，特别是如果前导图像具有关键性色度重要性的时候，因为例如消费者应当能够欣赏电影的精细分级的艺术颜色质量，其不应当被降低到例如某些广告的常常极端并且闪烁的粗略分级(除了提供锚明亮度的主要概念之外，一些实施例将允许内容创建者利用另外的元数据指示他将允许在锚之间或附近有多大失真，例如，ancs_outs/10与ancs_outs*10之间的范围不应当优选被压缩或拉伸例如2或3倍)。
图17示出了更具体的阐述示例，即，能够如何表示误差，以基于这样的误差方程在实施例中获得明亮度和谐。要混合hdr谷仓图像和针对软饮料的sdr广告，除了它们的范围之外，我们还示出了场景图像的明亮度分布的直方图(分别为hist_hdr和低动态范围广告图像的直方图hist_sdr，在水平方向上，是总数图像像素中明亮度等于某个值li的像素数量的计数n(li))。在combrng的高达pb_comb、例如为1000尼特的更小上子范围中压缩hdr图像导致误差e_cmp。该误差能够利用例如针对加亮sdr内容的误差，或者对应于该combrng与构思的显示器的典型范围的不兼容性的误差来平衡。例如，如果考虑世界上每人都将具有1000尼特pb_d的显示器，可以将该误差e-cmp归一化到零，因为无论如何主内容的那种修改都需要发生。但是，那样例如1500尼特的combrng可能仍然更好，即，具有负的误差，指示如果对电影内容的视觉质量进行非常高的加权，则这是比1000尼特组合更高的质量。除了能够针对sdr内容的亮度偏离计算的误差之外，这可能较不重要(因为一方面，在sdr范式中，观看者必定能够快速针对不同亮度做出调整，但是另一方面，潜在“不正确”绘制的sdr图像的明亮度——例如，在具有针对该特定图像例如为1000尼特的最亮像素的hdr监视器上绘制其自己时——现在被许多专家或非专家观看者评断为过亮——现在不是被自身判断，而是相对于主hdr图像判断)，能够评估以下误差。能够确定sdr明亮度失配误差(e_mm)，并且这能够简单到combrng的anc_hdr值之间的差异，即，同样地，其中，理想地，hdr图像(ancs_outs)映射至的源图像anc值，并且sdr源锚明亮度ancb_sdr的实际映射至的明亮度(d_ancsdr)。即，最佳的和谐在本范例中将是根据如果d_ancsdr等于anc_hdr发生的启发。这样有效的原因在于，这种类型的hdr图像包含充分大区域的明亮外部像素(这就是为什么其内容创建者定义上锚明亮度ancs_outs的原因)。由于观看者当观看这种hdr电影场景时已经习惯于更亮的明亮度，为(例如，pip)sdr广告引入大致同样亮的像素远远没有在用户仅观看暗明亮度、例如洞中或地下室中5分钟时那么令人厌烦(在这种情况下，引入这样明亮的广告将可能会惊吓到观看者，或者至少显著破坏其对电影场景的其余部分的欣赏，至少在色度方面)。如果sdr内容的创建者使用其特定类型的锚，该系统效果尤其好，亦即，能够简单到他仅使用两种类型：平均值以上的明亮度，以及平均值以下的明亮度。不论明亮度实际如何实际分布在sdr明亮度的0.1-100尼特范围上，创建者都能够这样指示其为哪种sdr图像，并且因此应当如何对其进行绘制，特别是根据本发明，应当如何使其与各种可能的hdr图像子范围和谐。例如，sdr图像可以是不明亮或昏暗场景的正常内容(“低于平均值的明亮度”)，或者其可以是注定表示阳光场景的明度。我们假设广告制作者希望其被示为“阳光下的”场景，颜色看起来明亮并且鲜艳，组合中什么恰好明亮并鲜艳当然也取决于其他图像的颜色如何。
读者现在已经能够理解了要组合的图像的协调中锚明亮度的功能。即使在这样简单的系统中，并且假设广告内容创建者对应当“充分亮地”绘制其图像感兴趣(但是他可能永远不会对绘制其总图像内容中过亮的部分而烦扰观看者感兴趣)，但是，当然，还有与hdr电影创建者(更大，相等或者可能在一些情形中更小)重要性的图像质量期望，所述组合能够已经在hdr内容创建者然后仅包括较低ancs_ins的情况下，在hdr电影仅具有“较暗”内容的情况下立即正常工作。然后，所述装置理解，至少进入电影的这种场景没有(过多，重要的)明亮区域，并且因此，观看者将针对较暗的内容进行调整，例如，在该非限制性简单阐述性范例中，仅在sdr子范围sdrin上。因此，如果在该状况中其将ancb_sdr(即使假设其是“明亮的sdr内容”)映射至较低的anc_ins或者其附近，则所述装置能够制做出和谐的组合。附近意指装置中固定的、或者可定制的、典型乘法分数的高于或低于anc值的anc值，例如，在1/3或1/2之间到2或3×anc之间。可以基于以下方面(在运行时间由组合装置，或者在生成侧，例如，利用明确传输的附近明亮度边界)来确定附近的范围：诸如当被映射时允许的对象的明亮度误差、锚的类型或预期可变性的差异等。但是显然，如果ancb_sdr是例如100尼特的20％，如果甚至将其映射至3×25尼特(即，anc_ins附近的上限位置)，那么组合要比线性拉伸和谐得多(因为通常不需要实现完美，而是在外观精确度和实践中实现系统的复杂性之间平衡的实践合理的工作系统)，在线性拉伸中，sdr内容被直接了当地从白色映射至白色，即，100尼特到1000尼特，这样将平均ancb_sdr绘制为200尼特(！)，这可能使所有sdr图像对象看起来太亮，不令人愉悦(注意，原则上，甚至可以将anc指定为低于实际直方图明亮度，例如，该模式，即，直方图大部分发生的明亮度值，但是在任何情况下，实际明亮度将绘制类似的过亮)。
返回图15b，我们示出了锚以及其在任何combrng中的不同相对位置的定位如何有兴趣地涉及各种明亮度映射(影响它们)。函数tl_cs是明亮度映射，用于将原始主hdr图像明亮度映射至combrng中的明亮度(即，准备好进行图像组合，无论像素替换、α混合等)。申请人发现非常有用的是在相对轴系统中进行明亮度变换，即，输入明亮度和输出明亮度或明度都结束于1.0(在明度被用作垂直坐标时，考虑oetf来定义映射，例如，像smpte2084的某种固定定义oetf，或者用于后向兼容的图像通信的rec.709)。对于非常有用的明度，因为其将论述规避为垂直轴应当等于多少比特(1.0仅仅是最高的明度代码值，即，最亮的可编码颜色)。对于(例如，输入)明亮度轴，可能仍然思考这是或不是对明亮度的相对处理的其余部分，但是在任何情况下，能够针对任何到任何动态范围所需的图像变换定义所需曲线(因为这种版本能够始终在数学上等于其对应的绝对明亮度框架)。我们看到，如果我们希望保持较暗像素的绝对明亮度相等，在具有较低峰值亮度的相对轴系统中，这对应于将明亮度映射函数tl_cs的该部分升高到对角线以上，并且然后能够清楚地看到combrng的剩余上子范围如何导致某种压缩，对于优异质量的组合范围而言这并不过分。但是对于较差质量的组合范围，更亮hdr对象的压缩必须更严重，从获得该较差组合范围的对应明亮度映射函数、即tl_ci的形状也可以看出这点。在任何情况下，组合范围的峰值亮度的这种状况以及良好的锚点使得以下情况更清楚：一般，无论hdr镜头将恰好是什么，都将需要对明亮处进行某种压缩，这粗略看近似为这种形状(下文详述实施例的精确可能性)。通过组合两个函数还看到，如果需要从优异相对地变换至较差的combrng，将相对需要加亮较暗的像素，但是这在视觉上首先对应于对较亮的hdr区域的压缩(除了总的可用范围之外，该相对百分比子范围是对图像一部分编码或绘制质量的良好度量)。在任何情况下，将利用图16阐述申请人如何在其最典型的实际实施例中定义其明亮度变换，并且特别是非常有用的性质。
hdr视频处理(实际上仅仅是编码)方法，如hdr10，其仅仅考虑hdr图像的固定表示，甚至不需要传输一个固定的明亮度变换函数(因为他们能够在图像明亮度中放置所有hdr对象亮度分布，如果选取oetf为固定的，则当发送明度时，这将不需要传输oetf)。在hdr对象明亮度分布、即其重新分级到其他动态范围的性质上具有简单视图的技术，如bbc的hybridlog-gamma，能够使用固定函数以传输例如lut。
申请人希望内容创建者和用户(无论是电视制作人和/或最终观看者)两者都能够(层级地)解放hdr的完整质量，即，设计一种系统，其中，内容创建者能够逐渐指明其对hdr图像内容的期望(从粗到细，根据他有多么严格，或者他愿意花费多少时间和预算)，并且视频消耗侧然后还能够确定其希望在多大精度上遵循这些规范，或者最终系统是否希望在图像上赋予颜色处理的某种微风味，例如，通过从(一个或多个)精细分级函数中指定的对象对比度稍微偏离。
图16示出了当与申请人优选系统组合时锚能力的示例，该系统允许例如典型的人类分级者有层次地指定其明亮度重新分级需求，具有一组相继的函数。
考虑要在感知上均匀(近似对数形式)量化的输入和输出范围。这将创建明亮度的一组视觉上等距的层级，例如，超超级暗、超级暗、非常暗、暗等，直到极端明亮。然后能够设想，分级者能够通过使对象明亮度大致等于这些级别之一来定义其图像外观，例如，良好质量的hdr图像应当具有在极亮明亮度的子范围、即pb_c的90％与100％之间的灯明亮度。当然，输出的较低动态范围，这里为明亮度的组合范围(l_cmb_out)可以不一直拉伸到作为极高明亮度出现的水平，但是那样分级者将求助于将那些灯像素明亮度映射至可用的最高等级，例如，非常亮。这将形成明亮度映射函数形状的部分，并且读者能够理解分级者(或者还有使用图像分析启发的自动系统)能够如何得到某种完整明亮度映射函数形状。
现在，仅仅定义两个这样的轴将是典型的表面(但是相当直接)方式以将一个动态范围中定义的明亮度映射至第二、例如更小输出动态范围中的输出明亮度(那将与这幅曲线图中的对角线函数相等)。确实将形成“半合理”的输出明亮度，因为这种策略将任何源图像的白色映射至输出动态范围的可能最亮(可编码或可绘制)颜色，这将是因为对数定义还从输入到输出图像合理地在黑白之间扩展灰度值。
但是这给出了相当非镜面的图像，具有错误的明亮度和对比度，更不用说其允许艺术家针对任何特定hdr场景的组成很好地调节艺术需求了(尽管我们的谷仓场景在例如pb_c＝5000尼特的编码中的最亮和最暗像素可能与例如后方具有数个物体的黑暗房间中的台灯的图像中具有相同的值，当然，这两幅图像的图像组成和语意将非常不同，导致对各对象或像素明亮度的分级和重新分级非常不同的需求)。
因此，申请人已经针对单独的图像使用、即重建成例如原始5000尼特主hdr图像，或者因此最优显示调谐以获得最优mdr图像，用于驱动例如750尼特pb_d显示器，发明了一种明亮度映射定义系统，所述系统由能够指定至少两个相继功能构成。首先，粗重新分级函数f_crs_mdr在全局重新分配所有感知子范围的明亮度，以针对当前hdr图像以及其细节具有更好初始外观。我们看到某种大致r形的曲线，对此曲线而言，hdr场景像素明亮度的最高一半在输出明亮度的稍小子范围中被压缩，例如，用于驱动sdr显示器的sdr图像的明亮度，或者当主hdr图像具有5000尼特的pb_c时，与组合教导更好地匹配，1000尼特mdr图像。取决于对场景的需求，分级者可以调节该形状。例如，如果一些像素仅有一些镜面反射斑点，或者明亮度的上半部中的灯泡，分级者原则上甚至可以定义函数，该函数对输入明亮度的上半部剪切到1.0，因为那将显著降低该特定场景的视觉质量。但是如果上半部包含日光照射的云朵，即使降低曲线的局部斜率，也可能导致显著的质量错误。读者需要记住，我们在讨论相对明亮度轴，因此，如果输出是例如sdr范围，可能没有那么多明度代码和对应明亮度可用于忠实地同时绘制非常暗的明亮度、中等明亮度和非常亮的明亮度(例如，考虑3个照明不同的区域图像，例如，在更接近观看者的3d区域中昏暗厨房，其中，藏了一个黑人，正常光照的中间的房间，以及再次通过窗口看到的阳光照射的物体，如在图16b中示意性示出的；在图16c中示出了另一个典型的2区域范例，夜间街道中有一扇明亮的商店橱窗，即，与谷仓范例不同的语义，但是具有可以相似地处理的或者并非如内容创建者所确定的子区域)。
图16c可以是足够“简单”的(在hdr效应复杂性方面)，以能够充分分级，并且通过调节明亮度映射函数仅利用指定的粗分级函数f_crs_mdr来重新分级。
但是对于更复杂的3区域场景(r1指示明亮的日间室外街道，通过窗口看到像房屋的物体，中间区域r2是正常照明或昏暗的，即，具有典型的sdr明亮度，并且r3光线不足，即具有暗的明亮度)而言，可能更难以将所有明亮度子范围和对应的物体明亮度合理映射至尤其是更低动态范围(例如，sdr范围)的小子区域。在这样的情况下，分级者可以发现最优做法是使用额外曲线，亦即精细分级曲线f_fingr，该曲线要被应用于从粗分级获得的相对明亮度，即，效果是等价地从如所示的粗曲线形状偏离。但是这样的策略也能够应用于“更简单”的hdr场景，如图16c的夜间内部照射的商店橱窗。为了使商店橱窗以及其物体对比度和明亮度令人充分印象深刻，以使其看起来实际很亮(协调地，但是当在例如5000尼特hdr显示器、1000尼特hdr显示器上都绘制这一单独图像自身时，在100尼特pb_dsdr显示器上，只要显示器的有限能力允许，仍然合理地近似并且充分好)，并且还为了使相对较暗(至少在主hdr分级中)的夜间街道物体像素充分明亮可见，分级者可以创建f_crs_mdr函数，其在上端例如相对平坦。这可以为商店橱窗和黑暗街道两者都提供合理的总体外观，即已经有合理的总体图像外观。但是商店橱窗可能包含特定的物体，其不能很好地进行重新分级，一方面在于其明亮度、对比度或颜色，例如商店橱窗中的火焰，或者可以是服装模特白色颈部或衬衣的某些强烈光照的部分等。因此，分级者可以定义校正曲线(即，精细分级曲线f_fingr)，在照明范围的某个部分中，例如，其对应于该衬衣的明亮度，例如，降低亮度，例如，以获得更多物体内对比度，或者颜色丰富性或该函数实现的任何效果(甚至可以涉及各种空间局域化明亮度映射，以避免在场景其他区域中具有类似明亮度的其他物体的变化，但是精心设计我们系统的更多复杂性超过了理解本申请的需求)。
因此，有趣的是，粗略函数迅速利用容易的分级动作放置已经近似正确的所有对象明亮度(例如，在实施例之一中，他仅需要转动两个转盘，确定在1.0开始的明亮区的上部斜率，以及在0.0开始的函数的下部，并且我们的编码器然后自动确定平滑的粗糙分级曲线，然后能够由本发明和申请的各种hdr图像组合装置使用)。但是，那么“真实分级”能够通过精细调节图像对象的各个像素的明亮度而开始，并且因此，通过允许分级者确定精细分级曲线形状希望什么，来调节对应的对象内和对象间对比度。
正常的解码器或显示器调谐器将仅照原样使用这两条曲线。沿着编码方向进行(在使用向后兼容系统的情况下，这种系统将hdr图像信息实际作为旧版显示器可绘制的sdr图像来传输)，首先应用粗略分级函数，并且然后进行精细分级函数，创建对该特定hdr场景hdr主分级图像的最优外观的对应sdr图像，该hdr主分级图像为编码器的输入。在编码侧，为了从接收的(一幅或多幅)sdr图像重建主hdr图像近似，使用该精细和粗分级函数的逆函数，因为那实际是这两个最优函数之间的联系，这是在给定典型绘制状况下指定为最优的。即，具有hdr显示器，然后绘制hdr图像，并且当在典型观看条件下观看sdr显示器时，然后绘制该对的sdr图像(并且当具有pb_d显著偏离这两个分级图像的pb_c的显示器时，然后使用我们的显示调谐以创建适当对应于主hdr图像的中等动态范围外观图像，即，充分近似其对象明亮度外观，至少在较低显示器能力允许的程度上)。
但是现在我们具有这样的状况：我们需要组合内容，即，典型地可能需要再次修改至少一幅、可能所有图像的明亮度，以使得其和谐。在这样两条曲线中分级需求的分裂是非常强大的，因为这允许从可用(即使为组合进行过优化)输出动态范围中的各子范围的一般挤压分离对象相关的需求，诸如充分大的局部对比度。
因此，由锚明亮度定义的粗函数即使仅由线性段构成，现在也能够被用作子范围的备选粗分配，因为显然，在峰值亮度与所选组合范围基本相同的动态范围上，对于混合而言，那是比用于单独绘制例如hdr电影的原始粗函数f_crs_mdr更好的分级。现在，各实施例可以将f_crs_mdr曲线的各子段的形状相关，但是通常不需要这样做。重要的是，组合装置能够向各个新分配的优化等级应用精细分级细节(即，将主hdr图像的各个语义子区域，诸如云朵或内部的洞穴放到combrng的各子范围)，仍然基本保持精细分级曲线形状。因此，能够将偏差曲线偏移到新位置(沿着用于将输入hdr明亮度映射至组合范围、即f_cmb的最优粗曲线)，实现新的现在组合最优的精细分级曲线f_fincmb。例如，能够简单地通过使主明亮度相等，即在垂直线上偏移相乘偏差量来这样做。
读者现在应当开始理解，这样的基于锚的系统非常强大，用以使各种内容和谐，即使在复杂的明亮度重新分级需求方面，仍然以相对简单、因此可行的方式。
现在将首先描述更简单的实施例，其中，该装置能够自主地在hdr图像中并且在组合范围中以相关的方式确定这样的锚明亮度。最后，重要的是具有combrng中的锚明亮度，但在一些实施例中，可以容易使其与它在hdr图像中相等(在其他实施例中较不容易，在这样的情况下，hdr图像的内容创建者能够显式地对其进行共同编码为l_s2a1)。例如，将利用具有面部的重要示例阐述该原理(当然，人是重要的，因此，在许多图像或视频中，将有至少一个演员，或者主持人等，并且他们典型可以由内容创建者进行合理照射，但是在ldr区域中，始终无法精确指定合理地好将是什么，也不能指出其实际需要什么)。但是技术人员读者应当理解，我们关于(一个或多个)锚明亮度的教导是一般性的，因此，对于其他图像可以有其他锚明亮度，这些图像甚至可以没有面部，例如中间灰度明亮度。读者应当理解，在ldr时代中，中间灰度是独有的并且非常精确的内容(编码的中间，其典型将被绘制为平均外观的灰色，并且在原始场景中与大致18％白色的对象反射率对应，或者进入的照明，其也将因为相对的白色到白色绘制对应于近似18％的pb_d)，但是对于hdr而言则完全不是独有的(因为在相对暗照明的图像或者甚至图像的暗区域中可以有中间灰度反射物体，并且同样的灰色物体能够存在于相对亮照明的图像或区域中，尤其如果不希望再次强迫在ldr的直线夹克中使用hdr内容，照明和拍摄方式非常精确，但是希望有随意的光亮场景，随意的艺术级内容等)。
有利的是，如果那些锚明亮度中的一些是标准化的(因此，每个装置快速地理解任何图像输入的每种特定明亮度状况涉及什么)，但是即使第一图像被指定与第二图像不同的另一类型，或者图像的锚与该装置确定最优的那个(如果进一个)锚不同，以指定combrng，那么各种规范能够仍然大致相关。例如，如果未精确指定黑色(当然，就像hdr中那样，可以有各种白色和亮色，可以有各种黑色)，该装置可以根据状况(即，显示器的pb_d或其他能力，可能还有观看环境)假设其将要被绘制在该装置确定为其主要中间灰色以下例如2.5级或4级(无论那是第一锚明亮度anc还是辅助锚明亮度)。可以利用更小更高精确度描述(即，视频编码)和处理，例如，绘制黑色。如果内容生成创建者关心黑色中发生什么，例如，因为在灌木丛中藏着的罪犯有一些关键性动作，这应当被“半感知”，即，既不过于疑似也不被观看者错过，那么，他应当利用针对该子范围或颜色处理区域的额外的描述性元数据对图像或视频进行注释。具体而言，创建者应当为黑色定义至少一个锚明亮度。如果他不关心或关心较少，例如，因为在当前hdr场景中，在黑暗的地下室中，仅有一些背景纹理，像照片，它们可以绘制以或多或少相等的语义质量，无论它们看起来好或稍不好，那么创建者可以依赖于典型的接收侧或中间侧的黑色优化，其中，所述绘制装置能够以各种层级的明亮度对其进行绘制，只要其仍然看起来合理地黑即可(即，深黑、良好的黑或乳黑)。
因此，描述简单范例以使用户容易掌握我们发明的关键点，组合明亮度动态范围(combrng)中的锚明亮度(anc)指定在组合(输出)图像中面部明亮度应当是什么，以使其看起来适当。那当然将取决于面部照明良好、照明很强或者在阴影中。那样避免了例如广告或bd注释或视频电话会议中的演员或人等不会比在电影中过分更亮。当然，所述装置有手段不必精确并排两个面部明亮度，而是在偏移明亮度绘制一个面部(例如，如果前导hdr电影中的演员故意在非常暗处，但是hdr电影中的其余人更亮(得多)，不需要必然将广告调暗到该电影演员的明亮度具体值；注意，组合装置的一些实施例还可以通过使用启发式方法、例如电影的暗场景已经发生多长时间，例如通过保持自从前一相当不同anc明亮度或类型的例如日间场景之后过去的时间，一些实施例甚至可以利用另外的元数据来注释anc明亮度，例如，在电影场景开始处的anc具有第二数据要素，指示暗场景将持续多久，但是我们将在这里描述实施例的实质，假设一些内容创建者将不希望做许多注释的这种麻烦，并且将仅仅做简单的动作，即在图像中利用指针点击某处，或者其另一种表示，如直方图，以定义当前的anc值，其当然能够在用户界面中，然后通过例如在图像中在红伪色中的anc值的范围或附近展示图像中的所有明亮度，作为人选择anc值的验证)。
因此，所述装置知道根据状况细节，良好的面部绘制明亮度(这一阐述性范例的anc)应当实际在哪里(假设对于当前，一幅高加索面部的光谱反射率在波长上平均为大约36％，当然，在局部照明下，其他皮肤类型例如5％的反射率将落在相关combrng明亮度位置上)。读者能够不被更多细节打扰，并且更容易理解各个关键方面，假设combrng在本解释中仅仅是hdr图像(在图4中的im2_rng)的动态范围，并且所述装置知道沿该范围最重要的面部明亮度在哪里。如上文所解释的，在所述装置的各实施例中能够对最优combrng进行各种备选确定，这一方面取决于输入图像的明亮度特性的至少一些(可编码明亮度范围，实际在范围中的内容等)，只要其已经已知或者可估计，或者另一方面取决于图像内容的实际确定或预期的用途，例如，要在观看环境中绘制内容的显示器的明亮度能力(即，实际上，一般、平均或测试图像的典型外观，以及(一幅或多幅)特定当前图像)。这已经非常复杂，因为面部往往不仅仅具有一种颜色或明亮度(更不用说在一些电影中，面部可能被涂成蓝色等)。如果研究ldr图像中的各种面部，看到它们可能包含的像素明度甚至高达原则上ldr范围的极限(即，在对比度非常高的拍摄或分级中，面部的更暗部分的至少一些像素接近零，例如，在背光拍摄中，并且高亮剪切到255；有时，例如，对于消费内容而言，甚至看到面部的一半因为剪切为白色而消失)，尽管许多面部在正常照明和阴影区域之间具有更小对比度，即，更正常。我们可以在此将内容分成光照良好的图像与特殊光照的图像，例如，在现实现场生产中(现在甚至在例如新闻节目中结合由非专业人士制作的图像，如果那确实是夜景，面部可能光照不佳)。可以说，在这样复杂的状况中，可以简单地放弃精确绘制或组合，但是另一方面，也可以说，(从良好拍摄实践偏离)某些图像内容是在第一地点拍摄的越异常，就能够从稍晚例如使用适当的anc值对其进行规则化受益越多(例如，如果现场摄影师恰好在不利状况中，例如，他不能够对因某种原因而需要站在场景的较暗部分中的人进行照明，并且他恰好仅具有dr能力较低的相机，他可能需要以非完美方式优化其拍摄的图像，但是那样至少利用anc机制，他能够在向例如制片房间传输内容等之前迅速对这一图像的(外来)细节做出注释，例如，简单到利用其相机显示器或其便携式计算装置上的笔)。预计随着更好的相机和其他图像处理装置的出现，例如，出现了能够拍摄黑暗夜间场景的相机，如同它们是日间场景那样，在将来许多年中，(hdr)图像处理的复杂性将仅会增加，这样仅仅是因为将有各种制片标准和水平，例如，还有一些人仍然利用老旧质量差的手机供应新闻内容。因此，最好的解决方案将是开发能够很好处理所有那些状况的技术。例如，警匪电影可能具有苛刻的照明，例如，黑幕电影，具有对比度高的面部，以及强烈高亮区，例如，在头发中或秃顶面部上。脱口秀可以在对比度较低方式下照明，有时对于非专业人员几乎注意不到的阴影，并且可以利用更令人愉悦更均匀的照明来照射女性。还应当指出的是，当拍摄时，并不是例如4：1的(最亮与最暗一半面部)面部初始照明比，这是重要的，而不是编码图像中的样子(如何对对比度进行主分级)。这一对比度典型地可能经历过某种相机内raw明亮度到明度映射，并且如果图像是来自赛璐珞图像或电影的扫描，最终对比度可以取决于诸如显影、推送等方面。
我们已经发现，该方面例如在图4的阐述性范例中为面部颜色的范围，ldr图像中的面部颜色被软照射(因此，小范围的明亮度r_f)，并且hdr图像中的面部被更强地照射，因为据说是恐怖电影，导致更大范围的r_f2；例如，人可能正在走过聚光灯稀疏照明的过道，使其面部随时间在某个平均值附近忽明忽暗)。然而，从地理上讲，相关的还是面部如何被照明。如果在秃头上有例如小的白斑点，并且该图像被不适当地过亮地与combrng中的其他hdr电影混合，可能会听到评价，即，其看起来像他有一盏灯从其头部伸出(当这样的人快速闪过图像时，观看者可以形成这样混淆的识别，他可能丢失故事的一些，或者至少被分散注意力至图像的错误部分)。但是数个像素的小斑点未必是主要问题。为了确定典型面部颜色，那通常能够被忽略。当在hdr显示器上绘制时，能够看起来像那人被极亮的灯照射，但是至少光斑是小的(例如，数个像素)。如果他整个鼻子、他的眼睛或整个半张脸发生同样的情况，那么可能会更加令人担忧。
因此，通过能够在内容中指示面部明亮度(例如，第一，例如ldr图像中的l_sa1)，创建者还能够容易并且快速地不仅指出面部明亮度在哪里，而且也可能指出是什么明亮度分布类型。例如，如果在其头发中仅有小的高亮区，则他可以使用实际面部的更暗像素的平均明亮度作为l_sa1，被更亮绘制的一些像素将看起来合格。另一方面，如果面部的一半(或超过一半)被强光照，他可以使用该平均或其他表征明亮度值作为l_sa1，并且然后，其余部分将被绘制得更暗，并且那将典型是更好的方式以合并这一面部将与之合并的任何内容。在这种情况下，创建者仍然能够利用额外的元数据指示该面部实际是非典型明亮照明的面部，例如，正常照明以上的x级。这样的信息能够被有利地由组合装置用以判定然后应当(大致)在哪个明亮度(高于或低于combrng中的anc位置)绘制该面部。高加索(白人)面部的正常照明可以取自反射光谱，在波长上平均，其给出36％的反射率。因此，那是中等灰度的18％以上的一级(形成这两个可相关的值)。如上所述，在经典ldr框架中，也将在显示器峰值亮度的大致18％处，例如12％，绘制这一中间灰色。当然，根据其皮肤类型，其他种族应当被绘制为稍暗，因为否则可能难以在电影中为可能希望的人实际检测演员的皮肤类型，并且那可能会导致混淆。例如，黑色皮肤可以反射低至5％，即，比典型高加索人暗3级。至于绘制，可以在ldr范围中比100尼特的峰值亮度稍亮36％处绘制面部，以具有良好的“阳光照射”的面部。例如，图像创建者能够在元数据的第一字段中指示该面部对象的“平均”或参考明亮度的明度代码(经由eotf，可以将该明度计算为绝对明亮度)，例如，853，或者明度的归一化代码中的80％，并且他能够在第二字段中指示这是“2sb”类型的面部明亮度，意指其在比该场景局部的其余部分以及其图像亮两级处对其进行照射，等等。读者理解，能够通过不同的编码机制实现同样的目的，例如，还能够对第二锚点l_s2a1pks进行编码，这是仍然包含面部颜色的更亮k级的明亮度(例如，最亮一个，或者95％，或者仍然在面部中但不是头发高亮区的最亮一个)，以及在该hdr图像或视频图像镜头中指定这一面部某个更暗端部的第三锚点l_s2a1mks。因此，能够以(要被实施该系统的各种标准同意)标准可理解的方式指示各种类型的锚点，例如，利用一组枚举的类型，诸如“面部36”、“面部18”、“面部72”、“面部5”、“中度暗灰”、“中度黑”、“中度深黑”，或者能够使用数据的分级顺序注释，例如“面部”+“高1级”+“暗淡”(其中，那么，面部意指图像该部分中存在光的平均量的36％的反射，具有特定种类的照明，并且更重要地，要用于绘制那些像素的显示器的动态范围的特定子范围，以给出正确绘制的场景外观：“暗淡”将是中等明亮的颜色，其例如典型绘制于10-100尼特范围中的大部分或全部显示器上，低于该值，应当至少有一个黑色区域，并且优选地，稍微不那么良好照明的“黑色”区域，即，暗淡照明值除以高达10(或者典型地，1-10尼特明亮度)，以及深黑色、高达正常值1/100th的暗淡照明的区域(即，0.x直到1尼特照明)，在hdr艺术场景绘制中，这将典型地被用于例如在英雄仅拿一支蜡烛走过城堡时在城堡中看到的深度阴影场景。在暗照明上方，应当能够已经获得更大结果，制作很好控制的高质量hdr场景，如果为“明亮”增加区域(其中，将绘制阳光照射的外部，例如，大约10×，用于电视观看，其中，在现实场景中，将是100×更多的照明，即，100-1000尼特的明亮度)，以及针对“超量”的一个，其中，可以绘制例如灯、爆炸等，即，仍然使得具有高端hdr显示器有兴趣的效应，具有例如1000-10000尼特的上子范围。控制，无论用于显示调谐(以最终桥接所指场景与显示器所指图像编码之间的间隙，通过在图像结构的绝对编码之后再次引入显示器相对性的某种正确级别)或者如本申请中那样，用于正确的图像组合，应当是足够的，正确的图像组合允许在5个场景中进行精确区分的控制。实际上，如果对现实生活中存在或艺术家可以制作的hdr场景类型进行调查，那么常常会看到两个区域图像，如例如图16c中的夜间商店(一个区域均匀照明的图像当然典型是sdr可编码的)，并且其已经稍微不太可能遇到如图16b那样的三区域图像，并且当需要5个不同照明领域的完全能力时，则正在制作真正复杂的hdr场景(可能在一些电影中，仅作为广告出现于开头处，展示hr的最终可能性)。但是读者现在将理解，我们的原理不限于更小或更复杂的实施例。如果内容分级者仅指定一个anc值，将各种图像内容和谐化到该anc值已经是可能的。如果图像中仅有一个关键对象，例如，唯一的演员或表演者，通常会发生这种情况(但是如上所述，尽管这位演员，甚至当对比度非常强照明时，也将仅具有一个典型的照明和明亮度，其仍然能够在理论上是0尼特与pb_c之间的任何值)。如果针对该锚类型不专门需要任何东西，假设该组合装置将以正常锚相关到中等灰度值工作，并且是正常绘制明亮度典型为“暗淡”。因此，仅注释1个anc值的内容创建者典型地应当使用针对其演员的中等灰度位置(在该场景的该区域以及其图像的局部照明中)的代表值，例如，在双模直方图中，他驻留在太阳下，并且然后将该类型注释为例如“明亮”，使得即使利用该简单少量的信息，所述组合装置也能够很好地判断要做什么(例如，在电影不应当被过多干扰的情况下，其能够决定在广告中将“明亮”演员绘制为电影内部的暗淡pip，或者为了仍然允许对亮度的印象，其能够将明亮演员绘制为稍高于暗淡水平，例如，在(明亮+暗淡)/2，例如，在(30+300)/2尼特；如果该标准允许传输另外的元数据，并且该元数据被填充，内容、例如广告的创建者能够指出，其不希望从其优选“明亮”绘制偏离过多，但是另一方面，出于各种原因，该装置可以忽略那种情况，例如，因为最终观看者已经利用ui指出，他希望欣赏电影，即，应当将优先赋予电影直方图中明亮插入内容的更低干扰错误)。
当然，如果分级者注释另外的anc值，它能够例如指定其“深暗”，并且然后，所述组合装置能够在其最终组合中考虑在内，无论已经为明亮观看环境中不良的最终可绘制黑色做好准备与否(即，在显示调谐到真实系统之前，该组合仍然在理想绘制系统的理论完美框架中进行)。
因此，有两个锚明亮度(anc)指示在哪里适当放置面部颜色(为了解释简单起见，对于本实施例，hdr面部颜色已经在该明亮度水平处，因此，从hdr图像获得面部颜色是无关紧要的，不需要复杂的明亮度映射考虑)，以及识别至少主要面部颜色在ldr图像中哪里的方式(源锚明亮度l_sa1)，所述装置能够相对简单地放置在作为输出图像的组合图像中正确组合的两幅图像的所有面部颜色。甚至对于最简单的实施例而言，(要开始的面部的)周围颜色和所有其他图像颜色将相对良好自动落在该锚明亮度(anc)周围。用于其他颜色的哲学也相对简单，因为不需要针对那些技术绘制情形更详细做出。如果所有其他颜色落在中间灰色附近大约2-2.5级范围中(例如，白色典型在线性明亮度中为90％或5×更亮)，那将给出良好的图像。打印常常不能得到非常深的黑色，而且同样地，考虑到电视前玻璃上反射的光，实践中ldr电视限于典型的32:1(峰值白色相对于最深，仍然合理地可很好区分的黑色)。那是图像对象内容的5级意指如果确认更暗的颜色，并且特别是重要的黑色在距中间灰色2-2.5级之内，将合理地同意照明良好的ldr场景的更暗侧。所有这些原则上不意指hdr图像处理中的任何更多内容，特别是对于合成和绘制而言，因此需要改进的机制，并且特别是考虑到复杂性(图像能够仅包含关于任何东西的内容)，什么是语意相关的一些人为引导，并且因此什么会是良好的组合。更复杂的实施例能够对能够如何如由锚明亮度anc所定位的那样在主要对象附近智能定位其他对象明亮度做出更智能的协调选择，在这一理解简单的实施例中，主要对象为面部。可以注释例如锚点为范围的极限等。为了避免疑惑，当我们意指视频时，我们仅仅意指图像的时间相继，并且不将我们自己限制到应当类似地为整个电影应用特定策略，而是可以将其仅应用于该电影的一部分，例如，同一场景的图像的镜头(即，例如，combrng可以在不同时刻不同，如果稍晚正在组合具有不同对象明亮度特性的新广告时肯定如此)。由于本发明实施例的大部分特性将至少对于无论使用静止图片或视频的空间组合是相似的，以避免冗长而可读性较低的公式，在不必进行区分的情况下我们可以使用这种公式，阐述中的两个实施例之一，视频或图像，并且读者然后应当理解他还可以阅读其他内容。将第一(源锚)明亮度映射至第二明亮度(组合范围锚anc)的函数的确定应当针对各实施例的读者是充分明了的。如上所述，例如，可以将组合装置颜色变换单元构造成简单地形成两部分的线性函数，该函数将特定输入(源图像)明亮度从对角线提升到其需要的地方，并且然后将线连接到输入和输出范围的最小值和最小值(0，和[pb_c_image_1；lmc])，但是如果具有特定形状的函数，用于对图像明亮度进行预处理以使其更适合不同动态范围或亮度等，还能够例如线性地缩放该函数，使得其上针对ancs的点落在y轴上的anc输出值上。还应当明了能够如何构建类似系统，其不仅需要使用精确的锚并置，而且在该anc值附近(不太大)处工作。可用的附近能够是被建立为内容创建者在源元数据中可能已经指出的内容(例如，可以将该锚绘制为与其精确值具有20％的偏差)和组合装置可以根据状况确定的内容(如上所述，尽管例如广告中的面部在简单计算中可能来自要在例如150尼特处绘制的计算，所述组合装置可以根据各种程序规则决定从那稍微偏离，例如，其可以决定希望定位在图像的非常重要的中心位置处的pip要被稍微加亮，并且例如到一定程度，所述组合装置可以是具有要组合的所有图像部分的所有信息的仅有的装置，并且甚至可以是要显示组合图像的绘制系统和环境，判断对于组合图像内容的本总体表示最优或合理)之间的任意组合，如果未进一步指定任何内容，理想锚位置以下或以上2×倍可以是实际上合理的附近。
最后，我们还希望提到，因为申请人的实施例能够与指定图像的最终外观的函数一起工作，在各实施例中，不需要实际装置(例如，组合装置)实际做出组合图像。例如，如果组合装置是stb，则其可以向电视发送已经完全最优组合的图像，例如，如果该标准对于该图像所需已经足够，则为hdmi上编码的hdr10，并且然后，电视使其直接绘制为静音显示器。但是stb也可以仅判断并准备该状况，并且然后发送所有需要的数据：至少一些图像数据，以及一些变换(当已经变成用于计算组合图像的最优变换ff时应当是足够的，但是一些其他实施例还可以发送锚值，甚至可能还有由stb确定的其他锚明亮度值被发送至电视)。在那种情况下，电视具有独有地执行该组合的所有信息，即，在pip组合中，其将不仅进行像素选择，而且在组合图像缓存中存储它们之前向所接收的对应sdr图像像素应用ff_1，并且向hdr图像像素的明亮度应用ff_2，以获得组合图像中那些像素的正确明亮度。组合装置的最简单实施例可以仅确定仅一个良好的锚位置。例如，根据电视正在播放什么，其是如何(例如，由用户亮度控制)设置的等，其可以仅确定暗光平均灰色锚值，这在当前条件下应当绘制外观很好的图像，例如anc_1d＝30尼特。当然，这将不会对图像组合产生最好控制，但是如果第一内容利用其锚(例如，黑色平均明亮度值)指示该动作发生在黑夜中，并且第二内容指示其是明亮闪烁的广告，该简单的组合装置实施例应当已经能够在其anc_1d值附近相当合理地对两幅图像进行和谐。当然，更好、更复杂的组合装置实施例将已经判断对于若干种内容什么会是好的组合状况，并且已经为5个以上亮度类型的anc值(深黑到超亮)指定了最优anc值。所述装置然后将足够强大，能够通过查看其所指示的hdr状况或效应的类型，通过检查其源anc值(还可能有另外的元数据，如重新分级函数，例如，指示如果需要黑色可以有多灰)来对任何进入的内容进行和谐化，到combrng的那些不同的照明子范围，无论状况如何(例如，如果该组合是针对预期的另外的处理做出或准备的，例如，具有低明亮度的绘制系统，例如，显示器峰值亮度不足以镜面绘制比亮处充分更亮地超亮处，在这种情况下，组合可以向着针对最亮图像像素的某种海报化形式摆动；那样将不是图像像素颜色自身的最佳理论组合，而是针对这样较低质量系统的良好组合)。因此，组合范围中的锚明亮度典型被确定为用于确定其附近的其他明亮度的至少一个良好明亮度，并且由组合装置来确定(基于对良好质量图像绘制和/或实际或设想内容的细节和/或显示器能力的一般性需求)，并且源锚在源图像动态范围中做类似事情，并且典型是根据创建者认为对于该图像而言重要的内容而确定的，即，在各种可能使用情形中，特别是在图像组合中，至少其周围的特定重要对象和像素区域(至少在明亮度方面)应当被绘制并且被良好控制地使用。能够理解如何针对特定对象、即图像的空间和时间子部分来定义适当的锚明亮度，并且应当清楚，当电影从不同场景变为(一幅或多幅)新图像(镜头)时，锚可能需要被重新定义，例如，第一场景发生于下雨天日光下房间的客厅中，并且下一个场景在由一个实际、即地下室中间的灯泡照明的地下室中(这两个场景都将具有能够利用锚指示的相似对象，例如，演员的衬衣，但是当然将在主图像中具有不同分级的明亮度，并且需要在针对不同显示器的最终mdr图像中加以不同地绘制)。
当颜色变换单元(310)被布置成确定所述颜色变换(ff_1)以使得输出明亮度(lf1_o)等于所述锚明亮度(anc)时是有利的，所述输出明亮度被确定为向等于所述至少一个源锚明亮度(l_sa1)的输入明亮度的所述第一图像或所述第一视频(im1_ldr)的像素颜色应用所述颜色变换(ff_1)的结果。因此，协调要组合的至少两幅图像(或视频)的明亮度的一种方式是设计组合策略，使得为所有图像选取的锚明亮度相同，并且被设置成要进行最终图像组合(例如，pip，或α混合)的输出图像(im_o)的组合动态范围中的适当锚明亮度(anc)的值。技术人员理解，所述装置能够如何计算具有以下性质的函数：ff_1(l_i＝l_sa1)＝anc，并且然后，分别计算用于anc附近所有明亮度的映射，l_sa1。特别由于我们可能工作于线性明亮度颜色空间中(并且关于沿明亮度轴放置对象明亮度的智能选择已经由工作于图像的至少一幅图像上的解码器251进行了大部分，因为内容创建者创建针对其图像动态范围的不同分级图像的细节，以及如果传输时，对应的重新分级明亮度变换函数)，可能常常仅使用线性映射(或者有时使用简单的非线性以不均等地扩散对比度，如伽马函数)。如利用图18a所阐述的，能够理解如何(利用线性调暗因子)必须将输入图像编码确定的明亮度调暗针对更暗图像的某个因子，并且相似的稍微不同的映射发生于比源锚l_sa1更亮的输入图像明亮度。
对于线性函数而言，能够容易地理解，能够确定该函数(例如，在归一化到1.0轴系统中，其中x轴＝例如ldr图像的线性输入明亮度，并且y轴是combrng中的归一化明亮度)，亦即作为l_out＝ff_1(l_in)＝c*(l-l_sa1)+anc。c是对比度常数，所述装置仍然能够对其进一步优化以使两幅图像更和谐。可以确定，查看两幅图像的语义，例如，直方图，以及空间明亮度分布(例如，作为灯的图像顶部的小形状等)，图像等的平均亮度关系等。例如，如果hdr电影主要由暗地下室构成，其中人正在阴影中行走，高亮度部分仅由单个灯构成，那么(hdr图像的大部分的)相关对比度将不会非常高。因此，如果必须要与对比度非常高的ldr广告组合，可能希望稍微减小广告的对比度，以更与视觉系统感知、因此在暗环境中会预期到的更低对比度一致(例如，可以通过为那些最亮的相对颜色应用ff_1的软斜率部分，约束ldr广告的最亮部分，无论阳光照耀的室外物体或灯泡像素语义中包含什么，如在图18c中那样)。另一方面，将c提升到稍高于1能够帮助增加广告的生动性，即使未被示为对比度非常高的hdr电影中的最大或hdr平均亮度(即，能够控制所有可能的sdr图像明亮度将被分配的hdrcombrng局部子范围中的对比度等)。当然，读者理解，该装置还能够进行其他ff明亮度(颜色)变换，例如，具有恰好低于该点(l_sa1、anc)的相对高对比度的函数，但是然后开始减小其斜率，在某些阈值黑色l_out＝l_b中变水平，等等。实际上，原则上，任何函数都能够通过组合装置来确定，只要其近似将源锚明亮度映射至锚明亮度即可，但是典型地，所得函数将相对简单(并且例如，多线性段函数将通常已经给出良好的结果，至少在较不关键的hdr场景图像上)，除非生成侧具有传输的细节供组合装置遵循，像用于对各种明亮度子范围重新分级的部分明亮度映射函数形状，或者组合装置实施例具有重要的内部图像分析单元，其允许提出更美丽外观的组合(通过识别和优化各种像素间或区域间对比度、纹理绘制质量等)。
有利地，所述颜色变换单元(310)被布置成确定所述颜色变换(ff_1)，使得被确定为向第二输入明亮度(lt1_i)应用所述颜色变换(ff_1)的结果的第二输出明亮度(lt2_o)除以所述输出明亮度(lf1_o)的明亮度比值是乘法常数(c)乘以所述第二输入明亮度(lt1_i)除以所述源锚明亮度(l_sa1)的比值。如上所述，更简单的实施例能够为整个(部分)明亮度范围(要处理图像的输入明亮度)确定c的固定值，但是还可以使c成为输入明亮度的可变函数l_i(c＝cf(l_i))。部分明亮度范围能够由组合装置(再次由接收到的另外的元数据规范指导或由自己)通过各种方式定义，例如，能够确定主直方图瓣的范围，或者能够为ldr图像在ancs/k与k*ancs之间的明亮度确定范围，其中，k例如等于4，并且ldr明亮度的其余部分利用图18c的两个虚线部分函数映射，等等。作为更可变函数ff的范例，可以增加ldr图像的最亮部分的对比度(高于常数l_it，例如，作为直方图的百分比等)，在有重要信息的情况下(例如，强光照的面部)，但是可以备选地在其仅为主要动作上方较不相关的信息的情况下针对该明亮区域减小对比度，使得例如该装置能够稍微增大第一混合的、例如ldr图像的平均明亮度(例如，通过映射至anc+d_anc)，但是不会以combrng中明亮度映射的ldr图像中过亮绘制的高亮区干扰hdr电影。这允许使明亮度更对应于预期的人脑计算的亮度分布。因此，能够将lt2_o选择为例如lf1_o以上特定百分比(例如，等于anc)，例如，150％的lf1_o，或者lf1_o以上k级，并且然后为该明亮度间隔指定c1等。智能调节图像(例如，sdr广告)的典型较不重要一个的这样的(至少一个，或更多)子区域能够大大改善总体组合的和谐外观。
有利地，所述颜色变换单元(310)包括偏离确定单元(312)，所述偏离确定单元被布置成基于至少一个源锚明亮度(l_sa1)来确定明亮度偏移(d_anc)，并且其中，所述颜色变换单元被布置成确定所述颜色变换(ff_1)，使得输出明亮度(lf1_o)等于所述锚明亮度(anc)加所述明亮度偏移(d_anc)，所述输出明亮度被确定为向等于所述至少一个源锚明亮度(l_sa1)的输入明亮度的所述第一图像或所述第一视频(im1_ldr)像素颜色应用所述颜色变换(ff_1)的结果。如上所述，在这样的对象相关的明亮度方面，如例如对面部的照明(例如，对比度非常高)和面部明亮度与图像其余部分的关系之间可能有相当大差异。因此，所述装置可以决定更适当的是不恰好在输出明亮度anc处、而是在例如2×更亮下绘制ldr面部(或者任何动态范围的第一图像锚对象，或者明亮度的区域或对应子范围)。这可以基于面部照明的类型等确定(典型地，其可以利用锚类型编码来指示)，例如，如果源锚明亮度(l_sa1)被确定为光照非常亮的一半面部的平均明亮度，并且该面部要在最终图像中以大的尺寸来绘制，那么所述装置能够决定确定例如50％的负d_anc。这些程序规则和数学背后的启发式考虑可以考虑例如明亮区域可以对周围的较暗区域进行过度辐射，或者过于引人注目和吸引注意力，或者仅仅是与图像其余部分相比明亮得刺激人，这可能是观看者正在观看的主要事物，如电影等。该考虑还可以评估hdr电影图像的亮度组成。例如，该图像可以由暗的室内区域以及通过打开的车库门看到的更亮的室外区域构成。如果要在暗的部分中放置相对亮得多的ldr广告的pip，应当对其减暗(即，相对大的d_anc，例如，以使ldr中面部的平均明亮度、或者还有在针对ldr图像的单一代表性明亮度被加权，表征ldr图像的另外的锚明亮度处在anc与该第二hdr电影图像的暗区域的局部平均明亮度之间一半处)，以使两幅图像之间的对比度、以及那两幅图像的相邻对象中的大脑从其看到的局部对比度不会过大。但是，如果要在hdr电影的阳光照耀的室外部分附近绘制明亮的pip，甚至可能需要利用正的d_anc来加亮。因此，通常，将基于在理想状况(例如，如果面部在两幅图像中都被中间灰色背景围绕)下(例如，两个面部的)理想组合会是什么，以及至少主要图像(在本范例中，即hdr电影，其中，我们粘贴了ldr广告)的实际状况如何，来计算这些偏离d_anc，这两者都是全局的(即，其包括什么种类的对象，具有平均明亮度和尺寸，并且还可能有更多语义特性，如具有纹理度量的内部复杂性等)以及局部在会发生组合的地方周围(例如，在小尺寸x，y的pip中)。因此，通常将基于对于两幅图像而言什么是和谐的来确定偏移，并且在各实施例中，那将取决于图像自身和组合(无论pip例如定位于图像右下方较不关键的小地方，还是混合图像将如何通过混合中的部分信息闪烁等)的细节(对比度，源锚位置的类型和该附近的对象内容以及该附近外部的内容，几何尺寸等)。更简单的实施例将仅使用相对简单的和谐结构，其自身不会过差(尤其是如果能够优化anc+d_anc值以减轻例如对比度过大的风险，如果那是针对广告判断的)，但是更高级的组合能够更精确地查看在哪里以及如何精确地放置第二图像信息，或者甚至组合的其他性质。
有利地，所述颜色变换单元(310)被布置成读取从第二源(351)获得的至少一个第二源锚明亮度(l_s2a1)，所述第二源提供所述两幅图像或所述两个视频中的第二图像或第二视频(im1_hdr)，并且其中，所述偏离确定单元(312)被布置成还基于所述至少一个第二源锚明亮度(l_s2a1)来确定所述明亮度偏移(d_anc)。上文我们描述了简单实施例，其中，主要图像的明亮度结构(在我们的权利要求表达中称为图像2)具有已知的明亮度结构，并且因此能够容易地被变换并形成combrng中的基本参考。在hdr图像是前导图像(应当失真最小)的情况下，这是组合的有用方式，因此，其大部分是向其变换的辅助内容。例如，如果知道hdr图像是被制片以保证(例如，脱口秀工作室的)所有朗伯反射对象都被给予始终严格落在im_hdr的动态范围im2_rng的0-400尼特范围之内紧紧指定的明亮度(并且那将对应于例如combrng中的0-300尼特范围，或者combrng中相同的0-400范围)，并且以上的每个对象都大部分是高亮区，诸如，例如金属上的小镜面反射。在那种情形中，具有特定种类的hdr场景，其中，下部是以很大程度类似于ldr电视生产的方式生产的，并且ldr效应大部分为光，对此，对于其精确明亮度并不是过于严格(并且例如，通过窗口的对象也不严格，其不仅仅被清晰地看到，而且外部物体甚至可能应当具有特定明亮度，以传达某种艺术气氛)。在这种情况下，该问题大部分关于协调ldr广告与hdr脱口秀的照明状况，大部分该部分高达400尼特，并且也在某种程度上协调到明亮区域中恰好有的样子(例如，可以使用具有乘法常数c的以上对比度机制，或者明亮度映射函数的任何一般确定和应用，以加亮ldr广告中小的高亮区域(被识别或假设的)，使其更对应于hdr脱口秀中实际存在的这些高亮区的明亮度)。
但是，通常，hdr内容能够是任何东西。例如，如果演员正在奔跑通过灯稀疏分布的昏暗矿井巷道，其面部可能不被严格照射到400尼特的25％，而是全部落在明亮度轴上。因此，如果制作任何内容的每个人都注释其内容，这是有利的，使得hdr图像还将指示其面部的一个或多个落在其明亮度轴上，具有至少一个第二源锚明亮度(l_s2a1)上。然后，更确定的是，这两幅图像都将在其最终组合中和谐，因为所述装置能够通过读取l_s2a1来验证该面部明亮度在hdr第二图像中哪里(参见图4中的匹配阐述示例)。然后，对于最好的最终组合状况(特别是combrng)无论是什么，都能够对hdr图像进行最优变换，例如，考虑该电影最可能地在室外而非阴暗环境中展示。例如，ff函数能够将不同的面部照明调制到更低的程度，特别是例如如果观看状况将使得与电影的最优电影观看相比暗对象纹理绘制将被劣化。
也有利的是，如果所述颜色变换单元被布置成还取决于第一颜色重映射函数(f1_l)建立要被应用于所述第一图像或第一视频的颜色变换(ff_1)，所述第一颜色重映射函数指定所述第一图像或所述第一视频(im1_ldr)中的对象的明亮度分布变化，用于将所述第一图像或所述第一视频从与所述第一图像或所述第一视频的编码相关联的动态范围映射至峰值亮度至少相差乘法因子2的动态范围，或其中，所述颜色变换单元被布置成还取决于第二颜色重映射函数(f2_l)建立要被应用于所述第二图像或所述第二视频的颜色变换(ff_2)，所述第二颜色重映射函数指定所述第二图像或视频(im2_ldr)中的对象的明亮度分布变化，用于将所述第二图像或所述第二视频从与所述第二图像或所述第二视频的编码相关联的动态范围映射至峰值亮度至少相差乘法因子2的动态范围。如上文所解释的，在我们的基本hdr视频或图像编码框架中，我们利用传输的颜色变换函数(至少定义明亮度变换，但是有时还定义所需的饱和度变换，例如，以增加需要在ldr外观中暗化的对象的饱和度，以保持其充分生动的外观；该函数针对动态范围指定外观，该动态范围典型在pb_c中相差至少因子2倍，例如，如何将一个极端或中间分级、例如5000尼特pb_c变换成其他的例如100尼特pb_c)指示，当从教高动态范围变到较低动态范围(或者反之)时，对象的明亮度分布应当如何改变(这通常是朝向较低pb的显示器或编解码器的更低能力的复杂优化，考虑hdr场景的语义细节)。即，当从主5000尼特hdr分级图像变换至例如100尼特图像，或者中间动态范围图像之间的某个值时，例如，对于驱动1200尼特显示器最优。典型地，创建者能够这样确定他希望外观如何改变，例如，渐进地暗化高亮区和暗区域。
组合框架的能力在于，其能够确定如何表达新种类的函数，根据希望多么准确地控制组合的色度等，其不映射至不同(唯一)最优绘制图像动态范围，而是映射至组合动态范围(其自身能够取决于各种外部参数设置，所述参数例如量化内容创建者、所有者或分发者、观看者的期望——他是否正在尝试专注地欣赏电影，例如——或者甚至显示器制造商)。当然，组合的总体外观可能根据特定组合以及其中有什么而改变，但是那并不意指重新分级函数自身不包含令人感兴趣的重新分级需求或期望(无论在最亮的子范围中，例如明度的上部20％，有希望仔细重新分级的云朵，还是较不重要的对象)，这也是组合装置可能希望在一定程度上遵守的。
现在，如果将上文提到的简单线性函数ff用于映射锚明亮度anc附近的图像的输入明亮度，可以不需要f_l的细节。但是更精细的映射能够在线性策略上变化，并且特别应当根据暗示由内容创建者所需要的内容而这样做，在针对该特定hdr场景的该特定图像的函数f_l中，在明亮度的该子范围中。例如，如果创建者希望使更暗的明亮度快速消失到黑色中，颜色变换单元(310)能够在确定最优函数ff时考虑其，例如，可以通过比线性函数将做的更快速地剪切到ldr明亮度的更大百分比的黑色来针对较亮区域(例如，面部颜色anc周围等)拉伸对比度的一些。因此，所述装置能够评估该组f_l函数的至少明亮度变换函数的函数形状(为了理解简单起见，读者能够假设其为将归一化到1.0的输入明亮度映射至归一化到1.0的输出明亮度的仅一个任意形状的函数)，并且使用该形状的一部分设计最终函数的形状，以映射至combrng。应当指出，在这样的函数中，能够给出针对图像的重新分级部分的各种期望，无论由其自己还是与其他图像的其他部分中的其他可能明亮度的关系等。例如，可以为图像的几何区域指定那里存在的明亮度例如不应被过大提升，即使例如在该图像的其余部分中是具有相同明亮度，能够在很大程度被提升的像素。任何这样的部分函数形状都能够在原则上被指出(例如，申请人开发的先前的实施例允许在图像中的像素子集中的规范，其满足落在特定几何区域、如矩形中的性质，并且具有l_min与l_max之间的明亮度，并且然后，例如可以针对例如hdr图像中落在l_min+k与l_max-l之间的区域中的明亮度定义期望的映射行为部分函数，其中，k和l为常数。例如，可以为那些明亮度给出单独或参数化的提升函数l_out＝b*l_in+o，其中，b和o可以是各种性质的函数，诸如lmc，或者放置来自hdr图像的数据的矩形周围的组合输出图像的明亮度的平均值等。任何分裂的重新分级行为都能够在最终组合之前在函数规范中被指示，或者甚至可以在已经创建组合图像之后能重建(对于要被组合的总体内容的至少部分而言)。
有利的是，如果所述动态范围建立单元(302)被布置成根据所述两幅图像或所述两个视频的至少一个中的明亮度而建立所述组合明亮度动态范围(combrng)。并非所有实施例都需要或可以考虑最终观看环境细节。例如，可以在某个主控室中混合输出图像以传输到各个用户。最终的状况可能是未知的，并且可以有相当大变化(如果一位观看者正在例如火车中观看，而另一位在他在其阁楼中建造的电影院中)。在那种情况下，有利的是，如果基于两个(或所有，如果混合超过2个)图像的特性优化组合，因为那将始终是相关的。当然，读者将理解，如果应用良好，则组合范式是进一步可缩放的。例如，第一内容创建者可能已经混合了两个图像源，但是那不意指在流水线下游有更多内容不能混合。在行为之后或如第一创建者已经预计的那样，可以发生那种情况，组合装置实施例的至少一些应当满足所有这样的状况。例如，第一内容创建者可以在例如应当发生的情况下具有第一者，因此可以确定combrng(和/或anc)，这针对其内容是最优的，但是可能已经预计到流水线更下游的某个实体将增加一些具有一些典型额外特性的图像内容(例如，底部带有新闻信息的行情显示系统，或者在电影院或商店或博物馆状况中在主要绘制的图像内容旁边或部分交叉投射一些辅助图像信息的附图投影仪等，该辅助内容将具有动态范围、平均亮度、诸如平均亮度的时间演化的动态等)。辅助内容混合器然后仍然能够决定其是否更好遵循第一内容创建者的指示，例如，保持combrng，或者可能更好对其进行细调，给定现在关于最终组合图像或者其绘制的额外信息。两类实施例是可能的。在更简单类别中，两幅图像在该阶段已经被不可分离地混合(例如，最终pip合成)，并且最终接收侧可以仅根据其绘制细节(要绘制的显示器的显示pb、平均周围亮度等)来优化该总体图像。即，为了理解简单起见，假设其取该组合图像并且将其作为平方根函数应用于其明亮度，以获得要绘制的最终输出明亮度。对于许多情形而言这可能是足够的，因为混合图像可能已经具有和谐的明亮度，并且观看环境可能不与预期的环境相差太多。
更高级的实施例将允许重新确定两幅图像在接收侧的对象/像素明亮度分布，并且可以在一些实施例中包括至少在某种程度上重新确定原始图像(例如，它们的基本编码或至者少原始明亮度分级；即上文所提到的可拆解性)。例如，一些实施例以某种明亮度分布方式指定例如pip组合，但是对combrng细节和函数ff进行共同编码以将两幅图像中的至少一幅带到combrng之内正确和谐的明亮度。例如，能够想象，仅仅将ldrpip放在明亮度被线性缩放到5000尼特pb的hdr周围图像中，其无需在接收端进行正确处理就当然会给出恐怖的外观组合。但是接收侧得到所有必要的信息，以在其一侧使组合绘制正确，即，具有和谐的pip图像。其能够通过适当地改变在该矩形中的像素明亮度来这样做，考虑到所知的任何事情(即，例如，针对该区域接收的部分明亮度映射函数，或者针对该矩形区域的特殊额外anc值等；或者其能够在其自身端确定的什么，例如，这样的区域看起来与周围像素相比相当亮，等等)。技术人员现在将已经理解，这些函数ff不是要为不同动态范围自身进行重新分级的函数f_l，例如，不简单地是将单独的ldr图像合理适当地映射至pb为例如1500的mdr显示动态范围的函数，而是创建侧用以指定(或者组合装置在任何位置确定)这将为与hdr图像和谐的ldr图像给出良好混合的函数，即，考虑两幅图像在一起的细节。
有利地，所述动态范围建立单元(302)被布置成根据要绘制所述至少一幅输出图像(im_o)的显示器的峰值亮度，并且优选还根据观看环境的亮度特性，来建立所述组合明亮度动态范围(combrng)。如果我们的装置的实施例被纳入终端绘制场所的装置或系统中，例如，电视或计算机中，那么可能适当的是甚至进一步根据观看细节来指定组合。如果在暗环境中看其自身时，ldr图像将看起来过亮，因此，当与电影组合时，其可能对于该暗的观看环境过亮，特别是因为电影可能已经针对该特定观看状况被优化(参见图3，针对例如在暗淡环境中观看的1200尼特pb显示器计算该适当mdr自动重新分级的外观图像im2_mdr，从具有相同的内容订阅或观看相同广播节目的所有观看者接收的例如5000尼特im_hdr)。然后，能够在其适当的mdr动态范围中混合部分图像(im1_lm和im2_hm)。例如，当一些图像的最暗像素难以在更亮的观看环境中观看时，这将特别重要，特别是如果观看者被(甚至可能是空间相邻的)来自(一幅或多幅)其他组合图像的明亮内容分神，并且然后在图像的至少一幅图像(例如，前导图像)中具有针对更暗像素的额外anc值可以显著改善最终组合的最优性。技术人员读者将理解，当然利用两幅图像的组合表示，所述优化典型地可能需要与单独图像优化不同，并且根据观看者感知到的状况的总体(当然，实际上，将基于考虑到装置定位的市场价格能够支付得起的复杂性，构建更多或更少准确进行优化的装置；一些更简单的实施例可能已经做了相当合理的工作)。当观看过亮的单独ldr广告时，即使在暗的观看环境中，观看者仍将通过在屏幕上看到的内容大幅度调整其视觉。但是组合了两幅图像之后，人的视觉将精确针对什么进行调整并非先验地不重要，并且因此，涉及大脑将针对所绘制的像素明亮度的组合看到的光度和亮度(他不太可能开始看到前导电影就很差)，因此希望有一种系统，其中，内容创建者能够至少指示最低所需信息和指导(实际的技术系统始终是复杂性与需求之间的平衡，复杂性例如是内容创建者所花费的工作量以及ci需要进行计算的成本，需求是能够处理至少一些最低所需颜色变换以使系统至少一半合理地工作，而不是较差地工作；并且典型经标准化的各实施例然后将决定在哪种情形中利用哪些另外的具体控制功能走多远)。
因此，技术人员读者理解，有利的是，至少根据显示器的能力(其pb可能在大部分状况下足够，但是可以纳入另外的特性，例如，如果未考虑省电等而完全使用它)来确定combrng(并且典型地还有锚明亮度，并且还有ff函数(如果非线性)的具体形状，或者对比度乘法器c(如果线性))。如果装置被连接以评估观看者的周围环境的亮度，可能希望做更多工作。例如，可以使用明亮度计，但是可能更好是在接收侧房间中某处使用相机，例如，被连接到显示器的相机，能够针对所成像的观看环境的各个区域将其校准到明亮度计中，并且已经在某些电视中。从这一点，能够大致估计观看者将如何体验到图像。能够使用更简单或更高级的版本，例如，检查电视后方(参见周围)每侧至多1个电视宽度的区域中的各种明亮度的相机。
有利的是，如果明亮度锚确定单元(303)被布置成根据以下中的至少一项来确定锚明亮度(anc)：所述组合明亮度动态范围(combrng)、所述两幅图像或所述两个视频的至少一个中的明亮度、要绘制所述至少一幅输出图像(im_o)的显示器的峰值亮度以及观看环境的亮度特性。同样地，应当确立至少一个锚明亮度anc，从其能够以和谐方式分布这两幅图像的明亮度分布。读者应当理解，各个实施例能够按照任何次序确定combrng和anc。例如，一些实施例可以首先例如根据(实际或预期)显示器的能力以及观看环境的亮度特性来确立良好的combrng将是什么，例如，典型地针对当前电影的状况，或者甚至图像的每个镜头等。
例如，一些实施例可以在开始电影之前分析电影的第一图像，或者分析在整个电影中采样的图像的特性集合。或者，电影可以具有共同编码的元数据，所述装置甚至可以在对第一图像进行解码之前从其确定至少合理的初始combrng将是什么。例如，所述元数据可以指定电影的平均亮度在高达400尼特的较低范围中为200尼特，并且最极端序列——例如沙漠镜头——落在高达(即，其应当优选绘制在具有这样做的充分能力的任何mdr显示器上)像天空或沙地的漫射物体明亮度，高达900尼特(平均为600尼特)。该图像组合装置实施例然后能够决定其应当在combrng中保留(尤其如果为各种pb的显示器服务)固定的过亮区域，例如，高达该900尼特的200％，这将是针对该电影的最过分要求，使得能够将明亮度的上100％用于所有高亮区(无论是小的镜面反射斑点、灯或者甚至包含图像细节的高亮区域，诸如场景的照明非常亮的部分)。当然，更高级的规范也能够通过编码节目或电影或者其部分中典型是什么种类的hdr效应来辅助确定combrng中较亮明亮度的区域确切应当是什么。利用若干这样的子范围工作功能强大且多用(无论它们主要指示内容的需求，还是预先考虑的绘制能力，或者这两者)，尤其是如果利用针对那些范围的若干良好的锚明亮度实现。
在已经决定最优combrng之后，该装置然后能够基于其确定例如面部颜色的锚明亮度应当在哪里。例如，如果该范围的一半是针对光照良好的朗伯物体，那么能够决定使用该峰值明亮度的那50％的40％作为面部明亮度anc点。然而，一些实施例能够通过其他方式工作。考虑所有的绘制特性，所述装置能够为面部或主要区域朗伯物体中等灰色确定适当的anc明亮度，使得其看起来对于观看者而言亮度适当。然后，能够在其附近构建适当的combrng。例如，其在需求最大的hdr图像中观看，并且看到高达面部明亮度20×的明亮物体(参见灯)。然后，其可以决定将该范围的最大值放在该明亮度值处，或者考虑例如该值的例如80％应当对于两组图像的组合绘制是足够的，并且然后，将典型地分别将im_hdr和im2_mdr中的更高值(要在特定实施例中组合使用的那个)剪切成组合动态范围的最大lmc。在以下情况下这会非常有用：希望使内容与例如较少动态范围能力和谐，尤其是如果例如hdr电影不是前导内容，但是例如计算机显示器上的pip主要示出例如具有信息的其他图像区域等。这样简单的实施例将使得比任一图像中的面部颜色或一般的任何锚明亮度亮2×的物体(即，第一和第二hdr图像，或者在组合中使用ldr图像的情况下为ldr图像)在准备好添加到组合图像或图像(im_o)中时在相应图像像素中也亮两倍。或者，更高级的颜色变换(或者组合，其中的一些还可以加权或改变其组合数学中的像素明亮度)可以使得一些明亮度更暗或更亮。由所述装置可以进行类似考虑以得到combrng的下限明亮度lmic，例如，稍亮于源图像中的至少一幅，使得组合图像(现在可能具有比至少一个初始值亮得多的物体)没有过暗或过大对比度的外观等。
另外的实施例可以被实现为对应装置(无论小如ic的一部分，或者大到整个消费或专业系统)或方法，例如：
一种组合两幅图像或图像的两个视频(im_hdr、im_ldr)的方法，所述两幅图像或图像的所述两个视频中的一个为高动态范围图像或视频，所述方法包括：
建立组合明亮度动态范围(combrng)，其特征在于至少最大明亮度(lmc)，所述建立还包括确定所述组合明亮度动态范围(combrng)中的锚明亮度(anc)；
对所述两幅图像或所述两个视频中的至少一个应用颜色变换(ff_1)，所述颜色变换至少由明亮度变换构成，所述颜色变换是基于从第一源(350)读取的源锚明亮度(l_sa1)的值而建立的，所述第一源提供所述两幅图像或所述两个视频的第一图像或第一视频(im1_ldr)；并且
将所述图像与其在所述组合明亮度动态范围(combrng)中的像素颜色进行组合以形成至少一幅输出图像(im_o)。
根据权利要求10所述的组合两幅图像的方法，其中，确定所述颜色变换(ff_1)，使得输出明亮度(lf1_o)等于所述锚明亮度(anc)，或者等于从所述锚明亮度(anc)偏移所确定的差异(d_anc)的明亮度，所述输出明亮度被确定为向等于所述至少一个源锚明亮度(l_sa1)的输入明亮度的所述第一图像或第一视频(im1_ldr)的像素颜色应用所述颜色变换(ff_1)的结果。
一种组合两幅图像的方法，其中，确定所述颜色变换(ff_1)，使得被确定为向第二输入明亮度(lt1_i)应用所述颜色变换(ff_1)的结果的第二输出明亮度(lt2_o)除以所述输出明亮度(lf1_o)的明亮度比值是乘法常数(c)乘以所述第二输入明亮度(lt1_i)除以所述源锚明亮度(l_sa1)的比值。如上文所解释的，锚明亮度周围的图像中出现的其他明亮度可以简单地被映射于锚明亮度周围，或者以更精确确定的方式来映射。
一种组合两幅图像的方法，其中，所述第二图像或图像的所述第二视频的颜色变换(ff_2)是基于从第二源(351)获得的至少一个第二源锚明亮度(l_s2a1)确定的，所述第二源提供所述两幅图像或所述两个视频中的第二图像或第二视频(im1_hdr)。能够不仅确定第一图像而且确定第二图像的各个锚明亮度，使得其各个明亮度范围(例如，光照良好，光照阴影，深度阴影，灯等)能够在输出图像的输出范围combrng中被最优地映射至彼此上。
一种组合两幅图像的方法，其中，要被应用于至少所述两幅图像或所述两个视频的相应图像或视频的所述颜色变换(ff_1、ff_2)中的至少一个颜色变换是至少部分基于至少一个接收的函数(f1_l、f2_l)来确定的，所述至少一个接收的函数指示如何将所述相应图像从与对所述相应图像编码相对应的动态范围变换至至少高或低两倍的动态范围。如上所述，这些函数确定在其场景中的所有对象的明亮度在任何动态范围中看起来应当确切如何(至少与其天然动态范围相差2×，即，参考显示器对应于定义所接收的输入图像的明度代码y'的eotf的pb)。因此，如果需要重新分级到例如稍微更低的动态范围(例如，比im_mdr的mdr范围稍低的combrng)，也能够使用该信息。这将尽最大智能至少针对单独使用的一幅图像或视频得到协调的明亮度，但是这可能是良好的起点以也为组合图像内容绘制大致确定映射至combrng的图像的像素明亮度的初始集合。可以进行进一步的细调，或者稍微简单，例如由组合装置或方法确定的启发式线性拉伸，或者更高级地考虑在其对象或明亮度子范围中考虑图像中的特定所需明亮度协调(无论根据例如对象分割算法和对应的明亮度范围智能地确定，或者更近似地，通过例如将combrng分成5个相等或不相等的子范围来确定，并且对于两个输入图像明亮度范围以及其对应子范围是同样的情况)，因为其由内容的创建者分别在函数f1_l和f2_l(在任何实施例中检查和使用的那个)的形状特性中指定。
根据以上方法权利要求之一所述的组合两幅图像的方法，其中，所述组合明亮度动态范围(combrng)和所述锚明亮度(anc)中的至少一个是基于来自以下集合中的至少一个因子来确定的：所述两幅图像的至少一幅图像中的对象的取决于明亮度分布的性质、总结所述两幅图像的至少一幅图像的明亮度特性的信息、要绘制所述组合的至少一幅输出图像(im_o)的显示器的动态范围，以及针对要查看所述输出图像所在的观看环境的亮度度量。
所有以上内容可以纳入各种系统和形式中，无论是消费装置还是专业系统，其一些部件可以存在于经由因特网连接的其他国家的服务器等上。
可能有利的是，如果图像利用元数据增补，所述元数据诸如是combrng的规范(例如，其上明亮度lmc，以及其下限明亮度lmic)，和/或例如面部的典型锚明亮度，以及可能还有至少一个指示如何将图像像素明亮度映射至combrng的颜色变换函数。
也有利的是，如果内容创建者利用至少一个语意相关的(优选预先达成一致的类型的)锚明亮度对其(一幅或多幅)图像进行注释，使得当接收时，图像的照明选择能够被希望组合各个图像的装置理解。
有利地，所述方法中的每种方法都能够实现为可以经由某种物理载体传输的计算机程序，例如，包括软件代码的计算机程序产品，该软件代码使得处理器能够运行代码，使得在代码运行时，执行以上方法实施例的任何实施例的所有步骤。
附图说明
根据本发明的方法和装置的这些和其他方面将从参考附图下文描述的实施方式和实施例显而易见并利用其得以阐述，其仅仅充当示范更一般概念的非限制性具体示范性例示，并且其中，使用虚线表示部件为任选的，非虚线部件未必是必要的。还可以使用虚线表示被解释为必要但隐藏在物体内部的元件，或者用于无形事物，例如对象/区域的选择(以及在显示器上可以如何显示它们)。
在附图中：
图1示意性图示了在(最近开始的)hdr时代中，已经提出的各种不同的编码视频的方式(在2015年)如何，这将导致图像具有非常不同的不容易相关的明亮度特性；
图2示意性图示了申请人的hdr编码技术能够如何对hdr图像、连同相同图像hdr场景的对象明亮度的ldr更低明亮度的不同外观(或颜色分级)一起进行编码的基本部件，以及这种信息如何足以计算在具有任何峰值亮度(pb_mdr)的任何可用hdr显示器上具有正确图像对象亮度的适当外观。
图3示意性图示了这一有hdr能力的图像或视频组合装置的基本实施例，示出了主要单元；
图4示意性图示了在视频或图像组合之前如何进行适当的颜色变换至最优选取的组合动态范围；
图5示意性图示了如果不对两幅图像的像素明亮度(或一般颜色)认真进行色度准备，而是以简化方式组合它们(对于可能组合之一为画中画合成)，可能发生什么问题；
图6示意性图示了针对要组合的至少两幅图像的至少一幅图像，装置能够如何确定某种示范性适当颜色，或者至少明亮度变换函数；
图7示意性图示了能够使用本申请人的发明人开发的哪些算法，以从艺术上最优地如内容创建者希望的那样对来自第一动态范围的图像重新分级成不同的第二图像，第二图像的动态范围(至少其峰值亮度)可以相差几倍；
图8示意性图示了更多的一些高级范例：装置能够如何调谐(ff)函数，以基于被成像hdr场景中的对象明亮度分布的语意细节，将要组合的图像颜色变换成组合范围(combrng)；
图9示意性图示了本文所描述的装置和方法的实施例的应用的一个范例，即，在多视频原始制片中，诸如，例如电视的脱口秀节目；
图10示意性图示了第二范例，其中，装置和方法的实施例用于视频通信网络的中间节点中的系统中，诸如，例如用于为局域网服务的传输控制室中(读者应当理解，其他组合装置实施例能够存在于视频或图像处理链的其他地方，例如，在视频最终用户的场所处)；
图11示意性示出了装置实施例能够如何确定combrng，并且从锚明亮度的明亮度值的良好位置开始在其中分配源图像明亮度；
图12示意性示出了装置实施例能够如何确定combrng、并且从锚明亮度的明亮度值的良好位置开始在其中分配源图像明亮度的另外的阐释性范例；
图13示意性示出了如果不使用本发明的技术方面，可以如何简单地组合来自两幅图像的像素，但是这可能导致质量很差的组合图像；
图14示意性示出了即使在一种图像拍摄方法中，特别是利用一种技术的hdr视频编码方法来编码的图像中，能够如何针对同一物体具有变化非常大的明亮度，特别是如果希望最随意地使用hdr成像的潜力；
图15还示意性阐释了可以如何确定各种组合范围，以及在实践中那可能意指什么，特别是对于建立(一个或多个)相关的可感测锚定明亮度，并且从其确定典型明亮度映射函数，以用于从至少两幅图像或视频协调部分内容；
图16特别示意性示出了在已经指定视频处理链的较早部分的情况下，能够如何以非常强大的和谐性实现视频编码自身，特定方式为各种图像明亮度的粗细重新分级；
图17示意性示出了自动版本能够如何基于确定诸如误差的因子的各种算法编制各种变量的确定，误差例如是图像内容失真和/或内容不和谐两者，在人类分级和图像注释的情况下，可以由人类内容创建者确定；并且
图18示意性示出了用于为图像组合确定和谐明亮度的有用明亮度变换函数实施例的一些另外的范例。
具体实施方式
在上文已经解释了图1和图2，并且图2示出了我们优选如何对hdr视频进行编码，或者更精确地，如何对同一场景的ldr分级的图像以及hdr(典型为5000尼特pb)分级的图像进行编码，其能够被解码(通过向所接收到的(一幅或多幅)ldr图像应用(一个或多个)明亮度变换函数)以得到最优重新分级的图像，用于由ldr和hdr分级所跨的作为极值的动态范围的范围之内或者甚至外部的任何地方的显示峰值亮度。
图3在更高水平的一些基本部件上阐述了我们的hdr图像或视频的和谐组合装置或方法的最基础的实施例。下文将利用pip范例来描述该状况，但是同样的技术也能够用于例如在来自不同源的交织视频的时间相继中协调地降暗分级的亮度。例如，可以针对ldr商业广告建立良好的combrng水平，并且以渐变方式向其调整hdr图像中的明亮度(可以发送关于各种视频的时间发展的各种额外元数据)。技术人员读者将理解，一旦将数幅图像的非常不同并且以不同方式定义的明亮度(更不用说明度代码)的状况转换成具有对应的相关的相似明亮度(要组合)，就还能够开始以更复杂的方式混合所述内容，例如，alpha混合，或者利用某种计算机生成的具有适当协调明亮度的面部结构等来替换面部的一部分。例如，如果被映射至第一图像的combrng的面部明亮度(例如，在被不同照明的面部的任一侧)为x和y，并且第二图像的为x+e1和y+e2，其中e1和e2是充分小的偏差，那么能够应用混合方程，如l_out_comb＝alpha*l_im1_comb+(1-alpha)*l_im2_comb，其中，l_im1_comb和l_im2_comb分别是第一和第二图像在经颜色变换至combrng之后的像素明亮度(利用相应的要使用的ff函数)，并且alpha是0.0与1.0之间的实数，并且l_out_comb是针对输出图像im_o中的该混合像素的最终明亮度，即，该组合的图像具有combrng作为动态范围。
读者可以理解，如果创建者对原始图像具有最完整可能的控制(特别是他可能甚至需要知道所预期绘制环境的细节)，他当然可以利用任何手段扭曲组合图像，直到其根据其希望完全令人满意。但是，这些实施例符合许多状况，其中，那不是那么简单或可能的，例如，因为没有时间人工地进行所有那些量的扭曲，或者定义最优外观的一些输入或变量尚不可控，或者甚至未知。一些东西能够始终改变到图像处理状况，使得是最高级的hdr处理技术应当应对的内容。或者，至少我们的实施例允许更多样的应用，其中，在各个时刻都能够进行色度细调，例如，根据新的需要，并且能够保持原始图像外观信息的一些。那是重要的，在每个阶段保持图像至少最重要方面的某些东西。当然，最终用户可能决定对视频完全重新着色，但是那么所有内容创建者的工作就被绕过并丢失，而且事实上对任何人都没有用(即使例如电视制作者希望向图像绘制增加其自己的特定品味的一些，其不应当必然通过忽略关于该图像的每种内容而这样做，特别是内容创建者指定的关于图像的内容；但是另一方面，接收侧应当不会感受到其绝对没有说到关于图像色度的任何内容，即使其清楚地看起来对于该状况不适当)。
解码器251同样类似于在图2中所阐述的，即，其能够根据我们解释的hdr编码方法处理(hdr、ldr)图像分级(根据各种可能的图像全局或局部实施例，提取明亮度映射函数，从其确定新的mdr重新分级的图像等)。当然，读者理解，这仅仅阐释可能实现的一种，并且所述装置典型地将能够处理(即，解码和组合)所有种类的hdr或ldr视频或图像，即，也可以根据pqeotf或bbc-hlg方法等来定义im_hdr。在本范例中，然而，我们假设从某个(第二)图像源351(例如，卫星广播信道，或者通过因特网通往视频存储器的连接，或者甚至连接的相机等)，获得要混合的两幅图像的第二幅图像(例如，主要的、最重要的(前导)节目为hdr电影，其被准确地艺术地进行颜色分级)，并且例如，其是5000尼特pbhdr分级，其图像是利用pqeotf变换的，并且然后进行dct编码，并根据某种hevv概况和水平进行编码。同样地，传输元数据，其包括用于将这一hdr图像降级到100尼特ldr图像的函数f2_l。解码器能够针对连接的显示器制做出最优图像，例如，2500尼特的mdr图像im2_mdr。在这一正在自身被观看(不与任何其他(第一)图像数据组合，无论空间或时间交叉)的电影中，这将是正确的分级。
在图7中，我们总结了，根据我们实施例之一能够如何从第一动态范围外观向第二外观进行这样的重新分级。假设l_in是归一化的[0.0-1.0]hdr输入明亮度，其对应于实际(当绘制hdr图像时，要在显示器上绘制)明亮度0-5000尼特。l_out为归一化的ldr明亮度，但是对应于pb＝100尼特(即，sdr明亮度)。将这一hdr映射至这一ldr图像的函数702是f2_l颜色、特别是明亮度变换的范例(为了理解简单，能够假设仅具有灰度级图像，但是我们已经展示也能够通过这种方式在rgb颜色上应用所需的颜色变换)。假设我们希望推导最优重新分级函数703，其对应于mdr显示器的例如3400尼特的pb_mdr。如果我们希望将5000尼特的输入图像映射至针对pb＝5000尼特的显示器最优的图像，对角线701将是所需的明亮度映射，因为hdr图像已经针对该显示器进行了最优分级(即，其被身份变换进行了象征性变换)。我们确定推导方向dir，例如垂直。针对pb为3400尼特的显示器的缩放函数应当针对介于f(ls)与ls之间的任何输入明亮度ls给出值f*(ls)，f(ls)即恰好发生在该明亮度点中的最优确定的降级函数f(f2_l)。我们可以将该点确定为ls+fi(pb_mdr，ls)*(f(ls)-ls)，其中，fi为给出0与1之间的值的某种函数，并且在更简单的情形中，仅为pb_mdr的函数，也能够以相乘方式写为k(pb_mdr)*ls。确切使用哪个函数取决于所使用的实施例的重新分级哲学，并且读者能够想象，根据例如观看环境是否特异(或者甚至考虑观看者偏好)可能有各种更复杂或不复杂的实施例，但是其细节超出本申请需要解释的范围，该范围已经足够复杂(读者应当恰好理解，能够建立某种重新分级函数，并且应用于输入图像，以针对mdr显示器获得具有正确图像对象明亮度的正确重新分级的图像)。
如上所述，第一图像能够是任何东西，但是我们将利用ldr广告阐述该原理，我们的实施例的原理对于其他内容是类似的。当与100尼特的ldr广告混合时，该2500mdr可能不是适当的分级(即，2500可能不是适当pb)，至少因为两幅图像的动态范围中的巨大差异，而且也因为ldr广告中的对象明亮度的可能极端分布(即，2500尼特可能对于combrng而言不是最佳lmc值，但是然后能够选择另一值)。应当理解，高动态范围不仅为“高”，即亮，而且在“动态”方面，即，其中在明亮度轴上，创建者也已经在(一幅或多幅)图像中分配了各种语意对象和/或区域。与大共的误解相反，仅以高亮度示出图像可能仍然导致相当平坦的ldr状外观，并且甚至刺激人地亮，因此，希望对灰度值之间所有或许多具有更严格控制。例如，广告的创建者可以使得ldr广告额外亮并且闪烁，以使其在100尼特ldr屏幕上给出高视觉冲击。但是这种冲击甚至在2500尼特动态范围(更不用说5000尼特pb_d的显示器对于已买过这样的显示器的观看者而言)上可能过高，因此，例如，combrng考虑到在电影中展示良好亮度的灯，以及ldr分级的极端情况，对于这种情况而言，可能需要例如1500尼特的lmc。所述装置能够使用诸如测量ldr图像的全局对比度的方法，例如，对ldr图像中高于k％＝例如80％明亮度的像素的量有多大进行计数，平均明亮度常常有多高和极端，或者高于k％的像素量如何变化等，并且从其确定极端度量，并且从其确定例如当被映射至combrng时该ldr广告的最亮部分至少最终变得多亮，并且，例如，从其确定lmc必须是什么(例如，根据使用什么非线性，或者根据分配面部明亮度需要加亮多少量，ldr像素的最亮像素能够变为300尼特，并且hdr电影的最亮朗伯像素(即，在该电影的较低范围中识别的，例如，针对hdr电影的该主要区域的编码的中间灰度的5×)会变成例如k倍多或少，即，例如200或450，并且亮的灯可能变为5×300尼特，给定lmc＝1500尼特)。
技术人员读者理解，有各种方式得到combrng(或anc)，例如，能够主要通过hdr电影确定，并且然后，确定如何协调ldr图像与被映射至该combrng的hdr电影(如上文教导的第一个描述的范例)，或者如本文示范的，能够主要或在很大程度上由ldr图像特性来确定，同时当确定最亮hdr对象能够在ldr图像中的最亮或平均颜色上方延伸多远时保证hdr图像的足够高的质量，或者迭代直到发现两者合理的最优质等等。那些全部取决于特定状况的需求，以及特定组合装置实施例的行为。两幅图像的哪个具有最高重要性能够通过各种方式来预设，例如，在一些实施例中，观看者能够利用其遥控器指示他希望将要组合的任何图像对其电影造成最小扰动，或者内容创建者能够给出关于其内容的指示，组合装置最终确定哪个等。
返回到图3，第一图像源350提供(一幅或多幅)第一图像，我们假设是ldr图像im1_ldr，即，以标准方式、例如根据rec.709(当然，可以有解码单元，未对此示出)进行编码。在其为最近视频的情况下，其可能已经被其自己的用于将其转换成hdr的函数注释，或者在其为老的sdr视频的情况下，其可能不被注释。即，其可以使函数f1_l在其元数据中相关联，允许从艺术上最优转换成其本有100尼特dr之外的其他动态范围。在没有函数的情况下，组合装置能够始终应用平均而言合理工作良好的函数和估计值。同样，图像源350可以是各种源，例如，观看者房屋的前门上的安全相机可以在某人按响门铃等时pip图像。
如所解释的，根据各种可能算法的一种，动态范围建立单元(302)分析所述状况，例如，第一图像和第二图像的明亮度特性，并且在具有lmic＝0尼特和lmc＝1500尼特的以上范例中建立适当的组合明亮度动态范围(combrng)。明亮度锚确定单元(303)将确定锚明亮度(anc)。例如，其从与第一图像相关联的元数据中的第一图像源读取“面部明亮度”类型的源锚明亮度(l_sa1)，该值例如为45尼特。知道了对于图像中的至少一幅图像，面部看起来很重要，然后需要确立在combrng中哪个将是好的面部颜色anc(当然，其他实施例能够首先决定anc，甚至无需查看在哪里指定什么样的源明亮度，或者当看到锚明亮度例如是明亮室外子区域中的平均灰度时，其可以为combrng确定总体平均灰度，以及与combrng中的颜色的总体中性绘制相比，放置明亮外部明亮度的d_anc位置。根据该实施例的复杂性，典型实施例可能希望检查面部颜色类型的第二源锚明亮度l_s2a1的什么值指示在电影的当前帧中面部颜色如何。在归一化明亮度轴上，这当然将是更低的值，因为上方范围被用于hdr效应，例如明亮照明的对象或区域或灯。再者，如果高达例如400尼特的一定范围的漫射对象中的合理值将是180尼特，并且我们发现仅30尼特，我们知道或者是本来就暗的面部，或者光照暗淡的面部，或者两者兼有。在任何情况下，即使该面部应当看起来比广告中的更暗，但是如果我们决定将我们的anc值放在例如180*1500/2500处，则其将看起来暗得多。因此，我们可能希望计算有些接近30尼特的anc值，将ldr面部明亮度定位于例如0.8*180*1500/2500尼特值处或附近，并且使hdr面部颜色也被映射得更接近该anc值，例如，0.3*180*1500/2500。这保证了我们对于ldr图像具有适当调暗的面部，以及适当暗的面部，因为其应当依据故事，针对hdr电影，并且这两者都根据最优anc值被协调。当然，能够通过考虑其他或额外的锚明亮度，诸如对于指定hdr照明区域的中等灰度，来做出同样的事情。
已经利用锚明亮度anc建立了combrng，仍然要做的唯一的事情那么一般是将两幅图像根据一个特定明亮度值最优地映射至该动态范围中，确定该特定明亮度值，因为其应当落在anc值上或附近。这样做的一种方式是利用明亮度的线性分配，利用经最优确定的对比度值c，其是明亮度映射函数的线的斜率，并且然后通过计算线性方程直到发生剪切来分配明亮度(能够将剪切的量与c值一起控制；注意，其能够剪切到combrng之内的某个值，即，低于最大值lmc)。在本范例中，向下映射至combrng也能够通过考虑与解码器251使用的相同数学方式来完成，亦即，通过至少使用具有以下形状的明亮度映射(f2_l)，所述形状针对典型人类分级者确定的图像的更亮和更暗部分对所需行为进行编码。例如，一旦知道了combrng，就可以立即从5000尼特hdr图像im2_hdr得到与由解码器251映射的第二图像相对应的像素。颜色变换单元(310)被布置成进行所有必要的像素颜色变换，特别是至少适当的明亮度调节，使得组合单元(320)能够应用简单算法(例如，为简单的加性加权或像素替换或切换单元，因为所有色度优化已经完成)。源锚明亮度读取单元(311)将至少读取与两幅图像之一相关联的一个源锚明亮度，例如，ldr图像的面部明亮度，或者针对被成像场景中幅黑色的良好平均值等。如上所示，在一些实施例中，还能够从这两幅或通常所有图像读取若干源锚明亮度，其是图像中特殊明亮度区域的特性(例如，特殊灰度值，或者与公共语意重要对象相关联的灰度值，诸如平均亮或暗的天空明亮度等)。由于在一些较简单的情形中，不希望基于使仅一个相似锚明亮度(锚定到anc)相等来映射两幅图像的明亮度，而是希望智能地定位与anc相比的输出明亮度，偏差确定单元(312)被布置成确定适当的明亮度偏移(d_anc)。如上所示，这可能例如是因为广告包含高度照明和对比度的面部，并且恐怖电影包含带泥污的暗面部，并且例如，如果确定anc接近暗电影面部的明亮度，那么希望对于向哪里映射ldr广告面部的面部颜色有充分大的正偏移d_anc。中间经正确明亮度映射的图像im2_hm和im1_lm然后将进入组合单元(320)，所述组合单元然后可以例如简单如像素切换器，其取决于将经映射的hdr颜色(即，im2_hm)映射在输出图像im_o中或ldrim1_lm颜色的像素的(x,y)位置，无论是线性rgb，或者重新计算成y'cbcr等。
图4通过示出在明亮度动态范围上的映射为所选取的范例进一步示出了每项内容。im1_rng是ldr第一图像的ldr0-100尼特动态范围，即，使其明亮度被编码成必须落在最小明亮度lmi_l＝0尼特与最大明亮度lm_l＝100尼特之间。im2_rng例如是lmh＝5000尼特的hdr图像的动态范围(或者可以是经显示优化的mdr图像，在这种情况下，lmh在以上范例中将是2500尼特)。从这里已经能够看出，不需要combrng应当以任何方式与im2_rng或显示器范围di_rng相同或接近。示出该显示器范围是为了比较，但是在一些实施例中，其甚至不能用在组合中，但是那样相反im_o将进入显示调谐颜色变换单元，以将被定义成高达例如3000尼特的组合输出图像im_o映射至例如1400尼特的显示动态范围上，或者恰好所是的任何值(技术人员理解，会有这样的情形：其中，lmc比lm_mdr高，例如，如果在另一装置中进行组合，例如，在电缆头端，并且特定用户具有pb有限、例如950尼特的hdr显示器；或者，在混合全部发生于观看者的位置处的情况下，并且观看者具有高pb、例如7000尼特的显示器，但是当前接收hdr节目的内容，如pb＝1200尼特或更小的新闻节目以及ldr图像，那么可以确定lmc远低于lm_mdr＝7000尼特)。调谐函数然后例如能够是用于hdr电影内容的函数(即，f2_l)，因为ldr广告将已经与其充分和谐。当然，更复杂的实施例可以直接将这两幅图像优化到显示动态范围。读者将理解，有这样的状况：其中，combrng甚至不能够是例如显示动态范围，例如，在制片或视频传输侧，其中，观看者的电视细节尚未知道。那是hdr市场制造的复杂问题之一，并且那将需要应对。在ldr时代，所有电视都近似相等(pb大约为100尼特)，因此视频处理是简单的，但是现在一些观看者能够具有1000尼特的hdr电视，其他的是7000尼特的hdr电视，其他的是旧版sdr100尼特电视，而其他人希望在其pb例如为500尼特的ipad或移动电话上观看图像(尚未开始透露各种图像内容的所有细节)。应当理解，仅仅由其巨大的变化，那些显示动态范围也不能够全部无足轻重地始终是最适当的combrng，以用于组合两幅图像并最优地表示这两者。但是，同样地，尤其是如果必须最终绘制于例如1000尼特的电视或监视器上，如果我们要升级或组合ldr一直到5000尼特图像2的hdr动态范围，如果然后接下来必须要显著再次降级，则会是最优的，并且尤其当使用f2_l函数时，将有风险丢失较亮ldr颜色的某个重要部分？
我们利用图5稍微进一步解释，图5在hdr电影的主要区域500中使用了pip501范例(但是对于时域掩蔽和调整等，类似的问题发生)。
经典ldr组合器能够在y'cbcr(即，明度+2色度坐标)、非线性r'g'b'、线性rgb、或者原则上任何颜色空间(尽管对于需要在视频速度上工作的系统较不典型，然而仍然希望节省计算资源)中进行其组合。假设我们具有灰度值图像。
在将简单地逐像素切换像素的明度代码y'的情况下，那将导致非常坏的结果，因为那些是与hdr和ldr图像非常不同地确定的(这基本变成了处理装置的主要误解问题)。例如，通过ldrpip中的窗户510看到的每件事物(说成导演的评论)都可以被剪切到最大明度代码y'＝255或归一化的1.0，因为对于ldr而言过亮，并且在那个单独视频中根本不感兴趣。当在明度编码中绘制组合图像im_o时，其中，初始hdr电影(例如，黑夜场景)像素的归一化像素明度的一些已经通过利用例如pqhdreotf对其解码而利用ldr图像的归一化明度替换(窗户颜色将变为被绘制为例如pb_d＝4000尼特，其中，原则上可以替代地具有很好和谐的外部物体颜色，或者至少不那么刺激人明亮的剪切颜色)。这将导致过度辐照502，也被称为流血或光扩散。如果这不是已经由于显示器的物理特性(例如，背光led量小，显示器前面板上的互反射)，那么人眼中的炫光也能够导致hdr显示器上非常明亮的区域在不使用手遮挡明亮区域的情况下难以观看。简言之，观看者不喜欢，并且如果技术会使其成为可能，优选其他方式。至少应当清楚，ldrpip和hdr电影中夜景黑暗区域的那些明亮度并非很和谐。但是也可能出现相反情况。如果pip在hdr电影中接近太阳，或者其他非常亮的部分，则其可能过于暗淡。还可能丑陋的例如是非常清楚可能是白色，看起来过于灰的颜色。如果如右侧所示，我们通过使其更接近暗hdr面部的明亮度而减小pip面部的明亮度，事实在于，ldr图像中的其他对象的明亮度与面部颜色有关(在对比率上)，其将变得更适当地过于暗淡。因此，所有颜色应当看起来相对良好地协调。
可能天真地认为，然后能够通过向pip图像分配恰当的ldr子范围来解决所有问题(即，0-100尼特明亮度的子范围，因为其将落在hdrcombrng中，无论那可能是什么)，这对应于利用最大化到100尼特的ldrpb的rec709对其正确地解码，而不是例如3000尼特的(相对)显示pb，并且然后，使那些ldr像素在显示动态范围上具有高达大约100尼特的明亮度(假设取combrng等于可用的显示dr)。但是如所述的，尽管在一些状况中，那可能是良好的选择，那使得决策取决于显示动态范围实际是什么(相对来看，其变成随机关系)。对于非常亮的光照场景，可能发生与最大100尼特的ldrpip相邻，在3000尼特的显示器上，有相邻对象具有例如1500尼特的明亮度。这使得pip相当令人失望地暗淡，并且其颜色将看起来混浊而非生动，这不是为广告付费的人所希望的。在hdr图像动态范围(im2_rng)中组合时可能发生相同的情况。因此，将要理解，适当的混合不是无关紧要的事情，即，需要如在本发明中那样的良好框架。同样地，当具有两幅hdr图像时，即使eotf不是那样不同，仍然不确信内容创建者如何使用该可用范围，即，从色度方面设计其总系统(内容生产规则等)。即使两个编码的pb并非相差太大，例如，5000尼特对4000尼特，创建者仍然可能对例如室内场景的朗伯反射对象所处的较低范围做出显著不同的决策(出于很好的原因，例如，为了利用良好设计的hdr场景外观细节制造其特定的故事，相比于另一创建者制作能容易转换成其他动态范围的新闻节目，例如，用于在便携式显示器上观看，然而同时图像仍然应当在其中具有某种hdr穿孔)。第一创建者可能已经将那些定义成高达300尼特(在4000尼特系统上)，而第二图像的创建者可能已经针对其场景确定例如室内为某个空间站，升高到900尼特(在5000尼特的系统上)。有时，可能像你是否喜欢明亮那样简单，或者黑暗神秘的空间站。即使其遵循关于面部照明或至少绘制明亮度的非常严格的规则，例如，50％的漫射白色(即，300或900尼特)，在没有恰当的和谐化的情况下，组合中的面部可能看起来相当、甚至怪异地不同，甚至可能闪光。并且，对于hdr图像可能包含的许多其他色度关键对象可能发生相同情况，例如，游泳池是否应当看起来有些闪光并从其内部照明，或仅仅是暗淡的无味水，或夜景应当是多暗，或天有多大雾，或某些人甚至可能关心饮料售卖机前方被照明的海报上的明亮度，尤其是如果那涉及场景中的其他对象以及传输的故事和氛围等。
图6图示了颜色变换至combrng的两个可能范例。我们要组合的图像之一为输入图像，其具有相对输入明亮度l_in。如所解释的，所述装置需要确定颜色变换函数(ff_1)，其向所有可能的输入明亮度分配combrng中的输出明亮度l_out_comb。将这个函数例如加载在lut中，然后能够开始处理输入的像素颜色，以用于后续图像。第一简单线性确定产生线性函数601，由针对输入图像中的面部颜色明亮度l_sa1fc的两个参数anc_fc和相乘对比度常数c确定。这种函数能够在黑或白中剪切，这样可能是希望或可能是不希望的(再次取决于决策方希望其多简单，无论最终是内容创建者或装置制造商)。在更复杂的实施例中，能够对其做出改进。明亮度映射函数602示出了我们能够如何仅基于一对重要锚明亮度来很好地配置期望映射。那通常会产生元好得多的结果，尽管没有那么难使用。可能这种商业ldr图像有太多亮的像素，例如在背景中。当应用特定的摄影组成规则时，能够选择相对于较暗或较亮的背景，例如平均灰度背景，或者非常亮或白色背景，或者甚至可能是暗背景，来拍摄主要人物。在视频中，常常将取决于实际背景是什么(例如，如果视频正在报告一位时装摄影师正要对着白色背景拍摄模特，视频将展示他在白墙或将被拍照的背景幕布前方讲话)。在工作室中，背景可能已经被设计。在天气广播中，天气播报员可能站在照片的(典型虚拟的，由绿色屏幕)绘制的前方，该照片已经由非专业观看者提交。或者，在电影中，出于某种原因等，某人可能坐在明亮的公共宣传屏幕、例如led屏幕前方。这是需要协调的另一范例——在某些地方——因为在过去，将在ldr天气节目中展示协调良好的ldr照片，但是很快观看者可以发送用于展示的hdr照片，这仍然是以ldr方式产生的，或者此前几年间，某些人可能发送非常低质量的ldr照片，以因此混合在hdr节目中展示。在任何情况下，对于曲线602而言，假设ldr图像中经有许多过亮像素需要pip。我们可能不仅需要针对某种白色降低函数602的输出值，而且也例如针对最亮输入明亮度开始软剪切。因此，曲线601将产生过亮的结果。装置(301)已经通过读取输入图像中的三种类型的源锚明亮度并且将其分配到combrng输出图像中的相应锚明亮度而这样做。亦即，内容创建者还指定了针对漫射白的良好参考水平，即，该明亮度在其图像中对应于白色(即，反射率例如为90％)并且被平均照亮的lambertian反射对象。所述装置将为该ldr图像分配针对combrng中的ldr图像的漫射白的anc_dw明亮度，这显然低于线性明亮度变换曲线601将产生的明亮度。因此，组合装置现在能够智能地决定如何对这样的亮图像像素进行明亮度变换，给定其已经被确定为针对组合图像中那些更亮像素的特定需求的任何内容。能够在暗端上指定相似的适当行为，例如，在这种情况下，通过事先在黑锚明亮度l_sa1rbk中指定内容，并且在组合时确定适当的黑锚明亮度anc_rbk，来避免剪切。所述装置然后例如能够确定继续从该anc_rbk点到绝对黑(即，0.0)的线性函数，并且使其以非常小的斜率上升到anc_dw以上。或者，其能够针对特定绘制状况利用l_sa1rbk源黑色锚明亮度的知识来优化黑色。
我们利用图8阐述了一些可能更复杂的范例，亦即，我们的装置和方法实施例的一些能够如何不仅基于各种锚明亮度来设计多段函数，而且也基于元数据中从生成侧与图像一起公共传输的颜色变换函数(f2_l，如果有的话，还有f1_l)中指定的重新分级的行为，来确定明亮度变换曲线(ff)各部分的形状。
能够假设如前面那样(通过线性或非线性内插)发生三个锚明亮度之间的函数(ff)确定，但是该装置正要基于从所接收的元数据(f2_l)获得的关于内容创建者分级的知识来确定图8b中的高级明亮度变换函数810的明亮度变换行为。f2_l现在是第二图像从其天然动态范围(dr1)到另一预指定动态范围(dr2)的明亮度变换(针对第二图像，但是对于要在组合输出图像中组合的所有其他图像而言可以理解相同的状况)，即，输入明亮度l_dr1_im2涉及输出明亮度l_dr2_im2，这是针对该同一成像的hdr场景的另一动态范围外观。从该曲线图能够看到，有主要部分(在anc_dw与anc_rbk之间)，利用充分明亮和对比度的明亮度(对于组合状况而言)对其进行良好地表示(将绘制)，但是至少对于与某种动态范围相对应的一些外观，能够容易地舍弃黑色(低于l_sa1rbk)，因为函数快速降到零，并剪切。即，在本范例中，在最暗明亮度的该子范围中将不会有非常重要的对象。所述装置能够使用这来例如通过针对这些暗黑色快速降低该函件来确定其适当函数810，并且其能够基于其希望该组合有多暗或对比度多高来确定这种情况，或者至少该组合图像中的第二图像部分(例如，基于在该第二图像中存在的明亮度低于l_sa1rbk的像素的量，或者在输出图像im_o中进行适当组合、例如缩放之后等)。即，所述组合装置查看所接收到的两个分级的图像编码(即，在所接收的明亮度映射函数的形状的该部分中，当从主、例如5000尼特pb_c分级的图像向sdr100尼特分级重新分级时，如何处理最暗像素明亮度)的重新分级行为，并且确定在每种程度上相似的部分形状。
还图示了针对最亮像素的可能性。曲线f2_l中的不连续性表明，明显有两个区域，例如，室内场景中的朗伯对象，以及表示灯的明亮颜色(或者类似状况)。尤其是如果我们有灯时，那意指我们能够根据我们在mdr显示器和/或combrng上可用的动态范围等更随意地分配其最终明亮度。因此，所述装置能够为那些像素明亮度确定适当的平均水平l_refb，并且这样完成810曲线形状。图8a示出了所接收到的用于在主hdr与所接收sdr分级之间映射的明亮度映射函数f2_l看起来如何，具有对应的部分亮(802)和部分暗(801)函数形状和行为。
技术人员读者理解，这些各种实施例将能应用于许多系统中，并且应用于许多组合情形，并且具有各种组合的各种部件，但是我们利用两幅图像阐述了一些示范性另外的可能性。
图9示出了电视生产系统的范例。这可以是多相机工作室生产(第一相机901和第二相机902)，并且一些实况内容可以从位置进来等等。还可以是现场生产，例如ob车等。技术指导需要混合相机馈送和其他视频，其中一些可能是hdr，并且一些是ldr，例如，hdr视频当然可以与ldr视频形成对比，其是单一类型的(存在的通用单一rec.709标准)、各种类型和特性的。他希望在组合确定装置903上确定最优组合，所述组合确定装置可以驻留在生产控制室中。尽管他确定组合，我们在本范例中示出，这种组合未必需要导致固定定义的im_o(相反，技术指导仅需要确定适当的组合，但是该组合的具体细节能够以各种方式传输给视频通信管道更往下的各接收地点，其中接收器甚至可能希望重新确定不同的一个接收地点中的组合，例如，与技术指导优选的那个稍微不同；即，该组合可以作为大致图像和函数以及其他元数据，在组合之前被传输)。在那种情况下，可以传输具有元数据的图像信号910，其包括两幅图像(例如，具有缩放函数以确定所绝对的pip组合)，具有所确定的combrng、anc，并且可能还有ff_1和ff_2颜色变换，以将图像映射至combrng，使得任何接收器(例如，传输接收器904，在一些中间节点中，诸如，例如在传输控制室中)都能够实际应用最终组合。为了允许(combrng、anc、ff_1或ff_2中的至少一个的)潜在的重新确定，生产侧还可以在视频上传达另外的元数据，例如，其是否包含许多明亮场景，其需要高于平均电影亮度的额外的3×亮度(即，他们希望该内容在最终combrng中被如何进行明亮度映射)，关于对象或区域明亮度的细节或者语意信息，如例如天空的明亮度范围和/或位置等。
图10示出了另一可能实施例，亦即，中间组合装置(1001)。这例如可能在电缆提供商等的传输控制室中。他可以从主生产(如在图9中所创建的，并且作为最终图像或初始(一幅或多幅)图像，与充分多元数据一起传输，以根据指导适当地组合它们)来得到图像，亦即，im_prod，以及例如本地广告馈送imloccomm。中间组合装置(1001)可能潜在地还进行动态范围变换，例如，以将5000尼特的im_prod转换成以pb＝3000尼特编码的输出图像，这可能更适合该目的，例如，在某种预先建立的视频通信系统上进一步分发。如果该装置1001输出两个单独图像流以稍后混合，后者当然更令人感兴趣，然而，在本范例中，我们假设生成最终适当的图像流(仅由最终接收器进行显示调谐)，那将典型地已经具有与5000尼特不同的lmc。
读者还能够理解消费侧系统能够如何相似地将hdr图像或视频、例如电影与经由计算机接收的图像组合在一起，并且在机顶盒、个人计算机等的ic中组合，或者能够如何在视频会议室等中使用它们。图3的im_o能够进入电视，图像之一可以经由bd播放器等在蓝光盘中接收。
图11和图12给出了如何确定combrng的数种可能性。明亮度轴是以log_base2单位给出的，因为这给出了与人视觉亮度和(如果绘制的话)图像的亮度印象的更好地相关性。用于确定各种像素明亮度的算法还能够有利地在这样的对数表示中表达，实际上，我们优选的视频编码实施例中的一些也工作于这样的感知均匀化的明亮度表示中。在这些实施例中，所述装置已经确定了针对anc_fc的良好值。例如，所述装置假设近似30尼特的ldr值将是良好的值，也用于hdr绘制。所述装置现在将观看两幅图像的明亮度分布状况，与该组合的特定细节相组合，以实现对lmc和lmic的良好选择。所述装置将具有针对此的规则，例如可以由观看者控制设置来选择和改变所述规则。在前两个示例中，较高动态范围的图像(im2，以粗线示出)是主要图像，并且较低动态范围的图像(未必是sdr)im1是pip，例如，占据高达1/4的区域(这是控制参数之一，其能够表示与im2的场景中的对象相比，im1的对象或区域的视觉支配性)。在这些范例中，所述装置将希望hdrim2的外观支配，因此其将首先确定combrng以及im2在其中的放置，并且作为引导，并且然后，在其上和谐地放置im1。在这些实施例中，面部颜色已经被分配到最优最终面部颜色anc_fc，因此，剩余的问题是关于分配明亮度的其余部分。这将既受combrng的极端情况影响(从其出现颜色变换函数以明亮度协调地适配在其他明亮度中)，并且还受允许如明亮度影响所需那样改变那些函数的形状的可变性影响。在图11a中，hdrim2具有直方图，当在anc_fc附近绘制时，即，im2中的面部被正常地照亮时，该直方图已经很好地符合具有面部的典型场景。从通往黑色的长拖尾看到，在场景中有暗的区域，例如，这可能是演员后面某处未被照亮的房间。可能像素颜色中的一些像素颜色在一些绘制中不可见，因为其暗得无法区分，但是至少其被编码，并且由装置计算，使得任何最终的绘制装置(例如，向其mdr范围进行显示调谐以及最暗区域的卖家特异性加亮处理的电视)都能够适当地使用这种数据。我们进一步看到，有明亮明亮度模式hilaim2，其可以对应于例如灯，其中，我们将希望理想地看到一些结构(例如，灯在其金属照明装置中如何反射)。要为pip的图像im1具有接近白色的高像素计数峰值himodim1的特性(该代码中的最亮明亮度)。这可能是因为该人(从接近anc_fc的模式看，也具有相当大的面积，其中，典型面部颜色应当在典型照亮的图像)站在大的明亮屏幕前方，例如，灯箱前方，其接近白色，或者甚至被剪切成可能最大白色。该峰值具有很大可能性过亮并且在组合中噪声干扰。然而，在该第一范例中，因为面部颜色在正常位置的两幅图像中，并且在hdr图像中已经有相当大量的更亮的颜色(漫射照亮的物体的模式，例如，在主灯组下，以及一些比面部亮100×的高亮hlaim2)，能够将himodim1置于其正常位置处(即，当被解码到线性明亮度表示中时，高于如在im1中编码的combrng中锚的相同数量的级别，在本范例中，其也是100尼特附近的正常编码值，因为面部明亮度处在其正常ldr位置处)，因为将可以看到im2中也发生的正常明亮度，即，其将不过于失去和谐。然后，这还意指im2的高亮区能够保持在其正常位置处(因为不需要任何重新匹配或重新协调，因为所有匹配的颜色配合在当前的hdr图像明亮度分布概况中，其高亮区在这幅图像碰巧发生的地方)，即，所述装置能够将lmc选择为hilaim2明亮度模式的上限，或者在其没有高达pb的明亮度的情况下，是hdrim2范围的峰值亮度。那未必如此，但是如果不知道另外的细节，则可以是合理的选择，例如，所述细节是关于hdr图像处理链线路更往下的典型使用。在图11b中，具有类似状况(同样的im1被pip处理)，但是现在im2具有不同的直方图(例如，电影的稍后的镜头)。在此，面部要被绘制(即，如果其被自身绘制，未与其他图像内容进行任何组合)得较暗，例如4尼特。例如，可能是站在阴影中的人。在本范例中，所述装置不希望使pip中的面部这样暗，但是仍然希望对于im1面部也有协调的暗度。所述装置决定采用高于hdr图像面部明亮度一个级别的anc_fc的设置，即，8尼特，并且在anc_fc之下一个级别绘制im2面部(因为其应当保持其暗的外观，以保持该电影场景的艺术意图)，并且(根据pip的尺寸)在anc_fc以上1级在combrng中绘制ldr商业广告的面部(仍然明显更亮的图像部分，但是不是明亮得过于失去和谐)。当在im1中保持所有对象明亮度的比例时(通过锚明亮度anc_fc的线性映射)，这将已经将himodim1大区域的明亮度降低到低于60尼特而不是大约100。当所述装置判断明亮度影响(其能够纯粹在明亮度上判断，例如，通过计算im2的重要部分或对象的某种参考颜色(例如，面部颜色)与这种himodim明亮度之间的对比度chl，或者也通过空间分析，例如，通过将im1的更大且更近的高亮区域加权为与im2的重要的、例如中央区域形成更严重对比)时，其可以仍然认为，与im2的大部分的相当暗外观相比，im1的大的明亮区域过亮。因此，其可以决定将这种模式himodim1的明亮度降低1级，将其降到30尼特，对于右上角的小pip而言，这不应当过于分散注意力。如上所示，所述装置能够以各种方式那样做，例如，通过降低针对明亮度变换至anc_fc上方的combrng的对比度因子c，或者可以基于针对im1中最亮可能像素的某种期望最大位置lamx来计算的某种非线性函数，潜在地还通过定位某种漫射白锚明亮度来确定，等等。还要指出，在本实施例中，所述装置在黑色明亮度子范围中也进行某种和谐处理。因为hdr图像的黑色非常深(并且可以假设，若干个显示器可以对此进行绘制，至少当在显示器优化之前应用该算法时，如果与连接的显示器一起运行，或者甚至在显示器中，当然，所述装置可以考虑该显示实际能够以充分高的视觉质量、即可见性来绘制)，所述装置也可以加深im1的黑色，以使得两组黑色更和谐。其可以通过扩展例如低于针对im1编码为la_bk(某种黑色划界符)的所有明亮度来这样做，例如通过将局部对比度拉伸2×。从图11b能够看到，在本范例中，保持hdr图像的最亮区域可能仍然有用，即，再次将lmc确定为在能够这样做的显示器上忠实地绘制im2所需的最大值，因为问题主要在于协调降低深得多的明亮度子区域中的im1。注意，在本范例中，选择所述装置以将lmic限制为稍高于im2中的最暗颜色，例如，anc_fc下的x级，因为其判断过暗的颜色将被组合中的观看者通过任何方式忽视。到combrng的颜色变换映射能够考虑这点，并且加亮最暗的颜色以使其在combrng之内。
图12a给出了范例，其中，im1(即，在我们对广告的简单阐述中)变成支配图像。可能观看者不希望他们的电影在广告开始时变小，但是pip例如可以是要观看的第二频道，或者甚至包含初始观看的im2，如果第二频道上某种重要内容开始，电影切换到小pip，观看者还可能希望观看该重要内容(例如，im1的该图像对应于观看者不希望错过的新闻的开头，因为预期会有重要新闻条目)。现在假设，im1是sdr图像，但是某些人(例如，内容——例如广告——的创建者可能已经在元数据中指定期望“在至少1000尼特pb的显示器上在500尼特下绘制最亮明亮度”，或者观看者可能已经选取了某种用户设置，其指示他希望看到其内容，即使sdr的明亮度有多大动态或保守)已经指定在更高动态范围上将其绘制为非常亮，因为在更亮显示器上有其空间。因此，如果根据rec.709正常地解码，将得到直方图im1nat，但是实际上，将在要绘制的combrng中获得直方图im1adj，其在组合中针对im1具有高达500尼特的值(至少当sdr内容创建者的期望完全被组合装置遵循时，例如，因为其被设置成免费内容观看模式，由广告拥有者付费)。然后，图12a给出了计算实施例，其中，例如更年轻的观看者已经将其系统设置成动态模式。为了能够引人入胜地与来自im1的大明亮区域对比，所述装置需要将明亮的灯设置(至少在该中间指定combrng中，无论显示调谐可能对其进行什么操作)到例如8000尼特，即，其需要将lmc设置为8000尼特(即使当其在院士im2解码中为例如4000尼特时)。图12b是与第一种可能性形成对比的实施例，因为观看者已经将其系统设置成保守(因为他不喜欢看过亮的图像)。现在，那是另一种和谐考虑，其中，sdr内容的亮度在先，并且充分亮，因此，读者看到，这是推导combrng的lmc的非常不同的结果。因为已经有来自im1的非常亮的许多像素，这对组合图像im_o的所判断或经历的总的高亮度有贡献，所述装置可能期望降低亮hdr模式hilaim2的明亮度，并且因此lmc到仅2000尼特(即使电影例如是10000pb_d分级显示器上主分级的，并且作为5000尼特pb_chdr图像、例如利用smpte2084eotf明度分配来传输)。尽管在hdr图像的最亮的灯与im1的明亮的大的区域之间现在对比度较低(2级而非5或更多级)，即，在pip弹出时，hdr电影将失去其一些冲击力，至少总体图像不会过亮。观看者可能期望这种组合方式。
同样地，如果在anc_fc之前指定了范围combrng，则所述装置能够查看这两幅图像中的像素和对象的明亮度的各方面，例如，指定一个或多个对应的典型明亮度。例如，其可以观察这两幅图像中比中等灰度高k倍、或者大于解码的图像峰值明亮度以下1倍的像素百分比，并且根据这两幅图像中的这些值中决定针对若干个典型明亮度的良好值将是什么，在组合lmc中至少以之开始的最大可能明亮度。如果装置实施例针对每幅图像使用最亮对象明亮度的一个典型值，则能够确定当在combrng中映射时那些将如何相关，即，例如，其将具有什么明亮度对比度，并且提出更和谐的对比度。当然，另外的值，如场景中大部分颜色的中等灰度代表值(中等灰度能够是场景某种典型照明中某种实际10％反射，但是也能够用于指示例如图像中像素的模式、主要值或平均值等)能够在确定组合图像中各区域间对比度将是什么时有帮助，例如，im2最亮部分相对于im1的中等灰度部分等，并且选取那些之间的和谐关系。例如，一些装置实施例可以被配置成始终选取某些典型对比度值，其中亮、暗和平均区域被分配给combrng的一些典型明亮度子区域(根据lmc近似为1000尼特、2000尼特、5000尼特还是10000尼特，当然可能不同)，并且那些值能够从(例如，combrng中更高映射k级)何时检测到某种特性图像类型，例如夜景、照明良好的新闻节目、自然夜间等来推导。当针对例如良好面部或灰色量度(或明亮光照区域)确定良好anc值时，所述装置能够测量观看者坐在什么样的观看环境中。例如，电视中的前向相机能够在一个或多个表征值中总结环境的亮度特性，所述表征值能够用于方程中以缩放anc_fc值等(例如，向上或向下1级或多级)，并且与(一个或多个)锚明亮度相比其他明亮度所需的对比度等。例如，相机能够看到观看者(通过面部检测)坐在某种局部照明下的沙发上，并且其能够确定典型地照明不好的第二区域、即墙壁以及后方的其他物体。如果必须要通过实施例推导单个表征环境亮度值，周围墙壁的亮度将在计算中被赋值更高(例如，a*surround_average_l+b*local_spot_average_l)，因为局部照明典型地将来自上方并且较少影响观察者所在环境的体验(例如，大脑将什么确立为该环境中的深黑色，显示器仅仅形成其部分)。从这些各种阐述，现在读者应当明了，在各实施例中，能够有各种方式得到combrng、一个或多个anc明亮度以及明亮度映射函数形状的全部，并且实际上，最后，得到针对每种状况的和谐输出图像。
图18仅仅示出了要被应用于要混合的图像的至少一幅图像或图像部分的明亮度的所确定的颜色变换函数ff的一些阐述性一般典型可能性(或者其中的一些或全部具有其相应的函数ff_x)，并且从这些示例，读者能够想象遵循本发明的一般概念以及其各种实施例的另外的可能性。例如，图18a示出了确定由两个部分构成的ff_1函数的两种简单方式(在本范例中，结束于该范围的精确端点，在其他情形中这会有偏差)。在向等于源锚(l_sa1)的输入图像的明亮度应用函数的输出结果明亮度(lf1_o)必须精确等于anc的情况下，从所述装置的该内部程序得到所述函数。在输出明亮度lt2_v能够落在附近的情况下，能够确定相似的稍微不同的两个分段函数ff，其通过具有y值anc/k的点，其中，k例如是1.5、2、3或4。
图18b示出了，能够在这一例如正常/暗淡照明的中间灰色锚附近设计复杂形状的函数，其中，例如针对黑色的s曲线。所述组合装置能够例如通过典型地查看重新分级明亮度函数(例如，精细分级函数)来提出这样的明亮度映射函数部分，已经根据我们的编码原理传输了该函数以从另一实际接收的函数获得动态范围图像之一。如果所述组合装置看到针对黑色的这样的s型行为，能够理解，在黑色的中间似乎有某种重要的对象区域，其需要具有良好的强对比度，而最深的黑色似乎很大程度上能忽略，因为该函数示出其几乎可以被剪切成最小黑色(0，或者最低黑色可能的样子)。因此，稍微更智能的组合程序实施例将在其确定的ff形状中遵循这种行为，但是现在该函数被重新设定形状，因为映射不在明亮度的主hdr5000尼特范围与100尼特sdr范围之间，而是例如500尼特的combrng(因此，将需要根据相似的需要稍微变换黑色，主要确认中间黑色得到最佳绘制，但是将稍微不同)。类似地，针对针对明亮的函数部分，所述组合装置能够决定在更精确或更小程度上遵循与关键图像对象明亮度子范围相对应的形状细节。图18c示出了范例，其中，所述组合装置控制例如要被组合的sdr图像的某个“中间范围”的对比度c，并且在本范例中，所述装置还决定不将ff函数的上部一直拉伸到(输出图像im_cmb的)combrng的最大值，如在可能导致过亮sdr像素绘制的实施例中那样(读者应当理解，hdr图像明亮度直方图典型具有扩散很远的瓣，最亮明亮度的瓣例如仅包含20个小镜射衬片的20×5个像素，而sdr图像包含密集成束的直方图，其中在最大值pb_c＝100尼特附近具有许多明亮度，例如，可能甚至是剪切成白色室外场景的更大图像区域，并且必然在相对暗淡或更暗hdr电影中，组合像素的那些区域不应被绘制为如pb_comb＝2000尼特那样亮，以免破坏电影观看的愉悦)。应当意识到，在更早的时候，组合装置实施例不仅可以在其软件或硬件中有一些这样敏感的预编程规则，而且将来的其他实施例可以进行复杂的分析，以得到最终平衡的图像组合。因此，各种不同的系统实施例能够围绕该核心装置而设计，所述核心装置处理正确的图像或视频混合，例如，以允许该人能够在(常常未知的)混合实际发生之前很久，通过选择其内容的锚明亮度的良好值，以优雅而不过于麻烦的方式指定其内容需要什么。在混合装置中能够发生各种实施例，例如，其中，所述装置使用相同类型的锚(尽管一些装置还可能决定使用不同锚类型，并且将两幅图像的和谐映射从其锚类型转换成混合动态范围的可用明亮度)。技术人员读者能够理解，在实践中，前一种状况能够实现于例如操作于一种从属模式中的混合装置中，检查至少主要视频例如定义其关键面部锚明亮度是什么，然后确立良好的面部明亮度在混合动态范围中将是什么(例如，已经考虑了最终绘制特性)，并且然后，对第二图像进行明亮度变换(即使其不包含面部)，以与第一图像中的重要面部的明亮度和谐(即，其在组合动态范围中如何表示)。混合装置主导的第二策略的范例可以是，例如，如果用户正在电视上浏览照片，并且已经为其建立了某种参考(通过将锚明亮度定义为针对总体典型明亮度的代表性单个值，照片绘制必须(近似)遵守这个值；并且典型地，还有表示动态范围，例如，他已经定义了不是过亮(软观看)的组合动态范围，照片明亮度已经映射在该范围中，之后任何其他图像数据可能进入并且被和谐地混合，并且还可能已经指定照片当前主要使用该范围的一半，即，其像素的大部分具有低于pb_comb_photview/2的明亮度，尽管如此，如果辅助内容希望，在针对更亮像素的组合动态范围中也有一些空间)。然后，将通过装置查看内容中的锚值(可以与照片查看的锚类型不同，但是将通过混合装置的公式计算与其相关，例如，anc_face_inmix＝1.3*anc_photviewapplic)以及明亮度介于例如0或k尼特与pb_comb_photview之间的所建立的照片观看组合动态范围，来进行辅助图像内容(主要内容为照片，其中，已经在所确定的明亮度映射下映射)的混合。非常有用的是具有一种一般性单一(所有状况都能够工作)hdr图像内容混合系统，其能够处理各种状况，并且各个种类的确定将取决于对该状况什么是最优的，以及在任何时间该装置已知什么。
例如，在最终绘制系统尚不知道的情况下，当需要使两个图像内容和谐时，混合器能够做的最好的事情是至少查看那些如何得到最佳混合(例如，图像之一是否具有过多(可能很大)的高明亮度区域，需要对其进行暗淡化以欣赏其他图像内容)。在那种情况下，最终显示优化级(例如，在消费者电视中)可能仍然需要进行更复杂的优化，考虑到图像已经被指示为应当如何(一般地)对其进行最优地混合。然而，在已知绘制环境的实施例中，并且特别是具有强的期望的情况下，混合器可以更多向着最终外观进行平衡(即，大因子显示确定的combrng的视觉质量需求，以及例如通过进行不同映射而牺牲图像之一的完美单独绘制的一些)。在绘制能力在确定combrng中尤其重要的情况下，典型地，将使用关注例如hdr图像的预期性质的至少一些典型考虑(例如，该组合装置软件规则，其确定可能大部分“一般”典型hdr图像将存在于(+-)例如500尼特以下，并且明亮的对象如果被分配被要显示例如高达1500尼特的明亮度，则应当能绘制)。如果显示器然后例如仅具有仅pb_d＝1000尼特的能力，那将对应于良好质量的hdr图像的一些错误非最优绘制(即，例如，1400尼特的明亮爆发将有些过暗)。在这样的状况下，尽管可用显示器的实际pb_d可能对用于在绘制之前混合图像内容的combrng的pb_c的确定有大的影响，但是所述组合装置仍然能够决定将combrng的该pb确定为稍高于1000尼特(并且应用混合图像的最终显示调谐，以将其映射至显示器可绘制范围)，例如，高15％，即，1150尼特。当然，理想地，在更好的实施例中，combrng的优化，并且还有该组合动态范围中的适当的anc点将考虑并且平衡所有已知的因子(即，理想的内容绘制需求，以及所有实际需求和当前hdr图像混合阶段的限制)。最优anc点确定典型地可以查看在先前定义了最优combrng之后什么可用(可能)(但是如教导的那样，可以涉及各种其他因子，诸如，例如图像语义上包含什么种类的内容，并且在一些实施例中，甚至最终观看者期望针对这样的图像内容是什么，等等)。因此，各种实施例能够以各种方式确定anc，跨范围从装置中将(被指定为源图像锚类型的任何内容)始终将每项都相关到适当面部明亮度的固定设置，到一种系统，其具有anc类型的各种选项并且选择距要组合的源图像的至少一幅源图像最近的选项(即，如在要组合的图像的至少一幅图像中指示的相同类型的combrng中的anc明亮度，例如，良好的面部颜色，但是在combrng中，即，对于组合状况最优，这应当被理解为与自身针对每幅图像进行绘制不同)，即，典型地，前导图像，到装置在工作中确定在给定该状况所有物理细节的情况下敏感的anc值将是什么(例如，内容像素明亮度分布和显示器能力)等。后一种实施例是好的，例如，给定特定绘制限制，必须要最优地确定面部颜色，所述绘制限制诸如例如是显示器能够多暗地显示暗对象，高于此，面部明亮度就应当降低，对于源图像的暗区域中的面部而言这尤其关键。因此，为了清晰，所述装置的一些实施例能够通过确定某个anc值(例如，良好的平均明亮度)来工作，尽管两个当前进入的图像能够利用面部颜色类型的anc明亮度来定义，因为一般地，使该装置工作唯一所需的事情是能够由装置相关(即，输入图像中的典型面部明亮度能够被映射至combrng的“平均型”anc值附近，因为所述装置判断，如果面部例如比特别首先并且独立建立的好用的anc值亮50％，则将得到充分好的图像。)因此，源图像和combrng的anc类型应当是相关的或者能相关。anc能够以最优和优雅的方式总结图像所有的色度复杂性，并且在许多情形中，将仅需要用于组合的一个协调点。为了完整性，应当显而易见的是，动态范围中的anc值意指其不是端点明亮度，而是额外的信息。至于建立明亮度动态范围，技术人员读者可以理解可以如何涉及确定上明亮度，并且对于未系统地取最低明亮度为零尼特的实施例，还建立低明亮度，这再次取决于已知因子的平衡需求，诸如图像的更暗区域中的相关图像内容的量、绘制系统显示暗颜色的能力等。
在本文中公开的算法部件可以(全部或部分地)在实践中实现为硬件(例如，专用ic的部分)或者运行于特殊数字信号处理器或一般处理器等上的软件。
技术人员从我们的表述应当理解哪些部件可以是任选改进并且能够结合其他部件实现，以及方法的(任选)步骤如何对应于装置的相应模块，并且反之亦然。本申请中的“装置”一词是以其最宽泛意义被使用的，亦即允许实现特定目标的一组模块，并且因此能够是ic(的小电路部分)或专用电器(诸如具有显示器的电器)，或者联网系统的部分等。“布置”也意在用于最宽的意义，因此，其可以包括单个装置、装置的一部分、协作装置(部分)的集合等。
计算机程序产品表示应当被理解为涵盖若干命令的任何物理实现，该命令在一系列加载步骤(可以包括中间转换步骤，诸如转换成中间语言和最终处理器语言)之后使得一般或专用处理器能够向处理器中输入命令，并且执行本发明的特性功能的任何特性功能。具体地，所述计算机程序产品可以被实现为诸如磁盘或磁带的载体上的数据、存储器中存在的数据、经由有线或无线网络行进的数据或者纸上的程序代码。除了程序代码之外，程序所需的特性数据也可以实现为计算机程序产品。
针对所述方法的操作所需的一些步骤可以容易存在于处理器功能中而不是在计算机程序产品中描述，例如数据输入和输出步骤。
应当指出，上述实施例例示而不是限制本发明。在技术人员能够容易地将所提出的分离映射至权利要求的其他领域的情况下，为了简洁起见，未深入提到所有这些选项。除了权利要求中组合的本发明要素的组合之外，要素的其他组合也是可能的。要素的任意组合可以实现于单个专用要素中。
权利要求中括号之间的任何附图标记都并非意在限制权利要求。“包括”一词不排除存在权利要求中未列出的要素或方面。要素前的单词“一”或“一个”不排除存在多个这样的要素。