经显示优化的HDR视频对比度适配的制作方法

本发明涉及用于适配高动态范围视频的图像像素明亮度以产生在特定查看部位环境光量下显示hdr视频的情况的期望外观的方法和装置。

背景技术：

1、几年前，除了其他事物之外，由申请人引入了高动态范围(hdr)视频编码的新颖技术(参见例如wo2017157977)。

2、视频的编码通常主要或仅涉及制作或更精确地定义颜色代码(例如，每像素一个亮度和两个色度)以表示图像。这与知道如何最佳地显示hdr图像有些不同(例如，最简单的方法仅仅采用高度非线性的光电传递函数oetf来将期望的明亮度转换为例如10比特亮度代码，并且反之亦然，可以通过使用反向整形的光电传递函数eotf将10比特电亮度代码映射到要显示的光学像素明亮度来将那些视频像素亮度代码转换为要显示的明亮度，但是更复杂的系统可能会在若干方向上从编码图像的特定用途偏离，特别是通过将图像的编码与编码图像的特定用途断开)。

3、hdr视频的编码和处理与如何使用传统视频技术形成相当大的对比，根据传统视频技术直到最近才对所有视频进行编码，这现在被称为标准动态范围(sdr)视频编码(也称为低动态范围视频编码；ldr)。这种sdr在模拟时代一开始是pal或ntsc，后来移动到基于rec.709的编码，例如在数字视频时代中的mpeg2压缩。

4、尽管在20世纪是一种令人满意的用于传送移动图片的技术，但是超越20世纪crt的电子束的物理极限或全球tl-背光lcd的显示技术的进步使得可能示出具有比在那些传统显示器上显著更亮(并且潜在地也更暗)的像素的图像，这促使需要能够编码和创建这样的hdr图像。

5、实际上，从用sdr标准(8比特rec.709)不可编码的更亮并且也可能更暗的图像对象开始，出于各种原因，首先发明了能够在技术上表示那些增加的明亮度范围颜色的方式，并且由此逐个重新研究了视频技术的所有规则，并且常常必须重新发明。

6、由于其近似平方根oetf函数形状，rec.709的sdr的亮度代码定义能够编码(具有8或10比特亮度)仅约1000:1的明亮度动态范围，亮度：y_code＝power(2,n)*sqrt(l_norm)，其中，n是亮度信道的比特数，并且l_norm是物理明亮度的0与1之间归一化的版本。

7、此外，在sdr时代，没有定义要显示的绝对明亮度，因此实际上经由平方根oetf将最大相对明亮度l_norm_max＝100％或1映射到对应于例如y_code_max＝255的最大归一化亮度代码yn＝1。与制作绝对hdr图像相比，这具有若干技术差异，即其中被编码为被显示为200尼特的图像像素理想地(即，在可能时)在所有显示器上都被显示为200尼特，而不是显示为完全不同的显示明亮度。在相对范例中，200尼特编码像素明亮度可以在更亮的显示器(即，具有更亮的最大可显示明亮度pl_d(也称为显示器最大明亮度)的显示器)上以300尼特显示，并且例如在更小能力的显示器上以100尼特显示。注意，绝对编码也可以对归一化明亮度表示或归一化3d色域起作用，但是1.0则例如唯一地意味着1000尼特。

8、在显示器处，通常通过将视频的最亮明亮度映射到最亮的可显示像素明亮度(这在不涉及进一步的明亮度映射的情况下经由通过max.luma y_code_max电驱动显示面板而自动发生)来稍微启发式地显示这样的相对图像，因此如果你购买了200尼特pl_d显示器，你的白色看起来比在100尼特pl_d显示器上亮2倍，但是考虑到被认为不太重要的像眼睛适应的这样的因子，除了给出相同sdr视频图像的更亮、更好可观看且稍微更美丽的版本。

9、通常，如果现在(在绝对框架中)谈论sdr视频图像，则它通常具有pl_v＝100尼特的视频峰值明亮度(例如，按照标准商定)，因此在本技术中，我们认为sdr图像(或sdr分级)的最大明亮度正好是那个值，或在那个值周围一般化。

10、本技术中的分级旨在意指活动或结果图像，其中，像素已经例如由人类颜色分级器或自动机根据期望给予明亮度。如果查看图像，例如设计图像，则将存在若干图像对象，并且可能理想地想要给那些对象的像素一个分布在平均明亮度周围的明亮度，该平均明亮度对于该对象是最佳的，也给出了图像和场景的总体。例如，如果具有可用的图像能力，使得该图像的最亮可编码像素是1000尼特(图像或视频最大明亮度pl_v)，则一个分级器可以选择给予800和1000尼特之间的爆炸明亮度值的像素，以使爆炸看起来相当有力，而另一电影制作者可以选择不比500尼特亮的爆炸，以例如在该时刻不太多地阻止图像的其余部分(并且当然技术应当能够处理两种情况)。

11、hdr图像或视频的最大明亮度可以显著变化，并且通常作为关于hdr视频或图像的元数据与图像数据共同传送(典型的值可以是例如1000尼特、或4000尼特、或10000尼特，非限制性的；通常可以说当pl_v至少为600尼特时具有hdr图像)。如果视频创建者选择将他的图像定义为pl_v＝4000尼特，他当然可以选择创建更亮的爆炸，但是相对地它们将不会达到100％的pl_v水平，而是例如对于场景的这样的高pl_v定义仅达到50％。

12、hdr显示器可以具有最大能力，即最高可显示像素明亮度(从下端hdr显示器开始)，例如600尼特、或1000尼特、或数字n乘以1000尼特。该显示器最大-或峰值-明亮度pl_d是除了视频最大明亮度pl_v之外的其他明亮度，并且这两者不应被混淆。视频创建者通常不能为每个可能的终端用户显示器制作最佳视频(即，其中，终端用户显示器的能力被视频最佳地使用，其中，视频的最大明亮度永远不会超过显示器的最大明亮度(理想地)，但是也不会更低，即，在视频图像中的一些中应当至少存在具有像素明亮度l_p＝pl_v的一些像素，其对于任何特定显示器的连续优化也将涉及pl_v＝pl_d)。

13、创建者将做出他自己的决定中的一些(例如，他正在捕获什么类型的内容，以及以哪种方式)，并且通常制作具有如此高的pl_v的视频，使得他至少可以服务于他今天的预期观众的最高pl_d显示器，并且可能还在将来，当可能已经出现更高pl_d显示器时。

14、然后出现辅助问题，如何在具有(通常很多)较低显示峰值明亮度pl_d的显示器上最佳地显示具有峰值明亮度pl_v的图像，这被称为显示适配。即使在将来，仍然将存在需要比例如2000尼特pl_v图像更低的动态范围图像的显示器，该图像被创建并且经由通信介质被接收。理论上，显示器总是可以重新分级(即映射)图像像素的明亮度，使得它们通过其自身的内部启发法变得可显示，但是如果视频创建者在确定像素明亮度时非常小心，则他还可以指示他的图像应当如何显示适配到更低pl_d值可能是有益的，并且理想地，显示器在很大程度上遵循这些技术需求。

15、关于最暗的可显示像素明亮度bl_d，情况更复杂。其中的一些可以是显示器的固定物理性质，例如如lcd盒漏光，但是，即使使用最佳显示(其是观察者最终可以辨别为不同的最暗的黑色)，也取决于查看室的照明，这不是明确定义的值。该照明可以被表征为例如以勒克斯为单位的平均照度水平，但是为了视频显示目的，更优雅地被表征为最小像素明亮度。这通常还以比亮或中等明亮度的外观更强的方式涉及人眼，因为如果人眼正在看许多高明度的像素，则更暗的像素并且特别是其绝对明亮度可能变得较不相关。但是可以假设眼睛不是限制因素，例如当观看很暗的场景图像但仍然被显示屏前面的环境光掩蔽时。如果假设人类可以看到2％最小可觉差异，则存在一些最暗的驱动水平(或亮度)b，高于该最暗的驱动水平仍然可以看到下一暗亮度水平(即，比所显示的明亮度高x％，例如，显示多2％的明亮度水平)。

16、在ldr时代，人们根本不太关心最暗的像素。人们主要关心平均明亮度，大约是最大pl_v＝100尼特的1/4。如果图像在该值附近曝光，则场景中的所有东西看起来都非常明亮和彩色，除了场景的明亮部分在100％最大值之上的裁剪。对于场景的最暗部分，在它们足够重要的情况下，在录制工作室或拍摄环境中创建具有足够量的基础照明的捕获图像。如果场景中的一些没有被很好地看到，例如因为它被淹没于代码y＝0中，则这被认为正常。

17、因此，如果没有进一步指定，则可以假设最黑的黑色为零，或在实践中如0.1或0.01尼特左右。在这种情况下，技术人员更关心hdr图像中的如编码和/或显示的高于平均的更亮像素。

18、关于编码，hdr和sdr之间的差异不仅是物理差异(要在更大的动态范围能力显示器上显示的更多不同的像素明亮度)，而且是涉及不同亮度代码分配功能的技术差异(为此使用oetf；或在绝对方法中是eotf的逆)并且还潜在地有另外的技术hdr概念，如例如额外动态(每个图像或时间上连续的图像的集合)改变元数据，其指定如何对各种图像对象像素明亮度进行重新分级以获得与起始图像动态范围不同的辅助动态范围的图像(两个明亮度范围通常以不同至少1.5x的峰值明亮度结束)等。

19、简单的hdr编解码器被引入到市场，hdr10编解码器，其例如用于创建最近出现的黑色首饰盒hdr蓝光。该hdr10视频编解码器使用比平方根更对数形状的函数作为oetf(逆eotf)，即在smpte 2084中标准化的所谓的感知量化器(pq)函数。该pq oetf允许定义足够用于实际hdr视频制作的更多得多(理想地要显示的)明亮度(即在1/10000尼特和10000尼特之间)的亮度，而不是像rec.709oetf那样被限制于1000：1。

20、注意，读者不应简单地将hdr与亮度代码字中的大量比特混淆。这对于如模数转换器的比特量的线性系统可能是真实的，其中，比特量实际上遵循动态范围的以2为底的对数。然而，由于代码分配函数可以具有相当非线性的形状，因此理论上期望，可以仅用10比特亮度(并且甚至每个颜色分量hdr图像8比特)来定义hdr图像，这导致已经部署的系统的可重用性的优点(例如，ic可以具有一定的比特深度或视频线缆等)。

21、在计算亮度之后，具有像素亮度y_code的10比特平面，每个像素的两个色度分量cb和cr被添加到该像素亮度y_code的10比特平面作为色度像素平面。该图像可以典型地在数学上被进一步向下处理“好像”它是sdr图像，例如mpeg-hevc压缩等。压缩器并不真正需要关心像素颜色或明亮度。

22、但是接收装置(例如显示器(或实际上其解码器))通常需要对{y,cb,cr}像素颜色进行正确颜色解释，以显示正确外观图像，而不是具有例如漂白颜色的图像。

23、这通常通过将另外的图像定义元数据与三个像素化颜色分量平面一起共同传送来处理，这定义了图像编码，诸如使用哪个eotf的指示，为此我们将不受限制地假设使用了pq eotf(或oetf)、以及pl_v的值等。

24、更复杂的编解码器可以包括另外的图像定义元数据，例如，处理元数据，例如，指定如何将高达pl_v＝1000尼特的第一图像的明亮度的归一化版本映射到辅助参考图像(例如，pl_v＝100尼特sdr参考图像)的归一化明亮度的函数(如我们关于图2更详细地阐明的)。

25、为了方便对hdr不太了解的读者了解最新情况，我们在图1中快速阐明了一些有趣的方面，图1示出了未来的hdr系统(例如，连接到1000尼特pl_d显示器)可能需要能够正确处理的许多可能的hdr场景的几个原型说明性示例。像素颜色的实际技术处理可以以各种方式在各种颜色空间定义中发生，但是重新分级的迫切需要可以被示出为跨越不同动态范围的明亮度轴之间的绝对明亮度映射。

26、例如imscn1是来自西部电影的阳光充足的户外图像，其具有大部分明亮的区。不应当误解的第一件事是任何图像中的像素明亮度通常不是在现实世界中可以实际测量的明亮度。

27、即使在输出hdr图像(其可以用作起始图像，我们应将其称为主hdr分级或图像)的创建中没有进一步的人类参与，无论通过调整一个参数多么简单，相机由于其虹膜至少总是测量图像传感器中的相对明亮度。因此，总是存在涉及其中至少最亮图像像素在主hdr图像的可用编码明亮度范围中结束的一些步骤。

28、例如，在现实世界中，可以测量太阳在警长的星徽上的镜面反射高于100000尼特，但是这既不可能在典型的近期显示器上显示，也不让观看电影中的图像的观察者(例如，在晚上光线昏暗的房间中)愉快。替代地，视频创建者可以决定5000尼特对于徽章的像素足够亮，因此如果这将是电影中的最亮像素，则视频创建者可以决定制作pl_v＝5000尼特视频。尽管作为仅用于主hdr分级的原始版本的相对像素明亮度测量设备，但是相机还应当具有足够高的原生动态范围(完全超过噪声基底的全像素)以制作良好的图像。分级的5000尼特图像的像素通常以非线性方式从相机捕获的原始图像导出，其中，例如颜色分级器将考虑作为典型查看情况的这些方面，其将与站在实际拍摄位置(即炎热的沙漠)时不同。选择为该场景imscn1制作的最佳(最高pl_v)图像(即在该示例中，5000尼特图像)是主hdr分级。这是要创建和传送的最低要求的hdr数据，但不是在所有编解码器中传送的唯一数据，也不是在一些编解码器中甚至是完全传送的图像。

29、具有可用的这样的可编码高明亮度范围dr_1(例如在0.001尼特和5000尼特之间)将允许内容制作者向观察者提供明亮外部的更好体验，但也提供更暗的夜间场景(当在整个电影中被良好分级时)，当然，只要观察者也将具有对应的高端pl_d＝5000尼特显示器。良好的hdr电影不仅在一个图像中平衡各种图像对象的明亮度，而且在电影的故事或通常创建的视频材料(例如，精心设计的hdr足球节目)中随时间平衡各种图像对象的明亮度。

30、在图1的最左边的竖直轴上示出了一些(平均)对象明亮度，如想要在5000尼特pl_v主hdr分级中看到它们的那样，理想地旨在用于5000尼特pl_d显示器。例如，在电影中，可能想要示出具有大约500尼特的像素明亮度(即，通常比在ldr中亮10倍，尽管另一创建者可能期望稍微更少的hdr打孔，例如300尼特)的明亮的阳光照射牛仔，根据创建者，这将构成显示该西部图像的最佳方式，向终端消费者给出最佳可能的外观。

31、通过考虑在相同图像中具有相当暗的区域(诸如洞穴图像imscn3的阴影角)但也具有非常亮的像素的相对大的区(如通过洞穴入口看到的阳光照射的外部世界)的图像，更容易理解对明亮度的更高动态范围的需要。这产生了与例如其中仅路灯包含高明亮度像素区域的imscn2的夜间图像不同的视觉体验。

32、现在，问题是需要能够定义最优地对应于主hdr图像的pl_v_sdr＝100尼特sdr图像，因为目前仍然许多消费者具有ldr显示器，并且即使在将来也将存在做出电影的两个分级而不是原型唯一hdr图像本身编码的良好原因。这是与关于编码本身的技术选择分开的技术需求，例如被证明的是，如果知道如何(可逆地)从另一个创建主hdr图像和该辅助图像之一，则可以选择编码和传送该对中的任一个(以一个的价格有效地传送两个图像，即，每个视频时刻仅传送一个像素颜色分量平面的一个图像)。

33、在这样的减小的动态范围图像中，当然可以不定义像真正明亮的太阳那样的5000尼特像素明亮度对象。最小像素明亮度或最深黑色也可以高达0.1尼特，而不是更优选的0.001尼特。

34、因此，以某种方式应当能够使该对应的sdr图像具有减小的明亮度动态范围dr_2。

35、这可以通过接收侧显示器中的一些自动算法来完成，例如，可以使用固定明亮度映射函数，或可以由如pl_v_hdr值的简单元数据以及潜在地一个或多个其他明亮度值来调节。

36、然而，通常可以使用更复杂的明亮度映射算法，但是对于本技术，我们假设不失一般性地由一些全局明亮度映射函数f_l(例如，每个图像一个函数)定义映射，其针对至少一个图像定义第一图像中的所有可能出现的明亮度(即，例如0.0001-5000)如何被映射到第二输出图像的对应的明亮度(例如，对于sdr输出图像为0.1到100尼特)。可以通过将沿着两个轴的明亮度除以其相应的最大值来获得归一化函数。在此背景下，全局意味着相同的函数用于图像的所有像素，而不管另外的条件，如例如其在图像中的位置(更通用的算法使用例如用于可根据一些准则分类的像素的若干函数)。

37、理想地，所有明亮度应当如何沿着辅助图像(sdr图像)的可用范围重新分布应当由视频创建者确定，因为他最好地知道如何针对减小的动态范围进行子优化，使得在给定限制的情况下，sdr图像仍然看起来至少像预期的主hdr图像一样可行地好。读者可以理解，实际定义(定位)这样的对象明亮度对应于定义明亮度映射函数f_l的形状，其细节超出了本技术。

38、理想地，函数的形状也应当根据不同的场景而改变，即在电影中稍后的洞穴场景与晴朗西部场景，或通常根据时间图像而改变。这被称为动态元数据(f_l(t)，t指示图像时刻)。

39、现在理想地，内容创建者将针对每种情况(即，每个潜在服务的终端用户显示器，例如，具有pl_d_mdr＝800尼特的显示器，其需要对应的pl_v_mdr＝800尼特图像)做出最佳图像，但是这对于内容创建者而言通常是太多的努力，即使在最昂贵的离线视频创建中也是如此。

40、然而，申请人先前已经证明，(仅)进行场景的两个不同的动态范围参考分级就足够了(通常在极端端，例如5000尼特是最高必要的pl_v，并且100尼特通常足以作为最低需要的pl_v)，因为然后可以经由一些(通常固定的，例如标准化的)显示适配算法(例如应用于接收两个分级的信息的终端用户显示器中)自动地从这两个参考分级(hdr和sdr)导出所有其他分级。通常，计算可以在任何视频接收器中进行，例如机顶盒、tv、计算机、电影装备等。用于hdr图像的通信信道也可以是任何通信技术，例如地面或有线广播、如蓝光盘的物理介质、因特网、到便携式设备的通信信道、专业站点间视频通信等。

41、该显示适配通常还可以将明亮度映射函数应用于例如主hdr图像的像素明亮度。但是显示适配算法需要确定与f_l_5000至100(其是连接两个参考分级的明亮度的参考明亮度映射函数)不同的明亮度映射函数，即经显示适配的明亮度映射函数fl_da，其不一定与两个参考分级f_l之间的原始映射函数微不足道地相关(可以存在显示适配算法的若干变型)。在5000尼特pl_v动态范围和800尼特中等动态范围上定义的主明亮度之间的明亮度映射函数在本文中将被写为f_l_5000至800。

42、我们已经通过箭头象征性地示出了显示适配(仅针对平均对象像素明亮度之一)，该箭头不映射到将“朴素地”预期f_l_5000至100函数穿过800尼特mdr图像明亮度范围之处，但是例如稍微更高(即，在这样的图像中，牛仔必须稍微更亮，至少根据所选择的显示适配算法)。因此，一些更复杂的显示适配算法可以将牛仔放置在所指示的更高位置处，但是一些客户可能对更简单的位置感到满意，其中，500尼特hdr牛仔和18尼特sdr牛仔之间的连接穿过800尼特pl_v明亮度范围。

43、通常，显示适配算法基于原始明亮度映射函数f_l(或参考明亮度映射函数，也称为参考重分级函数)的形状来计算经显示适配的明亮度映射函数fl_da的形状。

44、该基于图1的阐明构成了任何hdr视频编码和/或处理系统的技术需求，在图2中，我们图示了根据本技术人的编解码器方法的用于实现需求(非限制性)的一些示例性技术系统及其部件。本领域读者应当理解，这些部件可以体现在各种设备等中。本领域技术人员应当理解，该示例仅作为用于各种hdr编解码器框架的全部部分呈现，以具有对一些操作原理的背景理解，并且不旨在特别限制下面呈现的创新贡献的实施例中的任何。

45、尽管是可能的，但是每个时刻的两个实际不同图像的技术通信(hdr和sdr分级均作为其相应的三个颜色平面进行传送)尤其在所需的数据量方面是昂贵的。

46、这也不是必需的，因为如果知道可以基于初级图像中的明亮度和函数f_l来计算所有对应的辅助图像像素明亮度，则可以决定每个时刻仅传送初级图像和函数f_l作为元数据(并且可以选择传送主hdr或sdr图像作为两者的代表)。由于接收器知道其-通常固定的-显示适配算法，因此它可以基于该数据在其末尾确定fl_da函数(可能存在控制或引导显示适配的传送的另外的元数据，但是其当前没有部署)。

47、可以存在每个时刻传送唯一图像的两种模式和函数f_l。

48、在第一向后兼容模式中，传送sdr图像(“sdr通信模式”)。该sdr图像可以直接(不需要进一步的明亮度映射)显示在传统sdr显示器上，但是hdr显示器需要应用f_l或fl_da函数以从sdr图像获得hdr图像(或其逆，取决于函数的哪个变型被传送，向上分级变型还是向下分级变型)。感兴趣的读者可以找到在以下中标准化的本技术人的示例性第一模式方法的所有细节：

49、etsi ts103 433-1v1.2.1(2017-08):high-performance single layer highdynamic range system for use in consumer electronics devices；part 1:directlystandard dynamic range(sdr)compatible hdr system(sl-hdr1)。

50、另一模式传送主hdr图像本身(“hdr通信模式”)，即例如5000尼特图像，以及允许从其计算100尼特sdr图像(或任何其他更低动态范围图像，经由显示适配)的函数f_l。主hdr传送图像本身可以例如通过使用pq eotf来编码。

51、图2还示出了整个视频通信系统。在传输侧，它以图像源201开始。取决于是否具有离线创建的视频(例如，来自因特网递送公司)或现实生活广播，这可以是从硬盘到来自例如电视演播室等的线缆输出的任何内容。

52、这产生了主hdr视频(mast_hdr)，例如由人类颜色分级器进行颜色分级，或相机捕获的阴影版本，或借助于自动明亮度重新分布算法等。

53、除了对主hdr图像进行分级之外，还定义了常常可逆的颜色变换函数f_ct的集合。在不旨在失去一般化的情况下，我们假设这包括至少一个明亮度映射函数f_l(然而，可以存在另外的函数和数据，例如，指定像素的饱和度应当如何从hdr改变到sdr分级)。

54、如上所述，该明亮度映射函数定义hdr和sdr参考分级之间的映射(图2中的sdr参考分级是要传送到接收器的sdr图像im_sdr；经由例如mpeg或其他视频压缩算法或不经由mpeg或其他视频压缩算法进行数据压缩)。

55、不应将颜色变换器220的任何颜色映射与应用于原始相机馈送以获得主hdr视频的任何事物混淆，主hdr视频在此处已经被假设为输入，因为该颜色变换用于获得要传送的图像，并且同时获得重新分级需求，如在明亮度映射函数f_l中技术上公式化的。

56、对于示例性sdr通信类型(即sdr通信模式)，主hdr图像被输入到颜色变换器202，颜色变换器202被配置为将f_l明亮度映射应用于主hdr图像(mast_hdr)的明亮度，以获得写入输出图像im_sdr中的所有对应的明亮度。为了阐明，让我们假设人类颜色分级器通过使用颜色分级软件来调整电影的类似场景的图像的每次拍摄的该函数的形状。所应用的函数f_ct(即，至少f_l)被写入(动态，处理)元数据以与图像共同传送，在示例mpeg补充增强信息数据sei(f_ct)中，或在其他标准化或非标准化通信方法中的类似元数据机制中。

57、在已经将要传送的hdr图像正确地重新定义为对应的sdr图像im_sdr的情况下，这些图像常常(至少例如用于向终端用户广播)使用现有的视频压缩技术(例如mpeg hevc或vvc或avi等)来压缩。这在视频压缩器203中执行，视频压缩器203形成视频编码器221的一部分(视频编码器221继而可以包括在各种形式的视频创建装置或系统中)。

58、压缩图像im_cod通过一些图像通信介质205(例如，卫星或线缆或因特网传输，例如根据atsc 3.0或dvb等；但是hdr视频信号也可以例如通过两个视频处理装置之间的线缆传送)被发送到至少一个接收器。

59、通常，在传送之前，传输格式化器204可以进行一些另外的变换，传输格式化器204可以根据系统应用如例如分组化、调制、传输协议控制等的技术。这通常将应用集成电路。

60、在任何接收站点处，对应的视频信号去格式化器206应用必要的去格式化方法来重新获得压缩视频作为例如压缩hevc图像(即hevc图像数据)的集合，例如解调等。

61、视频解压缩器207进行例如hevc解压缩，以获得像素化的未压缩图像im_usdr的流，其在本示例中是sdr图像，但是在另一模式中将是hdr图像。视频解压缩器还将从例如sei消息中解包必要的明亮度映射函数f_l，或通常颜色变换函数f_ct。

62、图像和函数被输入到(解码器)颜色变换器208，颜色变换器208被布置为将sdr图像变换为(即，高于100尼特的pl_v并且通常至少高几倍(例如5x)的)任何非sdr动态范围的图像。

63、例如通过应用在编码侧使用的颜色变换f_ct的逆颜色变换f_ct，可以将5000尼特重建hdr图像im_rhdr重建为主hdr图像(mast_hdr)的紧密近似，以从mast_hdr制作im_ldr。然后可以将该图像发送到例如显示器210以进行进一步的显示适配，但是在解码期间，通过在颜色变换器中使用fl_da函数(在离线循环中确定，例如在固件中)而不是f_l函数，也可以一次性发生经显示适配的图像im_da_mdr的制作。因此，颜色变换器还可以包括显示适配单元209，以导出fl_da函数。

64、如果视频解码器220被包括在例如机顶盒或计算机等中，则可以将经优化的例如800尼特显示适配的图像im_da_mdr发送到例如显示器210，或如果解码器驻留在例如移动电话中，则可以将其发送到显示面板，或如果解码器驻留在例如特定因特网连接的服务器中，则可以将其传送到电影院投影仪等。

65、图3示出了hdr解码器(或编码器，其通常可以在很大程度上具有相同的拓扑，但是使用反函数，但是通常不包括显示适配)的颜色变换器300的内部处理的有用变型，即对应于图2的208。

66、像素(在该示例中，sdr图像像素)的明亮度作为对应的亮度y’sdr被输入。色度(也称为色度分量cb和cr)被输入到颜色变换器300的下处理路径。

67、通过明亮度映射电路310将亮度y’sdr映射到所需的输出明亮度l’_hdr-例如主hdr重建明亮度或一些其他hdr图像明亮度。它应用如从显示适配函数计算器350获得的合适函数，例如，特定图像和最大显示明亮度pl_d的经显示适配的明亮度映射函数fl_da(t)，显示适配函数计算器350使用元数据共同传送的参考明亮度映射函数f_l(t)作为输入。显示适配函数计算器350还可以确定用于处理色度的合适函数。目前，我们将仅假设每个可能的输入图像像素亮度y的乘法因子mc[y]的集合存储在例如颜色lut 301中。彩色处理的确切性质可以变化。例如，可能想要通过首先通过输入亮度(颜色lut中的对应的双曲线)归一化色度并且然后校正输出亮度来保持像素饱和度恒定，但是也可以使用任何差分饱和度处理。通常将维持色调，因为两个色度乘以相同的乘数。

68、当用当前正被颜色变换(明亮度映射)的像素y的亮度值索引颜色lut 301时，所需的乘法因子mc结果为lut输出。乘法器302使用该乘法因子mc以将其乘以当前像素的两个色度值，即，以产生颜色变换的输出色度

69、cbo＝mc*cb,

70、cro＝mc*cr

71、经由固定的颜色矩阵化处理器303，应用标准比色计算，色度可以转换为缺乏明度的归一化非线性r’g’b’坐标r’/l’、g’/l’和b’/l’。

72、通过乘法器311获得给出输出图像的适当明亮度的r’g’b’坐标，乘法器311计算：

73、r’_hdr＝(r’/l’)*l’_hdr，

74、g’_hdr＝(g’/l’)*l’_hdr，

75、b’_hdr＝(b’/l’)*l’_hdr，

76、其可以在颜色三元组r’g’b’_hdr中概括。

77、最后，可以通过显示映射电路320进一步映射到显示器所需的格式。这产生了显示器驱动颜色d_c，其不仅可以以显示器所需的比色法(例如甚至hlg oeft格式)来制定，而且该显示映射电路320在一些变型中可以被布置为对显示器进行一些特定的颜色处理，即，其还可以例如重新映射像素明亮度中的一些。

78、在wo2016/091406或etsi ts103 433-2v1.1.1(2018-01)中教导了阐明一些合适的显示适配算法以针对创建侧分级器可能已经确定的任何可能的f_l函数导出对应的fl_da函数的一些示例。

79、然而，这些算法不太关心终端用户的显示器上的最小可显示黑色。

80、实际上，可以说他们假装最小明亮度bl_d足够小，以至于可以说它是零。因此，显示适配主要关注各种显示器的最大明亮度pl_d与视频pl_v的最大明亮度相比的差异。

81、如在现有申请wo2016/091406的第18附图中可以看到的，任何输入函数(在阐明示例中，由两个线性段形成的简单函数)基于沿着135度角定位的度量朝向对角线缩放，该135度角从通常归一化为1.0输入和输出明亮度的曲线图中的输入明亮度的水平轴开始。应当理解，这仅仅是整个类别的显示适配算法的显示适配的示例，其没有以旨在限制我们的新颖显示适配概念的适用性的方式提及，例如，特别地，度量方向的角度可以具有其他值。

82、但是，该度量及其对重新整形的f_l函数(即，所确定的fl_da函数)的作用仅取决于要用最佳重新分级的中等动态范围图像服务的显示器的最大明亮度pl_v和pl_d。例如，5000尼特位置将对应于位于对角线上的零度量点(对于沿着对应于输入图像中的可能像素明亮度的对角线放置的任何位置)，并且100尼特位置(标记为pbe)将是原始f_l函数的点。

83、作为该方法的有用变型的显示适配在图4中通过示出其在可能的归一化输入明亮度ln_in对归一化输出明亮度ln_out的曲线图上的动作来总结(这些将通过乘以与归一化明亮度相关联的显示器的最大明亮度(即pl_v值)而被转换为实际明亮度)。

84、例如视频创建者已经设计了两个参考分级之间的明亮度映射策略，如关于图1所解释的。因此，对于输入图像(比如说例如主hdr图像)中的像素的任何可能的归一化明亮度ln_in，该归一化输入明亮度必须被映射到作为输出图像的第二参考分级的归一化输出明亮度ln_out。所有明亮度的这种重新分级对应于特定函数f_l，其可以具有如由人类分级器或分级自动机确定的许多不同的形状，并且该函数的形状作为动态元数据被共同传送。

85、问题是现在在该简单的显示适配协议中，f_l函数的导出的辅助版本应当具有什么形状来映射到中间动态范围显示的mdr图像(而不是到参考sdr图像)(假设映射再次从作为输入图像的hdr参考分级图像开始)。例如，在度量上，可以计算例如800尼特显示器应当具有50％的分级效果，完全100％是主hdr图像到100尼特pl_v sdr图像的重新分级。通常，对于像素的任何可能的归一化输入明亮度(ln_in_pix)，可以经由度量来确定没有重新分级和完全重新分级到第二参考图像之间的任何点，其被指代为经显示适配的明亮度l_p_n，其位置当然取决于输入归一化明亮度，而且还取决于与输出图像相关联的最大明亮度的值(pl_v_out)。本领域技术人员理解，尽管可以用归一化明亮度表示来表示函数，但是可以用根据任何oetf定义的任何归一化明亮度表示来等效地表示它。

86、我们可以如下确定对应的经显示适配的明亮度映射fl_da(参见图4a)。取所有输入明亮度中的任一个，例如ln_in_pix。这对应于对角线上与归一化明亮度的输入和输出轴具有相等角度的起始位置(如正方形所示)。将度量的缩放版本(缩放度量sm)放置在对角线上的每个点处，使得其处于与对角线正交(或逆时针与输入轴成135度)，在对角线处开始，并且-以其100％水平-在f_l曲线上的点处结束，即在f_l曲线与正交缩放度量sm的交叉点处(由五边形示出)。在度量的50％水平(在该示例中，对于必须为其计算图像的显示器的pl_d值)处放置一个点，即中途[注意，在这种情况下，输出图像的pl_v值将被设置为等于需要被供应有经显示优化的图像的显示器的pl_d值]。通过对对应于所有ln_in值的对角线上的所有点这样做，获得fl_da曲线，并且其与原始曲线类似地整形，即进行相同的重新分级，但是最大明亮度重新缩放/调节。给定ln_in的任何输入hdr明亮度值，该函数现在准备好应用于计算所需的对应的经最佳重新分级/显示适配的800尼特pl_v像素明亮度。该函数fl_da将由明亮度映射电路310应用。

87、通常，该显示适配的性质如下(并且不旨在具体地更受限制)。可以根据技术上的期望预先固定度量的取向。图4b示出了另一缩放度量，即竖直取向的缩放度量smv(即，与归一化输入明亮度ln_in的轴正交)。再次，0％和100％(或1.0)对应于没有重新分级(即，对输入图像明亮度的恒等变换)，分别重新分级到两个参考分级图像中的第二参考分级图像(在该示例中，通过不同形状的明亮度映射函数f_l2相关)。

88、度量上的测量点的位置(即10％、20％等值所在之处)也可以在技术上变化，但通常是将非线性的。

89、它将在技术中预先设计，例如电视显示器。例如可以使用wo2015007505中描述的函数。还可以设计对数函数，使得对于pl_v_hdr值(例如5000尼特)，特定a*(log(pl_v)+b)等于1.0，并且0.0点对应于100尼特pl_v_sdr参考水平，或反之亦然。然后，需要计算图像明亮度的任何pl_v_mdr的位置都遵循度量的设计数学。

90、关于图5总结了这种度量的动作。

91、例如电视或机顶盒等中的显示适配电路510可以包含配置处理器511。在图像的运行像素颜色开始被处理之前，它设置用于图像处理的值。例如，经显示优化的输出图像的最大明亮度值pl_v_out可以通过从连接的显示器轮询它来在机顶盒中设置一次(即，显示器将其最大可显示明亮度pl_d传送到机顶盒)，或当电路驻留在电视机中时，这可以由制造商配置，等等。

92、在一些实施例中，明亮度映射函数f_l可以根据传入图像而变化(在其他变型中，它可以对于多个图像是固定的)，并且是从一些元数据信息源512输入的(例如，这可以作为sei消息广播，从像蓝光盘的存储器的扇区读取等)。该数据建立了归一化度量(sm1、sm2等)的归一化高度，在该归一化高度上可以从度量的数学等式中找到pl_d值的期望位置。

93、当输入图像513被输入时，连续的像素明亮度(例如，ln_in_pix_33和ln_in_pix_34；或亮度)运行穿过应用显示适配的颜色处理流水线，并且产生对应的输出明亮度，诸如ln_out_pix_33。

94、注意，在该方法中没有任何特别满足最小黑色明亮度的内容。

95、这是因为正常方法将如下。黑水平非常依赖于实际查看情况，其可以比显示特性(即，最前的pl_d)更可变。可以发生各种效果，范围从物理照明方面到人眼中的光敏分子的最佳配置。

96、因此，人们制作“针对显示器”的良好图像，并且这是所有的(即，预期的hdr显示器-在明度方面-比典型的sdr显示器更有能力多少)。然后，在需要的情况下，可以稍后对查看情况进行后校正，这将是留给显示器的(未定义的)特设任务。

97、因此，通常假设显示器可以显示如图像中编码的所有必要的像素明亮度(目前我们假设其已经是针对pl_d值优化的mdr图像，即图像中的至少一些像素区域通常达到pl_d)，直到其可变的高明亮度能力，即pl_d。这是因为人们通常不想遭受白色裁剪的苛刻结果，但是如所述的，图像的黑色通常不那么有趣。

98、无论如何，黑色可以是“大部分”可见的，因此如果其中的一些稍微不太好可见，则这不是最重要的。至少一个可以最佳地将主hdr分级的潜在相当亮的像素明亮度挤压到显示器的有限上范围中，例如高于200尼特，比如说从200到pl_d＝600尼特(对于高达例如5000尼特的主hdr明亮度)。

99、对于所有图像和所有显示器(至少近似地)，这类似于假设黑色总是0尼特。与丢失一些黑色相比，白色的裁剪能够是视觉上更令人烦恼得多的性质，其中，通常仍然可以看到一些东西，因为它不太舒适。

100、然而，有时该方法是不够的，因为在查看室(例如，在白天期间具有大窗口的消费者电视观察者的起居室)中的显著环境光下，最暗明亮度的相当显著的子范围可能变得不可见，或至少不充分可见。这将与创建视频的视频编辑室中的环境光情况不同，环境光情况可能是昏暗的，或甚至黑暗的。

101、因此，可能需要例如通常利用显示器上的控制按钮(所谓的明度按钮)来提高那些像素的明亮度。

102、如果我们采用如rec.itu-r bt.814-4(07/2018)中的电视电子行为模型，则hdr场景中的电视获得亮度+色度像素颜色(实际上驱动显示器)，并将这些(根据标准色度计算)转换为非线性r’,g’,b’非线性驱动值以驱动其面板。然后，显示器将利用pq eotf处理这些r’,g’,b’非线性驱动值，以知道要显示哪些前屏幕像素明亮度(即，如何驱动例如oled面板像素或lcd像素，其中，通常仍然存在考虑lcd材料的电光物理行为的内部处理，但是该方面与本讨论无关)。

103、然后，例如在显示器前面的控制旋钮可以给出亮度偏移值b(对于pluge或其他测试图案中高于最小黑色块2％变得可见而-2％黑色不可见的时刻)。

104、如果原始的未校正的显示行为是：

105、lr_d＝eotf[max(0,r’)]＝pq[max(0,r’)]

106、lg_d＝eotf[max(0,g’)]＝pq[max(0,g’)]

107、lb_d＝eotf[max(0,b’)]＝pq[max(0,b’)][等式1]

108、在该等式中，lr_d是要显示的红色贡献的(线性)量，以创建具有特定明亮度(以(部分)尼特为单位)的特定像素颜色，并且r’是非线性亮度代码值，例如10比特编码中的1023个值中的419个。

109、对于蓝色和绿色分量也会发生相同的情况。如果例如需要制作1尼特的特定颜色(该颜色对眼睛的总明亮度)，则需要例如0.33单位的蓝色，并且对于红色和绿色也是如此。如果需要制作100尼特的相同颜色，则可以说lr_d＝100*0.33尼特。

110、如果现在经由亮度偏移旋钮控制该显示器驱动模型，则一般等式变为：

111、lr_d_c＝eotf[max(0,a*r’+b)]，其中，a＝1-b/oetf[pl_d]等。[等式2]

112、代替于在隐藏在不可见显示器黑色中的某处显示图像的零黑色，利用这种方法仅将其提升到黑色恰好变得充分可辨别的水平(注意，对于消费者显示器，可以使用除了pluge之外的其他机制，例如观察者偏好，潜在地导致另一可能次优但观察者偏好和可用的亮度偏移b值)。

113、这是在创建最佳重新分级图像之后的显示器的后处理步骤。即首先，由解码器计算最佳理论上重新分级的图像，例如首先映射到重建主hdr图像，并且然后明亮度重新映射到例如550尼特pl_v mdr图像，即考虑显示器的明度能力pl_d。

114、并且在已经根据电影创建者的理想视觉确定了该最佳图像之后，还通过考虑图像中黑色的预期可见性的显示器映射该最佳图像。

115、根据发明人，问题在于这是要显示的图像的查看室环境光水平适配的相当粗糙的方式。开发了一种备选方式，特别地一种观察者至少在图像的一些部分中看到更多对比度图像的方式，其中，其重要。

116、us2019/0304379(pytlarz)教导了一种对环境光的量进行适配的方式，但是它计算针对光情况进行预校正的虚拟图像，使得可以应用通常的显示管理映射，并且它未教导适配优化显示映射流程本身。

117、wo2020/146655(atkins)描述了一种导出针对特定显示器的最佳图像的系统，通常使用分子和分母升高到幂m的可参数化s形曲线。可以通过考虑环境光来补偿映射，但仅在确定视频中发生场景改变时应用映射。该补偿再次应用于输入信号。

118、us2021/0096023(yang)描述了可以对固定色调下映射函数进行的调节，以各种方式考虑查看环境的各方面。该方法基于确定较暗颜色与高亮颜色之间的锚，例如漫射白色水平，或者将中灰色(如例如漫射白色的20％)重新关联到该锚。然后，第一实施例可以针对各种经环境适配的明亮度映射函数保持该锚点固定，同时针对各种较亮的环境(例如，经由接近零的斜率的控制)升高锚以下的曲线的高度。这对于相对中等明亮环境是有利的，其中，可以提高将最遭受的像素明亮度(淹没在显示/可见黑色中，或者至少与黑色踏板相比给出几乎没有差异对比度)，同时保持可用于高亮的范围，从而不破坏图像的hdr区域。另一实施例向上或向下偏移锚输出电平。这对于相对于周围的明度(例如，显示器后面的更强照明的白墙)增加场景的漫射白色的明度是有用的，然而以减小的头部空间并且因此输入图像的显示版本的较低质量(破碎)高亮和/或减少的动态范围为代价。

技术实现思路

1、可以通过一种处理输入图像以获得输出图像的方法来获得针对各种环境照明水平的视觉上更好的图像，

2、其中，所述输入图像具有输入明亮度落入第一明亮度动态范围(dr_1)内的像素，所述第一明亮度动态范围具有第一最大明亮度(pl_v_hdr)，

3、其中，接收参考明亮度映射函数(f_l)，所述参考明亮度映射函数为与所述输入图像相关联的元数据，

4、其中，所述参考明亮度映射函数指定两个图像中的并置像素的明亮度之间的关系，所述两个图像被不同地分级，其中，相同图像对象的像素明亮度在所述两个图像中具有不同的像素明亮度，

5、其中，所述参考明亮度映射函数指定所述输入图像的明亮度与具有第二参考最大明亮度(pl_v_sdr)的辅助参考图像的明亮度之间的关系，

6、其中，所述输出图像是与所述输入图像和所述辅助参考图像不同的对象像素明亮度的分级，并且其中，所述输出图像具有与所述第一最大明亮度和所述第二参考最大明亮度(pl_v_sdr)不同的输出最大明亮度(pl_v_mdr)；

7、其中，所述处理包括确定基于所述参考明亮度映射函数(f_l)的经适配的明亮度映射函数(fl_da)，并且将所述经适配的明亮度映射函数(fl_da)应用于所述输入像素明亮度，以获得输出明亮度，

8、其特征在于，所述经适配的明亮度映射函数(fl_da)是基于经调节的最大明亮度值(pl_v_co)来计算的，

9、其中，对所述经适配的明亮度映射函数(fl_da)的所述计算涉及在度量(sm)上找到最大明亮度的位置(pos)，所述位置对应于所述经调节的最大明亮度值(pl_v_co)，

10、其中，所述度量的第一端点对应于所述第一最大明亮度(pl_v_hdr)，并且所述度量的第二端点对应于所述第二参考图像的第二参考最大明亮度(pl_v_sdr)，

11、其中，对于任何归一化输入亮度(yn_cc0)，所述度量的所述第一端点并置在对角线上的点上，所述点的水平坐标和竖直坐标等于该归一化输入亮度，

12、其中，所述第二端点与所述参考明亮度映射函数(f_l)的输出值并置，其中，所述第二端点位于所述参考明亮度映射函数(f_l)的点的轨迹上；

13、其中，所述经调节的最大明亮度值(pl_v_co)是通过以下操作确定的：

14、-获得环境照明值(lx_sur)；

15、-通过将参考照明值(genvwlx)除以所述环境照明值(lx_sur)来获得相对环境光水平(surmult)；

16、-获得所述经调节的最大明亮度值(pl_v_co)，所述经调节的最大明亮度值为将所述输出最大明亮度(pl_v_mdr)乘以所述相对环境光水平(surmult)的结果。

17、参考明亮度映射函数通常是视频的内容创建者在制作例如在视觉上对应于主hdr图像的通常较低的最大(可能)明亮度的图像时指示其应当被重新分级的方式(对于视频，最大明亮度将通常是上限，如根据他选择的技术hdr编码变型，创建者可以使用该上限来使得对应于图像中的一些中的超亮对象的像素中的一些最为明亮)。即，函数将两个参考分级的各种图像对象的明亮度相关，至少一个对象的明亮度(以及通常对其进行编码的对应明亮度)在第一和第二参考分级中是不同的。所述输入图像(通常主分级hdr图像)将用作所述第一参考图像。因此，不同的分级意指尤其至少两个不同分级的图像的最大明亮度是不同的(例如，表示太阳的圆形中的像素)，但是通常许多其他图像对象在第二分级中将具有与所述第一分级图像相比较不同的明亮度，例如，如果函数映射导致明亮度的降低，则与所述最大图像明亮度一样相对降低。计算经适配的明亮度映射函数的显示适配部分的选择度量将具体确定这样的输入明亮度可以具有的所有可能值的集合中的各种输入明亮度或亮度将如何改变为显示适配的输出图像的明亮度或亮度。所述函数通常可以在亮度域中定义(根据所选择的oetf函数风格)，并且颜色处理也可以在亮度域中发生(但是所述度量，即使当叠加在所述明亮度重新分级函数的这样的亮度域图上时，也通常将指示最大明亮度的位置，而不是亮度)。所述亮度通常将被归一化。所述第二参考图像可以通常-不限于-是sdr，即100尼特最大明亮度图像，通常从所述主hdr图像重新分级(或者反之亦然，sdr图像可以是用于重新分级对应的hdr图像的起始图像，但该方面不改变所述对比度改进处理)。

18、发明人希望具有一种方法，在提出他的方法时，所述方法考虑了由函数f_l的形状指定的亮度或明亮度重新分级需求的该引导(创建侧，例如，表征hdr视频的人类艺术家及其重新分级需求)。

19、因此，可以使用如由本发明人发明的显示适配方法，所述方法现在将被不同地调谐(形状适配)，即，朝向所述对角线的挤压将以不同的控制变量发生，即经调节的最大明亮度值(pl_v_co)。

20、可以定义各种度量，但是它们通常将始终将它们的第一端点(对应于主hdr分级/图像的最大明亮度的位置)定位在所述对角线上，即在0与1之间的归一化亮度图中的线，该线与输入亮度轴和输出亮度轴两者具有45度角。具体地，对于每个可能的输入亮度y_in，对于任何y_in(以及竖直坐标的值)，该点将具有水平坐标等于y_in的对角线上的位置。所述度量的端点的位置，即在典型示例中定位pl_v_sdr的值的位置，将位于f_l函数的形状的轨迹上的某处，该位置取决于已经选择了哪个角度来进行所述显示适配算法(例如，对于竖直角度，度量端点将是h＝y_in；v＝f_l(y_in)。

21、指示值(即环境照明值(lx_sur))的环境光水平将被测量(例如通过照度计)，并且通常被转换为明亮度。参考照明值(genvwlx)是典型值，例如预期值或良好工作值。理想情况下，它是与接收到的(一个或多个)图像对应地确定的，例如，它可以作为(一个或多个)图像的元数据进行共同传送，指示图像是为这样的环境照明而制作的，或者最好在这样的环境照明下查看。它可以是用于例如查看主hdr图像的值(例如view_met)，或者从其中导出的值，例如通过还考虑用于sdr分级的值，并且应用等式来获得最终典型值。该等式可以在接收侧计算，或者其结果可以由视频或图像创建者计算并作为元数据共同传送。例如，如果未接收到用于当前图像(的集合)的元数据，则可以在存储器中重写genvwlx值，该存储器可以包含固定的制造商值，或者通常传递的值(例如，来自先前的程序)等等。

22、如果输入明亮度(l_in)作为输入存在，则可以通过将光电传递函数(oetf_psy)应用于所述输入图像的输入明亮度(l_in)来计算任何亮度。在一些方法或装置中，输入图像像素颜色可以具有亮度分量。

23、所使用的光电传递函数(oetf_psy)优选地是心理视觉上均匀的光电传递函数。该函数通过以下来定义：将明亮度到亮度映射函数形状(通常在实验室中实验地)确定为使得第二亮度大致对应于与第一亮度对人类观察者的感知明度相比较的感知明度的类似差异，所述第二亮度比在亮度范围上的任何地方选择的第一亮度高固定整数n的亮度。然后可以在该视觉上均匀的亮度域中定义任何进一步重新分级映射。

24、即人类视觉是非线性的，因此它不会经历与例如2000尼特与(1.05)*2000尼特之间的差异相同的10尼特与(1.05)*10尼特之间的差异，并且该均匀感知曲线还取决于人类正在观看的内容，即特别是正在观看的显示器的动态范围(在特定环境中)，即其最大pl_d和最小明亮度。

25、因此，理想地，为处理定义具有以下性质的oetf(或其逆eotf)：

26、如果采用任何第一亮度，例如在10比特中luma_1＝10。并且然后更高地移动例如n＝5个亮度代码，得到第二亮度luma_2＝15。这对应于明度感觉的变化(即，表征人类观察者体验到的作为具有某个物理显示的明亮度的所显示的贴片的明度的值；其可以通过应用eotf来确定)。

27、因此，假设在明度的1-200的范围内，亮度10给出5的明度印象，并且亮度15给出7的印象，即更亮2个单位的明度。

28、然后，可以采用对更亮的明亮度进行编码的两个亮度，例如800和800+5。然后，如果观察者由于亮度差异而经历相同的明度差异，则亮度标度在视觉上近似均匀。例如，亮度800可以给出160的明度感知，并且亮度805将看起来像明度162，即再次2个单位的明度差异。该函数不必确切地是明度确定函数，因为在感知上合理地均匀的亮度定义将已经很好地工作。

29、如果在这种心理视觉均匀系统中进行，则由于明亮度处理引起的任何变化的效应在视觉上不太令人反感(因为大脑可能更容易抵消)。

30、与所述sdr图像的参考重新分级相比较，显示适配通常将减小针对较暗对象亮度的斜率，但是现在目的是将斜率维持在所要求的值，以给出视觉上可良好观看的图像。

31、即，可以使用如关于图4和5阐明的进行特定整形的f_l函数的更小变型(对应于用于当前特异性hdr图像或场景以获得对应的更低最大明亮度辅助分级的特定所需的明亮度重新映射，也称为重新分级需要)的可能的实施例中的任何实施例或类似技术。明亮度映射函数通常被表示为亮度映射函数，即通过经由适当的oetf(使用输入和输出图像的适当最大明亮度值的归一化)将两个归一化明亮度轴转换为亮度轴。

32、注意，我们的方法不想要限于s形映射，尽管对于许多显示场景来说这是一种相当合理的经优化的映射的方式，但并不是最终的，并且我们想要我们的方法工作哪些系统向内容创建者给出了关于以下的高的自由度：他想要如何精确对他的图像进行重新分级，即利用哪个(些)函数形状。

33、具体地，定义f_l函数的辅助分级可以有利地是100尼特分级，其将适合于服务大多数未来的显示情况(注意，在将来也将存在低动态范围质量显示场景)。

34、在实际实施例中，可以存在缩放器和/或削波器，或者通常具有针对较高输入值的减少斜率的制动功能，使得经调节的最大明亮度值pl_v_co不变得太低，例如，如果其变得低于pl_v_sdr，则可以将其设置为等于pl_v_sdr等。

35、有利地，处理输入图像的方法使用由所述输入图像的创建者创建的明亮度映射函数作为参考明亮度映射函数(f_l)，并通过图像通信信道作为元数据被接收。

36、所述系统还可以用于确定其自身版本的工作良好的重新分级函数(即，确定f_l的良好形状，例如，基于对一些先前图像和/或当前图像的亮度出现的分析(在延迟输出的情况下)启发性地)的装置上，但是当利用创建者确定的重新分级函数时，它是特别有用的。

37、有利地，处理输入图像的方法包括：

38、-从显示器的用户获得输入值(ucbslival)；

39、-通过将所述输入值乘以强度值(excs)和所述输出最大明亮度(pl_v_mdr)来计算用户控制值(ucbval)；

40、-从所述最大明亮度值(pl_v_co)中减去所述用户控制值(ucbval)以获得经用户调节的最大明亮度值(pl_v_co_u)；并且

41、-使用所述经用户调节的最大明亮度值(pl_v_co_u)作为所述度量上的位置以确定所述经适配的明亮度映射函数(fl_da)。

42、然后，所述用户还可以将最初确定的最佳设置(即，经显示适配的重新分级函数的重新计算)调谐到他的特定期望。

43、此外，通过包括将所述输入图像中的最暗黑色设置为作为环境照明值(lx_sur)的函数的黑色偏移值的步骤，将处理输入图像的本方法与黑色偏移组合能够是有利的。两者的次序可以是可互换的，但是如果首先设置黑色水平，则它可能是有用的(例如，这可以针对该情况微调对比度)。作为示例，可以使用利用图6阐明的方法或任何其他黑色偏移技术。

44、概念可以有用地实现为一种用于处理输入图像以获得输出图像的装置，

45、其中，所述输入图像具有输入明亮度落入第一明亮度动态范围(dr_1)内的像素，所述第一明亮度动态范围具有第一最大明亮度(pl_v_hdr)，所述装置包括：

46、-图像输入部(921)，其被布置为获得所述输入图像(513)；

47、-数据输入部(920)，其用于接收参考明亮度映射函数(f_l)，所述参考明亮度映射函数为与所述输入图像相关联的元数据，

48、其中，所述参考明亮度映射函数指定第一参考图像的明亮度与第二参考图像的明亮度之间的关系，

49、其中，所述第一参考图像具有第一参考最大明亮度，并且所述第二参考图像具有第二参考最大明亮度，

50、其中，所述输入图像等于所述第一参考图像，

51、其中，所述输出图像既不等于所述第一参考图像也不等于所述第二参考图像；

52、其中，所述输出图像具有低于所述第一最大明亮度的输出最大明亮度(pl_v_mdr)；

53、-照度计(902)，其被布置为确定落在显示器上的周围环境的光量，所述光量被表示为环境照明值(lx_sur)；

54、-显示适配电路(510)，其被布置为确定基于所述参考明亮度映射函数(f_l)的经适配的明亮度映射函数(fl_da)，并且被布置为将所述经适配的明亮度映射函数(fl_da)应用于输入像素明亮度或对应亮度，以获得输出明亮度或对应亮度，

55、其特征在于，所述装置包括最大明亮度确定单元(901)，所述最大明亮度确定单元被布置为：确定经调节的最大明亮度值(pl_v_co)，并且将所述经调节的最大明亮度值供应给所述显示适配电路(510)，

56、其中，所述最大明亮度确定单元(901)被布置为：从存储器(905)获得参考照明值(genvwlx)，并且获得输出最大明亮度(pl_v_mdr)，并且接收所述环境照明值(lx_sur)，并且通过以下操作来确定所述经调节的最大明亮度值(pl_v_co)：

57、-通过将所述参考照明值(genvwlx)除以所述环境照明值(lx_sur)来确定相对环境光水平(surmult)，并且

58、-确定所述经调节的最大明亮度值(pl_v_co)，所述经调节的最大明亮度值为将所述输出最大明亮度(pl_v_mdr)乘以所述相对环境光水平(surmult)的结果；

59、并且其特征在于，所述显示适配电路(510)被布置为基于所述经调节的最大明亮度值(pl_v_co)来确定所述经适配的明亮度映射函数(fl_da)，

60、其中，对所述经适配的明亮度映射函数(fl_da)的所述计算涉及在度量(sm)上找到与所述经调节的最大明亮度值(pl_v_co)相对应的位置(pos)，

61、其中，所述度量的第一端点与所述第一最大明亮度(pl_v_hdr)相对应，并且所述度量的第二端点与所述第二参考图像的最大明亮度相对应，

62、其中，对于任何归一化输入亮度(yn_cc0)，所述度量的所述第一端点并置在对角线上的点上，所述点的水平坐标和竖直坐标等于所述输入亮度，

63、其中，所述第二端点与所述参考明亮度映射函数(f_l)的输出值并置。

64、用于处理输入图像的装置还可以包括用户值电路(903)，其被布置为：

65、-从显示器的用户获得输入值(ucbslival)；

66、-通过将所述输入值乘以强度值(excs)和所述输出最大明亮度(pl_v_mdr)来计算用户控制值(ucbval)；

67、并且其中，所述最大明亮度确定单元(901)被布置为：

68、-接收所述用户控制值(ucbval)，并且从所述最大明亮度值(pl_v_co)中减去所述用户控制值以获得经用户调节的最大明亮度值(pl_v_co_u)；并且

69、-其中，所述显示适配电路(510)被布置为使用所述经用户调节的最大明亮度值(pl_v_co_u)作为所述度量上的位置以确定所述经适配的明亮度映射函数(fl_da)。

70、用于处理输入图像的装置还可以包括：黑色适配电路，所述黑色适配电路被布置为将所述输入图像中的最暗黑色亮度设置为作为所述环境照明值(lx_sur)的函数的黑色偏移亮度。

71、特别地，技术人员理解到，这些技术元件可以实现在各种处理元件中，如asic(专用集成电路，即通常ic设计者将使ic(的部分)执行所述方法)、fpga、处理器等，并且可以驻留在各种消费者或非消费者装置中，无论是包括显示器还是可以外部连接到显示器的非显示装置，并且图像和元数据可以通过各种图像通信技术(诸如无线广播、基于线缆的通信)传入和传出，并且装置可以用于各种图像通信和/或使用生态系统，诸如例如电视广播、互联网点播等。