创建用于对hdr图像编码的代码映射函数的方法和装置以及使用这样的编码图像的方法 ...的制作方法
【技术领域】
[0001] 本发明设及一幅（即静止）但是优选地多幅（即视频）高动态范围图像的编码，运 天然地意味着我们只需对皿R视亮度（bri曲tness)外观图像(典型地，对于在具有像例如 5000尼特那样的高峰值视亮度且跨许多视亮度（即直到深黑）具有显著对象的显示器上显 示是最优的图像）编码，或者处于双重编码：其中除了皿R图像外观之外，我们还对相应的 LDR图像外观编码。此外，该编码优选地使得它可W适合现有技术的当前图像或视频编码框 架，比如例如蓝光光盘存储或者HDMI电缆连接或者其他图像传输或存储系统。皿R视频(或 者甚至静止图像）编码到目前为止一直是一项艰巨的任务，并且典型的信念是，人们或者需 要转向多得多的比特W便对场景对象的LDR范围之上的视亮度编码(例如对场景亮度直接 编码的编码)，或者人们需要某种其中例如除了对象反射率图像之外，存在光照增强图像的 双层方法，或者类似的分解策略。飞利浦近来提出了一种简单得多的单图像方法，它是一种 全新的方向，并且不仅先验难于想象，而且实际上做时导致许多待解决的技术问题，然而在 实践工作中，且在其具体框架中，本专利申请文本教导了构建运种编码技术的一些部分，并 且围绕它的整个框架就像不同复现情景的艺术分级（至少对于皿R显示器和LDR显示器看 起来真实/最优的图像)。
[0002] 我们用"高动态范围"（皿R)表示从捕获侧捕获的图像与传统LDR编码（即 10. 000:1或者更大的对比度比率可W通过该编码W及直到再现的图像操纵链的所有部件 实现；并且捕获的对象亮度可W超过1000尼特，或者更具体而言，典型地可W在1000尼特 W上复现，W便在给定复现环境的情况下生成某种比如点亮的灯或者阳光明媚的外部的希 望的外观)相比具有高亮度对比度比率，和/或运样的(多个）图像的再现是皿R(即图像必 须是合适的，因为它们包含足够高质量皿R再现且优选地处于技术上容易使用的方式的信 息)，运意味着在或者预期在具有至少2000尼特的峰值视亮度的显示器上再现所述(多个） 图像(不隐含它们不能典型地在适当的颜色映射之后，在例如100尼特峰值视亮度的LDR显 示器上再现)。
【背景技术】
[0003] 近年来，提出了若干皿R编码技术，比如例如Do化y的双层方法 (W02005/1040035)。然而，业界当前仍在寻找符合所有要求(的平衡）的实用的皿R视频（/ 图像）编码技术，所述要求例如像数据量那样的非常重要的因素，但是也包括计算复杂度 (IC价格)、易于引入、艺术家创建他们喜欢的任何东西的多功能性，等等。特别地，双层方法 被认为是复杂的。理想情况下，人们希望能够设计符合诸如例如基于DCT的MPEG肥VC编 码之类的传统编码的编码。问题在于，运在一定程度上是违反直觉的(不管人们可W如何用 为包含特定LDR图像，即要在具有大约100尼特的峰值视亮度和昏暗环境的显示器上观看 而优化的技术对皿R图像编码，所述皿R图像按照定义应当是不同于LDR图像的东西，典型 地具有更大数量的令人感兴趣的视亮度/亮度范围）。运些传统LDR图像操纵/编码系统 被设计和优化为对正常地在例如4:1工作室光照比率(或者例如10:1)下光线良好的典型LDR成像情景起作用，对视图中的大多数对象巧反射率可W在比如针对白色的85%与针对 黑色的5%之间变化）给出总共大约68:1 (或者相应地170:1)的对比度比率。如果观看从 峰值白色开始的亮度的相对再现，则没有局部调光的典型早期LCD监视器将具有大约100 尼特的白色和1尼特的黑色，运将与图像对比度比率匹配，并且典型地人们认为可能也在 白天期间观看的普通CRT系统具有大约40:1的能力。在运些系统中具有2. 2的标准亮度 代码分配伽玛函数看起来对于大多数甚至更高场景对比度的情景而言是令人满意的。尽管 造成了一些在当时被认为是可接受的误差，但是运样的差编码高亮度场景区域的再现误差 (例如硬剪切）也是可接受的，因为LDR显示器无论如何都不能物理上精确地那些区域。
[0004] 然而，存在希望对其改进再现的情景，比如例如其中可W同时看见阳光明媚的室 外的室内场景，在运种情况下，可能存在100:1或者甚至更多的光照比率。在LDR中，那些 区域将表现为(软）剪切(典型地在编码的图像中已经难于对于那些像素分辨最大值255附 近的代码)，而在皿R显示器上，我们希望明亮而多彩地显示它们。运将给出运样的场景的 自然得多且壮观的再现(就好像你真的在意大利度假)，但是甚至其中更高视亮度内容仅仅 由一些镜面反射组成的场景也已经表现出重大的视觉质量改进。如果在例如5000或10000 尼特显示器上像剪切或者量化误差那样的伪影看起来尚未令人讨厌，那么至少我们想要能 够利用正确种类的图像里或运样的显示器，使得所述再现也像显示器允许的那样漂亮。
[0005] 然而，经典智慧是，为了对附加的过视亮度范围编码，需要具有更多（多得多）的比 特。运可能通过天然地W单个较大码字编码(例如具有16比特的化e址邸，一个符号比特， 5比特指数和10比特尾数，或者Ward的LogLuv编码，其数学上严格地设法W高精度捕获整 个世界的可能对象亮度）而发生，或者通过使用具有标准LDR范围代码的第一层(例如皿R 图像的经典JPEG近似）和第二层将运样的像素亮度改进为较高视亮度(例如需要时将每个 像素增强到较高亮度的增强图像，即两幅运样的8比特图像相乘等效于单个线性16比特代 码）而发生。
[0006] 在设计实际的皿R编码技术时除了当然它必须能够处理巨大范围的不同皿R图 像运样事实之外要解决的一个主要实际问题是，硬件制造商希望每码字(通道）更少的比特 量，然而且尽管我们下面提出的技术也可W对较大比特字起作用，但是我们提出对于至少 亮度(或者更精确地说，明度（Iuma))通道而言在10比特限制下很好地起作用的解决方案。 此外，我们开发了运样的框架，其可W在双理念下W函数方式对于若干再现情景进行彩色 像素编码和彩色外观转换，运意味着只需对功能一起编码，而不是对于每个图片，至少第二 图片。并且通过研究和开发该路径，我们发现了表面看不琐碎的东西，并且在本专利申请中 公开了我们可W通过选择明度轴上的适当的（多个）函数并且甚至对亮度无关色度平面中 的其他两个分量编码而真正使得系统W良好的质量起作用，运在所述开发之后提供了该编 码的另外的优点，比如自由选择颜色平面(例如对于宽色域)、在编解码器空间本身内易于 计算等等。
【发明内容】
[0007] 我们需要具有皿R图像的改进的编码，并且特别地，从尤其是在领域中仍然存在 许多传统LDR系统的当前时刻，我们需要某些级别的兼容性的理念开始。运一方面意味着 我们想要保持使用实现像（I)DCT[第一级别兼容性]那样的功能的现有编码器(解码器） 1C，而且需要与需要LDR图像的显示器的第二级别兼容性，因为它们只能再现LDR(即在运 样的显示器动态范围能力下正确的LDR外观，例如暗区仍然充分可见)，因为除了当前部署 的传统TV之外，未来将存在范围从像膝上型或平板计算机或者甚至移动电话那样的消费 者也希望在其上观看皿R电影的某种再现的低视亮度能力小型便携式显示器直到在未来 可能具有例如10000尼特的峰值视亮度的最先进的皿R显示器W及介于其间或周围的所有 显示器的一系列显示器。于是，尽管显示器可能仍然是传统且简单的，但是它可W由经由例 如HDMI或其他连接供应皿R内容的机顶盒或者计算机中的高复杂度新解码和颜色映射IC 来服务，该机顶盒提供我们发明和描述的选项的任意组合。我们已将此转换成运样的方法， 其中在理想情景中人们对于来自内容提供商的相同电影或图片会需要(至少）两个分级，我 们将简单地称其为LDR图像(用于LDR显示器情景，例如具有大约100尼特的峰值视亮度的 显示器）和皿R图像(用于更亮的显示器)，但是下面的实施例即使在仅编码单幅皿R图像 (例如在蓝光光盘上，并且然后仅仅服务特定设想范围的皿R显示器或者W独立的方式导出 用于范围外的显示器的映射）的情况下也是有用的，并且我们给出教导，使得它们可W适合 任何设想的策略。
[0008] 因此，对于若干实际示例情景，我们W输入主皿R分级图像作为新颖皿R编码的 起点（我们说根据创建者的品位无论是什么，利用无论什么颜色处理软件，它都是随意分 级的，并且例如W像化e址XR那样的起始颜色编码进行编码)，并且然后需要W实际上可用 于当前视频或图像技术的方式对此编码（即仅仅从使用运样的编码技术的正常方式些许修 改，而不是例如所有总线都需要改变为12比特，即我们的方法应当对12比特硬件起作用， 而且如果每分量仅仅10比特可用或者如果接受甚至8比特系统上的某种更低质量，也起作 用），W用于例如新的抓盘播放器或者接收互联网流送视频的电视IC或者连接到大体符合 当前图像/视频编码技术的变型的任何图像源的任何接收器。
[0009] 我们认识到，皿R图像和某些"LDR"图像(不管它是直接用于LDR再现的分级，还 是不被观看，而是仅仅用于对进一步颜色处理之后仅仅W皿R技术上的皿R方式再现的图 像编码的仅仅某些"伪图像"）可W通过对像素颜色的亮度编码的颜色分量的函数变换(单 个函数，或者典型地为有用且预约定的函数的有限集合中的函数，所述预约定应当最近在 内容创建侧与内容接收侧功能联系时发生，诸如例如在电影开始时W及可能地在例如接收 电影的电视的播放时间期间发生若干次：即在它们不固定且约定用于对许多完整电影编码 时发生，如果可变的话，运些函数可W经由网络通信路径传输，存储在连接的存储设备上， 等等）与皿R图像相联系。
[0010] 我们的发明可W例如W至少下列方式实现： 一种对高动态范围图像编码的方法，包括步骤： -输入输入的高动态范围图像的像素颜色，其中像素颜色具有亮度和色度信息； -应用映射函数的逆W导出像素颜色的亮度的明度代码（V)，所述映射函数被预定为 包括：第一部分函数，其被定义为P二(??，其中P为形状调整常数，并且V为与要编码的 亮度（L)相应的明度代码；W及定义为的第二部分函数，其是伽玛变换，并且其 中Lm是预定义参考显示器的峰值亮度，且伽玛（丫）是优选地等于2. 4的常数， -输出具有包括明度代码（V)的颜色编码的像素矩阵。
[0011] 该函数然后可W用来对至少皿R主图像编码，颜色具有给定符号V的区间[0，1] 内的N比特明度Y'(例如[0-1023]个代码)的归一化版本，运保证了W足够的精度编码(多 个）图像中的各个不同对象的所有令人感兴趣的亮度范围（其可W是许多个，例如人在阴影 中的埃及集市，但也可W是由通过屋顶中的孔桐照耀的强烈阳光照亮的另一个，但是视频 也可W包含运样的图形，比如例如气象图或者迪斯科舞厅内报告中的激光或者人工仿真的 激光等等)。因此，该函数可W智能地预定或者即时确定，使得它在均匀量化之前将亮度重 新分配给明度。当设计运样的亮度映射函数(或者更精确地说，作为起点的相应电光传递函 数E0TF，其将[0，1]中的明度代码映射为参考显示器上的可再现亮度）时，我们想到若干 技术行为准则。首先，尽管(部分）对数行为是必须能够对许多十进制的亮度编码的良好特 征，但是运绝不仅仅是某个线性范围亮度的对数表示(绝不仅仅是为了仅仅考虑图像处理 推理而仅仅获得希望的图像处理的外观，并且也绝不是用于最优编码的单纯切出的自适应 log函数)。相反地，该函数在从长期实验而来的若干考量之后而被设计，并且给定运些考 量，在能够限定为充分真实地表示所有实践中出现的皿R场景的必要外观而定义的通用线 性参考亮度范围(例如0. 0001-5000尼特)之后，它被看作用于所有准则(至少良好的皿R量 化精度）的最优行为函数。注意，形式上，我们的(多个）参考EOTF本身具有指数部分，但是 人们也可W看出并且倒过来将其描述为"对数"行为。现在，具有该参考范围之后，对于明 亮的亮度(或明度）具有某种"对数"行为并且对于更暗的亮度(或明度）具有某种伽玛行为 是最有用的。事实上，在数学上将exp(x)近似为1+X，我们说在暗处，我们主要具有伽玛行 为，运意味着我们具有可容易控制的函数，因为我们可W利用参数P调整暗处的所需精度 (伽玛是在最大值处给出1对1映射的进一步的形状控制器，因为操控显示器的最大值代码 与最大可显示亮度相应)。运不仅对于具有用于唯皿R图像编码的单个主EOTF是有用的， 而且如果我们具有不同类别的皿R图像，伽玛也是非常有用的。事实上，如果我们没有决定 应用对于所有情景都合理的单个最优函数，那么我们可W调整该EOTF巧日相应的逆0ETF)。 例如，熟悉技术的读者可W想象，黑暗地下室的图像一方面将使观看者的眼睛适应观看尤 其是黑暗周边的暗灰色值，并且另一方面很可能具有更相关的暗灰色值（因为所有那些不 良照明的具有各个不同反射率的对象都将落在暗处)，并且亮色尤其是在它们仅仅是灯的 情况下可能无需终极精度。反之亦然，如果人们观看具有大部分非常明亮的亮度(例如介于 1000与3000尼特之间）的阳光明媚的场景，那么对于暗色可能无需终极精度，视觉系统典 型地会在大的程度上忽视所述暗色。运都可W利用我们的伽玛和P形状参数容易地调整， 所述参数控制暗处与亮处的形状行为W及还有明度代码范围的特定子区中的每个明度步 阶所对应的恰可察觉差异量(也称为编码分辨率或精度)。固定的预约定的参数函数无需让 其参数传送至接收侧，因为它将使用预约定函数对新发明的代码实际表示什么进行解码， 但是在适应性的更一般情况下，例如由人类分级者或者自动图像分析程序在接收器端选择 的所需参数(峰值视亮度Lm、P和丫中的至少一个）将通过若干可能机制中的任何机制传 送至接收器侧，所述机制诸如例如像抓盘那样的存储器上的共编码、作为元数据在图像信 号中的共传输、经由另一个信号通信路径在播放时间取回，等等。
[0012] 但是运种技术也出现了别的有趣的事情：在创建皿R输入的编码时，该函数也创 建了较低动态范围图像(其可W说可W更少量的比特更佳地编码，但是更精确的技术构想 将是，场景的至少某个更重要的子部分或者图像直方图的子范围利用与原始输入的主皿R图像相比更靠近中间灰色的亮度编码)，但是另一方面优选地至少在高的近似程度上，编码 的LDR图像也仍然具有恢复原始主皿R外观的所有信息，因此它包含皿R图像的所有有意 义数据。因此，如果精屯、选择了EOTF参数，那么得到的编码图像甚至可W在不进一步优化 颜色处理W便在LDR显示器上再现，得到相当良好质量的LDR外观的情况下，或者至少在一 些进一步的二阶优化变换(例如映射到不同的LDR显示器原色集合等等）之后直接使用。
[0013] 当利用单个主EOTF函数编码时巧日果我们使用单个函数，而不是从若干可用函数 中挑选的函数)，我们通常可W在不考虑再现侧细节的情况下限定该函数，即尽管借助于参 考显示器限定，但是大部分参考场景仍然只考虑至少皿R外观的图像纹理的充分编码。但 是优选地，我们也甚至对LDR外观编码，优选地已经在正确的明度子范围内沿着明度轴定 位各个不同的捕获的场景对象，使得在直接显示时LDR外观将看起来是内容创建者偏好 的。但是，我们也可W已经为特定观看应用编码，利用作为主函数的另外的优化明度分配函 数得到运样的明度代码，其对于在例如W比如15Iux的参考照度或者比如例如10尼特的 比如周边中间灰色（18%反射）的参考环境亮度表征的黑暗或昏暗环境中观看给出最佳质 量。运在一些实施例中可W通过结合额外的伽玛函数(例如1.25)而完成。最终，当我们将 所有希望的部分伽玛建模为最优最终伽玛时，运相应于在我们的EOTF主要实施例中改变 所述伽玛。所有变型对于特定的可用比特量实现了最佳的图像对象纹理质量，或者按照其 他方式，保证了我们可W对于相对较少的比特（比如例如只有12比特）获得良好的质量，同 时如果我们在色彩方向使用大的颜色