用于定义颜色状态的装置和方法

专利名称：用于定义颜色状态的装置和方法
技术领域：
本发明涉及一种将图像定义信息添加到输入图像信号的方法、一种用于将图像定义信息添加到输入图像信号的图像像素信息的图像分析装置，并且类似地对应于该方法和装置在图像制作侧所做的事情，本发明涉及一种基于与要被再现输入图像信号相关的图像定义信息处理该输入图像信号的方法、一种用于基于与要被再现输入图像信号相关的图像定义信息处理该输入图像信号且用于协调图像制作侧上的期望再现与显示侧上的实际再现的装置、一种包括颜色状态(regime)描述的图像信号，该图像信号典型地将例如在MPEG标准化中被标准化。
背景技术：
在颜色再现的前期，例如对于电视节目显示，内容创建侧(例如摄影师)与颜色再现侧(例如在电视或计算机显示器上的显示)之间的关系是简单的，并且由严格的技术原理确定。所谓标准的CRT显示器利用256个近似视觉等距的驱动步骤等来定义，其具有特定磷光体、某些伽马(ga_a) 2. 2色调重现曲线。存在多个以此方式来解决的基本色重现问题，尤其是如果颜色再现系统针对(最佳的)人类观看者而被最优化并且更重要地如果颜色再现能力(且特别是颜色描述/通信标准)(主要)由颜色捕获(相机)侧或颜色再现(显示器)侧规定/确定。这时引入了多个近似，作为未来数十年用于电视比色法(colorimetry)的基本规则。考虑第一个彩色电视的时代的物理显示限制，在给定当时可用的CRT的尺寸、视亮度(brightness)等的情况下(NTSC，20世纪40年代晚期至20世纪50年代早期对典型的观看距离而言足够精细的分辨率、对最小可觉差[JND]足够的驱动步骤在感知上达到良好，在那时不可分辨的黑色从白色亮度开始)，第一显示器和所显示的信号被最优化，使得它们将产生对观看者而言理想的画面。然后，考虑到那时的标准显示器(其为小型的暗CRT)，用于内容制作侧的规则被主张用于转换在显示器上合理地观看画面的过程中针对大多数场景捕获的场景(类似的考虑发生在模拟摄影的世界中，其中场景必须以通常低质量的照片印刷、不完美的颜色等被再现，该印刷从未具有超过100:1的对比度)。例如，即使理论上人们将会需要光谱相机来测量真实生活颜色的场景(给定其可变的光照)，作为近似，如果人们知道所述颜色将会在哪一个设备上显示，则可以确定相机灵敏度曲线。利用这种相机灵敏度曲线捕获的图像然后应该在显示器上重构类似的观看画面，同时至少仿真在捕获侧的场景的光照，但是实际上将存在误差。而且，这些相机曲线将具有负叶瓣(lobe)，并且尽管人们可以尝试利用光学滤波器组合精确地重现这些理论的最优曲线，在实践中(还假定观看者不知道在场景中确切地出现了哪些颜色)矩阵化将足以使得这些颜色看起来是合理的。诸如摄影师和颜色分级工/校正者之类的若干内容创建侧的专业人员必须利用参数变换完成他们的魔术，以使得最终编码的图像在显示时看起来是最优的。例如，颜色校正者通常所做的[在其中不同视频馈送被组合的视频世界中]是他们观看不同输入的白色点(比色图像误差的一个全球相当严重的类型)，并且通过例如轻微地增加像素的蓝色贡献来匹配它们，同时也观看临界颜色，如脸。在电影材料中，可能涉及进一步的艺术考虑，例如可以投射用于夜景的轻微地带蓝色的外观，其在尚未被匹配电影特色的颜色滤波器大量创建的情况下将典型地在后期制作中由颜色分级工完成。另一个示例-其可能典型地还涉及调整色调重现曲线-是使得电影看起来饱和度更低，从而给予它凄凉的外观。甚至更重要的是，维护色调重现曲线伽马行为。人们可以怀疑仅应用O. 45反伽马校正来编码所捕获的线性传感器数据将是足够的，但是除此之外，典型场景的更大的动态范围总是必须被以某种方式映射到
区间。色调重现曲线调整还将导致例如更粗糙的高对比度外观、更暗或更突出的阴影等。摄影师典型地具有可用的可调谐反伽马曲线，其中他可以设置膝盖和肩部点等等，使得所捕获的场景具有良好的外观(典型地某人在参考监视器上观看所捕获的图像，所使用的监视器是CRT并且现在可以是IXD)。在湿摄影中，可以利用“硬件”处理实现相同的效果，比如例如用于例如将脸映射到亚当斯(Adams)区系统的区VI上的印刷和显影条件，但是如今经常存在起作用的数字中间片(digitalintermediate)0甚至喜欢在经典库存胶片上拍摄的电影摄影师现今具有对他们而言可用的数字视频辅助流(其可能在增加的技术拍摄的趋势中非常有用，其中大量的动作可以例如在绿色屏幕之前)。因此，总之，除了把在观看者侧处的实际房间条件当成要被忽略的给定条件，整个颜色捕获系统围绕“校准的理想显示器”而被设计，当内容创建者创建他的图像时其被考虑作为固定的给定事实。问题在于，在那些时候，这已经是非常近似的。该推理像“如果无论如何我们做了例如在相纸上重现场景的糟糕的工作，我们可以放松关于精度的所有要求，并且应用从场景到再现的技术映射的更主观的定义，考虑这样的原理作为成像场景、消费者欣赏的生动颜色再现等等的合理的可辨识性”。然而，这种图像编码的技术(例如PAL或MPEG2中所规定)应当被理解为与多个关键问题共存，如“假使人们改变所捕获的场景的光照会怎样，无论是亮度还是白色点、或空间分布、或特别的特性”，“由于场景的光照和观看环境的差异所引起的误差怎么样，特别是当以对比观看环境适应于该场景的人类观看者的眼光观看时”，
坐坐寸寸ο 当显示器开始从在标准起居室中的标准CRT改变为一些非常不同的显示器和观看环境(例如显示器的峰白亮度增加)时，这些问题和所得到的误差变得恶化。

发明内容
我们的下面的技术方案由一个目的激发，该目的是使得图像创建(特别是数字视频，其还可以是数字化的电影库存材料，无论是最近拍摄的还是旧材料重新灌录的)更加通用，以考虑图像/视频/电影制作中的当前和未来演变，特别是未来的显示器。而电影院中的演变稍微有些慢，已经开始出现了如下问题在观看者的起居室中的实际的显示器已经变成了 LCD并它们的显示属性(比如基色、色调重现等)发生改变。然而，所述解决方案是坚持严格的标准并且通过使用色调重现曲线转换查找表再次使IXD像标准CRT那样运转，等等。然而，随着高动态范围(HDR)显示器的出现，这种解决方案变得不可行人们刚好不能自认为在物理上(关于黑色级、灰度级可控性、峰白的视亮度，等等)非常不同于另一个第二显示器的第一显示器“可以被使得完全像第二(理想)显示器那样运转”。这可以在人们真正地想要在当前高质量高动态范围显示器上精确地仿真50s的低质量显示器的行为的情况下工作，但是这不是人们想要如何使用他们的新的高质量显示器(如果高质量显示器仅显示低质量输出，为什么买它呢)。典型地，无论是由TV的画面最优化算法自动完成还是由观看者在他的遥控器上改变画面的观看属性或偏好来完成，这些电视想要最大化它们的壮观的外观，这可能涉及诸如增加画面的视亮度和饱和度之类的事情，但是这可能具有关于最终再现的画面的实际外观的若干视觉缺陷，例如不正确的黑暗或黑色区域、由于过分增加饱和度而引起的内容的卡通化、由于图像/视频信号中较少的可用代码被过分地扩展(stretch)的事实而引起在梯度方面的楼梯模式(比如天空)。如果人们理解了这不仅仅是单个HDR显示器的问题，而是电视(/电影)世界正发生改变(更多的消费者不仅在例如他们的低质量的LCD膝上型计算机上看电影，而且甚至在如移动电话或类似物那样的小型便携式显示器上看电影)，则人们认识到如果没有进行“正确的”处理或者甚至“不正确的”显示处理(这可以使所得到的外观更坏)，则在实际内容应该看起来像什么(特别地如可在内容创建者侧确定，其不仅具有可用的原始场景，而且具有摄影的艺术家/导演，其意图是例如该场景应当具有什么外观[微暗的，神秘的，…])与它在接收者侧显示器730上实际上将看起来像什么之间具有更加可控的联系可能是有利 的。在过去，人们总是想通过使用某种固定的校准链(S卩，为像素数据创建新的更好的值)(“一劳永逸的良好”解决方案)解决该问题，该解决方案可能导致实际上真正对任何人都不好的“平均”外观，特别是现在显示器变得如此好以至于任何伪影可能变成烦人地可感知的。另一个趋势是，电影的过多部分正变成可定制的(例如科幻电影的一半可以在计算机图形中生成，并且另一半可能已经添加特效)，这继而优选地指明了同样在捕获侧处捕获到更多的实际环境镜头(shot)(例如，如可利用球体确定的光照分布)。作为一种心态，这一点是特别令人感兴趣当前成像捕获-甚至忽略上述颜色编码近似-太少的实际场景。针对可辨识的对象捕获足够了(但是这已经主要利用二元线图来实现)，但是对于可漂亮地再现的画面不是足够的(该准则是否涉及真实性、颜色冲击等)。最后，由于出于良好的原因(例如高专业化摄影师的再训练)，技术标准是抗改变的，消失的PAL标准将不会再被更新，然而新标准将考虑改变的图像重现环境、以未来的视野(比如不断增加的相机(当前为+-14位，当然也取决于镜头)和显示器质量(以及例如甚至普通消费者正在使用质量不断提高的相机，这在未来可能利用它们的自动最优化算法产生-除了艺术输入以外-比平均的过去的摄影师所制作的结果更好的结果，并且他们可能想要在他们的HDR显示器上看到他们的纪念谷的画面，好像它们还在那里))考虑标准的有用性而出现。因此本发明及其实施例在适当的时间提供解决方案来进一步改进艺术家想要人们看到的事物对比将在例如家庭电视上显示的事物的可控性(并且这可能采取若干形式，其取决于艺术家的种类及其偏好，根据“我主要想什么都不做，让观看者或电视制作者来做控制视图”，其中例如仅禁止对最终被显示器再现的内容的严格修改，一方面控制选项，到另一方面尝试带来尽可能接近艺术家预期的理想重现的再现，给定再现侧限制)。另外，除了正常的(因为人们可以将它概念化为“线性、一对一”编码，其实际上是例如设置为特定灵敏度的CCD传感器所做的事情)基于像素的图像的编码之外，期望具有附加的元数据，其指示该像素数据实际上意味着什么以及接收侧应该利用它做什么，例如关于预再现图像处理。应当理解，尽管线性像素编码在其编码每个场景的通用性方面非常强大，但它还是相对愚蠢(事物的另一面)，在这一点上可以讲述关于“盲目地”编码的像素的更多的事情。这可以通过引入“颜色状态”来进行。因此，重要的是理解所述状态不再必需是特定区域的实际“对象-阴影”的(盲)数值表示，而是关于场景的附加事物，其可以例如取决于在场景中存在哪些不同类别的事物(对象、空间区域、光照类别等)或者甚至艺术创作人将如何看到真实的所捕获的或在艺术上得到改进的场景。在此意义上，应当理解，所有创建者都可以使用本发明，摄影师(实际上注解在那时捕获的场景的属性)和稍后的后期处理者(例如颜色分级工)(其可能例如想要在艺术上重新解释所捕获的场景)二者。如果用一些说明性例子来解释，则这些概念更容易被领会。即使人们总是将会具有实际的像素编码(特别是当在[O，255]中，但甚至可能在HDR编码中时)可以涉及不精确地反映底层场景对象及其颜色特性[术语颜色将被宽松地用作也仅包括亮度/视亮度](例如255白色可以表示在画面的稍暗的区域中的白色墙壁，以及眼睛上的光反射，以及非常亮的光的内部，或者甚至修剪的蓝天)的像素值的例子，人们可能期望将对象或像素的区域表示为某种类型的图像信息，某种显示器侧再现动作应当与其对应。例如，根据如内容创建者所期望的新的编纂(codification),某黑暗区域应当被如此显示以至于在某时刻之前恐怖的怪物(几乎)隐藏在黑暗中，但是在某时刻之后它变得在某种程度上可见，其状态可被表示为“黑暗_隐藏”。人们可以更精确地指定例如在黑暗中隐藏的人出现多少，例如其身体的25%，或者甚至恰好其脸部分。人们可以想象，如果盲目地这样 做，则实际上在再现侧上比内容创建者所期望的更多或更少的编纂可能是可见的，例如由于背光提升、从显示器面板反射的光等等。仅当通过联合编码(co-encoding)知道目的是什么时，再现侧可以-知道所有其本地限制-维护实际实现或近似预期的再现(其不可能在简单地具有像素编码或类似的其他事物时来进行)。另一个例子是，如果人们知道哪些颜色典型地是如在场景中编码的平均亮度反射的颜色，则人们可以再现它们，使得它们是如在观看者的起居室环境中实际平均亮度反射颜色那样的协调亮度。本发明的实施例的所述目的可以通过具有一种将图像定义信息添加到输入图像信号(I)的方法并且通过在图像创建侧的对应的装置以及在显示器侧的对应的方法和装置以及特别地用于描述状态的若干可能的协调信号以及显示器侧系统应当做的用来近似预期的、期望的最终再现的事情(其可以例如尽可能接近原始场景的近似，但是考虑局部观看地点环境(比如房间光的白点等)来实现，所述将图像定义信息添加到输入图像信号(I)的方法包括
-向人类操作者显示输入图像(I);
-经由用户接口(303，308)从人类操作者接收描述性数据(D)，该描述性数据(D) —方面至少包括亮度值和/或几何形状信息，且另一方面包括状态描述符(rd)；
-以被标准化成旨在由接收显示器使用来控制其图像处理以改变它所再现的图像的颜色属性的技术格式编码成描述性数据(D)的输出描述数据信号(DD0)，其可与基于输入图像信号(I)的输出图像信号(O)相关。因此，颜色分级工可以随着导演的指导，观看场景，并且识别例如墙壁上的商用灯箱的一部分(其可以被指定为近似位置和颜色值，例如通过在它上面画粗糙的椭圆并且进一步分割)，并且指明这是特殊区域，但是现在还将其编码为应当应用什么特殊区域，即什么再现状态(例如在灯箱中使得人“燃烧眼睛”(rd)，并且协调环境光，如给定再现显示器的细节的情况下将看起来最佳)。他然后可以在编码的输出图像O中处理输入图像，根据上述理念其将是一种平均外观(人们可以将其与导致所捕获的画面中大多数对象的良好可识别性的纬度进行比较，但是随后利用指定状态的附加描述数据，人们可以在所有不同观看地点好得多的观看画面中变换该平均编码)。根据状态描述，在显示器侧上的图像处理算法然后可以例如将色调映射或特别地用于修改局部区域的外观的其他图像处理操作应用于特定区域。


根据本发明的方法和装置的这些和其他方面将根据下文所描述的实现方式和实施例并参照附图而清楚明白，并且参照这些实现方式和实施例并参照附图而被阐述，这些附图仅用作例证更一般的概念的非限制性特定图示，并且在附图中虚线用于指示组件是可选的，非虚线的组件不一定是必要的。虚线也可以用于指示被解释为必要的元件被隐藏在对象的内部，或者用于指示无形的事物，比如对象/区域 的选择(以及它们可以如何在显示器上显示)。在附图中，
图I示意性图示了一些典型的状态，其将是所期望的并且是可通过在示例性电影场景上使用本发明的原理实现的；
图2示意性图示了人们可以如何利用需要(彼此间且与图像的其他区域)协调的若干光反射区域来指定复杂的几何轮廓；
图3示意性图示了允许图像/电影创建者将颜色状态添加到所捕获的场景图像的环境及其装置；
图4示意性图示了在创建侧的艺术色彩专家可以看到的事物的用户接口显示，其关于所捕获图像的组成，以及可以在它们中被识别的状态，以及可以应用于它们的变换，以及可以用于容易地与数据交互并且创建状态描述的小部件的一些示意性例子；
图5示意性图示了具有允许创建和检查状态规范的装置和子单元的另一个环境。
图6示意性图示了图像信号，其可以用于借助颜色状态规范将再现期望从创建侧传送到显示器侧；以及
图7示意性图示了在接收/再现侧上的显示系统，以及用于提取状态规范并控制图像处理以用于基于此最终再现的装置和组件。
具体实施例方式图I示出蝙蝠侠(batman)电影的例子，以及一些可以利用本发明在HDR显示器上实现的效果。此时，HDR显示器可以使用无论什么样的它们的内部处理来“最优化”图像，然而这时常因此适于光输出最大化(或饱和度提升)。因此，该画面可能根本不被最优地示出，也许甚至以丑陋的、不切实际的方式(例如荧光香蕉)再现，至少不是艺术家最初所打算的。典型地，所述提升-甚至当参数化时并且取决于比如直方图之类的图像属性-是类似地提升所有像素的“扩展-全部”类型(然而，当例如提升一些道路光时，人们可能不会简单地想要它周围的灰色道路类似地变得渐渐明亮更现实的再现可能取决于道路上颜色值的分布-或者甚至其空间/属性分析，如纹理-并且使得例如道路上的水滴连同图像中的光渐渐明亮，但是道路的漫反射部分没有如此明亮)。或者，例如在示出黑暗地下室的计算机游戏中，人们可能确实想要提升一些光的功率，但是针对阴影区域、暗灰色支柱等做出完全不同的事情(实际上，区域的最优处理可以是如此非线性的以至于没有全局处理或者甚至不是在显示器/接收器侧上唯一得出的任意功能将完成出色的工作)。为了避免这个难题，创作艺术家可以指定“颜色状态”，其可以是少量的和简单的，或者具有复杂细节的多个，但是允许创建者具有关于可以、将要或可替代地必定不会发生在最终外观上的事物的发言权(即典型地暗示由显示器应用在接收的输入信号上的、针对其不同区域中像素的处理)。在简单的变形中，艺术家将注释图像直方图的区域(通常为画面的空间子区域的，但是它们也可以仅是例如连续画面的镜头的亮度或颜色值)，并且给予它们指示它们属于哪个状态的代码(这可以是这些区域意味着什么的简单指示)。尽管可以采用区域中多峰的空间直方图分布的复杂描述符，但是我们将在这里解释更简单的情况，其中艺术家仅给出用于该区域的亮度范围。首先，在编码的图像中典型地存在亮度(或颜色)范围(其将被传输到接收端[无论在电视电缆还是存储器设备(比如蓝光光盘)等上]并且在那里用作输入图像[注意到创建侧的输出图像O典型地是接收侧上的输入图像])，其将例如在由艺术家在该输入图像上选择的(任意成形的)区域101中的最小与最大亮度之间。对应于画面中的所述区间，在重现侧上也将存在至少一个输出亮度区间，例如显示器的再现的出射光，或者针对LCD像素的图像处理修改的驱动图像。例如，最小亮度可以添加偏移，并且范围可以扩展倍增因子2。然而，(优选的)重现情境可能是更复杂的(例如，对于双峰直方图-因为 区域101主要包含两“种”对象，稍暗对象和正常亮度的对象-人们可能想要规定非线性映射功能，其保持例如子直方图的平均亮度之间的关系，使得她们的比率不会变得在视觉上不真实)。实际上，亮度范围映射通常已被认为是在输出范围中塞满所有输入范围像素的问题，通常带有修剪的技术限制(或者类似地不维护黑暗值的可见性限制，使得它们对观看者而言有效地可见，因为它们落在屏幕反射下面)，其是由许多启发式智能色调映射算法之一来完成的。然而，如果人们对对应于对象的直方图的所有子区域具有(关于像素编码事物的事实的或艺术的)意义，人们可以对像素区域更加智能地分配最优输出亮度，从而不仅给整个图像平衡的外观，但更多的是智能地叠加的对象相关范围的(参数化)协调的层次，与在具有特定意义的单个选择的对象内的像素区域颜色值的最优定位一样。例如，人们可以想象人们想要协调再现且特别地协调对应于商店内光的第一像素的亮度范围分配，其一方面具有通过商店窗口可见的其他像素，另一方面具有在商店外的光，从而知道例如这样的协调关系将调谐视觉冲击。区域101确定(最好，尽管它也可以起颜色/纹理属性区域的作用以用于教导接收者它可以如何分割所有类似区域)要被编码的像素为“中灰色”，在此情况下，其为普通的灰色道路。注意到，在本文中，为了简化，我们将经常谈论进行再现处理的接收显示器730，但是技术人员将会知道比如蓝光光盘读取器、机顶盒或个人计算机、移动装置等等之类的其他装置可以进行产生要被显示IR的最终图像的所有或一些信号处理。由于电视仍然可以进行它自己的附加处理，因此在例如蓝光播放器的输出信号IR’与在监视器、电视、投影仪等上最终显示的一个IR之间得出区别；参见下文。两个设备之间用于传输它们的图像相关的物理属性和测量的观看环境属性的通信优选地可能是可用的。将该中灰区域编码成为特定类型不仅具有以下优点它可以被最优地被再现(显而易见地，即具有不太高的亮度-例如与观看者的房间中的平均灰色亮度相关-并且具有低饱和度，其可能涉及对提升显示器的算法参数设定限制，或者甚至调用去饱和度操作[取代给予电影用于所有情境的苍白外观，以此方式这可以按显示器/观看者进行调谐，即(部分地)考虑他的视觉调节状态等])，而且它可以帮助在接收侧处的所有场景分析/理解算法。例如，将场景光照从场景对象反射分离总是艰巨的任务，并且对该灰色区域的选择可以帮助(它可以被视为后验McBeth检验员的等价物)，特别地如果它被共同存储在来自捕获侧的、具有在场景中测量的光属性的输出图像信号中，比如例如在具有捕获的图像位置的投影落在所选区域中之后对应的场景的部分的实际亮度、颜色模型(cast)不平衡(也许甚至利用简单的分光计测量的)，等等。然后，关于在原始场景中灰色像什么和/或在最终再现中它优选地将看起来像什么的量化可以用于例如更优化地再现其他颜色，或者改变环境光(其可以是直接围绕显示器的流光溢彩类型，或者在房间的若干位置中与显示的图像同步创建光照的光扬声器(light speaker)),等等。其他的重要类型是黑暗颜色状态的困难的组件(difficult component)(到目前为止其很大程度地被忽略)。它们可以存在于(并且应当行为不同，即导致不同的显示处理和再现)如图I中那样的正常光情境中[黑色摩托车轮胎和蝙蝠侠的披风，但在正常光照下]或黑暗场景中(如恐怖片，其中整个场景被最优地处理以给出总体微暗的外观，主要强调可见性的属性(参见下文走廊例子)，并且优选地与房间光照协调，比如降低光扬声器，并且共同驱动它们与画面内容)。在该例子中，为了艺术家方便并且为了使颜色分级费用保持 低，使用用于黑暗状态的单个状态代码，即“深黑色”。取决于显示器的属性(并且优选地还取决于所测量的观看环境，参见下文)，将控制显示器以平衡的方式处理这一点，使得一方面该区域看起来非常暗，但另一方面如果可能它仍然示出纹理。对于在用电影方式发光的起居室中的高端HDR显示器，这将导致与像现在那样的典型的电视和起居室或者甚至是户外移动显示器(其将仅将整个区域修剪到最小黑色，使得至少一些黑暗意图被建议)上不同的处理(即，在亮度的黑暗区域上映射，其中仍然存在多个实际可见的最小可觉差(JND))。如果人们开始将亮度(或颜色)“扩展”到至少很明亮，且也许好暗，则重要的是具有一些参考(或者至少改变不太大的区域)。另外，艺术家可以使用“平均场景”代码，其中它可以使用单个默认代码(显示器对其作出反应，好像它是例如亚当斯V值，其例如可以在显示器上围绕什么是典型的低动态范围最小值白色(为500nit)的18%被映射；或者等于倍增因子乘以观看环境的平均亮度，等等)，或者他可以使用若干变形(使得可以进行对更暗的灰色的复杂分配，对比更符合更明亮的白色显示器的更明亮的灰色等等；HDR显示器然后可以使用这些若干灰色，而较低质量显示器可以再现，好像仅有一个灰色参考)。在图I中，使用“平均场景_城市”，其中艺术家可以合并典型城市(它们由特定反射率的砖组成)的实际知识，或者他的再现意图(这些房子可以在它们上面具有明亮的油漆，并且颜色分级工可能想要指定在具有介于Lmin与LMax之间的输出亮度和介于Smin与SMax之间的饱和度的显示器上再现这一点)。注意到，尽管艺术家可能想要这些房子看起来确实明亮，但是它们仍然是背景的一部分，即尽管美化了电影，但是它们不是主要对象，因此它们也不应当关于它们再现的颜色(例如亮度)变得太主要，艺术家可以通过指定显示器可能想使用的任何算法来控制这一点，它们不应当超过最大值(LMax，SMax)。当然，可以给出更复杂的再现规范，其中艺术家指定值，如“最优地近似以给出区域的平均，值LAopt-以及最大像素LMopt”、“在提升的情况下，尝试保持低于或大约且预期的区域的平均亮度LAint”、“在任何情况下保持低于LAforb”，等等。这允许关于显示器制作者的颜色处理更自由(在高级系统中，艺术家甚至可能想要确切地规定特定显示器执行什么处理-以实现“预期的再现”模式-但是，一般地，显示器将进行它们自己的处理，该处理可能十分简单(并且不允许大量的调谐))。例如，“尝试保持大约LMint预期的最大颜色”然后将对两侧(创建者和显示器制作者)而言足以，并且显示器可以例如预测性地或迭代地测量其再现是否给予所述区域足够接近的亮
度/颜色。在HDR中重要的还是更明亮的区域，特别地重要的是它们可以相对于其他区域被协调(不是一切都看起来相同程度地变亮作为用于区分的指导方针，艺术家可以使用这样的属性作为局部色度、区域的显示的持续时间[例如，当所述区域是火球时，以创建特殊明亮闪光效果]等等)，即人们具有可用的正确的状态代码来区分它们。区域具有用于第一时刻或时间跨度的第一状态代码，并且具有用于第二时刻或时间跨度的第二状态代码，例如“火球”相比“熄灭火球”。在图I的例子中，作出区分指定“亮光”代码，其可以用于蝙蝠侠的激光射线，并且其具有指示意图是显示器以最大可实现亮度(针对蓝色)的大约98%来再现它们的附加参数。在拍摄时总是开启的路灯，并且不应当给出这样的分散辛辣效应(注意至IJ，如果希望也在艺术家的控制下，在真实场景中，观看者可以与在小对角线显示器上不同的方式环视它们，该对角线是显示器可以用来确定它们的最终亮度的因子)，因此，将给予它们另一个状态代码“光”，其将以最大可实现亮度除以某个因子(例如k=4)的亮度被再现 (所述因子取决于显示器可以有多亮，人们想要针对反射场景对象像素相比从其远远抵消光源像素保留更多或更少)。另一个光代码可以用于光像素区域，其给出风景光照，例如在寒冷的场景中通过窗口照耀的光。艺术家可能想要仅给予一些被照射的窗口“(场景_照明)”代码，例如那些具有奇怪的浅蓝色光而非正常的暖白炽光。然后，这些可以被重新使用例如来驱动环境照明，该环境照明现在不是利用在场景中发生的事情的启发式平均而是利用场景中的真实光来协调。例如，环境光照计算器可以仅作为输入使用所述暖白炽区域。该状态规范可以例如根据W02007/113754的图案化流光溢彩投影发明通过创建窗口光颜色的斑点(并且如果可能还创建几何分布)并且继续以该视频的速度将它移动到显示器之外而被重新使用。即使这些光实际上可能不是精确地为在视频中的事物，如果艺术家选择典型的房间窗，则这对周围环境仿真而言将是足够的。所述亮光状态也可以用于使例如与观看者横向成90度的光扬声器闪光，以在观看者起居室墙壁上模拟反射，等等。最后，展示了一个例子，以示出状态编码不仅仅旨在参数化乘法类型的映射(如偏移和缩放颜色的范围)，而是可期望更复杂的空间轮廓控制，并且与现今颜色分级工所期望的兼容。摩托车手柄的金属部分被给予代码“金属的”以指示它们在实际环境中以与相对容易的朗伯漫射对象非常不同的方式运转，并且因为特殊参数修改可能引入伪像，所以它们优选地必须以不同方式被对待，这利用图2进行了阐述。图2示意性示出将在运行了用于改进所捕获的视频并做颜色状态规范的软件工具的颜色分级工的屏幕上看到的事物以及他可以如何指定用于蝙蝠侠的脚踏车的金属手柄的更复杂的颜色再现行为。视图201示出截面亮度轮廓，以及该手柄(在视图220中其在几何上被示出为子画面)主要反射平均环绕(其将不是如此关键)而且镜面地反射导致轮廓突出部205 (像素224的镜面补片)的灯柱光和导致突出部203 (补片223)的蓝色激光闪光之一。将会奇怪的是，如果与整个场景协调来更新轮廓，其可能将与灯柱光协调，但是其他镜面高光保持模糊，尽管激光在附近点燃。优选地，为了能够在艺术上最优地协调镜面对象与显示场景的不同再现(例如用户增加亮度)，向颜色分级工提供一种装置(典型地是软件模块)，其被布置成创建并修改像素区域的亮度(且可能地全色，包括色度)轮廓。这可以例如通过建模轮廓的一部分(明确地作为邻近像素值，或通过拟合参数函数，如例如多元高斯分解)并允许颜色分级工调谐该轮廓(例如改变突出部的幅度)来完成。软件行为的一个例子是，分级工可以指示在其上所述突出部是视觉主导的并需要改变的范围207，该范围可以利用选择光标209来绘制。然后，他可以通过在选择光标213上点击逐步地将原始突出部轮廓缩放到新的扩展的轮廓211，使得新外观与改变的全局的高光或场景光视亮度相协调。他可以例如看到在高质量HDR显示器上的效果，并且将其切换成用于较低质量显示器的若干仿真模式。不同的选项是可用的。可调谐的函数(其将典型地至少具有作为调谐参数的灯柱光区域之一的平均亮度)可以被存储在要被为使用而输出的视频信号(元数据)中(例如在蓝光光盘上)，并且显示器强制将该函数用作针对金属区域的颜色处理(作为观看者的亮度偏好的函数等等)，或者一个或多个参考模型(例如作为结果而产生的像素轮廓)被存储用于显示器以便用作在应用其专有颜色算法时的指导。例如用于3种显示器的空间(时间)轮廓和用于高端显示器的4个视亮度级可以被编码为开始点，并且HDR显示器可以复制最高视亮度(主要扩展的突出部)轮廓作为开始信号，在所述信号上它然后可以从事有限 量的进一步处理。尽管，这不是对金属区域的100%精确的再现，但是作为可控的再现产生比盲目地做事更好的结果。可替代地，对于在手柄上的所有光照效果的参数编码，再现侧可以计算用于其观看环境(显示器特性、周围等等)的最优突出部形状。空间颜色再现控制的本发明的方法/装置所需的/和允许所述方法/装置的另一个例子是反射周围光，例如在砖墙壁上。典型地，在不受控的LDR系统中，它们将某处映射到
(有时为255)中的有效代码，并且然后用于在显示器上生成HDR的后置处理可以不将它们识别为特定区域(潜在地与过度曝光一样)并且缩放它们(如其余平均背景)，取代共同缩放它们与光的增加亮度再现。这可以通过允许在“光”轮廓本身中的空间子轮廓再现意图规范(与灯的平均亮度共同映射，和诸如反照率之类的反射参数，或者应用参数化函数，如指数降落)来实现，或者附加轮廓可以被创建，即“光_反射”，其属性与“光”轮廓的属性共同被调谐(例如，该系统已经向艺术家提出用于反射轮廓的再现，他可以容易地利用控制参数微调所述再现)。注意到，这些例子仅仅是说明性的以便描述在艺术家/捕获侧与显示器处理和再现之间何种控制是所期望的，并且更多的变形可以包括在内。在简单的系统中，若干频繁可用的情境被标准地固定编码(确切地知道每个情境将发生什么)，但是当然，图像属性通信标准可以是可升级的，因为艺术家编纂新类(例如“仓鼠皮毛”或“栏杆木”)，并且指定其比色属性，也许是纹理属性、可以应用的修改的量(例如直到所述外观变得不真实；如果人们使暗木变亮，则粒纹图案可以变成卡通)，以及如果希望甚至特定类型的处理算法、参数、方程，…(例如，饱和度算法、基于衍生物的局部亮度扩展或其他图像处理算法，如也导致不同的视觉色彩的扩展、噪声处理等等)。即，可以用关于如何再现、处理、修改、改进、编码等区域的所有种类的进一步信息来补充状态描述。感兴趣的状态代码的其他例子是例如“柔和的”(显示器中过量的饱和度提升经常使柔和消失，并且例如日落可能看起来不自然；该代码可以强制它们在它们的最终再现中保持柔和)、“商业促进”(其允许例如在商业广告期间提升或者甚至取决于显示器不同地再现某些对象例如能够创建高饱和的橙色的多基色显示器可以将初始更趋淡黄色的对象涂色成明亮的橙色)。
图3示意性示出在创建(传输)侧存在的对创建良好的颜色状态描述信号有用的一些装置。我们描述更困难的情境，其中这些装置与经典的赛璐珞(celluloid)胶片相机集成(注意到，场景的数字辅助表示将仅完全[关于模拟相比数字记录的像素值]可链接到实际捕获的赛璐珞画面，如果电影材料校准模型被合并用于映射这两个(然而，所述发展随后仍然是未知变量，其可以是被摆弄的补充物)，但是即使没有这些，数字记录仍然可以产生非常有价值的边信息，例如如果在几何上被共同登记有所述赛璐珞捕获的视图窗口，人们可以定义区域，并且除了赛璐珞捕获的发展的粒纹值之外人们可以经由数字捕获编码例如线性实际场景视图值)，因为技术人员将会理解如何将这些组件移位到全数字捕获或颜色分级工的房间，或者针对例如旧劳莱与哈代画面做相同的事情的代码转换器。我们示出附加到照相机的数字显示器303(其例如从具有相机镜头共同登记的CCD得到馈送)，然而，连接304不需要被固定，但是也可以是用于多个单独显示器的传输器(例如一个用于摄影师且一个在导演的概述栈中)。此时，摄影师和摄影导演可以绘制例如区域350，他们知道他们已经利用他们的舞台照明来校准该区域作为图像的黑暗部分，这可以利用例如光笔308或其他用户接口输入装置来完成[我们仅示出一个例子，因为我们认为技术人员可以很好地理解哪些类型的系统允许用户在所显示的图像上给出反馈]。显示器可以将所添加的信息(例如，状态规范)存储到存储器306 (例如，可拆卸的存储棒)上，或者经 由传输系统305来传送。它还可以经由其传输系统321从拍摄现场场景分析设备320 (其可以简单地是测光计或者甚至是空间采样分光计)接收其他信息，该传输系统321也可以传送到最终的数据聚集地(即340)。而且，场景内仪表330 (例如，局部照度计，用于测量特别是当利用高可变照明照射的演员的脸；观看周围光照分布的球体系统；等等)可以经由它们的传输系统331将它们的数据传输到系统的任意部分。接收显示器然后可以尝试以其原始视亮度重现所述光，或者至少其一部分(或功能)，典型地根据用于创建类似外观的某个精神分析视觉模型来重现光(典型地除了图像中不同颜色外协调不同状态的外观)。所有数据被聚集在具有板上存储器的数据聚集装置340上，典型地为(具有传输系统341的)计算机。然而，如本领域技术人员所理解的，不是所有组件都需要存在，简单的数字复制(在显示器303上可以是导演期望的以针对仅仅若干状态代码进行一些简单注释)，所述系统可以被扩充为具有用于详细分析整个环境(颜色值、诸如光方向或光谱之类的光属性，对象双向反射功能或纹理等等)的装置，其不仅可用于当代计算机图形学效果插入，而且如果关于其反射或一般地光交互对象和实际光照二者的场景的更多细节被利用最终图像信号共同记录，最终的起居室显示器再现和环境照明都将受益(这允许更好的再次点亮以变得与观看者的环境更加一致)。图4给出状态注释装置(或典型地是软件)将被布置成向颜色分级工或摄影导演(例如来自从任何相机无线地传达的馈送)示出的什么的例子，并且该装置允许他注释并存储到输出的图像信号中作为元数据。示出的是具有拍摄的士兵的走廊，以及在画面观看区域401中的怪物(其可以是要被稍后添加的计算机图形元件的简化的再现)。在左边是状态群集按钮，其允许快速选择有用的状态，例如“黑暗状态”按钮410、“明亮状态”按钮412、“平均场景状态”按钮414以及“临界颜色状态”按钮416 (当然，可能有更多按钮，这仅仅是用于阐明本发明的概念和权利要求的概念性说明)。当人们点击状态群集按钮时，分层菜单弹出以显示具有针对该集群的可选择的状态的其他按钮(“阴影_1状态按钮” 422、424、426)。例如，对于“黑暗状态”集群，操作者已经识别他想要其成为“阴影_1”的区域440(即描述性数据D的状态描述符rd为“阴影_1 ”并且该代码或从它导出的其他编纂将被添加在作为输出得到的描述数据信号DDO中)，并且将典型地稍后继续指定一些特性再现和可能地用于它的其他识别属性(其他情境为仅指定状态自身-无论作为一组亮度还是像素区域-并且显示器本身知道利用阴影做什么，例如尽可能黑暗地再现它们，而无需任何另外指定亮度或颜色属性)，使得接收显示器将知道如何优选地操控其图像处理/明智的再现(例如，规范该区域中没有像素应当被比在观看者的起居室或在电影院中的Lmax更亮地显示-后者在描述数据信 号DDO中单个参考编码的数值上可被重新校准，所述信号将被进一步变换成现场可用的值(例如，100Cd/m2可以被改变成实际的电影院测量值，且对其他值而言类似)，或者实际的确切数值被编码，例如按剧场或观看房间类型)。可能存在若干规范来定义黑暗状态和它们的最终再现。例如人们可以考虑黑暗像素的直方图的位置，并且确信上部达到某个位置(例如与图像中的平均灰色像素的再现亮度相比)，而另一方面，由于前面的屏幕反射的炫目引起不太多的像素不好地可见等等，因此可以涉及某色调映射，例如色调分离黑暗区域。所述系统典型地将具有允许最小的用户交互的模式(因为艺术家的时间是昂贵的)，并且自动图像分析算法可以帮助微调(参见图5)。该用户可以例如通过在可绘制阴影区域的确切边界上移动电子笔308非常精确地描绘他想要处理的画面上的空间区域，而且可以给出粗略的指示，如椭圆或矩形442。因为如果用户可以在颜色/亮度属性(典型地是直方图)和图像区域上工作，则提供最大程度控制以指定用于所选对象或区域的状态，所以存在不仅仅显示图像信息的附加信息面板(450，460，470)，而且存在其中可以由用户实现进一步选择的小部件(当然，对于注释装置/软件的许多变形，这些组件中的若干个或更少个可以存在以实现所述工作，例如仅仅设置亮度范围，或仅仅绘制空间区域)。例如，当配色师选择图像中捕获光周围的用于高光状态规范的区域442时，直方图显示面板450将示出双峰直方图，包含光的明亮像素和黑暗围墙的较暗的像素。高级系统将在这一点上建模函数490，并且允许配色师基于该复杂信息分析、选择和/或修改所选的区域和它们的像素内容，但是在更简单的系统中(尽管因为所述模型帮助配色师理解局部图像结构/颜色属性而仍然存在，但是它们是不可修改的)，配色师可以例如使用光标485来选择例如亮度的范围(483，484)来指定哪些颜色例如属于明亮的光状态(用状态描述符“光_1”编码的)，无论在整个画面中全局地(如果无疑问地它们没有有问题地发生在其他对象中)或局部地针对共同编码的空间区域。当选择(例如局部)直方图中像素的范围时，加以必要变更以示出所选图像区域的直方图，该系统可以向配色师示出对应的区域481。人们还可以利用局部测量光标工作(图像交互助手的工具可以例如包含小望远镜光标420，其例如可以设置十字准线404，从中可以在亮度面板470中显示值)。该面板可以包含内编码输入图像(coded-in-input-image)亮度，或者实际上测量的场景亮度，例如光的中心的亮度Lc=5000、其中作为对最优地指定状态而言是关键的所述光是较不明亮的(LI)的选择的亮度、如果希望的话特定的算法变换等、环绕(L2)、等等。亮度面板470可以具有允许配色师指定他期望共同保存哪些原始场景测量的对应的面板。例如，尽管光可以在捕获的输入画面I中具有代码5000，但是它可以在如在相机原位捕获的实际场景中具有9000Cd/m2的亮度，因此该值可以与区域442的其他描述性数据D共同存储，或者比率或其他导出属性可被存储。反之亦然，属性表示中的采样光标480可以例如通过放置十字准线404而映射到几何图像。这仅仅是简单的示例性概念描述，技术人员理解可以生成复杂的工具来例如指示子直方图和修改，从而利用配色师的许多交互来跟踪作为图像呈现发生了什么或所选像素的数量或状态的形状等。例如，他可能想要指定用于高光再现的两种状态，一种具有更平滑的梯度，且一种仅具有若干不同亮度值(其可以示出高度结合在一定质量的显示器上，而尚未结合在移动户外显示器上)，并且这些种类的状态可以利用在电影图像之上的空间可点击指示符进行映射，使得他可以快速地在它们之间切换(然后，用于回顾的高质量显示器可以仿真例如使图像质量降低的典型的户外阳光；通过模拟，人们可以在快速概述例如在编码其中一些或所有之前，哪些亮度定位-例如第一区域(例如光)的平均亮度相比第二区域(例如其周围的墙壁)的比率-在某种状况下工作得最好)。因为状态编码可以时常被链接到对应于可以或不可以实际上被指定状态的像素区域/对象的范围的再现，所以这还涉及这些状态的变换。典型地，无论转换到LDR还是HDR图像表示，人们可能想要在像素区域上应用色调映射曲线。对于在442中选择的光例子，人们可能已经规定了用于墙壁值的色调映射，不必仅围绕442中的光，而是典型地用于整个图像中大量的照明良好的像素。色调重现修改面板460允许进行这样的改变(同时能够判断分级显示器540上的效果)并且明智地选择(例如光的)与图像的其他区域/元素的外观一致的状态(特别地，例如那些应当映射到的接收显示器的可重现色域的范围)。因此，在该简单例子中，分级工可能想要在描述性数据D中指定作为另外的图像区域识别数据的矩形442数据(左上的坐标和尺寸)，和/或由分级工识别的经识别的子直方图Cl的范围(Lminl，Lmaxl)。在创建侧的图像分析装置/软件500和接收显示器或任意中间装置二者都可以例如借助分割模块522进一步微调这个区域识别信息，实际的光椭圆形状可以被确定(智能算法可能不需要亮度直方图的范围的精确规范，因为它们可以在例如考虑图像对象的边界上主要图像边缘的分割的模式中使用这些作为指导种子)。而且，关于接收显示器应当利用识别的状态做些什么，如上所述，他可以仅根据一些预定义的标准化状态使用默认的专用变换(例如，使得光尽可能明亮)，然而艺术家可能发现其看起来过度丑陋，并且更紧密地指定如果没有接收显示器的实际处理，则所述处理至少将导致什么样的最终再现外观(输出颜色)。例如，利用按钮434，他可以指定乘法器435，其例如声明优选地光不应当比平均亮度图像区域(当捕获场景时典型地最优地被照射并且将被分配LDR色域的大部分的区域)的亮度高10倍。艺术家可以指定在新物理量(如冲击或烦恼)上确定的相对于彼此不同的状态的亮度(例如取决于显示器白色亮度，某尺寸和亮度的补片可 以从电影中的实际动作中分散太多，因此该艺术家可以利用参数方程指定它们的绝对或相对-例如与周围的图像区域或显示器周围和/或局部平均亮度等相比-亮度级，以考虑这些物理量，如烦恼。因此，指定接收显示器上的再现的参数(即典型地它将执行的图像处理算法)可以是各种类型的，包括用于数学图像处理函数的实际参数，而且例如编码利用线段250指定的、曲线应当落入其中的粗略近似形状的参数，例如如图2中的反射轮廓(留下一些地方用于对接收显示器的不同处理，但是不太多)。更复杂的例子是，应用于识别的怪物区域441的“取消隐藏”状态426 (该分级工可以以中等精度描绘该区域，即不仅仅是椭圆，而不是像素精确的，并且然后分割模块可以搭配区域441与对象边界，并且运动跟踪器524可以在连续的图像中跟踪它)。然而，这里的困难在于接收显示器再现。目的是，怪物的再现仅是或不仅是在黑暗中可见(配色师可以例如指定仅其脸可见，而其身体尚不可见)，其尤其取决于确切的周围像素(因此，空间轮廓可能需要被应用，并且这可能必须利用空间轮廓分配面板490/模块590来微调)。为了在改变预期的再现时用户方便，轮廓形状可以不仅在亮度方面而且在其他校准单元方面被指定，比如JND (对于一个或多个典型的显示器情境)。对于最优的效果，这还取决于针对在其环境中接收显示器的图像/视频的校准。例如，在启动光盘电影时，BD动态应用可以询问观看者他是否想要最优的体验，并且向他示出他仍然必须将其与房间照明区分开来的若干暗补片，或者电影院可以被校准若干次或几次，例如利用用于在电影院后面的显示内容的相机或其他测量设备等等。这样的问题由分级工比以前由摄影师或照明导演控制要好得多(特别是如果涉及计算机图形操作)[也参见下文，当经典相机捕获变得不切实际时由该系统可以实现的一些其他例子，特别是对于HDR]。作为其他例子，我们示出如何可以与子类型一起使用以用于指定再现差异，并且将再现与显示器的不同类别匹配。假设我们具有爆发(explosion)，其在几何上覆盖图像区域的显著的百分比。提升这种爆发太多可能会从故事中分心，或者甚至引起烦恼。因此，火的提升的量可能取决于如呈现的面积、持续时间、颜色、周围颜色(例如，人们可能想要在科幻电影中再现非常明亮的太阳，其中一个人飞 向该太阳，但是当在沙漠场景中的天空中再现太阳时，太阳较不明亮并且更多地依赖于热的颜色；这可以利用高亮度再现范围的不同状态“亮光_1相比亮光_2来编码)，但是它也可能取决于火球的纹理结构，例如多少黑烟覆盖了它(如果存在更多的烟，则人们可以使得其间的辉光(glow)更明亮，或者至少精神分析视觉上协调比色法，特别是这两个子区域的亮度关系)。因此火球状态的子类可以例如是用于100-80%覆盖的“火_几乎不_覆盖”、用于79-40%覆盖的“火_部分_覆盖”、用于用黑暗子区域39-10%覆盖的“火_大部分_覆盖”。利用这样的附加的状态表征信息(空间属性、纹理属性、对象类、艺术意图等)，使用编码图像的不同显示器或装置因此可以更好地调谐他们的最终的再现或变换。同样，所述状态可以用于映射到不同显示器的智能地分配的亮度子范围(例如，若干“光”和“白色”，若干“黑暗”、若干特性/控制“灰色”等)。例如，在两个HDR显示器上(一个具有1500nit的白色亮度的中间的、不久的将来的显示器，一个4000nit白色的更高质量的HDR显示器)和默认的500nit白色的“LDR/标准”显示器上呈现场景的再现。，人们可以将这些显示器看作为升级，因为存在在较低质量的显示器的能力之上的附加的“效应/提升”亮度范围。天真地，人们可以盲目地提升所有明亮区域，例如上述火球或如太阳之类的光或路灯。而所述效果可能是强有力的，但是在1500nit显示器上仍然是可接受的，在4000nit显示器上，该区域再现可能具有过大的亮度。因此，人们可以将4000nit显示器的亮度范围的高端用于其他种类的光源再现(例如发射的激光束)，并且将火球限制于较小亮度的子范围。在500nit显示器色域中，没有用于所有这些不同类型的光状态的地方，因此它们都在其色域的高亮度端处在相同的子范围中被再现。所述状态编码可以给予如何在不同种类的显示器上再现的其他的细节，例如利用其他光属性模拟不同亮度的指令，例如使光稍微发黄或发蓝。图5示出用于允许用户(颜色分级工、配色师、摄影导演、(计算机图形)艺术家等)创建颜色状态规范的图像分析装置500的例子。它可以是专用的颜色分级装置，或者该图像处理单元501还可以是运行颜色分级和状态创建软件的正常计算机的通用处理器(GPU)。典型地，该图像处理单元501将具有一大组的图像分析单元(或者软件工具、或插件，例如边缘检测器、纹理表征器、人标识符等)，其允许对输入图像的智能预分析、允许快速用户交互小部件(例如可重新成形样条轮廓)的创建，以使得艺术家必须花费最小的努力来定义状态、它们的意义、也许一些语言表达式(其可以例如在稍后通过知道艺术家的意图而重新灌录电影时使用)以及接收显示器应当做的事情。要被发送到接收显示器的输出图像O可以仅是来自主相机542的输入图像I的拷贝，但是也可以已经由图像修改单元530(例如通过将色调重现修改曲线应用到所选的区域)修改，在此情况下，所得到的图像是艺术家想要在其校准显示器540上看到的。与图3的例子对照，后期制作颜色分级工典型地可以具有作为用户交互装置的复杂的控制面板541。数据处理机505将取得用户输入，例如点击按钮以移动光标并将它转换成可用的描述性数据D，比如所选区域的模板颜色。该数据处理机将与其他模块(例如直方图处理器520)通信，该直方图处理器520然后例如可以在新矩形被选择的情况下重新计算所有内部像素的直方图，将一组高斯模型映射到所述数据等等。因此，数据处理机505典型地被布置成执行所有 用户接口交互，从而以可理解的(例如，通过图像属性的自动图像分析来强调或预呈现特殊区域，在更高级的实施例中不仅基于亮度而且还基于内容识别)方式(例如通过对所捕获的图像的几何图形着伪彩色或对属性表示-比如直方图或分类属性图，比如例如以数值纹理属性示出区域的程度(extent)的二维图表-着伪彩色来预先示出区域和它们的多峰内容)向用户示出来自图像分析的结果，而且以允许与那些容易交互的方式(例如示出什么额外像素被选择或它们如何得到不同的颜色度量外观，如果用户操作直方图，并且反馈所有用户交互(不仅提取状态参数，而且重新编程图像分析算法，例如图像分割器，基于关于图像的内容和结构的用户的新语义指定输入和它应当在艺术地看起来如何))向用户示出来自图像分析的结果。空间修改模块590允许进行所有种类的空间动作，例如，它可以将参数化的(由艺术家调谐的)重新遮蔽的轮廓应用到所选区域。数据编码器510将描述性数据D的组格式化以最终输出描述数据信号DD0，即尽管可以使用复杂的编码变换，但是它还可以简单地直接在信号DDO中拷贝所选的直方图/范围/颜色属性参数(例如最大和最小亮度，用于指定第一和第二亮度的关系的乘法器，例如其由用于两个像素组的数学公式确定，等等)、所选的空间信息(例如用于对所选图像区域的线性链编码的参数)、处理算法(例如应用于所选区域像素的数学色调重现曲线)等。典型地，信号格式化器552将会把包含信号DDO的状态数据添加到(潜在地处理的输出)图像信号数据0，以创建最终的画面信号S’，其可以被存储在例如蓝光光盘或其他存储介质550上。但是，当然如果该信号被直接传送/广播(从电视演播室的处理引导(boot)，其中比色状态干扰可以是简单而仍会几乎实时发生的)，则信号DDO还可以通过例如与输出的图像O相比单独的信号例如经由用于选择性的观看者组的互联网而被传输，这符合向后兼容性(例如，未付费客户仅可以得到较低颜色质量的信号0，然而付费客户可以得到允许他们在他们的高质量显示器上得到完美得多-艺术家期望的再现-的附加的数据DDO ;或者类似地，在其中若干质量图像流是可能的可缩放情境中，移动观看者可以选择较低定价的较低比特率流，而且选择被设置成允许他创建最优再现的状态)。第二相机(或光学测量设备，例如光谱测定相机)543可以存在以用于分析对象544的细节(例如，光-物质交互属性，或其他对象属性)。当捕获高动态场景时，一方面人们可能需要过量的图像编纂数据，而另一方面人们可以在该场景中比期望的捕获更多(例如，可以捕获艺术家不喜欢被再现的装饰的瑕疵，或该再现不一定非常关键/重要，或者在一些显示器上甚至不可能，例如在黑暗区域)。所述状态还可以用于改变底层像素图像的编码或更复杂的比色修改编码。例如“坏”相机(例如在预先存在的60s电影中)可以在具有很少纹理细节(实际上主要是噪声)的墙壁上捕获黑暗阴影区域。然而，在高质量显示器上，人们可能想要/需要在该区域中示出一些纹理。这最后几位可以利用不同的编码来添加，例如墙壁瑕疵的计算机图形图案可以被编码以被添加在底层墙壁图像的最后几位中(潜在地还考虑艺术家最优化的去噪，其可以在DDO信号中被量化为可能具有残余轮廓的数学去噪算法或者像素值几何轮廓本身；所述接收显示器然后可以考虑这一点以便例如调谐其去噪或其他图像改进算法)，并且该计算机图形或其他编码可以在由第二相机/光学测量器543对场景对象的实际测量(例如精细地测量精细纹理和反射率的精细改变)上被确定。然后，状态代码“阴影_1”可以立即被链接到该附加数据以用于接收显示器再现。该数据处理机505还可以向艺术家或任何后期操作者提供用户接口以影响画面(和潜在地附加数据)的最终图像编码，比如例如墙壁上的刮擦或任何结构编码可以如何被编码以允许在接收显示器端处的某个(某些)外观。另外，装置500被构造成使得数据处理机能够与图像修改单元530交互，从而使得配色师的每个重新指定(关于黑暗状态的重要性及其或多或少真实的/高质量/视觉上极好的/等 再现的需要)可以直接被转换成输出图像O的至少一些区域的重新编码，并且反之亦然，任何重新编码(例如，降低用于编码区域的比特的数量，可能地在第二编码中放置一些精细纹理编码)可以经由数据处理机和其他图像分析模块(其中一些可以例如建模典型的显示器再现特性)而向艺术家显示为具有注释A (例如，图像O上状态的空间覆盖，其可以被切换离开以示出不同的建模的典型接收显示器的实际比色外观)的输出图像。图6示意性示出可以如何利用颜色再现状态描述改进(例如，根据如MPEG4. 10(AVC)或VCl等之类的MPEG标准压缩的)图像/视频信号的可能的例子。技术人员可以想象这如何可以例如通过无线或有线通信网络传输，因此，我们将描述根据在存储器介质(例如光盘、硬盘、来自(消费者)视频摄像机的可拆卸存储卡等)上存储的例子。典型地，所捕获的视频本身(无论原始捕获的还是被例如利用色调重现曲线转换的)被例如存储为(例如DCT变换的像素值块)用于至少一个图像的第一区域的图像信号610、用于第二图像区域的图像信号611(其可以是覆盖物(overlay)，例如底部自动收报机纸条，而且如果第一部分仅编码低于上限值LCmax的捕获的像素亮度，还可以是图像的较浅区域)，并且可以存在辅助信号612 (例如用于更新具有更高精度位的区域(例如更高兴趣的)。在所添加的状态规范中(其可以作为例如盘管理数据被写在盘的预留的轨道组上)，存在连同其描述数据(在接收侧O上的输入图像中其属性是什么，以及利用它要做什么、颜色再现明智(wise)，而且例如锐利处理可能对颜色外观具有冲击)一起指定(例如用于在图像的当前镜头或场景中的霓虹灯)的至少一个(第一)状态620。在简单的信号例子中，可能存在第一区域识别信息621，其可以例如是围绕第一霓虹灯的矩形(具有左上和右下坐标(xl，yl)和(x2，y2))，而且可以是实现选择亮度范围(Lmin, Lmax)的信息，例如以进一步仅选择矩形中的霓虹灯的倾斜条纹。人们也可以例如通过使用指向DCT块组的起点和终点的指针pol、po2来与到编码的视频中的部分的链接数据628直接链接。人们可能在镜头中具有用于每一个连续图像的这种矩形，这允许明确地跟踪移动对象。更复杂的编码可以包含选择算法F_sel_l()以便在一个或多个连续图像中选择所述区域(这可能涉及画面分析，比如区域生长、蛇形拟合(snake fitting)、利用编码的运动参数的运动跟踪，等)。其次，存在第一状态再现参数622。在简单的变形中，这些可以包括表征光的期望的平均色度Hl和饱和度Si (且典型地还有亮度或视亮度Ld)，并且可以存在关于所允许的偏差d (Hl，si, Ld)的其它的规范，该偏差可以是例如空间偏差、每个再现显示器的偏差，以考虑观看房间环境，等等。可替代地，复杂模型可以被编码成显示器优选地或总是考虑到各种参数而应当做的什么，所述参数例如接收显示器的最大可实现亮度、消费者偏好设置(例如，消费者可能偏好恐怖电影的非常黑暗的再现，于是“阴影状态”可以被不同地强调和再现，而且可以使图像的非阴影剩余部分变暗，或者他可以期望使阴影状态变亮以使其不那么可怕[例如，走廊中怪物变得可见的时刻或渐次性，例如使其保持与惊悚音乐不同步地可见])等等。第二状态再现参数623可以用于以不同方式再现第一霓虹灯，例如在不同的显示器上或利用不同的设置。通过允许第二区域识别信息624和第三状态再现参数625而多方面地允许在相同状态下图像的不同部分的编码，来允许例如做与红色和绿色霓虹灯不同的事情，然而仍然保留某种协调(例如，它们的色度或空间轮廓可以被不同地处理，但是它们可以以类似的感知视亮度被再现)。 而且，可以存在编码的再现调谐数据626，比如用于如饱和度增加器那样的可调谐算法的参数pl, p2, p3···,或者甚至处理函数fl ()。还可能存在附加的改进数据627 dl，d2，…，其例如通过如在上述黑色墙壁例子中添加图形图案(或用于添加到解码的局部画面的任何其他附加编码)或作出一些过滤改变外观(例如专用的伪影处理等)来改进解码的图像区域。可能存在被指定用于相同图像的第二状态630，例如如何处理较暗的区域。这可以再次通过添加第三区域识别信息631来完成，例如用于样条或其他参数化轮廓代码(xl3，yl3)的链式码或控制点、[其他几何规范可以被使用，例如用矩形的层次结构覆盖，等等]…、图像O中像素区域的对应于所提及的状态的特性数据(例如，颜色C1，C2，…，其可以对应于诸如主要出现的颜色的特定颜色，或直方图模式，或纹理值Tl，…，其可以例如被用作种子或者另外地辅助可以在接收侧完成的分割以提取要以规定方式再现的区域)。而且，可能存在状态规范函数632，其用于提取特定区域F_sel_l O，并且用于处理它，例如用于在主显示器(F_proC_l O )上再现它，或者从它导出用于辅助显示器(F_pix)C_20)的再现。与平均期望颜色和偏差(622，623)有关的参数、边界函数、目标函数、处理函数(F_proC_l O )等都是再现规范数据650的例子。取决于发送和接收侧的算法身份被协调的多么紧密，算法识别代码640可以被包括在内，例如开始于接收器侧算法或算法的类型涉及的标识符Alg_ID以及它们应当如何-经由动作标识符ACT-协调它们的动作以用于预期的再现(例如，这可以与艺术家请求去噪应当针对某个状态而关闭或者应当应用到某个强度一样简单；当然，如果例如蓝光播放器被设置成对应于新一代盘期望的事物并且处理所有的处理，它是更容易的，但是可能优选的是，然后仍然控制关于附加的显示器处理的事情)。还可能存在描述字段633，从允许艺术家指定在再现状态(“它应当看起来黑暗，并且不引人注目”)时指定他的意图是什么、这实际上可以如何在底层图像场景元素(“栏应当是明显地可见的，而其后面的地下室的较深部分应当以一种神秘的、难以辨别的方式再现”)上在精神视觉上数学地实现，等等。该数据描述可以在稍后的场合被代码转换器使用，或者可以经由用户接口被中继到最终观看者作为艺术家的意图的文本描述。当然，可以将更多的编码添加到该纯概念性的说明性例子。
图7示出在接收侧(例如在消费者的起居室中)示例性图像解码和显示系统(技术人员将会理解根据本发明的原理的类似系统将在例如数字电影院剧场中看起来如何)。颜色再现图像处理装置701的实施例是具有内置蓝光读取器的机顶盒(但是这也可以是膝上型计算机或便携式设备，如移动电话等，即所述装置701可以像插卡那样小[只要它能够读取状态规范，并且允许利用它进行颜色处理]或者像专业电影院代码转换演播室那样大)能够接收具有编码在其上的整个状态注释的图像信号的蓝光碟702，即图像信号和O和包含不同发生状态的描述的描述数据信号DDO 二者(例如，用于一些艺术上的关键拍摄，例如其中发生夜间恐怖行动，或爆炸宇宙飞船的毁灭、或生动多彩的梦想序列等等)。然而，类似地，所述装置可以具有到例如携带(典型地压缩编码的)输入图像O电视信号传输线缆(或天线，或用于在存储卡上数字照片的输出等；图像信号也可以不同地意指例如电视标准编码信号或原始图像文件等)704的第一连接703。描述数据DDO可以 经由例如连接到互联网705和提供图像改进服务的网页的第二连接器704通过另一个介质过来。因此与O相关的DDO意指尽管她们典型地可以在相同的存储装置上编码，或者可经由相同的传输而接收，但是恰好存在用于获得附加的数据DDO的某些装置，然而其对应于输入图像信号O的某个图像的至少某个像素区域。所述装置701具有1C，其至少具有被布置成从DDO中提取状态编码数据并且直接将它输出或将它转换成更适合用于通过图像处理单元712对受控图像进行处理的新值的提取器701。这可以被如此简单地体现以至于仅将一些色调重现变换应用到对应于要被再现状态的特殊的像素，或者具有复杂算法，例如典型地对应于可以在创建侧应用的任意算法(例如分割和/或跟踪算法/单元)。播放器701可以通过视频线缆720 (例如HDMI)将它的改进的预期再现输出图像IR’输出到显示器/电视，但是由于该电视可以进行(或被请求进行)附加处理(在它的图像分析和/或处理IC 731上)，所以第二连接(线缆或无线)721可以存在用于控制信号CS (其可以包括来自信号DDO的任何数据和/或从中得出的控制数据)。典型地，这些附加控制信号可以通过更新例如(无线)HDMI协议而通过视频线缆来添加。装置723也可以通过连接723将颜色信号发送到第二、环境颜色显示器740，其也可以经由显示器730获得它的期望再现颜色输入信号。示例性显示器具有LED背光732，对于HDR再现而言是理想的。可以存在环境测量设备(如测量设备780)，例如可以检查电视的周围、房间中的光、电视前面板上的反射、校准灰度的可见性等等的廉价相机，并且它们可以将该信息传送到装置701和/或显示器730，实际上它们可以生成输出以用于比色地(亮度和/色度)控制房间中的若干装置，比如显示器、灯、百叶窗玻璃等。本文中公开的算法组件在实践中可以(完全或部分地)被实现为硬件(例如专用IC的部分)或实现为运行在特殊数字信号处理器或通用处理器等上的软件。对于技术人员而言，根据我们的陈述应当可以理解哪些组件可以是可选的改进并且可以与其他组件组合而实现，以及方法的(可选)步骤如何对应于装置的相应构件，且反之亦然。本申请中的词语“装置”(即允许实现特定目的的一组构件)以其最广的意义被使用，并且因此可以例如是IC (的一小部分)、或专用器具(比如具有显示器的器具)或联网系统的部分等。“布置”也旨在以最广意义被使用，因此它尤其可以包括单个装置、装置的一部分、协作装置的(部分的)集合等。计算机程序产品符号应当被理解为包含实现通用或专用处理器的命令的集合的任何物理实现、在一系列加载步骤(其可以包括中间转换步骤，例如转换成中间语言以及最终的处理器语言)之后将该命令输入到处理器中、以及执行发明的特有功能的任何一个。特别地，该计算机程序产品可以被实现为诸如盘或带之类的载体上的数据、存储器中存在的数据、经由网络连接-有线或无线-移动的数据、或者书面形式的程序代码。除了程序代码之外，该程序所需的特性数据也可以体现为计算机程序产品。所述方法的操作所需的步骤中的一些可能已经存在于处理器的功能中而代替计算机程序产品中描述，比如数据输入和输出步骤。应当注意，上述实施例说明而非限制本发明。在技术人员可以容易地实现所提出的例子到权利要求的其他范围的映射时，为了简明起见，我们没有深入地提及所有这些选项。除了如在权利要求中组合的本发明的元件的组合之外，这些元件的其他组合也是可能的。元件的任何组合可以在单个专用元件中实现。权利要求中括号之间的任何附图标记不旨在限制权利要求。词语“包括”不排除权利要求中未列出的元件或方面的存在。元件之前的词语“一”或“一个”不排除多个这样的元件的存在。·
权利要求
1.一种将图像定义信息添加到输入图像信号(I)的方法，包括 -向人类操作者示出输入图像(I); -经由用户接口( 303，308)从人类操作者接收描述性数据(D)，该描述性数据(D) —方面至少包括亮度值和/或几何形状信息，且另一方面包括状态描述符(rd)； -以被标准化成旨在由接收显示器用来控制其图像处理以改变它所再现的图像的颜色属性的技术格式编码成描述性数据(D)的输出描述数据信号(DDO)，其可与基于输入图像信号(I)的输出图像信号(O)相关。
2.如权利要求I所述的将图像定义信息添加到输入图像信号(I)的方法，进一步包括以下步骤从人类操作者接收用于控制图像处理以改变接收显示器的其所再现图像的颜色属性的参数和/或函数，并且将这些参数和/或函数编码成输出描述数据信号(DDO)。
3.如权利要求I或2所述的将图像定义信息添加到输入图像信号(I)的方法，进一步包括以下步骤允许人类操作者选择从由拍摄场景中的测量装置(320，330)获得的场景对象光学属性的光学测量中得出的一组场景测量数据(Sm)。
4.如上述权利要求之一所述的将图像定义信息添加到输入图像信号(I)的方法，来自人类操作者的描述性数据(D)包括关于如何将输入图像(I)的亮度和/或色度值的至少一个子集或输入图像(I)的至少一个图像子区域映射到接收显示器的可重现颜色值的显示子范围。
5.如权利要求4所述的将图像定义信息添加到输入图像信号(I)的方法，所述显示子范围对应于要被显示的输出图像信号(O)中的像素的子集，并且该显示子范围是包括最高売度等于最大売度的像素売度值的类型，或者该显不子范围是包括最低売度等于最小売度的像素亮度值的类型，或者该显示子范围是包括低于最大饱和度的饱和度值的类型。
6.一种用于将图像定义信息添加到输入图像信号(I)的图像像素信息的图像分析装置(500)，包括 -图像输出(502)，其用于向人类操作者示出图像； -数据输入(503)，其用于接收用户接口命令(⑶)；和数据处理机(505)，其被布置成将用户接口命令(CU)转换成关于输入图像信号(I)的描述性数据(D)，该描述性数据(D) —方面至少包括亮度值和/或几何形状信息，且另一方面包括状态描述符(rd)；以及 -数据编码器(510)，其用于以被标准化成旨在由接收显示器用来控制其图像处理以改变它所再现的图像的颜色属性的技术格式将描述性数据(D)转换成输出描述数据信号(DDO)，其可与基于输入图像信号(I)的输出图像信号(O)相关。
7.如权利要求6所述的用于添加图像定义信息的图像分析装置(500)，进一步包括下述至少之一 -直方图分析模块(520)，其被布置成生成图像的像素的子集的直方图； -分割模块(522)，其被布置成基于诸如例如亮度范围之类的准则分割图像中像素的区域； -运动跟踪器(524 )，其被布置成跟踪连续图像中的对象。
8.一种基于与要被再现的输入图像信号(O)相关的图像定义信息处理该输入图像信号(O)的方法,包括 -从图像定义信息的编码(DDO)提取指定颜色状态的描述性数据(D)，该描述性数据(D)指定一方面至少包括亮度值和/或几何形状信息且另一方面包括状态描述符(rd)的颜色状态； -基于状态描述符(rd)来图像处理输入图像(O)以获得要被再现的输出图像(IR)。
9.如权利要求8所述的基于与要被再现输入图像信号(O)相关的图像定义信息处理该输入图像信号(O)的方法，该方法进一步包括从所述编码(DDO)中提取再现规范数据(650)，并且基于该再现规范数据(650)执行关于输入图像(O)的至少第一区域的处理。
10.如权利要求8或9所述的基于与要被再现的输入图像信号(O)相关的图像定义信息处理该输入图像信号(O)的方法，其中所述处理包括将输出图像亮度范围分配到对应于状态描述符(rd)的输入图像的一部分。
11.如权利要求8、9或10所述的基于与要被再现输入图像信号(O)相关的图像定义信息处理该输入图像信号(O)的方法，其中所述处理包括将色调重现曲线映射应用到对应于状态描述符(rd)的输入图像的部分，其将图像的所述部分的像素的输入亮度映射到这些像素的输出亮度。
12.一种用于基于与要被再现的输入图像信号(O)相关的图像定义信息处理该输入图像信号(O)的装置(701)，包括 -提取器(710)，其被布置成从图像定义信息的编码(DDO)提取指定颜色状态的描述性数据(D)，该描述性数据(D)指定一方面至少包括亮度值和/或几何形状信息且另一方面包括状态描述符(rd)的颜色状态；以及 -图像处理单元(712)，其被布置成基于可从与提取器(710)的连接接收的状态描述符(rd)来将图像处理应用到输入图像(O)以获得要被再现的输出图像(IR’)。
13.如权利要求12所述的用于基于与要被再现的输入图像信号(O)相关的图像定义信息处理该输入图像信号(O)的装置(701)，其中所述图像处理单元(712)被布置成至少在对应于区域描述符(rd)的输入图像的一部分中的像素的亮度上应用颜色变换。
14.一种图像信号(0，DD0)，包括 -图像的像素的颜色值的图像数据编码； -图像中区域的规范，旨在用于通过接收显示器系统(730，701)进行特定颜色再现；以及 -状态描述符(rd)，其指定所述区域及其特定颜色再现意图。
全文摘要
为了(经由显示器和它的内置图像处理)允许在诸如电影摄影导演之类的图像创建艺术家与最终的观看者之间更好的协调，我们描述了将图像定义信息添加到输入图像信号(I)的方法，包括-将输入图像(I)显示给人类操作者；经由用户接口(303,308)从人类操作者接收描述性数据(D)，该描述性数据(D)一方面至少包括亮度值和/或几何形状信息，而另一方面包括状态描述符(rd)；以被标准化成旨在由接收显示器用来控制其图像处理以改变它所再现的图像的颜色属性的技术格式编码成描述性数据(D)的输出描述数据信号(DDO)，其可与基于输入图像信号(I)的输出图像信号(O)相关。
文档编号H04N1/60GK102783132SQ201180012065
公开日2012年11月14日 申请日期2011年2月24日 优先权日2010年3月3日
发明者M.J.W.梅坦斯 申请人:皇家飞利浦电子股份有限公司