使用直方图产生图像内容的替代版本的制作方法
【专利摘要】视频或其他图像内容的一个或多个版本可通过如下步骤产生：获得所述视频内容的第一版本的第一直方图数据；获得所述视频内容的第二版本；获得所述视频内容的第二版本的第二直方图数据；通过执行渐进直方图匹配算法的多次迭代来产生从所述视频内容的第二版本到所述视频内容的附加版本的映射，迭代次数少于渐进直方图匹配算法的最大迭代次数；以及应用所述映射以从所述视频内容的第二版本产生所述视频内容的所述附加版本。
【专利说明】使用直方图产生图像内容的替代版本
[0001]相关申请的交叉引用
[0002]本申请主张2011年3月17日提交的美国临时专利申请N0.61/453922、2011年3月17日提交的美国临时专利申请N0.61/453924以及2011年4月12日提交的美国临时专利申请N0.61/474733的优先权，这些申请通过引用整体合并于此。
【技术领域】
[0003]本发明涉及显示和处理图像以及数据通信。本发明对于编码、解码、存储和传输图像数据具有特定应用。示例性实施例提供用于对包括多个版本的视频数据进行编码和解码的装置和方法，在这些版本中，视频数据基于不同的色域(color gamut)。
【背景技术】
[0004]显示器诸如电视机、计算机监视器、便携式设备中的显示器、专用显示器(诸如虚拟现实显示器、交通工具模拟器、广告显示器、体育场显示器)等被广泛使用。现有显示器的状态是能够显示颜色和色调(tone )的精细的微小差别。
[0005]现在可获得范围广泛的显示器技术。例如，有等离子体显示器、被各种类型的光源(诸如各种类型的LED、荧光灯或高强度白炽灯)从背后照射的LCD显示器、基于CRT的显示器、数字影院显示器、OLED显示器等。特定显示器将显示硬件与接收视频信号并驱动显示器硬件显示视频信号的视频内容的视频信号处理组件相组合。
[0006]就诸如以下的特征而言，不同的显示器可以有很大的差别:
[0007].显示器可再现的色域；
[0008].可实现的最大明亮度 (brightness)；
[0009].对比度；
[0010].分辨率；
[0011]?可接受的输入信号格式；
[0012]?颜色深度；
[0013].白色级；
[0014].黑色级；
[0015].白色点；
[0016]?灰阶；
[0017]?等等。
[0018]因为显示器的性能可能非常不同，所以相同的图像内容在不同显示器上观看时可能显得不同。当在一种显示器上观看时观看愉悦的图像内容可能在具有不同能力的另一显示器上观看时不是那么愉悦。当在某些显示器上显示时与创作者的创作意图匹配的图像内容在其他显示器上观看时可能以一种或多种方式背离创作者的创作意图。
[0019]颜色和亮度的感知受到周围状况的影响。观看者对于在影院状况(低周围照明)下呈现的视频或其他图像的感知明显不同于相同视频或其他图像在显著的周围光的状况下观看时的感知。此外，周围光的特性(诸如色温)可能影响观看者对视频内容的感知。
[0020]视频制作或其他图像的创作者可设置图像中的像素的色调和颜色，使得图像在观看时具有与创作者的创作意图一致的期望外观。例如，创作者可能希望某些场景具有比其他场景更暗、更压抑的感觉。创作者可能希望场景中描绘的某些特征突出或不那么显眼。创作者可能希望具有在一些场景中看起来格外生动、而在其他场景中看起来更加柔和的颜色。调整图像中的像素的色调和颜色可包括对源视频数据执行颜色渐变(color grading)(或“颜色调整(color timing)”)。可使用允许用户以各种方式改变视频数据以实现期望外观的硬件/软件系统来执行颜色渐变。
[0021]因为对观看内容的显示器的选择和观看内容时的周围照明状况可影响观看者对所观看的内容的感知，所以理想的是使创作者分别针对可能在其上观看视频制作的每个显示器以及针对可能观看视频产品的所有周围状况执行颜色渐变。观看者然后可获得针对在他们的显示器和周围状况下观看而优化的定制版本的制作。这通常是不实用的。
[0022]2010 年 2 月 24 日提交的题为 “DISPLAY MANAGEMENT METHODS AND APPARATUS”的共有美国专利申请 N0.61/307547、题为“DISPLAY MANAGEMENT SERVER”的 N0.61/366899以及 2010 年 7 月 10 日提交的题为 “DISPLAY MANAGEMENT METHODS AND APPARATUS” 的N0.61/364693描述了通过下述方式来产生具有适合于在特定显示器上显示的颜色和色调的视频内容:对视频内容的已准备好在其他显示器上观看的不同版本之间进行内插或外插。这些申请通过引用合并于此以用于所有目的。
[0023]例如，一个版本可被颜色渐变为用于在REC709显示器上观看，另一版本可被颜色渐变为用于在VDR显示器上观看。REC709是由ITU-R Recommendation BT.709指定的视频数据格式，ITU-R Recommendation BT.709特此通过引用并入本文。可见动态范围(VDR)是能够表示范围极其广泛的颜色和色调的格式。例如在题为“EXTENDED DYNAMIC RANGEAND EXTENDED DIMENSIONALITY IMAGE SIGNAL CONVERSION AND/OR DELIVERY VIA LEGACYVIDEO INTERFACES” 的共有 PCT 申请 N0.PCT/US2010/022700 中描述了 VDR，该申请通过引用并入本文以用于所有目的。VDR格式可对人类视觉的整个范围进行编码。
[0024]为了内插/外插或其他目的，需要高效的编码方式以用于发布和存储图像数据(例如，视频数据)，使得可从编码的图像数据恢复图像数据的多个版本，这些版本在被选择来表示所描绘的图像中的特征的色调和颜色上不同。如以上所指出的，这样的编码图像数据可便利于改动显示在不同显示器上的视频和其他图像的外观，以尽可能地保留图像数据中所体现的创作意图。
[0025]因为颜色渐变是通常需要技术人员干预的时间密集型活动，所以还需要用于生成视频内容(或其他图像内容)的替代版本的有效方法和装置，该替代版本适于显示在除了内容的颜色渐变所针对的显示器之外的显示器上。
【发明内容】
[0026]本发明具有多个方面。这些方面包括但不限于:用于对视频数据或其他图像数据的两个或更多版本进行编码的方法；用于从编码表示解码和提取视频数据或其他图像数据的版本的方法；用于对视频数据或其他图像数据的两个或更多版本进行编码的装置；用于从编码表示解码和提取视频数据或其他图像数据的版本的装置(这样的装置可包括例如显示器、解码器、媒体播放器、有线系统中的机顶盒等)；用于产生承载视频或其他图像内容的新版本的视频或其他图像数据的方法和装置。
[0027]本发明的一方面提供一种用于产生视频内容的附加版本的方法。该方法包括:获得所述视频内容的第一版本的第一直方图数据；获得所述视频内容的第二版本；以及获得所述视频内容的第二版本的第二直方图数据。该方法通过执行渐进直方图匹配算法的多次迭代来产生从所述视频内容的第二版本到所述视频内容的附加版本的映射。该迭代次数少于渐进直方图匹配算法的最大迭代次数。该方法应用所述映射以从所述视频内容的第二版本产生所述视频内容的所述附加版本。
[0028]在一些实施例中，该方法包括:产生与渐进直方图匹配算法的多个不同迭代次数对应的映射，以及应用这些映射来从视频内容的第二版本产生视频内容的对应的多个附加版本。
[0029]在一些实施例中，该方法包括基于来自周围光传感器的信号选择视频内容的附加版本之一来进行显不。在一些实施例中，该方法包括基于来自周围光传感器的信号来确定迭代次数。
[0030]在一些实施例中，产生从视频内容的第二版本到视频内容的附加版本的映射包括:针对与第一颜色通道对应的直方图数据，执行渐进直方图匹配算法的第一次数的迭代，以及针对与第二颜色通道对应的直方图数据，执行渐进直方图匹配算法的第二次数的迭代，第二迭代次数不同于第一迭代次数。通过参照附图和研究以下详细描述，除了上述示例性方面和实施例之外，进一步的方面和实施例将变得清楚。
【专利附图】
【附图说明】
[0031]附图中示出了非限制性示例实施例。本文公开的实施例和附图将被认为是说明性的，而非限制性的。
[0032]图1是示出演示本文描述的技术的一个示例应用的视频发布流水线的示意图。
[0033]图2是示出根据示例实施例的编码方法的流程图。
[0034]图3是示出用于使用数据容器中的信息来重新创建视频内容的第一版本的方法的流程图。
[0035]图4是示出可在图3的方法中应用的示例渐进直方图匹配方法的流程图。
[0036]图5是渐进直方图匹配引擎的例子的示意图。
【具体实施方式】
[0037]在以下整个描述中，为了向本领技术人员提供更加透彻的理解，对具体细节进行了阐述。然而，可能没有详细地显示或描述公知元件，以避免不必要地模糊本公开。因此，要从说明性、而非限制性的意义上来看待描述和附图。
[0038]图1示出演示本文描述的技术的一个示例应用的视频发布流水线20。视频制作的两个版本21A和21B是在工作室环境下制作的。每个版本表示相同的原始视频内容(例如故事片、电视节目、广告)。这些版本从输入媒体2IC制作。
[0039]在所示实施例中，使用编辑/颜色调整套件22分别对第一版本21A和第二版本21B进行颜色调整和/或核准发布，编辑/颜色调整套件22配备有参考显示器22A和22B。参考显示器22k和22B可选地可组合在能以不同模式操作的单个显示器中。编码器24对这些版本进行编码以用于发布。编码器24提供编码输出25。输出25可包括可通过发布通道26存储和/或发布的文件、流或其他数据结构。
[0040]在示例实施例中，第一版本21A和第二版本21B分别是可在老式显示设备(例如，未被构造为如本文描述的那样基于第一输入图像数据和第二输入图像数据这两者来产生用于显示的信号的电视机)上观看的向后兼容的第一版本和在具有广色域和高动态范围的显示器上最佳地观看的版本。
[0041]发布通道26可包括例如数据通信网络(诸如局域网、广域网、互联网、蜂窝数据网络、无线网络、有线电视CATV系统、卫星广播系统等)；介质(诸如DVD、闪存、便携式数据储存器、磁性或光学数据存储介质等)；或者系统内的总线或其他数据通信链路。
[0042]输出25通过发布通道26被发送，并且被解码器28解码以恢复第一版本21A和第二版本21B。在示例实施例中，当解码时，承载第一版本21A的流29A被提供给老式显示器30A进行观看。承载第二版本21B的第二流29B被提供给先进显示器30B进行观看。流29A和29B都被提供给内插器32，内插器32产生承载第一版本21A和第二版本21B的混合的内插和/或外插流29C以用于在另一显示器30C上显示。
[0043]图2示出根据示例实施例的编码方法40。在块41A，方法40将第一版本21A转换到合适的颜色空间中。在第一版本21A已经在合适的颜色空间中的情况下，不需要块41A。可使用一系列颜色空间。在一些实施例中，块41A将第一版本转换到其中不同颜色通道基本上去相关的颜色空间中。在如下所述那样分别处理每个颜色通道的情况下，这是方便的，因为它减少了图像伪像。颜色空间可以是颜色对立空间。
[0044]对于许多应用被足够地去相关的颜色空间的例子包括:Iaa (例如描 述 于 D.L.Ruderman, et al.Statistics of cone responses to naturalimages:1mplications for visual coding, Journal of the Optical Society of AmericaA, vol.15, n0.8, pp.2036-2045, 1998 中);例如使用主成分分析(PCA)或 Karhunen-Lo ve变换(KLT)确定的图像相关颜色空间(例如描述于R.K.Kouassi et al.Application oftheKarhunen-Loeve transform for natural color images analysis, in Proceedingsof the31st Asilomar Conference on Signals, Systems&Computers(ACSSC' 97), vol.2,pp.1740 - 1744, Pacific Grove, Calif, USA, November1997 以及 Mircea C.1onita etal., Benefits of Using Decorrelated Color Information for Face Segmentation/Tracking Advances in Optical Technologies Vol.2008 (2008), Article ID583687 中)；010203 ；YdbDr ；YCoCg-R ;CIELab。
[0045]在块42中，方法40计算第一版本2IA的直方图43。在示例实施例中，方法40计算第一版本21A的每帧的直方图集合34。集合43可包括第一版本21A的每个颜色通道的直方图数据。每个颜色通道的直方图数据可对若干区间(bin)中的每个指定直方图与其相关的第一版本21A的帧或其他部分内有多少个像素的用于该颜色通道的像素值在与该区间对应的范围内。在一些实施例中，区间的数量少于可能的颜色通道值的数量。在一些实施例中，对直方图数据进行压缩。在一些实施例中，区间的数量为250个或更少。在一些实施例中，区间的数量为50个或更少。
[0046]并不强制不同颜色通道的直方图具有相同的区间数量。具有不同区间数量的直方图可用于不同颜色通道。
[0047]方法40可选地在块41B中对第二版本21B执行颜色空间变换。块44对第二版本21B进行编码以生成编码的第二版本45。块44可包括提供对于应用足够的图像质量的无损编码或有损编码。例如，块44可包括第二版本21B的MPEG编码。
[0048]在块46 (在一些实施例中其与块44组合)中，把来自块42的直方图数据43与编码的第二版本45相关联。该关联可包括将直方图数据43和编码的第二版本45封包到一个公共数据结构中。在示例实施例中，编码的第二版本45包括视频流，直方图数据43被编码为该视频流中的元数据。通常，在公共容器47中(例如，在公共封包、数据结构、物理介质等中)提供编码的第二版本45和直方图数据43。如发布块48所示，可发布容器47以用于在目标显示器上进行观看。
[0049]如下所述，可从编码的第二版本45和关于第一版本21A的直方图数据43实现第一版本21A的重建。因为直方图数据43远小于第一版本21A，所以这提供了显著的数据通信效率。在一些实施例中，可在没有附加数据的情况下获得第一版本21A的足够精确的重建。
[0050]在一些实施例中，附加信息包括在容器47中以精化第一版本2IA的重建。附加信息可包括残差信息。图2显示了可选的块49，块49使用第二版本21A或编码的第二版本45 (仅需一个)以及直方图数据43来产生第一版本21A的重建版本50。块52将重建版本49与第一版本21A进行比较以得到残差53。块52可包括例如从第一版本21A减去重建版本50以得到残差53。
[0051]块54将残差53编码为编码残差55，并将编码残差55存储在容器47中。因为第一版本21A描绘与第二版本21B相同的图像(除了颜色和色调不同之外)并且直方图数据43的使用使重建版本50具有与第一版本21A的颜色和色调相似的颜色和色调，所以重建版本50可非常类似于第一版本21A。因此，残差53可具有许多小的值。在块54中，可以以无损或有损的方式对残差53进行编码。在一些实施例中，使用如下算法来对残差53进行编码，该算法不保留太小以至于不会显著影响使用残差产生的第一版本21A的重建版本的外观的残差值。例如，编码块54可包括设置将低于量化阈值的残差值设置为零的量化步骤。在这样的实施例中，残差在编码时可被极大地压缩以用于包括在块47中，因为编码的残差的大多数值将为零。可以针对每个颜色通道(亮度通道(如果存在的话)是颜色通道)获得和处理单独的残差53。
[0052]图3示出使用容器47中的信息重建第一版本2IA的方法60。该信息包括编码的第二版本45、关于第一版本21A的直方图数据43,可选地,还包括编码的残差55。方法60可用在方法40的块49中，并且还可用于在下游位置获得第一版本21A的重建版本。
[0053]在块62中，对第二版本2IB进行解码。如块63所指示的，可直接在显示器上显示解码的第二版本2IB。
[0054]块64产生第一版本21A的重建版本。通过下述方法准备重建版本,该方法包括确定对关于第二版本21B的直方图进行变形以使该直方图更像第一版本21A的直方图(来自直方图数据43)的直 方图变换，然后根据从该直方图变换确定的变换来对第二版本21B中的像素的颜色值进行变换。在一些实施例中,对每个通道独立地执行这个操作(例如,在IaaJ色空间中表示第二版本21B中的像素值的情况下，对1-、?-和备通道独立地执行该操作)。
[0055]块64应用渐进直方图匹配技术来创建第一版本21A的重建版本63。渐进直方图匹配基本上通过下述方式工作，即，修改第二版本21B的颜色通道值以实现关于经过颜色值修改的第二版本21B的直方图数据与关于第一版本21A的直方图数据43之间的更接近的匹配。可以在渐进地匹配直方图的更精细的细节的若干级(stage)中进行这个操作。可以选择级的数量以实现对于即将来临的应用可接受地接近于第一版本21A的重建版本63。每个级以不同尺度进行直方图匹配。
[0056]可选地，方法60在块66中对残差55 (如果存在的话)进行解码以获得残差53，并且在校正块68中应用残差53来获得经过校正的重建第一版本69。在块63A，显示经过校正的重建第一版本69和/或重建的第一版本63。
[0057]在一些实施例中，方法60仅对第二版本2IB的选定帧计算直方图变换。在一些这样的实施例中，可根据从针对第二版本2IB的选定帧计算的直方图变换确定的变换来对第二版本21B的非选定帧的颜色值进行变换。例如，编码的第二版本45可包括经过MPEG编码的内容，在该内容中，选定巾贞被指定为关键巾贞，方法60可仅对编码的第二版本45的关键帧计算直方图变换。可根据从关于对应的关键帧的直方图确定的变换来对编码的第二版本45的非关键帧的颜色值进行变换。例如，可对两个场景剪切之间的场景建立变换。对多个帧使用相同的变换有利地改进了时间稳定性。
[0058]在关于非选定帧的第一版本直方图数据不用于重建第一版本21A的一些实施例中，方法40不计算关于非选定的第一版本帧的直方图数据，或者不对关于非选定的第一版本帧的直方图数据进行编码。在这样的实施例中，可以对非选定帧计算、编码和存储残差53，或者可以不对非选定帧计算、编码和存储残差53。
[0059]图4示出可在块64中应用的示例渐进直方图匹配方法70。可对每个颜色通道重复方法70。方法70包括对不同直方图尺度重复的循环71，循环71以较粗略的尺度开始，并且对逐渐精细的尺度重复。每个尺度可与直方图值被累积到其中的区间的数量相关联，其中，较粗略的尺度对应于较少的区间(平均来说，更多不同的值与每个区间相关联)，并且较精细的尺度对应于较多的区间(平均来说，较少不同的值与每个区间相关联)。
[0060]在这个示例实施例中，块72针对当前颜色通道对直方图数据43进行下采样。下采样的程度(下采样因子)取决于当前尺度。尺度可用尺度参数指示。直方图数据的下采样去除了高频细节，但保留了直方图的宏观特征。下采样可包括例如双三次内插。
[0061]块74将下采样的直方图数据上采样回原始大小或另一预定大小。块74是合宜的，但不是强制的。在对于循环71的每次迭代，以相同的分辨率表示直方图数据的情况下，可使处理逻辑有一些简化。
[0062]各种方法可用于对直方图数据进行上采样和下采样。例如，在示例实施例中，上采样包括最近邻方案。将最近邻方案应用于上采样具有非常简单并且生成可接受的结果的优点。
[0063]块76包括识别直方图中的特征。特征识别可包括例如找出直方图的一阶导数的过零点。可通过例如前向差分来获得一阶导数。可使用直方图的二阶导数来将过零点分类为极大值或极小值。
[0064]块78基于在块76中检测的特征来识别直方图的包含该直方图内的峰值的区域。每个区域可以例如包括从直方图的一个最小值延伸到直方图的下一个最小值的区间。在区域的任一端选择的最后的区间可被选择为避免相邻区域之间的重叠。
[0065]块80确定在块78中识别的每个区域的统计性质。块80可包括例如计算每个区域的均值和标准差。
[0066]块82产生关于第二版本21A的直方图83。块84产生关于直方图83的统计度量(例如，均值和标准差)。块86对直方图83进行改形，以使得直方图83的每个区域具有与直方图43的对应区域的均值和标准差匹配的均值和标准差。可根据以下方程来执行改形。
[0067]
【权利要求】
1.一种用于产生视频内容的附加版本的方法，所述方法包括: 获得所述视频内容的第一版本的第一直方图数据； 获得所述视频内容的第二版本； 获得所述视频内容的第二版本的第二直方图数据； 通过执行渐进直方图匹配算法的多次迭代来产生从所述视频内容的第二版本到所述视频内容的附加版本的映射，迭代次数少于渐进直方图匹配算法的最大迭代次数；以及应用所述映射以从所述视频内容的第二版本产生所述视频内容的所述附加版本。
2.根据权利要求1所述的方法，包括:产生与渐进直方图匹配算法的多个不同迭代次数对应的映射，以及应用所述映射以从所述视频内容的第二版本产生所述视频内容的对应的多个附加版本。
3.根据权利要求2所述的方法，包括基于来自周围光传感器的信号选择所述视频内容的附加版本之一来进行显示。
4.根据权利要求1所述的方法，包括基于来自周围光传感器的信号确定迭代次数。
5.根据权利要求1所述的方法，其中，所述第一直方图数据和所述第二直方图数据均包括与对应的视频内容的不同颜色通道对应的多个直方图。
6.根据权利要求5所述的方法，其中，产生从所述视频内容的第二版本到所述视频内容的附加版本的映射包括:针对与第一颜色通道对应的直方图数据，执行渐进直方图匹配算法的第一次数的迭代， 以及针对与第二颜色通道对应的直方图数据，执行渐进直方图匹配算法的第二次数的迭代，第二迭代次数不同于第一迭代次数。
7.根据权利要求6所述的方法，其中，所述第一颜色通道和所述第二颜色通道是基本去相关的。
8.根据权利要求6所述的方法，其中，所述第一颜色通道包括亮度通道，所述第二颜色通道包括色度通道。
9.一种用于产生视频内容的附加版本的系统，所述方法包括: 用于获得所述视频内容的第一版本的第一直方图数据的装置； 获得所述视频内容的第二版本； 用于获得所述视频内容的第二版本的第二直方图数据的装置； 用于通过执行渐进直方图匹配算法的多次迭代来产生从所述视频内容的第二版本到所述视频内容的附加版本的映射的装置，迭代次数少于渐进直方图匹配算法的最大迭代次数；以及 用于应用所述映射以从所述视频内容的第二版本产生所述视频内容的所述附加版本的装置。
10.一种非暂时性计算机可读存储介质，包括编码并存储于其中的指令，所述指令在处理器上执行时导致、控制、编程或配置所述处理器以执行或控制用于产生视频内容的附加版本的过程，视频产生过程包括: 获得所述视频内容的第一版本的第一直方图数据； 获得所述视频内容的第二版本； 获得所述视频内容的第二版本的第二直方图数据； 通过执行渐进直方图匹配算法的多次迭代来产生从所述视频内容的第二版本到所述视频内容的附加版本的映射，迭代次数少于渐进直方图匹配算法的最大迭代次数；以及应用所述映射以从所述视频内容的第二版本产生所述视频内容的所述附加版本。
11.一种设备，包括: 处理器；以及 非暂时性计算机可读存储介质，包括编码并存储于其中的指令，所述指令在处理器上执行时导致、控制、编程或配置所述处理器以执行或控制用于产生视频内容的附加版本的过程，视频产生过程包括: 获得所述视频内容的第一版本的第一直方图数据； 获得所述视频内容的第二版本； 获得所述视频内容的第二版本的第二直方图数据； 通过执行渐进直方图匹配算法的多次迭代来产生从所述视频内容的第二版本到所述视频内容的附加版本的映射，迭代次数少于渐进直方图匹配算法的最大迭代次数；以及应用所述映射以从所述视频内容的第二版本产生所述视频内容的所述附加版本。
12.—种计算机系统在产生视频内容的附加版本中的用途，视频产生过程包括: 获得所述视频内容的第一版本的第一直方图数据； 获得所述视频内容的第二版本； 获得所述视频内容的第二版本的第二直方图数据； 通过执行渐进直方图匹配算法的多次迭代来产生从所述视频内容的第二版本到所述视频内容的附加版本的映射，迭代次数少于渐进直方图匹配算法的最大迭代次数；以及应用所述映射以从所述视频内容的第二版本产生所述视频内容的所述附加版本。
【文档编号】G06T5/00GK103460243SQ201280013668
【公开日】2013年12月18日 申请日期:2012年3月16日 优先权日:2011年3月17日
【发明者】A·巴勒斯泰德, G·丹贝格 申请人:杜比实验室特许公司