用于图像数据变换的方法和装置制造方法

用于图像数据变换的方法和装置制造方法
【专利摘要】本发明公开了用于图像数据变换的方法和装置。对图像数据进行变换以用于显示在目标显示器上。S形传递函数提供控制最小色调对比度的自由参数。可动态地调整该传递函数以适应变化的周围照明状况。可选择变换以便自动地以基本上保留图像数据中所体现的创作意图的方式改动图像数据以用于显示在目标显示器上。图像数据可以是视频数据。
【专利说明】用于图像数据变换的方法和装置
[0001]本申请是申请号为201280013129.5、申请日为2012年3月15日、发明名称为“用于图像数据变换的方法和装置”的发明专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求于2011年3月15日提交的美国临时专利申请61/453，107和于2011年12月7日提交的美国临时专利申请N0.61/567，784的优先权，出于所有目的这两篇专利申请的全部内容通过弓I用并入本文。
[0004]本申请还涉及通过引用并入本文的、于2012年3月I日提交的国际专利申请N0.PCT/US2012/027267 ο
【技术领域】
[0005]本发明涉及显示和处理图像。本发明具体地涉及包含色调和/或色域映射的方法和装置。如本文所描述的方法和装置可用于在目标显示器上提供优质的图像，同时保留创作意图。本发明可以体现在例如电子显示器(诸如电视、计算机监视器、媒体播放器、能够视频的便携式电话和其它便携式设备)、专用显示器(诸如虚拟现实显示器、广告显示器等)、以及上游图像处理设备(诸如机顶盒、接入点等)中。
【背景技术】
[0006]本发明的总的领域中的专利公布包括以下专利公布:
[0007]US20010050757;
[0008]US20020075136;
[0009]US20020080245;
[0010]US20070127093;
[0011]US20080094515;
[0012]US20080170031;
[0013]US20080186707;
[0014]US20090201309;
[0015]US20090267876;
[0016]US20100007599;
[0017]US201000118008;
[0018]US7158673;
[0019]US6989859 ；
[0020]US5276779 ;和
[0021]JP2002092655。
[0022]视频作品或其它图像的创作者(例如，导演、色彩师等)可设置图像中的像素的色调和颜色，以使得该图像在被观看时具有与创作者的创作意图一致的期望外观。例如，创作者可能希望某些场景具有比其它场景更暗、更压抑的感觉。创作者可能希望场景中所描绘的某些特征突出或不那么显眼。调整图像中的像素的色调和颜色可包括对源视频数据执行颜色分级(或“颜色调解(color timing)”)。可使用允许用户以各种方式改变视频数据的硬件/软件系统来执行颜色分级以实现期望外观。
[0023]现在可使用各种显示技术。例如，存在等离子体显示器、被各种类型的光源(诸如各种类型的LED、荧光灯或高强度白炽灯)从背面照射的LCD显示器、基于CRT的显示器、数字影院显示器等。特定显示器将显示器硬件与视频信号处理组件相组合，该视频信号处理组件接收视频信号并驱动显示器硬件以显示视频信号的视频内容。
[0024]就诸如以下的特征而言，不同显示器可有很大的差别:
[0025]显示器可再现的色域；
[0026]可实现的最大亮度；
[0027]对比率；
[0028]分辨率；
[0029]可接受的输入信号格式；
[0030]颜色深度；
[0031]白电平(whitelevel)；
[0032]黑电平(blacklevel)；
[0033]白点；
[0034]灰阶；
[0035]等。
[0036]因此，相同的图像内容在不同显示器上重放时可能显得不同。当在某些显示器上显示时与创作者的创作意图匹配的图像内容在其它显示器上被观看时可能以一种或多种方式背离创作者的创作意图。
[0037]当前的一些显示器可能在一个或多个方面在某一内容被创作时胜过现有技术的显示器。例如，与旧式显示器相比，新型显示器可以能够提供具有更明亮的高光、更大的对比度和/或更广的色域的图像。可能可取的是在不显著地背离正被观看的内容中所体现的创作意图的情况下利用这些改进的能力。
[0038]可能希望在老式显示器或具有较低能力的显示器上播放利用高性能显示器而被创作的视频内容。将希望的是提供用于改动在不同显示器上显示的视频和其它图像的外观以尽可能地保留图像数据中所体现的创作意图的方法和装置。
[0039]颜色和亮度的感知可受到周围状况的影响。观看者对于在影院状况(低周围照明)下呈现的视频或其它图像的感知明显不同于相同的视频或其它图像在显著的周围光的状况下被观看时的感知。此外，周围光的特性(诸如颜色温度)可影响观看者对视频内容的感知。将可取的是考虑内容的观看环境以尽可能地保留视频或其它图像中所体现的创作意图来显示这些视频或其它图像。
[0040]存在对于为图像(包括静态图像和/或视频图像)的观看者提供利用他们在其上观看这些图像的显示器的能力的观看体验的需要。还存在对于可用于调整图像数据以使得该图像数据中所编码的视频或其它图像内容在被播放时具有期望外观的装置和方法的需要。

【发明内容】
[0041]本发明具有多个方面。这些方面包括，但不限于，包含色域变换功能的装置；用于色域变换的方法、用于改动图像内容的显示以考虑周围照明状况的方法；包括当被数据处理器执行时使该数据处理器执行根据本发明的方法的计算机可读代码的程序产品。
[0042]一个非限制方面提供了包括像素坐标映射单元的装置，该像素坐标映射单元被配置为根据传递函数对图像数据进行变换。传递函数由多个锚点(anchor point)和自由参数表征。传递函数具有由该自由参数控制的中间范围斜率。锚点处的变换不受自由参数的影响。这样的装置对于例如对颜色分级的内容进行变换以用于显示在特定目标显示器上可以是有用的。
[0043]在一些实施例中，该装置包括或者从周围光传感器接收信号，被连接以从周围光传感器接收周围照明信号的电路被配置为至少部分地基于周围照明信号来控制锚点之一的坐标和自由参数中的一个或多个。
[0044]在一些实施例中，图像数据包括图像中的像素的像素值集合。像素值集合包括多个原色中的每一个的颜色值(例如，与红色、绿色和蓝色原色对应的值)。该装置包括多个像素坐标映射单元，每个像素坐标映射单元被连接以对这些颜色值中的对应一个颜色值进行变换。用于不同坐标映射单元中的传递函数的参数可以是相同的或不同的。通过适当地选择的不同参数，变换可执行颜色校正以及色域转化。
[0045]本发明的另一方面包括用于映射图像数据以用于显示在目标显示器上的方法。这些方法包括根据传递函数将图像数据的像素值变换为对应的经变换的像素值。传递函数由多个锚点和自由参数表征。传递函数具有由自由参数控制的中间范围斜率。与锚点对应的像素值的变换不受自由参数的影响。在一些实施例中，自动地改变自由参数和中间范围锚点的位置中的一个或多个以将周围照明和/或观看者的视觉系统的适配考虑在内。
[0046]另一方面包括用于通过将全局色调映射变换与局部多尺度色调映射操作相组合来映射图像数据以用于显示在目标显示器上的方法。
[0047]另一方面提供颜色操控装置。该装置可包括用于修改例如静态图像或视频图像的工作站。该装置可用于修改图像数据中的颜色值。该颜色操控装置包括用于源图像数据的第一存储器或输入以及用于修改后的图像数据的第二存储器或输出。像素坐标映射单元被连接以访问第一存储器或输入，并且被配置为根据由多个锚点和自由参数表征的传递函数对源图像数据进行变换。传递函数具有由自由参数控制的中间范围斜率，其中，锚点处的变换不受自由参数的影响，得到修改后的图像数据并且将修改后的图像数据提供给第二存储器或输出。用户输入被配置为从用户接受自由参数的值。显示器被连接以显示修改后的图像数据。用户可调整自由参数的值以获得显示器上所显示的图像的期望外观。
[0048]以下描述本发明的另外的方面和本发明的特定实施例的特征。
【专利附图】

【附图说明】
[0049]附图示出了本发明的非限制实施例。
[0050]图1是视频分布流水线的示意性描绘。
[0051]图2显示根据本发明的示例实施例的装置。
[0052]图3示出示例传递函数。
[0053]图4是示出使用关于目标显示器的信息和输入的图像数据来确定定义传递函数的参数的适当值的方法的流程图。
[0054]图5是示出根据示例实施例的用于对图像数据进行处理的方法的流程图。
[0055]图6描绘了根据示例实施例的将全局色调映射算子与局部多尺度色调映射算子相组合的方法的流程图。
【具体实施方式】
[0056]在以下整个描述中，为了提供对本发明的更透彻的理解，对具体细节进行了阐述。然而，可以在没有这些细节的情况下实施本发明。在其它情况下，没有详细地示出或描述公知元件，以避免不必要地模糊本发明。因此，要从说明性、而非限制性的意义上来看待本说明书和附图。
[0057]图1示意性地示出视频分布流水线20。在编辑套件23处获取并编辑原始视频数据22，以提供原始视频作品24。色彩师(例如，通过合适的用户界面使用颜色调解站所提供的工具的人)在颜色调解站26处对原始视频作品中的色调和/或颜色进行调整，以实现经过颜色调解的视频作品27。颜色调解站26包括色彩师在其上观看视频作品的专业监视器30。通过使用颜色调解站26提供的工具和控制器，色彩师调整构成视频作品的图像的全部图像或一部分图像的色调和/或颜色，以实现当在显示器30上被观看时与色彩师的艺术意图匹配的总体外观。
[0058]如果经过颜色调解的视频作品27的所有观看者都在与显示器30相同的显示器上、在与色彩师所体验的那些周围状况相同的周围状况下观看视频作品，则除了人类对图像的感知的个体差异之外，这些观看者都将看到与色彩师的意图完全相同的视频作品(即，以忠实于色彩师的艺术意图的方式)。考虑到在使用中的显示器的范围非常广泛，期望观看者全都将具有相同的显示器或者甚至期望不同观看者将在其上观看视频作品的显示器将具有类似的特性(诸如最大明亮度、黑电平和色域)是不现实的。
[0059]本发明的一个方面提供了可自动地用于以接近地复制色彩师的观看体验的方式映射来自图像数据(诸如，举例来说，经过颜色调解的视频作品27)的色调和/或颜色以用于显示在特定目标显示器上的映射方法和装置。
[0060]在一些实施例中，这些映射方法和装置对于以下中的一个或多个进行直接控制:
[0061]-平均图像明亮度(改动点);
[0062]-中间色调局部对比度；
[0063]-颜色饱和度；
[0064]-显示输入黑色的级别；和
[0065]-显示输入白色的级别。
[0066]这些参数影响观看体验。
[0067]图2示出根据本发明的示例实施例的装置40。在这个例子中，装置40具有输入42，输入42用于接收将显示在目标显示器41的屏幕44上以供观看者V观看的视频数据43。视频数据43可包括经过颜色调解的体现创作者意图的视频数据。装置40包括将视频数据43的像素值转化到目标显示器本地(native)的颜色空间中的颜色空间转化器46。在所示的示例实施例中，目标显示器41的本地颜色空间是RGB颜色空间，RGB颜色空间依照目标显示器31的原色的强度指定颜色。[0068]颜色空间转化器46可包括例如将视频数据43中的像素值的矢量43乘以3X 3矩阵以得到显示器41的本地颜色空间值(例如，RGB值)的矢量的矩阵乘法器。可考虑目标显示器41的原色和白点来指定传递矩阵。在一些实施例中，颜色空间转化器46可被配置为在不对峰值亮度进行缩放的情况下应用颜色空间变换矩阵。如以下所解释的，这可使随后用于图像处理操作的参数的选择更加直观。
[0069]在以下例子中，视频数据43中的像素值被表示在XYZ颜色空间中，并且颜色空间转化器46执行从XYZ颜色空间到正RGB值的转化。本发明不限于在XYZ颜色空间中呈现的颜色数据。视频数据43可在任何合适的颜色空间中呈现。
[0070]对于色域外(例如，不能使用显示器所使用的原色的任何可用组合再现的颜色)的像素值的组合的转化，可导致负的RGB值。颜色空间转化器46所产生的任何负的RGB值可被箝位至低的非负值。在替代方案中，可在转化之前将色域外的像素值映射到色域内的像素值(例如，根据视频数据43的颜色空间内的映射)。这可以例如由单独的映射单元或颜色空间转化器46的组件来执行。
[0071]在被颜色空间转化器46处理之后，视频数据43包括分别与目标显示器41的红色、绿色和蓝色(RGB)原色对应的值48R、48G和48B。
[0072]值48R、48G和48B均被映射单元50独立地映射到新值。示出了映射单元50R、50G和50B。每个映射单元将从颜色空间转化器46接收的对应的输入值映射到变换值。在所示的实施例中，变换值分别用48R’、48G’和48B’指示。
[0073]每个映射单元50根据传递函数55将它的输入值映射到输出值。有利的是，传递函数(一个或多个)55可由自由参数和多个固定点表征，这些固定点可被称为“锚点”，该自由参数调整传递函数在中间范围区域中的斜率。这个斜率对应于中间范围对比度。自由参数的调整提供了用于控制中间范围对比度的手段。传递函数在中间范围区域中可以是线性的或接近线性。
[0074]图3示出了示例传递函数。在图3中，在水平轴上指示输入值，在垂直轴上指示输出值。每个轴具有对数刻度。传递函数55由输出值的最大值56A、输出值的最小值56B和基本线性的中间色调区域56C表征。通过映射单元50A、50B和50C被应用于红色、蓝色和绿色通道信号的传递函数55R、55G和55B可以是相同的或不同的。映射单元50A、50B和50C可以是完全独立的，或者可共享硬件和/或软件组件。
[0075]在示例实施例中，传递函数55由下式给出:
[0076]
【权利要求】
1.一种用于改进图像的显示管理的方法，所述方法包括: 接收参考显示器的第一信息数据，所述第一信息数据包括参考显示器的黑点电平、白点电平和中间点电平； 访问目标显示器的第二信息数据，所述第二信息数据包括目标显示器的黑点电平、白点电平和中间点电平； 使用所述第一信息数据和所述第二信息数据确定用于将输入图像信号的像素值映射到输出图像信号的对应像素值的传递函数，其中所述传递函数包括三个锚点，其中第一锚点是使用所述参考显示器和所述目标显示器的黑点电平确定的，第二锚点是使用所述参考显示器和所述目标显示器的白点电平确定的，并且第三锚点是使用所述参考显示器和所述目标显示器的中间点电平确定的；以及 使用确定的传递函数将输入图像信号映射到输出图像信号。
2.根据权利要求1所述的方法，其中，确定传递函数进一步包含应用自由参数，其中所述自由参数调整所述传递函数在所述第三锚点处的斜率。
3.根据权利要求1所述的方法，其中，所述第一信息数据作为所述输入图像信号的元数据的一部分被接收，其中，所述元数据由图像编码器发送至解码器。
4.根据权利要求1所述的方法，其中，所述第一锚点具有分别等于参考显示器和目标显示器的黑点电平的水平和垂直坐标，所述第二锚点具有分别等于参考显示器和目标显示器的白点电平的水平和垂直坐标，并且所述第三锚点具有分别等于参考显示器和目标显示器的中间点电平的水平和垂直坐标。
5.根据权利要求1所述的方法，其中，所述传递函数包括根据下式的变换:
6.根据权利要求1所述的方法，其中输入图像的像素值包括两个或更多个颜色分量的颜色值，并且所述传递函数是对于所述两个或更多个颜色分量中的每一个确定的。
7.一种用于改进图像的显示管理的方法，所述方法包括: 接收参考显示器信息，所述参考显示器信息以参考显示器的三个亮度电平表征参考显示器的性能； 访问目标显示器信息，所述目标显示器信息以目标显示器的三个亮度电平表征目标显示器的性能； 使用所述参考显示器信息和所述目标显示器信息确定用于将在参考显示器上编码的输入图像信号的像素值映射到目标显示器的对应像素值的传递函数，其中所述传递函数包括三个锚点，所述三个锚点中的每一个由参考显示器的三个亮度电平中的至少一个和目标显示器的三个亮度电平中的至少一个确定；以及 使用确定的传递函数将输入图像信号映射到输出图像信号。
8.根据权利要求7所述的方法，其中，表征参考显示器或目标显示器的性能的三个亮度电平包括黑点电平值、白点电平值和中间点电平值。
9.根据权利要求8所述的方法，其中，第一锚点具有分别等于参考显示器和目标显示器的黑点电平的水平和垂直坐标，第二锚点具有分别等于参考显示器和目标显示器的白点电平的水平和垂直坐标，并且第三锚点具有分别等于参考显示器和目标显示器的中间点电平的水平和垂直坐标。
10.根据权利要求7所述的方法，其中，所述参考显示器信息作为所述输入图像信号的元数据的一部分被接收，其中，所述元数据由图像编码器发送至解码器。
11.根据权利要求7所述的方法，其中，所述传递函数包括根据下式的变换:

12.根据权利要求11所述的方法，其中，自由参数(η)根据所述传递函数在中间范围区域中的斜率被确定。
13.根据权利要求11所述的方法，其中，自由参数(η)根据所希望的中间范围对比度与所确定的锚点独立地被确定。
【文档编号】H04N9/67GK103763456SQ201410055211
【公开日】2014年4月30日 申请日期:2012年3月15日 优先权日:2011年3月15日
【发明者】A·巴勒斯泰德, A·科斯蒂恩, G·J·沃德 申请人:杜比实验室特许公司