用于图像数据变换的方法和装置的制造方法
【专利说明】
[00011 本申请是申请号为201280013129.5、申请日为2012年3月15日、发明名称为"用于 图像数据变换的方法和装置"的发明专利申请的分案申请。
[0002] 相关申请的交叉引用
[0003] 本申请要求于2011年3月15日提交的美国临时专利申请61/453,107和于2011年12 月7日提交的美国临时专利申请No. 61/567，784的优先权，出于所有目的这两篇专利申请的 全部内容通过引用并入本文。
[0004] 本申请还涉及通过引用并入本文的、于2012年3月1日提交的国际专利申请 NO.PCT/US2012/027267。
技术领域
[0005] 本发明涉及显示和处理图像。本发明具体地涉及包含色调和/或色域映射的方法 和装置。如本文所描述的方法和装置可用于在目标显示器上提供优质的图像，同时保留创 作意图。本发明可以体现在例如电子显示器(诸如电视、计算机监视器、媒体播放器、能够视 频的便携式电话和其它便携式设备）、专用显示器(诸如虚拟现实显示器、广告显示器等）、 以及上游图像处理设备(诸如机顶盒、接入点等）中。
【背景技术】
[0006] 本发明的总的领域中的专利公布包括以下专利公布：
[0007] US20010050757；
[0008] US20020075136；
[0009] US20020080245；
[0010] US20070127093；
[0011] US20080094515；
[0012] US20080170031；
[0013] US20080186707；
[0014] US20090201309；
[0015] US20090267876；
[0016] US20100007599；
[0017] US201000118008；
[0018] US7158673；
[0019] US6989859；
[0020] US5276779;和
[0021] JP2002092655。
[0022] 视频作品或其它图像的创作者（例如，导演、色彩师等)可设置图像中的像素的色 调和颜色，以使得该图像在被观看时具有与创作者的创作意图一致的期望外观。例如，创作 者可能希望某些场景具有比其它场景更暗、更压抑的感觉。创作者可能希望场景中所描绘 的某些特征突出或不那么显眼。调整图像中的像素的色调和颜色可包括对源视频数据执行 颜色分级(或"颜色调解(color timing)"）。可使用允许用户以各种方式改变视频数据的硬 件/软件系统来执行颜色分级以实现期望外观。
[0023]现在可使用各种显示技术。例如，存在等离子体显示器、被各种类型的光源(诸如 各种类型的LED、荧光灯或高强度白炽灯)从背面照射的LCD显示器、基于CRT的显示器、数字 影院显示器等。特定显示器将显示器硬件与视频信号处理组件相组合，该视频信号处理组 件接收视频信号并驱动显示器硬件以显示视频信号的视频内容。
[0024]就诸如以下的特征而言，不同显示器可有很大的差别：
[0025] 显示器可再现的色域；
[0026] 可实现的最大亮度；
[0027] 对比率；
[0028] 分辨率；
[0029]可接受的输入信号格式；
[0030]颜色深度；
[0031] 白电平（white level);
[0032] 黑电平（black level);
[0033] 白点；
[0034] 灰阶；
[0035] 等。
[0036]因此，相同的图像内容在不同显示器上重放时可能显得不同。当在某些显示器上 显示时与创作者的创作意图匹配的图像内容在其它显示器上被观看时可能以一种或多种 方式背离创作者的创作意图。
[0037]当前的一些显示器可能在一个或多个方面在某一内容被创作时胜过现有技术的 显示器。例如，与旧式显示器相比，新型显示器可以能够提供具有更明亮的高光、更大的对 比度和/或更广的色域的图像。可能可取的是在不显著地背离正被观看的内容中所体现的 创作意图的情况下利用这些改进的能力。
[0038] 可能希望在老式显示器或具有较低能力的显示器上播放利用高性能显示器而被 创作的视频内容。将希望的是提供用于改动在不同显示器上显示的视频和其它图像的外观 以尽可能地保留图像数据中所体现的创作意图的方法和装置。
[0039] 颜色和亮度的感知可受到周围状况的影响。观看者对于在影院状况(低周围照明） 下呈现的视频或其它图像的感知明显不同于相同的视频或其它图像在显著的周围光的状 况下被观看时的感知。此外，周围光的特性(诸如颜色温度)可影响观看者对视频内容的感 知。将可取的是考虑内容的观看环境以尽可能地保留视频或其它图像中所体现的创作意图 来显示这些视频或其它图像。
[0040] 存在对于为图像(包括静态图像和/或视频图像)的观看者提供利用他们在其上观 看这些图像的显示器的能力的观看体验的需要。还存在对于可用于调整图像数据以使得该 图像数据中所编码的视频或其它图像内容在被播放时具有期望外观的装置和方法的需要。
【发明内容】
[0041] 本发明具有多个方面。这些方面包括，但不限于，包含色域变换功能的装置；用于 色域变换的方法、用于改动图像内容的显示以考虑周围照明状况的方法;包括当被数据处 理器执行时使该数据处理器执行根据本发明的方法的计算机可读代码的程序产品。
[0042] -个非限制方面提供了包括像素坐标映射单元的装置，该像素坐标映射单元被配 置为根据传递函数对图像数据进行变换。传递函数由多个锚点(anchor point)和自由参数 表征。传递函数具有由该自由参数控制的中间范围斜率。锚点处的变换不受自由参数的影 响。这样的装置对于例如对颜色分级的内容进行变换以用于显示在特定目标显示器上可以 是有用的。
[0043] 在一些实施例中，该装置包括或者从周围光传感器接收信号，被连接以从周围光 传感器接收周围照明信号的电路被配置为至少部分地基于周围照明信号来控制锚点之一 的坐标和自由参数中的一个或多个。
[0044] 在一些实施例中，图像数据包括图像中的像素的像素值集合。像素值集合包括多 个原色中的每一个的颜色值(例如，与红色、绿色和蓝色原色对应的值）。该装置包括多个像 素坐标映射单元，每个像素坐标映射单元被连接以对这些颜色值中的对应一个颜色值进行 变换。用于不同坐标映射单元中的传递函数的参数可以是相同的或不同的。通过适当地选 择的不同参数，变换可执行颜色校正以及色域转化。
[0045]本发明的另一方面包括用于映射图像数据以用于显示在目标显示器上的方法。这 些方法包括根据传递函数将图像数据的像素值变换为对应的经变换的像素值。传递函数由 多个锚点和自由参数表征。传递函数具有由自由参数控制的中间范围斜率。与锚点对应的 像素值的变换不受自由参数的影响。在一些实施例中，自动地改变自由参数和中间范围锚 点的位置中的一个或多个以将周围照明和/或观看者的视觉系统的适配考虑在内。
[0046] 另一方面包括用于通过将全局色调映射变换与局部多尺度色调映射操作相组合 来映射图像数据以用于显示在目标显示器上的方法。
[0047] 另一方面提供颜色操控装置。该装置可包括用于修改例如静态图像或视频图像的 工作站。该装置可用于修改图像数据中的颜色值。该颜色操控装置包括用于源图像数据的 第一存储器或输入以及用于修改后的图像数据的第二存储器或输出。像素坐标映射单元被 连接以访问第一存储器或输入，并且被配置为根据由多个锚点和自由参数表征的传递函数 对源图像数据进行变换。传递函数具有由自由参数控制的中间范围斜率，其中，锚点处的变 换不受自由参数的影响，得到修改后的图像数据并且将修改后的图像数据提供给第二存储 器或输出。用户输入被配置为从用户接受自由参数的值。显示器被连接以显示修改后的图 像数据。用户可调整自由参数的值以获得显示器上所显示的图像的期望外观。
[0048] 以下描述本发明的另外的方面和本发明的特定实施例的特征。
【附图说明】
[0049]附图示出了本发明的非限制实施例。
[0050] 图1是视频分布流水线的示意性描绘。
[0051] 图2显示根据本发明的示例实施例的装置。
[0052] 图3示出示例传递函数。
[0053]图4是示出使用关于目标显示器的信息和输入的图像数据来确定定义传递函数的 参数的适当值的方法的流程图。
[0054] 图5是示出根据示例实施例的用于对图像数据进行处理的方法的流程图。
[0055] 图6描绘了根据示例实施例的将全局色调映射算子与局部多尺度色调映射算子相 组合的方法的流程图。
【具体实施方式】
[0056] 在以下整个描述中，为了提供对本发明的更透彻的理解，对具体细节进行了阐述。 然而，