用于合成叠加图形的外观映射的系统和方法
【专利说明】用于合成叠加图形的外观映射的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2013年2月21日提交的美国临时专利申请第61/767，553号的优先权，其整体通过引用合并到本文中。本申请还涉及于2013年2月21日提交的美国临时专利申请第61/767，522号，其整体通过引用合并到本文中。
技术领域
[0003]本发明涉及图像处理，尤其涉及用于将图形和合成图像映射到图像/视频数据上的方法和系统。
【背景技术】
[0004]动态范围(DR)涉及图像中强度(例如亮度(luminance、luma))的跨度。真实世界场景中的DR通常较大。用于捕获、表示和展示图像信号和视频信号的不同图像和视频应用可以具有不同DR。例如，照相底片可能具有相对大的动态范围，而照片、一些目前现有的(例如常规的)电视(TV)机和计算机显示器可能具有较小的DR。
[0005]DR还涉及感知图像中的例如从最暗的暗色到最亮的亮色的强度(例如，亮度)范围的人类心理视觉系统(HVS)的能力。从这个意义上讲，DR涉及“所涉及的场景的”强度。DR也可以涉及充分地或近似地呈现特定宽度的强度范围的显示设备的能力。在这个意义上讲，DR涉及“所涉及的显示的”强度。从另一意义上讲，DR也可以指“所涉及的信号的”强度，该强度可以在一定程度上是理论强度。例如，VDR信号可以向上变化达到10000尼特(nits)，并且HDR信号可以变化到甚至更高。多数情况下，不存在针对该范围的分级显示。除非在本文的说明书中的任意一点处明确地说明了特定意义具有特定意义，否则应当推知该术语可以以任何意义，例如可互换地使用。
[0006]常规电视机和电脑显示器的呈现经常被限制在约三个数量级的动态范围，其代表低动态范围(LDR)，该约三个数量级的动态范围也被称为标准动态范围(SDR)。与LDR图像相反，高动态范围(HDR)图像基本上包含原始场景中的所有的动态范围。HDR能够跨某个14至15个数量级的动态范围。能够用任何位深来表示HDR图像，但是通常使用10至16比特或更多来减小过大的步长。
[0007]对于诸如分配的压缩的许多应用，HDR图像的编码可能是不必要的并且实际上可能是有些计算昂贵的或带宽消耗的。另一方面，LDR图像可能也只是未满足需要。替代地，这些应用可以有利地使用、创建、存储、传输或呈现由视觉动态范围或可变动态范围VDR表征的图像。关于HDR截位的VDR图像基本上包括典型HVS能够同时感知(例如在任何给定时间视觉感知)的所有亮度和颜色。VDR跨约5至6个数量级的动态范围。因此，虽然VDR相对于HDR更窄，但VDR仍然表示宽DR宽度。虽然在HDR图像与VDR图像之间DR不同，本文中使用的术语EDR表征与LDR相比具有拓宽的动态范围的任何图像。
【发明内容】
[0008]本文公开了显示系统及其制造和使用的方法的若干实施例。
[0009]本文描述了用于将第二图像/视频数据叠加到第一图像/数据上的系统和方法。第一图像/视频数据可以要被呈现在具有例如HDR、EDR、VDR或超高清(UHD，例如4K或8K水平分辨率)能力的某些特性的显示器上。第二图像/视频数据可以包括图形、隐藏字幕、文本、广告，或者可以期望被叠加和/或合成到第一图像/视频数据上的任何数据。可以根据第一图像/视频数据的图像统计和/或特性来外观映射第二图像/视频数据。另外，可以根据要呈现的合成数据的显示器的特性来进行这种外观映射。期望这种外观映射呈现对观看者来说视觉上令人愉悦的合成数据，合成数据呈现在期望显示器上。
[0010]在一个实施例中，公开了一种用于将第二图像数据叠加到第一图像数据上的方法，该方法包括:接收第一图像和第二图像，第一图像在动态范围和尺寸方面与第二图像不同；接收关于第一图像的第一元数据；接收关于第二图像的第二元数据；根据第一元数据和第二元数据执行第二图像的外观映射以确定经调整的第二图像，所述经调整的第二图像在动态范围方面与第二图像不同；以及形成将经调整的第二图像叠加到第一图像的至少一部分上的合成图像。
[0011]在另一实施例中，公开了一种用于将第二图像数据合成到第一图像数据上的系统，该系统包括:显示管理模块，该显示管理模块能够接收第一图像；合成器模块，所述合成器模块能够接收第二图像，其中，所述合成器模块还能够接收关于第一图像的元数据，并且能够根据关于第一图像的所述元数据执行外观映射第二图像，以形成外观映射的第二图像；以及混合模块，所述混合模块能够将外观映射的第二图像混合到第一图像上以形成合成图像，该合成图像要被呈现在显示器上。
[0012]在另一实施例中，公开了用于动态广告的系统和方法，其中，由具有第二叠加图像/数据的第一图像/视频数据形成的现有合成图像可以被映射和/或转换成另一合成图像，其中，第二叠加图像/数据的全部或一部分可以被第三叠加图像/视频数据替换。
[0013]当结合本申请中展示的附图阅读时，下面将在【具体实施方式】中展示本系统的其它特征和优点。
【附图说明】
[0014]在附图所涉及的图中图示了示例性实施例。本文公开的实施例和图意在是说明性的，而不是限制性的。
[0015]图1示出本申请的一个实施例可以在其中操作的一个示例性环境。
[0016]图2A和图2B分别示出先是没有外观映射然后应用了外观映射的包括EDR/VDR图像数据和图形与隐藏字幕的叠加的呈现图像的两个示例。
[0017]图3示出分别为图像、场景和电影的三个可能的处理情境的图像/视频处理。
[0018]图4和图5是可以影响有EDR/VDR能力的显示器上的视觉上令人愉悦的合成图像/视频信号的本系统的两个实施例。
[0019]图6是可以影响传统显示器上的视觉上令人愉悦的合成图像/视频信号的本系统的一个实施例。
[0020]图7描绘用于将叠加/合成图像/视频数据外观映射到第一图像/视频数据上以随后呈现在显示器上的模块/例程的一个示例性实施例。
[0021]图8描绘关于动态范围、最小壳度、反射白点和绝对最大值的外观映射的一个不例性实施例。
[0022]图9A、图9B、图9C和图9D描绘关于色域的外观映射的一个示例性实施例。
[0023]图10A、图1OB和体1C描绘执行动态内容替换的一个示例性实施例。
[0024]图11是动态内容替换的另一实施例。
【具体实施方式】
[0025]在整个以下描述中，阐述具体细节以向本领域的技术人员提供更全面的理解。然而，为了避免不必要地模糊本公开内容，可能没有示出或详细描述公知的要素。相应地，以下描述和附图被看做有说明性意义，而不是限制性意义。
[0026]引言
[0027]在使用当前的传统消费者电视的典型视觉体验中，几乎不存在对使用诸如Rec.709和DCI规格的标准的传入视频流的外观和映射的控制。对于可能期望被整合在第一视频流上，被混合并且随后被呈现以供个人观看的图形或视频叠加来说尤其如此。在本系统的一个实施例中，可能期望提供通过以下方式提供合适的图像处理和/或将这些第一图像/视频数据流上的这些叠加混合:为合成图像和/或视频的观看者提供外观匹配和/或改善的视觉体验。
[0028]图1图示根据本申请制造的系统(104)的一个实施例的环境(100)。在该环境
(100)中，本系统104可以接收要被呈现在显示器114上的第一数据和/或元数据102(例如，VDR、EDR、HDR或一些其它图像和/或视频数据/元数据)。另外，可能存在另一外部数据/内容流106(例如，来自可能的多个源一一因特网、IP、其它数据源等)。该其它数据/内容流可以表示要被合成或者以其它方式与第一数据流混合的图形、图像和/或视频。应当理解的是，流102和流106也可以从相同源并且以相同方式来到系统104。
[0029]数据流102可以被输入到适合在显示器114上呈现的用于图像处理的显示管理(DM)模块108中。合成器110可以是输入合成数据流(106)以及来自DM 108的数据和/或元数据的另一图像处理/视频处理模块。合成器110可以将合成数据流格式化为GU1、隐藏字幕(CC)、画中画(PIP)或者针对要与第一数据流混合和/或合成的合成数据的任何其它可能的格式。元数据也可以包括关于其上可以呈现合成图像的显示器的呈现特性的元数据。这些元数据可以包括平均/最小/均值/最大亮度、反射白色、白点、色域和任何其它已知图像呈现特性和/或说明。
[0030]观看者可以例如经由远程控制、膝上型计算机、平板计算机、智能电话或另一合适的控制器(116)来具有至合成器110的可选控制输入，以输入针对这种合成呈现的观看者期望或要求。
[0031]合成图像/视频数据和第一视频流(在已经由DM 108应用了任何处理之后)可以被输入到混合模块112中。混合模块112可以例如使用本文所描述的和已知的任何先进图像/视频处理算法来将合成图像/视频数据合适地叠加到第一数据流上，以提供令人愉快的观看体验。如本文进一步所描述的，可以通过将合成图像/视频数据外观匹配第一图像数据的特性和/或在要在其上呈现最终合成图像/视频的显示器(114)的特性来加强这种令人愉快的观看体验。
[0032]应当理解的是，虽然DM、合成器和混合模块可以存在于显示器本身中(作为功能模块)，但是有可能DM、合成器和混合模块可以物理地存在于其它地方并且可以彼此远离。例如，可以将这些模块中的一个或更多个放置在机顶盒中，并且使该机顶盒与显示器通信(例如通过任何已知有线或无线配置)。在另一实施例中，DM、合成器和/或混合器可以位于显示器所在的物理空间之外。在其它实施例中，可以将这些模块中的任何一个或全部三个的功能置于单个模块中。例如，DM模块可以被构造成包括典型DM的功能以及合成器和混合器的功能。
[0033]在一个实施例中，可能期望具有用于图像处理中已知的各种统计的计算的图像统计计算模块(如也在本文中进一步描述的)。本系统可以进一步使用(例如第一图像/视频数据、第二叠加图像/视频数据等的)这种统计，以帮助将第二叠加图像/视频数据外观映射到第