生成关于图像/视频信号的方法、携带特定信息数据的比特流以及获得该特定信息的方法
【专利摘要】本公开一般涉及一种关于视频信号的比特流，其特征在于，其携带标识意图要在视频显示器上呈现视频信号之前应用于所述视频信号的电光传递函数的信息数据。本公开还涉及一种生成这样的比特流的方法以及获得意图要在视频显示器上呈现视频信号之前应用于所述视频信号的电光传递函数的方法。
【专利说明】
生成关于图像/视频信号的方法、携带特定信息数据的比特流 从及获得该特定信息的方法
技术领域
[0001 ]本公开一般设及视频信号中的伽玛校正。
【背景技术】
[0002] 本部分意图向读者介绍可能与下面所描述和/或所要求的本公开的各个方面有关 的本领域的各个方面。相信该讨论据有助于向读者提供背景信息，W便于更好地理解本发 明的各个方面。因此，应当理解到，运些陈述应当就就此而论地阅读，而非作为对现有技术 的承认。
[0003] 图1示出例示从视频信号的捕获到其在显示器上的呈现的完整的视频处理方案的 框图。
[0004] 一般而言，该处理方案包括：捕获装置CAPA，由其捕获视频信号VID ;显示装置 DISA，其包括被配置为计算和显示视频信号VID的呈现的模块RM;W及可选的发布部件DM， 其包括被配置为对视频信号VID进行编码/解码的编码/解码方案W及被配置为通过通信网 络将可能经编码的视频信号VID从捕获装置CAPA传送给显示装置DISA的传输部件。
[0005] 捕获装置CAPA包括:捕获部件CM，诸如相机，用W捕获输入视频信号IVID;W及模 块0ETFM，其将光电传递函数（Opto-Elechical Transfer F^mction,0ETF)应用于输入视 频信号I VID。
[0006] 光电传递函数(OETFK也滥用地称为"伽玛编码"）可W在捕获视频信号期间(模块 则通常嵌入在捕获部件CM中）或者在使得能够对物理线性光信号(相机的输入)进行编码的 内容制作期间应用于输入视频信号IVID。
[0007] 开发伽玛编码最初用W补偿阴极射线管(CRT)显示器的输入/输出特性。更准确地 说，因为电子枪的强度(亮度)为非线性的，所W阴极射线管(CRT) W非线性方式将视频信号 转换为光。根据下式，光强度I基本上与源电压Vs有关：
[000引 locVsY
[0009] 其中，丫通常属于范围[1.8;2.6]。
[0010] 为了补偿运种效应，于是将逆传递函数(0ETF，又称为伽玛编码或伽玛校正）应用 于输入视频信号IVID，使得端到端响应近乎是线性的。换言之，有意地使输入视频信号IVID 失真，使得在通过CRT显示器使其再次失真之后，观看者看见正确的亮度。
[0011] 0ETF的基本示例是：
[0012] VeKVsi/丫
[0013] 其中，Vc是校正电压，Vs是例如来自将光电荷线性地转换为电压的图像传感器的源 电压。在本文的CRT示例中，1/丫是1/2.2或0.45。
[0014] 针对CRT显示器，已经对多种0ETF进行了标准化(Recommendation ITU-R BT.709- 5,Parameter values for the HDTV*standards for production and international programme exchange ,2004年4月；W及Recommendation ITU-R BT.1361'Worldwide unified colorimetry and related characteristics of future television and imaging system,1998年2月）。
[0015] 需要伽玛编码，W对人类视觉的特性进行补偿，因此使得关于人类如何感知光和 色彩的比特或带宽的使用最大化。人类视觉在普通照射条件(既不是漆黑的，也不是另人眩 目地明亮的）下服从近似伽玛或幕函数或对数函数(在此，幕<1)。如果视频是未经伽玛编码 的，则它们将过多的比特或过多带宽分配给人类无法区分的高亮，而将过少的比特/带宽分 配给人类敏感的阴影值，并且将需要更多比特/带宽来保持相同的视觉质量。
[0016] 此外，在内容制作期间，通常与摄影导演协作的调色师对输入视频信号IVID应用 色彩评级处理。他也在具有特定电光传递函数化0TF)的主控显示器上显示所得的视频信 号。主控显示器又称为基准屏幕。
[0017] 0ETF通常是可逆的。因此，将单个标志发送给显示装置DISAW指示已经使用了何 种0ETF。显示装置DISA然后确定与由运样的单个标志所指定的0ETF相对应的E0TF。用于扁 平面板的E0TF的示例由 ITU推荐给出（Recommendation ITU-R BT. 1886，Reference electro-optical transfer function for flat panel displays used in HDTV studio production, 2011年3 月；或者 WD SMPTE 2084-20xx，Reference Electro-Optical Transfer Function for Displays Used in High Dynamic Range Studio Production， 版本1.04,2013年11月20日）。
[001引然而，无法一直从由所接收的标记所指定的0ETF直接地解释出对应的E0TF。例如， 当0ETF包括继之W0.45(1/2.2)的幕函数的很少的线性部分（由于非常低级别的传感器相 机噪声）时，情况便是如此。该0ETF接近于（但并非真实相同于）2.4幕函数的曲线近似。于 是，对应的E0TF为1/2.4的幕函数，并且不会精确地补偿很少的线性部分W及幕函数（# 2.2)。
[0019] 此外，呈现内容的消费者电子设备可能不具有与被用于在制作期间对内容进行评 级的主控显示器相同的E0TF。因此，可能不会保留艺术化意图。
[0020] 此外，E0TF还可W考虑例如针对特定使用情况(例如用于广播的暗淡光照环境或 者用于影院的暗光照环境)或针对显示器周围的特定光照条件(用户偏好、光照条件的自动 化检测、……）或任何其他用户偏好(诸如显示器的功耗的限制)所设计的特定周围光照条 件。
【发明内容】
[0021] 根据前述内容，本公开的各方面设及创建并且维持计算机系统上的数据对象之间 的语义关系。W下给出本公开的简化概述，W便提供对本公开的一些方面的基本理解。该概 述不是本公开的广泛的概览。其不打算标识本公开的关键或决定性要素。W下概述仅W简 化的方式呈现本公开的一些方面，作为下文所提供的更详细的描述的前序。
[0022] 本公开着手于通过在视频显示器上呈现视频信号之前用信号通知（signaling)意 图应用于视频信号的E0TF来补救现有技术的一些缺点。
[0023] 然后，显示装置知道调色师在视频信号的内容制作期间所使用的主控显示器的真 实E0TF，从而保留调色师的意图W及节目的表现/呈现一致性。
[0024] 此外，用信号通知被传送给远程显示装置的比特流中的真实E0TF避免在呈现视频 信号中导致伪像的EOTF的曲线近似。
[0025] 另外的优点是，对于视频信号的内容制作，可W使用不可逆的0ETF。
[0026] 本公开设及一种关于视频信号的比特流，其特征在于，所述比特流携带标识意图 要在视频显示器上呈现视频信号之前应用于所述视频信号的电光传递函数的信息数据。
[0027] 根据实施例，所述比特流还包括表示关于所标识的电光传递函数的至少一个参数 的信息数据。
[0028] 根据实施例，电光传递函数响应对于主控显示器的每个色度通道是有差异的，并 且所述比特流还包括用W补偿运些差异的一些参数。
[0029] 本公开还设及一种用于生成关于视频信号的比特流的方法，其特征在于，其包括：
[0030] -添加标识意图要在视频显示器上呈现所述视频信号之前应用于所述视频信号的 电光传递函数的信息数据。
[0031] 本公开还设及一种用于获得意图要在视频显示器上呈现视频信号之前应用于所 述视频信号的电光传递函数的方法，其特征在于，其包括：
[0032] -从关于所述视频信号的比特流获得标识所述电光传递函数的信息数据。
[0033] 本公开还设及一种计算机程序产品、一种处理器可读介质W及一种非临时性存储 介质。
[0034] 根据下面结合附图进行的对实施例的描述，本公开的特定性质W及本公开的其他 目的、优点、特征和使用将变得显而易见。
【附图说明】
[0035] 在附图中示出本发明的实施例。附图示出：
[0036] 图1示出例示从视频信号的捕获到其在显示器上的呈现的完整的视频处理方案的 框图；
[0037] 图2示出根据本公开实施例的生成比特流F的方法的步骤的框图；
[0038] 图3示出根据本公开的获得意图要在呈现之前应用于视频信号的E0TF的方法的步 骤的框图；
[0039] 图4示出根据本公开实施例的设备的架构的示例；W及
[0040] 图5示出根据本公开实施例的通过通信网络进行通信的两个远程设备。
[0041] 通过相同的标号来指代相似或相同的元件。
【具体实施方式】
[0042] 在下文中将参照示出本公开实施例的附图来更完整地描述本公开。然而，本公开 可许多替代的形式来实施，而不应当被理解为受限于在本文中所阐述的实施例。因此， 虽然本公开容易有各种修改和替代形式，但是其特定实施例在附图中作为示例来示出，并 且将在本文中详细地描述。然而，应当理解，不打算将本公开限制于所公开的具体形式，而 是相反地，本公开涵盖落入由所附权利要求所限定的本公开的精神和范围内的所有修改、 等同物W及替换。在附图的各处描述中，相同的号码指代相同的元件。
[0043] 在本文中所使用的术语仅用于描述具体实施例的目的，而非意图限制本公开。如 在本文中所使用的那样，单数形式"一"、"一个"W及"该"意图同样包括复数形式，除非上下 文另外清楚地指明。还应当理解，术语"包括"、"包括有"、"包含"和/或"包含"在本说明书中 使用时，指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在性，但是不排除存在或 添加一个或多个其他特征、整数、步骤、操作、元件、组件或其分组。此外，当元件被称为"响 应于"或"连接到"另外的元件时，其可W直接地响应于或连接到其他元件，或者可W存在中 介元件。相反，当元件被称为"直接响应于"或"直接连接到"另外的元件时，不存在中介元 件。如在本文中所使用的那样，术语"和/或"包括相关联的所列项目中的一个或多个的任何 W及所有的组合，并且可W简写为7"。
[0044] 应当理解，虽然在本文中可能使用术语"第一"、"第二"等来描述不同的元件，但是 运些元件不应被运些术语所限制。运些术语仅用于将一个元件与另一个元件区分开。例如， 第一元件可W被称为第二元件，并且类似地，第二元件可W被称为第一元件，而不脱离本公 开的教导。
[0045] 虽然一些图表包括关于通信路径的箭头W示出通信的主要方向，但是应当理解的 是，通信可W在与所示箭头相反的方向上进行。
[0046] -些实施例参照框图和操作流程图来描述，其中每个块表示电路元件、模块或包 含实现所指定的逻辑功能的一个或多个可执行的指令的代码的一部分。还应当注意的是， 在其他实施方式中，在块中所标记的功能可W不W所标记的次序进行。例如，相继示出的两 个块实际上可W基本上并行地执行，或者块有进可相反的次序来执行，取决于所设及 的功能。
[0047] 在本文中所提及的"一个实施例"或"实施例"意味着结合该实施例描述的具体特 征、结构或特性可W包括在本公开的至少一种实施方式中。在说明书的不同地方出现的术 语"在一个实施例中"或"根据实施例"未必全部指相同的实施例，单独或替代的实施例也未 必与其他实施例相互排斥。
[0048] 在权利要求中出现的标号仅用于示例，而不应当对权利要的范围具有限制效果。
[0049] 虽然未明确描述，但是所呈现的实施例和变型可任何组合或子组合来采用。
[0050] 图2示出根据本公开实施例的生成比特流F的方法的步骤的框图。
[0051] 比特流F与视频信号VID相关联。
[0052] 在步骤20,获得信息数据SE0TF。信息数据SE0TF标识意图要在显示装置DISA的视 频显示器上呈现视频信号之前应用于视频信号VID的电光传递函数化OW)。
[0053] 根据实施例，信息数据SE0TF标识被用于对输入视频信号IVID进行评级的主控显 示器的E0TF。
[0054] 在步骤21，将信息数据SE0TF添加到比特流F。
[0055] 根据步骤20的实施例，信息数据SE0TF从本地存储存储器或远程存储存储器获得。
[0056] 根据步骤11的实施例，信息数据SE0TF通过被添加到视频可用性信息(VUI)的字节 "display_transfe;r_function"来表示，视频可用性信息（VUI)的语法定义在标题为"肥VC Range Extensions Draft 护（JCTVC-P1005，D.Flynn等人，2014年2月）的标准中。在表格 1 中给出修改VUI的语法的部分。
[0057] 表格 1
[0化引
[0059] 注意，比特"display_info_present_flag"指示比特流是否携带信息数据沈OTF。
[0060]根据实施例，将信息数据SE0TF添加到SEI消息的语法，SEI消息的语法定义在肥VC 标准中。
[0061 ] 根据实施例，信息数据沈〇了。由被添到111日3161'；[叫-山391日厂(30101-￥01111110 861消 息的字节 "d i sp lay_transf e;r_f unc t i on"来表示，
[0062] mastering-display-color-volume SEI消息的语法定义在标题为"Indication of SMPTE 2084and 2085and carriage of 2086me化data in 肥VC'（JCTVC-P0084，C.Fogg 和J.化lman，2014年1月）的文章中。
[0063] 在表格2中给出修改的111日3161'；[雌-山3口1日厂(30101-￥01皿0 861消息的示例。
[0064] 表格 2
[00化1
[0066] 表格3给出可W作为用0到1的标称范围进行了归一化的输入视频信号级别(在V = 0处为黑色，在ν=1处为白色）的函数的运样的E0TF的一些示例。Lc是基准显示器的线性光 强度输出。当display_transf e;r_function的值等于1时，Lw(其中，Lw = max_display_ masteringjuminance)指示Wcd/m2为单位的白色的显示亮度，Lb(其中LB = min_display_ masteringjuminance)指示Wcd/m2为单位的黑色的显示亮度（参见Rec. nU-R BT. 1886)。 当 display-transf er_f unction 语法元素不存在时，display-transfer-f unction 的值等于 2(显示器传递函数未指定或者由应用所确定）。
[0067] 表格 3
[006引
[0069]
[0070] 根据变型，比特流F还包括表示关于所标识的EOTF的至少一个参数的信息数据。
[0071] 例如，关于所标识的E0TF的参数是针对每个Lm)背光显示器的面积将被点亮的LED 的数量。
[0072] 运可W在功耗是关注点并且经济/降级模式/评级可能有意义时使用，W便保留艺 术性意图。
[0073] 根据变型，从所传送的标准E0TF得出意图要在显示装置DISA的视频显示器上呈现 视频信号VID之前使用的E0TF。然后还传送特定主控显示器的一些参数，W从标准E0TF进行 补偿。
[0074] 根据变型，E0TF响应对于主控显示器的每个色度通道是有差异的，并且传送关于 所标识的E0TF的一些参数W补偿运些差异。
[0075] 对于高亮度中的码字的小偏差可能对所重构的(Ξ)色度信号具有巨大影响(例如 色调偏移或错误的皮肤色质）的皿R显示器，该变型特别地有利。
[0076] 表格 4
[0077] 图3示出根据本公开的获得意图要在视频显示器上呈现视频信号之前应用于视频 信号的E0TF的方法的步骤的框图。
[0078] 在步骤30,从本地存储存储器或远程存储存储器获得比特流F。
[00巧]在步骤31，从比特流F获得信息数据SE0TF。
[0080] 在步骤32，然后从所获得的信息数据SE0TF获得E0TF。
[0081] 根据所述实施例W及参照图3所描述的变型，信息SE0TF直接标识来自比特流F的 电光传递函数，或者可能与特设(ad hoc)参数、基准显示器的特定色度信道或者校正模型 的校正因子相关联。
[0082] 如上所述，当从比特流F获得时，就使用运样的相关联的数据来确定EOTF。
[0083] 在图1至图3中，模块是功能单元，其可W与可区分的物理单元有关或者可W与可 区分的物理单元无关。例如，运些模块或者它们中的一些可W被一起放入在单个组件或电 路中，或者用于软件的功能。相反，一些组件可W潜在地包含分开的物理实体。与本公开兼 容的装置可W使用纯硬件来实现，例如使用诸如ASIC或FPGA或化SI(分别为专用集成电路、 现场可编程口阵列、超大规模集成电路)运样的专用硬件，或者可W由嵌入在设备中的若干 集成的电子组件或者硬件和软件组件的混合来实现。
[0084] 图4表示可W被配置为实现结合图1-图3所描述的方法的设备40的示例性架构。
[0085] 设备40包括通过数据和地址总线41链接在一起的W下元件：
[0086] -微处理器42(或CPU)，其例如是DSP(或数字信号处理器）；
[0087] -R0M(或只读存储器)43;
[008引 -RAM(或随机存取存储器)44;
[0089] -I/O接口45,用于从应用接收数据W进行发送；W及
[0090] -电池 46
[0091] 根据变型，电池46处于设备外部。图4的运些元件中的每一个是本领域技术人员公 知的，并且将不进一步公开。在所述存储器中的每一个中，说明书中所使用的文字"存储器" 可W对应于小容量(一些比特)的区域或非常大的区域(例如整个程序或大量接收到的或所 解码的数据）dR〇M 43至少包括程序和参数。根据本发明的方法的算法存储在ROM 43中。当 打开时，CPU 42更新RAM中的程序，并且运行对应指令。
[0092] RAM 44在寄存器中包括CPU 42运行的并且在打开设备42之后更新的程序、寄存器 中的输入数据、寄存器中的方法的不同状态下的中间数据W及用于在寄存器中运行方法的 其他变量。
[0093] 在本文中所描述的实现方式可W实现为例如方法或处理、装置、软件程序、数据流 或信号。尽管仅在单一形式的实现方式的上下文中进行了讨论(例如，仅作为方法或设备进 行了讨论），但是所讨论的特征的实现方式也可W实现为其他形式(例如程序）。装置可W实 现为例如专用硬件、软件和固件。方法可W实现在例如诸如例如一般被称为处理设备的处 理器(例如，包括计算机、微处理器、集成电路或可编程逻辑设备)运样的装置中。处理器还 包括通信设备，诸如例如计算机、手机、便携式/个人数字助理（"PDA" )W及便于与终端用户 之间进行信息通信的其他设备。
[0094] 根据不同实施例，将比特流F发送到目的地。作为示例，所述比特流存储在本地或 远程存储器中，例如视频存储器(44)或RAM(44)、硬盘(43)。在变型中，一个或两个比特流发 送给例如与海量储存器、闪速存储器、ROM、光盘或磁支承之间的接口运样的存储接口（ 45) 和/或通过例如到点对点链路、通信总线、点对多点链路或广播网络的接口运样的通信接口 (45)来传送。
[009引根据不同实施例，是从来源获得比特流F。示例性地，从例如视频存储器(44)、RAM (44)、R0M( 43)、闪速存储器(43)或硬盘(43)运样的本地存储器读取比特流。在变型中，比特 流接收自与海量储存器、闪速存储器、ROM、光盘或磁支承之间的接口运样的存储接口（45) 和/或接收自例如到点对点链路、通信总线、点对多点链路或广播网络的接口运样的通信接 口（45)。
[0096] 根据不同实施例，被配置为实现参照图2至图3所描述的方法的设备40属于包括W 下项的集合：
[0097] -移动设备.
[0098] -通信设备；
[0099] -游戏设备；
[0100] -平板(或平板计算机）；
[0101] -膝上型计算机；
[0102] -静止图像相机；
[0103] -摄像机；
[0104] -编码忍片；
[010引-静止图服务器；W及
[0106] -视频服务器(例如广播服务器、视频点播服务器或网络服务器）。
[0107] 根据图5所示的实施例，在通过通信网络肥T在两个远程设备A与B之间进行传输的 背景下，设备A包括被配置为实现参照图2所描述的方法的部件，并且设备B包括被配置为实 现参照图3所描述的用于解码的方法的部件。
[0108] 根据本发明的变型，网络是适合于将静止图像或视频图像从设备A广播给包括设 备B的解码设备的广播网络。
[0109] 在本文中所描述的各种处理和特征的实现方式可W实施为各种各样的不同的设 备或应用。运样的设备的示例包括所述设备、处理来自解码器的输出的后处理器、提供输入 给编码器的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上 型计算机、个人计算机、手机、PDAW及用于处理图片或视频的任何其他设备或者其他通信 设备。应当清楚的是，设备可W是移动的，甚至可W安装在移动车辆中。
[0110] 另外，方法可W通过由处理器执行的指令来实现，运样的指令(和/或由实现方式 所产生的数据值)可W存储在计算机可读存储介质上。计算机可读存储介质可W采用实施 在一个或多个计算机可读介质并且在其上实施有可由计算机执行的计算机可读程序代码 的计算机可读程序产品的形式。在本文中所使用的计算机可读存储介质被视为非临时性存 储介质，其给出在其中存储信息的固有能力W及提供从中检索信息的固有能力。计算机可 读存储介质可W是例如但不限于电子的、磁性的、光学的、电磁的、红外的或半导体系统、装 置或设备或者前述的任何适合的组合。应当意识到，下面虽然提供可W应用本原理的计算 机可读存储介质的更具体的示例，但是本领域技术人员容易意识到，其仅是示例性的，而不 是排他性的列表:便携式计算机盘、硬盘、只读存储器(ROM)、可擦除可编程存储器巧PROM或 闪速存储器）、便携式压缩盘只读存储器(CD-ROM)、光存储设备、磁存储设备或者前述的任 何适合的组合
[0111] 指令可W形成有形地实施在处理器可读介质上的应用程序。
[0112] 指令可W在例如硬件、固件、软件或组合中。指令可W存在于例如操作系统、单独 的应用或者二者的组合中。因此，处理器可W表征为例如被配置为执行处理的设备W及包 括具有用于执行处理的指令的处理器可读介质的设备（例如存储设备)二者。此外，在指令 的基础上或者代替指令，处理器可读介质可W存储实现方式所产生的数据值。
[0113] 对于本领域技术人员显而易见的是，实现方式可W产生被格式化W携带可W例如 被存储或传送的信息的各种信号。信息可w包括例如用于执行方法的指令或者由所描述的 实施方式之一所产生的数据。例如，信号可W格式化为携带用于写入或读所描述的实施例 的语法的规则作为数据，或者携带所描述的实施例所写入的实际的语法值作为数据。运样 的信号例如可W格式化为电磁波(例如使用频谱的射频部分)或者基带信号。格式化可W包 括例如对数据流进行编码W及用经编码的数据流来调制载波。信号所携带的信息可W是例 如模拟或数字信息。信号可W通过已知的各种不同的有线或无线链路来传送。信号可W存 储在处理器可读介质上。
[0114]已经描述了许多实现方式。然而，应当理解的是，可W做出各种修改。例如，不同实 现方式的元件可W组合、补充、修改或移除W产生其他实现方式。另外，本领域技术人员将 理解到，其他结构和处理可W替代所那些，并且所得到的实现方式将W与所公开的实现方 式至少基本相同的方式执行与所公开的实现方式至少基本相同的功能W得到与所公开的 实现方式至少基本相同的结果。因此，本申请想到了运些W及其他实现方式。
【主权项】
1. 一种关于视频信号的比特流，其特征在于，所述比特流携带标识意图要在视频显示 器上呈现视频信号之前应用于所述视频信号的电光传递函数的信息数据。2. 根据权利要求1所述的比特流，其中，其还包括表示关于所标识的电光传递函数的至 少一个参数的信息数据。3. 根据权利要求1或2所述的比特流，其中，电光传递函数响应对于主控显示器的每个 色度通道是有差异的，并且所述比特流还包括用以补偿这些差异的一些参数。4. 一种用于生成关于视频信号的比特流的方法，其特征在于，其包括： 添加标识意图要在视频显示器上呈现所述视频信号之前应用于所述视频信号的电光 传递函数的信息数据。5. -种用于获得意图要在视频显示器上呈现视频信号之前应用于所述视频信号的电 光传递函数的方法，其特征在于，其包括： 从关于所述视频信号的比特流获得标识所述电光传递函数的信息数据。6. -种计算机程序产品，其包括用以在计算机上执行该程序时执行根据权利要求4或5 所述的方法的步骤的程序代码指令。7. -种处理器可读介质，其中存储有用以使处理器至少执行根据权利要求4或5所述的 方法的步骤的指令。8. -种非临时性存储介质，其携带程序代码的指令，所述程序代码的指令当在计算设 备上执行所述程序时执行根据权利要求4或5所述的方法的步骤。
【文档编号】H04N9/68GK106063243SQ201580010418
【公开日】2016年10月26日
【申请日】2015年2月23日
【发明人】P.安德里冯, P.博兹, E.弗朗索瓦
【申请人】汤姆逊许可公司