背景技术：
当图像内容(例如，视频)通过通信系统被发送时，图像内容通常被数字化为采样值，其在发送之前被压缩并且在接收之后被解压缩。各种因素会影响如何解释、显示和感知该采样值。
在标准、专有格式或行业惯例中定义的约定或其他隐性理解可以指示在接收到采样值时该如何解释或显示该采样值应。可替代地，可以明确地以信号的形式发送指示应该如何解释或显示该采样值的元数据。特别地，用于图像或视频的编码的数据可以包括标识(通过枚举或其他手段)应该如何解释或显示采样值的信息。例如，元数据可以是以下的参数：例如色彩主要的色度值、传送特性(非正式地称为伽玛)以及矩阵系数。这样的元数据通常涉及源(原始的)采样值的特性，或在生产过程期间编辑采样值时使用的参考显示设备或“主机”的特性，以便对显示设备(如参考显示设备)上的呈现进行优化。然而，图像内容的显示不止取决于源内容的特性和显示设备的特性。
技术实现要素：
其中图像内容由观看者观看的环境，尤其是环境的周围光照特性可以对感知质量具有实质性的影响。除了周围光照的整体级别以外，光照的色温可以取决于观看环境而不同。在黑暗的剧院中观看图像内容与在家庭或明亮的公共空间中观看图像内容是完全不同的，在家庭或明亮的公共空间观看与在户外观看图像内容是完全不同的。即使在家庭环境中，当白天日光通过窗户进入时，与夜间相比，观看体验可以是完全不同的。此外，房间内的光照量(和特性)可以取决于打开或关闭房间中的哪些灯而完全不同。因此，在实际的观看环境中，实际照明条件可以与由标准或工业约定建立的标定照明条件、或者基于图像内容或参考显示设备而在元数据中限定的标定照明条件、或者针对假设观看环境限定的标定照明条件完全不同。
总而言之，具体实施方式呈现了在生成、解析和使用元数据的领域中的创新，其中该元数据描述了用于视频回放的参考观看环境的标定照明条件。在本文中描述的各种示例中，补充增强信息(“sei”)消息或其他元数据包括描述参考观看环境的标定照明条件(例如，周围光照的级别、周围光照的色彩特性)的参数。元数据可以当控制图像内容时描述所处的(inplace)(例如，隐性假定的、明确地选择的、设计的或预期的)参考观看环境。通过在控制图像内容时传送所处的参考观看环境的标定照明条件的表示，发射机系统可以使接收机系统能够调节其图像内容的本地显示。在接收到图像内容和元数据时，接收机系统可以识别实际观看环境的特征(例如，通过测量实际观看环境中的周围光照的级别，和/或通过应用由用户选择的预设设置或者根据实际观看环境的类型的设置)。接收机系统可以使用元数据来确定实际观看环境是否与参考观看环境相匹配。如果不是，则接收机系统可以调整采样值(例如，调整强度和/或色彩特性)以补偿标定照明条件和实际照明条件之间的差异(如果存在)。因此，接收机系统可以调整由实际显示设备呈现的图像内容，以实现针对实际观看环境而被适当地调节的观看体验。或者，接收机系统可以调整实际显示设备或实际照明条件，以便补偿标定照明条件和实际照明条件之间的差异(如果存在)。
根据本文中描述的第一组创新，生成了描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据。例如，元数据包括指定参考观看环境中的周围光照的标定级别的一个或多个参数、和/或指定参考观看环境中的周围光照的标定色彩特性的一个或多个参数。指定周围光照的标定级别的参数可以包括每单位面积的光照的指示符。指定周围光照的标定色彩特性的参数可以包括色彩空间中的值的多维映射中的坐标。元数据被存储以用于与用于视频的编码的数据一起输出。
根据本文中描述的第二组创新，接收和解析描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据。元数据包括指定参考观看环境中的周围光照的标定级别的一个或多个参数、和/或指定参考观看环境中的周围光照的标定色彩特性的一个或多个参数。指定周围光照的标定级别的参数可以包括每单位面积的光照的指示符。指定周围光照的标定色彩特性的参数可以包括色彩空间中的值的多维映射中的坐标。
创新可以被实现为方法的一部分、被实现为被配置为执行该方法的计算系统的一部分、或被实现为存储用于使计算系统执行该方法的计算机可执行指令的有形计算机可读介质的一部。可以以组合的形式使用各种创新或独立地使用各种创新。提供本发明内容是为了以简化的形式来引入下面的具体实施方式部分中进一步描述的概念的选择。本发明内容并非旨在识别所要求保护的主题的关键特征或主要特征，也并非旨在用于限制所要求保护的主题的范围。根据参考附图来描述以下具体实施方式，本发明的前述和其他对象、特征和优点将变得显而易见。
附图说明
图1是示出了其中可以实现一些所描述的实施例的示例性计算系统的图示。
图2a和图2b是示出了其中可以实现一些所描述的实施例的示例性网络环境的图示。
图3是示出了结合其可以实现一些所描述的实施例的示例性发射机系统和示例性接收机系统的图示。
图4是示出了用于生成描述用于视频回放的参考观看环境的标定照明条件的元数据的通用技术的流程图。
图5是示出了用于生成描述用于视频回放的参考观看环境的标定照明条件的元数据的示例性技术的流程图。
图6是示出了用于解析描述用于视频回放的参考观看环境的标定照明条件的元数据的通用技术的流程图。
图7是示出了用于解析和使用描述用于视频回放的参考观看环境的标定照明条件的元数据的示例性技术的流程图。
图8是示出了用于补充增强信息(“sei”)消息的示例性语法结构的表格，其包括定义用于视频回放的参考观看环境的标定照明条件的元数据。
具体实施方式
具体实施方式呈现了在生成、分析和使用描述用于视频回放的参考观看环境的标定照明条件的元数据中的创新。
参考专用于h.265/hevc标准和h.265/hevc标准的扩展的术语来示出本文中描述的创新中的一些创新。本文中描述的创新还可以被实现以用于其他视频编解码器标准或格式(例如，vp9格式、h.264/avc标准)。或者，本文中描述的创新可以被实现以用于图像编解码器标准或格式(例如，jpeg标准、jpeg2000标准、jpegxr标准、webp格式、gif格式)。
在本文中描述的示例中，不同附图中的相似的附图标记指示相似的组件、模块或操作。取决于上下文，给定的组件或模块可以接受不同类型的信息作为输入和/或产生不同类型的信息作为输出。
更一般地，本文中描述的示例的各种替代方案是可能的。例如，可以通过改变所描述的方法动作的顺序，通过划分、重复或省略某些方法动作等来改变本文中描述的方法中的一些方法。所公开的技术的各个方面可以以组合的方式来使用或单独地来使用。不同的实施例使用所描述的创新中的一个或多个创新。本文中描述的创新中的一些创新解决了背景中提到的问题中的一个或多个问题。通常，给定的技术/工具并不能解决所有这样的问题。
i.示例性计算系统
图1示出了其中可以实现所描述的创新中的几个创新的合适的计算系统(100)的通用示例。计算系统(100)不旨在提出关于使用范围或功能的任何限制，这是因为创新可以被实现在不同的通用或专用计算系统中。
参考图1，计算系统(100)包括一个或多个处理单元(110、115)和存储器(120、125)。处理单元(110、115)执行计算机可执行指令。处理单元可以是通用中央处理单元(“cpu”)、专用集成电路(“asic”)中的处理器或任何其他类型的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以增加处理能力。例如，图1示出了中央处理单元(110)以及图形处理单元或协处理单元(115)。有形存储器(120、125)可以是易失性存储器(例如，寄存器、高速缓存、ram)、非易失性存储器(例如，rom、eeprom、闪存等)、或两者的一些组合，其是由处理单元可访问的。存储器(120、125)以适用于由处理单元来执行的计算机可执行指令的形式来存储软件(180)，该软件实现用于生成、解析和/或使用描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据的一个或多个创新。
计算系统可以具有附加特征。例如，计算系统(100)包括存储装置(140)、一个或多个输入设备(150)、一个或多个输出装置(160)以及一个或多个通信连接(170)。互连机制(未示出)(例如，总线、控制器或网络)将计算系统(100)的组件进行互连。通常，操作系统软件(未示出)针对在计算系统(100)中执行的其他软件提供了操作环境，并且对计算系统(100)的组件的活动进行协调。
有形存储装置(140)可以是可移动的或不可移动的，并且包括磁盘、磁带或磁带盒、光学介质(例如cd-rom或dvd)、或者可以用于存储信息并且可以在计算系统(100)内被访问的任何其他介质。存储装置(140)存储用于软件(180)的指令，该软件实现用于生成、解析和/或使用描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据的一个或多个创新。
输入设备(150)可以是触摸输入设备(例如键盘、鼠标、笔或轨迹球)、语音输入设备、扫描设备或向计算系统(100)提供输入的另一设备。对于视频，输入设备(150)可以是相机、视频卡、屏幕捕获模块、电视调谐卡或接受模拟或数字形式的视频输入的类似设备、或将视频输入读取到计算系统(100)中的cd-rom或cd-rw。输出设备(160)可以是显示器、打印机、扬声器、cd刻录机或提供来自计算系统(100)的输出的另一设备。
通信连接(170)通过通信介质实现到另一计算实体的通信。通信介质以调制的数据信号形式来传送信息，例如计算机可执行指令、音频或视频输入或输出、或其他数据。调制的数据信号是以将信息编码在信号中的这样的方式设置或改变特性中的一个或多个特性的信号。作为示例而非限制，通信介质可以使用电学、光学、rf或其他载体。
可以在计算机可读介质的一般上下文中来描述创新。计算机可读介质是在计算环境内可以被访问的任何可用的有形介质。作为示例而非限制，在计算系统(100)内，计算机可读介质包括存储器(120、125)、存储装置(140)及其组合。如本文中所使用的，术语计算机可读介质不包括暂时性信号或传播载波。
可以在计算机可读介质的一般上下文中来描述创新，计算机可读介质例如在目标真实或虚拟处理器上的计算系统中被执行的程序模块中所包括的那些计算机可执行指令。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。程序模块的功能可以在各种实施例中按照期望在程序模块之间进行组合或划分。用于程序模块的计算机可执行指令可以在本地或分布式计算系统内被执行。
在本文中可互换地使用术语“系统”和“设备”。除非上下文另有明确指示，否则这两个术语都不暗示对某种计算系统或计算设备的任何限制。通常，计算系统或计算设备可以是本地的或分布式的，并且可以包括专用硬件和/或通用硬件与实现本文中描述的功能的软件的任何组合。
所公开的方法还可以使用被配置为执行所公开的方法中的任何一个方法的专用计算硬件来实现。例如，所公开的方法可以通过专门被设计或配置为实现所公开的方法中的任何一个方法的集成电路(例如，asic(例如asic数字信号处理器(“dsp”))、图形处理单元(“gpu”)或可编程逻辑器件(“pld”)(例如现场可编程门阵列(“fpga”)))其来实现。
出于呈现的目的，具体实施方式使用如“确定”和“评估”等术语来描述计算系统中的计算机操作。这些术语是用于由计算机执行的操作的高级抽象，并且不应该与由人类执行的动作相混淆。与这些术语相对应的实际的计算机操作取决于实现方式而变化。
ii.示例性网络环境
图2a和图2b示出了包括视频编码器(220)和视频解码器(270)的示例性网络环境(201、202)。编码器(220)和解码器(270)使用适当的通信协议通过网络(250)来连接。网络(250)可以包括因特网或另一计算机网络。
在图2a所示的网络环境(201)中，每个实时通信(“rtc”)工具(210)包括用于双向通信的编码器(220)和解码器(270)两者。给定的编码器(220)可以产生符合以下的变形或扩展的输出：h.265/hevc标准、smpte421m标准、iso/iec14496-10标准(也称为h.264/avc)、另一标准、或者专有格式(诸如vp8或vp9)，其中相对应的解码器(270)接受来自编码器(220)的编码的数据。双向通信可以是视频会议、视频电话或其他双方或多方通信场景的一部分。尽管图2a中的网络环境(201)包括两个实时通信工具(210)，但是网络环境(201)可以可替代地包括参与多方通信的三个或更多个实时通信工具(210)。
实时通信工具(210)管理由编码器(220)进行的编码。实时通信工具(210)还管理由解码器(270)进行的解码。
在图2b所示的网络环境(202)中，编码工具(212)包括编码器(220)，其对视频进行编码以用于传送到包括解码器(270)的多个回放工具(214)。可以提供单向通信以用于视频监视系统、网络摄像机监测系统、远程桌面会议演示或共享、无线屏幕投射、云计算或游戏、或其中视频被编码并从一个位置被发送到一个或多个其他位置的其他场景。尽管图2b中的网络环境(202)包括两个回放工具(214)，但是网络环境(202)可以包括更多或更少的回放工具(214)。通常，回放工具(214)与编码工具(212)进行通信以确定回放工具(214)要接收的视频的流。回放工具(214)接收流，将接收到的编码的数据缓存适当的一段时间，并开始解码和回放。
编码工具(212)还可以包括用于管理与一个或多个回放工具(214)的连接的服务器侧控制器逻辑。回放工具(214)可以包括用于管理与编码工具(212)的连接的客户端侧控制器逻辑。
iii.示例性发射机系统和示例性接收机系统
图3示出了结合其可以实现一些所描述的实施例的示例性发射机系统和示例性接收机系统。
a.示例性发射机系统
参考图3，示例性发射机系统被配置为从视频源(310)接收源视频图片的序列作为输入视频(311)，并且在信道编码的基本视频比特流(343)中产生编码的数据(341)作为输出。在图3中，示例性发射机系统包括视频源(310)、预处理器(320)、元数据生成器(330)、视频编码器(340)、缓冲器(342)以及信道编码器(345)。示例性发射机系统的不同组件可以被实现为操作系统模块的一部分、作为应用程序库的一部分、作为独立应用的一部分，或使用专用硬件来实现。
视频源(310)可以是摄像机、调谐卡、存储介质、屏幕捕获模块或其他数字视频源。视频源(310)被配置为以例如每秒30帧的帧速率产生视频图片的序列，以用于输入视频(311)。如本文中所使用的，术语“图片”通常指代源、编码的或重建的图像数据。对于逐行扫描视频，图片是逐行扫描视频帧。对于隔行扫描视频，隔行扫描视频帧可以在编码之前被去隔行。可替代地，两个互补的隔行扫描视频域被编码在一起作为单个视频帧，或被编码为两个独立编码的域。除了指示逐行扫描视频帧或交错扫描视频帧之外，术语“图片”可以指示单个非配对视频域、互补的视频域对、代表在给定时间处的视频对象的视频对象平面、或较大图像中的感兴趣的区域。视频对象平面或区域可以是包括场景的多个对象或区域的较大图像的一部分。
用于输入视频(311)的到达源图片被存储在源图片临时存储器存储区中，其包括被配置为接收输入视频(311)的多个图片缓冲器存储区。图片缓冲器将一个源图片保持在源图片存储区中。在源图片中的一个或多个已被存储在图片缓冲器中之后，图片选择器从源图片存储区中选择单独的源图片进行编码作为当前图片。其中由图片选择器选择用于输入到视频编码器(340)的图片的顺序可以不同于其中由视频源(310)产生图片的顺序，例如，在顺序方面一些图片的编码可以被延迟，以便允许一些稍后的图片首先被编码，并因此有利于时间上的后向预测。
预处理器(320)被配置为在编码之前执行对当前图片的预处理。预处理可以包括将色彩空间转换为主要(例如，亮度)和次要(例如，朝向红色和朝向蓝色的色度差)分量以及重采样处理(例如，减少色度分量的空间分辨率)以用于编码。因此，在编码之前，视频可以被转换成色彩空间(例如yuv)，其中亮度(y)分量的采样值表示光亮度或强度值，并且色度(u，v)分量的采样值表示色差值。色差值的准确定义(以及到/从yuv色彩空间到另一个色彩空间(如rgb)的转换操作)取决于实现。通常，如本文中所使用的，术语yuv指示具有亮度(或明亮度)分量和一个或多个色度(或色彩度)分量的任何色彩空间，包括y'uv、yiq、y'iq和ydbdr以及变形例如ycbcr和ycocg。可以对色度采样值进行子采样(例如，从yuv4：2：0格式或yuv4：2：2格式)至较低的色度采样速率，或者色度采样值可以具有与亮度采样值(例如，用于yuv4：4：4格式)相同的分辨率。可替代地，视频可以根据另一格式(例如rgb4：4：4格式、gbr4：4：4格式或bgr4：4：4格式)来进行组织。通常，像素是用于图片中的位置的一个或多个并置的采样值的集合，其可以针对不同的色度采样格式以不同的方式进行布置。
预处理器(320)还被配置为基于(a)参考显示设备的特性和/或(b)参考观看环境的标定照明条件来选择性地调整输入视频(311)的至少一些特性。预处理器(320)包括允许编辑者“控制”或以其他方式调整输入视频(311)的采样值的一个或多个工具。例如，预处理器(320)包括允许编辑者调整输入视频(311)的采样值使得采样值在参考显示设备上呈现时按照期望而出现的工具。对于元数据生成器(330)，预处理器(320)可以输出指示参考显示设备的特性的信息。预处理器(320)还包括允许编辑者调整输入视频(311)的采样值使得采样值在参考观看环境中被呈现时按照期望而出现的工具。对于元数据生成器(330)，预处理器(320)可以输出指示参考观看环境的特性的信息，包括指示参考观看环境的一个或多个标定照明条件的信息(321)。指示标定照明条件的信息(321)可以包括周围光照的标定级别和/或标定色彩特性(例如，色温、色度值或坐标)。或者，指示标定照明条件的信息(321)可以包括可以被执行以在需要的情况下达到最终照明状态(以周伟光照的标定级别和/或标定色彩特性为特性的)的调整，该调整从假设的观看环境的初始照明状态开始。
元数据生成器(330)被配置为生成描述标定照明条件的元数据(331)，如上所述。以下呈现描述标定照明条件的元数据(331)的示例。元数据生成器(330)还可以被配置为生成其他类型的元数据，例如，定义参考显示特性的元数据。缓冲器(未示出)可以被配置为临时存储由元数据生成器(330)输出的元数据。
视频编码器(340)被配置为对预处理的视频的图片进行编码以在编码的数据(341)中产生编码的图片。通常，视频编码器(340)包括执行编码任务(例如划分成片、图片内预测估计和预测、运动估计和补偿、频率变换、量化和熵编码)的多个编码模块。由视频编码器(340)执行的确切的操作可以取决于压缩格式而变化，并且还可以取决于编码器可选的实现决定而变化。
如图3所示，编码的数据(341)和元数据(331)被缓存在临时编码的数据区中，如图所示，缓冲器(342)被配置为存储编码的数据(341)并且存储元数据(331)以与编码的数据(341)一起输出。描述标定照明条件的元数据(331)可以被组织为一个或多个补充增强信息(“sei”)消息、视频可用性信息(“vui”)消息或另一类型的语法结构中的一个或多个参数。以下示出sei消息的示例。缓冲器(342)产生包括编码的数据(341)和描述标定照明条件的元数据(331)的基本视频比特流(343)。基本视频比特流(343)的格式可以是以下格式的变形或扩展：windows媒体视频格式、vc-1格式、mpeg-x格式(例如，mpeg-1、mpeg-2或mpeg-4)、h.26x格式(例如，h.261、h.262、h.263、h.264、h.265)或vpx格式或其他格式。在从视频编码器(340)输出之后，基本视频比特流(343)通常以容器格式进行分包或组织。
信道编码器(345)被配置为处理基本视频比特流(343)中的数据。信道编码器(345)可以将用于传输或存储的聚合数据进行分包和/或多路复用为媒体流，在该情况下信道编码器(345)可以添加语法元素作为媒体传输流的语法的一部分。或者，信道编码器(345)可以将用于存储的聚合数据组织为文件，在该情况下信道编码器(345)可以添加语法元素作为媒体存储文件的语法的一部分。或者，更通常地，信道编码器(345)可以实现一个或多个媒体系统多路复用协议或传输协议，在该情况下信道编码器(345)可以添加语法元素作为协议的语法的一部分。描述标定照明条件的元数据(331)可作为语法元素被添加，作为媒体流传输协议、媒体存储协议、多路复用协议、传输协议等(例如，当不包括在基本视频比特流(343)中时)的语法的一部分。(在这种情况下，元数据生成器(330)可以直接向信道编码器(345)提供元数据(331)。)信道编码器(345)将输出提供到信道(350)，其表示用于输出的存储、通信连接、或另一信道。信道编码器(345)或信道(350)还可以包括其他元件(未示出)，例如以用于前向纠错(“fec”)编码和模拟信号调制。
取决于实现，示例性发射机系统的模块可以被添加、省略、划分成多个模块、与其他模块组合、和/或被替换为相似的模块。在替代实施例中，具有不同模块和/或模块的其他配置的发射机系统执行所描述的创新中的一个或多个创新。示例性发射机系统内的模块之间所示的关系指示信息的一般流向；出于简洁的目的没有示出其他关系。
例如，示例性发射机系统可以是包括图3所示的发射机侧组件中的所有组件的视频编码系统。或者，示例性发射机系统可以是包括图3所示的发射机侧组件中的所有组件以及视频解码器的视频代码转换系统。或者，示例性发射机系统可以是缺少视频编码器、缓冲器(用于编码的数据)以及信道编码器而不是产生预处理的视频和描述标定照明条件的元数据的视频控制系统。或者，示例性发射机系统是一些其他类型的发射机系统。
b.示例性接收机系统
参考图3，示例性接收机系统被配置为从信道(350)接收信道编码的基本视频比特流(343)中的编码的数据(341)并产生重建的视频(361)其可被后处理作为针对输出目的地(390)的输出。示例性接收机系统包括信道解码器(355)、缓冲器(358)、视频解码器(360)、元数据解析器(370)、后处理器(380)、条件检测器(382)以及输出目的地(390)。示例性接收机系统的不同组件可以被实现为操作系统模块的一部分、作为应用库的一部分、作为独立应用的一部分，或使用专用硬件来实现。
在示例性接收机系统中，信道解码器(355)被配置为处理信道编码的数据。例如，信道解码器(355)将已经被组织用于传输或存储的数据解包和/或解复用作为媒体流，在该情况下信道解码器(355)可以解析作为媒体传输流的语法的一部分而被添加的语法元素。或者，信道解码器(355)将已经被组织用于文件存储的编码的视频数据分离为文件，在该情况下信道解码器(355)可以解析作为媒体存储文件的语法的一部分而被添加的语法元素。或者，更通常地，信道解码器(355)可以实现一个或多个媒体系统解复用协议或传输协议，在该情况下，信道解码器(355)可以解析作为协议的语法的一部分而被添加的语法元素。因此，如果这样的语法元素已经作为媒体流传输协议、媒体存储协议、多路复用协议、传输协议等(例如，当不包括在基本视频比特流(343)中时)的语法的一部分而被添加，则信道解码器(355)可以解析用于描述标定照明条件的元数据(331)的语法元素。(在这种情况下，信道解码器(355)可以直接向元数据解析器370提供元数据(331)。)信道(350)或信道解码器(355)还可以包括其他元件(未示出)，例如，以用于fec解码和模拟信号解调。
如图3所示，由信道解码器(355)产生的基本视频比特流(343)中的数据被缓冲在临时编码的数据区中，如所示出的，缓冲器(358)被配置为将编码的数据(341)和元数据(331)存储到基本视频比特流(343)中，直到已经接收到足够量的这种数据为止。缓冲器(358)中的编码的数据(341)包含作为基本视频比特流(343)的语法的一部分的用于一个或多个图片的编码的数据。基本视频比特流(343)还可以包括与编码的视频数据有关的元数据(例如，作为一个或多个sei消息或vui消息中的一个或多个参数)，例如描述参考观看环境的标定照明条件的元数据(331)。描述标定照明条件的元数据(331)可以被组织为一个或多个sei消息、vui消息或另一类型的语法结构中的一个或多个参数。基本视频比特流(343)的格式可以是以下格式的变形或扩展：windows媒体视频格式、vc-1格式、mpeg-x格式(例如，mpeg-1、mpeg-2或mpeg-4)、h.26x格式(例如，h.261、h.262、h.263、h.264、h.265)或vpx格式或其他格式。总体上，缓冲器(358)暂时存储编码的数据(341)，直到这样的编码的数据(341)由视频解码器(360)使用为止。此时，用于编码的图片的编码的数据从缓冲器(358)被传送到视频解码器(360)。随着解码继续，新的编码的数据被添加到缓冲器(358)，并且在缓冲器(358)中剩余的最老的编码的数据被传送到视频解码器(360)。
视频解码器(360)被配置为对编码的图片进行解码以产生相对应的解码的图片。视频解码器(360)接收编码的图片作为输入作为基本视频比特流(343)的一部分，并且视频解码器(360)产生相对应的解码的图片作为输出作为经重建的视频(361)。总体上，视频解码器(360)包括执行解码任务(例如熵解码、逆量化、逆频率变换、运动补偿、图片内预测以及滤波)的多个解码模块。由视频解码器(360)执行的确切的操作可以取决于被解压缩的信息的类型而变化。
在视频解码器(360)之后，解码的图片临时存储器存储区包括被配置为存储重建的视频(361)的图片的多个图片缓冲存储区。视频解码器(360)识别其中可以存储重建的视频(361)的解码的图片的图片缓冲器。解码器(360)将解码的图像存储在该图片缓冲器中。
缓冲器(未示出)可以被配置为临时存储被输入到元数据解析器(370)的元数据。元数据解析器(370)被配置为解析描述参考观看环境的标定照明条件的元数据(331)。以下呈现描述标定照明条件的元数据(331)的示例。对于后处理器(380)，元数据解析器(370)提供指示参考观看环境的特性的信息，包括指示参考观看环境的标定照明条件的信息(321)。指示标定照明条件的信息(321)可以包括周围光照的标定级别和/或标定色彩特性(例如，色温、色度值或坐标)。或者，指示标定照明条件的信息(321)可以包括可以被执行以在需要的情况下达到最终照明状态(以周围光照的标定级别和/或标定色彩特性为特性)的调整，该调整从假设的观看环境的初始照明状态开始。对于不同的假设观看环境，信息(321)可以包括不同的调整。元数据生成器(370)还可以被配置为解析其他类型的元数据，例如定义参考显示设备的特性的元数据，并且将这样的信息提供给后处理器(380)。
条件检测器(382)被配置为确定用于包括示例性接收机系统的实际观看环境的一个或多个实际照明条件。例如，条件检测器(382)是或包括被配置为检测实际观看环境中的周围光照的实际级别的传感器。或者，条件检测器(382)是或包括被配置为在存储区中查找用户定义的设置或其他调谐参数的模块，其中用户定义的设置/调谐参数指示实际观看环境中的周围光照的实际色彩特性(例如，色温、色度值或坐标)。条件检测器(382)将关于实际照明条件的信息(383)提供给后处理器(380)。
后处理器(380)被配置为在解码之后执行对重建的视频(361)的解码的图片的后处理，以产生输出视频(381)。后处理可以包括在解码之后的重采样处理(例如，恢复色度分量的空间分辨率、或调节在具有不同空间分辨率的显示器上使用的视频内容)以及来自主要和次要色彩分量的色彩空间转换。例如，在解码之后，可以对色度采样值进行重新采样(例如，从yuv4：2：0格式或者yuv4：2：2格式)至更高的色度采样速率，并且视频可以从色彩空间(例如yuv)被转换到诸如rgb、gbr或bgr之类的另一色彩空间。
后处理器(380)还被配置为为了补偿实际照明条件与标定照明条件之间的差异而调整视频的至少一些采样值的特性。这样做，后处理器(380)实际上可以改变重建的视频(361)或输出视频(381)的采样值的解释。后处理器(380)包括调整输出视频(381)的采样值以补偿标定照明条件和实际照明条件之间的差异的一个或多个工具。例如，当周围光照的标定级别(针对参考观看环境)比周围光照的实际级别(针对实际观看环境)暗时，后处理器(380)增加至少一些采样值的光亮度。或者，当周围光照的标定级别(针对参考观看环境)比周围光照的实际级别(针对实际观看环境)亮时，后处理器(380)降低至少一些采样值的光亮度。或者，当标定色彩特性(针对参考观看环境)与实际色彩特性(针对实际观看环境)不同时，后处理器(380)衰减或缩放视频的某些采样值以补偿该差异。或者，后处理器(380)选择与实际观看环境最接近匹配的多个假设观看环境中的一个，并且然后应用与所选择的假设观看环境相关联的调整(如果存在)以调整采样值从而达到最终的照明状态(以周围光照的标定级别和/或标定色彩特性为特性)，该调整从所选择的假设观看环境的初始照明状态开始。取决于指示参考显示设备的特性的信息，后处理器(380)还可以包括取决于参考显示设备的特性来调整输出视频(381)的采样值的工具。
后处理器(380)和输出目的地(390)可以与示例性接收机系统的其他组件位于相同的设备中。或者，后处理器(380)和输出目的地(390)可以在不同的设备中。例如，后处理器(380)和输出目的地(390)是显示设备的一部分，并且示例性接收机系统的其余组件是媒体播放器或机顶盒的一部分。
缓冲器(未示出)被配置为存储后处理器(380)的输出。输出定序器标识在要以输出顺序产生的下一个图片在用于输出视频(381)的解码的图片存储区中何时可用。当要以输出顺序产生的下一个图片在解码的图片存储区中可用时，其由输出定序器读取并输出到输出目的地(390)(例如，显示器)。通常，图片由输出定序器从解码的图片存储区中输出的顺序可以不同于由解码器(360)对图片进行解码的顺序。
可替代地，条件检测器(382)将指示实际观看环境的实际照明条件的信息(383)提供给控制器(未示出)。控制器被配置为为了补偿实际照明条件与标定照明条件之间的差异而调整试剂观看环境中的实际显示设备的特性和/或一个或多个实际照明条件中的至少一个。例如，控制器输出信号以调整实际显示装置的光亮度的级别或色彩特性设置(例如，针对色温或针对色度值或坐标)。或者，控制器输出信号以调整实际观看环境中的周围光照的级别。在这种情况下，为了补偿实际照明条件与标定照明条件之间的差异，后处理器(380)在采样值被输出到输出目的地(390)之前不需要调整该采样值。
取决于实现，示例性接收机系统的模块可以被添加、省略、划分成多个模块、与其他模块组合、和/或被替换为相似的模块。在替代实施例中，具有不同模块和/或模块的其他配置的接收机系统执行所描述的技术中的一个或多个。示例性接收机系统内的模块之间所示的关系指示信息的一般流向；出于简洁的目的没有示出其他关系。
例如，示例性接收机系统可以是包括图3所示的接收机侧组件的媒体播放器或机顶盒。或者，示例性接收机系统可以是缺少视频解码器、缓冲器(用于编码的数据)以及信道解码器但仍包括元数据解析器、条件检测器以及后处理器(或控制器)以补偿实际照明条件和标定照明条件之间的差异的显示设备或其他后处理系统。或者，示例性接收机系统是一些其他类型的接收机系统。
iv.描述参考观看环境的标定照明条件的元数据
本章节描述了生成、分析和使用描述参考查看环境的一个或多个标定照明条件的元数据的示例。本文中描述的创新包括但不限于以下内容：
·定义表示与用于观看图像内容的一个或多个标定照明条件相关联的参考观看环境的光相关的特性的元数据。元数据可以包括例如指示以下内容的信息：
o周围光照级别。
o周围光照的色彩特性的表示(例如，依据色温值或依据色彩空间(例如，cie1931的色彩空间)中的归一化(x，y)坐标或非归一化(x，y，z)坐标)。
o针对不同的假设观看环境的这样的数据的多个集合(例如，与标识如何调整图像内容以用于在每个假设观看环境中进行显示的其他参数一起)，其可以取决于实际观看环境来进行选择。
·用于将这样的元数据(例如，通过通信信道或存储介质)从发送方发送到接收方的方法。
·用于接收和使用这样的元数据以将接收到的图像内容调节至实际观看条件(例如，使用测量的周围光照级别或本地选择的观看环境设置与这样的元数据一起来调节图像内容)的方法。
·用于将这样的元数据(例如，作为sei消息或vui消息)嵌入到编码的图像或视频比特流内的方法。
·将这样的元数据与描述显示设备的特性的元数据进行组合的方法。
a.介绍
当通过通信系统发送图像内容(例如，视频)时，图像内容通常被数字化为采样值，其在发送之前被压缩并且在接收之后被解压缩。各种因素影响如何解释、显示和感知该采样值。
1、根据约定或其他隐性理解来解释样本价值。
在标准、专有格式或行业惯例或其他隐性理解中定义的约定可以指示在接收到采样值时该如何解释或显示该采样值应。在某些情况下，例如，标准或行业惯例已经解决了采样值应该如何被解释或显示。对于标清电视业务，例如，rec.itu-rbt.601指示采样值应该如何被解释或显示。对于高清电视，rec.itu-rbt.709和rec.itu-rbt.1886指示采样值应该如何被解释或显示。并且，对于超高清晰度电视，rec.itu-rbt.2020指示采样值应该如何被解释或显示。
2、根据明确以信号发送的参数来解释采样值。
可替代地，可以明确地以信号形式来发送指示应该如何解释或显示采样值的信息。用于图像或视频的编码的数据可以包括标识(通过枚举或其他手段)采样值应该如何被解释或显示的信息。例如，信息可以是参数，例如色彩主要色度值、传送特性(非正式地被称为伽玛)以及矩阵系数。这样的参数可以例如在用于mpeg-2标准、h.264/avc标准以及h.265/hevc标准的编码的数据中找到。在一些情况下，参数(例如，色彩主要色度值、传送特性和矩阵系数)作为标准中定义的sei消息或vui消息中的媒体元数据的一部分而以信号的形式被发送。
控制显示色彩容量(“mcdv”)元数据提供了明确的信令的另一示例，其中控制显示色彩容量(“mcdv”)元数据近来由smpte(参见smptest2086)所开发并且被采用到h.265/hevc标准中作为sei消息。mdcv元数据标识在控制采样值的出现时所使用的参考显示设备的特性，包括显示器原色的x和y坐标、白点以及标定的最小和最大显示亮度。即，在具有参考显示设备的特性的显示设备上编辑采样值以用于最优显示。另一近来的示例是smptest2084中的感知量化传递函数。此外，在一些情况下，用于图像显示的标定光亮度级别可以通过该系统来传送。还可以使用其他方法(例如“色调映射(tonemapping)”或“膝关节功能(kneefunction)”变形等)来取决于预期的显示特性来调节图像内容。
3、环境因素
在前面章节中描述的元数据涉及源(原始)采样值的特性或显示设备的特性。然而，图像内容的显示不止取决于源内容的特性和参考显示设备或“主机”的特性。其中图像内容由观看者所观看的环境，尤其是环境的周围光照特性可以对感知质量具有实质性的影响。除了周围光照的整体级别以外，光照的色温可以取决于观看环境而不同。在黑暗的剧院中观看图像内容与在家或明亮的公共空间观看该图像内容是完全不同的，这与在户外观看该图像内容完全不同。即使在家庭环境中，当白天日光通过窗户进入时，与夜间相比，观看体验可以是完全不同的。此外，房间内的光照量(和特性)可以取决于打开或关闭房间中的哪些灯而完全不同。
为了比较或评估显示设备或图像内容的目的，一些行业约定解决了针对不同观看环境的照明条件，或者指定“最优”观看环境的照明条件。例如，rec.itu-rbt.500标识用于在工作室和在家中观看图片的标定照明条件。对于在工作室进行观看，假定暗室具有在观看屏幕后面的特定光照级别。对于家庭环境，假定房间具有房间中的稍高级别的光照。具体而言，rec.itu-rbt.500-13(01/2012)标题为“methodologyforthesubjectiveassessmentofthequalityoftelevisionpictures”指示实验室使用和家庭使用的观看环境可以不同。其描述了用于测试(分条款2.1.1)的实验室环境具有低光照度、具有d65周围光照色度并且具有70cd/m2的峰值白色显示亮度(由图片对齐生成装备参考rec.itu-rbt.814-2(09/2007)，标题为“specificationsandalignmentproceduresforsettingofbrightnessandcontrastofdisplays”进行设置的)，以及在图片后面的背景具有是白色峰值显示亮度0.15倍的光亮度(例如，10.5cd/m2)。该建议描述了家庭观看环境(分条款2.1.2)，具有200勒克斯的周围光照级别和200cd/m2的显示峰值白色亮度。
作为另一示例，rec.itu-rbt.2035(07/2013)，标题为“areferenceviewingenvironmentforevaluationofhdtvprogrammaterialorcompletedprogrammes”(参见子条款1.1)描述了观看环境具有10勒克斯的的周围光照亮度并具有d65(x＝0.3127，y＝0.3290)或d93(x＝0.2831，y＝0.2971)的背景色度，以与具有100cd/m2(100尼特)的峰值白色(以10比特表示的值940)亮度的显示器一起使用。
作为另一示例，rec.itu-rbt.2022(08/2012)，标题为“generalviewingconditionsforsubjective,assessmentofqualityofsdtvandhdtv,televisionpicturesonflatpaneldisplays”描述了与在rec.itu-rbt.500-13(01/2012)中找到的一个除了关于峰值白色亮度以外都类似的观看环境。对于实验室环境，该建议描述了70-250cd/m2的峰值白色范围。对于家庭环境，建议描述了70-500cd/m2的峰值白色范围。
作为另一个示例，rec.itu-rbt.710-4(11/1998)，标题为“subjectiveassessmentmethodsforimagequalityinhigh-definitiontelevision”建议在低光照环境下进行的主观评估与bt.500和bt.2022中所描述的相似。该建议描述了150-250cd/m2的峰值白色范围，并且另外与bt.500和bt.2022类似。
作为另一个示例，rec.itu-rbt.1129(02/1998)，标题为“subjectiveassessmentofstandarddefinitiondigitaltelevision(sdtv)systems”描述了用于实验室环境和家庭环境两者的条件。这些条件与在bt.500中找到的那些条件类似，除了建议不标识用于周围光照的色彩。
技术报告itu-rbt.2390解决高动态范围视频及其与参考观看环境的关系。
这些建议说明了观看环境在实践中是不同的，即使对于半理想的观看条件也是如此。此外，在实践中体验的观看条件可以与在这些建议中标识的条件完全不同。因此，在实际观看环境中，实际照明条件可以与由标准或工业约定建立的标定照明条件完全不同。即使当针对应用存在参考观看环境的某种规范时，当控制图像内容时使用的实际观看环境可以与指定的参考观看环境不同。而且，即使当在控制图像内容时使用了参考观看环境，其中图像内容稍后被观看的实际观看环境也可以与在控制图像表示时使用的观看环境完全不同。
4、描述参考观看环境的标定照明条件的元数据。
在本文中描述的各种示例中，sei消息或其他元数据包括描述参考观看环境的标定照明条件(例如，周围光照的级别、周围光照的色彩特性)的参数。元数据可以描述当控制图像内容时所处的(例如，隐性假设的、明确地选择的、设计的或预期的)参考观看环境。通过传送在控制图像内容时所处的参考观看环境的标定照明条件的表示，发射机系统可以使接收机系统能够调整其图像内容的本地显示。在接收到图像内容和元数据时，接收机系统可以识别实际观看环境的特征(例如，通过测量实际观看环境中的周围光照的级别，和/或通过应用由用户选择的预设设置或者根据实际观看环境的类型来进行设置)。接收机系统可以使用元数据来确定实际观看环境是否与参考观看环境相匹配。如果不是，则接收机系统可以调整采样值(例如，调整强度和/或色彩特性)以在需要的情况下补偿标定照明条件和实际照明条件之间的差异。因此，接收机系统可以调节由实际显示设备呈现的图像内容，以实现针对实际观看环境而进行适当地调节的观看体验。
在示例性实现中，sei消息或其他元数据可以传送关于在itu-rbt.2035和上面列出的许多其他建议中描述的参考观看环境的标定照明条件的信息。还可以使用元数据来指定各种其他标定照明条件。这允许接收机系统调整采样值，使得感知的质量更接近参考观看环境中的感知的质量。
在接收机系统处，可以例如使用光传感器或用户定义的设置来确定实际照明条件。自适应显示光亮度和光传感器技术在设备(例如手机、平板计算机以及膝上型计算机)中越来越普遍。在一些示例性实现中，这样的技术可以用于检测实际照明条件并且调整采样值以补偿实际照明条件与参考观看环境的标定照明条件之间的差异。
与下面描述的方法形成对比，mdcvsei消息包括描述主显示设备的特性的参数。mdcvsei消息不提供指定在控制图像内容时所处的参考观看环境的周围光照级别或特性的方式。传送表示这样的观看环境特性的数据使接收机系统能够(例如，基于用户进行预设或光传感器输入)调整其本地显示以用于最优显示。
b.发射机侧活动的示例
图4示出了用于生成描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据的通用技术(400)。发射机系统(例如，参考图3所描述的系统)或其他发射机系统执行该技术(400)。
发射机系统生成(410)描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据。例如，元数据包括指定参考观看环境中的周围光照的标定级别的一个或多个参数(例如，每单位面积的光照的指示符)。或者，作为另一示例，元数据包括指定参考观看环境中的周围光照的标定色彩特性的一个或多个参数(例如，色彩空间中的值的多维映射中的坐标，或色温标度中的值)。或者，作为另一示例，元数据包括如下一个或多个参数：其指定(a)在参考观看环境中由参考显示设备反射的光照的标定级别，和/或(b)在参考观看环境中由参考显示设备反射的光照的一个或多个色彩特性。或者，作为另一示例，元数据包括如下一个或多个参数：其针对参考观看环境的标定照明条件，指定在需要的情况下从假设观看环境的初始照明状态达到最终照明状态的调整。或者，作为另一示例，元数据包括多个参数的集合，其中多个参数的集合中的每一个参数的集合与具有初始照明状态的不同的假设观看环境相关联，并且其中多个参数的集合中的每一个参数的集合包括如下一个或多个参数：其针对参考观看环境的标定照明条件，指定在需要的情况下针对该参数的集合的从假设观看环境的初始照明状态达到最终照明状态的调整。或者，作为另一示例，元数据包括前述类型的参数的一些组合。可替代地，元数据可以包括描述用于视频回放的参考观看环境的标定照明条件的其他和/或附加的参数。
发射机系统输出(420)具有用于视频的编码的数据的元数据。例如，输出包括通过通信信道发送元数据。或者，输出包括将元数据写入存储介质。除了描述参考观看环境的标定照明条件以外，元数据还可以描述参考显示设备的特性。
元数据的组织取决于实现。例如，元数据被组织为sei消息或vui消息的一部分，其中sei消息或vui消息是针对视频的视频基本比特流的一部分。或者，作为另一示例，元数据被组织为容器格式的字段的一部分。或者，作为另一示例，根据传输协议将元数据组织为消息的一部分。可替代地，元数据以一些其他方式来进行组织。
图5示出了用于生成描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据的示例性技术(500)。发射机系统(例如参考图3所描述的系统)或其他发射机系统执行该技术(500)。上面参考图4的通用技术(400)所描述的选项也适用于图5的示例性技术(500)。
发射机系统接收(510)输入视频(例如，用于视频序列的当前图片)。发射机系统选择性地调整(520)输入视频的至少一些特性。例如，发射机系统基于(a)参考显示设备的特性，和/或(b)参考观看环境的标定照明条件来调整输入视频的至少一些采样值。参考图3的预处理器(320)描述了采样值的调整的示例。可替代地，发射机系统以一些其他方式选择性地调整采样值。通过选择性调整至少一些采样值可以不被改变(520)。
发射机系统检查(530)是否存在描述参考观看环境的标定照明条件的新的元数据。如果存在，则发射机系统生成(410)并输出(420)元数据，如参考图4所描述的。发射机系统可以被配置为在发生一些事件(例如，新的编码的视频序列或编码的分层视频序列)时检查这样的新的元数据，但是另外保持描述参考观看环境的标定照明条件的相同的元数据。
发射机系统对选择性地调整的输入视频进行编码(540)以产生用于视频的编码的数据。发射机系统检查(550)是否继续，并且如果继续，则接收更多的输入视频(例如，用于视频序列的下一个图片)。
c.接收机侧活动的示例
图6示出了用于解析描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据的通用技术(600)。接收机系统(例如，参考图3所描述的系统)或其他接收机系统执行该技术(600)。
接收机系统接收(610)并解析(620)描述用于视频的回放的参考观看环境的一个或多个标定照明条件的元数据。例如，元数据包括指定参考观看环境中的周围光照的标定级别的一个或多个参数(例如，每单位面积的光照的指示符)。或者，作为另一示例，元数据包括指定参考观看环境中的周围光照的标定色彩特性的一个或多个参数(例如，色彩空间中的值的多维映射中的坐标、或色温标度中的值)。或者，作为另一示例，元数据包括如下一个或多个参数：其指定(a)在参考观看环境中由参考显示设备反射的光照的标定级别，和/或(b)在参考观看环境中由参考显示设备反射的光照的一个或多个色彩特性。或者，作为另一示例，元数据包括如下一个或多个参数：其针对参考观看环境的标定照明条件，指定在需要的情况下从假设观看环境的初始照明状态达到最终照明状态的调整。或者，作为另一示例，元数据包括多个参数的集合，其中多个参数的集合中的每一个参数的集合与具有初始照明状态的不同假设观看环境相关联，并且其中多个参数的集合中的每一个参数的集合包括如下一个或多个参数：其针对参考观看环境的标定照明条件，指定在需要的情况下针对该参数的集合的从假设观看环境的初始照明状态达到最终照明状态的调整。或者，作为另一示例，元数据包括前述类型的参数的一些组合。可替代地，元数据可以包括描述用于视频的回放的参考观看环境的标定照明条件的其他和/或附加的参数。
除了描述参考观看环境的标定照明条件以外，元数据还可以描述参考显示设备的特性。
元数据的组织取决于实现。例如，元数据被组织为sei消息或vui消息的一部分，其中sei消息或vui消息是针对视频的视频基本比特流的一部分。或者，作为另一示例，元数据被组织为容器格式的字段的一部分。或者，作为另一示例，根据传输协议将元数据组织为消息的一部分。可替代地，元数据以一些其他方式来进行组织。
图7示出了用于解析和使用描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据的示例性技术(700)。接收机系统(例如参考图3所描述的系统)或其他接收机系统执行该技术(700)。上面参考图6的通用技术(600)所描述的选项也适用于图7的示例性技术(700)。
接收机系统接收(710)并且解码(720)用于视频的编码的数据(例如，用于视频序列的当前图片)。接收机系统检查(730)是否存在描述用于视频回放的参考观看环境的标定照明条件的新的元数据。如果存在，则接收机系统接收(610)并解析(620)元数据，如参考图6所述的。接收机系统可以被配置为在发生一些事件(例如，新的编码的视频序列或编码的分层视频序列)时检查这样的新的元数据，但是另外保持描述参考观看环境的标定照明条件的相同的元数据。
接收机系统还确定(740)实际观看环境的一个或多个实际照明条件。接收机系统可以测量实际照明条件中的至少一个(例如，使用传感器来测量周围光照的实际级别)。接收机系统还可以在存储区中查找指示至少一个实际照明条件的一个或多个值(例如，在接收机系统已经接收到指定用于实际照明条件的值的用户输入并且将指定的值存储在存储区中之后)。可替代地，接收机系统以一些其他方式来确定实际观看环境的实际照明条件。
在一些方法中，接收机系统仅当接收到新的元数据时确定(740)实际照明条件(如图7所示)。可替代地，接收机系统可以(例如，在解码任何图片之前或周期性地在解码期间)更频繁地确定实际照明条件，而不管是否已经接收到描述参考观看环境的标定照明条件的新的元数据。
接收机系统选择性地调整(750)解码的视频的至少一些采样值的至少一些特性。这样做，接收机系统实际上可以改变解码的视频的采样值的解释。参考图3的后处理器(380)描述了采样值的调整的示例。可替代地，接收机系统以一些其他方式选择性地调整采样值。通过选择性调整至少一些采样值可以不被改变。特别是，如果实际观看环境的实际照明条件与参考观看环境的标定照明条件相匹配或非常接近，则接收机系统可以跳过采样值的选择性调整(750)。
例如，假设标定照明条件包括参考观看环境中的周围光照的标定级别，并且实际照明条件包括实际观看环境中的周围光照的实际级别。如果周围光照的标定级别比周围光照的实际级别亮，则接收机系统降低视频的至少一些采样值的光亮度。如果周围光照的标定级别比周围光照的实际级别暗，则接收机系统增加视频的至少一些采样值的光亮度。另一方面，如果周围光照的标定级别与周围光照的实际级别相同(或者根据相似性阈值足够接近)，则接收机系统不改变视频的采样值的光亮度。
或者，作为另一示例，假设标定照明条件包括参考观看环境中的周围光照的标定色彩特性，并且实际照明条件包括实际观看环境中的周围光照的实际色彩特性。接收机系统缩放或衰减视频的至少一些采样值，以补偿实际色彩特性和标定色彩特性之间的差异。因此，如果由于实际色彩特性和标定色彩特性之间的差异某些色彩将被“洗掉”，则接收机系统可以选择性地将增益因子应用于采样值以便增加那些色彩的可见性。或者，如果由于实际色彩特性和标定色彩特性之间的差异某些色彩过于突出，则接收机系统可以选择性地衰减采样值以降低这些色彩的可见性。
或者，作为另一示例，假设元数据包括多个参数的集合。参数的集合中的每一个参数的集合与具有初始照明状态的不同的假设观看环境相关联。而且，参数的集合中的每一个参数的集合包括如下一个或多个参数：其针对参考观看环境的标定照明条件，指定在需要的情况下针对该参数的集合的从假设观看环境的初始照明状态达到最终照明状态的调整。(对于参数的集合中的至少一个，当假设观看环境足够接近参考观看环境时，调整可以是“空”调整，使得没有采样值被调整。)至少部分地基于实际观看环境的实际照明条件，接收机系统选择多个参数的集合中的其不同的假设观看环境与实际观看环境最接近的一个参数的集合。然后，为了调整视频的采样值，接收机系统在需要的情况下对所选择的参数的集合执行调整以达到最终照明状态。
更一般地，为了补偿实际照明条件和标定照明条件之间的差异，接收机系统可以调整以下各项中的一个或多个：(a)视频的至少一些采样值的特性；(b)实际观看环境中的实际显示设备的特性；以及(c)实际观看环境的一个或多个实际照明条件中的至少一个。例如，接收机系统的控制器输出信号以调整实际显示设备的光亮度的级别或色彩特性设置(例如，用于色温或用于色度值或坐标)。或者，接收机系统的控制器输出信号以调整实际观看环境中的周围光照的级别。
接收机系统检查(750)是否继续，并且如果继续，则接收更多的用于视频的编码的数据(例如，用于视频序列的下一个图片)。
d.示例性实现
本章节描述了用信号发送并且解析描述用于视频回放的参考观看环境的一个或多个标定照明条件的元数据的示例性实现。在示例性实现中，用信号在基本视频比特流内的一个或多个sei消息中发送元数据。元数据可以描述当控制图像内容(例如视频)时所处的参考观看环境的(例如，隐性假定的、明确地选择的、设计的或预期的)标定照明条件。
图8示出了用于周围观看环境(“ave”)sei消息的示例性语法结构(800)，该周围观看环境sei消息包括定义用于视频回放的参考观看环境的标定照明条件的元数据。通常，用于avesei消息的语法结构(800)包括标识当相关联的视频内容被呈现时参考观看环境中的周围光照的特性的参数。avesei消息的语法元素可以帮助接收机系统调节视频内容以用于在实际观看环境中进行显示，该实际观看环境可以类似于或完全不同于在控制视频内容时在适当位置的参考观看环境。
在图8中，语法元素ambient_illuminance指定参考观看环境的环境亮度是以0.0001勒克司为单位的。语法元素ambient_illuminance的值大于0。更一般地，语法元素ambient_illuminance指示参考观看环境中的周围光照的标定级别。可替代地，为了指示参考观看环境中的周围光照的标定级别，avesei消息可以包括“尼特”(坎德拉每平方米)为单位的测量或其他类型的测量。
语法元素ambient_light_x和ambient_light_y分别指定参考观看环境中的周围光照的归一化的x和y色度坐标。根据iso11664-1中指定的x和y的cie1931定义，归一化的x和y色度坐标可以以0.00002的增量来表示。另请参阅iso11664-3和cie15。语法元素ambient_light_x和ambient_light_y的值在0到50,000的范围内。可替代地，语法结构(800)中的语法元素可以指定在色彩空间(例如cie1931)中的非归一化坐标x，y和z。(用于cie1931色彩的非归一化符号通常使用大写字母来表示以与用于归一化的表示的小写字母进行区分，其可以有如下的关系：x＝x/(x+y+z)、y＝y/(x+y+z)以及z＝z/(x+y+z)，使得x+y+z＝1，并因此z的值通常被省略，因为通过定义z＝1-x-y其与之相等。归一化的表示与其强度独立的方式代表光的色度(色彩)，而非归一化的表示包括光的强度和色彩两者的描述。)
使用图8中所示的用于avesei消息的语法元素，可以将各种通常接受的照明条件指定为用于视频回放的参考观看环境的标定照明条件。例如，rec.itu-rbt.2035指定用于hdtv节目素材的评估的参考观看环境以与具有100cd/m2(100尼特)峰值白色亮度的显示设备一起使用，其中参考观看环境拥有具有d65(x＝0.3127，y＝0.3290)或d93(x＝0.2831，y＝0.2971)背景色度的10勒克斯周围光照亮度。这样的标定照明条件可以使用值为100,000的ambient_illuminance(100,000×0.0001＝10勒克斯)，针对d65背景色度具有值为15,635的ambient_light_x(x＝15,635x0.00002＝0.3127)和值为16,450的ambient_light_y(y＝16,450x0.00002＝0.329)。可替代地，针对d93，背景色度被指定有值为14,155的ambient_light_x(x＝14,155x0.00002＝0.2831)和值为14,855的ambient_light_y(y＝14,855x0.00002＝0.2971)。
可替代地，用于avesei消息的语法结构(800)可以包括其他和/或附加的语法元素。例如，avesei消息中的语法元素可以指示参考观看环境中的周围光照的色温(例如，对于“暖”相对黄光是2700开尔文，或者针对较蓝的更“冷”的白光是较高的色温，例如4000k或6000k)。或者，语法结构(800)的语法元素指示参考观看环境中的周围光照的一些其他色彩特性。
用于avesei消息的语法结构(800)可以遵循用于h.265/hevc标准或h.264/avc标准中的sei消息的一般语法和语义。例如，针对h.265/hevc标准，avesei消息被集成到区段d.2.1(一般sei消息语法)和表d.i(sei消息的持续范围)中。用于avesei消息的持续范围是编码的分层视频序列(“clvs”)。当存在avesei消息以用于特定层的clvs的任何图片并且clvs的第一图片是帧内随机接入点(“irap”)图片时，存在avesei消息以用于irap图片。avesei消息针对按解码顺序的当前层从当前图片持续到clvs结束为止。应用于相同的clvs的avesei消息中的所有实例都具有相同的内容。可替代地，avesei消息的范围是编码的视频序列或视频的一些其他部分。
图8中所示的avesei消息提供关于参考观看环境中的周围光照的特性的信息。与一些其他类型的sei消息不同，图8中示出的avesei消息不提供关于色彩转换的信息，这些色彩转换适用于在具有与控制显示设备的色彩容量不同的色彩容量的显示设备上保留创造性的内容。
e.替代方案
在上面描述的示例中，总体而言，元数据描述了参考观看环境的一个或多个标定照明条件。可替代地，参考观看环境包括多个区域，并且针对多个区域中的每一个，元数据包括指定适用于该区域的标定照明条件中的那些照明条件的一个或多个参数。例如，多个区域包括在参考观看环境中的观看者的期望位置之后的第一区域，和在参考观看环境中的观看者的期望位置之前的第二区域。或者，多个区域包括参考观看环境中的观看者的预期位置之后的第一区域，和在参考观看环境中观看者的期望位置之前并且在参考显示设备之后的第二区域。利用这样的元数据，接收机系统可以对观看环境的不同区域中的光照进行区分，并且可以取决于观看者的位置以不同的方式来调整采样值(例如，关注在观看者的预期位置之前并且在参考观看环境中的参考显示设备之后的周围光照的特性)。
在上面描述的许多示例中，描述参考观看环境的标定照明条件的元数据包括参数的单个集合。可替代地，可以生成、用信号发送、解析并且选择性地使用多个参数的集合，其中参数的每一个集合指示如何以针对不同的假设观看环境定制的方式来调节图像内容以用于显示。在接收到图像内容和元数据时，接收机系统可以标识实际观看环境的特性(例如，通过测量实际观看环境中的光照或通过应用由用户选择的预设设置或根据观看环境的类型来进行设置)。接收机系统可以选择不同的假设观看环境中的哪一个与实际观看环境最匹配。然后，使用针对所选择的假设观看环境定义的调整，接收机系统可以调整由实际显示设备呈现的视频的采样值(例如，调整强度和/或色彩特性)，以实现针对实际观看环境而适当调整的观看体验。
在上面描述的许多示例中，将描述参考观看环境的标定照明条件的元数据作为sei消息的一部分用信号发送。可替代地，以一些其他方式(例如，作为vui消息的一部分或者通过通信系统中的一些其他机制)来用信号发送这样的元数据。
考虑到可以应用所公开的发明的原理的许多可能的实施例，应当认识到，所示出的实施例仅仅是本发明的优选示例，而不应被视为限制本发明的范围。而是，本发明的范围由以上权利要求限定。因此，声明本发明的一切都在这些权利要求的范围和精神内。