自适应视频处理的制作方法

自适应视频处理的制作方法
【专利摘要】本发明公开了一种自适应视频处理方法和装置，该自适应视频处理方法和装置可通过解码流水线和/或编码流水线来实现。该自适应视频处理方法在处理视频内容并针对环境设置或环境中的目标显示面板对其进行再现时可将包括视频内容、显示特征和环境条件的信息考虑在内。该自适应视频处理方法可使用该信息来调整如被应用于视频数据的一个或多个视频处理功能，以根据周围环境或查看条件针对目标显示面板来对适用于显示面板的视频进行再现。
【专利说明】
自适应视频处理
技术领域
[0001 ]本公开整体涉及数字视频或图像处理和显示。
【背景技术】
[0002] 包括但不限于个人计算机系统、台式计算机系统、膝上型电脑和笔记本式计算机、 平板电脑或平板设备、数码相机、数字视频录像机、和移动电话或智能电话的各种设备可包 括可实施一种或多种视频处理方法的软件和/或硬件。例如，设备可包括可根据一种或多种 视频处理方法来接收和处理来自一个或多个源的数字视频输入并输出经处理的视频帧的 装置(例如集成电路(1C)，诸如片上系统(S0C)、或1C的子系统）。又如，可在设备上实施可根 据一种或多种视频处理方法来接收和处理来自一个或多个源的数字视频输入并将经处理 的视频帧输出至一个或多个目的地的软件程序。
[0003] 例如，视频编码器可被实现为其中数字视频输入根据视频编码方法被编码或转换 为另一种格式例如压缩视频格式(诸如H. 264/高级视频编码(AVC)格式或H. 265高效视频编 码(HEVC)格式)的装置或另选的软件程序。又如，视频解码器可被实现为其中压缩视频格式 (诸如AVC或HEVC)的视频被接收并根据视频解码方法被解码或转换为另一(解压缩)格式例 如显示设备所使用的显示格式的装置或另选的软件程序。H.264/AVC标准被ITU-T公布于标 题为"ITU-T Recommendation Η.264:Advanced video coding for generic audiovisual services" 的文档中。H. 265/HEVC标准被ITU-T公布于标题为 "ITU-T Recommendation H.265:High Efficiency Video Coding"的文档中。
[0004] 在许多系统中，装置或软件程序可实现视频编码器部件和视频解码器部件两者； 诸如装置或程序通常被称为编解码器。需注意，编解码器可对视频流中的视觉/图像数据和 音频/声音数据两者进行编码/解码。
[0005] 常规地，在数字图像和视频处理中，数字图像（例如，视频图像或静态图像)被捕 捉、再现并显示在有限的动态范围内，其被称为标准动态范围（SDR)成像。此外，常规地使用 相对较窄的色域对图像进行再现以用于显示，其被称为标准色域(SCG)成像。扩展或高动态 范围（HDR)成像是指在电子图像(例如，被显示在显示屏或显示设备上的）中产生比使用标 准数字成像技术和工艺(被称为标准动态范围成像或SDR成像)所获取的更大范围亮度的技 术和工艺。许多新的设备诸如图像传感器和显示器支持HDR成像以及广色域(WCG)成像。这 些设备可被称为支持HDR的设备或被简称为HDR设备。

【发明内容】

[0006] 本公开描述了用于数字图像内容例如视频帧或视频流的自适应处理、再现和显示 的方法和装置的各种实施方案，其描述了可自适应地再现视频数据以用于显示给目标显示 面板的视频处理方法和装置的实施方案。自适应视频处理方法在处理视频内容并针对环境 设置或环境中的目标显示面板对其进行再现时可将各种信息考虑在内，该各种信息包括但 不限于视频内容、显示特征和环境条件，该环境条件包括但不限于环境照明和查看者相对 于显示面板的位置。自适应视频处理方法可使用该信息来调整如被应用于视频数据的一种 或多种视频处理功能(例如，噪声/伪影消减、缩放、锐化、色调映射、色域映射、帧率转换、白 点校正和/或黑点校正、色彩平衡等），以根据周围环境或查看条件针对目标显示面板来对 适用于显示面板的视频进行再现。
[0007] 在一些实施方案中，针对目标显示面板的自适应视频处理可在与目标显示面板相 关联的解码/显示模块或流水线中实现或通过其实现。这些实施方案可被称为显示器侧自 适应视频处理系统。在至少一些实施方案中，解码/显示流水线可接收经编码的视频流并对 用于目标显示面板的该经编码的视频流进行解码。可分析经解码的视频内容以确定视频的 帧内和/或帧间特征，例如亮度特征(例如，动态范围宽度）、色彩特征(例如，色彩范围）、帧 间运动、镜面高光、对比度、亮区和暗区等。可获取用于目标显示面板的一个或多个显示特 征。显示特征可包括但不限于以下各项中的一者或多者;所测量的响应、显示格式、显示动 态范围、位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增强或映射、当前 显示控件设置等。可获取有关目标显示面板的当前环境的信息。例如，包括显示面板的设备 可包括可用于从周围环境采集数据(例如，光照、查看者位置等）的一个或多个前向传感器 和/或后向传感器;所采集的数据可被分析以确定一个或多个环境指标。然后解码/显示流 水线根据内容特征、显示特征和当前环境信息来处理经解码的视频，以生成适用于目标显 示面板和当前环境的视频。
[0008] 在一些实施方案中，针对目标显示面板的自适应视频处理可在服务器/编码流水 线中实现或通过服务器/编码流水线实现。这些实施方案可被称为服务器侧自适应视频处 理系统。在至少一些实施方案中，服务器/编码流水线可获取用于目标显示面板的视频内 容。目标显示面板可支持高动态范围(HDR)和广色域(WCG)成像。服务器/编码流水线可获取 或确定输入视频内容的一个或多个特征。服务器/编码流水线可获取目标显示面板的显示 信息和/或环境信息，例如从目标显示面板在其上实现的示例性系统获取。显示信息可指示 显示特征，该显示特征可包括但不限于以下各项中的一者或多者:所测量的响应、格式、分 辨率、尺寸、动态范围、位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增 强或映射、当前显示控件设置等。环境信息可包括但不限于各种环境光照指标和查看者指 标诸如查看者相对于目标显示面板的位置。
[0009] 服务器/编码流水线可根据色域映射技术来将视频内容映射到目标显示面板的色 域。色域映射技术可根据所获取的信息而被选择、修改或调整。例如，可根据显示信息来将 源数据的色域映射到目标显示面板的位深度和色域。又如，在色域映射技术中所使用的曲 线、传递函数和/或查找表可基于一个或多个指标(包括但不限于由环境信息所指示的显示 面板处的当前环境光照指标)来修改或调整。
[0010] 服务器/编码流水线可根据色调映射技术来将视频内容映射到目标显示面板的动 态范围。色调映射技术可根据所获取的信息来调整。例如，可根据显示信息来将源数据的动 态范围映射到目标显示面板的位深度。又如，在色调映射技术中所使用的色调曲线和/或传 递函数可基于一个或多个指标(包括但不限于由环境信息所指示的显示面板处的当前环境 光照指标)来修改或调整。在一些实施方案中，代替全局色调曲线或除此之外，还可将视频 帧细分为多个区域，并且可至少部分地基于显示信息和/或环境信息来动态地选择针对每 个区域的局部色调曲线。
[0011] 服务器/编码流水线可对视频内容进行编码并将经编码的视频内容传输至与目标 显示面板相关联的解码/显示流水线。该解码/显示流水线对视频内容进行解码并显示。由 于到由目标显示面板所支持的动态范围和色域的显示面板特有的色调和色域映射在服务 器/编码侧执行，因此解码/显示流水线可无需任何更改或修改来支持HDR和/或WCG成像。
[0012] 一些实施方案可包括显示器亮度调整装置和方法，显示器的平均亮度可经由这些 装置和方法使用非线性函数按比例增加或减小。在施加非线性函数来降低亮度的情况下， 输出信号的对比度可不被降低，使得动态范围和高光区得以保持。例如响应于由一个或多 个传感器所检测到的环境光线水平，非线性亮度调整可自动执行，但这也可响应于对亮度 控制旋钮或滑块的用户调整而被执行。非线性亮度调整可全局地执行，或者另选地可对图 像或显示面板的局部区域执行。非线性函数可为分段线性函数或为某个其他非线性函数。
【附图说明】
[0013] 图1示出了根据一些实施方案的视频回放系统中的自适应视频处理。
[0014] 图2示出了根据一些实施方案的示例性解码/显示流水线中的自适应视频处理。 [0015]图3示出了根据一些实施方案的执行自适应视频处理的示例性解码/显示流水线。 [0016]图4示出了根据一些实施方案的执行自适应视频处理的示例性显示管和显示后 端。
[0017] 图5示出了根据一些实施方案的用于解码/显示流水线中的自适应视频处理的方 法的流程图。
[0018] 图6A和6B示出了相对于示例性显示面板的人类感知范围。
[0019]图7图形化地示出了根据一些实施方案的感知色彩管理。
[0020]图8示出了根据一些实施方案的在SDR输入视频中执行SDR到HDR转换以生成适用 于HDR显示的显示视频内容的示例性解码/显示流水线。
[0021]图9为根据一些实施方案的用于执行SDR到HDR转换视频以生成适用于HDR显示的 显示视频内容的方法的流程图。
[0022]图10示出了根据一些实施方案的其中服务器侧编码流水线生成适用于目标显示 面板的输出视频数据的示例性视频回放系统。
[0023]图11示出了根据一些实施方案的其中服务器侧编码流水线生成适用于目标显示 面板的输出视频数据的视频回放方法的流程图。
[0024] 图12示出了缩放系数为0.5的亮度(亮度)调整的输入输出关系。
[0025] 图13示出了根据至少一些实施方案的非线性亮度调整函数的输入输出关系。
[0026] 图14为根据至少一些实施方案的非线性亮度调整方法的流程图。
[0027] 图15为可被配置为实现本文所述系统和方法的各方面的片上系统(S0C)的一个实 施方案的框图。
[0028]图16为可包括一个或多个S0C的系统的一个实施方案的框图。
[0029] 图17示出了根据一些实施方案的可被配置为实现本文所述系统和方法的各方面 的示例性计算机系统。
[0030] 图18示出了根据一些实施方案的便携式多功能设备的框图。
[0031] 图19示出了根据一些实施方案的便携式多功能设备。
[0032] 尽管本发明易受各种修改形式和替代形式的影响，但附图中以举例的方式示出了 其具体实施方案并将在本文详细描述。然而，应当理解，附图和对其的详细描述并不是要将 本发明限制到所公开的具体形式，而相反，本发明旨在涵盖落入到本发明的实质和范围内 的所有修改形式、等同形式和替代形式。如在整个专利申请中所使用的那样，以允许的意义 (即，意味着具有可能性)而不是强制的意义（即，意味着必须)来使用"可以"一词。类似地， 字词"包括"（"include"，"including"，和"includes"）意味着包括但不限于。
[0033] 各种单元、电路或其他部件可被描述为"被配置为"执行一项或多项任务。在此类 上下文中，"被配置为"是通常意味着"具有"在操作期间执行一项或多项任务的"电路"的结 构的宽泛表述。如此，即使在单元/电路/部件当前未接通时，单元/电路/部件也可被配置为 执行该任务。通常，形成与"被配置为"对应的结构的电路可包括硬件电路。类似地，为了描 述中方便，可将各种单元/电路/部件描述为执行一项或多项任务。此类描述应当被解释成 包括短语"被配置为"。表述被配置为执行一项或多项任务的单元/电路/部件明确地旨在对 该单元/电路/部件不援引35U.S.C.§112,第六段的解释。
【具体实施方式】
[0034]本公开描述了用于数字图像内容例如视频帧或视频流的自适应处理、再现和显示 的方法和装置的各种实施方案。描述了可自适应地再现视频数据以用于显示给目标显示面 板的视频处理方法和装置的实施方案。自适应视频处理方法在处理视频内容并针对环境设 置或环境中的目标显示面板对其进行再现时可将各种信息考虑在内，该各种信息包括但不 限于视频内容、显示特征和环境条件，该环境条件包括但不限于环境照明和查看者相对于 显示面板的位置。自适应视频处理方法可使用该信息来调整如被应用于视频数据的一个或 多个视频处理功能(例如，噪声/伪影消减、缩放、锐化、色调映射、色域映射、帧率转换、白点 校正和/或黑点校正、色彩平衡等），以根据周围环境或查看条件针对目标显示面板来对适 用于显示面板的视频进行再现。
[0035]常规地，已设计出针对标准动态范围（SDR)成像的视频处理算法。随着高动态范围 (HDR)成像技术、系统和显示器的出现，针对HDR成像的视频处理技术的需求已出现。对于 HDR视频处理，可存在需要不同于使用SDR视频处理来完成的某些事情。例如，相比于SDR视 频，HDR视频可需要更有力的降噪，这可具有更易看见的抖动并且可需要不同锐度和细节增 强。因此，本文所述的自适应视频处理方法和装置的实施方案可实现针对HDR成像的视频处 理技术。此外，实施方案还可支持广色域(WCG)成像。
[0036]通常定义的动态范围为诸如像声音和光之类的信号中的可改变量的最大可能值 和最小可能值之间的比率。在数字图像处理中，高动态范围（HDR)图像是使用HDR成像技术 产生的图像，该HDR成像技术产生比使用标准数字成像技术所获取的更大范围亮度。例如， HDR图像可包括比常规图像处理中所使用的（通常，每个通道8位，例如针对色彩/色度和针 对亮度的8位)每个通道的更多个位(例如，每个亮度和色度通道10、12、14或更多个位），或 者针对亮度(亮度通道)的更多个位。使用标准数字成像技术所产生的图像可被称为具有标 准动态范围（SDR)，并且通常使用每个通道8位。通常定义的色调映射是将一组色调图像值 (例如，来自HDR图像数据的亮度值)映射到另一组色调图像值(例如，到SDR图像数据）的技 术。色调映射可用于例如粗略估算HDR图像在具有更有限动态范围的介质（例如，SDR)中的 外观。色调映射通常可被应用于亮度图像数据。
[0037]在如本文所述的视频处理方法和装置的一些实施方案中，全局色调映射(GTM)技 术可用于将视频内容从一个动态范围转换到另一个动态范围。在GTM技术中，全局色调曲线 可针对一个或多个视频帧来指定或确定并且用于将视频内容从一个动态范围转换到另一 个动态范围。在一些实施方案中，代替GTM技术或除此之外，局部色调映射(LTM)技术可用于 将视频内容从一个动态范围转换到另一个动态范围。在LTM技术中，图像或帧被分为多个区 域，其中针对每个区域来指定或确定色调曲线。
[0038]通常定义的色域是指色彩的特定子集，例如可在给定情况下诸如在给定色彩空间 (例如，RGB色彩空间）内准确表示或由显示设备准确表示的色彩的子集。色域还可涉及在图 像内存在的整组色彩。色域映射技术可用于例如将在一个色彩空间中所表示的色彩转换为 再另一色彩空间中所使用的色域。色域映射技术(也可被称为色彩或色度映射)可被应用于 图像数据(通常被应用于色度图像数据），并且在一些情况下可缩窄或缩减图像的色域，或 者另选地可用于在色调映射期间或之后修正或调整图像的色域或范围。
[0039]在光度学中，亮度的SI单位是坎每平方米(cd/m2)。坎是发光强度的SI单位。相同 单位的非SI术语是"NIT"。勒克斯(lux)是用于测量每单位面积的光通量(流明）的照度和发 光度的SI单位。勒克斯等于一流明每平方米。流明是光通量的SI导出单位，并且是由光源发 出的可见光的度量。
[0040] 自适应视频处理系统
[0041 ]图1示出了根据一些实施方案的示例性视频回放系统中的自适应视频处理。自适 应视频处理方法和装置的实施方案例如可在包括服务器/编码模块或流水线110和解码/显 示模块或流水线130的视频回访系统中实现。服务器/编码流水线110和解码/显示流水线 130可在相同的设备中实现，或者可在不同的设备中实现。服务器/编码流水线110可在包括 至少一个视频源100诸如一个或多个摄像机的设备或系统中实现。解码/显示流水线130可 在包括目标显示面板140并定位在周围环境190中的设备或系统120中实现。一个或多个人 类查看者180可位于周围环境190中。系统120可包括或可实施用于显示面板140的一个或多 个控件160,例如亮度和对比度控件。系统120还可包括一个或多个传感器150,诸如光传感 器或相机。周围环境190例如可以是房屋中的房间（卧室、私室等）、室外设置、办公楼中的办 公室或会议室，或者一般来说，具有显示面板140的系统120可存在于其中的任何环境。周围 环境190可包括一个或多个光源192,诸如电灯或吊灯、其他人工光源、窗户和室外环境中的 阳光。需注意，系统120和/或显示面板可在周围环境190内移动或重新定位，或者从一个周 围环境190(例如，房间)移动到另一个周围环境(例如，另一房间或室外环境）。
[0042]在至少一些实施方案中，服务器/编码流水线110可从视频源100(例如，来自包括 服务器/编码流水线110的设备或系统上的摄像机)接收输入视频，根据视频编码方法将输 入视频转换为另一格式例如压缩视频格式(诸如H. 264/高级视频编码(AVC)格式或H. 265高 效视频编码(HEVC)格式），并且将经编码的视频流式传输112至解码/显示流水线130。解码/ 显示流水线130可接收经编码的视频流112并对其进行解码以生成显示视频132以用于显示 在显示面板140上。在一些实施方案中，描述编码的元数据114也可由服务器/编码流水线 110提供至解码/显示流水线130。例如，元数据可包括用于描述对视频内容所执行的色域映 射和/或色调映射操作的信息。在一些实施方案中，元数据114可被解码/显示流水线130用 于处理输入视频流112，以生成输出显示视频132内容。
[0043]图1所示的视频回放系统可实现如本文所述的一个或多个自适应视频处理方法和 装置，其在处理视频内容并针对目标显示面板140对该环境设置或环境190中的该视频内容 进行再现时可将各种信息考虑在内，包括但不限于视频内容、显示信息142(例如，显示面板 140特征、控制输入162、背光水平等）和环境信息152(例如，环境光照192、查看者180位置 等）。自适应视频处理方法和装置可使用从传感器150、显示面板140或从其他来源获取的信 息来调整一个或多个视频处理功能（例如，噪声/伪影消减、缩放、锐化、色调映射、色域映 射、帧率转换、白点校正和/或黑点校正、色彩平衡等），这些视频处理功能被应用于视频数 据，以针对目标显示面板140对适用于显示面板140的特征和环境190中的周围查看条件的 视频进行再现。
[0044] 在一些实施方案中，针对目标显示面板140的自适应视频处理可在解码/显示流水 线130中实现或通过该解码/显示流水线130实现。这些实施方案可被称为显示器侧自适应 视频处理系统。在一些实施方案中，针对目标显示面板140的自适应视频处理可在服务器/ 编码流水线110中实现或通过该服务器/编码流水线110实现。这些实施方案可被称为服务 器侧自适应视频处理系统。在一些实施方案中，一些自适应视频处理功能可在将经编码的 视频流式传输至解码/显示流水线130之前由服务器/编码流水线110来执行，其中附加自适 应视频处理由解码/显示流水线130来执行。
[0045] 包括但不限于本文所述的服务器/编码流水线110部件和解码/显示流水线130部 件的自适应视频处理方法和装置的实施方案可例如在包括一个或多个图像捕获设备和/或 一个或多个显示设备的设备或系统中实现。
[0046]图像捕获设备可以是包括能够捕获数字图像或视频的光学传感器或感光器的任 何设备。图像捕获设备可包括但不限于摄像机和静态图像相机，以及可捕获视频和单一图 像的图像捕获设备。图像捕获设备可以是独立的设备或者可以是集成到其他设备(包括但 不限于智能电话、手机、PDA、平板电脑或平板设备、多功能设备、计算设备、膝上型计算机、 笔记本电脑、上网本、台式计算机等）中的相机。需注意，图像捕获设备可包括适用于小型设 备诸如手机、PDA和平板设备的小外形相机。图15到19示出了可包括如本文所述的图像捕获 设备或相机的设备的非限制性不例。
[0047]显示器或显示设备可包括显示屏或面板，这些显示屏或面板集成到其他设备中， 该其他设备包括但不限于智能电话、手机、PDA、平板电脑或平板设备、多功能设备、计算设 备、膝上型计算机、笔记本电脑、上网本、台式计算机等。显示设备还可包括视频监视器、投 影仪，或者一般来说，可显示或投射数字图像和/或数字视频的任何设备。显示器或显示设 备可使用LCD(液晶显示器)技术、LH)(发光聚合物显示器)技术、或LED(发光二极管)技术， 尽管也可使用其他显示技术。
[0048]自适应视频处理方法和装置的实施方案通常被描述为支持对HDR视频数据进行捕 获、处理、编码、分配并显示给支持HDR的显示设备。此外，实施方案还可支持广色域(WCG)成 像。然而，本文所述的自适应视频处理方法和装置的实施方案还可应用于不支持HDR成像的 显示设备。此外，一些实施方案可支持将标准动态范围（SDR)视频数据显示给支持HDR的显 示设备和不支持HDR成像的显示设备中的一者或两者。
[0049]自适应视频处理方法和装置的实施方案在本文中通常被描述为处理视频帧或序 列。然而，代替视频帧或序列以及其他数字图像或除此之外，实施方案还可应用于处理单一 图像或静态图像。因此，在本文中使用"视频"、"视频帧"、"帧"等时，应当理解，这些术语一 般来说是指数字图像。
[0050] 图15到19示出了自适应视频处理方法和装置的实施方案可于其中实现的设备的 非限制性示例。包括图像捕获设备和/或显示设备的设备或系统可包括实现处理本文所述 视频数据的功能的至少一部分的硬件和/或软件。在一些实施方案中，本文所述功能的一部 分可在一个设备上实现，而其他部分可在另一设备上实现。例如，在一些实施方案中，包括 图像捕获设备的设备可实现对经由感光器捕获的图像或视频进行处理和压缩(即，编码）的 传感器流水线，而包括显示面板或显示屏的另一设备可实现对经压缩的图像进行接收和处 理（即，解码）以用于显示给显示面板或显示屏的显示流水线。在一些实施方案中，本文所述 的功能中的至少一些功能可由可用于设备中的片上系统(S0C)的一个或多个部件或模块来 实现，这些设备包括但不限于多功能设备、智能电话、平板电脑或平板设备和其他便携式计 算设备诸如膝上型电脑、笔记本电脑和上网本等。图15示出了示例性S0C，并且图16示出了 实现S0C的示例性设备。图17示出了可实现本文所述方法和装置的示例性计算机系统。图18 和19示出了可实现本文所述的方法和装置的示例性多功能设备。
[0051] 显示器侧自适应视频处理
[0052] 再次参见图1，在一些实施方案中，针对目标显示面板140的自适应视频处理可在 解码/显示流水线130中实现或通过该解码/显示流水线130实现。这些实施方案可被称为显 示器侧自适应视频处理系统。解码/显示流水线130可例如在包括目标显示面板140并定位 在周围环境190中的设备或系统120中实现。
[0053]图5示出了根据一些实施方案的用于解码/显示流水线中的显示器侧自适应视频 处理的方法的流程图。如在图5的500处所指出的，解码/显示流水线可针对目标显示面板对 经编码的视频流进行接收和解码。例如，来自服务器/编码流水线的经编码的HDR视频数据 可由解码/显示流水线接收；目标显示面板可以是支持HDR的显示设备。例如可根据压缩视 频如H.264/AVC或H.265/HEVC格式来对视频数据进行编码。解码/显示流水线的解码器部件 可对经编码的视频进行解码以生成经解码的HDR视频内容。
[0054]如在图5的502处所指出的，可确定经解码的视频内容的一个或多个特征。例如，在 一些实施方案中，可分析经解码的视频内容以确定视频的帧内和/或帧间特征，例如亮度特 征(例如，动态范围）、色彩特征(例如，色彩范围）、帧间运动、镜面高光、对比度、亮区和暗区 等。
[0055]如在图5的504处所指出的，可获取于目标显示面板的一个或多个显示特征。显示 特征可包括但不限于以下各项中的一者或多者:所测量的响应、显示格式、显示动态范围、 位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增强或映射、当前显示控 件设置等。
[0056]如在图5的506处所指出的，可获取环境信息。例如，在一些实施方案中，包括显示 面板的设备可包括可用于从周围环境采集数据的一个或多个前向传感器和/或后向传感器 (例如，相机、光传感器等）；所采集的数据可被分析以确定一个或多个环境指标。环境指标 可包括但不限于各种环境光照指标和查看者指标诸如查看者相对于显示面板的位置、显示 面板的尺寸和距显示面板的距离。环境光照指标例如可包括有关入射到显示面板的光、来 自显示面板的反射光水平的指标，以及查看者/用户面对的视野(或背景）的指标(例如，亮 度、色彩、白点等）。
[0057]如在图5的508处所指出的，解码/显示流水线可根据内容特征、显示特征和当前环 境信息来处理经解码的视频，以生成适用于显示面板和当前环境的视频。在一些实施方案 中，基于内容特征、显示特征和环境指标，可调整解码/显示流水线的一个或多个视频处理 功能(例如，噪声/伪影消减、缩放和锐化、帧率转换、显示管理、色域和色调映射等），以使经 解码的HDR视频内容适用于显示在目标显示面板上。如在图5的510处所指出的，经处理的视 频可被显示给目标显示面板。
[0058]尽管在图5中未示出，但在一些实施方案中，解码/显示流水线可包括使其他数字 信息诸如文本与流式视频内容复合的复合部件。在一些实施方案中，解码/显示流水线可将 输入视频转换为线性色彩空间（例如，线性RGB或YCC色彩空间），以用于在图5的元件508之 前复合。然后可根据内容特征、显示特征和当前环境信息来处理复合部件的输出，以生成适 用于显示面板和当前环境的视频。
[0059]参考图1到图4对图5的元件进行更加详细的描述。
[0060] 再次参见图1，在显示器侧自适应视频处理系统的实施方案中，解码/显示流水线 130可获取经编码的视频流112、显示信息142A和环境信息152A并将以下各项中的一者或多 者考虑在内，包括但不限于视频内容、显示面板特征、查看者180相对于目标显示面板的位 置、环境光照192和在执行HDR视频处理时显示面板140处的其他周围环境190条件。可在解 码/显示流水线130处从服务器/编码流水线110接收经编码的HDR视频数据112并进行解码。 在一些实施方案中，可分析经解码的视频数据以确定例如亮度特征(例如，动态范围）、色彩 特征(例如，色彩范围）、帧间运动、镜面高光、对比度、亮区和暗区等。基于对视频内容的分 析，可调整解码/显示流水线130的一个或多个视频处理功能(例如，噪声/伪影消减、缩放和 锐化、帧率转换、显示管理等），以使视频内容适用于显示在目标显示面板140上。在一些实 施方案中，还可考虑目标显示面板140的一个或多个显示特征(例如，显示格式、动态范围、 位深度、背光水平、白点、当前控件160设置等），从而调整视频处理功能。
[0061] 在一些实施方案中，替代性地或除此之外，还可根据对由位于目标显示面板140处 或其附近的一个或多个传感器150(例如，相机、光传感器等)所检测到的显示面板的一个或 多个当前环境条件的分析来动态地调整视频处理功能以使显示视频动态地适用于当前环 境190。在一些实施方案中，可至少部分地基于由一个或多个传感器150所检测到的一个或 多个查看者180特征诸如相对于显示面板140的位置、距离和查看角度来调整视频处理功 能。在一些实施方案中，可经由一个或多个传感器150来获取有关显示面板140的环境190的 信息152A诸如环境光线192水平，并且可至少部分地基于所获取的环境信息152A来调整视 频处理功能以使显示视频适用于周围环境190。
[0062]在一些实施方案中，可获取并使用其他信息来调整解码/显示流水线130中的视频 处理，以使显示视频以查看者的想法或查看意图为目标，其可被称为查看模式。例如，在一 些实施方案中，可使用光照、位置、当日时间、生物识别和/或其他数据来自动确定视频的查 看模式。所确定的查看模式继而可用于调整视频处理功能中的一种或多种视频处理功能， 以使显示视频适用于查看模式。查看模式的范围可从平静或轻松查看模式到影片或动态查 看模式。在一些实施方案中，替代性地或除此之外，还可使用用户输入(例如，经由显示面板 控件、遥控器、智能电话应用程序等)来确定或调整查看模式。
[0063] 在一些实施方案中，除了执行上述解码/显示流水线130中的显示器侧自适应视频 处理之外，还可将由系统120所采集的至少一些环境信息152B和/或显示信息142B向上流式 传输至视频回放系统中的服务器/编码流水线110。服务器/编码流水线110继而可将包括但 不限于显示面板140特征、查看者180相对于目标显示面板的位置、环境光照192和在对从来 源100获取的视频内容进行处理和编码时显示面板140处的其他周围环境190条件中的一者 或多者考虑在内，以生成经编码的视频流112。例如，在一些实施方案中，解码/显示流水线 130可用于实时流式传输、录制或视频捕获环境，并且系统120可将一个或多个显示器侧指 标142B和152B馈送回到服务器/编码流水线110,使得流水线110可在处理来自来源100的输 入视频内容时相应地调整或调整一个或多个编码功能，以生成经编码的视频流112。
[0064]图2到4示出了可实现本文所述的自适应视频处理方法的示例性显示器侧部件和 流水线。
[0065]图2为图形化地示出了根据一些实施方案的示例性解码/显示流水线处理中的自 适应视频处理方法的应用程序的框图。需注意，图2示出了高功能水平的示例性解码/显示 流水线210,其并非旨在进行限制。在该示例中，流水线210实现噪声伪影消减212、缩放和锐 化214、帧率转换216和显示管理218功能。流水线210处理输入视频200以生成显示视频232 作为输出。如图2所示，包括视频200内容的特征、显示面板240特征和环境条件(包括但不限 于查看者位置和环境光照）的信息可被输入到流水线210的一个或多个阶段并在该一个或 多个阶段处使用，以在当前环境条件下自适应地再现视频内容，以用于显示到目标显示面 板240。在至少一些实施方案中，解码/显示流水线210可被配置为处理HDR视频200输入，以 生成用于目标显示面板240的HDR显示视频232。然而，替代性地或除此之外，解码/显示流水 线210还可被配置为处理SDR视频200输入，以生成SDR显示输出232。
[0066] 对于HDR视频处理，可存在需要不同于利用标准（SDR)视频来完成的某些事情。通 常，对于更明亮的图像，阴影区或暗区中的噪声变得更易看见。因此，在HDR视频处理中，可 能需要解码/显示流水线210执行更有力的噪声/伪影消减212。此外，对于更明亮的图像和 yi ' dong，在HDR视频帧中可能存在更多的抖动，这可能导致人眼难以追踪的模糊外观。因 此，对于解码/显示流水线210中的HDR视频处理，可能需要以与在SDR视频处理中不同的方 式执行缩放和锐化214以及帧率转换216。
[0067] 常规地，视频处理流水线已经由到各种控件或用户界面(UI)元件的用户输入而受 到控制，并且在再现用于显示的视频时，并不动态地自适应于指标诸如视频内容、显示特 征、人眼查看距离和角度以及环境光照条件。如图2所示，解码/显示流水线210的实施方案 可利用从输入视频200内容、显示面板240和环境(包括但不限于查看者位置和环境条件诸 如环境光照)采集或生成的指标来使视频内容动态地适应于在不同查看环境和条件中j'x 显示。此外，可使用指标来优化视频处理功能或模块中的HDR视频处理，这些视频处理功能 或模块包括但不限于噪声/伪影消减212、缩放和锐化214、帧率转换216和显示管理218功能 或模块。
[0068]参考图2,输入视频200数据可被馈送到内容特征220块或模块。模块220可分析视 频内容以确定例如动态范围有多宽、帧间或场景间存在多少运动、色彩范围、镜面高光区、 对比度、亮区和暗区等。此外，可获取用于目标显示面板240的一个或多个显示特征230。显 示特征230可包括但不限于以下各项中的一者或多者;所测量的响应、显示格式、显示动态 范围、位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增强或映射、当前显 示控件设置等。至少部分地基于对视频内容和显示特征的分析，某些控件可确定并相应地 探究视频处理模块中的不同模块(例如，噪声/伪影消减212、缩放和锐化214、帧率转换216 和显示管理218)来调整输入视频200的处理，以生成用于目标显示面板240的HDR显示视频 232〇
[0069] 在HDR视频处理中考虑的重要因素是人的感知。如果人眼查看距离/角度是已知 的，则可完成可提高查看者体验的若干事情。因此，设备可包括一个或多个传感器250和软 件/硬件(查看者位置260模块），以用于检测和分析人类(查看者)位置、距离和查看角度。流 水线210中的一个或多个模块可利用该信息根据查看者位置来调整对HDR视频内容的显示。 例如，在锐化图像时，如果查看者非常靠近显示面板240，则图像可能看起来很糟糕。因此， 如果检测到查看者距显示面板240相对较近，则可减轻锐化。
[0070] 除查看者位置之外，其他环境信息包括但不限于环境光照在HDR视频处理中也可 以很重要。如果环境光照条件是已知的，则可完成可提高查看者体验的若干事情。因此，设 备可包括一个或多个传感器250和软件/硬件(环境条件270模块），以用于检测和分析环境 光照条件。流水线210中的一个或多个模块可利用该信息根据周围环境来调整对HDR视频内 容的显示。例如，在将色调映射和/或色域映射应用于用于显示的视频内容时，可基于对当 前环境光照的分析来动态地调整映射。
[0071] 因此，描述了可采集并分析视频内容、查看者、显示和环境指标并且使用该信息来 调整流水线210中的输入HDR视频200内容的处理以在目标显示面板240处生成调整到当前 条件的显示视频232输出的解码/显示流水线210的实施方案。在解码/显示流水线210的一 些实施方案中，可自动执行使显示适应于当前条件的各种指标的采集和分析以及流水线中 的视频处理模块的调而无需人为干预，以动态地、自动地提供改进的或优化的视觉体验。可 自动检测并使用条件(例如，查看者位置、环境光线、视频内容、显示特征、显示设置等)的变 化来实时地或近实时地响应性调整对HDR视频内容的再现和显示。
[0072]图3和4示出了可执行视频内容的显示器侧处理并且可实现参考图1和2所述的显 示器侧自适应视频处理方法的实施方案的示例性解码/显示流水线的部件。
[0073]图3示出了根据一些实施方案的可执行自适应视频处理的示例性解码/显示流水 线。系统300可包括但不限于显示面板340、解码显示流水线310、以及一个或多个传感器 350。解码/显示流水线310可包括但不限于解码器312部件或模块、视频管314部件或模块、 帧率转换316部件或模块、显示管320部件或模块、以及显示后端330部件或模块。参考图2， 视频管314可执行噪声/伪影消减212和缩放/锐化214功能，并且帧率转换316模块可执行帧 率转换功能。如图2所示的显示管理218可包括显示管320部件和显示后端330部件。图4示出 了示例性显示管和显示后端。
[0074] 参考图3,可在解码/显示流水线310的解码器312部件处接收经编码的HDR视频流 (例如，H. 264/AVC或H. 265/HEVC经编码的视频流）。解码器312可对输入视频进行解码/解压 缩，以生成被馈送至视频管314的HDR视频内容。视频管314可对视频内容执行视频处理任 务，包括但不限于噪声/伪影消减、缩放、锐化和色彩处理。在一些实施方案中，帧率转换316 部件可通过在现有帧之间生成一个或多个中间视频帧来将视频管314的视频输出转换到较 高帧率。转换到较高帧率例如可有助于补偿可能出现在HDR视频中的抖动。帧率转换316部 件的输出可被馈送到可执行包括但不限于缩放、色彩空间转换、色域调整和色调映射等视 频处理任务的显示管320中。显示后端330继而可执行附加视频处理任务，包括但不限于色 彩(色度)和色调(亮度)调整、背光调整、伽玛校正、白点校正、黑点校正和时空抖动，以生成 到目标显示面板340的显示视频332输出。
[0075]如图3所示，经解压缩的视频内容可通过视频内容分析370模块处理，以生成视频 内容信息372。此外，可获取用于目标显示面板340的显示信息342。此外，可例如经由位于显 示面板340处或其附近的一个或多个传感器350来获取环境信息352包括但不限于查看者指 标(例如，位置)和周围环境指标(例如，环境光照指标）。视频内容信息372、显示信息342和/ 或环境信息352可输入到解码/显示流水线310中的一个或多个部件或模块并由其使用，以 根据该信息来动态地调整由一个或多个模块所执行的一个或多个视频处理功能。因此，可 检测、分析并使用当前条件（例如，查看者位置、环境光线、视频内容、显示特征、显示设置 等)来使对HDR视频内容的再现和显示实时地或近实时地动态适应于目标显示面板340。 [0076]尽管在图3中未示出，但在一些实施方案中，解码/显示流水线310可包括使其他数 字信息诸如文本与流式视频内容复合的复合部件。在一些实施方案中，解码/显示流水线 310可将输入视频转换为线性色彩空间（例如，线性RGB或YCC色彩空间）以用于复合。复合部 件的输出继而可适用于本文所述的显示和周围环境。
[0077]图4示出了根据一些实施方案的可执行显示器侧自适应视频处理的示例性显示管 420和显示后端430。图3所示的视频管的输出被馈送到显示管420中，该显示管可执行垂直 缩放和水平缩放422以将视频帧转换为目标显示面板分辨率。然后可执行色彩空间转换 424，以将经缩放的视频内容从输入视频内容的色彩空间（例如，RGB、YCC或XYZ色彩空间)转 换到另一色彩空间（例如，YCC色彩空间）。然后可对视频内容执行色域调整426,以将视频内 容的色彩(色度)部件调整到目标显示面板的色域。然后可执行另一色彩空间转换424,以将 视频内容转换为显示后端430的色彩空间（例如，RGB色彩空间）。经显示管420处理的视频内 容继而被提供至显示后端430。
[0078] 显示后端430可对视频内容执行附加的显示面板特有的视频处理任务。在显示后 端430的一些实施方案中，环境自适应像素调整431部件可响应于包括但不限于一个或多个 环境光线指标的环境条件来调整视频内容中的像素值。在一些实施方案中，环境自适应像 素调整431可涉及例如在YCC色彩空间中分别调整视频内容的色度（色彩）部件和亮度（亮 度）部件。在一些实施方案中，色域映射和色调映射技术可用于根据环境条件来调整像素 值。例如，可根据环境条件来修改用于色域或色调映射技术的曲线或传递函数。
[0079]在显示后端430的一些实施方案中，动态面板背光调整432部件可根据视频帧内容 来调整目标显示面板的背光水平。在一些实施方案中，作为全局背光调整的替代形式，可根 据区域内容来动态地调整针对视频帧的不同区域的背光水平。例如，针对视频帧的亮区的 背光水平可高于针对视频帧的相对较暗区的背光水平。
[0080]在显示后端430的一些实施方案中，可执行面板伽玛校正433来调整视频内容的亮 度，以在目标显示面板上正确显示。然后可执行白点校正434,以将视频内容的白点校正为 目标显示面板的白点。在显示后端430的一些实施方案中，然后可将空间（在帧内）和/或时 间（在两个或更多个帧间）抖动施加于视频内容，以消减或消除所显示的视频内容中的伪影 (例如，带型）。
[0081]如图4所示，一个或多个数据采集和分析模块450可动态地采集并分析视频内容、 显示特征和环境条件(例如，环境光线），以生成可输入到显示管420和/或显示后端430中的 一个或多个部件或模块并由其使用的视频内容信息472、显示信息442和/或环境信息452， 以便根据该信息来动态地调整由一个或多个模块所执行的一个或多个视频处理功能。 [0082] 使用感知色彩管理的环境自适应再现
[0083]人类视觉系统具有广勒克斯范围。然而，在任何给定时间，人类视觉仅适用于该范 围的一小部分。本文所述的自适应视频处理方法和装置的至少一些实施方案可检测并分析 包括但不限于环境光照的周围环境条件，以根据当前条件来确定人类视觉的当前范围，并 且可使目标显示面板的视频内容的再现和显示适用于根据当前条件的范围。该过程可被称 为环境自适应再现。在一些实施方案中，可对自适应视频处理流水线的显示器侧执行环境 自适应再现。例如，在一些实施方案中，环境自适应再现可通过图1到5所示的解码/显示流 水线来实现。
[0084] 图6A和6B示出了相对于示例性显示面板的人类感知范围。图6A示出了在昏暗环境 中的显示器的感知范围。图6B示出了在较明亮环境中的显示器的感知范围。如图6A中曲线 所示，人类感知是非线性的。然而，人类视觉具有广勒克斯范围，从星光（ΠΓ 4勒克斯)到直射 日光（1〇4勒克斯）。然而，在任何给定时间，人类视觉仅适用于该范围的一小部分并且通常 适应最亮的刺激或对象。在任何给定适应水平，仅存在约256种人类视觉系统可辨别的不同 水平的强度。图6A示出了相当昏暗环境中的相当明亮的显示；该显示相当好地模拟了人类 视觉。垂直轴线表示256个感知水平（强度）。基座区域是难以正确再现的区域。基座区域包 括由于黑色的显示泄漏以及离开显示面板的反射光致使显示器无法实现的灰色阴影，并且 示出了显示器上在视觉感知上不同于纯黑色的黑暗程度。
[0085]图6B示出了人类感知到较亮环境的映射，在该较亮环境中显示器仅可激起人类感 知的一部分。曲线的指示为显示范围的一部分仅激起不足人类视觉范围的一半。显示器的 感知响应不同于其所测量的响应。因此，存在可在显示器上表示的动态范围的极限。
[0086]如前所述，在给定适应水平，仅存在约256种人类视觉系统可辨别的不同水平的强 度。环境自适应再现方法的实施方案可检测并分析包括但不限于环境光照的周围环境条 件，以根据当前条件来确定人类视觉的当前范围，并且可使用本文所述的感知色彩管理系 统使目标显示面板的视频内容的再现和显示适用于根据当前条件的范围。
[0087]在至少一些实施方案中，环境自适应再现可根据色彩外观模型和色彩管理系统来 执行。色彩管理系统可根据色彩外观模型来控制包括但不限于相机设备和显示设备等各种 设备的色彩表示之间的转换。广义定义的色彩外观模型为描述通常可使用三个或四个值或 色彩分量表示色彩的方式的数学模型。色彩外观模型可限定色彩外观(例如，亮度(亮度）、 明度、色彩度、色度、饱和度和色调）的尺寸。色彩外观模型还可限可被施加于色彩分量的定 一种或多种变换或变换函数，诸如色适应变换。色适应通常被定义为用于在不同光照度下 查看物体时补偿白点变化的人类视觉系统的动态机制。在色彩外观模型中，可使用色适应 变换来模拟人类视觉系统的色适应。可用于实施方案中的示例性色彩外观模型为 CIECAM02,其由国际照明委员会(CIE)技术委员会8-01(用于色彩管理系统的色彩外观模 型)所公布。
[0088]常规的色彩管理系统可将源（例如，视频）意图映射或匹配于测量显示响应，例如 使用色域(色彩或色度)和伽马(色调或亮度)映射技术：
[0089] 源_>所测量的显示
[0090] 然而，如上所述，人类查看者所感知到的显示的响应可不同于显示器的所测量的 响应。因此，自适应视频处理系统中的环境自适应再现方法的实施方案可将附加匹配步骤 添加到映射过程：
[0091] 源-> 所测量的显示-> 适应性视觉
[0092] 其中适应性视觉为例如由本文所述自适应视频处理方法和装置所确定的当前环 境条件(例如，环境光线水平）下的人类感知范围，并且其中映射（由箭头所指出的）可包括 色彩外观模型的变换(例如，色适应变换）。在映射过程中包括该附加步骤的经修改的色彩 管理可被称为感知色彩管理系统。感知色彩管理系统的色彩外观模型可被称为感知色彩模 型或感知模型。
[0093]图7图形化地示出了根据一些实施方案的环境自适应再现系统700中的高水平感 知色彩管理。如在常规色彩管理中，可根据显示信息730来将源视频内容720A映射702到所 测量的显示响应范围，以生成视频内容720B。然而，应用附加映射704以使显示响应适用于 所确定的适应性人类视觉范围，从而根据环境信息740和显示信息730来生成适用于当前查 看条件的输出视频720C。在一些实施方案中，附加映射704可涉及给定环境中的理想人类视 觉(例如，图7B中的曲线）和显示面板根据显示面板的所测量的响应实际表示的一部分(例 如，图7B中的显示范围)之间的差值的倒数的卷积。
[0094] 在一些实施方案中，可在视频回放系统的显示器侧实现环境自适应再现系统700。 例如，在一些实施方案中，环境自适应再现可通过图1到5所示的视频回放系统的解码/显示 流水线的一个或多个部件来实现。
[0095]可获取并馈送到在环境自适应再现系统700中实现的感知色彩管理系统的感知色 彩模型中的信息可包括但不限于显示信息730(例如各种显示特征和设置)和环境信息740 (包括但不限于查看者信息和光照信息）。该信息的一部分可为静态的（例如，显示特征，诸 如位深度和尺寸），而其他信息可为动态的（例如，当前显示设置、背光水平、环境光线、反射 光、查看者方位、查看者位置等）。可采集并使用该信息以根据被应用于感知色彩模型的当 前环境条件自适应地再现用于进行显示的视频内容720。在一些实施方案中，包括由环境自 适应再现系统700使视频内容720所适应的显示面板的设备可包括能够用于采集用于感知 色彩模型的信息730和740的至少一部分的一个或多个传感器，例如环境光传感器、相机、运 动检测器等。
[0096]下文描述了根据一些实施方案的可获取并输入到环境自适应再现系统700中的感 知色彩模型的各种测量、指标或特征。然而，此列表并不旨在进行限制：
[0097] ?显示器的物理尺寸和其他静态特征。
[0098] ?测量。可针对一种类型的显示面板来预测量这些指标或者可针对单个显示面板 来测量这些指标：
[0099]-显示面板的所测量的响应-针对每个色彩(例如，RGB)通道的来自源视频内容的 输入水平和显示面板的光输出水平之间的映射。
[0100]-显示面板的所测量的本机白点。
[0101 ]-来自显示面板的所测量的漏光(促成图6A所示的基座）。
[0102] -离开显示面板的所测量的发射光(促成图6A所示的基座）。
[0103] -显示器的所测量的最大(和最小)背光水平。
[0104] ?环境指标，该环境指标例如由一个或多个传感器来捕获或根据由一个或多个传 感器所捕获的数据来确定。包括显示面板的设备还可包括一个或多个传感器。传感器可包 括但不限于环境光传感器、彩色环境光传感器和相机中的一者或多者。光传感器和相机可 包括一个或多个后(朝向查看者或用户）向传感器和/或一个或多个前(背向查看者或用户） 向传感器：
[0105] -当前照射显示面板的光。这可针对每个色彩通道来确定。
[0106] -从显示器反射的光量。这可针对每个色彩通道来确定。
[0107] -查看者/用户所面对的视野或背景的指标(例如，亮度、色彩等）。
[0108] -查看者所适应的白点。
[0109] -一个或多个查看者相对于显示面板的位置(例如，距离、查看角度等）。在一些实 施方案中，包括显示面板的设备的面向用户相机可捕获查看者的图像，并且图像可被分析 以估计从查看者到设备的距离。例如，可对查看者脸部的图像进行分析以基于所捕获图像 中的查看者的眼睛之间的测量距离来确定距离，因为人眼往往相距约同样距离。所估计的 距查看者的距离例如可用于估计显示面板对向的视野。
[0110] ?动态确定的显示指标： Com]-显示面板的当前背光水平。
[0112] -当前平均像素亮度(实际受照像素）。例如，该指标可用于确定当前显示视频内容 的亮度。这可针对每个色彩通道来确定。
[0113] 尽管在图7中未示出，但在一些实施方案中，除了显示信息730和环境信息740之 外，环境自适应再现系统还可获取并使用其他信息来使视频适应于环境。例如，在一些实施 方案中，环境自适应再现系统700可使显示视频以查看者想法或查看意图为目标，其可被称 为查看模式。例如，在一些实施方案中，可获取并使用光照、位置、当日时间、生物识别和/或 其他数据来自动确定视频内容720的查看模式。所确定的查看模式继而可被输入到感知色 彩模型中，以将源视频内容720调整到查看模式。例如，查看模式的范围可从平静或轻松查 看模式到影片或动态查看模式。在一些实施方案中，替代性地或除此之外，还可使用用户输 入(例如，通过显示面板控件、遥控、智能电话应用程序等)来确定或调整视频内容720的查 看模式。例如，在一些实施方案中，查看者可调整用于"想法"或"意图"参数的滑块或开关， 例如以在最放松的"平稳"模式和动态最亮的"影片"模式之间以离散或连续方式在两个或 更多查看模式之间调整或选择。
[0114]环境自适应再现系统700的各种实施方案可使用各种图像处理算法和技术(包括 但不限于色域映射和全局或局部色调映射技术)来对视频内容720施加再现调整。在一些实 施方案中，环境自适应再现700功能的至少一部分可使用一个或多个图形处理单元(GPU)来 实现。例如，一些实施方案可实现自定义着色器，该自定义着色器可将根据感知色彩模型所 确定的调整施加于视频内容720。在一些实施方案中，环境自适应再现700功能的至少一部 分可在包括但不限于自定义硬件的其他硬件中实现或通过其实现。例如，在一些实施方案 中，可使用一个或多个图像信号处理器(ISP)色彩管来对视频内容720施加再现调整。
[0115] 在一些实施方案中，可使用一个或多个色彩查找表(CLUT)来将自适应调整中的至 少一部分施加于视频内容720。例如，在一些实施方案中，三个1D(-维)LUT可被应用于硬件 中，以对视频内容720施加自适应调整。
[0116] 环境自适应再现系统700的实施方案可基于显示面板的特征和能力使HDR视频内 容自动适应于目标显示面板。
[0117] 环境自适应再现系统700的实施方案可使视频内容动态地适应于在不同查看环境 中显示，这可在不同查看环境中和/或在不同环境条件下提供改进的视觉体验。因此，环境 自适应再现系统700可通过根据用户查看内容所处环境的变化来自动调整显示内容，以向 移动设备的用户提供改进的视觉体验。
[0118] 通过使显示面板动态地适应于不同环境和环境条件，环境自适应再现系统700的 实施方案可在一些查看环境中使用更少的背光源，这便能够例如节省移动设备的电力。在 一些实施方案中，可将背光源映射到感知色彩模型中，这便能够例如允许环境自适应再现 系统700使得该显示在适应于不同环境和环境条件的情况下表现得更为类纸化。换句话讲， 环境自适应再现系统700能够使显示匹配于在相同环境下的纸张的亮度水平，并且跟踪并 调整来适应查看者环境的白点。
[0119] 在一些实施方案中，由环境自适应再现系统700采集或生成的信息可在视频处理 流水线中向前（向上流式传输)馈送并用于影响环境自适应再现系统700处理视频内容之前 的视频处理。例如，参见图1到3,环境自适应再现可在显示流水线的显示管和/或显示后端 部件中实现或通过其实现。显示和/或环境信息可向上馈送至显示流水线的一个或多个部 件或阶段(例如，前馈至解码器、视频管和/或帧率转换阶段，或前馈至将诸如文本等其他数 字信息与流式视频内容复合的复合部件)并用于影响显示流水线的这些上游部件处的视频 内容处理。
[0120] 在一些实施方案中，参考图1，由显示器侧环境自适应再现系统700所采集的显示 和/或环境信息可后馈至服务器/编码流水线并用于影响在内容流式传输到包括目标显示 面板的设备之前的视频内容的服务器侧处理。例如，在一些实施方案中，显示和/或环境信 息可指示目标显示面板的能力不支持在周围环境中全HDR成像。作为响应，服务器/编码流 水线可处理输入HDR内容并将其编码为可在当前条件下由目标显示面板显示的较低动态范 围。这便可例如在目标显示面板无法支持在源视频内容中可用的全动态范围的情况下节省 传输带宽。
[0121] 显示器侧SDR到HDR转换
[0122] 再次参见图1，在一些实施方案中，解码/显示流水线130可使用输入编码视频流 112的一个或多个特征来调整一个或多个视频处理功能以使视频适应于目标显示面板140。 例如，在一些实施方案中，目标显示面板140可支持HDR成像。然而，解码/显示流水线130可 接收经编码标准动态范围（SDR)视频数据，以用于显示到目标面板140。常规地，SDR到HDR处 理已通过将SDR视频内容线性缩放至HDR目标显示来执行。然而，HDR成像远比SDR成像明亮， 并且从SDR视频内容的常规线性缩放并不产生最佳适用于较高动态范围的视频内容;而且， 线性缩放可能产生可见的伪影。例如，镜面高光区可变暗或不见，暗区可充满噪声，并且色 带或色调带可见。
[0123] 为了改善由SDR视频输入生成的HDR视频内容的质量，在一些实施方案中，在检测 到SDR视频数据时，解码/显示流水线130可调整一个或多个视频处理功能，和/或执行一个 或多个附加处理功能，以将经解码的SDR视频输入转换为HDR图像格式，以用于以HDR目标面 板140的较高动态范围来更好显示。广义描述的这些调整可涉及将SDR视频内容非线性映射 到HDR空间，以改善内容在显示到目标HDR显示面板时的质量(例如，亮度）。
[0124] 图9为根据一些实施方案的用于执行SDR到HDR转换视频以生成适用于HDR显示的 显示视频内容的方法的高级流程图。如在图9的900处所指出的，解码/显示流水线可对经编 码的SDR视频流进行接收和解码用，以用于HDR目标显示。如在图9的902处所指出的，解码/ 显示流水线可执行一种或多种非线性SDR到HDR转换技术以使输入SDR视频内容适应并扩展 到适用于支持HDR的显示面板的HDR视频内容。如在图9的904处所指出的，可将HDR视频内容 显示给HDR显示面板。参考图8对图9的元件进行更加详细的描述。
[0125] 图8示出了根据一些实施方案的在SDR输入视频中执行SDR到HDR转换以生成适用 于HDR显示的显示视频内容的示例性解码/显示流水线。在至少一些实施方案中，解码/显示 流水线810可被配置为处理HDR视频输入以生成用于目标显示面板840的HDR显示视频832。 然而，解码/显示流水线810可替代地接收SDR视频800输入。
[0126] 如图8所示，解码/显示流水线810的实施方案可利用根据输入SDR视频800内容所 确定的内容特征820和显示面板840的显示特征830来将SDR视频800输入转换为HDR视频832 输出，以用于显示给支持HDR的显示面板840。在一些实施方案中，解码/显示流水线810可包 括视频处理功能或模块，包括但不限于解码器812、视频管814、帧率转换816和显示管理818 功能或模块。可将内容特征820和显示特征830提供至这些模块中的一者或多者并用于调整 一个或多个相应功能，以用于将SDR视频800输入转换为HDR视频832输出。
[0127] 可在解码/显示流水线810的解码器812部件处接收经编码的SDR视频800流(例如， H.264/AVC或H.265/HEVC经编码的视频流）。解码器312可对输入视频进行解码/解压缩，以 生成馈送至视频管814的视频内容。视频管814可例如执行噪声/伪影消减、缩放和锐化。在 一些实施方案中，解码器812或视频管814可将输入SDR视频800转换为HDR兼容格式，例如通 过转换为具有扩展位深度的格式以支持HDR成像。
[0128] 帧率转换816可通过在现有帧之间生成一个或多个中间视频帧来将视频管814的 视频输出转换为较高帧率。转换为较高帧率例如可有助于补偿可能出现在HDR视频中的抖 动。显示管理818可包括可执行包括但不限于缩放、色彩空间转换、色域调整和色调映射的 视频处理任务的显示管，以及可执行包括但不限于色彩(色度）和色调（亮度）调整、背光调 整、伽玛校正、白点校正、黑点校正和时空抖动的附加视频处理任务的显示后端，以生成输 出到支持HDR的目标显示面板840的HDR显示视频832。
[0129] 在实施方案中，可将内容特征820和显示特征830提供至解码/显示流水线810中的 一个或多个模块并用于调整一个或多个相应的功能，以将SDR视频800输入转换为HDR视频 832输出。在从SDR转换到显示面板840所支持的较高动态范围时，各种增强功能可由解码/ 显示流水线810基于可改善对视频内容的显示的特征来执行。下文描述了在将SDR视频转换 为HDR视频时可执行的增强功能的示例，并且并非旨在进行限制。
[0130]在一些实施方案中，响应于检测到SDR视频800内容，内容特征820模块可分析视频 内容，以寻找视频帧中的具有镜面高光的区域。因此，所检测到的内容特征可包括输入视频 帧中的镜面高光。解码/显示流水线810可减小镜面高光区的至少一部分的尺寸，和/或增加 镜面高光区的至少一部分的亮度，以使得镜面高光区在显示时看起来更令人印象深刻。
[0131] 在一些实施方案中，输入SDR视频800内容中的暗区或阴影区可由解码/显示流水 线810来检测并进行不同地自动处理以用于改善的HDR显示。例如，解码/显示流水线810可 对所检测到的暗区或阴影区施加较强的降噪，以在显示到HDR显示面板840时减少视频内容 的较暗区域中的噪声。
[0132] 又如，解码/显示流水线810可调整或选择用于色调映射的色调曲线以使阴影区加 深。色调曲线可为非线性的例如S形色调曲线，以减少暗区中的噪声并提供比使用常规线性 缩放能够获取的更好的对比度。在一些实施方案中，可基于一个或多个所检测到的内容特 征和/或显示特征来动态地选择色调曲线。在一些实施方案中，可检测有关周围环境的一个 或多个指标(例如，环境光照指标)并用于确定色调曲线。在一些实施方案中，可选择针对视 频帧或帧序列的非线性全局色调曲线。在一些实施方案中，代替全局色调曲线或除此之外， 还可将视频帧细分为多个区域，并且可动态地选择针对每个区域的局部色调曲线。
[0133] 在一些实施方案中，可检测由色彩剪裁（例如，在编码器侧的色调或色域映射期 间）所导致的色彩过渡，并且解码/显示流水线810可尝试重建正确色彩以使色彩过渡平滑。
[0134] 在一些实施方案中，从SDR到HDR(例如，8位SDR到10位HDR)的位深度扩展可由解 码/显示流水线810使用尝试在扩展到较大位深度时通过使图像内容平滑来消除带状伪影 的技术来执行。例如，在一些实施方案中，可分析输入像素的数据值以确定斜率，并且该斜 率可用于执行到经扩展位深度的非线性扩展，而不是执行到经扩展位深度的线性扩展，以 产生经扩展的位的比使用线性函数所实现的更平滑的再现。
[0135] 服务器侧自适应视频处理
[0136] 再次参见图1，在一些实施方案中，针对目标显示面板140的自适应视频处理可在 服务器/编码流水线11 〇中实现或通过服务器/编码流水线11 〇实现。这些实施方案可被称为 服务器侧自适应视频处理系统。在显示器侧视频处理流水线不支持HDR/WCG成像、不支持目 标显示面板的全动态范围和色域、或以其他方式受限的情况下，服务器侧自适应视频处理 系统的实施方案例如可用于支持支持HDR的显示面板的高动态范围(HDR)和广色域(WCG)视 频回放。例如，服务器侧自适应视频处理系统的实施方案可用于支持到小型或移动设备或 到可具有有限显示器侧视频处理能力的传统设备的HDR和WCG视频流。
[0137] 图11示出了根据一些实施方案的其中服务器侧编码流水线生成适用于目标显示 面板的输出视频数据的视频回放方法的流程图。如在图11的1100处所指出的，服务器/编码 流水线可获取用于目标显示面板的视频内容。例如，服务器/编码流水线可从视频源(诸如 包括服务器/编码流水线的设备或系统上的摄像机)接收输入视频，并且可被指示对视频内 容进行编码和流式传输，以用于显示在特定的目标显示面板上。目标显示面板可与服务器/ 编码流水线位于相同的设备或系统上，或者另选地可位于不同的设备或系统上。目标显示 面板可支持高动态范围(HDR)和广色域(WCG)成像。
[0138] 尽管未示出，但在一些实施方案中，服务器/编码流水线可获取或确定输入视频内 容的一个或多个特征。例如，在一些实施方案中，可分析视频内容以确定例如视频内容的动 态范围有多宽、帧间或场景间存在多少运动、色彩范围、镜面高光区、对比度、亮区和暗区 等。可使用该内容信息连同其他信息来处理视频内容，以用于显示在目标显示面板上。
[0139] 如在图11的1102处所指出的，服务器/编码流水线可获取用于目标显示面板的显 示信息和/或环境信息。显示信息可指示显示特征，该显示特征可包括但不限于以下各项中 的一者或多者:所测量的响应、格式、分辨率、尺寸、动态范围、位深度、背光水平、白点、当前 显示控件设置等。环境信息可包括但不限于各种环境光照指标和查看者指标诸如查看者相 对于目标显示面板的位置、显示面板的尺寸和距显示面板的距离。环境光照指标例如可包 括有关入射到显示面板的光、来自显示面板的反射光水平的指标，以及查看者/用户面对的 视野(或背景）的指标(例如，亮度、色彩、白点等）。在一些实施方案中，包括目标显示面板的 设备可包括可用于从周围环境采集数据的一个或多个前向传感器和/或后向传感器(例如， 相机、光传感器等）；所采集的数据可被分析以确定之后通过服务器/编码流水线获取或提 供至服务器/编码流水线的一个或多个环境指标。
[0140] 如在图11的1104处所指出的，服务器/编码流水线可根据所获取的信息来将视频 内容映射到目标显示面板的动态范围。在一些实施方案中，服务器/编码流水线根据色调映 射技术来将视频内容映射到由所获取的信息所指示的目标显示面板的动态范围。色调映射 技术可根据所获取的信息来调整。例如，可根据显示信息来将源数据的动态范围映射到目 标显示面板的位深度。又如，在色调映射技术中所使用的色调曲线和/或传递函数可基于一 个或多个指标(包括但不限于由环境信息所指示的显示面板处的当前环境光照指标)来修 改或调整。在一些实施方案中，可至少部分地基于显示信息和/或环境信息来选择针对服务 器/编码流水线中所处理的视频帧或帧序列的非线性全局色调曲线。在一些实施方案中，代 替全局色调曲线或除此之外，还可将视频帧细分为多个区域，并且可至少部分地基于显示 信息和/或环境信息来动态地选择针对每个区域的局部色调曲线。
[0141] 如在图11的1106处所指出的，服务器/编码流水线可根据所获取的信息来将视频 内容映射到目标显示面板的色域。在一些实施方案中，服务器/编码流水线根据色域映射技 术来将视频内容映射到由所获取的信息所指示的目标显示面板的色域。该色域映射技术可 根据所获取的信息来调整。例如，可根据显示信息来将源数据的色域映射到目标显示面板 的位深度。又如，可根据显示信息中所指示的由显示面板所支持的特定色域来选择曲线、传 递函数和/或查找表。又如，在色域映射技术中所使用的曲线、传递函数和/或查找表可基于 一个或多个指标(包括但不限于环境信息所指示的显示面板处的当前环境光照指标)来修 改或调整。
[0142] 如在图11的1108处所指出的，服务器/编码流水线可对视频内容进行编码并将经 编码的视频内容传输至与目标显示面板相关联的解码/显示流水线。服务器/编码流水线例 如可根据压缩视频如H.264/AVC或H.265/HEVC格式来对视频数据进行编码，以用于传送至 目标显示面板。经编码的视频内容例如可被写入到存储器，以供与目标显示面板相关联的 解码/显示流水线访问，经由有线或无线网络连接提供或流式传输至与目标显示面板相关 联的解码/显示流水线，或以其他方式传送至与目标显示面板相关联的解码/显示流水线。
[0143] 如在图11的1110处所指出的，解码/显示流水线对视频内容进行解码并显示。由于 到由目标显示面板所支持的动态范围和色域的显示面板特有的色调和色域映射在服务器/ 编码侧执行，因此解码/显示流水线可无需任何更改或修改来支持HDR和/或WCG成像。
[0144] 需注意，服务器/编码流水线可应用图11所示的方法来根据显示面板的特定特征 和/或环境来将相同视频内容映射到两个或更多个不同的目标显示面板。例如，服务器/编 码流水线可根据显示器特有信息来调整视频处理和编码功能，以使视频内容适应于支持不 同位深度、色彩空间、色域和/或动态范围的目标显示面板。还需注意，图11和其他流程图和 作业图并非旨在进行限制。例如，在图11所示视频回放方法的一些实施方案中，元素1106 (色域映射)可在元素1104(动态范围映射)之前发生。
[0145] 参考图1和10对图11的元素进行更加详细的描述。
[0146] 再次参见图1，在服务器侧自适应视频处理系统的实施方案中，服务器/编码流水 线110可将从源100获取的视频内容映射到目标显示面板140。例如，视频内容可以是从图像 传感器或相机获取的HDR和WCG视频内容。在一些实施方案中，在将视频内容映射到目标显 示面板140中，服务器/编码流水线110根据色域映射技术来将视频内容映射到目标显示面 板140的色域，并根据色调映射技术来将视频内容映射到目标显示面板140的动态范围。在 执行映射中，服务器/编码流水线110可考虑目标显示面板140的视频内容、能力和特征，并 且目标显示面板140处的有关环境190的信息包括但不限于光照192和查看者180信息中的 一者或多者。
[0147] 可由服务器/编码流水线110用于将视频内容映射到目标显示面板140的信息的至 少一部分可通过包括目标显示面板140和解码/显示流水线130的设备或系统120来捕获。系 统120可将所捕获的信息提供至包括服务器/编码流水线110的设备或系统。例如，包括目标 显示面板1140的系统120还可包括可用于检测环境条件诸如环境光照和查看者位置的一个 或多个传感器150(相机、光传感器等）。系统120例如可经由有线或无线网络连接来将用于 描述当前环境条件的信息提供至实现服务器/编码流水线110的远程设备、系统或服务器。 然而，需注意，服务器/编码流水线110和解码/显示流水线130可在相同设备或系统上实现。
[0148] 在一些实施方案中，目标显示面板140可支持以某一位深度(例如，10位）的HDR和 WCG成像，并且服务器/编码流水线110可根据目标显示面板140处的一个或多个当前环境因 素诸如环境光照192和查看者180位置来以显示面板140所支持的位深度来将视频内容映射 到动态范围和色域。服务器/编码流水线110对所映射的视频内容进行编码并将经编码的内 容发送至用于目标显示面板140的解码/显示流水线130,该解码/显示流水线对视频内容进 行解码并显示给目标显示面板140。
[0149] 服务器侧自适应视频处理例如可为一种用于通过网络或到支持HDR和WCG的目标 系统120和显示面板140的连接从服务器系统获取HDR、WCG视频内容以用于显示的有效而相 对简单的方法，这是因为在解码/显示130侧上可无需特别的映射。由于到由目标显示面板 140所支持的动态范围和色域的显示面板特有的色调和色域映射在服务器/编码110侧上执 行，因此解码/显示流水线130可无需任何更改或修改来支持HDR和/或WCG成像。还需注意， 服务器/编码流水线110可根据显示面板140的特定特征和/或环境来将相同的视频内容映 射到两个或更多个不同的目标显示面板140。
[0150] 图10示出了根据一些实施方案的其中服务器侧编码流水线生成适用于目标显示 面板的输出视频数据的示例性视频回放系统。在示例性视频回放系统中，服务器/编码1000 流水线产生广色域(WCG)和高动态范围（HDR)的输出数据，其中至少部分地根据从解码/显 示1050侧获取的信息映射到在服务器/编码1000侧上执行的显示色域和动态范围。示例性 视频回放方法和系统可涉及以WCG和HDR的H. 265/HEVC编码，以用于分配给至少一个目标显 示面板，其中显示器侧解码和处理无需针对目标显示面板的特别色域或色调映射。
[0151] 图10示出了包括一个或多个部件的服务器/编码1000模块或流水线和包括一个或 多个部件的解码/显示1050模块或流水线。在该示例中，将解码/显示1050流水线和目标HDR 显示面板1090被示出为在系统1040上实现。在一些实施方案中，服务器/编码1000和解码/ 显示1050中的一者或两者可在片上系统（SOC)上实现。在一些实施方案中，服务器/编码 1000和解码/显示1050可在相同设备、系统和/或SOC上实现。在一些实施方案中，服务器/编 码1000和解码/显示1050可在不同设备、系统或SOC上实现。在一些实施方案中，一个或多个 服务器/编码1000流水线可在设备或系统上实现;服务器/编码1000流水线可被配置为对视 频进行编码并将其流式传输至一个或多个目标设备或系统，每个设备或系统实现至少一个 解码/显示1050流水线和至少一个目标显示面板1090。
[0152] 在该实施方案中，目标显示面板1090的色域映射和色调映射由服务器/编码1000 流水线来执行，其中由目标显示面板1090所支持的HDR和WCG的视频编码流(VES) 1012在编 码1000侧上被生成并传送至解码1050侧(例如，至HEVC解码1052部件），以用于解码和显示。 服务器/编码流水线1000可从包括目标显示面板1090的系统1040获取显示信息1092和/或 环境信息1042。
[0153] 对服务器/编码1000流水线的输入视频内容例如可以16位的位深度在(线性)CIE 1931XYZ色彩空间中被解码。映射部件1002可向输入线性XYZ视频施加12位电光转换函数 (E0TF)操作，以将16位输入数据映射到12位输入视频数据，例如映射到12位RGB色彩空间。 尽管未示出，但在一些实施方案中，服务器/编码1000流水线可分析输入视频内容，以确定 一个或多个内容特征，例如视频内容的动态范围有多宽、帧间或场景间存在多少运动、色彩 特征(例如，色彩范围）、镜面高光区、对比度、亮区和暗区等。可使用该内容信息连同显示信 息1092和/或环境信息来处理视频内容，以用于显示在目标显示面板1090上。
[0154] 面板特有的映射1004部件继而可根据从系统1040获取的显示信息1092和/或环境 信息来将12位RGB视频数据映射到目标显示面板1090的色彩空间（例如，10位RGB)。还可将 输入视频内容的特征用于映射1004。映射1004例如可涉及执行色域映射，以将输入视频内 容的色域映射到显示面板1090的色域，以及执行色调映射以将输入视频内容的动态范围映 射到显示面板1090的动态范围。
[0155] 色域映射技术可根据从系统1040所获取的信息来调整。例如，可根据显示信息 1092来将源数据的色域映射到目标显示面板的位深度。又如，可根据显示信息1092中所指 示的、显示面板所支持的特定色域来选择曲线、传递函数和/或查找表。又如，在色域映射技 术中所使用的曲线、传递函数和/或查找表可基于一个或多个指标(包括但不限于环境信息 1042所指示的显示面板处的当前环境光照指标)来修改或调整。
[0156]色调映射技术还可根据从系统1040所获取的信息来调整。例如，可根据显示信息 1092来将源数据的动态范围映射到目标显示面板的位深度。又如，在色调映射技术中所使 用的色调曲线和/或传递函数可基于一个或多个指标(包括但不限于环境信息1042所指示 的显示面板处的当前环境光照指标)来修改或调整。在一些实施方案中，可至少部分地基于 显示信息1092和/或环境信息1092来选择针对服务器/编码流水线中所处理的视频帧或帧 序列的非线性全局色调曲线。在一些实施方案中，代替全局色调曲线或除此之外，还可将视 频帧细分为多个区域，并且可至少部分地基于显示信息1092和/或环境信息1092来动态地 确定或以其他方式选择针对每个区域的局部色调曲线。
[0157] 在一些实施方案中，面板特有的映射1004可至少部分地由图像信号处理器（ISP) 来执行。在一些实施方案中，ISP的一个或多个部件(例如，3D色彩查找表(CLUT))可用于执 行面板特有的映射1004。然而，替代地或除此之外，面板特有的映射1004还可由一个或多个 GHJ来执行或在一个或多个GPU中执行。
[0158] 在一些实施方案中，RGB到YCC 1006部件可将10位RGB输出转换为10位YCC格式以 用于编码。H.265/HEVC编码器部件1010对10位YCC视频数据进行编码，从而以10位的位深度 生成由目标显示面板1090所支持的HDR和WCG的HEVC VES 1012。
[0159] 在解码1050处，HEVC解码部件1052对HEVC压缩视频流1012进行解码，以在YCC色彩 空间生成10位数据。可对数据执行超分辨率技术1054,然后可将10位YCC数据传送至显示管 1058以用于最终处理以生成以该位深度、目标HDR显示面板1090的色域和动态范围的显示 输出数据，例如1 〇位RGB数据。
[0160]需注意，图10中所示的各种视频格式、色彩空间、位深度等以举例的方式给出并且 并非旨在进行限制。例如，可将不同于CIE 1931XYZ的其他色彩空间用于输入视频。又如，在 一些实施方案中，可根据不同于265/HEVC格式的其他编码格式来执行编码和解码。又如，月艮 务器/编码流水线1000将视频内容映射1004到的目标显示面板1090的色彩空间可以是多种 色彩空间中的任一者，包括但不限于各种RGB、Rec.709色彩空间、P3DCI D65色彩空间和 Rec. 2020色彩空间。
[0161] 非线性显示器亮度调整
[0162] 描述了显示器亮度调整装置和方法的实施方案，其中显示器的平均亮度可使用非 线性函数例如分段线性函数按比例增加或减小。非线性缩放可例如响应于由图1所示的一 个或多个传感器所检测到的环境光线水平而自动被执行，但也可响应于对图1所示控件160 的用户调整例如经由亮度旋钮、滑块或按钮，或者经由图形用户界面(GUI)亮度控制而被应 用。非线性亮度调整可全局地执行，或者可针对图像或显示面板的局部区域执行。
[0163] 图14为根据至少一些实施方案的非线性亮度调整方法的流程图。如在图14的1400 处所示的，可将数字内容(例如，视频内容)显示到目标显示面板。然而，需注意，替代性地或 除此之外，也可将其他数字图像显示到显示面板。显示面板可以某亮度水平和对比度水平 来显示内容。显示面板可以但不一定是支持高动态范围（HDR)的显示设备，并且数字内容可 以是HDR内容。
[0164] 如在图14的1402处所示的，可例如通过显示面板的或包括面板的设备的亮度调整 模块来获取用于目标显示面板的显示信息和/或环境信息。在一些实施方案中，显示信息可 包括对显示面板的亮度水平设置的指示。在一些实施方案中，显示器的亮度水平可根据对 控件的用户调整来设定，该控件例如物理亮度旋钮、滑块或按钮，或者图形用户界面(GUI) 亮度控件。在一些实施方案中，环境信息可包括一个或多个环境光照指标，并且显示器的亮 度水平可根据一个或多个环境光照指标来确定或调整。如在图14的1404处所示的，可根据 信息来确定对显示器亮度水平的调整。例如，如果用户向上或向下移动亮度滑块，则可根据 该移动来确定亮度水平的对应变化。又如，如果环境光照变得更暗或更亮，则可根据环境光 照的变化来确定亮度水平的对应变化。例如，如果环境光线变亮，则可能需要增加显示器亮 度。相反地，在昏暗光照条件下，可能需要降低显示器亮度。
[0165] 如在图14的1406处所示的，然后可根据非线性函数按比例增加或减小显示器亮 度，以调整显示器的亮度水平。例如，在一些实施方案中，可将非线性函数施加于输入信号， 以使用查找表来生成根据当前亮度水平所调整的输出信号;然而，也可使用其他技术。在一 些实施方案中，可将输入信号分成亮度分量和色度分量，并且可将非线性函数施加于信号 的亮度分量。施加于输入信号以生成输出信号的示例性非线性函数在图13中示出。在施加 非线性函数来降低亮度的情况下，输出信号的对比度可以不被降低，使得动态范围和高光 区得以保持。
[0166] 在一些实施方案中，可使用全局非线性函数来全局地调整显示器亮度。在一些实 施方案中，可针对显示器的两个或更多个区域来分别调整显示器亮度，其中在不同区域可 能将不同的非线性函数或非线性函数的变型施加于信号。
[0167] 参考图12和13对图14的元件进行更加详细的描述。
[0168] 显示器亮度调整技术通常使用线性函数按比例增加或减小亮度，使得平均亮度和 对比度以系统比率同时变化。例如，图12示出了缩放系数为0.5的亮度调整的线性输入输出 关系。轴X为输入信号，并且轴y为输出信号，并且该两者被标准化为[0，1]。对应的线性公式 为：
[0169] y = kx
[0170] 图12所示的线性亮度调整的问题在于在降低平均亮度的情况下对比度也降低。因 此，所显示的图像/视频变得没那么清晰。本文所述的显示器亮度调整装置和方法的实施方 案可实现非线性(例如，分段线性)亮度调整函数，其中亮度调整仅改变平均值，而保持最大 动态范围不变。非线性亮度调整函数的非限制性示例性实施方案在图13中示出，其示出了 根据一些实施方案的亮度调整函数的输入输出关系。将图13与图12中直线进行比较，亮度 调整函数为具有参数T0到T3的分段线性函数。在图13中，T0为0，T1设定为0.9,并且T2设定 为0.95,并且Τ3为1。需注意，斜率从(Τ0，Τ1)增至(Τ1，Τ2)，并且再次从(Τ1，Τ2)增至（Τ2， Τ3)。然而如，需注意，这些值为示例性的而并非旨在进行限制。在图13所示的该示例性分段 非线性函数中，对应的公式为：
[0171] y = kox 当 0〈 = x〈Ti
[0172] y = ki(x-Ti)+koTi 当 Τι〈 = χ〈Τ2
[0173] y = k2(x-T2)+ki(T2-Ti)+koTi 当T2〈 = x〈 = 1
[0174] 在至少一些实施方案中，在施加非线性函数诸如图13所示的分段线性函数以按比 例降低亮度的情况下，输出信号的对比度可不被降低，使得动态范围和高光区得以保持。图 12所示的线性缩放可对图像质量产生不利影响。例如，在执行如图12所示的线性调整的情 况下，动态范围通常也按比例减小。因此，代替执行如图12所示的线性调整，实施方案可使 用图13所示的非线性缩放函数仅按比例降低平均亮度，而不相应地降低对比度和动态范 围，从而保持高光区。尽管图13示出了分段线性缩放函数，但也可使用其他非线性函数诸如 二次函数或曲线。
[0175] 如上所述，在施加非线性函数诸如图13所示的分段线性函数以按比例降低亮度的 情况下，输出信号的对比度可不被降低，使得动态范围和高光区得以保持。然而，在一些情 况下，对比度可能需要与亮度一样按比例降低;然而，对比度不像亮度降低得那么多和/或 那么快，以有助于保持显示图像的动态范围。换言之，相比于图12所示的平均亮度和对比度 以相同比例变化的线性缩放技术，使用图13所示的非线性亮度缩放技术的实施方案，对比 度不受对亮度调整的影响或响应于亮度调整而受影响程度与亮度不同。
[0176] 在一些实施方案中，例如响应于由图1所示的一个或多个传感器所检测到的环境 光线水平的变化，亮度的非线性缩放以及可能的对比度的非线性缩放可根据本文所述的环 境自适应再现方法自动执行。在一些实施方案中，代替自动缩放或除此之外，非线性缩放可 响应于对图1所示控件160的用户调整例如经由亮度旋钮、滑块或图形用户界面(GUI)亮度 控件而施加。
[0177] 如图13所示，在一些实施方案中，可使用分段线性函数。然而，也可使用其他函数， 例如曲线函数、二次函数等。然而，不论使用何种类型函数，图13中的通用曲线形状通常可 被保持。在该形状下，在信号的开始处，斜率缓慢或低并变快或变陡；该形状例如可有助于 保持图像中的高光区。然而，需注意，在一些实施方案中，可使用其他通用曲线形状。
[0178] 在一些实施方案中，代替使用全局非线性缩放函数或除此之外，还可在显示屏、图 像或视频帧的不同区域中施加并改变非线性缩放函数。在一些实施方案中，可根据同一非 线性缩放函数来全局地调整图像中的所有亮度值。然而，在一些实施方案中，代替使用全局 调整或除此之外，还可执行局部亮度调整。在非线性缩放函数的局部调整中，可施加不同非 线性模型或函数，或可在图像或显示器的不同区域中进行不同地施加。
[0179]本文所述显示器亮度调整技术的实施方案例如可在包括一个或多个显示设备的 设备或系统中实现。显示器或显示设备可包括被集成到其他设备中的显示屏或面板，该其 他设备包括但不限于智能电话、手机、PDA、平板电脑或平板设备、多功能设备、计算设备、膝 上型计算机、笔记本电脑、上网本、台式计算机等。显示设备还可包括视频监视器、投影仪， 或者一般来说，可显示或投射数字图像和/或数字视频的任何设备。显示器亮度调整技术例 如可针对具有背光区域调光的显示器(包括但不限于LED(发光二极管）、0LED(有机发光二 极管)或IXD(液晶显示)技术的显示器)来实现。
[0180] 非线性亮度调整方法例如可在显示设备或其他设备或装置的亮度调整模块或部 件中实现。图15到19示出了非线性显示器亮度调整模块或方法的实施方案可在其中实现的 设备的非限制性示例。显示设备或包括显示设备的设备或系统可包括实现本文所述的非线 性显示器亮度控制功能的至少一部分的硬件和/或软件(例如，亮度调整模块）。在一些实施 方案中，显示设备或包括显示面板或显示屏的设备可例如根据本文所述的自适应视频处理 方法来实现显示流水线，该显示流水线接收并处理(即，解码)压缩图像诸如视频图像，以用 于显示给面板或屏幕，并且显示流水线的一个或多个部件可实现非线性显示器亮度调整的 本文所述功能的至少一部分。在一些实施方案中，显示流水线的显示后端部件可实现非线 性显示器亮度调整功能。在一些实施方案中，非线性显示器亮度调整功能可在显示后端的 亮度调整模块或部件中实现。图3和4示出了可实现本文所述的非线性显示器亮度调整功能 的示例性显示流水线和显示后端。
[0181] 在一些实施方案中，非线性显示器亮度调整的本文所述功能的至少一部分可由可 用于设备中的片上系统(S0C)的一个或多个部件或模块来实现，这些设备包括但不限于多 功能设备、智能电话、平板电脑或平板设备、以及其他便携式计算设备诸如膝上型电脑、笔 记本电脑和上网本等。
[0182] 示例性设备和装置
[0183] 图15到19示出了本文所述的各种数字视频或图像处理和显示方法和装置可在其 中实现或利用其实现的设备和装置的非限制性实施方案。图15示出了示例性S0C，并且图16 示出了实现SOC的示例性设备。图17示出了可实现本文所述方法和装置的示例性计算机系 统。图18和19示出了可实现本文所述方法和装置的示例性多功能设备。
[0184] 示例性片上系统(S0C)
[0185] 现转到图15,片上系统（S0C)8000的一个实施方案的框图可用于实施方案中。S0C 8000被图示为耦接到存储器8800。如名字所暗示的，S0C 8000的部件可集成到作为集成电 路"芯片"的单个半导体衬底上。在一些实施方案中，这些部件可在系统中的两个或更多个 分立芯片上实施。然而，在本文中将使用S0C 8000作为一个示例。在例示的实施方案中，S0C 8000的部件包括中央处理单元(CPU)复合体8020、片上外围部件8040A-8040C (更简单地说， "外围设备"）、存储器控制器(MC)8030和通信结构8010。部件8020、8030、8040A-8040B可全 部耦接到通信结构8010。存储器控制器8030可在使用期间耦接到存储器8800,并且外围设 备8040B可在使用期间耦接到外部接口 8900。在所示实施方案中，CPU复合体8020包括一个 或多个处理器(P)8024和二级(L2)高速缓存8022。
[0186] 外围设备8040A-8040B可以是被包括在S0C 8000中的附加硬件功能的任何集合。 例如，外围设备8040A-8040B可包括视频外围设备，诸如被配置为处理来自相机或其他图像 传感器的图像捕捉数据的图像信号处理器、被配置为在一个或多个显示设备上显示视频数 据的显示控制器、图形处理单元(GPU)、视频编码器/解码器或编解码器、缩放器、旋转器、混 合器等。该外围设备可包括音频外围设备，诸如麦克风、扬声器、至麦克风和扬声器的接口、 音频处理器、数字信号处理器、混合器等。外围设备可包括用于S0C 8000外部的各种接口 8900的外围设备接口控制器(例如外围设备8040B)，该外围设备包括接口诸如通用串行总 线(USB)、外围部件互连(PCI)(包括PCI高速(PCIe))、串行和并行端口等等。外围设备可包 括联网外围设备诸如媒体访问控制器(MAC)。可包括任何一组硬件。
[0187] CPU复合体8020可包括用作S0C 8000的CPU的一个或多个CPU处理器8024。系统的 CPU包括执行系统诸如操作系统的主要控制软件的一个或多个处理器。通常，由CPU在使用 期间执行的软件可控制系统的其他部件，以实现所期望的系统功能。处理器8024还可执行 其他软件诸如应用程序。应用程序可提供用户功能，并且可依赖于操作系统来进行低级设 备控制。因此，处理器8024也可被称为应用处理器。CPU复合体8020还可包括其他硬件，诸如 L2高速缓存8022和/或至系统的其他部件的接口（例如至通信结构8010的接口）。通常，处理 器可包括被配置为执行在由处理器实施的指令集架构中定义的指令的任何电路和/或微 码。响应于执行指令而由处理器操作的指令和数据通常可被存储在存储器8800中，尽管某 些指令可被定义为也用于对外围设备进行直接处理器访问。处理器可涵盖在具有作为片上 系统(S0C 8000)或其他集成水平的其他部件的集成电路上实现的处理器内核。处理器还可 包括分立的微处理器、处理器内核和/或集成到多芯片模块具体实施中的微处理器、被实施 为多个集成电路的处理器等等。
[0188] 存储器控制器8030通常可包括用于从S0C 8000的其他部件接收存储器操作并用 于访问存储器8800以完成存储器操作的电路。存储器控制器8030可被配置为访问任何类型 的存储器8800。例如，存储器8800可以是静态随机存取存储器(SRAM)、动态RAM(DRAM)诸如 同步的DRAM(SDRAM)，包括双倍数据率(DDR、DDR2、DDR3等)DRAM。可支持低功率/移动型式的 DDR DRAM(例如，LroDR、mDDR等）。存储器控制器8030可包括存储器操作队列，以用于对这些 操作进行排序(并且可能重新排序），并将这些操作呈现至存储器8800。存储器控制器8030 还可包括用于存储等待写到存储器的写数据和等待返回至存储器操作的源的读数据的数 据缓冲器。在一些实施方案中，存储器控制器8030可包括用于存储最近访问的存储器数据 的存储器高速缓存。例如，在SOC具体实施中，存储器高速缓存可通过在预期很快要再次访 问的情况下避免从存储器8800重新访问数据来降低SOC中的功率消耗。在一些情况下，存储 器缓存也可被称为系统高速缓存，其与私有高速缓存(诸如L2高速缓存8022或处理器8024 中的高速缓存)不同，该私有高速缓存只服务于某些部件。此外，在一些实施方案中，系统高 速缓存不需要位于存储器控制器8030内。
[0189] 在一个实施方案中，存储器8800可以芯片上芯片配置或封装上封装配置来与S0C 8000-起被封装。也可使用S0C 8000和存储器8800的多芯片模块配置。此类配置可比至系 统中其他部件(例如向端点16A-16B)的传输相对更安全(在数据可观测性方面）。因此，受保 护的数据可未经加密地驻留在存储器8800中，而受保护的数据可被加密以在S0C 8000与外 部端点之间进行交换。
[0190] 通信结构8010可以是用于在S0C 8000的部件间进行通信的通任何信互连器和协 议。通信结构8010可为基于总线的，包括共享总线配置、交叉开关配置、和具有桥的分层总 线。通信结构8010也可基于分组，并且可以是具有桥的分层、交叉开关、点到点、或其他互连 器。
[0191] 需注意，S0C 8000的部件数量（以及图15所示部件，诸如CPU复合体8020内的子部 件数量)可根据不同实施方案而不同。可存在比图15所示数量更多或更少的每个部件/子部 件。
[0192] 图16为系统9000的一个实施方案的框图，该系统包括耦接到外部存储器8800和一 个或多个外部外围设备9020的S0C 8000的至少一个示例。提供向S0C 8000供应供电电压以 及向存储器8800和/或外围设备9020供应一个或多个供电电压的功率管理单元(PMU)9010。 在一些实施方案中，可包括SOC 8000的多于一个示例(也可包括多于一个存储器8800)。
[0193] 根据系统9000的类型，外围设备9020可包括任何期望的电路。例如，在一个实施方 案中，系统9000可以是移动设备（例如个人数字助理(PDA)、智能电话等），并且外围设备 9020可包括用于各种类型的无线通信的设备，诸如wifi、蓝牙、蜂窝、全球定位系统等。外围 设备9020还可包括附加存储装置，该附加存储装置包括RAM存储装置、固态存储装置或磁盘 存储装置。外围设备9020可包括用户界面设备(诸如包括触摸显示屏或多点触摸显示屏的 显示屏）、键盘或其他输入设备、麦克风、扬声器等。在其他实施方案中，系统9000可以是任 何类型的计算系统(例如台式个人计算机、膝上型电脑、工作站、网络机顶盒等）。
[0194] 外部储存器8800可包括任何类型的存储器。例如，外部存储器8800可以是SRAM、动 态RAM(DRAM)(诸如同步DRAM(SDRAM))、双倍数据速率(DDR、DDR2、DDR3等）SDRAM、RAMBUS DRAM、低功率版本的DDR DRAM(例如LPDDR、mDDR等）等等。该外部存储器8800可包括存储器 设备可被安装到的一个或多个存储器模块，诸如单列存储器模块(SIMM)、双列存储器模块 (DMM)等。另选地，外部存储器8800可包括以芯片上芯片配置或封装上封装具体实施被安 装在S0C 8000上的一个或多个存储器设备。
[0195] 示例性计算机系统
[0196] 图17示出了可被配置为执行上文所述的任意或所有实施方案的示例性计算机系 统2900。在不同的实施方案中，计算机系统2900可以是各种类型的设备中的任何设备，包括 但不限于:个人计算机系统、台式计算机、膝上型电脑、笔记本电脑、平板电脑、一体式电脑、 平板设备或上网本计算机、大型计算机系统、手持式计算机、工作站、网络计算机、相机、机 顶盒、移动设备、消费设备、应用服务器、存储设备、视频记录设备、外围设备(诸如交换机、 调制解调器、路由器）、或一般性的任何类型的计算设备或电子设备。
[0197] 可在一个或多个计算机系统2900中执行本文所述各种实施方案，该计算机系统 2900可与各种其他设备进行交互。需注意，根据各种实施方案，上文相对于图1到图16描述 的任何部件、动作或功能性可实现于被配置作为图17的计算机系统2900的一种或多种计算 机上。在所示实施方案中，计算机系统2900包括经由输入/输出（I/O)接口 2930耦接到系统 存储器2920的一个或多个处理器2910。计算机系统2900还包括耦接到I/O接口 2930的网络 接口 2940、以及一个或多个输入/输出设备或部件2950，诸如光标控件2960、键盘2970、一个 或多个显不器2980、一个或多个相机2990和一个或多个传感器2992(包括但不限于光传感 器和运动检测器）。在一些情况下，可设想实施方案可使用计算机系统2900的单个示例来实 现，而在其他实施方案中，多个此类系统或者构成计算机系统2900的多个节点可被配置为 作为实施方案的不同部分或示例的主机。例如，在一个实施方案中，一些元素可经由计算机 系统2900的与实现其他元素的那些节点不同的一个或多个节点来实现。
[0198] 在各种实施方案中，计算机系统2900可以是包括一个处理器2910的单处理器系 统、或者是包括几个处理器2910(例如两个、四个、八个、或另一适当数量）的多处理器系统。 处理器2910可以是能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器 2910可以是实现多种指令集架构（ISA)(诸如1829、？〇?6冲(：、3?41^、或[?3 134、或任何其 他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每 个处理器2910通常可以但并非必须实现相同的ISA。
[0199] 系统存储器2920可被配置为存储可被处理器2910访问的程序指令2922和/或数 据。在各种实施方案中，系统存储器2920可使用任何适当的存储器技术来实现，诸如静态随 机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性存储器/闪存存储器、或任何其他类 型的存储器。在例示的实施方案中，程序指令2922可被配置为实现本文所述功能中的任一 功能。另外，存储器2920可包括本文所述的信息或数据结构中的任一者。在一些实施方案 中，程序指令和/或数据可被接收、发送或存储在独立于系统存储器2920或计算机系统2900 的不同类型的计算机可访问介质上或类似的介质上。尽管将计算机系统2900描述为实施前 面各图的功能框的功能，但可经由此类计算机系统来实施本文描述的任何功能。
[0200] 在一个实施方案中，I/O接口 2930可被配置为协调设备中的处理器2910、系统存储 器2920、和任何外围设备（包括网络接口 2940或其他外围设备接口，诸如输入/输出设备 2950)之间的I/O通信量。在一些实施方案中，I/O接口 2930可执行任何必要的协议、定时或 其他数据转换，以将来自一个部件(例如系统存储器2920)的数据信号转换为适用于由另一 个部件(例如处理器2910)使用的格式。在一些实施方案中，I/O接口 2930可包括对例如通过 各种类型的外围设备总线(诸如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的 变型)所附接的设备的支持。在一些实施方案中，I/O接口 2930的功能例如可被划分到两个 或更多个单独部件中，诸如北桥和南桥。此外，在一些实施方案中，I/O接口2930(诸如至系 统存储器2920的接口）的一些或所有功能可被直接并入到处理器2910中。
[0201] 网络接口 2940可被配置为允许在计算机系统2900和附接到网络2985的其他设备 (例如承载器或代理设备)之间、或者在计算机系统2900的节点之间交换数据。在各种实施 方案中，网络2985可包括一种或多种网络，包括但不限于:局域网（LAN)(例如以太网或企业 网）、广域网(WAN)(例如互联网）、无线数据网、某种其他电子数据网络、或它们的某种组合。 在各种实施方案中，网络接口2940例如可支持经由有线或无线通用数据网络诸如任何适当 类型的以太网网络的通信;经由电信/电话网络诸如模拟语音网络或数字光纤通信网络的 通信;经由存储区域网络诸如光纤信道SAN或经由任何其他适当类型的网络和/或协议的通 {目。
[0202]在一些实施方案中，输入/输出设备2950可包括一个或多个显示终端、键盘、键区、 触摸板、扫描设备、语音或光学识别设备、或适用于由一个或多个计算机系统2900输入或访 问数据的任何其他设备。多个输入/输出设备2950可存在于计算机系统2900中，或者可分布 在计算机系统2900的各个节点上。在一些实施方案中，类似的输入/输出设备可与计算机系 统2900分开，并且可通过有线或无线连接(诸如通过网络接口 2940)与计算机系统2900的一 个或多个节点进行交互。
[0203] 如图17所示，存储器2920可包括可由处理器执行以实现上述任何元件或动作的程 序指令2922。在一个实施方案中，程序指令可实现上述方法。在其他实施方案中，可包括不 同的元件和数据。需注意，数据可包括上述任何数据或信息。
[0204]本领域的技术人员应当理解，计算机系统2900仅仅是示例性的，而并非旨在限制 实施方案的范围。特别地，计算机系统和设备可包括可执行所指出的功能的硬件或软件的 任意组合，包括计算机、网络设备、互联网设备、个人数字助理、无线电话、寻呼机等等。计算 机系统2900还可被连接到未示出的其他设备或者反之作为独立的系统进行操作。此外，由 所示出的部件所提供的功能在一些实施方案中可被组合在更少的部件中或者被分布在附 加部件中。类似地，在一些实施方案中，一些所示出的部件的功能可不被提供，和/或可还有 其他附加功能可供使用。
[0205] 本领域的技术人员还将认识到，虽然各种项目被示出为在被使用期间被存储在存 储器中或存储装置上，但是为了存储器管理和数据完整性的目的，这些项目或其部分可在 存储器和其他存储设备之间进行传输。或者，在其他实施方案中，这些软件组件中的一些或 全部软件组件可在另一设备上的存储器中执行，并且经由计算机间通信来与所示出的计算 机系统进行通信。一些或全部系统部件或数据结构也可(例如作为指令或结构化数据)被存 储在计算机可访问介质或便携式制品上，以由合适的驱动器读取，其多种示例在上文中被 描述。在一些实施方案中，存储在与计算机系统2900分开的计算机可访问介质上的指令可 经由传输介质或信号(诸如电信号、电磁信号、或数字信号)被传输到计算机系统2900,该传 输介质或信号经由通信介质(诸如网络和/或无线链路)来传送。各种实施方案可进一步包 括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般来 讲，计算机可访问介质可包括非暂态计算机可读存储介质或存储器介质，诸如磁或光介质， 例如盘或DVD/CD-R0M、易失性或非易失性介质，诸如RAM (例如SDRAM、DDR、RDRAM、SRAM等）、 ROM等。在一些实施方案中，计算机可访问介质可包括传输介质或信号，诸如经由通信介质 诸如网络和/或无线链路来传输的电气信号、电磁信号或数字信号。
[0206] 多功能设备示例
[0207] 图18示出了根据一些实施方案的便携式多功能设备的框图。在一些实施方案中， 该设备是还包含其他功能诸如PDA、相机、视频捕获和/或回放，和/或音乐播放器功能的便 携式通信设备诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自 Apple Inc(Cupertino,California)的iPhone?.设备、iP〇dTouch?.设备和iPad'?设备。也 可使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触控板)的膝上 型计算机、移动电话、智能电话、平板设备或平板电脑。还应当理解的是，在一些实施方案 中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板）的 台式计算机。在一些实施方案中，设备是具有取向传感器(例如游戏控制器中的取向传感 器）的游戏计算机。在其他实施方案中，该设备并非便携式通信设备，而是相机和/或摄像 机。
[0208] 在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而应当理解， 电子设备可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操作杆。
[0209] 该设备通常支持各种应用程序，诸如以下应用程序中的一个或多个应用程序:绘 图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子 表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时 消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像 机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
[0210] 可在设备上执行的各种应用程序可使用至少一个共用的物理的用户界面设备诸 如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息对于各个应用程 序可被调整和/或是不同的，和/或在对应应用程序内可被调整和/或是不同的。这样，设备 的共用物理架构(诸如触敏表面)可利用对于用户直观且透明的用户界面来支持各种应用 程序。
[0211] 设备2100可具有存储器2102(其可包括一个或多个计算机可读存储介质）、存储器 控制器2122、一个或多个处理单元(CPU)2120、外围设备接口 2118、RF电路2108、音频电路 2110、扬声器2111、触敏显示系统2112、麦克风2113、输入/输出（I/O)子系统2106、其他输入 控制设备2116、和外部端口 2124。设备2100可包括一个或多个光学传感器或相机2164。这些 部件可通过一条或多条通信总线或信号线2103进行通信。
[0212] 应当理解，设备2100只是便携式多功能设备的一个示例，并且设备2100可具有比 所示出的更多或更少的部件，可组合两个或更多个部件，或者可具有这些部件的不同配置 或布置。图18中所示的各种部件可以硬件、软件或硬件和软件组合来实施，包括一个或多个 信号处理电路和/或专用集成电路。
[0213] 存储器2102可包括高速随机存取存储器并且还可包括非易失性存储器，诸如一个 或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备2100的其他 部件(诸如CPU 2120和外围设备接口2118)对存储器2102的访问可由存储器控制器2122来 控制。
[0214] 外围设备接口 2118可被用于将设备的输入外围设备和输出外围设备耦接到CPU 2120和存储器2102。该一个或多个处理器2120运行或执行被存储在存储器2102中的各种软 件程序和/或指令集，以执行设备2100的各种功能并处理数据。
[0215] 在一些实施方案中，外围设备接口2118、CPU 2120、和存储器控制器2122可在单个 芯片诸如芯片2104上实现。在一些其他实施方案中，它们可在单独的芯片上实现。
[0216] RF(射频）电路2108接收和发送也被称为电磁信号的RF信号。RF电路2108将电信号 转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与通信网络以及其他通 信设备进行通信。RF电路2108可包括用于执行这些功能的熟知的电路，包括但不限于天线 系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器/ 解码器(编解码器)芯片组、用户身份模块（SIM)卡、存储器等等。RF电路2108可通过无线通 信与网络以及其他设备进行通信，该网络诸如互联网（也被称为万维网(WWW))、内联网和/ 或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。无线通信可使用多 种通信标准、协议和技术中的任何类型，包括但不限于全球移动通信系统(GSM)、增强数据 GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、宽带码 分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802·11η)、互联网语音协议（VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议（IMAP)和/或邮局协议(POP))、即时消息（例 如，可扩展消息处理现场协议（XMPP)、用于即时消息和现场利用扩展的会话发起协议 (SMPLE)、即时消息和到场服务（MPS))、和/或短消息服务(SMS)、或者包括在本文献提交 日还未开发出的通信协议的其他任何适当的通信协议。
[0217] 音频电路2110、扬声器2111和麦克风2113提供用户与设备2100之间的音频接口。 音频电路2110从外围设备接口 2118接收音频数据，将音频数据转换为电信号，并将电信号 传输到扬声器2111。扬声器2111将电信号转换为人类可听的声波。音频电路2110还接收由 麦克风2113根据声波转换的电信号。音频电路2110将电信号转换为音频数据，并将音频数 据传输到外围设备接口2118以用于处理。音频数据可由外围设备接口 2118从存储器2102 和/或RF电路2108进行检索和/或被传输至存储器102和/或RF电路108。在一些实施方案中， 音频电路2110还包括耳麦插孔。耳麦插孔提供音频电路2110与可移除的音频输入/输出外 围设备之间的接口，该外围设备诸如仅输出的耳机或者具有输出（例如，单耳耳机或双耳耳 机)和输入(例如，麦克风)两者的耳麦。
[0218] I/O子系统2106将设备2100上的输入/输出外围设备诸如触摸屏2112和其他输入 控制设备2116耦接到外围设备接口 2118。1/0子系统2106可包括显示控制器2156和用于其 他输入控制设备2116的一个或多个输入控制器2160。该一个或多个输入控制器2160从其他 输入控制设备2116接收电信号/将电信号发送到其他输入控制设备116。该其他输入控制设 备2116可包括物理按钮(例如，下压按钮、摇臂按钮等）、拨号盘、滑动开关、操纵杆、点击式 转盘等等。在一些另选实施方案中，一个或多个输入控制器2160可耦接到(或不耦接到）以 下各项中的任一者:键盘、红外端口、USB端口、和指向设备诸如鼠标。该一个或多个按钮可 包括用于扬声器2111和/或麦克风2113的音量控制的增大/减小按钮。该一个或多个按钮可 包括下压按钮。
[0219] 触敏显示器2112提供设备和用户之间的输入接口和输出接口。显示控制器2156从 触摸屏2112接收电信号和/或将电信号发送至触摸屏112。触摸屏2112向用户显示视觉输 出。视觉输出可包括图形、文本、图标、视频、以及它们的任意组合（统称为"图形"）。在一些 实施方案中，一些视觉输出或全部的视觉输出可对应于用户界面对象。
[0220]触摸屏2112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传 感器或传感器组。触摸屏2112和显示控制器2156(与存储器2102中的任何相关联的模块和/ 或指令集一起)检测触摸屏2112上的接触(和该接触的任何移动或中断），并且将所检测到 的接触转换为与显示在触摸屏2112上的用户界面对象(例如，一个或多个软键、图标、网页 或图像)的交互。在一个示例性实施方案中，触摸屏2112和用户之间的接触点对应于用户的 手指。
[0221] 触摸屏2112可使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED (发光二极管)技术，但是在其他实施方案中可使用其他显示技术。触摸屏2112和显示控制 器2156可使用现在已知的或以后将开发出的多种触摸感测技术中的任何触摸感测技术以 及其他接近传感器阵列或用于确定与触摸屏2112的一个或多个接触点的其他元件来检测 接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红 外技术和表面声波技术。在示例性实施方案中，使用投射式互电容感测技术，诸如从Apple Inc. (Cupertino,California)的 iPh〇neK、iP〇clT〇uchK ^iPacT 发现的技术。
[0222] 触摸屏2112可具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏具有约 160dpi的视频分辨率。用户可使用任何合适的物体或附加物诸如触笔、手指等等来与触摸 屏2112接触。在一些实施方案中，用户界面被设计用于主要与基于手指的接触和手势工作， 由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施 方案中，设备将基于手指的粗略输入转译为精确的指针/光标位置或命令以执行用户所期 望的动作。
[0223] 在一些实施方案中，除了触摸屏2112之外，设备2100可包括用于激活或去激活特 定功能的触摸板(未示出）。在一些实施方案中，触摸板是设备的触敏区域，该触敏区域与触 摸屏不同，其不显示视觉输出。触摸板可以是与触摸屏2112分开的触敏表面，或者是由触摸 屏形成的触敏表面的延伸部分。
[0224] 设备2100还包括用于为各种部件供电的电力系统2162。电力系统2162可包括电力 管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功 率转换器或逆变器、电源状态指示器(例如，发光二极管(LED))和与便携式设备中的电力的 生成、管理和分配相关联的任何其他部件。
[0225] 设备2100还可包括一个或多个光学传感器或相机2164。图18示出了耦接到I/O子 系统2106中的光学传感器控制器2158的光学传感器。光学传感器2164例如可包括电荷親合 器件(CXD)或互补金属氧化物半导体(CMOS)光电晶体管或感光器。光学传感器2164从环境 接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块 2143(也称为相机模块），光学传感器2164可捕获静态图像和/或视频序列。在一些实施方案 中，至少一个光学传感器可位于设备2100的后部上，与位于该设备的前部上的触摸屏显示 器2112相背对。在一些实施方案中，触摸屏显示器可用作静态和/或视频图像采集的取景 器。在一些实施方案中，替代性地或此外，至少一个光学传感器还可位于设备的前部。
[0226] 设备2100还可包括一个或多个接近传感器2166。图18示出了耦接到外围设备接口 2118的接近传感器2166。作为另外一种选择，接近传感器2166可耦接到I/O子系统2106中的 输入控制器2160。在一些实施方案中，当多功能设备被放置在用户耳朵附近时(例如，当用 户打电话时），该接近传感器关闭并禁用触摸屏2112。
[0227] 设备2100还可包括一个或多个取向传感器2168。在一些实施方案中，该一个或多 个取向传感器包括一个或多个加速度计(例如一个或多个线性加速度计和/或一个或多个 旋转加速度计）。在一些实施方案中，该一个或多个取向传感器包括一个或多个陀螺仪。在 一些实施方案中，该一个或多个取向传感器包括一个或多个磁力仪。在一些实施方案中，该 一个或多个取向传感器包括全球定位系统(GPS)、全球导航卫星系统(GLONASS)、和/或其他 全球导航系统接收器中的一者或多者。GPS、GLONASS、和/或其他全球导航系统接收器可用 于获取关于设备2100的位置和取向（例如纵向或横向）的信息。在一些实施方案中，该一个 或多个取向传感器包括取向传感器/旋转传感器的任何组合。图18示出了耦接到外围设备 接口 2118的该一个或多个取向传感器2168。或者，该一个或多个取向传感器2168可耦接到 I/O子系统2106中的输入控制器2160。在一些实施方案中，信息基于对从这一个或多个取向 传感器接收的数据的分析而在触摸屏显示器上被显示在纵向视图或横向视图中。
[0228] 在一些实施方案中，设备2100还可包括一个或多个其他传感器(未示出），包括但 不限于环境光传感器和运动检测器。这些传感器可耦接到外围设备接口 2118,或者另选地 可耦接到I/O子系统2106中的输入控制器2160。例如，在一些实施方案中，设备2100可包括 可用于从设备2100的环境采集环境光照指标的至少一个前向（背向用户）和至少一个后向 (朝向用户)光传感器以用于视频和图像捕获、处理和显示应用。
[0229]在一些实施方案中，被存储在存储器2102中的软件部件包括操作系统2126、通信 模块2128、接触/运动模块(或指令集)2130、图形模块2132、文本输入模块2134、全球定位系 统(GPS)模块2135、以及应用程序2136。此外，在一些实施方案中，存储器2102存储设备/全 局内部状态2157。设备/全局内部状态2157包括以下各项中的一者或多者:活动应用程序状 态，该活动应用程序状态用于指示哪些应用程序(如果有的话）当前是活动的；显示状态，该 显示状态用于指示什么应用程序、视图或其他信息占据触摸屏显示器2112的各个区域;传 感器状态，该传感器状态包括从设备的各个传感器和输入控制设备2116获取的信息；和关 于设备位置和/或姿态的位置信息。
[0230] 操作系统2126(例如，〇3^丨11、1^^(：、1^冊乂、1^1乂、03乂、11冊013、或嵌入式操作系 统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电 力管理等)的各种软件部件和/或驱动器，并且有利于各种硬件和软件部件之间的通信。
[0231] 通信模块2128促进通过一个或多个外部端口 2124来与其他设备进行通信，并且还 包括用于处理由RF电路2108和/或外部端口 2124所接收的数据的各种软件部件。外部端口 2124(例如，通用串行总线(USB)、火线等)适用于直接耦接到其他设备或者间接地通过网络 (例如，互联网、无线LAN等)进行親接。在一些实施方案中，外部端口是与iPod(Apple Inc. 的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如，30针)连 接器。
[0232] 接触/运动模块2130可检测与触摸屏2112(结合显示控制器2156)和其他触敏设备 (例如，触摸板或物理点击式转盘)的接触。接触/运动模块2130包括多个软件部件以用于执 行与接触的检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件）、确 定是否存在接触的移动并在触敏表面上跟踪该移动（例如，检测一个或多个手指拖动事 件）、以及确定接触是否已终止(例如，检测手指抬起事件或者接触中断）。接触/运动模块 2130从触敏表面接收接触数据。确定接触点的移动可包括确定接触点的速率(量值）、速度 (量值和方向）、和/或加速度(量值和/或方向的改变），接触点的移动由一系列接触数据来 表示。这些操作可施加于单个触点(例如，一个指状触点)或多个同时的触点（例如，"多点触 摸"/多个指状触点）。在一些实施方案中，接触/运动模块2130和显示控制器2156检测触摸 板上的接触。
[0233] 接触/运动模块2130可检测用户的手势输入。触敏表面上的不同手势具有不同的 接触图案。因此，可通过检测具体接触图案来检测手势。例如，检测单指轻击手势包括检测 手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标 位置处)检测手指抬起(抬离)事件。作为另一个示例，在触敏表面上检测手指轻扫手势包括 检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事 件。
[0234] 图形模块2132包括用于在触摸屏2112或其他显示器上渲染和显示图形的多个软 件部件，其包括用于改变被显示图形的强度的部件。如本文所用，术语"图形"包括可被显示 给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象）、数 字图像、视频、动画等。
[0235] 在一些实施方案中，图形模块2132存储用于表示待使用图形的数据。每个图形可 被分配有对应的代码。图形模块2132从应用程序等接收指定待显示的图形的一个或多个代 码，在必要的情况下还一起接收坐标数据和其他图形属性数据，然后生成屏幕图像数据以 输出至显示控制器2156。
[0236] 可作为图形模块2132的部件的文本输入模块2134提供用于在需要文本输入的多 种应用程序中输入文本的软键盘。
[0237] GPS模块2135确定设备的位置并提供了在各种应用程序中使用的这种信息(例如， 提供至用于基于位置的拨号的电话模块2138;提供至相机模块2143作为图片/视频元数据； 以及提供至提供基于位置的服务诸如地图/导航桌面应用程序）。
[0238] 应用程序2136可包括但不限于以下模块(或指令集）中的一者或多者或者其子集 或超集：
[0239] ?电话模块2138;
[0240] ?视频会议模块2139;
[0241] ?用于静态图像和/或视频图像的相机模块2143;
[0242] ?图像管理模块2144;
[0243] ?浏览器模块2147;
[0244] ?搜索模块2151;
[0245] ?视频和音乐播放器模块2152,其可由视频播放器模块和音乐播放器 [0246]模块构成;和/或
[0247] ?在线视频模块2155。
[0248] 可被存储在存储器2102中的其他应用程序2136的示例包括但不限于其他文字处 理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、通信/社交媒体应用程 序、地图应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别、和语音复制。
[0249] 结合RF电路2108、音频电路2110、扬声器2111、麦克风2113、触摸屏2112、显示控制 器2156、接触模块2130、图形模块2132、和文本输入模块2134，电话模块2138可用于输入与 电话号码对应的字符序列、访问地址簿中的一个或多个电话号码、修改已输入的电话号码、 拨打相应的电话号码、进行会话以及当会话完成时断开或挂断。如上所述，无线通信可使用 多个通信标准、协议和技术中的任一者。
[0250] 结合RF电路2108、音频电路2110、扬声器2111、麦克风2113、触摸屏2112、显示控制 器2156、光学传感器2164、光学传感器控制器2158、接触/运动模块2130、图形模块2132、文 本输入模块2134和电话模块2138,视频会议模块2139包括用于根据用户指令发起、进行和 终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
[0251] 结合触摸屏2112、显示控制器2156、一个或多个光学传感器2164、光学传感器控制 器2158、接触/运动模块2130、图形模块2132和图像管理模块2144,相机模块2143包括用于 以下操作的可执行指令:捕获静态图像或视频(包括视频流)并且将它们存储到存储器2102 中、修改静态图像或视频的特征、或从存储器2102删除静态图像或视频。
[0252] 结合触摸屏2112、显示控制器2156、接触/运动模块2130、图形模块2132、文本输入 模块2134、和相机模块2143,图像管理模块2144包括用于排列、修改(例如，编辑）、或以其他 方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中）、以及存储静态图像和/或视 频图像的可执行指令。
[0253] 结合RF电路2108、触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模 块2132和文本输入模块2134,浏览器模块2147包括用于根据用户指令来浏览互联网（包括 搜索、链接至、接收、和显示网页或其部分，以及链接至网页的附件和其他文件）的可执行指 令。
[0254] 结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132和文 本输入模块2134,搜索模块2151包括用于根据用户指令来搜索存储器2102中的匹配一个或 多个搜索条件(例如，一个或多个用户指定的搜索词）的文本、音乐、声音、图像、视频和/或 其他文件的可执行指令。
[0255] 结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132、音频 电路系统2110、扬声器2111、RF电路系统2108、和浏览器模块2147,视频和音乐播放器模块 2152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录 的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如， 在触摸屏2112上或在经由外部端口 2124连接的外部显示器上）的可执行指令。在一些实施 方案中，设备2100可包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
[0256] 结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132、音频 电路2110、扬声器2111、RF电路2108、文本输入模块2134和浏览器模块2147,在线视频模块 2155包括指令，该指令允许用户访问、浏览、接收(例如，通过流式传输和/或下载）、回放(例 如在触摸屏上或在经由外部端口2124所连接的外部显示器上），以及以其他方式管理一种 或多种视频格式诸如H. 264/AVC格式或H. 265/HEVC格式的在线视频。
[0257] 上述所识别的每个模块和应用程序对应于用于执行上述一种或多种功能以及在 本申请中所描述的方法(例如，本文中所述的计算机实现的方法和其他信息处理方法)的一 组可执行指令。这些模块(即指令集)不必被实现为独立的软件程序、过程或模块，并因此在 各种实施方案中可组合或以其他方式重新布置这些模块的各种子集。在一些实施方案中， 存储器2102可存储上述模块和数据结构的子集。此外，存储器2102可存储上文没有描述的 附加模块和数据结构。
[0258] 在一些实施方案中，设备2100是唯一地通过触摸屏和/或触摸板来执行设备上的 预定义的一组功能的操作的设备。通过使用触摸屏和/或触摸板作为用于设备2100的操作 的主要输入控制设备，可减少设备2100上的物理输入控制设备(诸如下压按钮、拨号盘等 等)的数量。
[0259] 可唯一地通过触摸屏和/或触摸板执行的预定义的一组功能包括在用户界面之间 进行导航。在一些实施方案中，触摸板在被用户触摸时将设备2100从可被显示在设备2100 上的任何用户界面导航到主界面菜单、home菜单或根菜单。在此类实施方案中，触摸板可被 称为"菜单按钮"。在一些其他实施方案中，菜单按钮可以是物理下压按钮或者其他物理输 入控制设备，而不是触摸板。
[0260] 图19示出了根据一些实施方案的具有触摸屏2112的便携式多功能设备2100。触摸 屏可在用户界面(UI)2200内显示一个或多个图形。在设备2100的至少一些实施方案中，用 户可通过例如利用一个或多个手指2202(在附图中未必按比例绘制)或者利用一个或多个 触控笔2203 (在附图中未必按比例绘制）在图形上作出手势来选择这些图形中的一个或多 个图形。
[0261] 设备2100还可包括一个或多个物理按钮，诸如"home"按钮或菜单按钮2204。如前 所述，菜单按钮2204可被用于导航到可在设备2100上执行的一组应用程序中的任何应用程 序2136。作为另外一种选择，在一些实施方案中，菜单按钮可被实现为被显示在触摸屏2112 上的⑶I中的软键。
[0262] 在一些实施方案中，设备2100包括触摸屏2112、home按钮/菜单按钮2204、用于对 设备开关机和锁定设备的下压按钮2206、一个或多个音量调整按钮2208、用户身份模块 (SH0卡槽2210、耳麦接口 2212、和对接/充电外部端口 2124。下压按钮2206可用于通过按下 按钮并在预定义时间间隔内使按钮保持在按下状态来打开/关闭设备上的电源；用于通过 按下按钮并在经过预定义时间间隔之前释放按钮来锁定设备;并且用于解锁设备或启动解 锁过程。在另选的实施方案中，设备2100还可通过麦克风2113来接受用于激活或去激活一 些功能的语音输入。
[0263] 设备2100还可包括一个或多个相机2164。相机2164例如可包括电荷耦合器件 (CCD)或互补金属氧化物半导体(CMOS)光电晶体管或感光器。相机2164从环境接收通过一 个或多个透镜而投射的光，并且将光转换为表示图像或视频帧的数据。在一些实施方案中， 至少一个相机2164可位于设备2100的与位于该设备的前部上的触摸屏显示器2112相背对 的后部上。在一些实施方案中，替代性地或此外，至少一个相机2164还可位于具有触摸屏显 示器2112的设备的前部，使得在用户在触摸屏显示器2112上观看其他视频会议参与者的同 时可获取该用户的图像以用于视频会议。在一些实施方案中，至少一个相机2164可位于设 备2100的前部上，并且至少一个相机2164可位于设备2100的后部上。在一些实施方案中，触 摸屏显示器2112可用作静态图像和/或视频序列采集应用的取景器和/或用户界面。
[0264]设备2100可包括可用于捕获、处理、转换、压缩、解压缩、存储、修改、传输、显示并 以其他方式管理和操作通过相机2164捕获或以其他方式采集(例如，通过网络接口）的静态 图像和/或视频帧或视频序列的视频和图像处理硬件和/或软件，包括但不限于视频编码和 或/解码部件、编解码器、模块或流水线。在一些实施方案中，设备2100还可包括可用于从设 备2100的环境中采集环境光照或其他指标的一个或多个光传感器或其他传感器，以便在视 频和图像捕获、处理和显示中使用。
[0265]在不同的实施方案中，本文所述的方法可在软件、硬件或它们的组合中实现。此 外，可改变方法的框的次序，可对各种要素进行添加、重新排序、组合、省略、修改等。对于受 益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案 旨在为例示的而非是限制性的。许多变型、修改、添加和改进是可能的。因此，可以为本文中 描述为单个示例的部件提供多个示例。各种部件、操作和数据存储装置之间的界限在一定 程度上是任意性的，并且在具体例示性配置的上下文中例示了特定操作。设想了可落在所 附权利要求的范围内的功能的其他分配。最后，被呈现为示例性配置中的分立部件的结构 和功能可被实现为组合结构或部件。这些和其他变型、修改、添加和改进可落在所附权利要 求所限定的实施方案的范围内。
【主权项】
1. 一种系统，包括： 一个或多个传感器，所述一个或多个传感器被配置为检测一个或多个环境条件； 显不面板;和 解码流水线，所述解码流水线被配置为： 接收经编码的视频数据； 对所述经编码的视频数据进行解码以生成视频内容； 根据所述视频内容的一个或多个特征、所述显示面板的一个或多个特征、以及由所述 一个或多个传感器所检测到的一个或多个当前环境条件来处理所述视频内容，以生成适用 于在所述当前环境条件下在所述显示面板上查看的视频内容；以及 将经处理的视频内容输出至所述显示面板以用于显示。2. 根据权利要求1所述的系统，其中所述解码流水线被配置为根据一个或多个视频处 理技术来处理所述视频内容，其中所述视频处理技术中的至少一种视频处理技术根据所述 当前环境条件被调整，以生成适用于在所述当前环境条件下在所述显示面板上查看的所述 视频内容。3. 根据权利要求2所述的系统，其中所述视频处理技术包括以下各项中的一者或多者： 降噪、伪影消减、缩放、锐化、帧率转换、色彩空间转换、色域调整、动态背光调整、面板伽马 校正、黑点校正、 或白点校正。4. 根据权利要求1所述的系统，其中为了处理所述视频内容，所述解码流水线被配置为 将色域映射应用于所述视频内容，以将所述视频内容的色彩分量映射到所述显示面板的色 彩空间和位深度中，并且其中所述解码流水线被配置为根据所述当前环境条件来调整被应 用于所述视频内容的所述色域映射，以生成适用于在所述当前环境条件下在所述显示面板 上查看的所述视频内容。5. 根据权利要求1所述的系统，其中为了处理所述视频内容，所述解码流水线被配置为 将色调映射应用于所述视频内容，以将所述视频内容的亮度映射到所述显示面板的色彩空 间和位深度中，并且其中所述解码流水线被配置为根据所述当前环境条件来调整被应用于 所述视频内容的所述色调映射，以生成适用于在所述当前环境条件下在所述显示面板上查 看的所述视频内容。6. 根据权利要求1所述的系统，其中为了处理所述视频内容，所述解码流水线被配置 为： 根据所述显示面板特征来确定所述显示面板的测量的响应亮度范围； 根据所述当前环境条件来确定适用的人类视觉亮度范围； 将所述视频内容映射到所述测量的响应亮度范围，以生成中间视频内容；以及 将所述中间视频内容映射到所述适用的人类视觉亮度范围，以生成适用于在所述当前 环境条件下在所述显示面板上查看的所述视频内容。7. 根据权利要求1所述的系统，其中所述解码流水线被进一步配置为分析所述视频内 容以确定所述一个或多个视频内容特征，其中所述视频内容特征包括所述视频内容的动态 范围和色彩特征。8. 根据权利要求1所述的系统，其中所述环境条件包括环境光照指标和人类查看者相 对于所述显示面板的位置。9. 根据权利要求1所述的系统，其中所述显示面板特征包括所述显示面板的一个或多 个测量的特征，其中所述测量的特征包括以下各项中的一者或多者:所述显示面板的测量 的响应、本机白点、漏光、 反射光、或背光水平。10. 根据权利要求1所述的系统，其中所述显示面板特征包括以下各项中的一者或多 者:所述显示面板的色域、动态范围、位深度、或物理尺寸。11. 根据权利要求1所述的系统，其中所述视频内容为标准动态范围（SDR)视频内容或 高动态范围（HDR)，其中所述显示面板为支持高动态范围（HDR)的显示面板，并且其中所述 经处理的视频内容为HDR视频内容。12. 根据权利要求1所述的系统，还包括编码流水线，所述编码流水线被配置为： 从视频源接收视频数据； 获取目标显示面板的一个或多个特征； 根据所述视频数据的一个或多个特征、所述一个或多个目标显示面板特征、以及用于 指示所述目标显示面板处的当前环境条件的一个或多个环境指标来处理所述视频数据，以 根据由所述环境指标所指示的所述当前环境条件来生成适用于所述目标显示面板特征的 视频内容； 根据压缩视频格式对适用的视频内容进行编码，以生成经编码的视频数据；以及 将所述经编码的视频数据提供至与所述目标显示面板相关联的解码流水线。13. 根据权利要求1所述的系统，还包括亮度调整模块，所述亮度调整模块被配置为： 获取有关影响显示面板亮度的一个或多个条件的信息； 根据所获取的信息来确定对所述显示面板的亮度水平的调整；以及 根据非线性亮度调整函数按比例增加或减小所述显示面板亮度，以根据所获取的信息 来调整所述显示面板的所述亮度水平； 其中显示面板对比度不受所述显示面板亮度的非线性缩放的影响。14. 一种方法，包括： 由在设备上实现的解码模块执行： 接收经编码的视频数据； 对所述经编码的视频数据进行解码以生成视频内容； 确定所述视频内容的一个或多个特征； 确定目标显示面板的一个或多个特征； 获取一个或多个当前环境条件； 根据一个或多个视频处理技术来处理所述视频内容，其中所述处理包括根据所述视频 内容特征、所述显示面板特征、以及所述当前环境条件来调整所述视频处理技术中的一种 视频处理技术，以生成适用于在所述当前环境条件下在所述目标显示面板上查看的视频内 容；以及 将经处理的视频内容提供至所述目标显示面板以用于显示。15. 根据权利要求14所述的方法，其中所述视频处理技术包括将所述视频内容映射到 所述目标显示面板的色彩空间和位深度中的色域映射技术和色调映射技术，并且其中处理 所述视频内容包括根据所述当前环境条件来调整被应用于所述视频内容的所述色域映射 和所述色调映射，以生成适用于在所述当前环境条件下在所述显示面板上查看的所述视频 内容。16. 根据权利要求14所述的方法，其中处理所述视频内容包括： 将所述视频内容映射到所述目标显示面板的测量的响应亮度范围， 以生成中间视频内容；以及 根据所述当前环境条件来将所述中间视频内容映射到适用的人类视觉亮度范围，以生 成适用于在所述当前环境条件下在所述显示面板上查看的所述视频内容。17. 根据权利要求14所述的方法，其中所述环境条件包括环境光照指标和人类查看者 相对于所述显示面板的位置。18. 根据权利要求14所述的方法，其中所述视频内容为标准动态范围（SDR)视频内容或 高动态范围（HDR)视频内容中的一者，其中所述显示面板为支持HDR的显示面板，并且其中 所述经处理的视频内容为HDR视频内容。19. 一种装置，包括： 编码流水线，所述编码流水线被配置为对以高动态范围表示的输入视频数据进行编码 以生成经编码的视频数据;和 解码流水线，所述解码流水线被配置为： 对经编码的视频数据进行解码以生成视频内容； 获取一个或多个当前环境条件； 根据所述视频内容的一个或多个特征、所述显示面板的一个或多个特征、以及所述当 前环境条件来处理所述视频内容， 以生成适用于在所述当前环境条件下在所述显示面板上查看的视频内容；以及 将经处理的视频内容输出至所述目标显示面板以用于显示。20. 根据权利要求19所述的装置，其中为了处理所述视频内容，所述解码流水线被配置 为根据所述视频内容特征、所述显示面板特征、以及所述当前环境条件来将所述视频内容 映射到所述目标显示面板的色彩空间和位深度中，以生成适用于在所述当前环境条件下在 所述显示面板上查看的所述视频内容。
【文档编号】G09G5/10GK106030503SQ201580010103
【公开日】2016年10月12日
【申请日】2015年2月25日
【发明人】K·I·格林鲍姆, 过海涛, 潘昊, G·科泰, 白英俊
【申请人】苹果公司