本公开整体涉及数字视频或图像处理和显示。
背景技术：
包括但不限于个人计算机系统、台式计算机系统、膝上型电脑和笔记本式计算机、平板电脑或平板设备、数码相机、数字视频录像机、和移动电话或智能电话的各种设备可包括可实施一种或多种视频处理方法的软件和/或硬件。例如，设备可包括可根据一个或多个视频处理方法来接收和处理来自一个或多个源的数字视频输入并输出经处理的视频帧的装置(例如集成电路(ic)，诸如片上系统(soc)、或ic的子系统)。又如，可在设备上实施可根据一个或多个视频处理方法来接收和处理来自一个或多个源的数字视频输入并将经处理的视频帧输出到一个或多个目的地的软件程序。
作为示例，视频编码器可被实现为装置，或者另选地被实现为软件程序，其中数字视频输入根据视频编码方法而被编码或转换成其他格式，例如压缩视频格式，诸如h.264/高级视频编码(avc)格式或h.265高效视频编码(hevc)格式。作为另一示例，视频解码器可被实现为装置，或者另选地被实现为软件程序，其中根据视频解码方法，压缩视频格式诸如avc或hevc的视频被接收和解码或转换为另一(解压缩)格式，例如由显示设备使用的显示格式。h.264/avc标准被itu-t公布于标题为“itu-trecommendationh.264:advancedvideocodingforgenericaudiovisualservices”的文档中。h.265/hevc标准由itu-t公布于标题为“itu-trecommendationh.265:highefficiencyvideocoding”的文档中。
在许多系统中，装置或软件程序可实现视频编码器部件和视频解码器部件两者，此类装置或程序被统称为编解码器。需注意，编解码器可对视频流中的视觉/图像数据和音频/声音数据两者进行编码/解码。
在数字图像和视频处理中，按照惯例，数字图像(例如，视频或静止图像)在限制动态范围被捕获、呈现或显示，这被称为标准动态范围(sdr)成像。扩展或高动态范围(hdr)成像是指捕获、表示或再现电子图像中的比使用标准数字成像科技和技术(被称为标准动态范围，或sdr成像)获取的更宽的亮度范围的科技或技术。许多新设备诸如图像传感器和显示器支持hdr成像。这些设备可被称为支持hdr的设备或hdr设备。同时，许多显示设备可能并非直接支持hdr成像，这些设备可被称为标准显示器或sdr显示器。例如如在对光强度建模的光线跟踪、热辐射或其他呈现系统中那样，hdr媒体还可被直接合成。hdr媒体还可通过对各自在不同的曝光度(包围曝光)下拍摄的一系列(潜在)sdr图像进行数学组合来产生。
技术实现要素：
本发明描述了一种用于呈现和显示高动态范围(hdr)数字图像内容的方法和装置的各种实施方案。描述了可支持将标准动态范围(sdr)和hdr内容呈现和显示到支持hdr(hdr)和不支持hdr(标准或sdr)的显示器两者上的hdr呈现和显示系统的实施方案。该hdr呈现和显示系统使用甚至对于标准显示器可保留hdr内容中的至少一些hdr内容的显示处理技术来将数字图像内容呈现到hdr空间中并且将所呈现的hdr内容映射到hdr或标准显示器的显示空间中。该hdr呈现和显示系统可考虑各种信息，以根据目标显示器处的环境观看条件来动态地适应对数字图像内容的呈现和显示，该各种信息包括但不限于显示特征、控制输入、被呈现在显示器上的当前图像的亮度、显示器的尺寸或维度、观察者距显示器的距离、以及环境信息(诸如环境照明水平)。
在用于根据当前显示信息来呈现和显示hdr内容的方法的实施方案中，可确定或获取当前显示信息。当前显示信息可包括但不限于显示特征(例如，位深度、分辨率、尺寸等)、显示流水线中的部件的承载能力/精度、控制输入(例如，亮度控制输入或亮度滑块输入)、和环境信息(诸如环境照明水平)中的一者或多者。一个或多个呈现流水线可根据当前显示信息来呈现输入内容并对其进行编码，以生成经编码的hdr内容。在一些实施方案中，根据目标显示器的当前条件，当前显示信息可被提供至一个或多个呈现流水线并且用于呈现数字图像内容。例如，在一些实施方案中，当前显示信息可提供至一个或多个呈现流水线并由该一个或多个呈现流水线使用，从而确定最大呈现值m。该一个或多个呈现流水线可随后将输入内容呈现并编码到范围0.0-m中，以生成经编码的hdr输出。
在一些实施方案中，不同于或者除了将当前显示信息提供至一个或多个呈现流水线之外，当前显示信息可由显示管理系统采集和使用，该显示管理系统包括用于确定由显示流水线当前支持的最大呈现值m的显示流水线，并且该最大呈现值m可悲提供至呈现流水线中的一个或多个呈现流水线。例如，可使用所检测的环境光水平和/或亮度控制输入根据目标显示器处的环境观看条件来确定该显示器的当前亮度水平b。当前亮度水平b可被表示成百分数并可对应标准范围(sdr)最大亮度值(1.0)。在一些实施方案中，最大呈现值m可被确定为b的倒数。一个或多个呈现流水线随后可将输入内容呈现并编码到范围0.0-m中，以生成经编码的hdr输出。
在一些实施方案中，当确定m时，可将m优化尽可能大，同时确保不超过精度、感知和美学阈值。例如，在观看者当前适应的情况下(尤其在黑暗的环境条件中)，重要的是显示器的漏光不超过令人反感的感知阈值，并且m可被优化为更接近该阈值但小于该阈值。而且，假定显示流水线的精度以及通过技术诸如抖动技术承载更大精度的能力，重要的是该承载能力足以使得在光滑的梯度上不会引起感知条带，并且通过将m限制到由一个或多个流水线支持的值来优化m有助于保证足够的承载能力。又如，如果m设置过高，则标称显示范围、标准范围(0.0-1.0)或sdr内容被映射到的显示空间的下部部分可减小到某个程度，其中不同的亮度水平在当前环境条件和观看者对那些条件的适应的情况下无法进行区分，因为它们被映射到太少的感知分区。因此，m可被优化为尽可能大，同时不超过显示面板的感知分区阈值。此外，在一些实施方案中，可根据当前环境条件来适应黑电平，使得潜在压缩信号在给定观看者的当前适应力的情况下可见。而且，传递函数可被应用于将内容映射到用户适应的视力分区和感知分区的模型。
在一些实施方案中，可提供用于允许用户选择比常规显示亮度控件例如lcd背光控制器通常提供的更暗的设置的亮度控制用户界面元件；常规显示亮度控件通常不连续一直变暗到黑色。
一个或多个呈现流水线可随当前显示信息并且因此m改变来将输入内容动态地呈现到变化范围。因此，可根据当前显示条件来动态地适应对hdr内容的呈现，该当前显示条件包括但不限于显示流水线中的部件的承载能力/精度、控制输入(例如，亮度控制输入或亮度滑块输入)、显示器上的当前图像的亮度、以及环境信息(诸如环境照明水平)。
在至少一些实施方案中，显示流水线获取经编码的hdr内容并对其进行解码。经编码的hdr内容可从呈现流水线作为流直接接收，或者可从存储器例如从dma存储器中的一个或多个缓冲器读取。在显示流水线处，根据当前显示条件由一个或多个呈现流水线呈现到范围0.0-m中的经编码的hdr内容可被解码并被映射到目标显示器的显示空间中，该当前显示条件包括但不限于当前亮度水平和根据环境条件和/或亮度控制设置确定的内容的标称显示范围。在一些实施方案中，对于至少一些当前显示条件，显示流水线可将经解码的hdr内容的标准(范围0.0-1.0)部分映射到如根据当前亮度水平确定的标称显示范围，并且将经解码的hdr内容的扩展(范围1.0-m)部分映射到高于当前亮度水平的净空。
因此，hdr呈现和显示系统的实施方案可根据当前显示条件来动态地呈现和显示hdr内容，该当前显示条件包括但不限于显示特征(例如，位深度、最大亮度、泄露程度、反射率、一个或多个传递函数等)、部件在显示流水线中的承载能力/精度、控制输入(例如，亮度控制输入或亮度滑块输入)、和环境信息(诸如环境照明水平)。当在不利环境诸如非常高的环境光水平中观看时，实施方案可保留对源内容的动态范围的显示。实施方案还可被应用于在不良环境条件下保持sdr内容。使用实施方案，当hdr内容被压缩并且应用适当的抖动时，尤其在昏暗的环境下观看从而使得用户的感受适应黑暗时，标准或sdr显示器可产生hdr结果。此外，通过将显示面板动态地调节到不同的环境和周围条件，实施方案可在一些观看环境中使用较少的背光源，例如可节省移动设备上的电力。
附图说明
图1示出了根据一些实施方案的hdr呈现和显示系统中的高动态范围(hdr)内容呈现和显示。
图2a和图2b示出了根据一些实施方案的hdr呈现和显示系统中的示例性显示流水线。
图3示出了根据一些实施方案的hdr呈现和显示系统中的示例性呈现流水线。
图4a和图4b示出了相对于示例性显示面板的人类感知范围。
图5a到图5c根据一些实施方案示出了根据当前显示信息来将hdr内容映射到显示器。
图6是根据一些实施方案的用于根据当前显示信息来呈现和显示hdr内容的方法的高级流程图。
图7a到图7d为根据一些实施方案的用于将hdr内容呈现和显示到标准显示器的方法的流程图。
图8是为可被配置为实现本文所述的系统和方法的各个方面的片上系统(soc)的一个实施方案的框图。
图9为可包括一个或多个soc的系统的一个实施方案的框图。
图10示出了根据一些实施方案的可被配置为实现本文所述的系统和方法的各个方面的示例性计算机系统。
图11示出了根据一些实施方案的便携式多功能设备的框图。
图12描绘了根据一些实施方案的便携式多功能设备。
尽管本发明易受各种修改形式和替代形式的影响，但其具体实施方案在附图中以举例方式示出并将在本文中详细描述。然而，应当理解，附图以及对该附图的详细描述并不是要将本发明限制到所公开的具体形式，而正相反，本发明旨在涵盖落入到本发明的实质和范围内的所有修改形式、等同形式和替代形式。如在整个本专利申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用“可能”一词。类似地，字词“包括”(“include”,“including”，和“includes”)意味着包括但不限于。
各种单元、电路或其他部件可被描述为“被配置为”执行一个或多个任务。在此类上下文中，“被配置为”是一般表示“具有”在操作期间执行一个或多个任务的“电路”的结构的宽泛表述。如此，即使在单元/电路/部件当前未接通时，单元/电路/部件也可被配置为执行任务。通常，形成与“被配置为”对应的结构的电路可包括硬件电路。类似地，为了描述中方便，可将各种单元/电路/部件描述为执行一项或多项任务。此类描述应当被解释成包括短语“被配置为”。详述被配置为执行一个或多个任务的单元/电路/部件意在明确地不援引35u.s.c.§112，第六段对该单元/电路/部件的解释。
具体实施方式
简介
本发明描述了一种用于呈现和显示高动态范围(hdr)数字图像内容的方法和装置的各种实施方案。描述了可支持将标准动态范围(sdr)和hdr内容呈现和显示到支持hdr(hdr)和不支持hdr(标准)显示器两者、以及各种动态范围的hdr显示器的(例如，可显示更大亮度的显示器、可显示更暗黑的黑色(即，较少泄露和反射)的显示器、以及具有更高精度的显示器(即，可显示更多灰度水平))的hdr呈现和显示系统的实施方案。hdr呈现和显示系统将数字图像内容呈现到hdr空间并且使用甚至对于标准显示器可保留hdr内容中的至少一些hdr内容的显示处理技术来将所呈现的hdr内容映射到hdr或标准显示器的显示空间。hdr呈现和显示系统可考虑各种信息，以根据观看者适应视力的感知模型的预测来动态地适应对数字图像内容的呈现和显示，该各种信息包括但不限于显示特征(例如，位深度、最大亮度、泄露程度、反射率、一个或多个传递函数等)、显示流水线中的部件的承载能力/精度、控制输入、被呈现在显示器上的当前图像的亮度、显示器的尺寸或维度、观察者距显示器的距离、以及环境信息(诸如环境照明水平)。使用实施方案，当hdr内容被压缩并且应用适当的抖动时，尤其在昏暗的环境下观看从而使得用户的感受适应黑暗时，标准或sdr显示器可产生hdr结果。
在一些实施方案中，hdr呈现和显示系统可采用多种方法，该多种方法基于周围环境条件、显示面板的特征和性能、包括经由控件诸如亮度控件的用户输入的显示面板设置、以及其他信息诸如显示流水线中的部件的精度)来将hdr内容自动适应到目标显示面板。在一些实施方案中，hdr呈现和显示系统可在不同的周围观看环境中动态地适应该内容以用于显示，其可在不同的环境中和/或在不同的环境条件下提供改善的观看。因此，根据适于内容被观看的环境的观看者的视力以及感知范围的模型，通过自动地适应所显示的内容，hdr呈现和显示系统的实施方案可为移动设备或其他设备的用户提供改善的观看体验。通过将显示面板动态地适应到不同的环境和周围条件，hdr呈现和显示系统的实施方案可在一些观看环境中使用较少的背光/亮度，例如可节省移动设备上的电力。在一些实施方案中，所显示的像素和背光/亮度可被映射到感知模型中，这例如可允许hdr呈现和显示系统在适应于不同环境和周围条件时使得显示器更像纸一样起作用。换言之，hdr呈现和显示系统可能够将显示器匹配到相同环境下的纸的亮度水平，并且跟踪和调整到或用于观看者环境的白点。
hdr呈现和显示系统的实施方案可根据适用于内容正被观看的环境的观看者的视力和感知范围的模型来动态地适应所显示的内容，以在显示器的宽范围上并且针对种类广泛的内容来为观看者提供或多或少的hdr观看体验。不同于其中hdr内容被映射到显示面板的整个显示空间中的常规系统，实施方案可确定标准内容被映射到的显示空间的下部部分或子范围，以及hdr内容被映射到的显示空间的上部部分或子范围(注意，显示空间的这些子范围可以但不是必须覆盖整个显示空间)。描述了一种其中可根据观看者的视力和感知范围的模型和/或观看者的偏好来动态地适应子范围、以及内容到范围到的映射以在各种环境中在各种显示器上提供优化或理想观看体验的方法。例如，可能存在其中显示器不会更亮，但可通过将低和中间范围的值(即，标准内容)色调映射到延长范围来实现理想的较高感知亮度水平，同时将亮度(例如，hdr内容)压缩到该范围的较窄上部部分中的一个点。因此，即使显示器不会更亮，但是低和中间范围内容被增大使得其看上去更亮，从而在面板的反射光中不会损失。
hdr呈现和显示系统的实施方案可用于将本文所述的hdr内容呈现和显示到使用背光提供亮度的显示面板(例如，lcd显示器)，以及不使用背光提供亮度的显示面板(例如，其中每个像素发光的oled显示器)。hdr呈现和显示系统的一些功能与使用背光提供亮度的显示面板相关地进行描述。然而，这些功能中的至少一些功能还可应用到不使用背光提供亮度的显示面板。当在本文与显示面板相关地被使用时的术语“亮度”因此被应用于由背光或其他技术诸如led技术所提供的亮度。而且，当在本文使用时的术语“背光”应当被理解为还包括其他技术，诸如提供亮度的led技术。
hdr呈现和显示系统
图1示出了根据至少一些实施方案的hdr呈现和显示系统100。hdr呈现和显示系统100的实施方案可支持将sdr和hdr内容呈现和显示到支持hdr的显示器和标准显示器140两者。在一些实施方案中，hdr呈现和显示系统100可包括显示流水线110、目标显示器140、和一个或多个呈现流水线180。在一些实施方案中，每个呈现流水线180可与应用程序、设备、模块、部件或产生数字图像内容111以用于显示的系统相关联。在一些实施方案中，呈现流水线180从源(例如，数字视频相机或静止图像相机、或视频流式源)接收“原始”数字图像内容111，并且呈现所接收的数字图像内容111并对其进行编码，以产生经编码的内容112。显示流水线110可从一个或多个呈现流水线180接收经编码的内容112，并且可解码和处理所接收的内容112，以生成被格式化的显示内容132，从而用于显示到显示设备140。hdr呈现和显示系统100可考虑各种信息，以根据显示器140的当前条件来动态地适应对hdr内容的呈现和显示，包括但不限于显示特征142、控制输入162、部件在显示流水线110中的承载能力/精度、和环境信息152(诸如环境照明水平)。在一些实施方案中，显示流水线110可将其他内容119(例如，用户界面(ui)图形)与从一个或多个呈现流水线180所接收的内容112合成或混合。
按照一般定义，动态范围为可变量诸如在像声音或光的信号中的最大可能值和最小可能值之间的比率。在数字图像处理中，高动态范围(hdr)图像为使用hdr成像技术产生的图像，该hdr成像技术产生比使用标准数字成像技术获取的更宽的亮度范围。例如，与在常规图像处理中使用的(典型地，每个通道8位，例如，对于颜色/色度和亮度为8位)相比，hdr图像可包括每个通道更多位(例如，每个亮度和色度通道为10,12,14或更多位)，或者包括对于亮度(亮度通道)的更多位。(每个通道的位可被称为位深度)。使用标准数字成像技术产生的图像可被称为具有标准动态范围(sdr)，并且典型地每个通道使用8位。此外，例如通过在量化之前抖动较高精度信号，或者通过基于更好的匹配hdr水平上的观看者亮度感知的观看者视觉感知使用传递函数例如杜比实验室公司提出的感知量化(pq)传递函数，高精度hdr图像的每个通道可使用比以另外方式需要的较少的位来表示。动态范围典型地由最大值和最小值来定义。这意味着存在两种提高动态范围的方法：通过降低最小值或提高最大值(或者两者)。精度单独可有助于降低最小值，但是最高码的亮度可相反或也被增大。
在常规呈现和显示系统中，呈现流水线将所有数字内容的亮度(亮度)像素值而无论是sdr内容还是hdr内容映射到某个位深度(例如，8,10或12位)下的标准范围(0.0-1.0)，以用于对显示流水线进行编码并被输出到该显示流水线。每个位深度提供范围被映射到的某些数量的代码。例如，8位提供256种代码(0-255)，并且10位提供1024种代码(0-1023)。如果位深度为10，则0.0映射到0，并且1.0映射到1023。显示流水线获取输出并对该输出进行解码，并且随后将数字内容值(范围0.0-1.0)映射到显示器的显示空间(例如，8,10或12位)。因此，1.0为显示的最亮值，而不管原始数字内容为hdr内容还是sdr内容，并且不管显示器的特征(例如，位深度)如何。
在本文所述的hdr呈现和显示系统100的实施方案中，不同于将输入内容111的亮度值映射到标准范围(0.0-1.0)，呈现流水线180可将内容111映射到较宽范围。例如，如果内容111包括比正常或标准亮度更亮的亮度值(例如，10x标准亮度)，则呈现流水线180可将亮度数据映射到范围0.0-m，其中m为亮度的最大值。呈现流水线180可使用各种映射技术中的任一种映射技术。在一些实施方案中，内容111的标准或sdr部分可被映射到范围0.0-1.0中，并且内容111的扩展或hdr部分可被映射到范围1.0-m中。例如，对于包括为10x标准亮度的亮度值的输入内容111，值可被映射到范围0.0-10.0中，其中1.0表示标准亮度，并且m＝10.0表示最大亮度。在显示流水线110处，使用本文所述的显示流水线处理方法，由一个或多个呈现流水线180呈现到范围0.0-m中的经编码的hdr内容112可被解码并映射到目标显示器140的显示空间中(例如，8,10或12位)。例如，标准范围(0.0-1.0)或sdr内容可被映射到显示空间的下部部分中(例如，对于8位来说代码0-127)，其中扩展范围(1.0-m)或hdr内容被映射到显示空间的剩余部分中(例如，对于8位来说代码128-255)。其中标准范围(0.0-1.0)或sdr内容被映射到的显示空间的下部部分可被称为标称显示范围。
在一些实施方案中，当前显示信息可由一个或多个呈现流水线180和/或显示流水线110采集和使用，以确定最大呈现值m。在一些实施方案中，当确定m时，可将m优化尽可能大，同时确保不超过精度、感知和美学阈值。例如，在观看者当前适应的情况下(尤其在黑暗的环境条件中)，重要的是显示器的漏光不超过令人反感的感知阈值，并且m可被优化为更接近该阈值但小于该阈值。而且，假定一个或多个呈现流水线180的精度以及通过技术诸如抖动技术承载更大精度的能力，重要的是该承载能力足以使得在光滑的梯度上不会引起感知条带，并且通过将m限制到由一个或多个流水线支持的值来优化m有助于保证足够的承载能力。又如，如果m设置过高，则标称显示范围，标准范围(0.0-1.0)或sdr内容被映射到的显示空间的下部部分可减小到某个程度，其中不同亮度水平在当前环境条件和观看者对那些条件的适应情况下无法区分，因为它们被映射到太少感知分区。因此，m可被优化为尽可能大，同时不超过显示面板的感知分区阈值。此外，在一些实施方案中，可根据当前环境条件来适应黑电平，使得潜在压缩信号在给定观看者的当前适应力的情况下可见。而且，传递函数可被应用于将内容映射到用户适应的视力分区和感知分区的模型。
图6为根据一些实施方案的用于根据当前显示信息来呈现和显示hdr内容的方法的高级流程图。如图6的600处所指示的，可确定或获取当前显示信息114。当前显示信息114可包括显示特征142(例如，位深度、分辨率、大小、最大亮度、泄露程度、反射率、一个或多个传递函数等)、显示流水线110中的部件的承载能力/精度、控制输入162(例如，亮度控制输入或亮度滑块输入)、和环境信息152(诸如环境照明水平)中的一者或多者。如图6的610处所指示的，一个或多个呈现流水线180可根据当前显示信息114来呈现和编码输入内容111，以生成经编码的hdr内容112。参考图1，在一些实施方案中，根据目标显示器140的当前条件，当前显示信息114可被提供至一个或多个呈现流水线180并且用于呈现数字图像内容111。例如，在一些实施方案中，当前显示信息114可被提供至一个或多个呈现流水线180并由该一个或多个呈现流水线180使用，以确定最大呈现值m。一个或多个呈现流水线180可随后将输入内容111呈现并编码到范围0.0-m，以生成经编码的hdr输出112。
在一些实施方案中，不同于或者除了将当前显示信息114提供至一个或多个呈现流水线180之外，当前显示信息114可由显示管理系统采集和使用，该显示管理系统包括用于确定由显示流水线110当前支持的最大呈现值m并且可将最大呈现值m提供至呈现流水线180中的一个或多个呈现流水线的显示流水线110。例如，可使用所检测的环境光水平和/或亮度控制输入以，根据目标显示器处的环境观看条件来确定该显示器140的当前亮度水平b。当前亮度水平b可被表示成百分数(例如，0.25％或25％，0.5％或50％)并且可对应于标准范围(sdr)最大亮度值(1.0)。在一些实施方案中，最大呈现值m可被确定为b的倒数。例如，如果b＝0.25(1/4)，则m＝4/1＝4.0。类似地，如果b＝0.5，则m＝2.0。在一些实施方案中，当确定m时，可将m优化尽可能大，同时确保不超过精度、感知和美学阈值。一个或多个呈现流水线180可随后将输入内容111呈现并编码到范围0.0-m，以生成经编码的hdr输出112。
如图6的620处所指示的，显示流水线110获取hdr内容112并对经编码的hdr内容112进行解码。如图6的630处所指示的，显示流水线110随后根据当前显示信息来将经解码的hdr内容映射到显示器140。在显示流水线110处，由呈现流水线180呈现到范围0.0-m中的经编码的hdr内容112可被解码并被映射到目标显示器140的显示空间中。需注意，映射可以但不是必须为线性的。例如，在假想(线性)情况下，如果目标显示器140为8位显示器，b当前被设置为50％且m＝2.0，则标准范围(0.0-1.0)或者sdr内容被映射到如由b所指示的显示空间的下部部分中(代码0-127)，其中扩展范围(1.0-2.0)或hdr内容被映射到显示空间的剩余部分中(代码128-255)。在一些实施方案中，流水线110的面板背光或亮度调节部件可至少部分地根据当前亮度水平b来调节目标显示面板的背光或亮度水平，以将显示器140适应到包括环境照明水平的当前环境条件。
如本文所述的hdr呈现和显示系统100的实施方案例如可在包括或者配置为与一个或多个图像捕获设备和/或一个或多个显示设备耦接的设备或系统中实现。图像捕获设备可为包括能够捕获数字图像或视频的光学传感器或光传感器的任何设备。图像捕获设备可包括但不限于视频相机和静止图像相机、以及可捕获视频和单个图像两者的图像捕获设备。图像捕获设备可为独立设备或者可为被集成到其他设备中的相机，该其他设备包括但不限于智能电话、移动电话、pda、平板电脑或平板设备、多功能设备、计算设备、膝上型计算机、笔记本式计算机、上网本计算机、台式计算机等等。需注意，图像捕获设备可包括适用于小型设备诸如移动电话、pda和平板设备的小外形相机。图8到图12示出了可包括或执行如本文所述的hdr呈现和显示系统100、图像捕获设备或相机的设备的非限制示例。显示器或显示设备可包括被集成到其他设备中的显示屏或面板，该其他设备包括但不限于智能电话、移动电话、pda、平板电脑或平板设备、多功能设备、计算设备、膝上型计算机、笔记本式计算机、上网本计算机、台式计算机等等。显示设备还可包括视频监视器、投影仪、或者一般来讲可显示或投影数字图像和/或数字视频的任何设备。显示器或显示设备可使用lcd(液晶显示器)技术、lpd(发光聚合物显示器)技术、或led(发光二极管)技术，当然可使用其他显示技术。显示器或显示设备可包括使用背光源来提供亮度的显示器(例如，lcd显示器)，以及不使用背光源来提供亮度的显示器(例如，其中每个像素发光的oled显示器)。
hdr呈现和显示系统100的实施方案可支持将包括但不限于hdr视频数据的hdr内容捕获、处理、编码、分发和显示到支持hdr的显示设备以及不支持hdr成像的显示设备。此外，实施方案可支持将包括但不限于标准动态范围(sdr)视频数据的sdr内容显示到支持hdr的显示设备和不支持hdr成像的显示设备两者。hdr呈现和显示系统100的实施方案可呈现和显示视频帧或序列。不同于或者除了视频帧或序列以及其他数字图像或数字内容之外，实施方案还可呈现和显示单个图像或静止图像。
图8至图12示出了可在其中实现hdr呈现和显示系统100的实施方案的设备的非限制示例。包括图像捕获设备和/或显示设备的设备或系统可包括实现用于处理包括但不限于本文所述的视频数据的数字内容的功能的至少一些功能的硬件和/或软件。在一些实施方案中，如本文所述的功能的一部分可在一个设备上实现，而另一部分可在另一个设备上实现。例如，在一些实施方案中，包括图像捕获设备的设备可实现处理和压缩(即，编码)经由光传感器捕获的图像或视频的呈现流水线180，而包括显示面板或屏幕140的其他设备可实现接收和处理压缩的图像(即，解码)以用于显示到显示面板或屏幕140的显示流水线110。在一些实施方案中，本文所述的功能中的至少一些功能可由片上系统(soc)的一个或多个部件或模块来实现，该片上系统可用于包括但不限于多功能设备、智能电话、垫或平板设备、以及其他便携式计算设备诸如膝上型计算机、笔记本计算机、和上网本计算机的设备。例如，一个或多个显示流水线或显示管理系统可在soc上的模块(被称为解码模块)中实现或者被实现为该模块，并且呈现流水线可在soc上的模块(被称为编码模块)中实现或者被实现为该模块。图8示出了示例性soc，并且图9示出了实现soc的示例性设备。图10示出了可实现本文所述的方法和装置的示例性计算机系统。图11和图12示出了可实现本文所述的方法和装置的示例性多功能设备。
在如本文所述的hdr呈现和显示系统100的一些实施方案中，全局色调映射(gtm)技术可用于将内容从一种表示或范围转换或映射到另一种表示或范围。在gtm技术中，全局色调曲线可针对一个或多个帧来指定或确定并且用于将内容从一种表示或范围转换到另一种表示或范围。在一些实施方案中，不同于或者除了gtm技术之外，局部色调映射(lmt)技术可用于将内容从一种表示或范围转换到另一种表示或范围，例如保持以另外方式可能不能表示的对比度。在ltm技术中，图像或帧被划分为多个区域，其中针对每个区域来指定或确定色调曲线。例如当压缩超过以另外方式可实现的显示设备的范围时，ltm技术可有助于保持对比度。这例如可为在显示亮度与环境亮度竞争时的情况，例如在阳光直射时。
图2a、图2b和图3更详细地示出了hdr呈现和显示系统100的实施方案的部件和操作。hdr呈现和显示系统200可包括但不限于显示流水线210、动态显示模块270、和一个或多个呈现流水线280。hdr呈现和显示系统200的部件可在硬件、软件或作为两者的结合中实现。图2a和图2b示出了根据一些实施方案的hdr呈现和显示系统200中的示例性显示流水线210的详情。图3示出了根据一些实施方案的hdr呈现和显示系统200中的示例性呈现流水线280的详情。显示流水线210可在包括或者耦接到至少一个显示器240的设备或系统中实现。呈现流水线280例如可在包括或者耦接到至少一个数字图像内容源诸如静止相机和/或一个或多个视频相机、或者视频流式源的设备或系统中实现。呈现流水线280和显示流水线210可在相同的设备或系统中实现，或者可在不同的设备或系统中实现。
显示流水线210可在包括目标显示器240以及位于周围环境中的设备中实现。一个或多个观看者可位于周围环境中并且可观看输出到显示器240的内容232。系统200可包括或者可实现用于显示器240的一个或多个控件260，例如亮度空间和对比度控件。系统200还可包括或者访问一个或多个传感器250诸如光传感器或相机。周围环境例如可为房子中的房间(卧室、书房等)、室外设置、办公楼中的办公室或会议室，或者通常其中可呈现具有显示器240的系统200的任何环境。周围环境可包括一个或多个光源，诸如灯泡或天花灯、其他人工光源、室内环境中的窗户、以及室外环境中的太阳、或其他光源。需注意，系统200和/或显示器240可在周围环境内移动或重新定位，或者从一种周围环境(例如，房间)移动到另一种周围环境(例如，另一房间或室外环境)。
图2a、图2b和图3还示出了作为hdr呈现和显示系统200的部件的动态显示模块270。在一些实施方案中，动态显示模块270可为包括显示流水线210的显示管理系统的部件，或者另选地可为显示流水线210的部件。动态显示模块270可采集各种信息，包括但不限于显示特征242、部件在显示流水线210中的承载能力/精度、控制输入262、以及环境信息252诸如环境照明水平，并且可动态地确定用于hdr呈现和显示系统200的标称显示范围273、当前亮度水平272、和最大呈现值274。
如图2a和图3所示的，在至少一些实施方案中，呈现流水线280可从源(例如，从包括呈现流水线280的设备或系统上的视频相机，或者从视频流式源)接收内容211，呈现来自输入内容211的hdr内容，并且根据编码方法来将所呈现的内容编码为经编码或压缩格式，例如压缩视频格式诸如h.264/高级视频编码(avc)格式或者h.265高效视频编码(hevc)格式。经编码的hdr内容282a可流式传输到显示流水线210。另选地，编码内容282a可流式传输到存储器290中，例如传输到直接存储器访问(dma)存储器的一个或多个缓冲器中，以用于由显示流水线210来访问。显示流水线210可获取经编码的内容262b，对内容262b进行解码，以及处理经解码的内容，以生成用于显示在显示面板240上的显示内容232。
图2a示出了根据一些实施方案的hdr呈现和显示系统200中的示例性显示流水线210的详情。显示流水线210可包括但不限于解码器212部件或模块、视频管214部件或模块、帧速率转换216部件或模块、合成218部件或模块、显示管220部件或模块、以及显示后端230部件或模块。图2b示出了示例性显示管220和显示后端230。
参考图2a，编码hdr视频流(例如，h.264/avc或者h.265/hevc编码视频流)可在显示流水线210的解码器212部件处被接收。解码器212可解码/解压缩输入内容，以生成馈送到视频管214的hdr内容。视频管214可对该内容执行各种处理任务或内容处理技术，包括但不限于噪声/伪影减小、缩放、锐化和颜色处理。在一些实施方案中，帧速率转换216部件可通过在现有帧之间生成一个或多个中间帧来将视频管214的输出转换为较高帧速率。转换为较高帧速率例如可能有助于可能出现在hdr视频中的抖动，例如，由于闪烁在较高亮度水平更明显。帧速率转换216部件的输出可被馈送到显示管220，高显示管可执行各种处理任务，包括但不限于缩放、一个或多个颜色空间转换、颜色色域调节、和局部或全局色调映射。显示后端230随后可执行附加处理任务，包括但不限于颜色(浓度)和色调(色调)调节、色调映射、背光或亮度调节、γ校正、白点校正、黑点校正和空间-时间抖动，以生成输出到目标显示面板240的显示内容232。在一些实施方案中，显示流水线210可包括将其他sdr或hdr数字信息诸如文本或ui元件与所呈现的hdr内容合成或混合的合成218部件。在一些实施方案中，显示流水线210可将hdr内容转换到线性颜色空间(例如，线性rgb或ycc颜色空间)以用于合成。
如图2a所示，动态显示模块270可采集各种显示信息，包括但不限于显示特征242、部件在显示流水线210中的承载能力/精度、控制输入262、以及环境信息252(诸如环境照明水平)，并且可动态地确定用于hdr呈现和显示系统200的标称显示范围273、当前亮度水平b272、和最大呈现值274。标称显示范围273和当前亮度水平b272可被输入到显示流水线210中的部件或模块中的一者或多者并由其使用，以根据该信息来动态地调节由一个或多个模块执行的视频处理功能中的一个或多个视频处理功能。因此，可检测、分析和使用一个或多个当前条件(例如，环境光、显示特征、显示设置等)来实时或者接近实时地将对输入hdr内容282b的呈现和显示动态地适应于目标显示面板240。
在一些实施方案中，显示流水线210接收经编码的hdr内容282b，其中亮度分量由呈现流水线280呈现到范围0.0-m中，对经编码的内容进行解码，并且将经解码的内容映射到目标显示器240的显示空间中，从而保留亮度内容的动态范围0.0-m。需注意，映射可以但不是必须为线性的。例如，在假想(线性)情况下，如果目标显示器240为8位显示器，当前亮度水平b为50％且m＝2.0，则标准范围(0.0-1.0)或者sdr内容可被映射或者压缩到如由b所指示的显示空间的下部部分中(代码0-127)，其中扩展范围(1.0-2.0)或hdr内容被映射到显示空间的剩余部分中(代码128-255)。因此，即使在标准显示器上，也可显示高于标准范围(0.0-1.0)的所呈现的hdr内容。
图2b示出了根据一些实施方案的显示流水线210的示例性显示管220和显示后端230部件。在一些实施方案中，显示管220可执行竖直和水平缩放422，以将hdr内容转换为目标显示面板分辨率。随后可执行颜色空间转换424，以将缩放内容从输入内容的颜色空间(例如，rgb，ycc或xyz颜色空间)转换到另一颜色空间(例如，ycc颜色空间)。随后可对内容执行颜色色域调节426，以将视频内容的颜色(色度)分量调节到目标显示面板的颜色色域。随后可执行另一颜色空间转换424，以将视频内容转换到显示后端230的颜色空间(例如，rgb颜色空间)。由显示管220处理的视频内容随后可被提供至显示后端230。
在一些实施方案中，显示后端230可对内容执行附加显示面板专用处理任务。在显示后端230的一些实施方案中，自适应像素调节431部件可响应于包括但不限于环境条件诸如环境光水平和显示特征(例如，位深度、最大亮度、泄露程度、反射率、一个或多个传递函数等)的信息275来调节内容中的像素值。在显示后端230的一些实施方案中，色调映射432部件可向内容应用色调映射。按照通常定义，色调映射为将一组色调图像值(例如，来自hdr图像数据的亮度值)映射到另一组色调图像值(例如，到sdr图像数据)的技术。色调映射例如可用于近似介质中的具有更有限动态范围(例如，sdr)的hdr图像的出现。色调映射通常可被应用于亮度图像数据。在显示后端230的一些实施方案中，面板背光(或者亮度)调节433部件可至少部分地根据当前亮度水平272来调节用于目标显示面板的背光(或亮度)水平。在显示后端230的一些实施方案中，面板γ校正434可被执行以调节内容的亮度，以用于正确显示在目标显示面板上。随后可执行白点校正435，以将内容的白点校正为目标显示面板的白点。在显示后端230的一些实施方案中，空间(在帧内)和/或时间(跨两个或更多个帧)抖动436随后可被应用于该内容，以减小或消除显示内容中的伪影(例如，条带图案)。
如图2b所示，动态显示模块270可采集各种信息，包括但不限于显示特征242、部件在显示流水线210中的承载能力/精度、控制输入262、以及环境信息252(诸如环境照明水平)，并且可动态地确定用于hdr呈现和显示系统200的标称显示范围273、当前亮度水平272、和其他信息275。标称显示范围273、当前亮度水平272、和其他信息275可被输入到显示流水线210的显示管220和/或显示后端230中的部件或模块中的一者或多者并由其使用，以根据该信息来动态地调节由一个或多个模块执行的内容处理功能中的一个或多个内容处理功能。因此，可检测、分析和使用一个或多个当前条件(例如，环境光、显示特征、显示设置等)，以将对hdr内容282的呈现和显示动态地适应于目标显示面板240。
图3示出了根据一些实施方案的hdr呈现和显示系统200中的示例性呈现流水线280的详情。呈现流水线280可与应用程序、设备、模块、部件、或产生数字图像内容211以用于显示的系统相关联。在一些实施方案中，呈现流水线280从源(例如，数字视频相机或静止图像相机、或视频流式源)接收“原始”数字图像内容211，并且呈现和编码所接收的数字图像内容211，以产生经编码的hdr内容282。呈现流水线280可包括但不限于光电传递函数(eotf)282部件或模块、映射284部件或模块、以及编码器288部件或模块。
至呈现流水线280的输入内容211例如可在(线性)cie1931xyz颜色空间中以16位的位深度进行编码。然而，输入内容211可采取其他形式、颜色空间和位深度。eotf282部件可向输入内容211应用光电传递函数(eotf)操作，以将输入内容211数据例如12位rgb颜色空间中的n位数据映射到颜色空间。映射284部件例如可使用色调(亮度)映射和色域(颜色)映射技术来由将eotf282输出的内容(例如，12位rgb数据)映射到位深度和颜色空间中(例如，10位rgb)。然而，映射284部件可使用各种映射技术中的任一种映射技术。在一些实施方案中，可至少部分地根据从显示模块270和/或显示流水线210获取的显示信息来执行映射284。在呈现流水线280的一些实施方案中，可在映射284部件中使用全局色调映射(gtm)技术。在一些实施方案中，不同于或者除了gtm技术之外，可在映射284部件中使用局部色调映射(ltm)技术。在ltm技术中，图像或帧被划分为多个区域，其中针对每个区域来指定或确定色调曲线。ltm技术可有助于保持对比度，例如当压缩超过显示设备的以另外方式可实现的范围时。这例如可为在显示亮度与环境亮度竞争时的情况，例如在阳光直射时。在一些实施方案中，在映射284之前，eotf282部件的输出可被转换到另一颜色空间中，例如从rgb到ycc颜色空间。
不同于如在常规呈现流水线中完成的将内容211的亮度值映射到标准范围(0.0-1.0)中，呈现流水线280可将内容211映射到较宽范围中。例如，如果输入内容211包括比正常或标准亮度更亮的亮度值(例如，10x标准亮度)，则呈现流水线280可将亮度数据映射到范围0.0-m中，其中m为亮度的最大值。因此，映射284的输出为hdr内容，其中亮度被映射到范围0.0-m中。在一些实施方案中，内容211的标准或sdr部分可被映射到范围0.0-1.0，并且内容211的扩展部分或hdr部分可被映射到范围1.0-m中。例如，对于包括为10x标准亮度的亮度值的输入内容211，值可被映射到范围0.0-10.0中，其中1.0表示标准亮度，并且m＝10.0表示最大亮度。
在一些实施方案中，包括但不限于显示特征242、部件在显示流水线210中的承载能力/精度、控制输入262和环境信息252的当前显示信息可由动态显示模块270采集和使用，以确定显示由流水线210当前支持的最大呈现值m274，并且最大呈现值m274可被提供至呈现流水线280。例如，可使用所检测的环境光水平和/或亮度控制输入来确定该显示器240的当前亮度水平b272。当前亮度水平b272可被表示成百分数(例如，0.25％或25％，0.5％或50％等)并可对应于标准范围(sdr)最大亮度值(1.0)。在一些实施方案中，最大呈现值m274可被确定为b的倒数。例如，如果b＝0.25(1/4)，则m＝4/1＝4.0。类似地，如果b＝0.5，则m＝2.0。呈现流水线280可随后将输入内容211的亮度分量映射到范围0.0-m中，以生成将被编码的hdr内容。
编码器288部件随后可根据编码方法来将所呈现的内容输出编码为经编码或压缩的格式，例如压缩视频格式，诸如h.264/高级视频编码(avc)格式、或者h.265高效视频编码(hevc)格式。在一些实施方案中，在编码288之前，映射284部件的输出可被转换到另一颜色空间中，例如从rgb到ycc颜色空间。编码288的输出为经编码的hdr内容282a。经编码的hdr内容282a可流式传输到显示流水线210。另选地，经编码的内容282a可流式传输到存储器290中，例如传输到直接存储器访问(dma)存储器的一个或多个缓冲器中，以用于由显示流水线210访问。
显示流水线210可获取经编码的内容262b，对内容262b进行解码、以及处理经解码的内容，以生成显示内容232以用于显示在显示面板240上。在一些实施方案中，动态显示模块270可采集各种信息，包括但不限于显示特征242、部件在显示流水线210中的承载能力/精度、控制输入262、以及环境信息252(诸如环境照明水平)，并且可动态确定用于hdr呈现和显示系统200的标称显示范围273、当前亮度水平272、和其他信息275。标称显示范围273、当前亮度水平272、和其他信息275可被输入到显示流水线210中的部件或模块中的一者或多者并由其使用。以根据该信息来动态地调节由一个或多个模块执行的内容处理功能中的一个或多个内容处理功能。因此，可检测、分析和使用一个或多个当前条件(例如，环境光、显示特征、显示设置等)，以将对hdr内容282的呈现和显示动态地适应于目标显示面板240。
需注意，图2a、图2b和图3中示出的各种视频格式、颜色空间、位深度等以举例的方式给出而并非旨在进行限制。例如，除cie1931xyz之外的颜色空间可用于输入视频。作为另一示例，在一些实施方案中，可根据除h.264/avc或h.265/hevc格式之外的其他编码格式来执行编码和解码。作为另一示例，在呈现流水线280和显示流水线210中使用的颜色空间和显示流水线210可将内容映射到的目标显示面板240的颜色空间可为多种颜色空间中的任一个颜色空间，包括但不限于各种yuv颜色空间、ycc颜色空间、rgb颜色空间、rec.709颜色空间、dcip3颜色空间、和rec.2020颜色空间。
观看者感知、标称显示范围和亮度
在呈现和显示hdr内容时考虑的重要因素为观看者感知。人类视觉系统具有宽的勒克斯范围。然而，在任何给定时间，视力仅适用于该范围的小部分。如图1到图3所示的hdr呈现和显示系统的至少一些实施方案可检测、跟踪和分析包括但不限于在显示器上呈现的当前图像的亮度、显示器的尺寸或维度、观看者距显示器的距离的条件以及包括但不限于周围照明的周围环境条件，以根据当前条件以及最近过去条件如何变化来确定用于观看者视力的当前范围，并且可根据当前条件来使内容至目标显示面板的呈现和显示适用于该范围。
在测光时，亮度的si单位为每平方米坎德拉(cd/m2)。坎德拉为发光强度的si单位。该单位的非si术语为“nit”。勒克斯为亮度和发光度的用于测量每个单位面积的光通量(流明)的si单位。勒克斯等于每平方米一流明。流明为光通量的si派生单位、对由源发射的可见光的测量。
图4a和图4b示出了相对于示例性显示面板的人类感知范围。图4a示出了黑暗环境中的显示器的感知范围。图4b示出了较明亮环境中的显示器的感知范围。如由图4a中的曲线所示的，人类感知为非线性的。然而，人类视力具有宽勒克斯范围，从星光(10-4勒克斯)到直射太阳光(104勒克斯)。在任何给定时间，人类视力仅适用于该范围的小部分，并且通常适用于面对大百分比的视野的最明亮刺激物或对象。在任何给定适应水平，仅存在可区分的2^8到2^9个强度分区。在图4a和图4b中，最大勒克斯水平(在图4a中约为250，在图4b中为2500)为环境亮度的水平，并且相应地为观看者感知所适用的位置。类似地，在曲线的黑暗端处，第一感知分区(曲线的最底部分区)无法与真黑区分开。
图4a示出了相当黑暗环境中的相当明亮的显示器，该显示器非常好地模拟人类视力。纵轴代表512个感知水平(强度)。边框区域为难以正确呈现的区域。该边框区域包括由于黑色显示泄露以及离开显示面板的反射环境光而造成的显示器无法到达的灰色阴影部分，并且示出了显示器上的黑色相对于视力如何在感知上不同于真黑。
图4b示出了人类感知到较明亮的环境中的映射，其中显示器可能仅激励人类感知的一部分。如显示范围示出的曲线的一部分激励小于一半的人类视觉范围。显示器的感知响应不同于其测量响应。因此，相对于可在显示器上表现的动态范围可能存在限制。
如前所述，在给定适应水平，可能仅存在人类视觉系统可区分的2^8到2^9个不同强度水平。如图1到图3所述的hdr呈现和显示系统的实施方案可检测和分析包括但不限于环境照明的周围环境条件，以根据当前条件来确定被称为标称显示范围的人类视力的当前范围，并且可根据当前条件来使内容至目标显示面板的呈现和显示适用于该标称范围。
在如图1到图3所示的hdr呈现和显示系统的实施方案中，包括但不限于环境照明的环境信息252可用于处理hdr内容。如果环境光条件已知，则可完成能改善观看者体验的若干个事情。如图2a和图3所示，hdr呈现和显示系统200可包括一个或多个传感器250，包括但不限于可监测显示器240的环境条件的光传感器或相机。该环境信息252可由hdr呈现和显示系统200中的一个或多个模块使用，以根据周围环境来适应对hdr内容的呈现和显示。例如，在将色调映射和/或色域映射应用于显示的内容时，可至少部分地基于当前环境照明来动态地调节映射。又如，可至少部分地基于当前环境照明来向上或向下调节显示器亮度。在一些实施方案中，除了环境照明之外，其他环境信息252诸如观看者位置和角度也可被采集和用于根据周围环境来适应对hdr内容的呈现和显示。
除了环境信息252诸如环境照明之外，在一些实施方案中，观看者可经由一个或多个控件260诸如允许观看者指定理想亮度水平的显示器亮度滑块来提供控制输入262。在一些实施方案中，可提供可提供用于允许用户选择比常规显示亮度控件例如lcd背光控制器通常提供的更暗的设置的亮度控件260；常规显示亮度控件通常不连续一直变暗到黑色。在一些实施方案中，在针对观看者来适应对hdr内容的呈现和显示时，代替或者除了环境信息252之外，可使用控制输入262。在一些实施方案中，在针对观看者来适应对hdr内容的呈现和显示时，可由hdr呈现和显示系统200获取和使用显示特征242(例如，位深度、分辨率、尺寸/维度、泄露程度、反射率、一个或多个传递函数等)。
参考图2a，在一些实施方案中，hdr呈现和显示系统200可包括动态显示模块270，该动态显示模块可获取或采集各种信息，包括但不限于显示特征242、部件在显示流水线210中的承载能力/精度、控制输入262、以及环境信息252，并且可使用该信息动态来确定用于hdr呈现和显示系统200的标称显示范围273、当前亮度水平272、和最大呈现值274。最大呈现值274在呈现输入内容211时可被传递到一个或多个呈现流水线280用作亮度值的最大值m以生成hdr内容，从而被编码和输出作为经编码的hdr内容282a。在将输入hdr内容282b映射到目标显示器240的显示空间中时，标称显示范围273和当前亮度水平272可被传递到将被使用的显示流水线210。在一些实施方案中，动态显示模块270可将其他信息275包括但不限于环境条件诸如环境光水平传递到显示流水线210以用于在处理hdr内容以用于显示时使用。
图5a到图5c示出了根据一些实施方案的使用如由动态显示模块生成的当前显示信息来将由呈现流水线呈现到范围0.0-m中的hdr内容映射到显示空间。图5a示出了在正常照明环境中将hdr内容映射到正常或标准显示器(例如，8位显示器)。图5b示出了将hdr内容映射到明亮或支持hdr的显示器(例如，10位、12位或更高位显示器)。图5c示出了在黑暗照明环境中将hdr内容映射到正常或标准显示器(例如，8位显示器)。标准范围(0.0-1.0)或sdr内容被映射到的显示空间的一部分可被称为标称显示范围。
图5a示出了根据一些实施方案的在正常照明环境中将hdr内容映射到正常或标准显示器(例如，8位显示器)。对于8位显示器，n＝256。在正常照明环境中，标称显示范围(0.0-1.0)可延伸跨过所有显示器的代码。在该示例中，对于8位显示器，代码为0-255，典型地，0.0映射到代码0而1.0映射到代码255。由一个或多个呈现流水线呈现到范围0.0-m中的输入hdr内容可由显示流水线映射到显示空间的256个代码中。在一些实施方案中，最大值m可被映射到1.0/代码255，其中0被映射到0.0/代码0。需注意，映射可以但不是必须为线性的。在一些实施方案中，可使用简单标度或乘法函数来执行映射。在一些实施方案中，可根据伽马函数例如根据如本文所述的感知模型所确定的伽马函数来执行映射。在一些实施方案中，可使用一个或多个查找表(lut)来执行映射。在一些实施方案中，lut可被适配为针对特定显示器或显示器类型进行校正，或者以另外方式扭曲或调整映射。
在一些实施方案中，标准范围(0.0-1.0)或sdr内容诸如文本或ui元件可在显示之前由显示流水线与所呈现的hdr内容混合或合成。在一些实施方案中，当在显示空间中将sdr内容与hdr(0.0-m)内容合成或混合时，sdr内容和hdr内容的标准(0.0-1.0)部分可被映射或压缩到显示空间的下部部分中(例如，对于8位来说，代码0-127)，其中hdr内容的扩展范围(1.0-m)部分被映射到显示空间的剩余部分中(对于8位来说，代码128-255)。需注意，映射可以但不是必须为线性的。例如，在假设(线性)情况下，针对8位，如果m＝2，则sdr内容和hdr内容的标准(0.0-1.0)部分可被映射或压缩到代码0-127中，其中hdr内容的扩展范围(1.0-m)部分被映射到显示空间的剩余部分中(对于8位来说，代码128-255)。
图5b示出了根据一些实施方案的将hdr内容映射到明亮或支持hdr的显示器(例如，10位、12位或更高位显示器)。对于10位显示器，n＝1024。因此，代码为0-1023。在一些实施方案中，hdr内容的标准(0.0-1.0)部分可由显示流水线映射到显示空间的下部代码(0-n)中，其中hdr内容的扩展范围(1.0-m)部分被映射到显示空间的剩余部分中(代码n-1023)。需注意，映射可以但不是必须为线性的。在一些实施方案中，可根据m的值来确定n。例如，在假设(线性)的情况下，如果m＝4，对于10位显示器，则n＝(1024/4)–1＝255。更现实地，对于真实世界非线性(伽马)的情况，如果m＝4，对于具有2.2的伽马响应的10位显示器，则1.0将被映射到((0.25)^2.2)*1023＝48.45。由于显示界面可能仅承载整数，则可取整为48，或者(更有可能)48.45可被承载到具有抖动的显示器。
在一些实施方案中，当在扩展显示空间中将sdr内容与hdr(0.0-m)内容合成或混合时，sdr内容和hdr内容的标准(0.0-1.0)部分可被映射或压缩到显示空间的下部部分中(例如，代码0-n)，其中hdr内容的扩展范围(1.0-m)部分被映射到显示空间的剩余部分中(例如，代码n-1023)。
图5c示出了根据一些实施方案的在黑暗照明环境中将hdr内容映射到正常或标准显示器(例如，8位显示器)。在黑暗环境中，甚至正常显示器将表现为非常亮并且可显示出适用于观看者视力的不舒服的亮度。因此，可使用控件(例如，亮度滑块ui元件)来调小亮度(例如，背光亮度)，或者可响应于用于检测环境照明的传感器输入而被自动调光。在一些实施方案中，亮度控件(例如，亮度滑块ui元件)可允许用户选择比常规显示亮度控件例如lcd背光控制器通常提供的更暗的设置；常规显示亮度控件通常不连续一直变暗到黑色。hdr呈现和显示系统的实施方案可利用由小于100％的调光亮度水平产生的显示空间的“净空”或未使用部分的优势，以将hdr内容显示到标准显示器。例如，如果对于8位显示器，显示器亮度为50％，则显示器代码的上部部分(128-255)可用于如由一个或多个呈现流水线呈现的内容的扩展或hdr部分(亮度值1.0-m)，其中下部部分(0-127)用于内容的标准或sdr部分(亮度值0.0-1.0)。
在一些实施方案中，可使用检测的环境光水平和/或亮度控制输入，以根据目标显示器处的环境观看条件来确定该显示器的当前亮度水平b。当前亮度水平b可表示为百分比(例如，0.25％或25％，0.5％或50％等)。在一些实施方案中，b可对应于或者映射到标准范围(sdr)最大亮度值(1.0)。在一些实施方案中，最大呈现值m可被确定为b的倒数。例如，如果b＝0.25(1/4)，则m＝4/1＝4.0。类似地，如果b＝0.5，则m＝2.0。一个或多个呈现流水线可将hdr内容呈现到范围0.0-m中。
在一些实施方案中，当前显示信息可由一个或多个呈现流水线采集和使用，以确定最大呈现值m。在一些实施方案中，当确定m时，可将m优化尽可能大，同时确保不超过精度、感知和美学阈值。例如，在观看者的当前适应情况下(尤其在如图5c所示的黑暗的环境条件中)，重要的是显示器的漏光不超过令人反感的感知阈值，并且m可被优化为更接近该阈值但小于该阈值。又如，假定一个或多个呈现流水线的精度以及通过技术诸如抖动技术承载更大精度的能力，重要的是该承载能力足以使得在光滑的梯度上不会引起感知条带，并且通过将m限制到由一个或多个流水线支持的值来优化m有助于保证足够的承载能力，而不超过精度、感知和美学限制。又如，如果m设置过高，则标称显示范围，标准范围(0.0-1.0)或sdr内容被映射到的显示空间的下部部分可减小到某个程度，其中不同亮度水平在当前环境条件和观看者对那些条件的适应情况下无法区分，因为它们被映射到太少感知分区。因此，m可被优化为尽可能大，同时不超过显示面板的感知分区阈值。此外，在一些实施方案中，可根据当前环境条件来适应黑电平，使得潜在压缩信号在给定观看者的当前适应力的情况下可见。而且，传递函数可被应用于将内容映射到用户适应的视力分区和感知分区的模型。
对于8位显示器，n＝256，代码为0-255。在黑暗照明环境中，hdr内容的标准范围(0.0-1.0)部分可由显示流水线映射或压缩到如b所确定的显示空间的下部部分中。例如，在假设线性情况下，对于8位显示器，如果b＝0.5，则标准范围(0.0-1.0)可被映射到代码0-127中。hdr内容的扩展范围(1.0-m)部分可映射到显示空间的剩余部分中(对于8位显示器，代码128-255，其中b＝0.5)。需注意，映射可以但不是必须为线性的。更现实来说，对于真实世界非线性(伽马)情况，如果m＝4，对于具有2.2的伽马响应的10位显示器，则1.0将被映射到((0.25)^2.2)*1023＝48.45。由于显示界面可能仅承载整数，则可取整为48，或者(更有可能)48.45可被承载到具有抖动的显示器。
在一些实施方案中，当在标准显示空间中将sdr内容与hdr(0.0-m)内容合成或混合时，hdr内容的标准范围(0.0-1.0)部分可被映射或压缩到显示空间的下部部分中(例如，对于8位来说，代码0-127)，其中hdr内容的扩展范围(1.0-m)部分被映射到显示空间的剩余部分中(对于8位显示器来说，代码128-255)。需注意，映射可以但不是必须为线性的。例如，在假设(线性)情况下，针对8位显示器，b＝0.5，hdr内容的标准范围(0.0-1.0)部分可被映射或压缩到代码0-127中，其中hdr内容的扩展范围(1.0-m)部分被映射到显示空间的剩余部分中(对于8位显示器来说，b＝0.5，代码128-255)。
在一些实施方案中，在将hdr内容映射到黑暗照明环境中的正常或标准显示器时，显示面板背光可能保持全功率，如在图5c中所示的。标准范围(0.0-1.0)值被映射或压缩到显示空间的下部部分中(即，标称显示范围)，其中hdr内容的扩展范围(1.0-m)部分被映射到显示空间的上部或“净空”部分中(净空为大于1.0以上的值被映射到的显示空间的上部区域)。在将hdr内容显示在黑暗环境中时保持背光全功率，标准内容以舒适水平显示给观看者，而非常亮的效果诸如曝光可按照在观看者感知调整变暗时感觉上令人印象深刻的方式被显示。然而，保持背光全功率是功耗的重要来源。在一些实施方案中，为了减小功耗，基于正显示的内容来调制背光源功率。当在上部(1.0-m)范围内不存在内容时可将背光调暗，并且在存在明亮内容时调亮。可根据背光设置由显示流水线来调节像素值以保持相同的表观亮度。当背光调高时，像素减小；当背光调低时，使得像素在逻辑上更亮。因此，较黑暗像素可被拉伸到更明亮像素，但是更明亮像素可被压缩，并且因此明亮内容中的细节可能丢失。因此，在一些情况下，该方法可能会使得视觉效果降低，例如，在将典型较明亮的sdr内容诸如ui元件与典型较黑暗的hdr内容诸如电影或视频混合时。
在一些实施方案中，由于sdr内容诸如ui元件以及hdr内容单独处理，其中sdr内容被映射到显示空间的下部部分，当根据背光设置调节像素值时，sdr内容可被保留并且不被压缩，其中调节仅应用于hdr内容。因此，可保留sdr内容诸如ui元件中的亮度详情。
图7a到图7d是根据一些实施方案的用于将hdr内容呈现和显示到标准显示器的方法的流程图。图7a到图7d的方法例如可由图1到图3所示的hdr呈现和显示系统实现。
图7a示出了根据一些实施方案的用于将hdr内容呈现和显示到标准显示器的方法。如图7a的700处所示，可根据当前显示条件来确定标称显示范围、亮度水平b和最大呈现值m。在一些实施方案中，可由如图2a、图2b和图3所示的hdr呈现和显示系统的动态显示模块确定标称显示范围、亮度水平b和最大呈现值m。在一些实施方案中，当前显示信息可被采集和用于确定最大呈现值m。在一些实施方案中，当确定m时，可将m优化为尽可能大，同时确保不超过精度、感知和美学阈值。此外，在一些实施方案中，可根据当前环境条件来适应黑电平，使得潜在压缩信号在给定观看者的当前适应力的情况下可见。图7b更详细地示出了根据一些实施方案的图7a的元件700。
如图7a的710处所示，可将最大呈现值m提供至一个或多个呈现流水线。如图7a的720处所示，一个或多个呈现流水线可将hdr内容呈现到范围0.0-m。图3示出了根据一些实施方案的hdr呈现和显示系统中的示例性呈现流水线的详情。图7c更详细地示出了根据一些实施方案的图7a的元件720。
如图7a的730处所指示的，显示流水线可获取所呈现的hdr内容。如图7a的740处所指示的，可根据标称显示范围和亮度水平显示流水线将所获取的hdr内容映射到显示器。图2a和图2b示出了根据一些实施方案的hdr呈现和显示系统中的示例性显示流水线的详情。图7d更详细地示出了根据一些实施方案的图7a的元件740。
如图7a的750处所示的，可将经映射的内容显示到目标显示器。在一些实施方案中，显示流水线可将其他sdr或hdr数字信息诸如文本或ui元件与所呈现的hdr内容合成或混合。在一些实施方案中，标准范围(0.0-1.0)或sdr内容诸如文本或ui元件可在显示之前由显示流水线与所呈现的hdr内容混合或合成。在一些实施方案中，当在显示空间中将sdr内容与hdr(0.0-m)内容合成或混合时，sdr内容和hdr内容的标准(0.0-1.0)部分可被映射或压缩到显示空间的较低部分中(例如，对于8位来说，代码0-127，如果m＝2)，其中hdr内容的扩展范围(1.0-m)部分被映射到显示空间的剩余部分中(对于8位来说，代码128-255)。需注意，映射可以但不是必须为线性的。
在图7a的760处，如果显示条件已改变，则该方法可返回到元件700，以根据改变的显示条件来确定标称显示范围、亮度水平b和最大呈现值m的新值。作为显示条件变化的非限定示例，观看者可调节亮度控件，以改变亮度水平，或者可由传感器来检测环境照明条件的变化。可影响显示器的其他因素为特征诸如对白点移位的补偿(包括温度和校准补偿)、涉及动态面板限制的亮度限制诸如电流限制或热限制、或者系统配置变化诸如切换到电池供电或类似的电力限制模式。否则，该方法可返回到元件720，以根据标称显示范围、亮度水平b、和最大呈现值m的当前值来继续呈现和显示hdr内容。
图7b更详细地示出了根据一些实施方案的图7a的元件700。图7b的方法例如可由图2a、图2b和图3所示的动态显示模块执行。如图7b的702处所示的，可获取显示特征、环境信息、和控制输入。例如，在一些实施方案中，如图2a、图2b和图3所示的动态显示模块可获取来自目标显示器的显示特征(例如，位深度、分辨率、维度、最大亮度、泄露程度、反射率、一个或多个传递函数等)、来自一个或多个传感器的环境信息诸如环境光水平、以及观看者到显示器的距离、当前图像特征诸如图像亮度、以及来自一个或多个控件诸如亮度滑块条的控制输入。
如图7b的704处所示，可根据获取的显示特征、环境信息、当前图像特征和控制输入来确定标称显示范围、亮度水平b、和最大呈现值m。例如，在一些实施方案中，亮度水平b可被确定为所检测的环境光水平的函数。另选地，可根据对亮度控制ui元件的控制输入来确定亮度水平b。在一些实施方案中，该亮度水平b可被确定为环境光水平和至亮度控制ui元件的控制输入的函数。在一些实施方案中，最大呈现值m可被确定为b的倒数。例如，如果b＝0.25(1/4)，则m＝4/1＝4.0。类似地，如果b＝0.5，则m＝2.0。在一些实施方案中，亮度水平b可对应于标准范围(sdr)最大亮度值(1.0)，并且因此可确定标称显示范围。在一些实施方案中，当确定m时，可将m优化为尽可能大，同时确保不超过精度、感知和美学阈值。例如，在观看者当前适应的情况下(尤其在黑暗的环境条件中)，重要的是显示器的漏光不超过令人反感的感知阈值，并且m可被优化为更接近该阈值但小于该阈值。而且，假定一个或多个呈现流水线的精度以及通过技术诸如抖动技术承载更大精度的能力，重要的是该承载能力足以使得在光滑的梯度上不会引起感知条带，并且通过将m限制到由一个或多个流水线支持的值来优化m有助于保证足够的承载能力，而不超过精度、感知和美学限制。又如，如果m设置过高，则标称显示范围、标准范围(0.0-1.0)、或sdr内容被映射到的显示空间的下部部分可减小到其中不同亮度水平在当前环境条件和观看者对那些条件的适应情况下无法区分的某个程度，因为它们被映射到太少感知分区阈值中。因此，m可被优化为尽可能大，同时不超过显示面板的感知分区阈值。此外，在一些实施方案中，可根据当前环境条件来适应黑电平，使得潜在压缩信号在给定观看者的当前适应力的情况下可见。而且，传递函数可被应用于将内容映射到用户适应的视力分区和感知分区的模型。
图7c更详细地示出了根据一些实施方案的图7a的元件720。图7c的方法例如可由图3所示的呈现流水线执行。如图7c的722处所示的，呈现流水线例如从如图2a、图2b和图3所示的动态显示模块获取最大呈现值m。如图7c的724处所示的，呈现流水线可呈现从源(例如，视频相机或视频流源)接收的输入“原始”内容，从而将亮度(亮度)分量映射到范围0.0-m中。在一些实施方案中，标准或sdr内容可被映射到亮度范围0.0-1.0中，其中扩展或hdr内容被映射到亮度范围1.0-m中。如图7c的726处所示的，呈现流水线可对hdr内容(保留亮度范围0.0-m)进行编码，以生成经编码或压缩的hdr内容。在一些实施方案中，呈现流水线可根据编码方法来将所呈现的内容编码为经编码或压缩的格式，例如压缩视频格式，诸如h.264/高级视频编码(avc)格式、或者h.265高效视频编码(hevc)格式。经编码的hdr内容可流式传输到显示流水线。另选地，编码内容可流式传输到存储器中，例如传输到直接存储器访问(dma)存储器中的一个或多个缓冲器中，以用于由显示流水线来访问。
图7d更详细地示出了根据一些实施方案的图7a的元件740。图7d的方法例如可由图2a和图2b所示的显示流水线执行。如图7d的742处所指示，显示流水线可对经编码的hdr内容进行解码。在一些实施方案中，显示流水线接收经编码的hdr内容，其中亮度分量由呈现流水线呈现到范围0.0-m中，并且对经编码的内容进行解码，从而保留动态范围。经编码的hdr内容可从呈现流水线作为流直接接收，或者可从存储器例如从dma存储器中的一个或多个缓冲器读取。
如图7d的744处所示的，显示流水线可将经解码的内容(范围0.0-m)映射到目标显示器的显示空间。在一些实施方案中，显示流水线将经解码的内容(范围0.0-m)映射到目标显示器的显示空间中，从而保留亮度内容的动态范围0.0-m。在一些实施方案中，显示流水线可将经解码的hdr内容的标准(范围0.0-1.0)部分地映射到如根据当前亮度水平所确定的标称显示范围，并且将经解码的hdr内容的扩展(范围1.0-m)部分映射到高于当前亮度水平b的净空。例如，如果目标显示器为8位显示器，当前亮度水平b为50％并且m＝2.0，则标准范围(0.0-1.0)、或者sdr内容可被映射或者压缩到如由b所指示的显示空间的下部部分中(编码0-127)，其中扩展范围(1.0-2.0)或hdr内容被映射到显示空间的剩余部分中(代码128-255)。因此，即使在标准显示器上，也可显示高于标准范围(0.0-1.0)的所呈现的hdr内容。
在一些实施方案中，本文所述的用于呈现和显示hdr数字图像内容的功能中的至少一些功能可由片上系统(soc)的一个或多个部件或模块实现，该片上系统可用于包括但不限于多功能设备、智能电话、垫或平板设备、以及其他便携式计算设备诸如膝上型计算机、笔记本计算机、和上网本计算机的设备。
hdr效果
在hdr呈现和显示系统的至少一些实施方案中，最大呈现值m可被确定并被提供至一个或多个呈现流水线。一个或多个呈现流水线可随后将输入内容呈现并编码到范围0.0-m中，以生成经编码的hdr输出。在一些实施方案中，一个或多个呈现流水线可将标准内容呈现到范围(0.0-1.0)中，并且将较明亮或非常明亮的内容(例如，视频场景中的曝光或者其他明亮效果)呈现到范围的扩展部分(1.0-m)中。如图5c所示，显示流水线可对经编码的hdr内容进行解码并且将经解码的hdr内容的标准(范围0.0-1.0)部分地映射到如根据当前亮度水平所确定的针对显示器的标称显示范围，并且将经解码的hdr内容的扩展(范围1.0-m)部分映射到高于当前亮度水平的净空。因此，如果在输入内容中存在明亮事件或效果诸如视频场景中的曝光，则即使标准视频内容在显示器上被调暗到低于当前亮度水平，曝光也在高于当前亮度水平的情况下被显示，并且因此示出为比标准内容更亮。因此，即使在至少一些环境条件和亮度设置下的标准(非支持hdr)显示器(例如，最大亮度＝400nit)上，非常亮的效果诸如曝光也可按照在感觉上令人印象深刻的方式例如在观看者感受变暗时被显示。例如，如果观看者适用于100nit，则400nit感受印象深刻。nit为对每平米坎德拉的光的测量。
在一些实施方案中，呈现流水线和/或显示流水线可使用标准范围(0.0-1.0)和扩展范围(1.0-m)的知识来将效果添加到扩展范围中。例如，当处理和显示用户界面(ui)元件以用于显示时，ui内容通常可作为标准范围或sdr内容而被呈现、处理和映射到显示空间中。呈现流水线和/或处理sdr内容的显示流水线可将ui内容的效果添加到扩展范围(1.0-m)中。例如，当添加新ui元件时，新元件亮度可临时被增大到高于1.0标称值，以引起该元件的注意。sdr内容的此类hdr效果例如可用于指示或引起对列表中的选择的注意，以加亮文档中的由搜索功能发现的字词或句子，并且通常在应用程序、实体、和/或通常提供sdr内容的操作系统想要加亮或引起对项目、元件、或sdr内容中的被显示给显示面板的任何其他位置或对象的注意的任何地方。
使用感知模型来将hdr呈现和显示适应到环境条件
如前所述，在给定适应水平，可能仅存在人类视觉系统可区分的约2^8个到2^9个不同的强度水平。在一些实施方案中，如本文所述的hdr呈现和显示系统可采用方法(在本文中被称为自适应呈现方法)来检测和分析包括但不限于环境照明和背光/亮度条件的周围环境条件，以根据当前条件来确定人类视力的当前范围，并且可使用感知模型根据当前条件来将内容到目标显示面板的呈现和显示适应到该范围中。在题为感知模型的部分中进一步描述感知模型。在一些实施方案中，可由如图2a和图2b所示的显示流水线来执行自适应呈现方法的至少一部分。在一些实施方案中，可由如图3所示的呈现流水线来执行自适应呈现方法的至少一部分。在一些实施方案中，可由如图2a、图2b和图3所示的hdr呈现和显示系统的动态显示部件或模块来执行自适应呈现方法的至少一部分。
在hdr呈现和显示系统的一些实施方案中，各种测量、量度或特征可被获取并且输入到感知模型，如在题为感知模型的部分中所述的。例如，在一些实施方案中，由一个或多个传感器检测到的环境光水平、当前像素亮度、查找表(lut)状态、背光最大亮度水平、和/或当前背光百分比或水平可被获取并且输入到感知模型中，如本文所述。根据输入，感知模型可根据目标显示器处的环境观看条件来确定观看者的当前适应状态或水平。适应状态或水平可用于根据环境观看条件来确定显示器的当前亮度水平b。当前亮度水平b可被表示成百分数并且可对应于标准范围(sdr)最大亮度值(1.0)。当前亮度水平b可用于确定显示流水线当前支持的最大呈现值m。在一些实施方案中，最大呈现值m可被确定为b的倒数。最大呈现值m可被提供至一个或多个呈现流水线，并且当前亮度水平b可被提供至显示流水线，例如图2a到图3所示。一个或多个呈现流水线可随后将输入内容呈现并编码到范围0.0-m中，以来生成经编码的hdr输出。在显示流水线处，根据如从感知模型所确定的环境条件，由一个或多个呈现流水线呈现到范围0.0-m中的经编码的hdr内容可被解码并映射到目标显示器的显示空间中。在一些实施方案中，对于至少一些环境条件和显示器，显示流水线可将经解码的hdr内容的标准(范围0.0-1.0)部分映射到如根据当前亮度水平b确定的标称显示范围中，并且将经解码的hdr内容的扩展(范围1.0-m)部分映射到高于标称显示范围的净空。
在一些实施方案中，感知模型可包括显示面板测量为可针对显示面板的类型预先测量或者可针对各个显示面板测量的量度。该测量例如可包括来自显示面板的所测量的漏光，以及离开显示面板的测量的反射环境光，两者都可有助于如图4a所示的边框。该边框区域包括由于黑色显示泄露以及离开显示面板的反射环境光而造成的显示器无法到达的灰色阴影部分，并且示出了显示器上的黑色相对于视力如何在感知上不同于真黑。在一些实施方案中，这些测量可用于确定1.0标称值(标称显示范围的顶部)可如何低地置于如图5a-图5c所示的显示空间内，同时仍然产生视觉可接受的黑色。
在一些实施方案中，如本文所述的hdr呈现和显示系统提供的hdr范围映射方法，例如图5a-图5c所示，还可用于与提供如图5b-图5c所示的高于1.0的呈现值的hdr效果相结合或者分开地提供数字调光效果。数字调光效果可允许显示器提供比通过仅将背光/亮度调节到其较低或最小水平可提供的更暗或更黑的结果，在操作期间，显示器的背光/亮度不会变暗到黑色/关闭(换言之，可仅在全亮度或最大亮度和大于0.0的亮度值之间调节背光/亮度)。数字调光效果例如可通过将背光/亮度设置为已知水平(可为但不是必须为全亮度或最大亮度)并且使用如本文所述的hdr呈现和显示系统提供的hdr范围映射方法来缩放或映射像素值以有效地调节亮度水平来实现。
hdr呈现和显示系统具体实施细节
当呈现hdr内容时，hdr呈现和显示系统的各种实施方案可使用各种图像处理算法和技术，包括但不限于颜色色域映射和全局或局部色调映射。在一些实施方案中，可使用一个或多个图形处理器单元(gpu)来实现包括但不限于自适应呈现方法的hdr呈现和显示系统的功能的至少一部分。例如，一些实施方案可实现可应用根据对内容的感知模型所确定的调节的定制着色器。在一些实施方案中，可在或由包括但不限于定制硬件的其他硬件中实现hdr呈现和显示系统功能的至少一部分。例如，在一些实施方案中，一个或多个图像信号处理器(isp)颜色管可用于对内容应用呈现调节。
在hdr呈现和显示系统的一些实施方案中，可使用简单的缩放或乘法函数来将调整或映射应用于如本文所述的呈现和/或显示流水线中的像素值。在一些实施方案中，不同于或者除了简单缩放功能之外，一个或多个查找表(lut)可用于将呈现调整的至少一些呈现调整(例如，像素值映射或缩放)应用于该内容。在一些实施方案中，lut可被适配为针对特定显示器或显示器类型来进行校正。
在hdr呈现和显示系统的一些实施方案中，呈现和/或显示流水线可使用全局色调映射(gtm)技术来将内容从一种动态范围映射到另一种动态范围。在gtm技术中，全局色调曲线可针对一个或多个帧而被指定或确定并且用于将内容从一种动态范围转换到另一种动态范围。在一些实施方案中，不同于或者除了gtm技术之外，局部色调映射(ltm)技术可用于将内容从一种动态范围转换到另一种动态范围。在ltm技术中，图像或帧被划分为多个区域，其中针对每个区域指定或确定色调曲线。ltm技术可有助于例如当压缩超过以另外方式可实现的显示设备的范围时保持对比度。这例如可为在显示亮度与环境亮度竞争时的情况，例如在阳光直射时。
在hdr呈现和显示系统的一些实施方案中，在应用本文所述的各种像素缩放、压缩或映射技术时或之后，呈现和/或显示流水线可采用抖动技术，例如随机预量化抖动。在映射或缩放之后应用抖动可有助于保持表现出原始非缩放内容，并且可减小或消除可能源自映射技术的条带或其他伪影。
感知模型
颜色管理系统可根据颜色外观模型来控制各种设备(包括但不限于相机设备和显示设备)的颜色表示之间的转换。从广义上定义，颜色外观模型为描述可表示颜色的方式的数学模型，通常使用三个或四个值或颜色分量。颜色外观模型可定义颜色外观的维度(例如，明亮度(亮度)、光亮度、色彩、色度、饱和度和色相)。颜色外观模型还可定义一个或多个变换或变换函数，诸如可应用于颜色分量的色度适应变换。色度适应通常被定义为当在不同照明情况下观看对象时补偿白点变化的人类视觉系统的动态机制。在颜色外观模型中，可使用色度适应变换来对人类视觉系统的色度适应进行建模。可用于实施方案中的示例性颜色外观模型为由国际照明委员会(cie)技术委员会8-01(色彩管理系统的颜色外观建模)发布的ciecam02。
常规色彩管理系统可例如使用色域(颜色、或浓度)和伽马(色调或亮度)映射技术来将源(例如，视频)意图映射或匹配到测量显示应答：
源->所测量的显示器
然而，如上所述，如观看者感知的显示器的应答可不同于显示器的测量应答。因此，hdr呈现和显示系统的一些实施方案可向映射过程添加附加匹配步骤：
源->所测量的显示器->所适应的视力
其中所适应的视力为当前环境条件(例如，环境光水平)下的观看者感知范围，并且其中映射(由箭头所指示的)可包括颜色外观模型的变换(例如，色度适应变换)。在映射过程中包括此附加步骤的修正色彩管理可被称为感知色彩管理系统。感知色彩管理系统的颜色外观模型可被称为感知模型。
可被获取并被馈送到在hdr呈现和显示系统中实现的感知色彩管理系统的感知模型的信息可包括但不限于显示信息(例如各种显示特征和设置)、以及环境信息(包括但不限于观看者和照明信息)。此信息中的一些信息可为静态的(例如，显示特征诸如位深度和维度)，而其他信息可为动态的(例如，当前显示设置、背光/亮度水平、环境光、反射环境光、观看者位置、观看者定位等。)此信息可被采集并用于根据如被应用于感知模型的当前环境条件来自适应地呈现内容以用于显示。在一些实施方案中，包括内容所适用的显示面板的设备可包括可用于在采集感知模型中所使用的至少一些信息的一个或多个传感器，例如环境光传感器、相机、移动检测器等。
下文描述了可根据一些实施方案来获取并输入到hdr呈现和显示系统中的感知模型的各种测量、量度或特征。然而，此列表不旨在为限制性的：
·显示器的物理维度和其他静态特征。
·测量。这些量度针对某个类型的显示面板可被预先测量或者针对各个显示面板可被测量。测量可包括以下各项中的一者或多者，但不限于：
-显示面板的所测量的应答-来自源内容的输入水平与显示面板针对每个颜色(例如，rgb)通道的光输出水平之间的映射。
-显示面板的所测量的原生白点。
-来自显示面板的所测量的漏光(如图4a所示，贡献到边框)。
-离开显示面板的所测量的反射环境光(如图4a所示，贡献到边框)。
-针对显示器的所测量的最大和最小背光/亮度水平。
·环境量度例如由一个或多个传感器捕获或者根据由一个或多个传感器捕获的数据来确定。包括显示面板的设备还可包括一个或多个传感器。传感器可包括以下各项中的一者或多者，但不限于，环境光传感器、颜色环境光传感器、和相机。光传感器和相机可包括一个或多个后向(朝向观看者或用户)传感器和/或一个或多个前向(远离观看者或用户)传感器。环境量度可包括以下各项中的一者或多者，但不限于：
-当前射向显示面板的光。这可针对每个颜色通道来确定。
-从显示器反射的光量。这可针对每个颜色通道来确定。
-观看者/用户正面向的视野或背景的量度(例如，亮度、颜色等)。
-观看者适用于的亮度水平。
-一个或多个观看者相对于显示面板的位置(例如，距离、观看角度等。)在一些实施方案中，包括显示面板的设备的面向用户的相机可捕获观看者的图像，并且该图像可被分析以估计观看者距设备的距离。例如，观看者面部的图像可被分析，以基于捕获图像中的观看者眼睛之间的所测量的距离来确定该距离，因为人眼倾向于分开大约相同的距离。距观看者的所估计的距离例如可用于估计显示面板面向的视野。
·动态确定的显示量度可包括以下各项中的一者或多者，但不限于：
-显示面板的当前背光/亮度水平/百分比。
-当前平均像素亮度(真正照亮的像素)。例如，该量度可用于确定当前显示的内容的亮度。这可针对每个颜色通道来确定。在一些实施方案中，这可基于像素值的直方图来确定。
提供sdr显示器上的hdr体验
hdr呈现和显示系统的实施方案例如可用于在标准动态范围(sdr)显示器上为观看者提供高动态范围(hdr)体验。为了增大显示器上的动态范围，可能需要覆盖该范围的精度的足够位数，例如可将更多位映射到显示空间的黑暗/黑范围中的传递函数、显示器支持的最大数量的nit、和/或显示器支持的最小数量的nit。
一些sdr显示器支持非线性(伽马)输入(n位，例如，8,10,12或16位，每个精度分量编码标称0.0-1.0亮度范围)，并且可提供输出的有限数量的nit(典型地为450或更多nit)，其具有适度到高黑电平泄漏和反射率。其他sdr显示器提供较高范围的nit(例如，1000个nit)并且可能非常亮，但是同样不支持黑电平。其他sdr显示器(例如，不具有背光源的oled技术显示器；相反，每像素发光)无法特别亮，但是可特别黑(即，提供非常高的黑电平)。许多sdr显示器通常在办公室条件或较黑暗环境中显示sdr内容表现很好，但是通常在较亮环境中表现不太好。按照惯例，如果hdr内容已被色调映射到sdr中，则sdr显示器可仅显示该内容。典型地，sdr显示器的背光或亮度可能仅被调光到对于舒适的夜间(或者其他黑暗环境)使用将显示器呈现太亮的点。典型地，较高源位表示用于附加精度而不是扩展动态范围。
hdr显示器通常比sdr显示器更明亮，其具有每分量输入大于8位，并且可使用映射到亮度感知的非线性传递函数，从而产生比sdr显示器提供的更多精度。hdr内容在较黑暗环境(目标观看环境)中观看时看上去很好，但是在较明亮环境中看起来不太对。sdr内容在hdr显示器上看上去使人致盲，因此使得sdr内容看起来不舒服并且与hdr内容不兼容。hdr内容与sdr内容相比看起来暗淡，因为hdr内容的标称水平比其最大水平明显较暗(最明亮的hdr内容通常是镜面亮点)。因此，hdr显示器可为一种模式使得它们必须手动切换到sdr模式，以舒适地观看sdr内容。
如本文所述的hdr呈现和显示系统的实施方案可用于在常规sdr显示器上观看hdr内容时提供真实hdr结果，而无需色调映射。使用如经由针对实施方案所述的显示器亮度控件或修正的亮度滑块提供的用户的亮度偏好，该系统可确定是否存在背光/显示净空(即，如果用户针对sdr内容设置其意愿，以比显示器的最大输出更暗淡地被显示)。该系统可重新缩放内容使得背光/显示最大，但是标称sdr内容(例如，计算机桌面)显示出其理想的亮度。
使用感知模型，实施方案可确定适应用户视力的位置。如果适用于显示器，则内容可被数字缩放和抖动，使得标称sdr内容被映射到显示器的亮度部分，从而适应用户视力使得显示器的真实全亮度高得多。可确定黑点，使得缩放和抖动的内容将对用户可见。完成这一点以避免内容位于显示器挤压的黑色区域中，或者被映射到相同感知分区，并且被呈现为不可识别。
用户无法看到(或者在乎)绝对亮度，但是他们在乎对亮度的感知，并且这基于其适应的视力。更明显的亮度有两种方式：
·通过采用在选择小于最大亮度时余下的亮度范围(当在中等到昏暗的环境中，在明亮的显示器上观看sdr内容时，这是很常见的)。在此情况下，亮度可被设置为根据感知模型所确定的值(例如，基于美学、显示面板特征和/或其他因素受到感知模型的限制的最大可允许设置)，并且sdr内容相对于该亮度值被缩放/映射使得看上去一样(hdr内容标称亮度看上去如希望的那样)。
·在用户视力主要适用于该显示器(不是周围环境)的暗淡到黑暗环境中，动态地缩小内容使得用户的适应性仅为显示器的潜在亮度的一部分，这允许hdr明亮细节与其适应性对比看上去非常明亮。
在一些实施方案中，对于给定目标显示器的亮度控件，出于美学原因，对背光/亮度和不是简单相乘的缩放之间的关系式应用函数。取决于感知模型优化的所有准则，该函数可防止超过最大值。此外，为了避免模式之间的硬转换，该函数可提供模式之间的平滑过渡。使用该函数，通过亮度控件的整个范围(例如，亮度滑块的)，在sdr部分变黑时该图像继续看起来更好。
对hdr内容的编码为扩展范围编码使得1.0hdr表示如1.0sdr相同的亮度(被称为标称亮度水平)。hdr表示可超过1.0任何量并且表示hdr表示的扩展动态范围。如果编码为非线性的，则由hdr编码表示的真实线性亮度可大大超过简单的相乘(例如，在伽马3空间中编码(0.0,2.0)的hdr表示将亮度值编码为标称亮度的2^3(8)倍)。
当hdr内容在显示器上以大于典型sdr亮度显示时，实施方案可产生更高的动态范围结果。按照惯例，当达到使得用户不舒服的点时，显示器亮度不可用。通过缩放内容，较明亮的显示器仍然允许在标准办公室或较暗淡条件下舒适观看sdr内容同时得到甚至更大动态范围(经由显示器/背光源净空)，在较明亮观看环境下提供hdr体验，并且将可接受的sdr体验保持到较明亮(例如，阳光直射)环境中。
感知模型为自适应的，并且在许多不同显示环境中对于各种内容可使用相同的内容来产生最佳体验。
当hdr内容在显示器上以更(较黑)黑色被显示时，实施方案可产生更高动态范围结果。
实施方案可在无法充分调光的显示器上允许舒适地观看hdr和sdr内容。常规显示器特别是背光显示器通常无法连续变黑。结果，存在可能对其视力适应黑暗的用户表现令人不悦的明亮的最小亮度水平。在实施方案中，信号可能被缩放和抖动，以允许在低于通常提供至用户的范围内连续调光。
一些实施方案可为用户提供亮度控制示能表示。典型亮度控件提供用户可从中连续选择的一系列可能的亮度水平。实施方案可重新规划并扩展常规用户亮度控件，以允许用户将其理想标称亮度水平从比暗淡更暗指定到hdr，再到到最大亮度。在一些实施方案中，可提供指示hdr范围的亮度控制ui元件，其中超过hdr范围，其中背光/亮度处于最小水平等。
在一些实施方案中，可提供可标定超过最小背光/亮度水平并且可通过缩放来提供附加范围(比暗淡范围更暗)的点的亮度控件。真实背光/亮度水平不再跟踪由显示亮度控制设置的亮度水平，并且保持最大亮度，从而经由在启用hdr的上部范围中缩放内容来提供hdr效果。
可能存在另一个点，其中显示器不会更亮，但是通过将低范围和中间范围的值(即，标准内容)色调映射到延长范围可实现较高感知亮度水平，同时将亮度(例如，hdr内容)压缩到该范围的较窄上部部分中。因此，即使显示器不会更亮，但是低范围和中间范围内容被增大使得它看上去更亮，从而在面板的反射光中不会损失。在一些实施方案中，亮度控件还可标定该点。例如，在用户想要更明亮的整体体验的情况下(大概在明亮环境下具有相对暗淡的显示器)，不同于将标准内容缩小到该范围的下部部分中，标准内容可被映射(例如，使用缩放和色调映射的结合)到较宽范围同时将hdr内容压缩到该范围的减小的上部部分中，使得hdr标称水平被映射到更接近显示器的最大水平，其中hdr方面的结果丢失但是hdr内容的sdr部分在不利环境中可见。
一些实施方案可提供动态范围限制控件。在一些使用场景中，用户可能不想要hdr(例如，超级明亮)体验，即使源、显示流水线、显示器和环境允许。在一些实施方案中，可将控件提供至用户，以限制动态范围。这在诸如在床上看电影而不想戏剧性的体验或者打扰同伴的情况下可能有用。
在一些实施方案中，可提供动态范围扩展控件(这可以但不必是与提供动态范围限制的以上控件相同的控件)。该控件可使得低对比度内容更可见，并且甚至使得hdr内容更精彩。
实施方案可在较不理想的环境中观看的显示器上产生优化的hdr或sdr内容体验。例如，常规显示器相比较阳光直射非常暗淡。实施方案可基于环境(影响用户的适应力)而允许对内容连续缩放。
在一些实施方案中，在存在亮度的新目标时在模式之间的转变时，不同于通过增大显示范围中的净空即刻调节亮度水平，可随时间(例如，几秒钟)逐渐增大该净空，使得显示泄露不会“弹出”。例如，为了节省电力，当没有应用程序显示hdr内容时，背光/亮度可处于低(暗淡)水平。存在可用的净空，但是出于功率消耗原因，背光/亮度并非全满。如果应用程序要求hdr显示能力，则需要提供用于明亮的净空(hdr)内容，需要提高背光/亮度(例如，到最大水平)，并且需要将内容相应地缩放/映射到显示空间的下部和上部范围中。当然这可能是在即时完成的(例如，在一个显示帧中)。然而，对于显示面板中存在泄露的程度，黑电平可能从感知上“弹出”。因此，不同于即时执行变换，变换可能随时间拉伸，例如在一秒或多秒内，从而将背光/亮度水平逐渐斜线上升，使得在显示面板上不存在感知弹出。
在一些实施方案中，可使用感知模型基于以下输入中的一个或多个输入来设定最大缩放系数(m)：
·基于用户在环境中所看到的组合由感知模型(具有时间感知跟踪)来确定的观看者适应力。
·基于用的户视野的显示器贡献：
-显示器的已知尺寸。
-用于确定观看者距显示器的实际距离(另选地，可使用典型的观看距离)的传感器。
·来自显示器的亮度(甚至黑色)。在该背景中的亮度可为以下各项中的一者或多者的函数，但不限于：
-检测落在屏幕上的光的屏幕侧环境光传感器。
-显示器的已知的所测量的反射率。
-已知的所测量的显示泄露。
-显示面板的最大亮度。
·显示泄露，基于：
-真实显示亮度。
-所测量的显示泄露(例如，背光/亮度的百分比)。
·真实驱动像素值。
·检测用户在用户视野中看到的光的环境光传感器，可通过显示器未占用的用户视野的百分比来缩放。
·基于观看角度的已知的所测量的显示特征。
在一些实施方案中，可使用全局色调映射来进一步适应显示器、流水线、以及无法承载的适应性视力/环境上的hdr内容。在一些实施方案中，如果用户选择限制该范围，则可应用全局色调映射。
在一些实施方案中，当在显示器、流水线和无法承载的适应性视力/环境上观看时，可使用局部色调映射来在不可能的情况下提供差异化，进而提供hdr体验。
实施方案可基于感知模型来将显示器映射到观看者的适应性视力传递函数中。这不但可适应黑点，而且适应显示器的传递函数(伽马)，并且可提供与观看者的适应性视力和感知分区对应的优化代码空间。
在一些实施方案中，hdr中的标称亮度可基于白纸、肤色和/或标题水平。hdr内容典型地在0.0-1.0(或任意)范围中被编码。为了将此hdr内容转换到如本文所述的扩展范围hdr，需要识别标称亮度，并且内容被缩放成使得标称变为1.0。可通过确定公共特征诸如白纸、肤色或标题的水平来手动或自动地确定标称范围。除了缩放还可应用色调映射。
限制动态范围
如先前所述的，在一些实施方案中，当确定最大呈现值m时，可将m优化尽可能大以提供尽可能宽的动态范围，同时确保不超过精度、感知和美学阈值。此部分还描述确定优化m的方面，同时限制根据阈值由m提供的动态范围。
在一些实施方案中，当在显示流水线中将内容映射到观看者的适应水平时可表达的而没有令人反感的不连续性(例如，带化，混叠，调色板化或者量化)的最大动态范围可基于以下各项中的一者或多者，但不限于：
·显示面板特征(例如，最大亮度水平、传递函数、位深度等)
·源缓冲器精度(每个通道的位数)和传递函数；
·显示流水线的任何或所有软件和/或硬件部件的精度，包括但不限于以下各项中的一者或多者：
-一个或多个显示驱动器的精度；
-一个或多个缩放器的精度；
-一个或多个线性化部件的精度；
-一个或多个色彩空间转换部件的精度；
-一个或多个传递函数的精度；
-一个或多个局部对比度适应部件的精度；
-一个或多个动态背光源控制部件的精度；
-一个或多个混合单元的精度；
-通过色彩空间转换承载的精度(例如，y'cbcr承载大约2位比相同分量深度的r'g'b'小的精度)；
-显示流水线的空间/时间抖动(如果显示精度x传递函数步长大小严格上来说不比驱动它的内容和显示流水线的精度小)；以及
-重构滤波器(在显示流水线或显示器中的缩放器和其他块)可重构较早应用的抖动，并且如果适当精度(和/或抖动)为不可用后滤波器则数字信号中的较高精度可能会丢失。
超过流水线的承载能力或精度可使用以下各项中的一者或两者：
·内容源空间中的并不仅仅明显不同的两个代码，这些代码在观看者适应环境的情况下被呈现，并且经由显示流水线和显示器显示使得>jnd(恰好可注意的差别)(即，引入的带状间隙)。
·内容源空间中的被jnd分开呈现的两个代码使得它们在观看者的适应空间中被认为是相同的。
结果，最大呈现值应当优化地尽可能大(或者与内容当时所需要的一样大)，同时不超过流水线的承载能力或精度以及不大于用户的理想水平，并且可使用一个或多个精度阈值以确保其未超过流水线的承载能力或精度。
作为美学阈值的示例，在一些实施方案中，最大呈现值可基于当组合的显示泄露和再反射使得黑色变为令人反感的非黑色(即，发光效果)时的感知模型预测而被限制。在一些实施方案中，可能存在时间分量，例如允许针对瞬时需求(例如，曝光)的更大缩放/动态范围，但是在存在明显黑色情况下(假定的黑色发光是令人反感的)，较长时间不是针对小分量的。
作为感知阈值的示例，如果最大呈现值设置过高，则标称显示范围，标准范围(0.0-1.0)或sdr内容被映射到的显示空间的下部部分中可减小到某个程度，其中不同的亮度水平在当前环境条件和观看者对那些条件的适应情况下无法区分，因为它们被映射到如显示面板的显示空间提供的太少感知分区。因此，最大呈现值可被优化为尽可能大，同时不超过显示面板的感知分区阈值。
示例性设备和装置
图8到图12示出了在或者借助可实现如本文所述的各种数字视频或图像处理和显示方法和装置的实施方案或部件的设备和装置的非限制性示例。图8示出了示例性soc，并且图9示出了实现soc的示例性设备。图10示出了可实现本文所述的方法和装置的示例性计算机系统。图11和图12示出了可实现本文所述的方法和装置的示例性多功能设备。
示例性片上系统(soc)
现在转向图8，可在实施方案中使用的片上系统(soc)8000的一个实施方案的框图。soc8000被图示为耦接到存储器8800。如名字所暗示的，soc8000的部件可集成到作为集成电路“芯片”的单个半导体衬底上。在一些实施方案中，这些部件可在系统中的两个或更多个分立芯片上实现。然而，在本文中将使用soc8000作为示例。在所示的实施方案中，soc8000的部件包括中央处理单元(cpu)复合体8020、显示流水线8050、片上外围设备部件8040a-8040b(更简单地，“外围设备”)、存储器控制器(mc)8030、以及通信结构8010。部件8020,8030,8040a-8040c,8050可全部耦接到通信基础结构8010。存储器控制器8030可在使用期间耦接到存储器8800，并且外围设备8040b可在使用期间耦接到外部接口8900。类似地，显示流水线8050可在使用期间耦接到显示器8052。在例示的实施方案中，cpu复合件8020包括一个或多个处理器(p)8024和二级(l2)高速缓存8022。
外围设备8040a-8040c可以为被包括在soc8000中的附加硬件功能的任何集合。例如，该外围设备8040a-8040b可包括视频外围设备，诸如被配置为处理来自相机或其他图像传感器的图像捕捉数据的图像信号处理器、被配置为在一个或多个显示设备上显示视频数据的显示控制器、图形处理单元(gpu)、视频编码器/解码器、缩放器、旋转器、混合器等。该外围设备8040a-8040c可包括音频外围设备，诸如麦克风、扬声器、至麦克风和扬声器的接口、音频处理器、数字信号处理器、混合器等。外围设备可包括用于soc8000外部的各种接口8900的外围设备接口控制器(例如外围设备8040b)，该外围设备8040a-8040c包括接口诸如通用串行总线(usb)、外围部件互连(pci)(包括pci高速(pcie))、串行和并行端口等等。该外围设备8040a-8040c可包括联网外围设备诸如媒体访问控制器(mac)。可包括硬件的任何集合。
显示流水线8050可包括处理一个或多个静止图像和/或一个或多个视频序列以用于显示在显示器8052上的硬件。通常，对于每个源静止图像或视频序列，显示流水线8050可被配置为生成读取存储器操作，以通过存储器控制器8030从存储器8800读取表示帧/视频序列的相应部分的数据。
显示流水线8050可被配置为对图像数据(静态图像、视频序列等)执行任何类型的处理。在一个实施方案中，显示流水线8050可被配置为缩放静止图像并且进行抖动、缩放和/或对视频序列的帧的其相应部分执行颜色空间转换。显示流水线8050可被配置为将静止图像帧和视频序列帧合成或混合，以产生输出帧以用于显示。显示流水线8050还可被称为显示控制单元或显示控制器。显示控制单元或控制器通常可为任何硬件和/或软件被配置为从一个或多个源准备输出帧以用于显示，诸如静止图像和/或视频序列。
更具体地，显示流水线8050可被配置为从被存储在存储器8800上的一个或多个源缓冲器8802a-8802b获取源帧的相应部分，合成来自源缓冲器的帧，并且在显示器8052的相应部分上显示所得到的帧。源缓冲器8802a-8802b表示可被存储在存储器8800中的任何数量的源帧缓冲器。因此，显示流水线8050可被配置为读取多个源缓冲器8802a-8802b并且合成图像数据，以生成输出帧。
显示器8052可为任何类型的视觉显示设备。显示器8052例如可为液晶显示器(lcd)、发光二极管(led)、等离子、阴极射线管(crt)等。显示器8052可集成到包括soc8000(例如，智能电话或平板电脑)的系统中和/或可为独立安装的设备，诸如计算机监视器、电视或其他设备。可在显示器8052上示出各种类型的源图像数据。在各种实施方案中，源图像数据可表示某格式的视频剪辑，诸如像，移动图像专家组-4部分14(mp4)、高级视频编码(h.264/avc)或音频视频交织(avi)。另选地，源图像数据可为一系列静止图像，每个图像被认为可按时间间隔被显示的一帧，其被统称为幻灯片。图像可为诸如联合图像专家组(jpeg)、原始图像格式(raw)、图形交换格式(gif)、或便携式网络图形(png)的格式。
在一些实施方案中，显示器8052可直接连接到soc8000并且可由显示流水线8050控制。即，显示流水线8050可包括可将各种控制/数据信号提供至显示器的硬件(“后端”)，该各种控制/数据信号包括定时信号，诸如一个或多个时钟和/或垂直消隐周期和水平消隐间隙控制信号。该时钟可包括指示像素正被传输的像素时钟。数据信号例如可包括颜色信号，诸如红、绿、和蓝。显示流水线8050可实时或者接近实时控制显示器8052，从而在显示器正显示该帧指示的图像时提供用于指示待显示的像素的数据。此类显示器8052的接口例如可为vga、hdmi、数字视频接口(dvi)、液晶显示器(lcd)接口、等离子接口、阴极射线管(crt)接口、显示器端口接口、任何专有显示接口等。
cpu复合件8020可包括用作soc8000的cpu的一个或多个cpu处理器8024。系统的cpu包括执行系统主要控制软件诸如操作系统的一个或多个处理器。通常，由cpu在使用期间执行的软件可控制系统的其他部件，以实现所期望的系统功能。处理器8024还可执行其他软件诸如应用程序。应用程序可提供用户功能并且可依赖于操作系统，以进行低级设备控制。因此，处理器8024也可被称为应用处理器。cpu复合件8020还可包括其他硬件，诸如l2高速缓存8022和/或至系统的其他部件的接口(例如至通信结构8010的接口)。通常，处理器可包括被配置为执行在由处理器实施的指令集架构中定义的指令的任何电路和/或微码。响应于执行指令而由处理器操作的指令和数据通常可被存储在存储器8800中，尽管某些指令可被定义为也用于对外围设备进行直接处理器访问。处理器可涵盖在具有作为片上系统(soc8000)或其他集成水平的集成电路的其他部件上实施的处理器内核。处理器还可包括分立的微处理器、处理器内核和/或集成到多芯片模块具体实施中的微处理器、被实施为多个集成电路的处理器等等。
存储器控制器8030通常可包括用于从soc8000的其他部件接收存储器操作并用于访问存储器8800以完成存储器操作的电路。存储器控制器8030可被配置为访问任何类型的存储器8800。例如，存储器8800可为静态随机存取存储器(sram)、动态ram(dram)诸如包括双倍数据速率(ddr、ddr2、ddr3等)dram的同步dram(sdram)。可支持ddrdram的低功率/移动版本(例如，lpddr、mddr等)。存储器控制器8030可包括存储器操作队列，以用于对这些操作进行排序(并且可能重新排序)，并将这些操作呈现至存储器8800。存储器控制器8030还可包括用于存储等待写到存储器的写数据和等待返回至存储器操作的源的读数据的数据缓冲器。在一些实施方案中，存储器控制器8030可包括用于存储最近访问的存储器数据的存储器高速缓存。例如，在soc具体实施中，存储器高速缓存可通过在预期很快要再次访问的情况下避免从存储器8800重新访问数据以降低soc中的功率消耗。在一些情况下，存储器缓存也可被称为系统高速缓存，其与私有高速缓存(诸如l2高速缓存8022或处理器8024中的高速缓存)不同，该私有高速缓存只服务于某些部件。此外，在一些实施方案中，系统高速缓存不需要位于存储器控制器8030内。
在一个实施方案中，存储器8800可以芯片上芯片配置或封装上封装配置来与soc8000一起被封装。也可使用soc8000和存储器8800的多芯片模块配置。此类配置可比向系统中的其他部件(例如向端点16a-16b)的传输相对更安全(在数据可观测性方面)。因此，受保护的数据可未经加密地驻留在存储器8800中，而受保护的数据可被加密以在soc8000与外部端点之间进行交换。
通信结构8010可为用于在soc8000的部件间进行通信的通任何信互连器和协议。通信结构8010可基于总线，包括共享总线配置、交叉开关配置、和具有桥的分层总线。通信结构8010也可基于分组，并且可为具有桥的分层、交叉开关、点到点、或其他互连器。
应当指出，soc8000的部件的数量(以及图8中所示的那些部件的子部件的数量，诸如在cpu复合件8020内)在不同实施方案中可为不同的。可存在比图8中所示的数量更多或更少的每个部件/子部件。
图9为包括耦接到外部存储器8800和一个或多个外部外围设备9020的soc8000的至少一个示例的系统9000的一个实施方案的框图系统。提供向soc8000供应供电电压并且向存储器8800和/或外围设备9020供应一个或多个供电电压的功率管理单元(pmu)9010。在一些实施方案中，可包括soc8000的多于一个示例(也可包括多于一个存储器8800)。
根据系统9000的类型，外围设备9020可包括任何期望的电路。例如，在一个实施方案中，系统9000可为移动设备(例如个人数字助理(pda)、智能电话等)，并且外围设备9020可包括用于各种类型的无线通信的设备，诸如wifi、蓝牙、蜂窝、全球定位系统等。外围设备9020还可包括附加存储装置，该附加存储装置包括ram存储装置、固态存储装置、或磁盘存储装置。外围设备9020可包括用户界面设备(诸如包括触摸显示屏或多点触摸显示屏的显示屏)、键盘或其他输入设备、麦克风、扬声器等。在其他实施方案中，系统9000可为任何类型的计算系统(例如台式个人计算机、膝上型电脑、工作站、网络机顶盒等)。
该外部存储器8800可包括任何类型的存储器。例如，外部存储器8800可以是sram、动态ram(dram)(诸如同步dram(sdram))、双倍数据速率(ddr、ddr2、ddr3等)sdram、rambusdram、低功率版本的ddrdram(例如lpddr、mddr等)等等。外部存储器8800可包括存储器设备可被安装到的一个或多个存储器模块，诸如单列存储器模块(simm)、双列存储器模块(dimm)等。另选地，外部存储器8800可包括以芯片上芯片配置或封装上封装具体实施被安装在soc8000上的一个或多个存储器设备。
示例性计算机系统
图10示出了可被配置为执行上文所述的任意或全部实施方案的示例性计算机系统2900。在不同的实施方案中，计算机系统2900可为各种类型的设备中的任何设备，包括但不限于：个人计算机系统、台式计算机、膝上型电脑、笔记本电脑、平板电脑、一体电脑、平板、或上网本计算机、大型计算机系统、手持式计算机、工作站、网络计算机、相机、机顶盒、移动设备、消费者设备、应用服务器、存储设备、视频记录设备、外围设备(诸如交换机、调制解调器、路由器)、或一般性的任何类型的计算或电子设备。
可在一个或多个计算机系统2900上执行如本文所述的各种实施方案，该计算机系统可与各种其他设备进行交互。需注意，根据各种实施方案，上文相对于图1到图9描述的任何部件、动作或功能可被实现在配置为图10的计算机系统2900的一种或多种计算机上。在例示的实施方案中，计算机系统2900包括经由输入/输出(i/o)接口2930而被耦接到系统存储器2920的一个或多个处理器2910。计算机系统2900还包括耦接到i/o接口2930的网络接口2940、以及一个或多个输入/输出设备或部件2950，诸如光标控件2960、键盘2970、一个或多个显示器2980、一个或多个相机2990、和一个或多个传感器2992(包括但不限于光传感器和运动检测器)。在一些情况下，可设想到实施方案可使用计算机系统2900的单个示例来实现，而在其他实施方案中，多个此类系统或者构成计算机系统2900的多个节点可被配置作为实施方案的不同部分或示例的主机。例如，在一个实施方案中，一些元件可经由计算机系统2900的与实现其他元件的那些节点不同的一个或多个节点来实现。
在各种实施方案中，计算机系统2900可为包括一个处理器2910的单处理器系统、或者包括若干个处理器2910(例如两个、四个、八个、或另一适当数量)的多处理器系统。处理器2910可为能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器2910可为实现多种指令集架构(isa)(诸如x829、powerpc、sparc、或mipsisa、或任何其他合适的isa)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器2910通常可以但并非必须实现相同的isa。
系统存储器2920可被配置为存储可被处理器2910访问的程序指令2922和/或数据。在各种实施方案中，系统存储器2920可使用任何适当的存储器技术来实现，诸如静态随机存取存储器(sram)、同步动态ram(sdram)、非易失性/闪存存储器，或任何其他类型的存储器。在例示的实施方案中，程序指令2922还可被配置为执行本文所述的功能中的任一功能。另外，存储器2920可包括本文所述的信息结构或数据结构中的任一者。在一些实施方案中，程序指令和/或数据可被接收、发送或存储在独立于系统存储器2920或计算机系统2900的不同类型的计算机可访问介质上或类似介质上。尽管将计算机系统2900描述为实现前面各图的功能框的功能性，但可通过此类计算机系统来实现本文描述的任何功能。
在一个实施方案中，i/o接口2930可被配置为协调设备中的处理器2910、系统存储器2920和任何外围设备(包括网络接口2940或其他外围设备接口，诸如输入/输出设备2950)之间的i/o通信。在一些实施方案中，i/o接口2930可执行任何必要的协议、定时或其他数据转换，以将来自一个部件(例如系统存储器2920)的数据信号转换为适于由另一个部件(例如处理器2910)使用的格式。在一些实施方案中，i/o接口2930可包括对例如通过各种类型的外围设备总线(诸如外围部件互连(pci)总线标准或通用串行总线(usb)标准的变型)所附接的设备的支持。在一些实施方案中，i/o接口2930的功能例如可被划分到两个或更多个单独部件中，诸如北桥和南桥。此外，在一些实施方案中，i/o接口2930(诸如到系统存储器2920的接口)的一些或所有功能可被直接并入到处理器2910中。
网络接口2940可被配置为允许在计算机系统2900和附接到网络2985的其他设备(例如承载器或代理设备)之间、或者在计算机系统2900的节点之间交换数据。在各种实施方案中，网络2985可包括一种或多种网络，包括但不限于：局域网(lan)(例如以太网或企业网)、广域网(wan)(例如互联网)、无线数据网、某种其他电子数据网络、或它们的某种组合。在各种实施方案中，网络接口2940例如可支持经由有线或无线通用数据网络诸如任何适当类型的以太网网络的通信；经由电信/电话网络诸如模拟语音网络或数字光纤通信网络的通信；经由存储区域网络诸如光纤信道san或经由任何其他适当类型的网络和/或协议的通信。
输入/输出设备2950在一些实施方案中可包括一个或多个显示终端、键盘、键区、触摸板、扫描设备、语音或光学识别设备、或适于由一个或多个计算机系统2900输入或访问数据的任何其他设备。多个输入/输出设备2950可存在于计算机系统2900中，或者可分布在计算机系统2900的各个节点上。在一些实施方案中，类似的输入/输出设备可与计算机系统2900分开，并且可通过有线或无线连接(诸如通过网络接口2940)与计算机系统2900的一个或多个节点进行交互。
如图10所示，存储器2920可包含程序指令2922，该程序指令可能可由处理器执行，以实现上文所述的任何元件或动作。在一个实施方案中，程序指令可执行上文所述的方法。在其他实施方案中，可包括不同的元件和数据。需注意，数据可包括上文所述的任何数据或信息。
本领域的技术人员应当理解，计算机系统2900仅为示例性的，而并非旨在限制实施方案的范围。特别地，计算机系统和设备可包括可执行所指出的功能的硬件或软件的任意组合，包括计算机、网络设备、互联网设备、个人数字助理、无线电话、寻呼机等等。计算机系统2900还可被连接到未示出的其他设备或者反之作为独立的系统进行操作。此外，由所示出的部件所提供的功能在一些实施方案中可被组合在更少的部件中或者被分布在附加部件中。类似地，在一些实施方案中，一些所示出的部件的功能可不被提供，和/或可还有其他附加功能可供使用。
本领域的技术人员还将认识到，虽然各种项目被示出为在被使用期间被存储在存储器中或存储装置上，但是为了存储器管理和数据完整性的目的，这些项目或其部分可在存储器和其他存储设备之间进行传输。作为另外一种选择，在其他实施方案中，这些软件元件中的一些或全部软件可在另一设备上的存储器中执行，并且经由计算机间通信来与所示出的计算机系统进行通信。系统部件或数据结构中的一些或全部系统部件或数据结构也可(例如作为指令或结构化数据)被存储在计算机可访问介质或便携式制品上以由合适的驱动器读取，其多种示例在上文中被描述。在一些实施方案中，被存储在与计算机系统2900分开的计算机可访问介质上的指令可经由传输介质或信号(诸如电信号、电磁信号、或数字信号)而被传输到计算机系统2900，该传输介质或信号经由通信介质(诸如网络和/或无线链路)而被传送。各种实施方案可进一步包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般来讲，计算机可访问介质可以包括非暂态计算机可读存储介质或存储器介质，诸如磁或光介质，例如盘或dvd/cd-rom、易失性或非易失性介质，诸如ram(例如sdram、ddr、rdram、sram等)、rom等。在一些实施方案中，计算机可访问介质可以包括传输介质或信号，诸如经由通信介质诸如网络和/或无线链路来传输的电气、电磁或数字信号。
多功能设备示例
图11示出了根据一些实施方案的便携式多功能设备的框图。在一些实施方案中，该设备为还包含其他功能诸如pda、相机、视频捕获和/或回放、和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自appleinc.(cupertino,california)的
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，电子设备可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标、和/或操作杆。
该设备通常支持各种应用程序，诸如以下应用程序中的一个或多个应用程序：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序、流媒体视频应用程序、和/或数字视频播放器应用程序。
可在设备上执行的各种应用程序可使用至少一个共用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息从一个应用程序到另一个应用程序可被调节和/或变化，和/或在相应应用程序内可被调节和/或变化。这样，设备的共用物理架构(诸如触敏表面)可利用对于用户直观且透明的用户界面来支持各种应用程序。
设备2100可具有存储器2102(其可包括一个或多个计算机可读存储介质)、存储器控制器2122、一个或多个处理单元(cpu)2120、外围设备接口2118、rf电路2108、音频电路2110、扬声器2111、触敏显示器系统2112、麦克风2113、输入/输出(i/o)子系统2106、其他输入控制设备2116、和外部端口2124。设备2100可包括一个或多个光学传感器或相机2164。这些部件可通过一个或多个通信总线或信号线2103进行通信。
应当理解，设备2100只为便携式多功能设备的一个示例，并且设备2100可具有比所示出的更多或更少的部件，可组合两个或更多个部件，或者可具有这些部件的不同配置或布置。图11中所示的各种部件可硬件、软件、或软件和硬件的组合来实施，包括一个或多个信号处理电路和/或专用集成电路。
存储器2102可包括高速随机存取存储器并且还可包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。由设备2100的其他部件(诸如cpu2120和外围设备接口2118)对存储器2102进行的访问可由存储器控制器2122来控制。
外围设备接口2118可被用于将设备的输入外围设备和输出外围设备耦接到cpu2120和存储器2102。一个或多个处理器2120运行或执行被存储在存储器2102中的各种软件程序和/或指令集，以执行设备2100的各种功能并处理数据。
在一些实施方案中，外围设备接口2118、cpu2120、和存储器控制器2122可在单个芯片诸如芯片2104上实现。在一些其他实施方案中，它们可在单独的芯片上实现。
rf(射频)电路2108接收和发送也被称为电磁信号的rf信号。rf电路2108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与通信网络以及其他通信设备进行通信。rf电路2108可包括用于执行这些功能的熟知的电路，包括但不限于天线系统、rf收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器/解码器(编解码器)芯片组、用户身份模块(sim)卡、存储器等等。rf电路2108可通过无线通信与网络以及其他设备进行通信，该网络诸如互联网(也被称为万维网(www))、内联网、和/或无线网络(诸如蜂窝电话网络、无线局域网(lan)、和/或城域网(man))。无线通信可使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(gsm)、增强型数据gsm环境(edge)、高速下行链路分组接入(hsdpa)、高速上行链路分组接入(hsupa)、宽带码分多址(w-cdma)、码分多址(cdma)、时分多址(tdma)、蓝牙、无线保真(wi-fi)(例如，ieee802.11a、ieee802.11b、ieee802.11g和/或ieee802.11n)、互联网语音协议(voip)、wi-max、用于电子邮件的协议(例如，互联网消息访问协议(imap)和/或邮局协议(pop))、即时消息(例如，可扩展消息处理和存在协议(xmpp)、用于即时消息和存在利用扩展的会话发起协议(simple)、即时消息和存在服务(imps)、和/或短消息服务(sms))、或者包括在本文献提交日还未开发出的通信协议的其他任何适当的通信协议。
音频电路2110、扬声器2111和麦克风2113提供用户与设备2100之间的音频接口。音频电路2110从外围设备接口2118接收音频数据，将音频数据转换成电信号，并将该电信号传输至扬声器2111。扬声器2111将电信号转换为可听见的声波。音频电路2110还接收由麦克风2113根据声波转换的电信号。音频电路2110将电信号转换为音频数据，并将音频数据传输到外围设备接口2118，以用于处理。音频数据可由外围设备接口2118检索自和/或被传输至存储器2102和/或rf电路2108。在一些实施方案中，音频电路2110还包括耳麦插孔。耳麦插孔提供音频电路2110和可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
i/o子系统2106将设备2100上的输入/输出外围设备诸如触摸屏2112和其他输入控制设备2116耦接到外围设备接口2118。i/o子系统2106可包括显示控制器2156和用于其他输入控制设备2116的一个或多个输入控制器2160。一个或多个输入控制器2160从其他输入控制设备2116接收电信号/将电信号发送至其他输入控制设备2116。其他输入控制设备2116可包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑块开关、操纵杆、点击轮等。在一些另选实施方案中，一个或多个输入控制器2160可耦接到(或不耦接到)以下各项中的任一者：键盘、红外端口、usb端口、和指向设备诸如鼠标。该一个或多个按钮可包括用于扬声器2111和/或麦克风2113的音量控制的增大/减小按钮。该一个或多个按钮可包括下压按钮。
触敏显示器2112提供设备和用户之间的输入接口和输出接口。显示控制器2156从触摸屏2112接收电信号和/或将电信号发送至触摸屏2112。触摸屏2112向用户显示视觉输出。视觉输出可包括图形、文本、图标、视频、以及它们的任意组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出可对应于用户界面对象。
触摸屏2112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触摸屏2112和显示控制器2156(与存储器2102中的任何相关联的模块和/或指令集一起)检测触摸屏2112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在触摸屏2112上的用户界面对象(例如，一个或多个软键、图标、网页、或图像)的交互。在一个示例性实施方案中，触摸屏2112与用户之间的接触点对应于用户的手指。
触摸屏2112可使用lcd(液晶显示器)技术、lpd(发光聚合物显示器)技术或led(发光二极管)技术，但在其他实施方案中可使用其他显示技术。触摸屏2112和显示控制器2156可使用现在已知的或以后将开发出的多种触摸感测技术中的任何触摸感测技术以及其他接近传感器阵列或用于确定与触摸屏2112的一个或多个接触点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外技术和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如从appleinc.(cupertino,california)的
触摸屏2112可具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏具有约160dpi的视频分辨率。用户可使用任何合适的对象或附加物诸如触笔、手指等来与触摸屏2112接触。在一些实施方案中，用户界面被设计用于主要与基于手指的接触和手势操作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入翻译为精确的指针/光标位置或命令，以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏2112之外，设备2100可包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施方案中，触摸板是设备的触敏区域，该触敏区域与触摸屏不同，其不显示视觉输出。触摸板可为与触摸屏2112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备2100还包括用于为各种部件供电的电力系统2162。电力系统2162可包括电力管理系统、一个或多个电源(例如，电池、交流电(ac))、再充电系统、电力故障检测电路、功率变换器或逆变器、电源状态指示器(例如，发光二极管(led))和与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备2100还可包括一个或多个光学传感器或相机2164。图11示出了耦接到i/o子系统2106中的光学传感器控制器2158的光学传感器。光学传感器2164可例如包括电荷耦合设备(ccd)、或者互补金属氧化物半导体(cmos)光电晶体管、或光电传感器。光学传感器2164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块2143(也被称为相机模块)，光学传感器2164可捕获静态图像和/或视频序列。在一些实施方案中，至少一个光学传感器可位于设备2100的与位于该设备的前部上的触摸屏显示器2112相背对的后部上。在一些实施方案中，触摸屏显示器可充当静态和/或视频图像采集的取景器。在一些实施方案中，作为替代或补充，至少一个光学传感器可位于设备的前部。
设备2100还可包括一个或多个接近传感器2166。图11示出了耦接到外围设备接口2118的接近传感器2166。另选地，接近传感器2166可耦接至i/o子系统2106中的输入控制器2160。在一些实施方案中，当多功能设备被放置在用户耳朵附近时(例如，当用户打电话时)，该接近传感器关闭并禁用触摸屏2112。
设备2100还可包括一个或多个取向传感器2168。在一些实施方案中，该一个或多个取向传感器包括一个或多个加速度计(例如一个或多个线性加速度计和/或一个或多个旋转加速度计)。在一些实施方案中，该一个或多个取向传感器包括一个或多个陀螺仪。在一些实施方案中，该一个或多个取向传感器包括一个或多个磁力仪。在一些实施方案中，该一个或多个取向传感器包括全球定位系统(gps)、全球导航卫星系统(glonass)、和/或其他全球导航系统接收器中的一者或多者。gps、glonass和/或其他全球导航系统接收器可用于获取关于设备2100的位置和取向(例如纵向或横向)的信息。在一些实施方案中，该一个或多个取向传感器包括取向/旋转传感器的任何组合。图11示出了耦接到外围设备接口2118的一个或多个取向传感器2168。另选地，该一个或多个取向传感器2168可耦接到i/o子系统2106中的输入控制器2160。在一些实施方案中，信息基于对从这一个或多个取向传感器接收的数据的分析而在触摸屏显示器上被显示在纵向视图或横向视图中。
在一些实施方案中，设备2100还可包括一个或多个其他传感器(未示出)，包括但不限于环境光传感器和运动检测器。这些传感器可耦接到外围设备接口2118，或者另选地可耦接到i/o子系统2106中的输入控制器2160。例如，在一些实施方案中，设备2100可包括可用于从设备2100的环境采集环境光照亮度的至少一个前向(背向用户)光传感器和至少一个后向(朝向用户)光传感器，以用于视频和图像捕获、处理、和显示应用程序。
在一些实施方案中，被存储在存储器2102中的软件部件包括操作系统2126、通信模块2128、接触/运动模块(或指令集)2130、图形模块2132、文本输入模块2134、全球定位系统(gps)模块2135、和应用程序2136。此外，在一些实施方案中，存储器2102存储设备/全局内部状态2157。设备/全局内部状态2157包括以下各项中的一者或多者：活动应用程序状态，该活动应用程序状态用于指示哪些应用程序(如果有的话)当前是活动的；显示状态，该显示状态用于指示什么应用程序、视图或其他信息占据触摸屏显示器2112的各个区域；传感器状态，该传感器状态包括从设备的各个传感器和输入控制设备2116获取的信息；以及关于设备位置和/或姿态的位置信息。
操作系统2126(例如，darwin、rtxc、linux、unix、osx、windows、或嵌入式操作系统诸如vxworks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电力管理等)的各种软件部件和/或驱动器，并且有利于各种硬件和软件部件之间的通信。
通信模块2128促进通过一个或多个外部端口2124来与其他设备进行通信，并且还包括用于处理由rf电路2108和/或外部端口2124所接收的数据的各种软件部件。外部端口2124(例如，通用串行总线(usb)、火线等)适于直接耦接到其他设备或者间接地通过网络(例如，互联网、无线lan等)进行耦接。在一些实施方案中，外部端口是与ipod(appleinc.的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如，30针)连接器。
接触/运动模块2130可检测与触摸屏2112(结合显示控制器2156)和其他触敏设备(例如，触摸板或物理点击式转盘)的接触。接触/运动模块2130包括多个软件部件以用于执行与接触的检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定是否存在接触的移动并在触敏表面上跟踪该移动(例如，检测一个或多个手指拖动事件)、以及确定接触是否已终止(例如，检测手指抬起事件或者接触中断)。接触/运动模块2130从触敏表面接收接触数据。确定接触点的移动可包括确定接触点的速率(量值)、速度(量值和方向)、和/或加速度(量值和/或方向的改变)，接触点的移动由一系列接触数据来表示。这些操作可施加于单个触点(例如，一个指状触点)或多个同时的触点(例如，“多点触摸”/多个指状触点)。在一些实施方案中，接触/运动模块2130和显示控制器2156检测触摸板上的接触。
接触/运动模块2130可检测由用户进行的手势输入。触敏表面上的不同手势具有不同的接触图案。因此，可通过检测具体接触图案来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，检测触敏表面上的手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。
图形模块2132包括用于在触摸屏2112或其他显示器上呈现和显示图形的多个软件部件，包括用于改变被显示的图形的强度的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块2132存储用于表示待使用的图形的数据。每个图形可被分配有对应的代码。图形模块2132从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还同时接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据以输出至显示控制器2156。
可作为图形模块2132的部件的文本输入模块2134提供用于在需要文本输入的各种应用程序中输入文本的软键盘。
gps模块2135确定设备的位置并提供了各种应用程序中使用的这种信息(例如，提供至用于基于位置的拨号的电话模块2138；提供至相机模块2143作为图片/视频元数据；以及提供至提供基于位置的服务诸如地图/导航应用程序的应用程序)。
应用程序2136可包括但不限于下列一种或多种模块(或指令集)，或它们的子集或超集：
·电话模块2138；
·视频会议模块2139；
·用于静态图像和/或视频图像的相机模块2143；
·图像管理模块2144；
·浏览器模块2147；
·搜索模块2151；
·可由视频播放器模块和音乐播放器模块构成的视频和音乐播放器模块2152；和/或
·在线视频模块2155。
·未示出的一个或多个其他模块，诸如游戏模块。
可被存储在存储器2102中的其他应用程序2136的示例包括但不限于其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、通信/社交媒体应用程序、地图应用程序、支持java的应用程序、加密、数字权益管理、语音识别、和语音复制。
结合rf电路2108、音频电路2110、扬声器2111、麦克风2113、触摸屏2112、显示控制器2156、接触模块2130、图形模块2132、和文本输入模块2134，电话模块2138可被用于输入与电话号码对应的字符序列、访问地址簿中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述，无线通信可使用多个通信标准、协议和技术中的任一者。
结合rf电路2108、音频电路2110、扬声器2111、麦克风2113、触摸屏2112、显示控制器2156、光学传感器2164、光学传感器控制器2158、接触/运动模块2130、图形模块2132、文本输入模块2134、和电话模块2138，视频会议模块2139包括用于根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合触摸屏2112、显示控制器2156、一个或多个光学传感器2164、光学传感器控制器2158、接触/运动模块2130、图形模块2132和图像管理模块2144，相机模块2143包括用于以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器2102中、修改静态图像或视频的特性、或从存储器2102删除静态图像或视频。
结合触摸屏2112、显示控制器2156、接触/运动模块2130、图形模块2132、文本输入模块2134和相机模块2143，图像管理模块2144包括用于以下操作的可执行指令：排列、修改(例如，编辑)，或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)，以及存储静态图像和/或视频图像。
结合rf电路2108、触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132和文本输入模块2134，浏览器模块2147包括用于根据用户指令来浏览互联网(包括搜索、链接至、接收、和显示网页或其部分，以及链接至网页的附件和其他文件)的可执行指令。
结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132和文本输入模块2134，搜索模块2151包括用于根据用户指令来搜索存储器2102中的匹配一个或多个搜索标准(例如，一个或多个用户指定的搜索词)的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132、音频电路2110、扬声器2111、rf电路2108和浏览器模块2147，视频和音乐播放器模块2152包括允许用户下载和回放以一种或多种文件格式(诸如mp3或aac文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触摸屏2112上或在经由外部端口2124连接的外部显示器上)的可执行指令。在一些实施方案中，设备2100可包括mp3播放器诸如ipod(appleinc.的商标)的功能。
结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132、音频电路2110、扬声器2111、rf电路2108、文本输入模块2134和浏览器模块2147，在线视频模块2155包括指令，该指令允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏上或在经由外部端口2124所连接的外部显示器上)，以及以其他方式管理一种或多种视频格式诸如h.264/avc格式或h.265/hevc格式的在线视频。
上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即指令集)不必被实现为独立的软件程序、过程或模块，因此这些模块的各种子集可在各种实施方案中加以组合或以其他方式重新布置。在一些实施方案中，存储器2102可存储上文识别的模块和数据结构的子集。此外，存储器2102可存储上文没有描述的附加模块和数据结构。
在一些实施方案中，设备2100是唯一地通过触摸屏和/或触摸板来执行设备上的预定义的一组功能的操作的设备。通过使用触摸屏和/或触摸板作为用于设备2100的操作的主要输入控制设备，可减少设备2100上的物理输入控制设备(诸如下压按钮、拨号盘等等)的数量。
可唯一地通过触摸屏和/或触摸板执行的预定义的一组功能包括在用户界面之间进行导航。在一些实施方案中，触摸板在被用户触摸时将设备2100从可被显示在设备2100上的任何用户界面导航到主菜单、home菜单、或根菜单。在此类实施方案中，触摸板可被称为“菜单按钮”。在一些其他实施方案中，菜单按钮可为物理下压按钮或者其他物理输入控制设备，而不是触摸板。
图12示出了根据一些实施方案的具有触摸屏2112的便携式多功能设备2100。触摸屏可在用户界面(ui)2200内显示一个或多个图形。在设备2100的至少一些实施方案中，用户可通过例如利用一个或多个手指2202(在附图中未必按比例绘制)或者利用一个或多个触笔2203(在附图中未必按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。
设备2100还可包括一个或多个物理按钮，诸如“home”按钮、或菜单按钮2204。如前所述，菜单按钮2204可用于导航到可在设备2100上执行的一组应用程序中的任何应用程序2136。另选地，在一些实施方案中，菜单按钮可被实现为被显示在触摸屏2112上的gui中的软键。
在一些实施方案中，设备2100包括触摸屏2112、home按钮/菜单按钮2204、用于使设备开/关机和锁定设备的下压按钮2206、一个或多个音量调节按钮2208、用户身份模块(sim)卡槽2210、耳麦接口2212、和对接/充电外部端口2124。下压按钮2206可用于通过按下该按钮并在预定时间间隔内使该按钮保持在按下状态来开启/关闭设备上的电源、用于通过按下该按钮并在经过预定时间间隔之前释放该按钮来锁定设备、和/或用于将设备解锁或发起解锁过程。在另选的实施方案中，设备2100还可通过麦克风2113来接受用于激活或去激活一些功能的语音输入。
设备2100还可包括一个或多个相机2164。相机2164例如可包括电荷耦合设备(ccd)或互补金属氧化物半导体(cmos)光电晶体管或感光器。相机2164从环境接收通过一个或多个透镜而投射的光，并将光转换为表示图像或视频帧的数据。在一些实施方案中，至少一个相机2164可位于设备2100的与位于该设备的前部上的触摸屏显示器2112相背对的后部上。在一些实施方案中，替代性地或此外，至少一个相机2164还可位于具有触摸屏显示器2112的设备的前部，使得在用户在触摸屏显示器2112上观看其他视频会议参与者时可获取该用户的图像以用于视频会议。在一些实施方案中，至少一个相机2164可位于设备2100的前部上，并且至少一个相机2164可位于设备2100的后部上。在一些实施方案中，触摸屏显示器2112可用作静态图像和/或视频序列采集应用程序的取景器和/或用户界面。
设备2100可包括可用于捕获、处理、转换、压缩、解压缩、存储、修改、传输、显示、并以其他方式管理和操作经由相机2164捕获或以其他方式采集(例如，经由网络接口)的静态图像和/或视频帧或视频序列的视频和图像处理硬件和/或软件，包括但不限于视频编码和或/解码部件、编解码器、模块、或流水线。在一些实施方案中，设备2100还可包括可用于从设备2100的环境中采集环境光照或其他量度的一个或多个光传感器或其他传感器，以便在视频和图像捕获、处理和显示中使用。
在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。