用于处理数据以显示的方法和设备的制造方法
【技术领域】
[0001]本发明涉及一种处理帧以提供在电子显示器上的方法和设备。
【背景技术】
[0002]对于诸如移动电话的电子装置和一般的数据处理系统而言，包括某种形式的电子显示屏(例如，IXD面板)是常见的。为了在显示器上显示图像，显示器的像素(画面元素)或子像素必须被设定为适当的颜色值。这通常通过生成待显示的数据的帧并将其存储在存储器中来完成，所述数据的帧为各个像素或子像素指示待显示的颜色值。
[0003]例如，诸如LCD面板的许多电子显示屏使用背光来对屏幕进行照明以便于观看。然而，已经知道，使用背光对于电子装置的总功耗而言是显著负担。为了减小显示屏的背光的功耗，减小背光的强度(绝对明度(brightness))，因为已知背光的强度与其功耗成比例。
[0004]降低背光强度的问题在于，与图像期望显示的亮度(luminance)相比，降低背光强度也减小了所显示的图像的亮度(明度)。
[0005]因此，已开发出各种方法以在对背光进行调光时优化显示。一种此类方法称为“亮度和背光缩放”，它涉及缩放(修改)图像本身的亮度以对背光的调光进行补偿。
[0006]背光和亮度缩放操作通常涉及分析帧缓冲数据(例如，利用直方图)以确定最佳背光调光因子和亮度缩放参数。
[0007]亮度和背光缩放包括被称为“亮度补偿”的方法，该方法涉及通过相对于高阈值增加图像的亮度来至少恢复在对背光进行调光时损失的一些图像亮度。
[0008]亮度补偿的其它术语包括明度补偿和图像补偿。为了方便起见，本文将使用术语亮度补偿，但是将理解，这旨在包括并涵盖所有等同的术语和技术。
[0009]图1a和图1b示出了亮度补偿操作的一般原理。
[0010]图1a示出了显示在显示器上的图像11以及示出显示器子像素的所有可能亮度值的密度分布13的直方图12。在此示例中，背光被设定为100%强度，并且没有使用亮度补偿。(从图1a中可以看出，针对各个子像素，使用8比特值(对应于亮度的256个明暗度(shade))。)
[0011]图1b示出与图1a相同的图像11和对应的直方图15，不同的是，在图1b的示例中，背光强度减小至70%。可从图1b中看出，为了补偿在对背光进行调光时损失的图像亮度，子像素的亮度值被提升(例如，通过对原始帧缓冲数据应用适当的变换函数)。图1b对此进行了反映，图1b示出了显示器子像素的密度分布14集中在较高的亮度值处。
[0012]亮度和背光缩放还可包括被称为“图像增强”的方法，该方法涉及在对背光进行调光时修改帧缓冲数据以增加图像的对比度。图像增强通常涉及对原始帧缓冲数据应用变换函数以相对于高阈值和低阈值重新映射像素或子像素的亮度。
[0013]用于图像增强的其它术语包括对比度增强、直方图均等化和直方图拉伸。为了方便起见，本文将使用术语图像增强，但是将理解，这旨在包括并涵盖所有等同术语和技术。
[0014]图2示出了具有亮度和背光缩放操作的示例性数据处理系统。
[0015]如图2所示，数据处理系统包括在芯片上系统(SoC =System on Chip)结构21中经由互连线212通信的中央处理单元(CPU) 23、图形处理单元(GPU) 24、视频引擎25、显示控制器27和图像处理引擎(例如，亮度和背光缩放引擎26)。CPU、GPU、视频引擎、显示控制器以及亮度和背光缩放引擎也经由存储器控制器210访问片外存储器211以便于存储(除了别的以外)帧。
[0016]该系统还包括显示结构22，显示结构22包括背光28和显示器29。亮度和背光缩放引擎26设定背光28的明度，显示控制器27向显示器29提供输出帧以显示。
[0017]当将要显示帧时，GPU 24和/或视频引擎25例如将生成用于显示的帧，然后将经由存储器控制器210将所述帧存储在片外存储器211中的帧缓冲器中。
[0018]然后，当要显示该帧时，亮度和背光缩放引擎26将从帧缓冲器读取所述帧并分析帧缓冲数据(例如，利用直方图)以确定最佳背光调光因子和动态亮度缩放参数。
[0019]在该确定之后，亮度和背光缩放引擎26将修改帧缓冲数据以生成经过修改的、亮度缩放的输出帧以用于显示。然后，亮度和背光缩放引擎26将背光水平设定在确定的强度，并且显示控制器27将经过修改的、亮度缩放的输出帧提供给显示器29以用于显示。
【发明内容】
[0020]申请人相信处理帧以提供在显示器上的方法和设备仍存在改进空间。
[0021]根据本发明的第一方面，提供一种处理帧以提供在电子显示器上的方法，该方法包括以下步骤:
[0022]生成待显示的帧；
[0023]对生成的帧执行显示修改以提供用于显示的输出帧；
[0024]该方法还包括以下步骤:
[0025]利用关于将应用于所生成的待显示的帧以提供用于显示的输出帧的所述显示修改的信息，控制待显示的帧的所述生成。
[0026]根据本发明的第二方面，提供一种处理帧以提供在电子显示器上的系统，该系统包括:
[0027]帧生成级，用于生成待显示的帧；以及
[0028]显示修改级，用于对生成的帧执行显示修改以提供用于显示的输出帧，并且其中，
[0029]所述帧生成级被配置为利用关于将应用于所生成的待显示的帧以提供用于显示的输出帧的所述显示修改的信息，控制待显示的帧的所述生成。
[0030]本发明涉及这样的结构，其中待显示的帧例如通过由诸如图形处理系统(图形处理器)、视频处理系统(视频处理器)、合成系统(合成器)等的帧生成器适当地渲染并被存储到缓冲器中来生成，但是在显示所生成的帧之前，所述帧首先经受显示修改(例如，背光调光补偿)以提供实际提供给显示器以进行显示的输出帧。
[0031]然而，在本发明中，指示显示修改的信息也被提供(例如，并且优选地，实时地提供)给帧生成处理(例如，与帧生成有关和/或帧生成中所涉及的系统元件)并用于控制帧生成的一个或多个方面。
[0032]如下面将进一步讨论的，申请人已认识到，关于在显示生成的帧之前应用于所生成的帧的显示修改(例如，背光调光补偿)的信息(knowledge)也可有利地在帧生成级处使用，从而使得整个帧生成和显示处理更有效(从而例如降低功耗和带宽)。例如，并且如下面将进一步讨论的，关于在显示生成的帧之前应用于所生成的帧的显示修改的信息可(例如)用于方便更有效地压缩所生成的帧，然后显示生成的帧(在生成的帧被压缩以便于存储在帧缓冲器中，然后从该帧缓冲器读取所述帧以进行显示的系统中)。
[0033]待显示的帧可根据需要由总的数据处理系统的任何适当的组件来生成。在优选实施方式中，待显示的帧是由图形处理器生成的帧、由视频处理器(视频引擎)生成的帧或者由合成引擎(合成器)提供的帧。
[0034]因此，帧生成级优选包括图形处理器、视频处理器(视频引擎)或合成引擎(合成器)。如果需要，可存在超过一个帧生成器，所述帧生成器中的一个或超过一个(或者全部)可按照本发明的方式操作。如果需要，帧生成级还可包括诸如压缩级(压缩引擎)的其它组件(并且在优选实施方式中，是这种情况)。
[0035]生成的待显示的帧优选地存储在适当帧缓冲器中，然后可从该帧缓冲器读取生成的帧以用于对生成的帧执行显示修改以提供用于显示的输出帧的目的。
[0036]对生成的帧执行以生成提供给显示器的输出帧的显示修改操作可以是任何期望且合适的修改，例如本领域中已知并执行的。
[0037]在优选实施方式中，显示修改操作包括亮度补偿操作(例如并且优选地，用于背光调光补偿)。另外或作为替代，显示修改操作可包括基于(检测到的)环境光水平(并且针对该环境光水平进行调节)的操作。
[0038]对生成的帧执行以生成提供给显示器的输出帧的显示修改可按照任何期望且合适的方式(例如，按照这些修改已知的方式)来执行。
[0039]在优选实施方式中，对生成的待显示的帧执行的显示修改包括分析生成的帧(例如，利用直方图)以确定数据值调节参数(例如并且优选地，背光调光因子和亮度缩放参数)。
[0040]类似地，在优选实施方式中，对生成的待显示的帧执行的显示修改包括调节帧中的数据值，例如并且优选地，修改帧以使得帧的各个像素或子像素的亮度增加(例如，通过对存储的表示帧的亮度值的数据应用适当的变换函数)。
[0041]对生成的帧执行以生成提供给显示器的输出帧的显示修改可在总的数据处理系统的任何合适且期望的级或组件中实现和执行。
[0042]在优选实施方式中，对生成的待显示的帧执行的显示修改(例如，亮度补偿操作)由亮度和背光缩放引擎进行。如果需要，亮度和背光缩放引擎可(例如)作为数据处理系统的单独的级来提供。在优选实施方式中，亮度和背光缩放引擎被提供为显示控制器的一部分(因此，系统包括包含亮度和背光缩放引擎的显示控制器(并且显示控制器本身能够操作以执行亮度和背光缩放处理))。
[0043]用于控制帧生成处理的显示修改信息可以是与将对所生成的帧执行的显示修改处理有关和/或指示该显示修改处理的任何合适且期望的信息。
[0044]在优选实施方式中，显示修改信息基于输出帧(即，从显示修改得到的帧的内容)的内容或从其推导得出。显示修改信息可包括(并且优选地)例如可被认为代表所生成的帧将如何被修改以便于显示的任何合适的(例如，推导出的)信息集合。
[0045]在特别优选的实施方式中，显示修改信息包括指示和/或可用于确定所生成的待显示的帧中的数据位置的数据值将如何由所述显示修改操作改变的信息，所述显示修改操作将被用于从所生成的帧生成为显示而提供给显示器的输出帧。如下面将进一步讨论的，然后这有利于在帧生成级处修改所生成的帧内的数据位置的值，这可得到若干优点。
[0046]在优选实施方式中，显示修改信息包括一个或更多个亮度缩放参数，所述一个或更多个亮度缩放参数将在所生成的帧经受显示修改操作时用于所述帧。显示修改信息因此可包括正用于所述帧的任一个或更多个亮度补偿参数，所述亮度补偿参数诸如是并且优选地是指示将用于所述帧的变换函数、失真率、增益因子、阈值亮度值和/或饱和值中的一个或更多个或全部的信息。
[0047]显示修改信息可由系统的任何合适且期望的元件或组件提供给帧生成处理。在优选实施方式中，显示修改信息从执行显示修改操作的元件或级通过反馈来提供。
[0048]因此，在优选实施方式中，显示修改信息由亮度和背光缩放引擎或者包含亮度和背光缩放引擎的显示控制器提供。
[0049]显示修改信息可被提供给系统中的与帧生成有关或者涉及帧生成的任何元件或级。在优选实施方式中，系统包括若干帧生成器，诸如图形处理系统(GPU)、视频处理系统(视频引擎)和/或合成系统(合成引擎)，并且显示修改信息优选地被提供给系统的至少一个帧生成器，优选地提供给各个帧生成器。
[0050]显示修改信息还可被提供给系统的其它元件并用于这些元件中，系统的所述其它元件与帧生成有关或者涉及帧生成，诸如在所生成的帧被存储在存储器中之前操作以压缩所述帧的压缩引擎或压缩级(然后，所述帧被从所述存储器读取以进行显示修改操作)。
[0051]通常，除非另外指出，将显示修改信息提供给帧生成级并且使用显示修改信息来控制帧生成处理旨在包括帧生成处理的所有级和元件，直到所生成的帧被存储在帧缓冲器中为止(然后，所生成的帧将被从所述帧缓冲器读取以进行显示修改操作)。
[0052]关于将应用于所生成的、待显示的帧的显示修改的信息可用于按照任何期望且合适的方式控制待显示的