显示控制器的制造方法
【技术领域】
[0001]本发明涉及用于数据处理系统的显示控制器。
【背景技术】
[0002]如本领域已知的，在数据处理系统中，要显示给用户的图像由数据处理系统处理以用于显示。用于显示的图像在被显示给用户之前通常由多个处理级处理。例如，图像将由显示器的所谓“显示控制器”来处理以用于显示。
[0003]通常，显示控制器将从存储器中的将图像存储为数据数组(例如，通过内部直接存储器访问(DMA))的所谓“帧缓冲”读取要显示的输出图像，并将图像数据适当地提供给显示器(例如，经由像素流水线)(所述显示器可以是例如屏幕或打印机)。在准备好显示时输出图像通过例如图形处理器而被存储在存储器中的帧缓冲中，显示控制器然后将读取帧缓冲并将它提供给显示器以用于显示。
[0004]显示控制器对来自帧缓冲的图像进行处理以使得它能够显示在该显示器上。该处理包括适当的显示定时功能(例如，配置为利用适当的水平消隐周期和垂直消隐周期将像素数据发送给显示器)，以使得图像能够正确地显示在显示器上。
[0005]如本领域已知的，帧缓冲本身通常被存储在所涉及的系统的所谓“主”存储器中，因此在显示装置和显示控制器的外部。从帧缓冲读取数据以用于显示因此可消耗相当大量的功率和存储器带宽。
[0006]许多已知的电子装置和系统在其显示屏幕上使用并显示多个窗口(或表面)来显示诸如视频、图形用户界面等的信息。
[0007]提供这些窗口的常见方式是使用组合窗口系统，其中各个输入窗口(表面)被适当地合并(即，组合)，结果被写出到帧缓冲，然后由显示控制器读取以用于显示。
[0008]此组合处理的示例示出于图1中。在此处理中，通过视频编解码器I和图形处理单元2产生输入表面并将其存储在主存储器3 (例如，帧缓冲0、I和2)中。所存储的表面被读取并传递给组合引擎4，该组合引擎4将输入表面合并以生成组合输出帧。在图示的示例中，组合引擎4还对来自视频编解码器I的输入表面执行颜色空间转换(从YUV到RGB)和缩放操作。组合输出帧被存储在主存储器3 (例如，帧缓冲3)中。显示控制器5从存储器3读取所存储的组合输出帧，并将组合输出帧发送给本地显示器6以用于显示。
[0009]传统的媒体处理系统示出于图2中。这包括中央处理单元(CPU) 7、图形处理单元(GPU)2、视频编解码器1、组合引擎4、显示控制器5和存储器控制器8。如图2所示，这些组件经由互连9来通信，并且能够访问芯片外主存储器3。组合引擎4从(例如，通过GPU2和/或视频编解码器I生成的)一个或更多个输入表面生成组合输出帧，组合输出帧然后经由存储器控制器8被存储在芯片外存储器3中的帧缓冲中。显示控制器5然后经由存储器控制器8从芯片外存储器3中的帧缓冲读取组合输出帧并将它发送给显示器以用于显不O
【发明内容】
[0010]申请人认为显示控制器还存在改进空间。
[0011]根据本发明的第一方面，提供了一种用于数据处理系统的显示控制器，该显示控制器包括:
[0012]输入级，其能够操作以读取至少一个输入表面；
[0013]处理级，其能够操作以处理一个或更多个读取的输入表面以生成输出表面；
[0014]输出级，其能够操作以将用于显示的输出表面提供给显示器；以及
[0015]写出级，其能够操作以将输出表面写到外部存储器。
[0016]根据本发明的第二方面，提供了一种在数据处理系统中操作显示控制器的方法，所述显示控制器包括能够操作以将输出表面写到外部存储器的写出级，所述方法包括所述显示控制器:
[0017]读取至少一个输入表面；
[0018]处理所述至少一个输入表面以生成输出表面；
[0019]将所生成的输出表面写到外部存储器；并且
[0020]可选地，将用于显示的输出表面提供给显示器。
[0021]像传统显示控制器中一样，本发明的显示控制器包括输入级和输出级，其能够操作以读入至少一个输入表面(层)并将用于显示的输出表面提供给显示器。然而，与传统显示控制器相比，本发明的显示控制器还包括能够操作以处理一个或多个输入表面以提供输出表面的处理级、以及能够操作以将输出表面写到外部存储器的写出级。
[0022]所述写出级意指本发明的显示控制器可被操作(例如)以(例如)在输出表面显示在显示器上的同时将输出表面选择性地写出到外部存储器(例如，帧缓冲)。如下面将更充分说明的，这可有利于可由显示控制器执行的操作的类型方面的更大程度的控制和灵活性。此外，在各种情况下，本发明的显示控制器可用于(例如)通过减少对外部存储器的读和/或写的次数来减小总数据处理系统的带宽消耗。
[0023](在低功率和便携式装置中的数据处理系统中，将数据写到外部存储器以及从外部存储器读取数据的逆操作的带宽成本会是重要的问题。带宽消耗会是热和功耗的重要来源，因为通常可取的是尝试减小数据处理系统中的外部存储器读和写的带宽消耗。)
[0024]本发明尤其有利的一个示例性布置方式是多个显示器被设置并用于显示同一输出表面的相对常见的情形。在一个这种常见布置方式中，通过数据处理系统生成的输出表面被显示在系统的本地显示器上，并且还被显示(“克隆”)在第二外部显示器上。在这些布置方式中，通常的情况是外部显示器将需要并使用与本地显示器不同的分辨率和/或宽尚比。
[0025]图3示意性地示出传统双显示器组合系统的操作。通过视频编解码器I和/或GPU2生成一个或更多个输入表面并将其存储在主存储器3 (例如，帧缓冲0、I和2)中。所存储的输入表面被读取并传递给组合引擎4，该组合引擎4将输入表面合并(组合)以生成组合输出帧。在图示的示例中，组合引擎4还对来自视频编解码器I的输入表面执行颜色空间转换和缩放操作。组合输出帧被存储在主存储器3中(例如，帧缓冲3中)。所存储的组合输出帧然后被本地显示控制器5读取，并显示在系统的本地显示器6上。
[0026]所存储的组合输出表面还被组合引擎4从主存储器3读回，然后进行适当的旋转和/或缩放以生成用于外部显示器10(可能需要不同的分辨率和/或宽高比以用于输出)的适当旋转和/或缩放的输出表面。经旋转和/或缩放的输出表面被存储在主存储器3 (例如，帧缓冲4)中，然后被第二显示控制器11读取并显示在外部显示器10上。
[0027]图4示出传统双显示器组合系统，其包括分别用于本地显示器6和外部显示器10的第一显示控制器5和第二显示控制器11。
[0028]将理解，在该传统布置方式中，组合引擎4必须执行对主存储器3的(至少)两次写入(即，一次对帧缓冲3和一次对帧缓冲4)以及从主存储器3的(至少)一次读取(即，从帧缓冲3)(在输入表面已被读取之后)。同样，显示控制器5、11中的每一个必须执行从主存储器3的(至少)一次读取。
[0029]相比之下，在本发明的显示控制器(S卩，具有写回功能)用于双显示器操作的本发明的实施方式中(如下面将更详细描述的)，显示控制器可被操作以生成用于显示的图像并且将它输出到本地显示器上。显示控制器还可被操作以将所生成的输出表面(或者所生成的输出表面的修正版本)写到主存储器。存储在主存储器中的输出表面然后可被第二显示控制器读取以用于显示在外部显示装置上。在此实施方式中，可由第二显示控制器(即，如果如此配备的话)或者由本发明的显示控制器在将输出帧写出到主存储器之前执行用于外部显示器的输出帧的适当缩放和/或旋转等。
[0030]因此，在本发明的此实施方式中，对于双显示器操作而言仅需要对主存储器的一次写操作和从主存储器的一次读操作(即，在至少一个输入表面被读取之后)。因此，与传统布置方式相比，存储器带宽减小。
[0031]因此将理解，在本发明的各种实施方式中，包括本发明的显示控制器的总数据处理系统的带宽和功耗可减小。
[0032]输入级可包括能够操作以读取至少一个输入表面的任何合适的级。在优选实施方式中，输入级包括读控制器，例如直接存储器访问(DMA)读控制器。
[0033]在优选实施方式中，读控制器被配置为从存储有至少一个输入表面的存储器读取至少一个输入表面。所述存储器可包括任何合适的存储器，并且可按照任何合适且期望的方式来配置。例如，它可以是与显示控制器在芯片上的存储器，或者可以是外部存储器。在优选实施方式中，它是外部存储器，例如总数据处理系统的主存储器。它可以是用于该目的的专用存储器，或者可以是也用于其它数据的存储器的一部分。在优选实施方式中，所述至少一个输入表面被存储在帧缓冲中(并从帧缓冲读取)。
[0034]本发明中的所述至少一个输入表面可以是任何合适且期望的这种表面。优选地，由输入级读取的所述至少一个输入表面是要(即，通过处理级)生成输出表面的至少一个输入表面。在一个实施方式中，所述至少一个输入表面是至少一个(要显示的)输入窗口，优选为用于显示的图像(例如，帧)。
[0035]可根据需要生成一个或多个输入表面。例如，如本领域已知的，一个或更多个输入表面可通过由图形处理系统(图形处理器)适当地渲染并存储到存储器(例如，帧缓冲)中来生成。另外地或另选地，一个或更多个输入表面可通过由视频编解码器适当地解码并存储到存储器(例如，帧缓冲)中来生成。另外地或另选地，一个或更多个输入表面可由数字相机图像信号处理器(ISP)或者其它图像处理器来生成。如本领域已知的，一个或多个输入表面可以(例如)用于游戏、演示、图形用户界面(GUI)、带有视频数据的GUI(例如，带有图形“回放”和“暂停”图标的视频帧)等。
[0036]可仅存在由输入级读取(并由处理级处理以生成输出表面)的一个输入表面，但是在尤其优选的实施方式中，存在由输入级读取(并由处理级处理以生成输出表面)的多个(两个或更多个)输入表面。
[0037]由处理级生成的输出表面可以是任何合适且期望的这种表面。优选地，由处理级生成的输出表面是(要显示的)至少一个输出窗口，并且优选为用于显示的图像(例如，帧)。如下面将进一步讨论的，在优选实施方式中，输出表面从多个输入表面组合而成(尽管这不是必需的)。
[0038]在一个实施方式中，处理级可生成单个输出表面。在此实施方式中，由处理级生成的单个输出表面可以是用于显示的输出表面(即，显示在显示器上的用于显示的输出表面)和/或被写到外部存储器的输出表面。另选地，处理级可生成多个(优选两个)输出表面。在此实施方式中，输出表面中的一个可以是用于显示的输出表面(即，显示在显示器上的用于显示的输出表面)，输出表面中的另一个可以是被写到外部存储器的输出表面。