采用混合系统架构的图片处理的制作方法

专利名称：采用混合系统架构的图片处理的制作方法
技术领域：
本发明的实施例总体上涉及在混合系统架构中处理图片，更具体地涉及使用集成
处理器处理由分立处理器生成的图片。
背景技术：
常规地，在视频图像由YUV颜色空间转换至RGB(红、绿、蓝)颜色空间之前，对视 频图像进行调整以修改对比度。为了执行诸如改变对比度的调整，将图像转换至RGB颜色 空间，分析该图像以确定对比度水平，然后调整图像的RGB值以修改对比度。可以调暗显示 器的背光以降低功耗并延长笔记本和其他便携计算设备的电池寿命。为了保持所显示图像 的感知视觉质量，可以改变图像的对比度。但是，当用图形处理器将视频图像转换至RGB颜 色空间、然后分析图像并调整对比度时，由于消耗了额外的带宽和处理能力来执行这些操 作，可能会降低系统的整体处理性能。 因此，在本领域中需要一种用以调整视频图像的系统和方法，同时使得对图形处 理性能的影响最小化。

发明内容
—种用于在对图形处理性能的影响最小化的同时调整图片的系统和方法。 一种混 合系统架构包括分立处理器和集成处理器，其中与集成处理器相比，分立处理器典型地消 耗更多的能量并提供更强大的处理性能。由混合系统内的分立处理器的视频或图形引擎生 成图片。由视频引擎生成的图片转换至RGB格式用以显示。然后，将每一幅图片传送至主 处理存储器中的后缓冲器。分析图片以生成用以产生调整设置的图片分析结果。对后缓冲 器进行交换以成为前缓冲器，并通过集成处理器将调整设置应用于图片以显示调整后的图 片。当降低显示器的背光时，可以使用与节能技术结合的调整以保持图像质量。还可以使 用该调整以对一个或多个颜色通道执行特殊效果。随着由分立处理器产生序列中的下一个 图片，对要被显示的当前图片执行图片分析、调整设置确定、和应用调整。可以通过混合系 统中的主中央处理器(CPU)或集成处理器执行该调整设置确定。 本发明的使用混合系统架构以处理用于显示的图片的方法的各种实施例包括生 成由阿尔法、红、绿、蓝(ARGB)格式表示的图片数据，以及在混合系统架构中的分立处理器 的后缓冲器中存储图片数据。将图片数据传送至混合系统架构中的集成处理器的后缓冲 器，并由分立处理器或集成处理器处理以生成图片分析结果。将该图片分析结果存储在混 合系统架构中与集成处理器关联的存储器中。基于图片分析结果确定调整后的图片设置， 并使用混合系统架构中的集成处理器将该调整后的图片设置应用于图片数据，以生成用于 显示的将要由集成处理器显示的调整后的图片数据。 本发明的各种实施例包括配置为处理用以显示的图片的混合系统架构。该混合系 统架构包括分立处理器和集成处理器。分立处理器包括存储器并配置为生成由阿尔法、红、 绿、蓝(ARGB)格式表示的图片数据、在存储器的后缓冲器中存储图片，和将图片数据传送至第二后缓冲器。集成处理器配置为处理存储在第二后缓冲器中的图片以将调整后的图片 设置应用于图片数据，以便生成用于显示的调整后的图片数据，其中基于图片分析结果确 定调整后的图片设置。


为了可以详细的理解本发明的上述特征，可以参考实施例，对以上简要概括的发 明进行更具体的说明，其中一些实施例在附图中示出。但是，应该注意的是，由于本发明可 以允许其他具有等同效果的实施例，因此附图仅示出了本发明的典型实施例，因此不能视 为对其范围的限制。 图1A和1B是示出了配置为实现本发明一个或多个方面的计算机系统的框图；
图2A和2B是根据本发明的一个或多个方面，分别用于图1A和IB的计算机系统 的核心逻辑的框图； 图3是根据本发明的一个或多个方面，示出了在混合系统的集成处理器与分立处 理器之间执行处理分布的概念图； 图4是根据本发明的一个或多个方面，示出了缓冲器的位置、图片分析结果和调 整后的图片设置的混合系统的一部分的图；以及 图5是根据本发明的一个或多个方面，使用混合系统以处理图片的方法步骤流程 图。
具体实施例方式
在接下来的说明中，将提出大量具体的细节以更深入的理解本发明。但是，对于本 领域的技术人员来讲显而易见的是，可以在没有一个或多个这样的具体细节的情况下实施 本发明。在其他实例中，为了避免混淆本发明，不再对那些众所周知的特征进行说明。
系统概述 图1A是示出了配置为实现本发明的一个或多个方面的计算机系统100的框图。计 算机系统100是混合计算平台，包括多个处理单元以提供多种活动等级和功耗等级。计算 机系统100包括中央处理器(CPU) 102和系统存储器104，该中央处理器与系统存储器通过 包括核心逻辑105的总线路径进行通信。核心逻辑105包括集成GPU 150，与分立GPU 112 相比，其典型地提供较弱的性能并消耗较少的功率。 核心逻辑105是桥接设备，该核心逻辑将CPU 102耦连至平台内的一个或多个其 他设备，且该核心逻辑通过连接件113耦连至系统存储器104。核心逻辑105从一个或多个 用户输入设备108 (如，键盘、鼠标)中接收用户输入并通过路径106将该输入转发至CPU 102。 分立GPU 112通过总线或其他通信路径(如，PCI Express,加速图形端口 (AGP)， 或HyperTransport链路)耦连至核心逻辑105 ;在一个实施例中，分立GPU 112是用以处 理二维(2D)图形数据、三维(3D)图形数据和/或视频数据以生成图片的图形子系统。由 视频数据生成的图片典型地由YUV颜色空间表示，并被转换成RGB颜色空间以在显示设备 IIO上显示。设备驱动器可以存储在系统存储器104中，以在由CPU 102、分立GPU 112和 集成GPU150执行的诸如应用程序的进程以及根据需要由分立GPU 112和集成GPU150执行
4的翻译程序指令之间接口，正如结合图3所描述的。当系统100以低功耗模式运行时，通过 控制经由电压调节器输入至分立GPU 112的电压使得核心逻辑105可以配置分立GPU 112 进入断电状态。相似地，通过控制输入至系统存储器104的电压使得核心逻辑105可以配 置系统存储器104进入断电状态。 为了改变显示装置110的功耗，核心逻辑105耦连至显示装置IIO(例如，常规的 基于CRT或LCD的显示器)并可以控制背光水平。系统盘114也连接至核心逻辑105。开关 116在核心逻辑105以及诸如网络适配器118和各种外插卡120与121的其他部件之间提 供连接。包括USB或其他端口连接件、CD驱动器、DVD驱动器、电影记录设备等的其他部件 (未明确示出)也可以连接至核心逻辑105。将图1A中的各种部件进行互连的通信路径可 以使用任意适当的协议来实现，这些协议诸如PCI (外围组件互连)、PCI E邓ress (PCI-E)、 AGP(加速图形端口 ) 、 HyperTransport、或其他任意总线或点对点通信协议，不同设备之间 的连接可以使用本领域已知的不同的协议， 图1B是示出了配置为实现本发明的一个或多个方面的计算机系统100的另一个 框图。与图1A相比，系统存储器104直接通过连接件103而不是经由核心逻辑115连接至 CPU 122，并且其他设备通过核心逻辑115和CPU 122与系统存储器104进行通信。
应该理解的是，此处所示系统是示例性的并且可以有多种变化和修改。可以根据 需要修改包括桥接数量与布置的连接拓扑结构。在其他可替换的拓扑结构中，GPU 112直接 连接至CPU 102或CPU 122而不是连接至核心逻辑105或核心逻辑115。在其他实施例中， 核心逻辑105或核心逻辑115可以被分成多个芯片。此处所示具体部件是任选的；例如可 以支持任意数量的外插卡或外围设备。在一些实施例中，开关116被省去，网络适配器118 和外插卡120、 121直接连接至核心逻辑105或核心逻辑115。还可以改变GPU 112与系统 100的其余部件的连接。在一些实施例中，GPU112实现为可以插入系统100的扩展槽中的 外插卡。 核心逻辑概述 图2A是根据本发明的一个或多个方面、用于图1A的计算机系统100的核心逻辑 105的框图。图2B是根据本发明的一个或多个方面、用于图1B的计算机系统100的核心逻 辑115的框图。核心逻辑105和核心逻辑115均包括系统管理单元200，该系统管理单元可 以是诸如ARM(高级精简指令集机器)、PowerPC等的嵌入式低功耗处理器。系统管理单元 200比CPU 102或CPU 122消耗更少的功率，并且可以配置为执行至少一部分由CPU 102或 CPU 122执行的处理，例如需要服务系统中断的处理。 核心逻辑105和核心逻辑115还均包括可配置为存储前缓冲器260的本地存储器 205，该前缓冲器260包括用以输出至显示设备110的RGB图像数据。为了执行图像的双缓 冲以输出至显示设备110，本地存储器205还可配置为存储与前缓冲器260交换的后缓冲 器。当显示前缓冲器260时，通过集成GPU 150或分立GPU 112写入后缓冲器。在前缓冲 器260显示完成后，前缓冲器260与后缓冲器交换并且显示存储在后缓冲器中的图像。前 缓冲器260和后缓冲器可以代替本地存储器205存储在系统存储器104中。
当使用图1B所示的拓扑结构时，通过CPU 122和连接件103，数据来往于系统存储 器104传输。片上SRAM、片上嵌入式DRAM、片外DRAM等可以用于构造本地存储器205。如 图1A所示，当系统存储器104直接连接至核心逻辑105时，本地存储器205和系统存储器104可以具有相同的物理实体。 系统管理单元200可以配置为确定何时计算机系统100应该进入和退出低功耗运 行模式。系统管理单元200配置为通过启用和禁用输入至CPU102和CPU 122的电压以将 CPU 102或CPU 122通电或断电。如前所述，系统管理单元200还可以配置为对计算机系统 100中的诸如系统存储器104和集成GPU 150的其他部件进行断电。 在本发明的一些实施例中，核心逻辑105包括被用于与系统存储器104接口的存 储器接口214。由于系统管理单元200和CPU 102或CPU 122都可以启用，且当启用系统管 理单元200时可以禁用CPU 102或CPU 122，因此系统管理单元200为计算机系统100提供 了混合处理能力。
图片处理 图3是根据本发明的一个或多个方面、示出了在混合系统100的集成GPU 150与 分立GPU 112之间处理分布的概念图。视频应用300在CPU 102上执行，并且通过存储在 系统存储器104中的用户模式驱动器305接收命令与编码数据302。用户模式驱动器305 将命令与编码数据302传送至内核模式驱动器310进行处理。内核模式驱动器310知晓这 种混合构造，特别是集成GPU 150和分立GPU 112都可以处理命令与编码数据302。
在常规的混合系统中，内核模式驱动器310通过使每个GPU处理一部分命令与编 码数据302，而将处理的工作量分摊给集成GPU 150与分立GPU112。例如，集成GPU 150可 以处理命令与编码数据302的第一部分以生成输出至显示设备110的表面的上、下、右或左 部分。分立GPU 112可以处理命令与编码数据302的第二部分以生成输出至显示设备110 的其余表面部分。 在常规系统中，无论该系统是否为混合的，为了调整最终RGB值以补偿降低的背 光、在颜色通道上执行特殊效果，或者为了通过过驱动颜色通道以改善LCD灵敏度，都要对 输出至显示设备110的最终图像执行处理。对最终RGB值的处理通过分立GPU 112执行并 且对由RGB颜色空间表示的数据执行以得到最好的结果。因此，由YUV空间表示的视频数 据通常不以这种方式处理或在YUV空间中处理，导致较低的图像质量。在常规系统中，由于 消耗额外的处理周期以调整最终RGB值，因此对最终图像进行这一处理的能力受限于视频 重放数据(不包括3D图形数据)并且降低了分立GPU 112的性能。 在本发明的优选实施例中，内核模式驱动器310配置为将命令与编码数据302输 出至分立GPU 112进行处理。内核模式驱动器310配置集成GPU 150以执行对最终RGB值 的处理，正如结合图5所述的。为了调整最终RGB值以补偿降低的背光、在颜色通道上执行 特殊效果，或者为了通过过驱动颜色通道以改善LCD灵敏度，对输出至显示设备110的最终 图像执行的处理可以由集成GPU 150对由分离GPU 112处理的视频、2D和3D数据来执行。 另外，由于最终RGB值的处理从分立GPU 112转移至集成GPU 150进行，因此分立GPU 112 的性能不会下降。而且，当集成GPU 150顺序处理第(n-l)张图片的最终RGB值时，分立 GPU 112以该顺序生成第n张图片。 图4是根据本发明的一个或多个方面、示出了缓冲器的位置、图片分析结果和调 整后的图片设置的混合系统的部分的图。前缓冲器260、后缓冲器402、图片分析结果115、 以及调整后的图片设置160中的一个或多个可以存储在本地存储器205中。分立GPU 112 中的视频引擎对由内核模式驱动器310提供的命令与编码数据302进行解码，并生成YUV
6格式的解码数据。分立GPU 112使用分立GPU 112中的2D图形、3D图形、和/或视频引擎对已解码的YUV数据执行附加处理以生成RGB格式的图片数据。分立GPU 112在后缓冲器400中存储图片数据。将后缓冲器400传送至主系统并作为后缓冲器402存储在系统存储器104中。 一旦传送了后缓冲器400，分立GPU 112就可以在后缓冲器400中存储不同图片的图片数据。 分立GPU 112、 CPU 102、或集成GPU 150分析第一图片以生成存储在系统存储器104中的图片分析结果155。图片分析结果155可以表示后缓冲器402的柱状图，该柱状图通过一个或多个通道(红、绿、和蓝)改变对比度水平进行分类，或改变通道颜色值进行分类。为了进行分析，集成GPU 150可以首先将存储在后缓冲器402中的RGB数据转换成Y(luma)数据。当后缓冲器400更大时，集成GPU 150还可以通过内核模式驱动器310配置为縮减后缓冲器402的规模至1024x768像素以获得改进的性能(增加的帧速率)。作为替换，当为了维持由设备驱动器用户模式驱动器305指定的交互帧速率而限制由分立GPU112生成的像素数量时，集成GPU 150可以通过内核模式驱动器310配置为增大后缓冲器402的规模。随着图片数据从后缓冲器400传送至后缓冲器402，可以执行对RGB图片数据规模的增大或縮减。 然后，使用图片分析结果155确定调整后的图片设置160。例如，当降低平板显示器背光以便降低功耗时，即当使用SmartDimmer特征时，可以增加由后缓冲器402表示的图片对比度。与使用降低的背光或未增加对比度显示图片相比，增加对比度改善了显示后的图片的感知视觉质量(主要是亮度)。图片分析结果155还可以表示颜色通道值的柱状图，该颜色通道值用于对颜色通道执行特殊效果，诸如环境光(Ambi-light)。调整后的图片设置160可以基于图片分析结果155指定对一个或多个颜色通道进行修改。最后，可以通过调整后的图片设置160指定LCD过驱动特征，以便通过临时过驱动RGB颜色值来降低重影假象，以改善显示设备110的LCD灵敏度度。 图5是根据本发明的一个或多个方面、使用混合系统100处理图片的方法步骤流程图。在步骤500中，分立GPU 112将图片解码以产生图片数据，该数据在步骤505中以ARGB格式数据存储在后缓冲器400中。可以使用命令与编码数据302，通过由分立GPU 112提供以生成图片的数据图形应用提供的视频应用300或2D或3D图形数据来对图片进行解码。在步骤510中，将后缓冲器400复制到后缓冲器402。如前所述，随着图片数据从后缓冲器400复制到后缓冲器402，集成GPU 150可以配置为增大或縮减图片数据的规模。随着数据从后缓冲器400复制到后缓冲器402，集成GPU 150还可以配置为将图片数据转换至RGB格式数据。 在步骤515中，集成GPU 150配置为分析后缓冲器402以生成图片分析结果155。在本发明的一些实施例中，CPU 102可以配置为生成图片分析结果155。在步骤520中，图片分析结果155存储在系统存储器104或本地存储器205中。在步骤525中，分析图片分析结果155以生成调整后的图片设置160，调整后的图片设置160表示了随着图片数据输出值显示设备110，将要应用于存储在后缓冲器402中的图片数据的调整后的设置。调整后的图片设置160说明了背光变化、颜色通道效果、以及其他功耗减低或显示选项。CPU 102或集成GPU 150可以配置为生成调整后的图片设置160。 在步骤530中，核心逻辑105或115确定是否做出诸如背光水平变化等的任何显示调整以控制显示设备110。如果做出了显示调整，在步骤535中，就将显示调整应用于显示设备110。在步骤540中，前缓冲器260与后缓冲器402交换，使得将后缓冲器402输出至显示设备110。在步骤545中，集成GPU 150配置为读取来自后缓冲器402的图片数据，并在将调整后的图片数据输出至显示设备110之前应用调整后的图片设置160。
用于输出到显示设备110的最终图像的处理从分立GPU 112转移至集成GPU 150执行，通过分立GPU 112改善了图形数据和视频的处理性能。集成GPU 150可以调整由视频和2D和/或3D图形处理产生的图片数据的最终RGB值，以补偿降低的背光、在颜色通道上执行特殊效果，或者通过过驱动颜色通道改善LCD的灵敏度。 以上参考具体实施例对本发明进行说明。但是，本领域的技术人员应该理解的是，可以在不背离本发明后附权利要求的更广泛的精神和范围的情况下对其进行各种修改和变化。本发明的一个实施例可以实现为与计算机系统一起使用的软件产品。软件产品的程序定义了实施例的功能(包括此处说明的方法)并且可以包括在多种计算机可读存储介质上。示出的计算机可读存储介质包括，但不仅限于(i)在其上永久存储信息的不可写存储介质( 例如，计算机中的只读存储设备，诸如通过CD-ROM驱动器可读的CD-ROM盘、闪存、ROM芯片、任意类型的固态非易失性半导体存储器)。(ii)在其上存储可变信息的可写存储介质(例如，软盘驱动器或硬盘驱动器中的软盘或任意类型的固态随机存取半导体存储器)。另外，前述说明和附图应被视为示意性说明而非限制性的含义。
权利要求
一种处理用于显示的图片的混合系统架构，该混合系统架构包括分立处理器，该分立处理器包括存储器并配置为生成由阿尔法、红、绿、蓝(ARGB)格式表示的图片数据；在存储器的后缓冲器中存储该图片数据；和将该图片数据传送至存储在第二存储器中的第二后缓冲器中；以及集成处理器，该集成处理器耦连至第二存储器并配置为获得由处理该图片数据产生的图片分析结果；和将调整后的图片设置应用于存储在第二后缓冲器中的图片数据以生成用于显示的调整后的图片数据，其中基于该图片分析结果确定调整后的图片设置。
2. 根据权利要求1所述的混合系统架构，其中将该集成处理器配置为分析该图片分析 结果以产生调整后的图片设置。
3. 根据权利要求l所述的混合系统架构，进一步包括中央处理器(CPU)，该中央处理器 耦连至该集成处理器并配置为分析该图片分析结果以生成调整后的图片设置。
4. 根据权利要求1所述的混合系统架构，其中该集成处理器包括在核心逻辑中，该核 心逻辑配置为修改显示设备的背光水平，其中调整后的图片设置基于显示设备的该背光水 平。
5. 根据权利要求1所述的混合系统架构，进一步包括耦连至该集成处理器的显示设 备，其中该集成处理器进一步配置为将调整后的图片数据输出至显示设备。
6. 根据权利要求1所述的混合系统架构，其中该分立处理器进一步配置为处理存储在 后缓冲器中的图片数据以生成图片分析结果。
7. 根据权利要求1所述的混合系统架构，其中该集成处理器进一步配置为处理存储在 第二后缓冲器中的图片数据以生成图片分析结果。
8. 根据权利要求1所述的混合系统架构，其中调整后的图片设置指定了修改图片数据 的对比度水平。
9. 根据权利要求1所述的混合系统架构，其中调整后的图片设置指定了图片数据的过 驱动颜色通道。
10. 根据权利要求1所述的混合系统架构，其中该集成处理器进一步配置为调节存储 在第二后缓冲器中的图片数据规模。
全文摘要
一种用于使对分立处理器的图形处理性能的影响最小化的用以调整图片的系统和方法。一种混合系统架构包括分立处理器和集成处理器，其中与集成处理器相比，分立处理器典型地消耗更多的能量并提供更强大的处理性能。由混合系统内的分立处理器的视频或图形引擎生成图片。然后，每一幅图片传送至主处理存储器中的后缓冲器。分析图片以生成用以产生调整设置的图片分析结果。后缓冲器交换成前缓冲器并通过集成处理器将调整设置应用于图片以显示调整后的图片。当降低显示器的背光时，可以使用与节能技术结合的调整以保持图像质量。
文档编号G09G5/37GK101740004SQ20091022237
公开日2010年6月16日 申请日期2009年11月16日 优先权日2008年11月14日
发明者弗兰克·R.·迪安德, 海塞妮·S.·阿扎尔, 王迅, 阿米特·帕瑞克 申请人:辉达公司