用于帧缓冲器压缩的混合模式的制作方法
【技术领域】
[0001] 本文中所揭示的系统和方法是针对图像数据，且更确切地说是针对图像数据的压 缩。
【背景技术】
[0002] 即使是手持式计算装置（例如，移动电话和平板计算机）现在也需要高分辨率、 高显色显示器，因此需要高瓦特背光灯和大容量帧缓冲存储器，从而共同导致高功率消耗。 帧缓冲器（存储器区域，其在显示器上对图像进行光栅化期间存储数据的片段）是存储器 带宽与存储空间两者的重要消耗者，且此可不利地影响图形处理单元（GPU)的存储器子系 统。另外，帧缓冲器连同显示器背光消耗相当大百分比的装置功率。特别来说，在具有有限 电池寿命的移动装置中，考虑到显示器的高刷新率、分辨率和色深，帧缓冲器功率消耗可呈 现相当大的挑战。因此，减少帧缓冲器活动有助于延长整体电池寿命。
[0003] 因此，为了在高分辨率移动电话和平板计算机装置的显示器上再现图像，帧缓冲 器压缩（FBC)变得越来越风行。这既适用于常规面板（其中FBC可减小所需的链接速率）， 还适用于智能面板（其中FBC可降低链接速率与面板存储器要求两者），从而节省成本。一 些进行FBC的方法可减少对帧缓冲器存取的次数，借此降低功率成本。帧缓冲器及其关联 总线的功率消耗是与在光栅化期间的帧缓冲器存取的次数成比例。存取的次数转而由屏幕 分辨率、刷新率和色深来确定。帧缓冲器的功率消耗还与压缩比成反比。
[0004] 当显示器大小和分辨率持续增大时，对帧缓冲器压缩中更高压缩比的需求增加。 即使当对压缩FBC技术的需求增加时，FBC的要求仍持续为（1)低复杂度，以便移动装置的 驱动器集成电路可以有限计算资源来实施压缩和解压缩；（2)视觉上无损质量，以便用户 不应归因于压缩和解压缩而看到图像中的任何视觉降级；以及（3)固定压缩率。
【发明内容】
[0005] 一般来说，本发明涉及用于数据压缩使得减少需要存储在帧缓冲器中或需要发射 的数据的量的技术。一些实施例涉及用于对某些图像块进行压缩（在本文中被称作"混合 模式"或"混合模式压缩"）的系统和技术，其中所述图像块含有展现像素强度的相对低的 变化的一个或两个色彩通道，而剩余一或多个通道则展现相对高的变化。此些像素块可极 难以使用现有方法进行压缩同时维持高视觉质量。举例来说，使用预测以压缩高度变化型 色彩通道可产生太大的位流，且使用量化以压缩低度变化或轻度变化型通道可产生糟糕的 图像质量。使用混合模式可提供高压缩比下的无损或实质上无损译码，从而减少在光栅化 期间帧缓冲器和关联总线的活动且因此同样减少功率消耗而不牺牲视觉质量。另外，混合 模式可适于取决于图像数据而在RGB或者YCtjCg色彩空间中起作用。混合模式可独立地或 者与其它分量一起而被用作帧缓冲器压缩算法的一部分。一些实施例可涉及用于选择混合 模式胜过其它压缩模式的规则（在混合模式压缩是结合其它类型的压缩模式而使用的情 况下）。
[0006] 就质量以及效率和对应的存储器及功率消耗来说，混合模式具有胜过现有FBC技 术的许多优点。举例来说，混合模式可为以其它方式难以压缩的块提供高视觉质量压缩。混 合模式压缩可达成自然图像数据或图形数据的无损或近无损性能，其中一个或两个色彩通 道展现像素强度的相对低的变化，而剩余一或多个通道展现相对高的变化。最终用户可并 不能够看到从使用混合压缩进行译码的数据再现的图像数据中的任何视觉降级。另外，混 合模式是基于块的，其仅对N像素阵列进行处理，从而几乎不产生延迟。此外，混合模式可 保证固定压缩率，这对于具有固定存储器大小的面板来说是有益的。如下文中所描述，混合 模式压缩可在一个遍次中完成且不涉及任何递回，且因此归因于避免了反复的函数调用和 返回而对小数据有效。另外，通过基于高度变化型分量的数目来启用和停用量化，混合模式 提供对无损压缩与有损压缩两者的支持。其它优点包含混合模式不需要行缓冲器以及其需 要低计算复杂度，因为仅使用运算符" + "、"〈〈"和">>"而无乘法且无除法。还有，混合模式 可并不需要使用行缓冲器。
[0007] -个方面涉及一种在电子装置中的用于压缩图像数据的系统，所述系统包括：通 道分析模块，其经配置以：接收包括多个分量的像素块，所述多个分量中的至少一些分量对 应于所述像素块的色彩通道；通过将与所述多个分量中的每一者相关联的值和至少一个阈 值相比较并基于所述至少一个阈值将平滑或者变异的分类分配给所述多个分量中的至少 一些分量，确定所述像素块是否为混合块，混合块是具有以下各者的像素块：分配有所述平 滑分类的至少一个分量；以及所述混合块中分配有平滑或者变异的分类的所有所述多个分 量；以及混合模式压缩模块，其经配置以至少部分基于所述所分配的分量分类使用混合编 码来压缩所述像素块。
[0008] 另一方面涉及一种用于在电子装置中压缩图像数据的方法，所述方法包括：接收 包括多个分量的像素块，所述多个分量中的至少一些分量对应于所述像素块的色彩通道； 将与所述多个分量中的每一者相关联的值和高阈值及低阈值中的至少一者相比较，以确定 所述多个分量中的每一者中的色彩方差水平；将平滑分类分配给所述多个分量中的至少一 个平滑分量，与所述至少一个平滑分量相关联的所述值小于所述低阈值；将变异分类分配 给所述多个分量中的至少一个变异分量，与所述至少一个变异分量相关联的所述值高于所 述高阈值；以及基于所述所分配的分类来确定所述像素块是否为混合块。
[0009] 另一方面涉及一种用于在电子装置中压缩图像数据的设备，所述设备包括：用于 通过将与像素块的多个分量中的每一者相关联的值和高阈值及低阈值中的至少一者相比 较来确定所述多个分量中的每一者中的色彩方差水平的装置；用于将平滑分类分配给所述 多个分量中的至少一个平滑分量和将变异分类分配给至少一个变异分量的装置，与所述至 少一个平滑分量相关联的所述值小于所述低阈值且与所述至少一个变异分量相关联的所 述值大于所述高阈值；以及用于基于所述所分配的分类来确定所述像素块是否为混合块的 装置。
[0010] 另一方面涉及一种存储指令的非暂时性计算机可读媒体，所述指令在执行时使至 少一个物理计算机处理器执行压缩图像数据的方法，所述方法包括：通过将与像素块的多 个分量中的每一者相关联的值和高阈值及低阈值中的至少一者相比较来确定所述多个分 量中的每一者中的色彩方差水平；基于所述比较值将平滑或者变异的分类分配给所述多个 分量中的至少一些分量；基于所述所分配的分类来确定所述像素块是否为混合块；以及针 对分配有所述平滑分类的至少一个分量和分配有所述变异分类的至少一个分量来实施不 同压缩模式。
【附图说明】
[0011] 将在下文中结合附图和附录来描述所揭示的方面，提供附图和附录是为了说明而 不是限制所揭示的方面，其中相同符号表示相同元件。
[0012] 图1说明混合模式压缩系统的实施例的示意性框图。
[0013] 图2A到2C说明可实施本发明中所描述的压缩技术的实例系统的示意性框图。
[0014] 图3说明通道分析模块的实例。
[0015] 图4说明可由混合模式压缩方案产生的实例编码格式。
[0016] 图5说明实例混合模式压缩过程的实施例。
[0017] 图6说明非由混合模式压缩过程产生的第一测试图案和由混合模式压缩过程产 生的第二测试图案的比较。
[0018] 图7说明非由混合模式压缩过程产生的第一测试图案和由混合模式压缩过程产 生的第二测试图案的另一比较。
【具体实施方式】
[0019] 引言
[0020] 本发明的实施例涉及用于压缩帧缓冲器中的图像数据或其它图形数据的技术。本 文中所揭示的混合模式压缩方案可用于对图形内容进行译码，所述图形内容含有展现像素 强度的相对低的变化的一个或两个色彩通道与展现相对高的变化的剩余一或多个通道。混 合模式压缩方案的一个实例包含三个主要步骤：第一，分析RGB或YCtjCg图像的每一色彩通 道中的像素值，以确定多少通道是平滑分量以及多少通道是变异分量；第二，基于通道分析 来确定是否应使用及应如何使用混合模式压缩；以及第三，基于通道分析进行混合译码以 自适应地和个别地压缩色彩通道。通过压缩数据，本发明中所描述的技术可减少需要存储 在帧缓冲器中的数据的量和/或减少需要发射的数据的量。换句话说，在不进行压缩的情 况下，需要存储在帧缓冲器中和/或需要发射的数据的量可大于在进行压缩的情况下需要 存储在帧缓冲器中和/或需要发射的数据的量，从而导致更大的延迟时间和更高的功率消 耗。
[0021] 举几个例子，图像帧可为由视频解码器构成的视频内容的图片、由图形处理单元 (GPU)构成的图形内容，或由相机俘获并由相机处理器构成的图像。一般来说，图像帧可为 有待于显示在显示器上的图像内容的任何实例，包含执行产生可观看内容的应用程序（例 如，网络浏览器、游戏、媒体播放器及类似者）的结果。
[0022] 压缩单元（包含混合模式压缩模块）可从视频解码器、GPU和相机处理器中的任一 者接收所构成的图像帧的像素的像素值。像素值中的每一者可由多个数据位来表示。举例 来说，像素值的一个实例可为包含红色、绿色和蓝色（RGB)分量的数据位的色值。在另一个 实例中，像素值可为YCtjCg色彩空间中的色值，包含亮度、橙色色度和绿色色度分量的数据 位。压缩单元可接收图像帧中的像素中的每一者的像素值的数据位，且应用压缩使得需要 更少位来表示每一像素的色值。压缩单元可类似地压缩其它类型的像素值（例如，不透明 度值和坐标，作为两个实例）。如本发明中所使用，术语"图像数据"可一般指像素值的位， 且术语"经压缩图像数据"可指在压缩单元压缩图像数据之后压缩单元的输出。举例来说， 经压缩图像数据中的位的数目可小于图像数据中的位的数目。在一些实施例中，压缩单元 可接收块中的像素值，且"图像数据"可指原始图像的像素块。
[0023] 为了压缩图像数据，压缩单元可实施混合模式压缩方案。压缩单元可向图像帧的 整体、向图像帧的片层、逐块或逐行实施混合模式压缩方案。如更详细地描述，根据混合模 式压缩方案，压缩单元可进行通道分析以基于像素块的每一分量的绝对差值和来对所述分 量进行分类，以便达成目标压缩。绝对差值和可用来确定图像数据的色彩空间并且还确定 分量的色彩方差水平。
[0024] 在一个实例中，可由压缩单元分析像素块的每一分量或色彩通道，其中分量是 RGB(红色、绿色、蓝色）或者YCtjCgI;伪亮度、橙色色度、绿色色度）色彩空间中的色彩通道。 在其它实施例中，混合模式压缩方案可适于其它色彩空间。混合模式压缩方案可使用像素 值以将块中的分量中的每一者分类为平滑（低变异）型、变异（高变异）型或无类别型，以 确定所述是否为混合模式压缩的候选者。如果所有分量是平滑型或者变异型且至少一个通 道是平滑型，那么块可为混合模式压缩的候选者。如果块不是混合模式压缩的候选者，那么 可使