图像数据的非对称超级采样光栅化的方法和系统的制作方法

专利名称：图像数据的非对称超级采样光栅化的方法和系统的制作方法
背景技术：
1.发明领域本发明涉及以增加的分辨率显示图像的方法和系统，并尤其涉及使用增加的采样点数以产生在诸如液晶显示器的显示设备上显示的增加分辨率的图像的方法。
2.技术现有状态随着信息时代的到来，全世界的人们花费大量时间观看显示设备并由此导致一些问题比如眼睛疲劳。由个人观看的显示设备显示电子图像数据，比如文本字符。已经发现更容易阅读文本，并且随着文本字符分辨率的改善会减少眼睛疲劳。这样，使在显示设备上显示的文本和图形达到高分辨率已变得更加重要。
日益流行的一个这样的显示设备就是平板显示设备，比如液晶显示器(LCD)。然而，大多数传统的图像处理技术，包括产生和显示字体，都已开发并优化为在阴极射线管显示器上显示，而不是在LCD上显示。此外，现有的文本显示程序无法考虑到平板显示设备独有的物理特性，它显著不同于CRT设备的特性，尤其是关于显示设备光源的物理特性。
CRT显示设备使用以模拟方式控制的扫描电子束来激励定位于显示屏上的荧光粉。由电子束照射的CRT显示设备的像素包括三元组点，每个有不同的色彩。一起控制这些包括在像素中的点以产生作为具有由特定色度、饱和度和亮度确定的所选色彩的单个点或光的区域被使用者所感知的。在CRT显示设备像素中单个点不是可分离控制的。传统的图像处理技术把图像数据的单个样本映射到全部像素，包括在像素中的三个点一起表示图像的单个部分。CRT显示设备已广泛地与台式计算机、工作站结合使用，并用于便携性不是重要考虑的计算环境中。
与CRT显示设备相比，LCD设备的像素，尤其是那些数字驱动的，具有可分离定址和可分别控制的像素子成分。例如，LCD显示设备的像素可以具有可分别控制的红、绿和蓝的像素子成分。LCD设备像素的每个像素子成分是可独立并数字控制的离散光发射设备。然而，LCD显示设备已与起初为CRT显示设备设计的图像处理技术结合使用，这样就不能使用像素子成分可分别控制的特性。当把现有的文本描绘过程应用于LCD显示设备，就会使每个三部分像素表示图像的单个部分。LCD设备由于其大小、重量和相对低功耗的需要已广泛应用于便携式或膝上型计算机。然而，这些年来LCD设备在其他计算环境中已开始变得更普通了，并且更广泛地应用于非便携式个人计算机。


图1中说明了应用于LCD设备的传统描绘过程，它示出了映射于LCD设备区域12全部像素11的图像数据10。图像数据10和平板显示设备(例如LCD设备)的部分12描述为包括相应的行R(N)到R(N+2)和列C(N)到C(N+2)。平板显示设备的部分12包括像素11，其中每个具有可分离控制的红、绿、蓝子成分。
作为映射操作的一部分，把代表由行R(N)和列C(N+1)交叉部分确定的图像数据10区域15的单个样本14映射到定位于行R(N)和列C(N+1)交叉部分的整个三部分像素11A。根据单个样本14产生用于照亮像素11A R、G和B像素子成分的发光亮度值。结果，全部像素11A表示图像数据的单个区域，即区域15。虽然R、G和B像素子成分是可分别控制的，但是图1的传统图像描绘过程没有利用其可分别控制特性，而是把它们一起操作以显示表示图像单个区域的单个色彩。
文本字符代表一类图像，它在给定通常72或96每英寸点数(像素)(dpi)的平板显示分辨率下特别难于精确显示。这样的显示分辨率比大多数打印机支持的600dpi的分辨率低得多。甚至在诸如书或杂志的大多数商务打印文本中发现了更高的分辨率。同样地，没有足够像素可用于描绘光滑的字符形状，尤其是普通10、12和14类型的文本大小。在这样的普通文本描绘大小，文本的部分在显示设备上显得比其打印件更加突出和粗糙。
因此，对于本技术的提高就是改善在显示设备上，尤其是平板显示器上，显示的文本和图形的分辨率。对于本技术的提高就是减少显示图像的粗度以使它们更接近它们的打印件或由印刷商设计的字体图像数据。对于图像处理技术希望提供这样的改进分辨率以考虑到平板显示设备独有的物理特性。
发明概述本发明针对一种在平板显示设备(比如液晶显示器(LCD))上显示图像的方法和系统。平板显示设备使用不同类型的像素安排，比如横向或纵向的条纹，并且本发明可应用于任何安排选择以在显示设备上提供增加的分辨率。
本发明涉及图像处理操作，由此分别控制平板显示设备的各个像素子成分并且它表示图像的不同部分，而不是表示图像单个部分的全部像素。不类似传统的图像处理技术，本发明的图像处理操作在LCD显示设备中利用像素子成分的可分别控制特性。结果，根据本发明描绘的文本和图形改善了分辨率和可读性。
在这里描绘文本字符的前后关系中初步描述了本发明，虽然本发明还扩展到处理表示图形和类似图形的图像数据。由一组表示字符外形的点、线和曲线几何上确定的文本字符表示可根据本发明处理的图像数据类型的例子。
本发明一般的图像处理操作包括在图像数据上进行的缩放操作、提示操作和扫描转换操作。虽然在扫描转换操作之前进行缩放操作和提示操作，但是以下讨论首先针对扫描转换，以引入便于理解其他操作的基本概念，就是超级采样率和过缩放因子。
为了是像素的每个像素子成分能够表示图像的不同部分，在扫描转换操作中队缩放的和提示的图像数据进行超级采样。在比传统图像处理技术中所需要的产生更多的图像数据样本的意义上对数据进行“超级采样”。当显示设备的像素具有三个像素子成分时，图像数据就可用于在对应全部像素的图像数据的每个区域中产生至少三个样本。超级采样率或在对应全部像素的图像数据的每个区域超级采样操作中产生的样本数经常大于三。样本数是依照用于把样本映射于各个像素子成分的加权因子，这里会更详细的描述它。例如，可以以图像数据的每像素衡量区域10、16、20或任何其他期望数量的样本对图像数据进行采样。一般，随着超级采样率的增加以及接近图像数据的分辨率，会得到显示图像的更大的分辨率。随后把样本映射到像素子成分以产生随后用于在显示设备上显示的位映像。
为了简化超级采样，对要进行超级采样的图像数据在与显示设备条纹垂直的方向上进行过缩放作为扫描转换操作的一部分。采用过缩放因子等于超级采样率，或等于对应整个像素的图像数据的每个区域要产生的样本数进行过缩放。
在缩放操作和提示操作中首先处理经过以上所述扫描转换操作的图像数据。缩放操作可以是无意义的，它使图像数据在垂直于以及平行于条纹的方向由为1的因子进行缩放。在这个无意义的实例中，可以省略缩放因子。另外，缩放因子可以是非无意义的，它使图像数据在垂直于以及平行于条纹的方向上都有不同于1因子进行缩放，或使图像数据在垂直于条纹的方向上由为1的因子进行缩放，而在平行于条纹的方向上由不同的因子进行缩放。
提示操作包括把所缩放的图像数据加到具有由显示设备像素位置定义的网格点的网格上，以及在图像数据上调节关键点(即在字符轮廓上的点)对于网格的位置。关键点围绕在网格上具有分数部分的网格点。网格点在它们落在不同于整个像素边界位置的网格上的意义上是分数的。分数部分的分母等价于用于以上所述扫描转换过程的过缩放因子。换句话说，网格(可以把关键点调节到此)特定像素大小区域的网格位置数等价于过缩放因子。如果扫描转换过程的超级采样率和过缩放因子是16，那么在提示操作中就把图像数据调节到具有像素1/16的整数倍分数部分的网格点。随后提示的图像数据可用于以上所述扫描转换过程中的处理。
相比于现有图像描绘过程，以上缩放、提示和扫描转换操作使图像数据能够在诸如LCD的平板显示设备上以更高的分辨率显示。每个像素子成分表示图像数据空间不同的区域，而不是表示图像单个区域的全部像素。
在以下描述中会提出本发明附加的特点和优点，并且从该描述中它们会变得清楚，或者通过本发明的实践掌握它们。通过所附权利要求书所特别指出的装置和组合可以理解和得到本发明的特点和优点。从以下描述和所附权利要求书中，本发明这些和其他的特点会变得更明显，或通过如以下所提出的本发明实践学到。
附图简述为了得到本发明以上提出的和其他优点和特点，将参考在附图中说明的本发明特定实施例描述以上简要描述的本发明更特别的描述。理解了这些附图只描述本发明一般实施例并不因此考虑为限制其范围，就通过利用附图结合附加特征和细节描述和说明本发明，其中图1说明传统图像描绘过程，其中全部像素表示图像的单个区域。
图2说明提供本发明合适操作环境的示例系统；图3提供具有平板显示设备的示例性计算机系统配置；图4A说明平板显示设备示例性像素/子成分关系；图4B提供图4A中所说明的示例性像素/子成分更详细的部分；图5提供说明在计算机系统的显示设备上描绘图像的示例性方法的框图；图6提供进行缩放图像数据的缩放操作的例子；图7A提供把缩放图像数据嵌入到网格的例子；图7B提供从提示操作中产生的提示图像数据的例子；图8提供从过缩放操作中得到过缩放图像数据的例子；图9提供对图像数据进行超级采样以及把数据映射到像素子成分的例子；图10A提供在计算机系统显示设备上描绘文本图像的示例性方法；
图10B提供图10A典型光栅化程序的更详细说明。
图11提供根据本发明实施例说明对用于显示的图像数据进行描绘和光栅化的示例性方法。
较佳实施例详述本发明涉及通过利用平板显示器中像素子成分的可分别控制特性来显示具有增加分辨率的图像数据的方法和系统。把每个像素子成分映射到一个或多个图像数据样本的空间区分的组。结果，每个像素子成分表示如像的不同部分，而不是全部像素表示图像的单个区域。
本发明针对用于产生高分辨率显示图像的图像处理技术。根据本发明，对缩放和提示的图像数据进行超级采样以得到要映射到各个像素子成分的样本。为了进行超级采样，提示图像数据，或使它适合于表示显示设备像素以及像素子成分的网格，并把图像数据的所选关键点调节到相对于像素边界具有分数部分的网格点。
为了便于本发明和相应较佳实施例的揭示，随后的描述分为一些小部分，它们针对示例性计算和硬件环境、图像数据处理和图像描绘操作以及示例性软件环境。
I.示例性计算和硬件环境本发明的实施例可以包括专用或通用计算机，包括如以下更详细讨论的各种计算机硬件部件。在本发明范围内的实施例可以包括携带或具有计算机可执行指令或存储于其中的数据结构的计算机可读取媒介。这样的计算机可读取媒介是可由通用或专用计算机存取的任何可用媒介。作为例子，但不是限制，这样的计算机可读取媒介可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备，或可用于以计算机可执行指令或数据结构的形式携带或存储所期望的程序代码的其他媒体，而且它们可由通用或专用计算机存取。当把信息通过网络或另外通信连接(或是硬连线的、无线的，或是硬连线或无线的组合)传输或提供到计算机时，计算机把连接适当地看作为计算机可读取媒介。以上组合应该也包括在计算机可读取媒介的范围内。例如，计算机可执行指令包括使通用计算机、专用计算机或专用处理设备进行某个操作或一组操作的指令和数据。
希望图2和以下描述提供实现本发明的合适计算环境的简要总括的描述。虽然这是不需要的，但是将以计算机可执行指令的拓展描述本发明，比如由一个或多个计算机执行的程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等等。计算机可执行指令、相关数据结构和程序模块表示执行这里所揭示方法步骤的程序代码方法的例子。这样的可执行指令或相关数据结构表示实现该步骤中功能的对应行动。
本领域的技术人员会理解在具有许多类型计算机系统配置(包括个人计算机、手提设备、多处理器系统、基于微处理器或可编程消费电子设备、网络PC、小型计算机、大型计算机以及相似配置)的网络计算环境中可实施本发明。也可在分布计算环境中实施本发明，其中由通过通信网络连接(或是硬连线的、无线的，或是硬连线或无线的组合)的本地或远端处理设备执行任务。在分布计算环境中，可在本地以及远端存储设备中定位程序模块。
参照图2，实现本发明的示例性系统包括以传统计算机20形式的通用计算设备，包括处理单元21、系统存储器22以及把包括系统存储器22的各种系统部件耦合到处理单元21的系统总线23。系统总线23可以是包括使用任何总线体系的存储器总线或存储器控制器、外围总线以及使用各种总线结构类型的任何一种的本地总线。系统存储器包括只读存储器(ROM)24和随机存储器(RAM)25。在ROM24中存储包含如在起动时帮助计算机20元件间传输信息的基本例程的基本输入/输出系统(BIOS)26。
计算机20还包括读取和写入磁硬盘39的磁硬盘驱动器27、读去和写入可移动磁盘29的磁盘驱动器28以及读取和写入可移动光盘31(比如CD-ROM或其他光媒介)的光盘驱动器30。磁硬盘驱动器27、磁盘驱动器28和光盘驱动器30分别通过硬盘驱动器接口32、磁盘驱动器接口33和光盘驱动器接口34连接到系统总线23。驱动器和它们相关计算机可读去媒介提供计算机可执行指令、数据结构、程序模块以及计算机20的其他数据的非易失性存储。虽然这里所述的示例性环境使用了磁硬盘39、可移动磁盘29以及可移动光盘31，但是可使用用于存储数据的其他类型计算机可读取媒介，包括磁带、闪存卡、数字视频盘、Bernoulli卡盘、RAM、ROM以及相似媒介。
可在硬盘39、磁盘29、光盘31、ROM 24或RAM 25上存储包括一个或多个程序模块的程序代码方法，包括操作系统35、一个或多个应用程序36、其他程序模块37以及程序数据38。用户可以通过键盘40、定位设备42或其他输入设备(未示出，比如话筒、游戏杆、游戏垫、卫星反射器、扫描仪或类似设备)把命令和信息输入计算机20。通常把这些和其他输入设备通过耦合于系统总线23的串行端口接口46连接于处理单元21。另外，输入设备可通过其他接口连接，比如并行端口、游戏端口或通用串行总线(USB)。监视器47(它可以是平板显示设备或另一类显示设备)也通过诸如视频适配器48的接口连接于系统总线23。除了监视器，个人计算机通常包括其他外围输出设备(未示出)，比如扬声器和打印机。
计算机20可以在使用到一个或多个远端计算机(比如远端计算机49a和49b)的逻辑连接的网络环境中工作。远端计算机49a和49b每一个可以是另一台个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，并通常包括以上所述与计算机20有关的元件中的许多或所有单元，虽然图2中只示出了存储设备50a和50b以及它们相关的应用程序36a和36b。图2中描述的逻辑连接包括局域网(LAN)51和广域网(WAN)，这里仅作为例子而不是限制性的。在办公室范围或公司范围的计算机网络、企业网和因特网中这样的网络环境是普通的。
当用于LAN网络环境时，计算机20通过网络接口或适配器53连接于本地网络51。当用于WAN网络环境时，计算机20可以包括调制解调器54、无线链路或在诸如因特网的广域网52建立通信的其他装置。调制解调器54(可以是内部的或外部的)通过串行端口接口46连接到系统总线23。在网络环境中，可在远端存储设备中存储相对于计算机20描述的程序模块或它们的部分。可以理解所示的网络连接是示例性的，并且可以使用在广域网52上建立通信的其他装置。
如上所述，在计算环境中实施本发明，该环境包括许多类型的计算机系统配置，比如个人计算机、手提设备、多处理器系统、基于微处理器或可编程消费电子设备、网络PC、小型计算机、大型计算机以及相似配置。如图3所示的一个这样的示例性计算机系统配置是便携式计算机60，它包括磁盘驱动器28、光盘驱动器30和相应的可移动光盘31、键盘40、监视器47、定位设备62和外壳64。
诸如便携式计算机60的便携式个人计算机倾向使用平板显示设备来显示图像数据，如图3所示的监视器47。平板显示设备的一个例子就是液晶显示器(LCD)。平板显示设备域其他诸如阴极射线管(CRT)显示器的其他显示设备相比趋向于小型和轻便。此外。平板显示设备比大小相当的CRT显示器趋向耗费更少的能源，这使它们更适用于电池供电的应用。这样，平板显示设备正变得更加流行。由于它们的质量持续提高而它们的成本持续降低，所以在台式应用中也开始把平板显示器代替CRT显示器。
实质上可用任何LCD或其他具有可分别控制像素子成分的平板显示设备实现本发明。由于这是一类当前一般大多数用于便携式计算机的显示设备，为了说明的目的，这里在LCD显示设备的拓展范围内初步描述本发明，该设备具有在相同色彩像素子成分的纵向条纹中安排的红、绿和蓝像素子成分。此外，本发明不限于使用具有纵向条纹或精确地带有三个像素子成分的像素的显示设备。一般，可用LCD或具有任何类型像素/子成分安排或每像素具有任何数量像素子成分另外的平板显示设备实施本发明。
图4A和4B说明示例性平板显示设备的物理特性。在图4A中，如LCD 70所示的彩色LCD包括多个行和多个列。行用R1-R12标号，而列用C1-C16标号。彩色LCD采用多个可清晰定址元素和子元素，这里分别称作为像素和像素子成分。更详细示出LCD 70上部左手部分的图4B说明了像素和像素子成分间的关系。
每个像素包括三个像素子成分，分别如红色(R)子成分72、绿色(G)子成分74以及蓝色(B)子成分76。像素子成分不是正方形的并在LCD 70上安排它们以形成相同色彩像素子成分的纵向条纹。RGB条纹正常情况下以一个方向跨越整个显示长度。最终的RGB条纹有时被称作为“RGB条纹”。用于宽度大于高度的计算机应用的普通平板显示设备趋向于具有在纵向方向上的RGB条纹，如LCD 70所示。这被称作为“纵向条纹”。这样宽度大于高度的设备的例子具有列行比，比如640×480、800×600或1024×768。
平板显示设备也被制造为以其他样式安排像素子成分，例如包括横向条纹、折线方式或增量方式。本发明可用于这样的像素子成分安排。这些其他的像素子成分安排一般也在显示设备上形成条纹，虽然条纹不是只包括相同色彩的像素子成分。包含不同色彩的像素子成分的条纹是那些具有不是所有单个色彩的像素子成分的条纹。包含不同色彩像素子成分条纹的一个例子在具有从行变化到行的色彩复合方式(例如第一行重复该方式RGB，而第二行重复反向方式BGR)的显示设备上发现的。在这里一般把“条纹”确定为在平行于非正方形像素子成分的长轴或沿着相同色彩像素的线，无论哪个都应用于特定显示设备。
一组RGB像素子成分形成一个像素。因此，作为例子，图4B的像素子成分72、74和76的组形成单个像素。换句话说，行和列的交叉部分，比如行R2和列C1的交叉部分表示一个像素，称为(R2，C1)。此外，每个像素子成分72、74和76是三分之一或接近三分之一像素的宽度，而在高度上等价于或接近等价于像素的高度。这样，三个像素子成分72、74和76就组合形成大致正方形的像素。这个像素/子成分的关系可以用于在显示设备上描绘文本图像，如以下进一步说明。
II.图像数据处理和图像描绘操作为了描述本发明的图像数据处理和图像描绘操作，现在参照图5，它是说明缩放、提示和扫描转换操作的高层框图。图像数据处理和图像描绘操作的一个目的是为了得到足够的样本来使每个像素子成分表示图像数据的分别的部分，如以下进一步说明。
在图5中，图像数据80表示文本字符、一个或多个图形图像或任何其他图像，并包括两个部分。第一部分是文本输出部分，如文本输出82所示，它是从应用程序(比如字处理器程序)中得到，并包括(作为例子)识别要显示的字符、字体和点尺寸的信息。图像数据的第二部分是字符数据部分，如字符数据84所示，并包括提供一组或多组字符高分辨率数字表示的信息，它可被存储在存储器中用于文本产生，比如矢量图形、线、点和曲线。
如图5所示，由一系列模块操作图像数据80。为了提供每个模块如何影响图像数据的说明，对应图6-9，参照表示为大写字母“K”的图像数据描述以下例子，如图6的图像数据100所示。
如以下更详细所述，根据本发明，与在提示操作之前由缩放模块86完全缩放相反，在提示图像数据之后在过缩放模块92中对图像数据至少部分进行缩放。进行图像数据的缩放，以使超级采样模块94可以得到期望数量的样本，它使图像的不同部分能被映射到各个像素子成分。在提示之前在缩放模块86中对图像数据进行完全缩放会使图像数据充分准备进行超级采样。然而，可以发现在与本发明子像素精确描绘过程结合的提示之前对传统字体进行完全缩放可以引起在提示操作期间字体轮廓的严重扭曲。例如，对于具有不是纵向也不是横向的倾斜部分(例如从纵向笔划伸展的“K”的一笔)的字符，就可能经历在提示期间的字体扭曲。在提示之前对这样的字符进行完全缩放会导致具有几乎横向方向的倾斜部分。为了在提示期间保持这样笔划的宽度，可以根本上改变笔划上点的坐标，这样就会使字符变形。一般在不是设计成适合于在提示操作之前能由横向和纵向不同因子进行缩放的情况，字体会经历字体变形。
可以发现，根据本发明在字符完全缩放之前进行提示操作消除了这样的字体变形。在一些实施例中，在提示之前可以进行图像数据的部分缩放，在提示之后再进行余下的缩放。在本发明的其他实现中，在提示之前只进行无意义缩放(既由因子1以进行缩放)，而由过缩放模块92执行完全缩放。
此外，如以下进一步详细描述，提示操作(其中把图像数据所选点围绕到对于像素边界具有分数部分的位置)保存在图像数据中高频信息，它们在其他情况被丢失。
现在回到对图5的讨论，在图像数据上进行缩放操作，如缩放模块86所示。图6根据本发明说明了缩放操作的一个例子，如缩放操作102所述，其中在与条纹垂直和平行的方向上以1的因子对图像数据100进行缩放以产生缩放图像数据104。在这个例子中，其中缩放因子是1并在两个方向上进行缩放，缩放操作是无意义的。根据本发明缩放操作的其他例子是非无意义的。这样的例子包括它在垂直于以及平行于条纹的方向上都有不同于1的因子对图像数据进行缩放，或另外在垂直于条纹的方向上由一个因子对图像数据进行缩放，而在平行于条纹的方向上由不同的因子进行缩放。缩放操作和后续提示以及扫描转换操作的目的在于处理图像数据使得在对应像素的每个区域得到多个样本，如以下会说明。
根据图5的缩放模块86对图像数据进行缩放后，根据提示模块88对缩放图像数据进行提示。提示操作的目的包括把缩放图像数据的关键点(例如笔划边缘)与像素网格的所选位置对齐以及使图像数据准备超级采样。
图7A和7B提供提示操作的例子。首先参照图7A，并参照采用纵向条纹的实施例，示出了网格106的部分，它包括与主纵向边界X46-X49交叉的主横向边界Y38-Y41。在这个例子中，主边界对应显示设备的像素边界。在垂直条纹的方向上由次级边界进一步划分网格以产生相等间距的分数增量。在它们落在不同于整个像素边界的位置的网格上的意义上，增量是分数的。作为例子，图7A所示的实施例包括把主纵向边界之间的距离在分为16个分数增量的次级边界。在其他实施例中，所产生的分数增量的数量可以大于或小于16。
如图7A所示，通过在网格106上叠加缩放图像数据104的笔划部分104a来把缩放图像数据放置在网格上。缩放图像数据的放置不会一直使得关键点正确地对齐网格。作为例子，缩放图像数据的角点106和角点108都没有沿着主边界排列。而在这个例子中角点的坐标分别是(X46.72，Y39.85)和(X47.91，Y39.85)。
如上所提到的，提示操作的目的在于将关键点与网格上与所选点对齐。把缩放图像数据的关键点在平行于条纹的方向上围绕到最近的主边界，并在垂直条纹的方向上围绕到最近的分数增量。如这里所用的“关键点”就是如此所述选择围绕到网格上点的图像数据的点。相反，如果需要，根据它们相对于所用关键点的位置调节图像数据其他点的位置，例如使用内插。这样，根据图7A所示的例子，提示操作在垂直条纹的方向上把角点106的坐标围绕到X46.75(即 )，在平行条纹的方向上把坐标围绕到Y40，如图7B角点106a所示。类似地，提示操作将角点108的坐标围绕到在上垂直条纹方向的X47.94(即 )，在平行条纹方向的Y40，如图7B的角点108a所示。这样，由图7B中角点的位置106a和108a表示把关键点对齐到网格106的所选位置，作为提示图像数据的一部分，它们表示图7A角点106和108的新位置。这样，提示操作包括把缩放图像数据放置在具有由显示设备像素位置确定的网格点的网格上，并把关键点在平行于条纹的方向上围绕到最近主边界，而在垂直于条纹的方向上围绕到最近分数增量，由此产生图7B的所提示图像数据110。
在由图5的提示模块88进行提示操作之后，由扫描转换模块90处理被提示的图像数据，它包括两个部分过缩放模块92和超级采样模块94。首先进行过缩放操作，它包括在垂直条纹的方向上以过缩放因子对提示图像数据进行缩放。一般，过缩放因子可以等价于通过把网格分数部分的分母乘已在垂直于条纹的方向上用于缩放操作的因子而得到的积。在这个实施例(其中垂直于条纹方向上的缩放因子值为一，如附图所示的情况)中，过缩放因子简单等价于网格分数部分的分母，如以上参照提示操作所述。
这样，参照本例，图8示出从提示操作中得到的提示图像数据110，它经历了缩放操作112产生过缩放图像数据114。对于缩放操作112，在本例的提示操作中产生的分数增量是整个像素宽度的1/16，缩放操作112在垂直于条纹的方向上以过缩放因子16对经提示的图像数据进行缩放。
过缩放操作的一个结果是在提示操作中产生的分数部分变成了整数。这如图8中投影到网格116中的过缩放图像数据114的笔划部分114a所示。换句话说，过缩放操作导致每个整个像素宽度具有16个增量或样本的图像数据，对每个增量指定为具有整数宽度。
一旦根据图5的过缩放模块92进行过缩放操作，超级采样模块94就进行超级采样操作。为了说明超级采样操作，图8网格116的行R(M)(它包括笔划部分114a的一部分)进一步在图9中研究。如上所提到的，对每个整个像素产生了16个样本。在超级采样操作中，把样本映射到像素子成分。
在这里所揭示的超级采样操作表示“移位采样”的特例，其中把样本映射到各个像素子成分，它可从整个像素中心移位(如这里特别揭示的例子中红和蓝像素子成分的情况)。此外，能以任何期望比率产生样本并把它们映射到各个像素子成分。换句话说，可以把不同数量的样本和多个样本映射到整个像素众多个像素子成分的任意一个。把样本组映射到像素子成分的过程可被理解为过滤过程。滤波器对应包括在映射到各个像素子成分的样本组中样本的位置和数量。对应像素子成分不同色彩的滤波器可以具有相同大小或不同大小。包括在滤波器中的样本可以是互斥的(例如每个样本只通过一个滤波器)，或者滤波器可以重叠(例如在多于一个滤波器中包括一些样本)。为了减少有时在移位采样中出现的色彩失真或差错，可以选择用于选择性地把一个或多个样本的空间上不同的样本组映射到像素的各个像素子成分的滤波器的大小和相对位置。
滤波方法和相应的映射过程可以简单地把样本在一对一的基础上映射到各个像素子成分，根据映射到给定整个像素的红、绿和蓝像素子成分的样本数量表示，产生的映射比为1∶1∶1。滤波和相应的映射比可以是更复杂的。实际上，滤波器可以重叠，这样一些样本被映射到多于一个的像素子成分。
在图9的例子中，滤波器是互斥的并产生6∶9∶1的映射比，虽然诸如5∶9∶2的其他比值也可用于建立期望的色彩滤波方式。在所示例子中映射比是6∶9∶1，就是当采用16个样本时，6个样本映射到红像素子成分，9个样本映射到绿像素子成分，而一个样本映射到蓝像素子成分，如图9所示。使用样本产生三个像素子成分的每一个的发光亮度值。当图像数据是白色背景上的黑色文本时，这意味着把像素子成分选择为开启、关闭或具有一些中间发光亮度值。例如，117a所示的9个样本中，6个落在字符轮廓外。这6个在轮廓外的样本提供白色背景色，而三个在轮廓内的样本提供黑色前景色。结果，根据提供背景色的样本数量相对于提供前景色的数量的比例，为对应样本组117a的绿像素子成分指定整个可用绿色亮度大约66.67％的发光亮度值。
样本组117b、117c和117d包括落在字符轮廓内的样本并对应黑色前景色。结果，分别相关于组117b、117c和117d的蓝、红和绿像素子成分给予0％的发光亮度值，它是提供感知黑色前景色。最后，样本组117e和117f落在字符轮廓外。这样，相应的蓝和红像素子成分就给予100％的发光亮度，它表示完全是蓝色和红色的亮度，并也表示提供白色背景色的蓝色和红色发光亮度。这个把样本映射到对应像素子成分就产生图像数据的位映像图像表示，如图5中为了显示在显示设备98上由位映像图像提供的表示96。
这样，缩放操作、提示操作以及扫描转换操作的初始阶段的主要目的在于处理数据以使对应整个像素的图像数据每个区域可以得到多个样本。在参照附图描述的实施例中，以因子1对图像数据进行缩放，提示图像数据以把图像数据的关键点与像素网格的所选位置对齐，并且以等价于网格分数增量的分母的过缩放因子对图像数据进行缩放。
另外，本发明可以包括在垂直于条纹的方向上以不同于1的因子进行缩放，它与网格点分数部分的分母耦合，并因此由对应量修改过缩放因子。换句话说，可以选择缩放因子和分母以使缩放因子和分母的乘积等价于对应单一整个像素的图像数据每个区域所产生的样本数(即超级采样率)。作为例子，如果超级采样率是16，缩放操作可以包括在垂直于条纹的方向上以因子2进行缩放，把它围绕到整个像素位置1/8处的网格点，以及在扫描转换过程中以8的缩放率进行过缩放。在这个方式中，使图像数据准备超级采样操作，并且对应单一整个像素的图像数据每个区域产生期望数量的样本。
III.示例性软件实施例之前详细讨论的图2说明了提供本发明合适操作环境的示例性系统。在图2中，计算机20包括视频适配器48和系统存储器22，它进一步包括随机存取存储器(RAM)25。在RAM 25上存储操作系统35和一个或多个应用程序36。把用于在显示设备上显示图像数据的数据从系统存储器22发送到视频适配器48，用于在监视器47上显示图像数据。
为了描述根据本发明显示图像数据的示例性软件环境，现在参照图10A、10B和11。在图10A和10B中，说明了根据本发明在显示设备上描绘图像数据(比如文本)的示例性方法。图11提供实现图10A和10B的示例性方法的流程图。
在图10A中，示出了应用程序36、操作系统35、视频适配器48和监视器47。应用程序可以是一组用于由计算机产生响应的指令。作为例子，一个这样的应用程序是文字处理器。由在文字处理器中编码的指令产生的计算机响应包括在显示设备上显示文本。因此如图10A所示，一个或多个应用程序36可以包括文本输出子部分，它负责把文本信息输出到操作系统35，如文本输出120所示。
操作系统35包括各种部分，负责控制在显示设备上显示图像数据，比如文本。这些部分包括图形显示接口122和显示适配器124。图形显示接口122接收文本输出120并显示信息130。如上所述，从一个或多个应用程序36接收文本输出120，作为例子它包括识别显示字符、使用字体以及字符显示处点的大小的信息。显示信息130是已存储在存储器中的信息，比如在存储设备126，并包括(作为例子)关于前景和/或背景色彩信息的信息。显示信息130还可以包括在图像显示过程应用的关于缩放的信息。
处理文本的典型光栅化程序(比如典型光栅化程序134)包括在图形显示接口82中并在图10B进一步说明。典型光栅化程序更具体地产生图像数据的位映像表示，并包括字符数据136以及描绘和光栅化例程138。另外，典型光栅化程序134可以是应用程序36器中一个模块(例如文字处理器的一部分)。
字符数据136包括提供存储在存储器中本字符产生期间使用的一组或多组字符的高分辨率表示的信息。作为例子，字符数据包括矢量图形、线、点和曲线这样的信息。在其他实施例中，字符数据可以驻留在存储器126中作为单独的数据部分，而不是与典型光栅化程序134打包在一起。因此，对显示在显示设备上的图像数据进行描绘和光栅化的本示例性方法的实现包括典型光栅化程序(例如接收文本输出120的典型光栅化程序134)、显示信息130和字符数据136，如图11流程图中所示。判断框150确定是否从一个或多个应用程序36接收了图10A的文本输出120。如果图形显示接口122(它接着把文本输出120提供到图10A的典型光栅化程序134)没有接收文本输出120，那么执行回到开始，如图11所示。另外，如果图形显示接口接收了文本输出120并把它中转到典型光栅化程序134，那么把文本输出发送到图10B中的典型光栅化程序134中的描绘和光栅化例程138。
接收了文本输出信息120，执行就继续到图11的判断框152，它确定是否从存储器(比如图10A的存储设备126)接收了图10A的显示信息130。如果由图形显示接口122(它接着把文本输出130提供到图10A的典型光栅化程序134)接收了显示信息130，执行就通过回到判断框150而等待。另外，如果图形显示接口122接收了文本输出130并把它中转到典型光栅化程序134，那么把显示信息发送到图10B典型光栅化程序134中的描绘和光栅化例程138。
接收了显示信息130，执行就继续到达判断框154来确定是否已得到图10B的字符数据。如果描绘和光栅化例程序138没有收到字符数据136，那么通过回到判决框152而等待。一旦确定由描绘和光栅化例程138接收了文本输出120、显示信息130和字符数据136，那么执行继续到达步骤156。
回到图10B，描绘和光栅化例程138包括缩放子例程140、提示子例程142和扫描转换子例程144，它们在图5的高层框图中分别被称为缩放模块86、提示模块88和扫描转换模块90。缩放操作、提示操作以及扫描转换操作的初始阶段的一个主要目的在于处理数据以使对一个像素的每个区域可以得到多个样本。
在图11的步骤156中，以上面关于图5的缩放模块86所述的方式进行缩放操作。在本示例性方法中，图像数据包括文本输出120、显示信息130和字符数据136。由图10B的缩放子例程140操作图像数据，它进行缩放操作作为例子，它对在垂直于和平行于条纹的方向上以因子1进行缩放，以产生了缩放的图像数据。根据本发明缩放操作的其他例子包括在垂直于和平行于条纹的方向上以不同于1的因子对图像数据进行缩放，或另外在垂直于条纹的方向上以一个因子对图像数据进行缩放，而在平行于条纹的方向上以不同因子进行缩放。
随后执行进行到步骤158，其中以上面关于图5的提示模块88所述的方式由图10B的提示子例程142对缩放图像数据进行提示操作。提示操作包括把缩放图像数据放置在具有由显示设备的像素位置定义的网格点的网格上以及在平行于条纹的方向上把关键点(例如笔划边缘)围绕到最近主边界，而在垂直于条纹的方向上把它围绕到最近的分数增量，由此产生提示的图像数据。
随后执行进行到步骤160，其中以上面关于图5的过缩放模块92所述的方式由图10B的扫描转换子例程144对提示的图像数据进行过缩放操作。过缩放操作包括在垂直条纹的方向上以一个过缩放因子对提示的图像数据进行缩放。在一个实施例中，过缩放因子等价于在提示操作中产生的分数增量的分母以使分数部分变为整数。
随后执行进到步骤162，其中以上面关于图5的超级采样模块94所述的方式由图10B的扫描转换子例程144进行超级采样操作。在超级采样操作中，把样本映射到像素子成分。使用样本产生三个像素子成分的每一个的发光亮度值。这个样本到相应像素子成分的映射产生图像数据的位映像表示。
随后执行进到步骤164，其中发送位映像图像表示以在显示设备上显示。参照图10A，位映像图像表示如位映像图像128所示，并把它从图形显示接口122发送到显示适配器124。在另一实施例中，进一步处理位映像图像表示以进行色彩处理操作和/或色彩调节来提高图像质量。在一个实施例中，如图10A所示，显示适配器124把位映像图像转换为视频信号132。把视频信号发送到视频适配器48并把它格式化以在如监视器47那样的显示设备上显示。这样，根据本发明，通过使用增加数量的采样点以增加的分辨率在显示设备上显示图像，比如平板显示设备。
尽管以上本发明的描述揭示了显示的图像数据为文本的实施例，但是本发明还应用于图形以减少混淆并增加，使用平板显示设备可以达到的有效分辨率。此外，本发明还应用于图像(例如扫描图像)的处理以使图像准备显示。
此外，本发明可应用于灰度监视器，与使用明显的RGB像素的显示器相比，它使用相同色彩的非正方形像素子成分在一个方向上倍增了有效分辨率。在这样的使用灰度技术的实施例中，如以上讨论的实施例，扫描转换操作包括把缩放提示图像部分独立地映射到相应的像素子成分以形成位映像图像。然而，在灰度实施例中，分配到像素子成分的亮度值确定为映射到有显示的缩放图像所占据的像素子成分的缩放图像区域部分的函数。例如，如果像素子成分能指定0到255之间的亮度值，0是有效关闭，而255是全亮度，那么由于把缩放图像区段映射到相应像素子成分，由显示图像50％占据的缩放图像区段(网格区段)会使为像素子成分分配127的亮度值。根据本发明，随后同一像素的相邻像素子成分的亮度值由缩放图像的另一部分(例如区段)的函数独立确定。同样，本发明可应用于打印机，比如激光打印机或喷墨打印机，具有非正方形的整个像素，例如一个实施例，其中可由简单采样操作替换超级采样操作162，因而产生的每个样本对应一个非正方形的整个像素。
因此，本发明涉及通过使用增加数量的采样点在显示设备(比如平板显示设备)上以增加的分辨率显示图像的方法和系统。可以其他特定形式实施本发明，而不离开它的主旨或主要特征。所描述的实施例在所有方面被认为是说明性的而不是限制性的。因此，由所附权利要求书而不是由以上描述指示本发明的范围。以权利要求书的等价物的意义和范围内的所有改变都包含在它们的范围内。
权利要求
1.在具有其上显示图像的显示设备的计算机中，该显示设备具有多个像素，每个像素具有多个不同色彩的可分别控制的像素子成分，像素子成分在显示设备上形成条纹，一种光栅化图像数据以准备在显示设备上描绘图像的方法，该方法包括的步骤有在平行于条纹的方向上以第一因子对要在显示设备上显示的图像数据进行缩放，而在垂直于条纹的方向上以第二因子对其进行缩放；把缩放图像数据的所选数据点调节到由显示设备的像素定义的网格上的网格点，在垂直于条纹的方向上至少一些网格点在网格上具有分数部分；在垂直于条纹的方向上以大于1的过缩放因子对提示的图像数据进行缩放；以及把图像数据一个或多个样本的空间上不同的组映射到像素的每个像素子成分。
2.按权利要求1所述的方法，其特征在于调节所选数据点的步骤包括把所选点围绕到网格点的行动，这些网格点在平行于条纹的方向上对应最近的整个像素的边界；以及在垂直于条纹的方向上对应网格上最近的分数部分。
3.按权利要求1所述的方法，其特征在于在平行于条纹的方向上的第一因子是1。
4.按权利要求3所述的方法，其特征在于在垂直于条纹的方向上的第二因子是1。
5.按权利要求1所述的方法，其特征在于过缩放因子等价于网格点分数部分的分母。
6.按权利要求1所述的方法，其特征在于映射的步骤包括对图像数据进行采样以为对应整个像素的所提示图像数据的每个区域产生等价于所述分母数量的一系列样本的行动。
7.按权利要求1所述的方法，其特征在于显示设备包括液晶显示器。
8.按权利要求1所述的方法，其特征在于分数部分的分母乘以垂直于条纹的第二因子产生的值等价于对应整个像素的图像数据每个区域产生的样本数量。
9.按权利要求8所述的方法，其特征在于分母不等于1，而第二因子不等于1。
10.按权利要求1所述的方法，进一步包括根据映射的一个或多个样本的不同的组为每个像素子成分产生分别的发光亮度值的步骤。
11.按权利要求10所述的方法，进一步包括使用分别的发光亮度值在显示设备上显示图像的步骤，产生像素的每个像素子成分，而不是整个像素，来表示图像的不同部分。
12.在具有其上显示图像的显示设备的计算机中，显示设备具有多个像素，每个像素具有多个不同色彩的可分别控制的像素子成分，像素子成分在显示设备上形成条纹，一种光栅化图像数据以准备在显示设备上描绘图像的方法，该方法包括的步骤有在平行于条纹的方向上以第一因子对要在显示设备上显示的图像数据的进行缩放，而在垂直于条纹的方向上以第二因子对其进行缩放；把缩放图像数据的所选数据点围绕到由显示设备的像素定义的网格上的网格点，其中网格点在平行于条纹的方向上对应最近的整个像素的边界；以及在垂直于条纹的方向上对应网格上最近的分数部分，分数部分具有所选分母；在垂直于条纹的方向上以大于1等价于分数部分分母的过缩放因子对提示的图像数据进行缩放；以及为对应整个像素的图像数据每个区域产生等价于把第二因子和过缩放因子相乘所得乘积的数量的样本；把一系列样本的空间上不同的子集映射到整个像素的每个像素子成分。
13.按权利要求12所述的方法，其特征在于显示设备包括液晶显示器。
14.按权利要求12所述的方法，其特征在于在显示设备上形成的每条条纹包括相同色彩的像素子成分。
15.按权利要求12所述的方法，其特征在于在显示设备上形成的每条条纹包括不同色彩的像素子成分。
16.按权利要求12所述的方法，其特征在于在垂直于条纹的方向上的第二因子是1。
17.按权利要求12所述的方法，其特征在于在垂直于条纹的方向上的第二因子是不等于1。
18.一种计算机程序产品，用于实现一种光栅化图像数据以准备在显示设备上描绘图像的方法，显示设备具有多个像素，每个像素具有多个不同色彩的可分别控制的像素子成分，像素子成分在显示设备上形成条纹，计算机程序产品包括具有计算机可执行指令的计算机可读取媒介，该指令用于执行的步骤有在平行于条纹的方向上以第一因子对要在显示设备上显示的图像数据进行缩放，而在垂直于条纹的方向上以第二因子对其进行缩放；把缩放图像数据的所选数据点调节到由显示设备的像素定义的网格上的网格点，在垂直于条纹方向的网格上至少一些网格点具有分数部分；在垂直于条纹的方向上以大于1的过缩放因子对提示的图像数据进行缩放；以及把图像数据一个或多个样本的空间上不同的组映射到像素的每个像素子成分。
19.按权利要求18所述的计算机程序产品，其特征在于调节所选数据点的步骤包括把所选点围绕到网格点的行动，这些网格点在平行于条纹的方向上对应最近的整个像素的边界；以及在垂直于条纹的方向上对应网格上最近的分数部分。
20.按权利要求18所述的计算机程序产品，其特征在于在垂直于条纹的方向上的第二因子是1。
21.按权利要求18所述的计算机程序产品，其特征在于过缩放因子等价于网格点分数部分的分母。
22.按权利要求18所述的计算机程序产品，其特征在于映射的步骤包括对图像数据进行采样以为对应整个像素的所提示图像数据的每个区域产生等价于所述分母的数量的样本的行动。
23.按权利要求18所述的计算机程序产品，其特征在于分数部分的分母乘以垂直于条纹的第二因子产生的值等价于对应整个像素的图像数据的每个区域产生的样本数量。
24.按权利要求23所述的计算机程序产品，其特征在于分母不等于1，而第二因子不等于1。
25.一种计算机系统，包括处理单元；具有多个像素的显示设备，每个像素具有多个不同色彩的可分别控制的像素子成分，像素子成分在显示设备上形成条纹；以及计算机程序产品，包括携带指令的计算机可读取媒介，当执行指令时，使计算机系统能实现一种光栅化图像数据以准备在显示设备上描绘图像的方法，该方法包括的步骤有在平行于条纹的方向上以第一因子对要在显示设备上显示的图像数据进行缩放，而在垂直于条纹的方向上以第二因子对其进行缩放；把缩放图像数据的所选数据点调节到由显示设备的像素定义的网格上的网格点，在垂直于条纹方向的网格上至少一些网格点具有分数部分；在垂直于条纹的方向上以大于1的过缩放因子对提示的图像数据进行缩放；以及把图像数据一个或多个样本的空间上不同的组映射到像素的每个像素子成分。
26.按权利要求25所述的计算机系统，其特征在于第一因子和第二因子相等。
27.按权利要求25所述的计算机系统，其特征在于调节所选数据点的步骤包括把所选点围绕到网格点的行动，这些网格点在平行于条纹的方向上对应最近的整个像素的边界；以及在垂直于条纹的方向上对应网格上最近的分数部分。
28.按权利要求25所述的计算机系统，其特征在于过缩放因子等价于网格点分数部分的分母。
29.按权利要求25所述的计算机系统，其特征在于映射的步骤包括对图像数据进行采样以为对应整个像素的所提示图像数据的每个区域产生等价于所述分母数量的样本的行动。
30.按权利要求25所述的计算机系统，其特征在于显示设备包括液晶显示器。
31.按权利要求25所述的计算机系统，其特征在于在显示设备上形成的每条条纹包括相同色彩的像素子成分。
32.按权利要求25所述的计算机系统，其特征在于在显示设备上形成的每条条纹包括不同色彩的像素子成分。
33.按权利要求25所述的计算机系统，其特征在于分数部分的分母乘以垂直于条纹的第二因子产生的值等价于对应整个像素的图像数据每个区域产生的样本数量。
全文摘要
揭示一种使用耦合于RGB像素子成分的可分别控制特性的图像数据增加数量的样本的方法和系统，以在显示设备(98)上产生具有增加分辨率的图像，比如液晶显示器。该方法包括缩放(86)、提示(88)和扫描转换(90)操作。缩放操作(86)包括在垂直于和平行于显示设备RGB条纹的方向上以因子1对图像数据进行缩放。提示(88)包括把缩放图像数据放置在具有由显示设备像素位置定义的网格点的网格上，以及在平行于条纹的方向上把关键点围绕到最近的整个像素边界，而在垂直于条纹的方向上把其围绕到最近分数增量。扫描转换(90)包括在垂直于条纹文的方向上以过缩放因子(92)对提示的图像数据进行缩放。过缩放因子(92)等价于网格分数增量的分母。扫描转换(90)还包括为图像数据每个区域产生(94)等价于过缩放因子数量的样本，以及把空间上不同样本组映射到每个像素子成分。
文档编号G09F9/30GK1434971SQ01810612
公开日2003年8月6日 申请日期2001年4月9日 优先权日2000年4月10日
发明者B·施塔姆, G·C·希契考克, C·贝特利斯 申请人:微软公司