具有嵌入的预先子像素着色图像的图像数据集的制作方法

专利名称：具有嵌入的预先子像素着色图像的图像数据集的制作方法
背景技术：
在这些共有的美国专利申请中，(1)序号09/916,232、于2001年7月25日提交的、标题为“具有简化寻址的全彩色成像设备用的彩色像素的排列”(ARRANGEMENT OF COLOR PIXELS FOR FULL COLOR IMAGINGDEVICE WITH SIMPLIFIED ADDRESSING)(’232号申请)；(2)序号10/278,353、于2002年10月22日提交的、标题为“彩色平板显示器子像素排列以及具有递增调制传递函数响应的子像素着色的布局的改进”(IMPROVEMENTS TO COLOR FLAT PANEL DISPLAY SUB-PIXELARRANGEMENTS AND LAYOUTS FOR SUB-PIXEL RENDERING WITHINCREASED MODULATION TRANSFER FUNCTION RESPONSE)(’353号申请)；(3)序号10/278,352、于2002年10月22日提交的、标题为“彩色平板显示器子像素排列以及具有分开的蓝色子像素的子像素着色的布局的改进”(IMPROVEMENTS TO COLOR FLAT PANEL DISPLAY SUB-PIXELARRANGEMENTS AND LAYOUTS FOR SUB-PIXEL RENDERING WITHSPLIT BLUE SUB-PIXELS)(’352号申请)；(4)序号10/243,094、于2002年9月13日提交的、标题为“子像素着色的改进的四彩色排列和发射器”(IMPROVED FOUR COLOR ARRANGEMENTS AND EMITTERS FORSUB-PIXEL RENFERING)(’094号申请)；(5)序号10/278,328、于2002年10月22日提交的、标题为“具有减小的蓝色亮度而有良好能见度的彩色平板显示器子像素排列和布局的改进”(IMPROVEMENTS TO COLOR FLATPANEL DISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS WITHREDUCED BLUE LUMINANCE WELL VISIBILITY)(’328号申请)；(6)序号10/278,393、于2002年10月22日提交的、标题为“具有水平子像素排列和布局的彩色显示器”(COLOR DISPLAY HAVING HORIZONTALSUB-PIXEL ARRANGEMENTS AND LAYOUTS)(’393号申请)，揭示了新颖的子像素排列，用来改善图像显示设备的成本/性能曲线，提供在此供参考。这些改进特别地在上述那些专利申请及在下面的共有的美国专利申请进一步揭示的子像素着色(SPR)系统和方法相结合时宣告的(1)序号10/015,612、于2002年1月16日提交的、标题为“红、绿、蓝(RGB)格式数据转换成波形瓦矩阵子像素数据格式”(CONBERSION OF RGBFORMAT DATD TO PENTILE MATRIX SUB-PIXEL DATA FORMAT)(’612号申请书)；(2)序号10/150,355、于2002年5月17日提交的、标题为“具有图像灰度调节的子像素着色的方法和系统”(METHODS AND SYSTEMSFOR SUB-PIXEL RENDERING WITH GAMMAADJUSTMENT)(’355号申请书)；(3)序号10/215,843、于2002年5月17日提交的、标题为“具有自适应滤波的子像素着色的方法和系统”(METHODS AND SYSTEMS FORSUB-PIXEL RENDERING WITH ADAPTVE FILTERING)(’843号申请书)。以上引证的和共有的专利申请引用在此供参考。
附图简要说明
结合于本说明书中并作为本说明书一个组成部分的附图阐述本说明的示范性的实现方案和实施例，以及用来解释本发明的原理的说明。

图1示出电子彩色显示器的子像素的一种排列，具有理想化的字母“W”的外形。图2示出电子彩色显示器的子像素的另一种排列。图3示出电子彩色显示器的子像素的又另一种排列。图4A、4B和4C分别示出图1的子像素排列的红色、绿色和蓝色平面的重新构造点和相关的再取样区域。图5A示出常规彩色图像数据集的取样点和相关的隐含取样区域。图5B示出在具有常规着色(rendering)的字母“W”的图5A的常规数据集上的理想化的字母“W”的外形。图6A、6B和6C分别示出图4A、4B和4C的红、绿和蓝再取样平面，它们覆盖在具有着色的字母“W”的图5B的数据集上。图7描述子像素着色的数据流水线。图8示出图1具有结果子像素着色的图像的显示，该图像是常规地着色的字母“W”的图6A、6B和6C进行再取样操作产生的。叠加一个理想化的字母“W”的外形以便进行比较。图9示出叠加在具有常规着色的字母“W”上的较高分辨率的常规数据集上的理想化的字母“W”的外形。图10A、10B和10C分别示出图4A、4B和4C的红色、绿色和蓝色再取样平面，它们覆盖在图9具有着色的字母“W”的数据集上。图11是利用重合的图像数据集着色的理想化图像的子像素的一个实施例的流程图。图12示出具有结果子像素着色的图像的图1的显示，该图像是通过常规地着色的字母“W”的图10A、10B和10C的再取样操作产生的。叠加一个理想化的字母“W”的外形以便进行比较。图13是把理想化的图像直接子像素着色在彩色子像素取样平面上的一个实施例的流程图。图14A、14B和14C分别示出图4A、4B和4C的红色、绿色、蓝色再取样平面，它们覆盖在一个理想化的字母“W”的外形上。图15示出具有结果子像素着色的图像的图1的显示，该图像是通过理想化的字母“W”的图14A、14B和14C的直接取样操作产生的。叠加有一个理想化的字母“W”的外形以便进行比较。图16A示出每个正方形取样区域以红色、绿色和蓝色取样的常规数据集的表示法。图16B示出具有“丢失”取样的数据集的表示法，这些“丢失”取样通过子像素着色处理十中选一(丢弃掉)，留下该再取样的子像素着色的数据集。图16C示出图16B的子像素着色的数据集，压缩成每个“常规的”数据集取样区域三个取样，红色、绿色和蓝色，但是它们仍依照列驱动的子像素着色的数据集顺序。图16D示出图16C的压缩的子像素着色的数据集，在每个“常规的”数据集“像素”中重新排序，以便与常规的数据集格式排序一致。图16E示出具有两个子集的常规数据集，这两个子集中的一个或两个子集可能是预先子像素着色的数据集。它可以表示图16B的子像素着色的数据集，替代图16A的空间上一对一映射取样，但仍保留在图16B中隐含的“丢失”取样。图17A、17B和17C分别示出图4A、4B和4C的再取样平面，它们覆盖在图16E数据集上。图18示出一个数据集，它具有预定义的彩色键(color key)数据集的嵌入的预先子像素着色的数据集。图19A、19B和19C分别示出图4A、4B和4C的红色、绿色和蓝色再取样平面，它们覆盖在图18的数据集上。图20示出一种预先子像素着色的系统，它可以从多个数据源输入图像源数据，而且可以经过多条路径输出图像源数据到许多客户机。图21示出电子彩色显示器的子像素的另一种排列。图22示出电子彩色显示器的子像素的又另一种排列。图23示出图22的少数彩色平面重新构造点以及有关的再取样平面。图24A示出电子彩色显示器的子像素的又另一种排列。图24B示出图24A的排列的重新构造点和和有关的再取样区域。图25A示出具有嵌入的子像素着色的数据集的常规数据集，用于具有预定义的色度键(chroma key)数据集的图24A的子像素的排列。图25B、25C和25D分别示出图24A的排列的红色、绿色和蓝色再取样区域，它们覆盖在图25A数据集上。图26A示出具有嵌入的子像素着色的数据集的常规数据集，用于具有可选择的预定义的色度键数据集的图24A的子像素的排列。图26B和26C分别示出图25A的排列的红色、绿色和蓝色再取样区域，它们覆盖在图26的数据集上。图27A示出具有嵌入的子像素着色的数据集的常规数据集，用于具有可选择的预定义的色度键数据集的图1的子像素的排列。图27B、27C和27D分别示出图1，图4A、4B、和4C的排列的红色、绿色和蓝色再取样区域，它们覆盖在图27A数据集上。
详细说明
现将详细参考本发明的具体实现方案和实施例，它们的一些例子在附图中说明。只要可能，在所有的附图中使用相同的标记来表示相同或类似的部件。
子像素着色的系统
如上面所引用和共有的’353号申请所揭示的，先前的系统利用人类视觉系统的特性，而且把重点放在使用“感知编码”的带宽减小。这类的编码在图像捕获和图像显示之间建立起“视觉上无损失”而数学上损失的压缩。可是，该图像只是在要发送到物理显示设备之前才解码回到常规数据集。为了帮助理解先前的系统，说明该先前系统的特定的例子。首先，用数字静止摄像机捕获图像，使用联合图像专家组(JPEG)图像压缩标准或活动图像专家组(MPEG)压缩标准处理和压缩。这些类型的压缩变换常规的红、绿、蓝(RGB)数据集为本领域中公知的YCBCR数据集。这个数据集具有类似亮度的成分和两个色度成分，它们分别表示亮度类似成分与常规的RGB数据集的蓝色和红色之间的差别。由于人类视觉系统在色度通道中空间频率鉴别的能力小，通常的做法是再取样这两色度成分。这造成数学上损失压缩的部分，但在视觉上并不重要。在本领域中有几种熟知的方案，给予这种秘密的探测(cryptic sounding)，但充分地理解，命名为“4:2:2”和“4:2:0”，前者表示压缩比为3∶2(1.5∶1)，后者表示压缩比为2∶1。在利用图像变换、无损失或有损失量化和数据压缩进一步压缩后，该图像可被储存或传递。因此，在一些其它场合和时间，该图像可被接收、检索、解压缩、转换回YCBCR数据，丢失的色度取样则内插填入间隙中，最后，转换回RG’B’数据集(加撇“’”记号指示该数据已用色度滤波操作修改)。在已有的显示器中，RG’B’数据集则是用于显示的。另外，在已有的显示器中，即使人类视觉系统在那种分辨率不能识别这些彩色成分，但还是采用全RGB数据带宽，而且许多图像已经经过滤波来匹配人类视觉系统，进一步指示带宽的浪费。参考图7，下面的实施例减少了显示器10内部的带宽要求和到显示器10的数据传递路径85。特别是，为了说明其中带宽减小的方式的例子，考虑具有图5A和5B的图像65的已有技术数据集69，该图像被储存在图7电子设备80的存储器81中。我们假定该图像是在红色、绿色和蓝色三个彩色平面的12乘8个像素，每个平面具有同样数目的比特，代表每一种彩色的强度，或许为8个比特。在常规数据集格式中，该图像具有12×8×3×8＝2034个二进制位来表示它。电子设备80典型地产生、接收或从一个存储介质81中提取图像数据集69。电子设备80的例子包括计算机、电视接收机、视频播放机、数字蜂窝电话机或可输出用于显示的图像的其它类似的电子设备。存储介质81的例子包括任何的磁带、随机存储器(RAM)、只读存储器(ROM)、紧缩光盘(CD)、数字视频光盘(DVD)、柔性的磁盘“软盘”、硬的磁盘驱动器(HD)或任何其它适当的存储介质。数据集69利用任一种适当的算法经过数据路径83发送到子像素着色装置70，该算法的一个例子是利用再取样区域82，如图4A、4B和4C的再取样区域产生的再取样滤波系数，覆盖在常规的数据集69上，如图6A、6B和6C所示的。子像素着色装置70可包含硬件和/或软件的任何组合以便实现这里所述的子像素着色的技术。减少数据取样数目的这个操作的结果经过第二数据路径85发送到电子显示器10来建立该结果图像90。在我们的例子中，传送到子像素着色装置70的数据集69是2304个二进制位。对具有图1、2或3的子像素排列10的显示器90，传送的结果子像素着色的数据集1719表示在图16B中，被减少到1152个二进制位，表示压缩比为2∶1。对具有图24A的排列2510的显示器，该结果数据集是1536个二进制位，表示压缩比为3∶2(1.5∶1)。对具有如图21和22所示的那些排列的显示器，该结果数据集可以是960个二进制位，表示个压缩比为12∶5(2.4∶1)。由于通常图像在显示设备是通过重发图像被刷新，或者在动画的情况下，发送新图像，每秒多次，典型地是每秒60次或更多次，固定的刷新率的带宽的减小等于从子像素着色装置70传递到图7中的显示器10的每秒比特数的减少。每秒比特数的减少降低了传递图像所需要的功率。因为并行信道可被减少或取消，它也可以降低成本。减小的带宽也可以减少由发射装置85所发射的寄生电磁干扰(EMI)。由于EMI屏蔽可减少或取消，这可导致成本降低。参阅图7，数据路径/发射装置85可以构成显示器本身内的电子设备。如在本领域中人所共知的，每个列驱动器的输出必须提供每行更新的数据。利用这里讨论的显示器排列以及上面所引用的和共有的申请中的显示器排列，这种列驱动器输出的数目的减少与带宽的减小成比例。因此，有关的数据锁存电路的数目、数字-模拟转换器(D/A)的数目和数据总线电路元件也可以减少，从而降低该显示器的成本。数据路径/发射装置85的例子包括在计算机与平板显示监视器之间的数字视频接口(DVI)发射器/接收器对，再加上该平板显示器本身的电子设备。对于高分辨率显示器，经常需要使用多条通道、多对发射器/接收器以给定的刷新率来处理带宽要求。利用子像素着色压缩，通道的数目可以减少，或许只要一条通道。另外，对于给定的带宽，利用子像素着色压缩可以增加刷新率，可能消除闪烁感觉或抖动。数据路径/发射装置85的另外例子包含在计算机与平板显示监视器之间的模拟发射器/接收器对，再加上该平板显示器本身的电子设备。模拟系统通常用来驱动模拟阴极射线管(CRT)监视器。近来，液晶显示监视器已使用模拟-数字(D/A)转换器使它可以接收和显示所述模拟信号。在高分辨率的情况下，由于在模拟信号路径上带宽的限制，模拟信号可能被降级，由于噪音使得明暗度值改变，或同步偏移，使得像素抖动。利用本文件所述的排列和已有的申请所引用的排列以及匹配子像素着色将容许减小信号带宽，增加模拟系统的可靠性和稳定性。数据路径/发射装置85还可以包括从图像捕获到最后显示的完整的图像系统，例如图20所示的系统并在下面作更全面的描述。
子像素着色的方法
图1示出一个理想化的泰晤士新罗马字体(Times New Roman font)字母“W”11，它叠加在图7的电子彩色显示器10的子像素排列上——字母“W”着色在其上。其它字体也可用于该子像素排列，选择这种字体和这个字母只是为了说明的目的。这种子像素排列包括重复的子像素组18，它具有在棋盘状图案上的红色子像素12和绿色子像素16，在中心具有蓝色子像素14。这种特殊的子像素排列在上面引用的和共有的’232号专利申请中进一步公开。虽然为了说明的目的下面讨论将集中在图1的排列上，在上面所引用和共有的专利申请中进一步揭示的其它排列之外，用于显示的子像素的其它排列满足本发明的目的，例如像图2和3所示的排列。图2示出一个这样的实施例，其中子像素重复组22包括第四彩色子像素20。子像素20可以是交错的，在如图3的子像素重复组30中所示的。这些和许多其它的设置在上面所引用和共有的专利申请中公开。如‘612号申请中所解释的，图4A、4B和4C分别示出红色、绿色和蓝色平面、用于图1的子像素排列的重新构造点和有关的再取样区域。这些重新构造点和它们的再取样区域用来执行子像素着色，如下面所阐述的。图5A示出彩色图像数据集69，其中红色、绿色和蓝色数据被一致地取样，并于此处表示成为直线等距阵列的一些点60。例如彩色图像数据集69可表示传统的GRB显示器的图像数据集，诸如具有以三个一组分组的红色、绿色和蓝色条纹的阴极射线管或液晶显示器。一个隐含取样区域61可能与每个取样点60相关，从而，形成正方形取样区域61的网格。图5B示出图5A具有取样点60的数据集69和伴随着色的理想化的字母“W”11的相关的隐含取样区域61。如图5B所示的，字母“W”11的外形不能与隐含取样区域61的边界完美地匹配。在这样一些情况中，如本领域所共知的，选择位于外形内或临近外形的最接近的取样点并设置该数据为极值(例如黑色和白色)着色该字母作为具有高反差的逼近。这样产生的逼近的字母“W”65，如图5B以及图6A、6B、及6C和在图7中小的表示法所示的，全部表示以每个隐含取样区域中的说明性的阴影线图案的逼近的字母“W”65。为了对图5B数据集69进行子像素着色，图4A、4B和4C的再取样平面分别覆盖在图5B数据集69上，如图6A、6B、和6C所示。参考图6A，用每个红色重新构造点44和它的相关的再取样区域45对该逼近的字母“W”再取样。每个输入取样区域61和再取样区域45的部分重叠产生滤波核系数(coefficient of a filter kernel)。对于与隐含输入取样区域61重叠的每个红色再取样区域45，相关输入取样点60红色数值的数据乘以相关滤波核系数，然后与其余的再取样数据的其余结果求和。这是用作输出到合适的电子彩色显示器的输出值，如在上面所引用和共有的申请的几个文件中所述的，可能利用其它装置或机构修改，如图7所示那样。如图6A中所示的，一些再取样区域45重叠是黑色字母“W”65的一部分的输入取样区域61和不是黑色字母“W”65的一部分的一些其它输入取样区域，该重叠区域可以是背景颜色，通常为白色。这将产生作为到显示器的输出的“灰色”值。图6A、6B、和6C再取样操作的结果和其随后的显示表示于图8中。示出理想化的字母“W”11外形用于比较。应当注意由于字母“W”的粗糙逼近65的再取样，所以图7和8所示的结果图像90具有“散焦”或模糊质量。图11表示概述理想化的图像进行子像素着色为具有彩色子像素的显示的这个实施例的流程图。起初，对于进行子像素着色的任何理想化的图像，用重合的红色、绿色和蓝色数据点建立一个图像数据集，它是在水平轴和垂直轴以任何希望数目的这样重合点逼近该理想化的图像(步骤1210)。这个图像数据集重叠在红色、绿色和蓝色再取样平面上(步骤1220)。按照适当公式计算每个给定的彩色子像素的滤波系数，例如在上面所引用的和共有的专利申请中所揭示的(步骤1230)。最后子像素着色的图像显示到显示器上(步骤1240)。一种改进图像的图像质量的方法是建立较高分辨率的逼近。例如，参考图9，图像数据集109的分辨率是图像数据集69的两倍，这就是说，在全部数据集上，在每根轴上有取样点60和相关的隐含取样区域61两倍多的取样点100和相关的隐含取样区域101。理想化的字母“W”11的外形被表示叠加在该数据集上。如前所述的，建立字母“W”的一个逼近105。注意，图9的逼近105比图5B的逼近65更接近理想。为了子像素着色的图9的数据集109，图4A、4B和4C再取样平面分别覆盖图9的数据集109，如图10A、10B和10C所示的。参考图10A，逼近字母“W”的图像105由每个红色重新构造点44及其有关的再取样区域45进行再取样。每个输入取样区域61与再取样区域45的部分重叠产生滤波核系数。对于重叠隐含的输入取样区域101的每个红色再取样区域45，相关输入取样点100的红色值的数据乘以相关的滤波核系数，如下所示0 1 1 0 -1 1 1 -11 2 2 1 或对于更清晰的图像1 3 3 11 2 2 1 1 3 3 10 1 1 0 -1 1 1 -1然后与其余的再取样数据的其余结果求和。这是用作输出到合适的电子彩色显示器的输出值，可能该输出数值利用如上面所引用和共有那几份申请所述的其它算法级进行修改，如图7所示的。按照对于图11描述的相同方法，一些再取样区域重叠在(1)输入取样区域101，它们是黑色字母“W”105的一部分，以及(2)输入取样区域101，它们不是黑色字母“W”105的一部分，该重叠区域可以是背景颜色，通常为白色。这将产生作为输出到显示器的“灰色”值。图10A、10B和10C的再次取样操作的结果和和其随后的显示表示在图12中。表示理想化的字母“W”外形11以便比较。由于字母“W”的更接近逼近105的再次取样，示于图12中的结果图像虽然仍具有“散焦”质量，但比图8中的图像好。该过程如上所述的可以通过增加在水平和垂直轴的图像数据点的数目到任一希望的程度来重复进行，然后可应用图11的方法。因此，图像的质量可以通过进一步改善理想化的字母的逼近进一步提高。但后果很可能收益减少。另一种方法避免逼近和给予很可能具有无限分辨率的逼近，是直接再次取样理想化的字母外形或其它希望的图像，利用目标显示器的子像素着色再取样区域，跳过常规数据集上的中间逼近。为了直接地子像素着色的理想化的字母“W”11，理想化的字母“W”11的外形分别覆盖到图4A、4B和4C再取样平面上，如图14A、14B和14C所示的。参考图14A，利用每个红色重新构造点44及其有相关的再取样区域45对理想化的字母“W”11图像进行取样。字母“W”11和取样区域45的每个部分的部分重叠产生滤波核系数。对于重叠“W”11区域的每个红色取样区域45，该字母的红色值的数据乘以相关滤波核系数，然后与其余的再取样数据的其余结果求和。这是用作输出到合适的电子彩色显示器的输出值，可能该输出值利用如上面所引用和共有那几份申请所述的其它算法级进行修改，如图1的情况。假设字母“W”11是黑色的，一些再取样区域与黑色字母“W”11的一部分的输入取样区域61以及不是黑色字母“W”11的一部分的图像输入取样区域重叠，该重叠区域可以是背景颜色，典型地是白色。这将产生作为对显示器的输出的“灰色”值。图14A、14B和14C再取样操作的结果及其随后的显示示于图15中。示出理想化的字母“W”11用于比较。由于取样字母“W”11的区域，虽然仍有轻微的“散焦”质量，示于图15中的结果图像比图8和12中的那些图像好，甚至可能比图5B的逼近好。图13概述直接进行子像素着色的理想化的图像的方法。起初，理想化的图像覆盖在每个彩色取样平面上(步骤1410)。对每个这样的彩色取样平面，按照计算这样的滤波值例如核或系数的适合的方法计算该彩色取样平面中每个取样点的滤波值(例如核或系数)(步骤1420)。这些滤波值用来得到每个系数的理想化的图像彩色值的点矩阵积。该点矩阵积的结果可作为预先子像素着色图像存储。该理想化的图像也可着色在显示器上(步骤1430)。另外，这些计算的滤波值可以存储供以后使用和为该理想化的图像以后着色检索和传递之用。特别是，该取样滤波值(核或系数)可用来以特定的缩放比例而不使用理想化的图像的形状描述理想化的图像。因此，利用存储的取样滤波值，不同颜色的文本可用不同颜色的背景来着色。直接取样图像或图形数据集的概念，可通过匹配已知子像素构造的期望的重新构造点的合适的偏移取样区域延伸到本领域公知的其它取样方法，但以前局限于常规数据集的非偏移的、完全收敛的红色、绿色和蓝色取样(前面结合图5A叙述的)。例如，在虚拟情景的复杂的三维(3D)图形模型的射线跟踪着色中，通常是部分地取样或随机(无规则)部分地取样，节省处理时间的过取样(super sample)。这些方法可容易地被修改成为利用与给定的子像素排列匹配的偏移取样，以便直接建立子像素着色的数据集。
编码预先子像素着色的数据为图像数据流虽然图像的子像素着色可以用图7所述的方式进行处理并立即显示，但有时希望在子像素着色后存储该图像，以便日后显示。如果替代直接的第二数据路径85，可在子像素着色装置70和电子显示器10之间插入一个存储和/或传送装置。在子像素着色操作后图像的存储和传送比常规数据集的存储和传递，然后再执行所需的子像素着色程序具有优点。例如，子像素着色的数据集可以要求比产生常规图像数据集的存储空间和/或传送带宽的少一半，甚至更少。如此所建立、存储和/或传送的子像素着色的数据集被定义为“预先子像素着色图像”。预先子像素着色图像的存储和传送的另一个优点可能是该显示设备不包含图像数据集的子像素着色装置而更便宜。例如，许多显示设备，它们当中很多用于分布式系统中，可以从单个源接收已经子像素着色的图像。这样的设备和系统可包括具有一个发射器和许多接收器的传播电视系统。另一种设备则可能在家里的单个计算机或视频播放机，它具有接收发送的预先子像素着色图像的一个或多个远程电子显示设备。其它系统对于本领域的熟练人员是很容易想象到的。参考如图16A中所表示的常规数据集，说明检验建立预先子像素着色图像数据集的过程。常规的图像数据集1709表示每个隐含取样区域1701的红色数据值1704，绿色红色数据值1706和蓝色数据值1702。如早先结合图6A、6B和6C所叙述的，通过重叠取样区域和再取样区域产生滤波核，计算常规数据集和滤波核的矩阵点积而产生新的数据集1719，新的数据集1719具有新的红色数据点1714、绿色数据点1716和蓝色数据点1712。图16B说明这个数据集1719映射到原始数据集1709的相对位置。注意原始数据集1709中存在“丢失点”。该新的数据集1719可经过图7的第二数据路径85直接传送到电子显示器。另一替代方案，该新的数据集1719作为预先子像素着色图像存储，供以后发送到适当的媒体71中的电子显示器，可能和图7所示的子像素着色装置70相关。图16C说明子像素着色的数据集1719怎样能被压缩成为一个小而紧凑的数据集17190，该小而紧凑的数据集17190模仿常规的数据集格式到如此程度，每个“常规像素”17010都有三个取样红色取样1714、绿色取样1716和蓝色取样1714，但使用允许直接分布给如图1那样的电子显示设备的列驱动器的取样顺序。应当注意子像素着色的数据集17190使用常规数据集1709的一半存储器储存量，而且当在如图1那样的电子显示器上显示时表示同样的图像。当如图1那样的电子显示器接收预先子像素着色的数据集17190时，该显示器可直接显示它，不需要作进一步的处理。不绝对要求知道彩色分量标识但是无损失的图像压缩技术可以应用到图16C的列驱动器排序的预先子像素着色的数据集17190上。例如，像“.PNG”和图形交换格式(“.GIF”)的彩色索引压缩方案不需要“知道”彩色分量的分配，它们仅仅指明每个常规“像素”17010经常有有限数量的数据值，并索引它们进行图像压缩。在解压缩时，原始的列驱动器排序的预先子像素着色的数据集17190被恢复而且无改变。在某些情况下，希望使用每个“像素”17010中的彩色取样数据排序，该预先子像素着色的数据集更接近地模仿常规数据集。参考图16D，每个“像素”17010的彩色取样数据是按照常规数据集的红、绿、蓝的顺序。数据集17191的每个“像素”17010的数据取样和图16C的列驱动器排序的数据集17190的相同。使用常规的排序允许预先子像素着色的数据集利用常规数据集使用的一些算法进一步处理，这些算法要求知道每个取样位置映射到哪个彩色分量。例如，使用每个彩色分量内变换的压缩算法需要这种知识，诸如JPEG(联合图像专家组)图像压缩中使用的离散余弦变换(DCT)或JPEG 2000图像压缩中使用的子波变换(wavelet transform)。格式转换为彩色空间，诸如分开亮度和色度分量YCBCR也可能需要这种常规的彩色取样排序。尽管迫使该压缩算法不再抽样该色度分量可能是最好的，因为在子像素着色的图像中，许多亮度信息已传递到看来是色度通道的通道中。然后图16D的常规排序的预先子像素着色的数据集17191可被压缩或转换、储存和/或传送、接收和/或检索、解压缩并再转换回到常规排序的RGB彩色空间，最后再排序返回图16C的列排序的预先子像素着色的数据集17190而显示在如图1那样的电子显示器10。图20描述多种用途和可以与预先子像素着色的系统或算法相结合以及向一个或许多可能的不同的客户机输出的系统。在一个可能的实施例中，子像素着色的系统/编码器可用作前端2140的一部分，它可以输入一个或许多个图像数据源，例如由摄像机2120捕获的源图像2110或完全由计算机产生的图像2130或两者的组合。摄像机2120可以包含模拟记录介质或数字记录介质。如果摄像机2120采用数字编码介质，则整个系统可通过选择摄像机成像部分的子像素重复排列来优化，这种子像素重复排列基本上与显示设备(例如电视机、监视器、蜂窝电话机等)的子像素排列匹配来接收它的图像数据流。前端2140将接收源输入图像数据并执行如在这里或以上所引用和共有的申请中任一份所指出的子像素着色的程序。一旦如此着色该源输入图像数据，前端2140则可通过目的地通信媒体把这个数据输出到上的任意数目的目的地显示器，图20只是表示这些用途中的一些用途，并不意味着全部。例如(以及如在下面所更加详细阐述的)，该输出的子像素着色的数据可以经过无线或电缆媒介发送给电视机2160；具有显示器2172并可能具有它自己的摄像机2174的蜂窝电话机(或电话机)2170(在此情况，电话机2170可能是在电话机或前端的把子像素着色回的图像信息源)；或者如下面进一步叙述的那样，通过具有通信路径2184和2186的因特网2180(或其它网络连接)发送给在计算机2182上运行的网络浏览器。可利用预先子像素着色图像容易改进的系统的一个例子是因特网文件检索和显示，通常称之为“网络浏览器”。网络浏览器通常向网络服务器报告关于显示分辨率的某些信息。网络的设计人员可通过提供匹配屏幕分辨率的图形利用它。浏览器的另一特性是“甜点数据块”(cookie)。通过甜点数据块，网络服务器可把信息放置在该浏览器上，该信息可由该服务器或另一个服务器读出，使得基于服务器的应用程序识别浏览器的各自用户。浏览器或许经过甜点数据块或任何已知的方法可指出用户的显示屏是什么样的子像素结构，据此，服务器传送匹配该用户显示屏的图形。如果甜点数据块如此指示，该服务器则可发送直接显示的预先子像素着色图像给该浏览器，毋须另外的子像素着色。在实践中，网络“冲浪者(surfer)”可下载网站，它包含指示该网站使用子像素着色的技术并邀请该冲浪者“接通”它们的显示器的标识(logo)。这样就链接到网站，该网站包括一系列网页和CGI(计算机图形接口)代码，该代码引导用户通过关于显示形式的一系列问题并要求他们观看允许该用户的测试图，无需完全理解具体处理过程，以确定显示类型、结构、和灰度。由此，甜点数据块放置在该浏览器上。在随后访问使用预先子像素着色的网站时，该服务器要求甜点数据块确定最佳虚拟性能的哪幅图形以最小的带宽发送，从而减少发送所需图形要求的因特网数据包的数目。该浏览器和操作系统，然后或许通过指出保留的文件的后缀扩展名检测预先子像素着色图像，直接发送该预先子像素着色图像给显示器，毋须另外子像素着色。该图像可能是图16C的列排序的预先子像素着色的数据集17190格式或图16D的常规地排序的预先子像素着色的数据集17191格式。该图像可用合适的有损失或无损失压缩算法进一步压缩。然后该浏览器处理接收的数据，根据每种特殊状况的要求进行解除压缩和着色。如下面进一步叙述的，该预先子像素着色的数据集可以嵌入在常规数据集中。这个过程对照图20进一步阐述。在计算系统2182上运行的用户的浏览器通过能够把预先子像素着色图像嵌入图像数据流中的前端2140与网站下载/请求通信。该网站可以(1)查询甜点数据块关于计算系统2182的用户显示器的信息；或(2)通过一系列显示测试提示用户确定计算系统2182的能力。取决于从网站得到的信息，如果用户的显示器和/或操作系统能够检测数据流中的预先子像素着色图像数据(并能有效地处理它)，则该网站发送具有嵌入的预先子像素着色的数据的图像数据给该用户。把预先子像素着色图像嵌入常规图像数据集中可能是有利的。然后可存储这样的常规图像数据集并由常规系统以常规方式传送，直到它到达具有识别嵌入的预先子像素着色图像并适当提取和显示它的装置的显示设备。图16E示出一个这样的实施例。常规排序的图像数据集1729表示每个隐含取样区域1701中的红色数据数值1704、绿色数据数值1706和蓝色数据数值1702。但是，这个数据集具有两个数据子集。两个数据子集的至少一个数据子集表示预先子像素着色图像数据。另一个数据集可以表示其它的信息，或可表示第二预先子像素着色的数据集。一个数据集是由红色数据1714、绿色数据1716和蓝色数据1712来定义，为了方便此处用粗体字加下划线的文本示出。其它数据集由红色数据1724、绿色数据1726和蓝色数据1722来定义，为了方便此处用普通字体的文本示出。这两数据集具有同样的形式，特别地，每个常规数据集组的一个红色数据或绿色数据但是并非两者是数据子集的成员。每个常规数据集组的数据子集的红色和绿色成员交替，镜像子像素排列的红/绿色棋盘，例如图1、2、3中所描述的，或镜像此处所叙述的任何排列。在一个实施例中，两个预先子像素着色图像可沿着侧边彼此嵌入常规图像数据集中。这些预先子像素着色图像可以是从相同的原始图像进行子像素着色，其中常规数据集的每个彩色点代表中心在那个位置的逻辑像素的子像素的着色的数据。这也许具有数据提取抽选器的系统在如图1那样的显示屏上直接显示图像，于任何点处毋须把数据移动到合适的彩色。在另一个实施例中，这两个图像可以是非相关的，为了更大的压缩而容许图像打包。该图像可以是串行的两个图像，例如视频图像，容许较大的压缩。或者它们可以是立体对，两个相同情景的图像，但是来自不同有利点。在又另一个实施例中，该数据集可以具有子像素着色图像的一个子集，而另外一个子集则是原始图像的子集。预先子像素着色图像子集仅仅在那些位置上替代原始数据，而原始数据的其余部分并无改变。本发明在这方面的一个用途可能是用于编码电视广播或视频存储的视频，致使图像在如图1那样的显示屏上看得很好(look great)，但在阴极射线管或其它显示屏的显示器，例如使用向后兼容的全常规数据集的RGB条纹显示器上仍可“良好”地看到。在一个实施例中，有效地滤波预先子像素着色图像以限制对角线上的高空间频率，保证当直接在如图1那样的显示屏上显示时，无(或最少的)色度混叠发生。但组合的完全数据集1729，子像素着色的数据集和一半原始的常规图像两者将在常规显示器上以很小的图像质量损失进行显示。这种预处理将使得低成本的电视机可播放预先子像素着色的节目资料，广播或记录，进行子像素着色，不需要昂贵的子像素着色芯片。该预处理是预先进行的，可能是非常复杂的算法，对于一些商品的局部处理可能是太昂贵了，但是仅仅在主要步骤进行一次，该预处理费用在所出售的数百万录像上偿还。建立上述这样的混合数据集1729的方法可以从如图14A所示的常规数据集1709开始。常规图像数据集1709表示每个隐含取样区域1701中的红色数据数值1704、绿色数据数值1706和蓝色数据数值1702。然后我们使用如前面结合图6A、6B和6C所述的重叠取样与再取样产生的滤波核，计算常规数据集与滤波核的矩阵点积来产生如图16B所示的具有红色数据点1714、绿色数据点1716和蓝色数据点1712的新的数据集1719。参考图16B，这个数据集1719映射到原始数据集1709的相关位置。应当注意原始数据集1709中存在“丢失点”。这些丢失点是从原始数据集1709提供的。但是首先，每个偶数行的蓝色取样点向右移一个“像素”1701。然后这些丢失点利用图16B的子像素着色的数据集1719的“像素”1701映射到常规数据集1709的像素1701来填充。据此，图16B任何“丢失的”彩色点利用图16A常规图像数据集1709的彩色取样点来填充，以便建立图16E的填充的、混合的数据集1729。现在将说明关于从常规图像数据集格式1729中提取预先子像素着色的数据子集1719的一个实施例。参考图17A、17B和17C，图4A、4B和4C的再取样平面分别覆盖在图16E的数据集1729上。在图17A中，每个红色再取样区域45完全重叠一个隐含取样区域“像素”1701。当知道了存在预先子像素着色的数据集，通常的子像素着色的算法就被暂停，以利于简单数据的提取和抽取，在提取和抽取中红色数据点1714用作相关的红色重新构造点44的输出值。所有其它的输入取样被忽略。如图17B中所示的绿色数据平面和如图17C中所示的蓝色数据平面执行类似的操作。图17C的“蓝色”再取样操作也可用于提取图2和3的四彩色子像素排列的预先子像素着色的数据值，以代替上面引用的专利申请中所叙述的子像素着色的算法。另外，通过平均来自对角相邻的“像素”1701的数值的两个蓝色数据1712，该预先子像素着色图像也可以显示在电子显示器上，诸如图20所示的情况。此外，该显示可具有如图21和22中所示的那样的子像素排列。图21的子像素排列在上面引用的’232号申请中进一步揭示。另外，通过平均来自对角相邻的“像素”1701的数值的两个蓝色数据1712，预先子像素着色图像也可显示在电子显示器上，诸如图20所示的情况，但是除了从图22所示的子像素排列导出的交错的再取样区域，它是首次在’232号申请所示的子像素排列的变种。在本发明的另一个实施例中，预先子像素着色图像子集和/或常规图像子集可以被嵌入通常出现的图像中，将忽略子像素着色的系统和/或算法的“水印”。当子像素着色的系统检测水印的存在时，它知道该图像的子集是可被提取并无须再滤波即可显示的预先子像素着色图像。水印可能是狭窄图形遮掩的数据集，也就是，观看者感觉上不可分辩而由机器可识别的数据变形，这样的技术在本领域中是众所周知的。在本发明的又另一个实施例中，预先子像素着色图像子集被嵌入环绕其它数据集中，并具有预定义的彩色键以识别第一个数据集为预先子像素着色的数据。有许多场合，当希望在给定的显示图像内的一些部分或元素进行高质量着色时，同时保持其它部分的着色。例如，文本可能以比照片更高的质量着色。因此，一个实施例提供一种系统和方法，允许图像的预先着色的部分以这样的形式与图像的非预先着色的部分混合，即容许对两种类型的图像元素进行检测和作适当的差分处理。参考图18，常规图像数据集1909环绕嵌入的预先子像素着色图像数据集1919的周围。该预先子像素着色图像数据集包含红色取样点1914、绿色取样点1916和蓝色取样点1912。其它数据子集含含预定义的色度键，此处红色取样点1924具有数字数据值“65”(六十五)，绿色取样点1926具有数字数据值“27”(二十七)，而蓝色取样点1922具有数字数据值“207”(二百零七)。预定义彩色的存在指示其它数据子集是预先子像素着色的数据并可被提取和直接地显示。彩色键用的数值的选择是半任意的。彩色值可能选用这样一个数值，它不可能是统计上有效的图像数据。在图18的例子中所选的数值可能就是这样的不可能的情况。彩色键的数值和两个RGB三元组内的预先子像素着色的数据的映射也是半任意的。图18中所示的排序表示在相同的像素中的预先子像素红色和蓝色数值1914和1912与绿色彩色键数值1926在一起，同样在相同的像素中与绿色彩色键数值1916在一起的预先子像素红色和蓝色彩色键数值1924和1922。其它重映射可能具有优点，例如比较容易在硬件中检测，而且所有的排序能够通过此处所揭示的具体实施方案和实施例来实现。这种映射排序的其它两个优选实施例在下面将结合图25A-D和图26A-C加以描述。现在揭示一种检验常规图像数据集和从常规图像数据集格式中提取预先子像素着色图像数据子集的方法和系统。参考图19A、19B和19C，图4A、4B和4C的再取样平面分别覆盖图18的数据集1909。图18中表示图19B的一个再取样区域作为再取样区域1928，用来说明在预先子像素着色图像数据子集1919中重叠隐含取样区域的取样区域。在图19A中，每个红色再取样区域45完全重叠一个隐含取样区域1901，并部分重叠其它几个隐含取样区域1901。在预先子像素着色图像数据子集1919的边缘这是有问题的，例如当在再取样区域1928中提取常规图像数据时。因为存在这样的可能性，即在完全重叠的隐含取样区域1901中的红色数据是预先子像素着色图像数据子集1919中的预先子像素着色图像的一部分，执行检测来确定是否是这种情况。例如，子像素着色的系统检查完全重叠的隐含输入取样区域1901的绿色值1926，和相邻取样点的红色数值1924及蓝色数值1922。这些数值与彩色键数值进行比较以便判断。这个过程是复杂的，因为它需要昂贵的超前方法并且当从常规图像数据集1909提取图像时，如果未充分地检查完全环绕的数据集的嵌入的预先子像素着色图像的边缘的存在，可能使用预先子像素着色图像数据子集1919中的无效值。该无效值是预先子像素着色图像的彩色键数值，而不是常规图像数据集1909的图像的值。各种子像素排列的布局的另一替代技术在图26A-C和图27A-D中叙述，使用嵌在常规图像数据集内的子像素着色的数据子集的无效数值可避免这两者，以及避免比较昂贵的和广泛的测试，如下面所述的，该测试要求复制有效数据来替代的“丢失”数据点。为了进一步减少假的肯定性检测的可能性，可以轮询几个环绕的红色数值1924和蓝色数值1922。如果两个或多个环绕数值与彩色键数值匹配，则确认预先子像素着色图像数据的存在。如果该数据指示存在彩色键，则子像素着色装置知道这是子像素着色的数据点。知道了存在预先子像素着色的数据集，通常的子像素着色的算法被暂停，以利于简单数据的提取，在提取中红色数据点1914用来作为相关的红色重新构造点44的输出数值。彩色键数据值十中选一，“丢弃”。如果环绕取样数据点不与彩色键匹配，则执行通常的子像素着色的算法。图19B所示的那样的绿色数据平面和图19C所示的那样的蓝色数据平面执行类似的操作。在常规数据和预先子像素着色图像数据的边界上，通常的子像素着色的算法被修改以忽略部分重叠的彩色键的取样点。在完全重叠的、位于中心的、隐含的输入取样中的数值用来填充丢失数据点的数值，并以子像素着色的算法的常用方式处理。另一个可选择的实施例是图24A中所示的子像素排列2510。这个实施例在’352号申请中进一步揭示。子像素重复排列2518含有四个绿色子像素2516，而且该重复排列中两个红色子像素2512和两个蓝色子像素2514形成具有散布的绿色子像素的棋盘状图案。图24B描述重新构造点的一个可能的集合以及图24A的子像素排列的相关再取样区域2520。由于图24A的子像素排列2510中每个重复单元(repeat cell)2518有四个绿色子像素2516，故图18的预先子像素着色的数据集1919将不提供足够的子像素着色的绿色数据点1916。参考图25A，常规图像数据集2609环绕着嵌入的预先子像素着色图像数据集2619。该预先子像素着色图像数据集含有红色取样点2614、绿色取样点2616和蓝色取样点2612。其它数据子集含有预定义的彩色键，此处红色取样点2624具有的数字数据值“65”(六十五)，蓝色取样点2622具有数字数据值“207”(二百零七)。预定义彩色的存在指示其它数据子集是预先子像素着色的数据，并可被提取和直接显示。应当注意，这个预先子像素着色的数据集2619具有适当的数目和映射位置，与图24A子像素排列2510相匹配。现在将说明从常规图像数据集2609中提取预先子像素着色的数据子集2619的一个实施例。参考图25B、25C和25D，图24B的红色、蓝色和绿色再取样平面分别覆盖在图25A的数据集2609上。图25D一个再取样区域示于图25A中，例如再取样区域2628，用来说明重叠预先子像素着色图像数据子集2619内的隐含取样区域的再取样区域。在图25B中，每个红色再取样区域45完全地重叠一个隐含取样区域“像素”1701，而部分地重叠几个其它的部分。如前所述，当提取再取样区域2628内的常规图像数据时，在预先子像素着色图像数据子集2619的边缘是有问题的。因为存在这样的可能性，即完全重叠的隐含取样区域1701中的红色数据是预先子像素着色图像数据子集2619中的预先子像素着色图像的一部分，执行检查来确定是否存在这种情况。例如，子像素着色的系统检查完全重叠的隐含取样区域1701的蓝色数据点2622，为了判断并把这些数值与彩色键数值进行比较。这个过程具有如图18中所述的同样问题，亦即它是复杂的而且当从常规图像数据集2609提取图像时，潜在地使用预先子像素着色图像数据子集2619中的无效数值。该无效数值是预先子像素着色图像的彩色键值，而不是常规图像数据集中的图像的数值。如下所述，图26A-C和图27A-D阐述各种不同的子像素排列布局的图像处理技术，该技术避免使用嵌入常规图像数据集中的预先子像素着色图像数据子集的无效值，同时避免更复杂的彩色键检测和避免有效数值复制步骤。为了进一步减少假的肯定性检测的可能性，可轮询环绕的红色数值2624。如果这些红色数值2624的两个或多个数值匹配彩色键的数值，则可确认预先子像素着色图像数据的存在。如果该数据指示有彩色键，则子像素着色装置知道这是子像素着色的数据点。知道了存在预先子像素着色的数据集，暂停通常的子像素着色的算法，以利于简单数据的提取，在提取中红色数据点2614用来作为相关的红色重新构造点44的输出数值。彩色键的数据值十中选一，“丢弃”。如果环绕取样数值点不匹配彩色键，则执行通常的子像素着色的算法。图25C所示的蓝色数据平面和图25D所示的绿色数据平面执行类似的操作。在常规数据和预先子像素着色的数据的边界，通常的子像素着色的算法被修改，忽略部分重叠的彩色键的取样点。在完全重叠的、位于中心的、隐含输入取样中的数值用来填充丢失数据点的数值，并以子像素着色的算法的常用方式处理。参考图26A，常规图像数据集2709环绕嵌入的预先子像素着色图像数据集2719。该预先子像素着色图像数据集2719的子像素排列与图25A的预先子像素着色图像数据集2619相同，除了红色取样点和已交换的红色彩色键以及蓝色取样点和已交换的蓝色彩色键之外。例如，预先子像素着色图像数据集2619的每隔一列的数值是在预先子像素着色图像数据集2719中交换。该预先子像素着色图像数据集包括红色取样点2714、绿色取样点2716和蓝色取样点2712。其它数据子集包括预定义的彩色键，该处红色取样点2724具有数字数据值“65”(六十五)，和蓝色取样点2722具有数字数据值“207”(二百零七)。与图25A相反，该红色数字数据值“65”已与图26A中的红色取样点交换，而蓝色数字数据值“207”已与图26A中的蓝色取样点交换。预定义彩色的存在指示其它的数据子集是预先子像素着色图像数据并可被提取和直接显示。应当注意，这个预先子像素着色的数据集2719具有与图25A预先子像素着色的数据集2619相同的数目但是重映射位置不同。该重映射的红色和蓝色数据点以及彩色键可简化检测方法，降低包括检测和适当处理嵌入的预先子像素着色的数据集的装置的子像素着色的装置的复杂性和成本。现在将叙述从常规图像数据格式2709提取可替代的预先子像素着色的数据子集2719的一个实施例。参考图26B和26C，图24B的红色和蓝色再取样平面分别覆盖图26A数据集2709。图26C的再取样区域之一作为再取样区域2728示于图26A中，用来说明重叠预先子像素着色的数据子集2719内的隐含取样区域的再取样区域。在图26B中，每个红色再取样区域45完全地重叠一个隐含取样区域“像素”1701，和部分地重叠几个其它的隐含取样区域“像素”。因为存在这样的可能性，即在完全重叠的隐含取样区域1701中的红色数据是预先子像素着色图像的一部分，执行检测来确定是否是这种情况。子像素着色的系统首先检查完全重叠的隐含取样区域1701的红色数据点2724的数值，并把它与彩色键的数值相比较以便判断。由于红色彩色键“65”出现在这个预先子像素着色的数据子集2719中，该检测提醒这可能是彩色键的一部分，并准许进一步检测环绕的数值。为了进一步减少假的肯定性检测的可能性，可轮询环绕的蓝色数值2722。如果这些蓝色数值2722的一个或多个数值与彩色键的数值匹配，则确认预先子像素着色图像数据的存在。如果该数据指示存在彩色键，则子像素着色装置知道这是子像素着色的数据点。知道了存在预先子像素着色的数据集，通常的子像素着色的算法即被暂停，以利于简单数据的提取，在提取中红色数据点2714用来作为相关的红色重新构造点44的输出数值。注意，相关的红色预先子像素着色的数据取样在奇数行被移到像素1701的右侧，并在偶数行被左移一个像素。彩色键的数据值十中选一，“丢弃”。如果取样数值点不与彩色键匹配，则执行通常的子像素着色的算法。对于图27B中所示的蓝色数据平面执行类似的操作。可是此处，蓝色预先子像素着色的取样2712在奇数行上被左移一个像素1701，并在偶数行被右移一个像素1701，与那些红色预先子像素着色的取样2714所发生移位相反。在常规数据和预先子像素着色图像数据的边界，通常的子像素着色的算法以子像素着色的算法的常用方式处理，因为预先子像素着色的数据点可能以微小的误差，如果有误差的话，来替代非预先子像素着色的数据点。从而重映射的预先子像素着色的数据集2719简化了检测器，因为只需要做一个首次检测，即检测彩色键的中心自身彩色数值，以便知道重叠数据点可按常用方式进行处理。只有确定第一个彩色键数值匹配，才需要顺次检测任何其它数值。再者，因为如果不匹配那个中心值，即使该区域再取样区域必须重叠预先子像素着色的数据，可以进行常规的子像素着色的操作，因为有效数值存在于所有的重叠区域内。与图25A中预先子像素着色图像数据子集2619相比较，在图26A中所说的上述“交换”技术基本上颠倒了预先子像素着色图像数据子集2719内的红色和绿色的棋盘状图案。以这种方式，保证该提取过程寻找合理的数值，而不是预先子像素着色图像数据子集内的“无效数值”。因此，可避免图25A中叙述的检测，从而节约了处理时间。参考图27A，常规图像数据集2809环绕嵌入的预先子像素着色图像数据集2819。预先子像素着色图像数据集2819的子像素排列与图18预先子像素着色图像数据子集1919相同，除了红色取样点和已交换的红色彩色键以及绿色取样点和已交换的绿色彩色键之外。该预先子像素着色图像数据集包括红色取样点2814、绿色取样点2816和蓝色取样点2812。其它数据子集包括预定义的彩色键，该处红色取样点2824具有数字数据值“65”(六十五)，绿色取样点2826具有数字数据值“27”(二十七)，而蓝色取样点2822具有数字数据值“207”(二百零七)。与图18相反，该红色数字数据值“65”已与图27A中的红色取样点交换，而该绿色数字数据值“27”已与图27A中的绿色取样点交换。预定义彩色的存在指示其它的数据子集是预先子像素着色图像数据，并可被提取和直接显示。注意，这个预先子像素着色的数据集2719具有和预先子像素着色的数据集2619相同的数目，除了重映射位置与图18的预先子像素着色的数据集1919不同之外。该重映射的红色和蓝色数据点以及彩色键便于简化的检测方法，降低包含用于检测和适当处理嵌入的预先子像素着色图像数据集的装置的子像素着色装置的复杂性和成本。现在将叙述从常规图像数据格式2809提取可替代的预先子像素着色的数据子集2819的一个实施例。参考图27B、27C和27D，图4A、4B和4C的红色、绿色和蓝色再取样平面分别覆盖图27A的数据集2809。图27C的再取样区域之一作为再取样区域2828示于图27A中，用来说明重叠预先子像素着色的数据子集2819内的隐含取样区域的再取样区域。在图27B中，每个红色取样区域45完全地重叠一个隐含取样区域“像素”1701，而部分地重叠几个其它的隐含取样区域“像素”。因为存在这样的可能性，即在完全重叠的隐含取样区域1701中红色数据是预先子像素着色图像的一部分，执行检测来确定是否是这种情况。子像素着色的系统首先检查完全重叠的隐含取样区域1701的红色数据点2824的数值，并把它与彩色键的数值相比较以便作判断。由于红色彩色键“65”存在于该预先子像素着色的数据子集2919中，该检测将提醒这可能是彩色键的一部分，并准许进一步检测环绕的数值。为了进一步减少假的肯定性检测的可能性，可轮询环绕的蓝色数值2822和绿色数值2826。如果这些蓝色数值2822和绿色数值2826的两个或多个数值与彩色键的数值匹配，则确认预先子像素着色图像数据的存在。如果该数据指示存在彩色键，则该子像素着色装置知道有子像素着色的数据点。知道了存在预先子像素着色的数据集，通常的子像素着色的算法即被暂停，以利于简单数据的提取，在提取中红色数据点2814用来作为相关的红色重新构造点44的输出数值。注意，相关的红色预先子像素着色的数据取样在奇数行被移到像素1701的右侧，并在偶数行被左移一个像素。彩色键的数据值十中选一，“丢弃”。如果该取样数据点不与彩色键匹配，则执行通常的子像素着色的算法。图27C中所示的绿色数据平面执行类似的操作。可是此处，绿色预先子像素着色的取样2616在奇数行被左移一个像素1701，并在偶数行上被右移一个像素1701，与红色预先子像素着色的取样2814发生移位相反。在常规数据和预先子像素着色图像数据的边界，通常的子像素着色的算法以子像素着色的算法的常用方式处理，因为预先子像素着色的数据点可能以微小的误差，如果有误差的话，来替代非预先子像素着色的数据点。从而重映射的预先子像素着色的数据集2819简化了检测器，因为只需要进行一个首次检测，即检测该彩色键的中心自身彩色数值，以便知道重叠数据点可按常用方式进行处理。只有确定第一个彩色键数值匹配才需要顺次检测任何其它数值。再者，因为若和中心数值不匹配，即使该区域再取样区域必须重叠预先子像素着色的数据，仍可以执行常规的子像素着色的操作，由于有效数值存在于所有的重叠区域内。与图26A类似，与图18中预先子像素着色图像数据子集1919相比较，图27A所说的上述“交换”技术基本上颠倒了预先子像素着色图像数据子集2819内的红色和绿色的棋盘状图案。类似地，保证图27A的提取过程寻找合理的数值，而不是预先子像素着色图像数据子集内的“无效数值”。关于上面的“交换”技术，应当指出除了每隔一列的交换数值之外，可使用其它的交换方法。例如，当进行子像素着色时，环绕的非预先子像素着色的数据容易地存取在嵌入的预先子像素着色图像数据子集中的正确的和真实的彩色数据，毋须昂贵的确定嵌入的预先子像素着色图像数据子集的精确边界的超前方法。这样的其它方案可包括交换行或其它已知的几何关系，但并不仅限于此。仅仅在需要时非预先子像素数据存取校正环绕彩色数值就足够了。因此，处理具有嵌入的预先子像素着色图像的图像数据子集的实施方案和实施例已作了叙述。在前述的说明中，本发明参照特定的示范性的实施方案及其实施例进行叙述。但是，在不脱离如在所附的权利要求书中所提出的本发明的广义的精神和范围的情况下，显然可以进行各种修改和变化。因此说明书和附图是说明意义的，而不是限制意义的。
权利要求
1.一种处理图像的方法，包括子像素着色的图像；存储该子像素着色的图像作为预先子像素着色图像；以及传送该预先子像素着色图像，以便输出给显示器。
2.根据权利要求1的方法，其中配置该显示器显示该预先子像素着色图像。
3.根据权利要求1的方法，其中子像素着色该图像包含通过把滤波核施加到该第一图像数据集，从第一图像数据集产生第二图像数据集，该第二图像数据集表示该预先子像素着色图像。
4.根据权利要求3的方法，其中存储该第二图像数据集作为该预先子像素着色图像。
5.根据权利要求3的方法，还包括把该第二图像数据集嵌入该第一图像数据集。
6.根据权利要求5的方法，还包括检测该嵌入的第二图像数据集；以及传送检测的嵌入的第二图像数据集作为该预先子像素着色图像，以便输出给显示器。
7.根据权利要求3的方法，其中该第一图像数据集是常规的数据集，而该第二图像数据集是常规数据集与该滤波核的点矩阵积。
8.根据权利要求3的方法，还包括压缩该第二像数据集，从而存储该压缩的第二像数据集作为该预先子像素着色图像。
9.根据权利要求8的方法，还包括解压缩该压缩的第二图像数据集，从而传送该解压缩的第二图像数据集作为该预先子像素着色图像，以便输出给该显示器。
10.一种图像处理系统，包括至少一个具有子像素排列的显示单元，用于显示子像素着色图像；以及一个编码器，与提供图像的至少一个输入设备连接，该编码器能够检测该显示单元的该子像素排列；相应于检测的该子像素排列，子像素着色来自该输入设备的图像；和把该子像素着色图像输出到该显示单元。
11.根据权利要求10的图像处理系统，其中该输入设备包括具有子像素排列的成像装置，该子像素排列与该显示单元的子像素排列匹配。
12.根据权利要求10的图像处理系统，其中该显示单元是这样一种显示单元，至少是电视显示单元、无线设备单元、有线设备单元、移式电话机以及便携式计算设备单元中的一个。
13.根据权利要求10的图像处理系统，其中该显示单元显示输出该子像素着色图像的网络浏览器。
14.根据权利要求13的图像处理系统，其中该网络浏览器向该编码器提供关于该显示单元的子像素排列的信息。
15.根据权利要求13的图像处理系统，其中该编码器存储该子像素着色图像作为预先子像素着色图像，而且其中该网络浏览器输出该预先子像素着色图像。
16.根据权利要求13的图像处理系统，其中该网络浏览器能够检测网站是否提供子像素着色图像。
17.根据权利要求13的图像处理系统，其中该网络浏览器能够检测图像数据流中的子像素着色图像。
18.根据权利要求17的图像处理系统，其中该网络浏览器利用该图像数据流中的代码检测该图像数据流中的该子像素着色图像。
19.根据权利要求17的图像处理系统，其中该编码器可把该子像素着色图像嵌入该图像数据流中。
20.一种图像处理方法，包括把至少一个预先子像素着色图像嵌入图像数据集中；识别并提取在该图像数据集中的该嵌入的预先子像素着色图像；以及显示该嵌入的预先子像素着色图像。
21.根据权利要求20的方法，还包括存储该嵌入的预先子像素着色图像供以后显示。
22.根据权利要求20的方法，其中该图像数据集包括第一图像数据集和第二图像数据集。
23.根据权利要求22的方法，其中该第一图像数据集和该第二图像数据集的至少一个代表该预先子像素着色图像。
24.根据权利要求22的方法，其中该第一图像数据集代表该预先子像素着色图像，而该第二图像数据集代表非子像素着色图像。
25.根据权利要求24的方法，其中还包括对代表该非子像素着色图像第二图像数据集进行子像素着色；以及显示该子像素着色的第二图像数据集。
26.根据权利要求22的方法，其中或者该第一图像数据集或者代表该预先子像素着色图像的该第二图像数据集包括水印。
27.根据权利要求26的方法，还包括检测该水印；以及提取与该水印花纹图相关的该预先子像素着色图像供显示。
28.根据权利要求22的方法，其中该第一图像数据集和该第二图像数据集中至少一个包括彩色键。
29.根据权利要求28的方法，还包括基于该彩色键从其它图像数据集差分处理包括该彩色键的该图像数据集。
30.根据权利要求28的方法，其中包括该彩色键的图像数据集代表该预先子像素着色图像。
31.根据权利要求30的方法，还包括检测该彩色键；以及提取与该彩色键相关的该预先子像素着色图像供显示。
32.一种图像处理方法，包括把预先子像素着色图像数据子集嵌入常规的图像数据集中，该两个数据集包括输出图像的各自的数据点数值；对该常规图像数据集的数据点数值进行子像素着色；以及直接输出该预先子像素着色图像数据子集的数据点数值和输出图像的该常规图像数据集的子像素着色的数据点数值。
33.根据权利要求32的图像处理方法，还包括该预先子像素着色图像数据子集和该常规图像数据集中的至少一个数据集嵌入水印或彩色键，该水印或彩色键指示该输出图像的子集是预先子像素着色图像。
34.根据权利要求32的图像处理方法，其中该常规图像数据集包括多个彩色键，指示该预先子像素着色图的像数据子集的存在。
35.根据权利要求34的图像处理方法，其中该彩色键映射到输出图像的该常规图像数据集中的数据点的数值的特定数值。
36.根据权利要求34的图像处理方法，还包括通过确定在彩色键数值周围的环绕数据点的数值是否与该彩色键数值匹配来检测该预先子像素着色图像的存在。
37.根据权利要求36的图像处理方法，其中如果该环绕数据点的数值与该彩色键数值匹配，则对该彩色键数值进行十中选一。
38.一种图像处理方法，包括预先子像素着色源图像数据；在输入图像数据流中指出一个点，该输入图像数据流中嵌人该预先子像素着色源图像数据；选择地交换该预先子像素着色源图像数据的数值；以及把该交换的和未交换的预先子像素着色数据嵌人该输入图像数据流中的该点。
39.根据权利要求38的方法，其中预先子像素着色该源图像数据包括把彩色键加到该预先子像素着色数据来指示预先子像素着色。
40.根据权利要求39的方法，其中加该彩色键包括用第一预定义的彩色键数值代替该输入图像数据流中第一位置的真实的第一彩色数值；以及把第二预定义的彩色键代替该输入图像数据流中第二位置的真实的第二彩色键数值。
41.根据权利要求40的方法，其中选择地交换数值包括选择地交换预先子像素着色数据的数值，从而当非预先子像素着色数据正在子像素着色时，环绕在预先子像素着色数据的数值周围的该非预先子像素着色数据可代表该正确真实的彩色数据。
42.根据权利要求40的方法，其中选择地交换数值还包括交换该预先子像素着色数据的每隔一列的数值。
43.一种图像处理方法，包括把理想化的图像覆盖到多个彩色取样平面上；对于每个彩色取样平面，计算该彩色取样平面中每个取样点的滤波值；以及存储用于着色该理想化的图像的该滤波值。
44.根据权利要求43的方法，其中该滤波值用于获得与每个系数相关的该理想化的图像的彩色数值的点积，存储点积的结果作为预先子像素着色图像。
全文摘要
本发明揭示显示预先子像素着色图像的各种图像处理技术。该预先子像素着色图像可直接传送给能够显示子像素着色图像(10)的显示器。该预先子像素着色图像也可存储供以后传送，以便输出到该显示器(71)。另外，该预先子像素着色图像还可嵌入图像数据流中，并于以后提取和显示(85)。此外，嵌入和提取该预先子像素着色图像的各种技术也已揭示了。
文档编号G09G5/00GK1942922SQ200480008115
公开日2007年4月4日 申请日期2004年2月20日 优先权日2003年4月7日
发明者坎迪丝·海伦·勃朗·埃利奥特, 迈克尔·法兰西丝·希京斯 申请人:克雷沃耶提实验室有限公司