专利名称：彩色图象数据处理和压缩方法及装置的制作方法
技术领域：
本发明总地涉及成像方法和装置，具体讲，涉及由彩色图象传感装置对彩色图象进行处理和压缩的方法和装置。
诸如采用联合图片专家组(JPEG)格式的当前的彩色图象或视频压缩的方法在完全内插的彩色域处理数据。这些彩色域的实例包括具有4∶2∶2比例的YUV域(其中Y为亮度分量、U和V为色度分量和色差分量)和YCbCr域(其中Y为亮度分量、Cb为兰色度分量、Cr为红色度分量)。由于诸如Bayer格式数据的标准粗数据流难于压缩，因此要在这些域内进行数据处理。另外，除非象YCbCr的标准色域内所做的那样，它难于实现高水平的数据压缩。因此大多数压缩算法在进行图象数据压缩处理前都用一个将象YCbCr的RGB(红、绿、兰)粗数据内插到标准色域中的预处理步骤。
图1所示的流程图10表示了这一处理步骤。在方框12的RGB粗数据在内插方框14内进行预处理，将RGB粗数据内插为YCbCr域。接着从RGB粗数据域映射到YCbCr域。来自内插块14并在YCbCr域的信号在方框16得以图象增强，在方框18由压缩机进行压缩，并在方框20处进行存储和/或发送。在方框22，解压缩机将彩色图象数据解压缩。在方框12用软件来进行解压缩，而在方框14用附加专用硬件进行预处理内插。
YCbCr数据通常包括八位或八位以上的亮度数据，以及每个象素(例如图象元素)八位或八位以上的彩色数据。粗RGB数据通常包括每个象素八位或八位以上的亮度数据，其象素以诸如Bayer格式的预定格式排列。采用图象数据压缩以减少数据存储和/或减少从一个存储单元向另一存储单元发送图象数据所需的带宽或时间。
如图1的方框16所示，图象增强处理算法由于需要处理完全内插的彩色数据的压缩算法，而在方框18进行压缩之前进行YCbCr数据的预处理。尽管图象增强是用于改善对比度、色饱和、色量和其他图象参数，但在YCbCr数据上进行图象增强是很难的。例如由于YCbCr和其它色域数据的本性，YCbCr图象数据在内插之前经常缺少在每个象素中存在的原色信息。这使原图象数据的最终重构更复杂并导致难于获得高水平的图象质量。
因此，需要改进彩色图象数据的处理。
一种将原彩色图象格式映射成第一彩色图象格式的方法。第一彩色图象格式的彩色图象数据被压缩和解压缩。解压缩后的彩色图象数据被再映射成基本与原彩色图象格式相同的第二彩色图象格式。
图1为流程图，示出已知彩色图象数据处理和压缩。
图2为流程图，示出根据本发明的彩色图象数据处理和压缩方法。
图3a-3e示出可由图2的方法采用的映射、压缩、解压缩和再映射处理的一个实施例。
图4a-4g示出可由图2的方法采用的映射、压缩、解压缩和再映射处理的另一实施例。
图5示出可实现图2～4的方法和处理的图象传感系统的实施例。
下面详细描述彩色图象数据处理方法和装置的实施例。在以下的描述中提供了诸如图5中的彩色图象处理硬件中的元件的细节以彻底理解本发明的实施例。但本领域普通技术人员将理解本发明也可在不公开这些细节、方法和元件的情况下得以实施。在其它例子中，为避免与本发明的各种实施例的混淆，不再示出已知的结构或操作。
图2的流图30示出本发明的一个实施例。方框12处为一个粗数据源，它提供与标准Bayer格式相对应的RGB粗数据。尽管为了示意和简化说明仅描述了RGB数据，但应理解方框12可有其它的彩色图象数据格式。例如，方框12可以为CYM(青色、黄色、品红)粗数据源、CYWG(青色、黄色、白色、绿色)粗数据源或任何色编码方案。
在方框32，来自方框12的粗数据源的RGB粗数据的格式被映射算法记录或重组。下面参照图3进一步描述此映射的细节，此映射将RGB粗数据的非方形彩色格式重新排序成更易于被标准压缩算法处理的彩色格式。
在方框34，所记录的RGB格式被压缩机利用诸如JPEG算法、离散余弦变换(DCT)算法、或其它适合的压缩算法来压缩。在方框36的存储和/或压缩可在压缩之后进行。在方框38，压缩的数据在方框34上压缩前被解压成再映射/再排序的RGB格式的复制件(或等同与此等复制件)。在方框38处的解压缩的RGB格式包括如果不是全部的话也是大多数的压缩之前的原色信息。
在方框40，由重构算法对解压后的RGB格式重新映射或重新排序。重构算法将解压后的RGB格式重新映射成到方框32之前的原RGB粗数据格式。随后，在诸如方框42中将重构的RGB粗数据内插到YCbCr域内。在另一实施例中，到YUV的内插可在方框42中进行。
除了在方框42处内插之外，还在方框44处进行图象增强处理。此图象增强处理可包括改进对比度、色饱和、色量等。与前文描述的已有技术相似，由于通过图2的处理使更多原色成分保存下来，在方框44处本发明的实施例使图象增强更为容易。
如图2的流图30所示，方框12和32-42中进行的操作是在RGB粗数据域内进行的。也就是说，压缩和解压缩是在RGB粗数据域内进行的，直到在方框38中解压之后，才进行从一个色域到另一色域的内插(如从RGB域到YCbCr域)。
与此类似，直到在方框38处解压之后，才由本发明的实施例进行图象增强。方框44上的图象增强是在YCbCr域进行的，并使带给图象质量上的负冲击最少，在已有技术中，这种冲击是从粗彩色图象数据内插到标准彩色域期间出现的彩色信息的丢失。
图3a-3e示出由图2的方框12和32-40所进行的处理的实施例。在图3a处开始，尽管诸如CYM格式的其它彩色格式可以是粗数据源的一部分，却只示出了标准RGB彩色格式50。格式50可以以按Bayer格式排列的彩色滤波器来实现，例如，该滤波器安排列格式滤波并提供光线。格式50包括一个具有多个红R、兰B和绿G元素的棋盘格图案。
典型地，红R和兰B元素/平面如图3a所示以方块形排列。如图3b所示，绿G元素/平面通常以非方块图形52的方式排列。由于诸如利用JPEG格式的大多数压缩算法是在YCbCr域在方形图案上进行压缩，因此，本发明的实施例将非方形G平面图52重新排序或映射成图3c的方形G平面图54。也就是说，如果非方形图52中的绿G元素指定为G00-G31，且G30被重新排序，这样就获得图3c的方形G平面结构。这可在诸如图2的方框32中出现。
接着，在方形G平面图54中的数据通过图2的方框32-38被压缩和解压，以获得图3d的方形图56。图56包括如果不是全部的话也是大多数的图3c方形G面图54中的数据，并被指定为图3d中的g00-g31元素。图3e示出作为图3d重构版本的图56的非方图58，其中g01,g10,g21和g30元素(代表原G01,G10,G21和G30元素)被重新映射或恢复到其原位置处。图2的方框40在解压之后可进行此重构。
利用传统压缩算法，G面数据通常被压缩到YCbCr域的Y亮度通道内，而R和B面数据分别被压缩到Cr和Cb色度通道内。如果直接将粗RGB数据加到压缩算法上而没有内插，以压缩的人工产物使图象大量降级的情况就会在解压缩时经常出现。
因此，本发明的另一映射技术着力于在应用了压缩算法之前将非方形G面数据映射或重新排序成多方形G面。具体首先参考图4a,RGB色图50中的绿G元素由G00-G31代表。在水平和垂直轴有多个位置的图4b的图60的绿G元素/象素G00,G01,G20和G21，以及在水平和垂直轴具有奇数个位置的绿G元素/象素G10,G11,G30和G31被映射到各方形G面上。也就是说，绿G元素/象素G00,G01,G20和G21被映射到图4c的方形G面图62上，而绿G元素/象素G10,G11,G30和G31被映射到图4d的方形G面图形64上。可在图2的方框32中进行到两个单独方形G面的映射(标为G面#0和G面#1)。
这些偶和奇G面随后由方框32-38作为单独面进行压缩和解压缩，在图4e-4f中由具有g00-g31元素的图案来表示。在解压之后，两个方形G面#0和#1被方块40重新定位或重新映射，以产生如图4g所示原单个非方形G面图形70。由于两个单独的方形G面和方形R和B面被分别用在压缩算法上，在更多原色内容得以保留的同时，图象劣化戏剧性地减少了。
图5示出实现前面的附图和上述内容的方法和处理步骤的图象传感器系统80。如最初所考虑的，诸如图1的已有技术方法的彩色内插、图象增强和数据压缩通常是由专用的硬件来完成的。如图1进一步示出的，解压通常是由主计算机和/或软件完成的。
与之相比，图5的图象传感系统80的实施例包括用于执行数据映射的硬件，它比用于彩色内插和图象增强所用的已有技术硬件更为简单。这使硬件的复杂性和尺寸减小。此外，由于本发明的实施例在数据出现在主系统之前(例如在图2的方块38处解压之后)一直将彩色内插保持在一标准彩色域内，这样，就可用主计算机和软件来实现彩色内插。与之类似，在方框44处的增强也可用主计算机和软件来实现。在改进最终图象质量的同时，使所需专用硬件的数量减少。
图象传感系统80包括一个图象传感器阵列82。该图象传感器阵列82包括多个光传感元件，以及以诸如图3a和4a的RGB彩色图案50的图案排列的一个或多个彩色滤波器。与RGB彩色图案50中不同的彩色相对应的来自图象传感器阵列82的行信号被加给传感器读出结构84上。
传感器读出结构随后通过一个或多个线路与接收同R-、G-和B-面彩色图象数据(例如RGB粗数据)对应的多个输入信号的诸如重新排序/再交换单元的重新排序/再交换单元86相耦合。该重新排序/现交换单元86以诸如图3c、4c和4d所示的方式对G面元素进行重新排序/再交换。重新排序后的彩色图象数据随后被加给压缩单元88，它用已知的适当的压缩算法和相关的硬件来压缩该重新排序的彩色图象数据。在一个实施例中，单元86和88可包括一个或多个数字信号处理器(DSP)单元。
根据一个实施例，图象传感器阵列82、传感器读出结构84、重新排序/再交换单元86和压缩单元88都在一个单一集成电路芯片90上。在另一实施例中，这些元件中的一个或多个并不在IC芯片90上，而可在其它IC芯片上，或作为单独的元件存在于图象传感器系统80上。因此，本发明的实施例并不局限于元件在图象传感器系统80中的特定位置。
由压缩单元88压缩的彩色图象数据可存在存储和/或发送单元92中。单元92可包括任何类型的适当的机器可读存储介质，包括(并不局限于)随机存取存储器、软盘、硬盘等，以及相应的处理、通信和发送硬件，它可存储要被恢复和发送到图象传感系统80中的其它元件上的数据。
主计算机94(或软件)随后处理存储在存储和/或发送单元92中的数据。主计算机94包括各硬件(包括处理器)和软件，图5中仅示出了几个。在一个实施例中，主计算机94是与IC芯片90分开的，而在另一实施例中，主计算机94的一个或多个元件可在IC芯片90上。在再另一实施例中，单独的机器可读介质可具有一组指令，当由一个或多个处理器(未示出)执行时，进行上述的各种处理和算法。因此，本发明的实施例并不局限于主计算机94的软件或硬件的具体位置(或执行的位置)。
主计算机94包括解压缩单元96和重构单元98，两者均可以软件实现，以进行如前所述的解压缩和重构处理。如果进行内插(例如从RGB空间到YCbCr空间)，一彩色矩阵和内插单元100用已知的技术进行内插。由亮度信号处理单元102接收所产生的Y亮度数据，由色度信号处理单元104接收所生成的Cb和Cr数据。处理单元102和104随后可产生一输出信号106，或者它们给图象增强单元108提供输入，它可在彩色图象数据上进行图象质量改进。
总之，本发明的实施例通过在压缩之前进行重新排序、对彩色图象数据压缩和解压而提供改进了的彩色图象数据，并随后将彩色图象数据重新构造成其原彩色格式。内插和/或图象增强可在彩色图象数据被解压和重构之后进行。结果是在处理地自始至终的过程中使大部分原色数据被保留下来。
本发明的实施例并非用于穷举或将本发明限制在与所公开的内容完全一样的形式下，而本发明的具体实施例只是用作说明的目的，应当理解对于本领域的普通技术人员来讲在本发明的范围内可进行各种等价的修改。
根据上述详细描述可对本发明进行这些修改。下面的权利要求中所用的术语不应将本发明仅局限于说明书和权利要求书所公开的具体实施例上。而本发明的范围应整体地由以下的权利要求来确定，该权利要求应按对权利要求的专门的解释原则来解释。
权利要求
1．一种方法，包括步骤将原色图象格式映射成第一彩色图象格式；将第一彩色图象格式的彩色图象数据压缩和解压；以及与原色图象格式的映射方式基本相同，将解压的彩色图象数据再映射成第二彩色图象格式。
2．如权利要求1的方法，还包括从第一彩色空间到第二彩色空间内插第二彩色图象格式的彩色图象数据。
3．如权利要求1的方法，还包括在第二彩色图象格式的解压的彩色图象数据上进行图象增强处理。
4．如权利要求1的方法，还包括步骤从RGB空间到YCbCr彩色空间内插第二彩色图象格式的解压的彩色图象数据；以及在YCbCr彩色空间的内插的彩色图象数据上进行图象增强处理。
5．如权利要求1的方法，其中从原色图象格式到第一彩色图象格式的映射包括将原色图象格式的非方形、彩色平面格式数据重新排序成方形、彩色平面格式数据。
6．如权利要求1的方法，其中从原色图象格式到第一彩色图象格式的映射包括将多个原色图象格式的非方形、彩色平面格式数据重新排序成对应的多个方形、彩色平面格式数据。
7．如权利要求1的方法，其中从原色图象格式到第一彩色图象格式的映射包括将多个原色图象格式的非方形、彩色平面格式数据重新排序成对应的多个方形、彩色平面格式数据，该方法还包括分别地对多个方形、彩色平面格式数据压缩和解压。
8．一种方法，包括步骤接收以非方形彩色图象格式排列的彩色图象数据；将非方形彩色图象格式映射成基本为方形的彩色图象格式；将基本为方形彩色图象格式的彩色图象数据压缩和解压；以及与非方形彩色图象格式的映射基本相同，将解压的彩色图象数据再映射成另一彩色图象格式。
9．如权利要求8的方法，还包括从RGB空间到YUV彩色空间内插另一彩色图象格式的彩色图象数据。
10．如权利要求8的方法，还包括在另一彩色图象格式的解压彩色图象数据上进行图象增强处理。
11．如权利要求8的方法，其中从非方形彩色图象格式到基本方形彩色图象格式的映射包括将多个非方形彩色图象格式的非方形、彩色平面格式数据重新排序成对应的多个方形、彩色平面格式数据。
12．一种图象传感器系统，包括图象传感单元，以产生以第一彩色图象格式安排的彩色图象数据；与该图象传感单元相连接的重新排序单元，将第一彩色图象格式重新排序成为第二彩色图象格式；与重新排序单元相连接的压缩/解压缩单元，将从重新排序单元接收的第二彩色图象格式的彩色图象数据压缩和解压；以及处理器，与对第一彩色图象格式基本相同的方式，将第二彩色图象格式的解压的彩色图象数据重新构造成第三彩色图象格式。
13．如权利要求12的系统，其中该处理器包括主计算机的部分，该主计算机包括一重构单元，根据该处理器进行解压的彩色图象数据的重构；以及内插单元，从第一彩色空间到第二彩色空间内插第三彩色图象格式的彩色图象数据。
14．如权利要求12的系统，还包括图象增强单元，以在第三彩色图象格式的彩色图象数据上进行图象增强。
15．如权利要求12的系统，其中图象传感器单元和重新排序单元位于同一集成电路芯片上。
16．一种机器可读的并在机器上存储的指令，在由一或多个处理器执行时，这些处理器可进行下述步骤将原色图象格式映射成第一彩色图象格式；将第一彩色图象格式的彩色图象数据压缩和解压；以及与原色图象格式基本相同的方式将解压的彩色图象数据重新映射成第二彩色图象格式。
17．如权利要求16的机器可读介质，其中的指令可使处理器还执行以下步骤从第一彩色空间到第二彩色空间内插第二彩色图象格式的彩色图象数据。
18．如权利要求16的机器可读介质，其中的指令可使处理器还执行以下步骤在解压的第二彩色图象格式的彩色图象数据上进行图象增强处理。
全文摘要
一种包括接收以诸如Bayer格式的RGB粗数据的非方形彩色图象格式排列的彩色图象数据的方法。非方形彩色图象格式的G面彩色图象数据被映射成基本为方形的彩色图象格式。对基本方形的彩色图象格式的G面彩色图象数据压缩和解压。在解压之后,解压的G面彩色图象数据被以原非方形G面彩色图象格式的映射基本相同的方式重新映射成另一G面彩色图象格式。与图象增强处理同时或之后,从RGB空间到诸如YC
文档编号H04N1/64GK1315804SQ0111091
公开日2001年10月3日 申请日期2001年2月28日 优先权日2000年3月28日
发明者J·单, W·黄 申请人:全视技术有限公司