专利名称：图像处理装置和图像捕获装置的制作方法
技术领域：
本发明涉及一种用于处理彩色图像信号的图像处理装置以及一种包括该图像处理装置的功能的图像捕获装置，具体地说，涉及一种图像处理装置以及一种包括信号处理电路的图像捕获装置，所述的信号处理电路具有并行处理多个预定过滤分量(filtercomponent)的图像信号的功能。
背景技术：
图像捕获装置，诸如数码摄像机和数码照相机，包括图像传感器(例如，电荷耦合器件(CCD)或互补金属氧化物半导体图像传感器(CMOS传感器))。通常，这些图像传感器从二维阵列像素读出信号、将这些信号转换为一个数据流、并从输出通道输出该数据流。例如，在已知的CCD中，图像信号被传送到为多列中的每一列提供的垂直寄存器。随后，这些信号被逐行传送到水平寄存器并输出。这样，这些信号就被转换为一个数据流。相反，在CMOS传感器中，例如，读出多行中一行的图像信号，并存储在为所有列提供的电容器中。从第一个电容器或最后电容器顺序地输出信号，以转换为一个数据流。
图33是包括单通道输出图像传感器的图像捕获装置主要部分的示例性结构的框图。
如图33所示，模拟前端(AFE)电路912包括相关双重采样(CDS)电路、自动增益控制(AGC)电路、和模数(A/D)转换电路。模拟前端(AFE)电路912将来自图像传感器911的模拟图像信号转换为数字信号，并输出该数字信号。像机信号处理电路913对来自AFE电路912的图像信号执行各种像机信号处理，例如，数字箝位、降噪、缺陷校正、解马赛克(demosaic)(同步)、白平衡校正、及分辨率转换。最后，像机信号处理电路913将图像信号以亮度信号(Y)和色差信号(C)的形式输出到基带处理电路914。基带处理电路914执行与基带相关的处理，例如，压缩编码输入的图像信号及将信号转换为监控器显示信号。
以下将参考Bayer阵列形式讨论输入到像机信号处理电路913的图像信号的色彩顺序，Bayer阵列形式广泛用作图像传感器的滤波编码(filter coding)。图34A和图34B是示出了当从一个输出通道输出具有Bayer阵列形式的图像传感器的像素信号时的色彩顺序的示图。
如图34中所示，在具有Bayer阵列形式的图像传感器中，像素被排列为从奇数行的开头开始交替排列R和Gr，且从偶数行的开头开始交替排列Gb和B。当仅提供一个输出通道时，从该像素阵列的左上方开始沿水平方向顺序扫描像素。当完成1H周期后，以相同方式扫描下一行，从而读出图像信号。因此，如图34B中所示，从图像传感器911输出到输出通道Ch1的像素信号的色彩顺序是对奇数H周期来说为“R、Gr、R、Gr、......…”，而对偶数H周期来说为“Gb、B、Gb、B、......”。因此，对各个颜色执行处理的像机信号处理电路913需要识别出这样的色彩顺序，并与该色彩顺序同步地对输入信号R色、G色、和B色适当执行各种处理。
近年来，具有超过一百万像素的高像素图像传感器的图像捕获装置得到越来越多的使用。在这样的图像传感器中，由于像素数量很大，因此对于以上所述的单通道读出方法来说，像素的读出频率变得很高。尤其是，与摄像机相同，当每个屏幕的读出时间受到限制时，需要高频率。如果读出频率变得太高，那么消耗功率就会增加。另外，由于受到模拟信号处理的限制，信号的读出也变得不可能了。
为了解决这一问题，近年来，开发出了能够通过多个通道读出图像传感器像素信号的像机信号处理系统。如果像机处理系统能够通过多个通道从图像传感器读出像素信号，那么就能降低单个通道的读出频率。因而，就能够解决以上所述的问题。
如果采用多个通道读出，又会发生多个通道所特有的问题，诸如来自这些通道的模拟信号的电平不均匀。因此，已提出以下两项技术，一项技术是检测出通道之间信号电平的差异并校正该差异(例如参考日本未审查专利申请公开第7-75019号，具体参考 段到 段和图1)，另一项技术是以多行的积分值为基础检测差异(例如参考日本未审查专利申请公开第2002-252808号，具体参考 段到 段和图1)。
以下给出在Bayer阵列形式的图像传感器中使用多个输出通道时的色彩顺序的实例。图35A-B到图37A-B是分别示出了经由2个通道、3个通道、和4个通道读出像素信号时的色彩顺序的图。
在图35A中，从第一像素开始的像素信号被交替输出到两个输出通道Ch1和Ch2。在这种情况下，如图35B所示，通过在一个时钟周期中同时读出两个像素(通道Ch1读出一个和通道Ch2读出一个)，读出频率可降低1/2。另外，在图36A中，从第一像素开始的像素信号被顺序分配给三个输出通道Ch1、Ch2、和Ch3，并输出到这些输出通道。在这种情况下，如图36B所示，通过在一个时钟周期中同时从三个像素输出信号，读出频率可降至1/3。在图37A中，从第一像素开始的像素信号被顺序分配给四个输出通道Ch1～Ch4并输出给四个输出通道。在这种情况下，如图37B所示，通过在一个时钟周期中同时从四个像素输出信号，读出频率可降至1/4。
此外，如图38A到40B所示，提出了一项将像素信号从多行同时读出到对应输出通道的技术。图38A-B到图40A-B示出了在分别通过2、4、和6个通道读出2行像素信号情况下的色彩顺序。
如图38A中所示，将输出通道Ch1分配给图像传感器的奇数行，而将输出通道Ch2分配给图像传感器的偶数行。在这种情况下，如图38B所示，通过在一个时钟周期中同时读出2行像素信号，读出频率可降低1/2。
在图39A中，将输出通道Ch1～Ch4分配给2行×2列的图像传感器组。在这个实例中，来自列1中行1和行2的信号被分别输出到通道Ch1和Ch2。另外，来自列2中行1和行2的信号被分别输出到通道Ch3和Ch4。在这种情况下，如图39B所示，通过在一个时钟周期中同时读出4个像素信号，读出频率可降至1/4。
在图40A中，将输出通道Ch1～Ch4分配给2行×3列的图像传感器组。在这个实例中，来自列1中行1和行2的信号被分别输出到通道Ch1和Ch2。另外，来自列2中行1和行2的信号被分别输出到通道Ch3和Ch4。来自列3中行1和行2的信号被分别输出到通道Ch5和Ch6。在这种情况下，如图40B所示，通过在一个时钟周期中同时读出6个像素信号，读出频率可降至1/6。
应注意，对XY地址扫描型图像传感器(例如CMOS传感器)来说，以上所述的读出操作可在不明显改变其基本结构的条件下轻松实现。
如上所述，通过提供多个输出通道，读出每一屏幕像素信号所需时钟周期的总数可减小，因此，读出频率可降低。然而，如上所述，取决于通道数目并取决于要同时输出哪些像素组，有可能有多种输出顺序。为了能选择输出顺序，需要开发出适当的信号处理电路，并安装到相机中。
例如，如图39A和39B所示，在一个读出操作过程中，四种过滤分量R、Gb、Gr、和B重复出现。如果这个重复数“4”(或“4”的整倍数)等于输出通道的数目，那么在任意H周期中，一个输出通道就可输出相同过滤分量的信号。因而，下游电路(例如，图33中所示的像机信号处理电路913)可同时处理相同过滤分量的信号。因此，可简化电路配置。然而，在许多情况下(例如，图40A和图40B中所示的情况)，就不满足这个条件了。由于受到以电路规模和制造成本为基础的输出通道数目和读出频率的限制，很难设计出在任何条件下都满足上述条件的电路。
此外，已提出一种系统，其中，从图像传感器输出的多个通道的信号并不直接传送到下游电路。所述系统将信号复用以减少通道数目，并传送信号。图41是具有这种复用功能的信号处理系统的示例性框图。
与图33中所示的配置不同，图41中所示的信号处理系统的配置中包括具有复用(MUX)功能的AFE电路912a。AFE电路912a将从N个通道输出的信号复用为(例如)N/2个通道的信号(N大于2的整数)。例如，通过对来自两个相邻通道的信号进行时分复用，AFE电路912a可减少输出通道的数目。虽然这样的复用操作使输出频率加倍，但在将信号转换为数字信号之后，可通过复用信号实现这样的高频率。
在这种复用操作中，由于出现了多种组合的复用通道，因此，除支持大量的输出通道以及从所述图像传感器输出的大量读出方式之外，还需要开发出对应于各种输出顺序的信号处理电路。
发明内容
如上所述，来自图像传感器的像素信号的输出顺序有许多种方式。如果输出经过复用的话，方式的数目就更多了。需要操作下游信号处理电路的所有模块来支持所有的输出顺序。为了支持所有以上所述的输出顺序，信号处理电路的配置将变为更大规模，并且明显变复杂。
近年来，当将新型图像捕获装置引入市场时，为了降低开发和制造成本，越来越需要设计一种信号处理电路，在无需改变其基本配置的条件下，它可在多年内支持不同类型的图像传感器(例如，具有不同像素分辨率的图像传感器)。然而，很难确定所有的像素信号读出方法都可用于以后几年。因此，支持规格受到了限制。
因此，本发明提供了一种小规模的图像处理装置，其有足够多的用途来支持图像信号的输入顺序的改变。
本发明还提供了一种图像捕获装置，其包括有足够多用途来支持图像信号的输入顺序改变的小规模图像处理功能。
根据本发明的一个实施例，用于处理彩色图像信号的图像处理装置包括信号处理装置，用于并行处理多个图像信号，其中，多个图像信号与预定的过滤分量一一对应；存储装置，包括与过滤分量一一对应的存储区；参数接收装置，用于接收表示与图像信号中过滤分量的输入顺序一致的设置的控制参数；写装置，用于根据由控制参数所表示的设置，对基于从固态图像传感器输出的信号的多个通道的输入图像信号按照其过滤分量进行分类，其中，写装置将经过分类的图像信号写入对应的存储区；和读装置，用于经由各个输出通道从存储区顺序读出图像信号，该读装置将图像信号传送到信号处理装置。
在这样的图像处理装置中，信号处理装置能够并行处理多个图像信号，其中，多个图像信号与预定的过滤分量一一对应。在写装置和读装置的控制下，基于固态图像传感器的输出信号的多个通道的输入图像信号被存储在存储装置中，并随后传送到信号处理装置。存储装置包括与过滤分量一一对应的存储区。参数接收装置接收表示与图像信号中过滤分量的输入顺序一致的设置的控制参数。
写装置根据由控制参数所表示的设置，来对多个通道的输入图像信号按照其过滤分量进行分类。之后，写装置将经过分类的图像信号写入对应的存储区。读装置经由各个输出通道从存储区顺序读出图像信号，并将图像信号传送到信号处理装置。因而，按照过滤分量分类并将被信号处理装置并行处理的图像信号得到输出，以便信号处理装置接收到根据恒定规则按照过滤分量分类的图像信号，而不管图像信号的输入顺序如何。
如上所述，写装置根据由控制参数表示的设置(其与输入图像信号的输入顺序一致)，对多个通道的输入图像信号按照其过滤分量来进行分类。写装置经由各个输出通道从存储区顺序读出图像信号，并将图像信号传送到信号处理装置。这样，按照过滤分量所分类并且将被信号处理装置并行处理的图像信号从存储装置的各个通道输出。因此，即使当图像信号的输入顺序不同时，按照过滤分量根据恒定规则分类的图像信号仍可提供给信号处理装置。
因此，该图像处理装置可在不改变电路配置的情况下，支持由于以下组合的改变而引起的输入顺序改变，例如，固态图像传感器读出通道的数目、读出像素信号的复用方法、固态图像传感器的像素数目、和滤波编码的组合。另外，与包括支持所有输入顺序的处理功能的信号处理装置相比，该信号处理装置的电路规模可明显减小。
图1是根据本发明实施例的图像捕获装置主要部分的结构框图；图2示出了CMOS传感器中彩色滤光片(color filter)的排列；图3示出了从CMOS传感器多通道读出信号并复用这些信号的配置；图4示出了在CMOS传感器上一个像素位置的输出通道分配方案的实例；图5A和图5B示出了在AFE电路中复用方案的不同变化；图6示出了当经由8个通道读出像素时的复用实例；图7是数字信号处理电路内部配置的框图；图8示出了在分类处理单元执行分类操作前后的色彩顺序的实例；图9是分类处理单元内部配置的框图；图10是EN发生器内部配置的框图；图11示出了在MUX类型A中当图像传感器读出通道的数目为“8”时的色彩顺序和使能信号；图12示出了在MUX类型B中当图像传感器读出通道的数目为“8”时的色彩顺序和使能信号；
图13示出了在MUX类型A中当图像传感器读出通道的数目为“6”时的色彩顺序和使能信号；图14示出了在MUX类型B中当图像传感器读出通道的数目为“6”时的色彩顺序和使能信号；图15示出了在MUX类型A中当图像传感器读出通道的数目为“4”时的色彩顺序和使能信号；图16示出了在MUX类型B中当图像传感器读出通道的数目为“4”时的色彩顺序和使能信号；图17示出了当图像传感器读出通道的数目为“2”时的色彩顺序和使能信号；图18是写控制单元内部配置的框图；图19是信号分类单元内部配置的框图；图20是写控制单元中的解码器内部配置的框图；图21示出了在MUX类型A中当图像传感器读出通道的数目为“8”时，对选择信号的解码操作；图22示出了在MUX类型A中当图像传感器读出通道的数目为“6”时，对选择信号的解码操作；图23示出了在MUX类型A中当图像传感器读出通道的数目为“8”时的图像信号排列；图24示出了在MUX类型B中当图像传感器读出通道的数目为“8”时的图像信号排列；
图25示出了在MUX类型A中当图像传感器读出通道的数目为“6”时的图像信号排列；图26示出了在MUX类型B中当图像传感器读出通道的数目为“6”时的图像信号排列；图27示出了在MUX类型A中当图像传感器读出通道的数目为“4”时的图像信号排列；图28示出了在MUX类型B中当图像传感器读出通道的数目为“4”时的图像信号排列；图29示出了在MUX类型A和B中当图像传感器读出通道的数目为“2”时的图像信号排列；图30是读控制单元内部配置的框图；图31是根据本发明另一个实施例的读控制单元内部配置的框图；图32是包括在使用Bayer阵列形式的图像捕获装置中的数字信号处理电路的框图；图33是包括单通道输出类型图像传感器的已知图像捕获装置主要部分的示例性结构框图；图34A和图34B是示出了当具有Bayer阵列形式的图像传感器的像素信号从一个输出通道输出时的色彩顺序的示图；图35A和图35B是示出了当使用两个通道读出图像传感器的像素信号时的色彩顺序的示图；
图36A和图36B是示出了当使用三个通道读出图像传感器的像素信号时的色彩顺序的示图；图37A和图37B是示出了当使用四个通道读出图像传感器的像素信号时的色彩顺序的示图；图38A和图38B是示出了当使用两个通道读出两行中的像素信号时的色彩顺序的示图；图39A和图39B是示出了当使用四个通道读出两行中的像素信号时的色彩顺序的示图；图40A和图40B是示出了当使用六个通道读出两行中的像素信号时的色彩顺序的示图；以及图41是具有复用信号能力的信号处理系统的示例性框图。
具体实施例方式
以下将参考附图详细描述本发明的示例性实施例。
图1是根据本发明实施例的图像捕获装置的主要部分的结构框图。
如图1中所示，该图像捕获装置包括光学组块11、驱动器11a、CMOS图像传感器(下文中简称为“CMOS传感器”)12、定时发生器(TG)12a、模拟前端(AFE)电路13、数字信号处理电路14、像机控制电路15、用户接口(I/F)控制电路16、用户I/F 17、和运动传感器18。
光学组块11包括透镜，用于将来自对象的光聚集在CMOS传感器12上；驱动机构，用于移动透镜来执行聚焦和变焦；快门机构；和光圈机构。驱动器11a根据来自像机控制电路15的控制信号驱动光学组块11中的各个机构。
CMOS传感器12包括以二维阵列排列在CMOS衬底上的多个像素。每个像素都包括光电二极管(光电门)、传输门(快门晶体管)、开关晶体管(地址晶体管)、放大晶体管、和复位晶体管(复位门)。CMOS传感器12进一步包括垂直扫描电路、水平扫描电路、和图像信号的输出电路，它们都处在CMOS衬底上。CMOS传感器12通过从TG 12a输出的定时信号驱动，并将从对象入射的光转换为电信号。TG 12a在像机控制电路15的控制下输出定时信号。
CMOS传感器12具有用于输出像素信号的多个输出通道。CMOS传感器12可从这些输出通道并行地输出像素信号，以降低读出频率。另外，例如，CMOS传感器12可将来自图像传感器上的一行中相邻像素的相同过滤分量的像素信号加和，并同时输出这些信号。因此，可在不增加用于读出像素信号的同步频率的条件下，以比正常屏幕速度更高的屏幕速度输出图像信号。此外，可使用除CMOS传感器以外的图像传感器(例如CCD器件)。
AFE电路13由例如一个集成电路(IC)构成。AFE电路13通过使用相关双重采样方法，对从CMOS传感器输出的图像信号执行采样保持操作，以获得有效的信噪(S/N)比。AFE电路13接着通过自动增益控制来控制图像信号的增益、执行A/D转换、并输出数字图像信号。用于执行CDS操作的电路可与CMOS传感器12一样形成在相同的衬底上。
此外，AFE电路13具有对从CMOS传感器12通过多个通道输入的图像信号进行时分复用的复用(MUX)功能，从而减少输出通道的数目并输出图像信号。例如，AFE电路13从CMOS传感器12接收N个通道的图像信号，并将信号作为N/2通道的信号输出。
数字信号处理电路14由例如一个集成电路(IC)构成。数字信号处理电路14对来自AFE电路13的图像信号执行各种像机信号处理中的全部或一些处理，例如，自动聚焦(AF)处理、自动曝光(AE)处理、白平衡校正、和伽马校正，并执行检测处理来控制像机信号处理。具体地说，根据本实施例，数字信号处理电路14起到以下功能改变通过多个通道来自AFE电路13的图像信号的顺序，及将图像信号输入到以上所述的处理模块中。
像机控制电路15是例如微控制器，其包括中央处理器(CPU)、只读存储区(ROM)、和随机存取存储器(RAM)。像机控制电路15执行存储在(例如)ROM中的程序，以便执行对图像捕获装置的组件的完全控制。例如，像机控制电路15根据来自数字信号处理电路14的检测数据和来自运动传感器18的检测信号来识别当前输入图像的状态。随后，像机控制电路15控制图像捕获操作，并根据由I/F控制电路16所指定的设置模式来执行图像质量校正。
用户I/F 17包括显示器，其用于通知用户设置模式。用户I/F 17进一步包括键和杆来输入用户操作。用户I/F控制电路16检测由用户选择的设置模式(诸如摄影模式)，并将该信息传送到像机控制电路15。另外，用户I/F控制电路16指示用户I/F 17向用户显示从像机控制电路15接收到的像机控制信息，例如对象距离、F数、快门速度、和变焦透镜的放大率。
运动传感器18在捕获图像时，通过二维加速传感器或角速度传感器来检测像机抖动。运动传感器18接着将检测信号传送到像机控制电路15。
在该图像捕获装置中，由CMOS传感器12接收到的光被转换为电信号，其被顺序传送到AFE电路13。信号经过CDS处理和AGC处理。所述信号接着被转换为数字信号。数字信号处理电路14对从AFE电路13传送的数字图像信号执行图像质量校正。最终，数字信号处理电路14将数字图像信号转换为亮度信号(Y)和色差信号(C)，并输出这些信号。
从数字信号处理电路14输出的图像数据被传送到图形I/F(未示出)，然后转换为显示图像信号。因而，在显示单元(诸如液晶显示器(LCD))上显示像机拍摄图像。另外，当用户在用户I/F 17上执行输入操作以指示像机控制电路15记录图像时，来自数字图像处理电路14的图像数据被传送到编码器(未示出)。图像数据经过预定图像压缩处理然后记录在记录介质(未示出)上。当记录静止图像时，数字信号处理电路14将一帧的图像数据传送到编码器。相反，当记录运动图像时，由数字信号处理电路14处理的图像数据被连续传送到编码器。
接下来描述应用于图像捕获装置的CMOS传感器12的滤波编码。图2示出了CMOS传感器12中彩色滤光片的排列。
在图2中所示的彩色滤光片排列中，方格网阵列倾斜45°角，每个R和B过滤器都围绕有G过滤器。与已知的Bayer阵列形式相比，这种结构能够提供实现针对R和B分量完全被人眼可见特征所必须的空间频率特征，且能够增加G分量的空间频率特征，人眼对G分量比对R和B分量更敏感。G分量是生成亮度分量的必须分量。G分量增加不仅增加无色彩对象的亮度分辨率，而且也增加彩色对象的亮度分辨率。因而，图像的质量可获得提高。
在这种彩色滤光片排列中，如图2中的虚线箭头所示，在一个水平同步周期期间，交替读出两个相邻行中的像素。就是说，当仅提供一个输出通道时，像素是以此顺序扫描和读出的。如以下将描述，使用八个输出通道以各种方式从具有这种彩色滤光片排列的图像传感器中读出像素。
图3示出了从CMOS传感器12多通道读出信号并复用这些信号的配置。
如上所述，AFE电路13复用来自MOS传感器12的N个通道的像素信号，并输出N/2通道的信号。在这个实施例中，如图3中所示，假设像素信号是使用8个通道从CMOS传感器12并行读出然后输出到AFE电路13的，将这些通道标为Ch1～Ch8。另外，AFE电路13经由8个通道接收这些输入信号，并将这些信号时分复用为4个通道的复用信号(例如，Sig1～Sig4)。此后，AFE电路13将这些经复用的信号Sig1～Sig4传送到数字信号处理电路14。
在此配置中，来自AFE电路13的复用信号Sig1～Sig4的输出频率是CMOS传感器12读出频率的二倍。即使当CMOS传感器12包括大量像素，例如几百万个时，也能通过增加并行读出的信号的数目，将读出频率降到模拟信号处理可接收的范围内。另外，由于复用信号Sig1～Sig4是以数字信号的形式从AFE电路13传输到数字信号处理电路14，因此可很容易增加传输频率使其高于CMOS传感器12的读出频率。
图4示出了在CMOS传感器上一个像素位置的输出通道分配方案的实例。
根据这个实施例，如图4中所示，为便于描述，将CMOS传感器12上的彩色滤光片分成六种类型的过滤分量R、B、Gr、Gb、Ggo、或Gge。在实际操作中，对Gr、Gb、Ggo、和Gge过滤分量，使用的是具有相同分光镜特性的彩色滤光片。然而，由于数字信号处理电路14将四种过滤分量Gr、Gb、Ggo、和Gge识别为不同的过滤分量，因此认为这六种类型的像素为不同的过滤分量。另外，每种过滤分量的像素从图像传感器上沿水平方向第一个读出的一端开始(图4中从左侧开始)标以参考数“R1”、“R2”、......。
如图4中所示，在CMOS传感器12上，R和Gr交替排列在第一行中，Ggo和Gge交替排列在第二行中，Gb和B交替排列在第三行中，以及Ggo和Gge交替排列在第四行中。作为实例，此处讨论的各种处理中，信号是经由8、6、4、或2个通道从具有这样滤波编码的图像传感器中并行读出的。
当经由8个通道并行读出像素时，奇数行中的像素从第一个像素开始顺序分配给输出通道Ch1、Ch2、Ch3、和Ch4，而偶数行中的像素从第一个像素开始顺序分配给输出通道Ch5、Ch6、Ch7、和Ch8。这样，信号得以输出。当经由6个通道并行读出像素时，奇数行中的像素从第一个像素开始顺序分配给输出通道Ch1、Ch2、和Ch3，而偶数行中的像素从第一个像素开始顺序分配给输出通道Ch4、Ch5、和Ch6。这样，信号得以输出。
当经由4个通道并行读出像素时，奇数行中的像素从第一个像素开始顺序分配给输出通道Ch1、和Ch2，而偶数行中的像素从第一个像素开始顺序分配给输出通道Ch3、和Ch4。这样，信号得以输出。当经由2个通道并行读出像素时，奇数行中的像素从第一个像素开始顺序分配给输出通道Ch1，而偶数行中的像素从第一个像素开始顺序分配给输出通道Ch2。这样，信号得以输出。
图5A和图5B示出了AFE电路13中复用方案的变化。
根据本实施例，作为实例，讨论在图5A和图5B中示出的两种复用方案。在图5A中示出的MUX类型A中，来自输出通道Ch1和Ch2的信号经复用生成复用信号Sig1。来自输出通道Ch3和Ch4的信号经复用生成复用信号Sig2。来自输出通道Ch5和Ch6的信号经复用生成复用信号Sig3。来自输出通道Ch7和Ch8的信号经复用生成复用信号Sig4。就是说，来自图像传感器上沿水平方向的两个相邻像素的信号进行复用。
相反，在图5B中所示的MUX类型B中，来自输出通道Ch1和Ch5的信号经复用生成复用信号Sig1。来自输出通道Ch2和Ch6的信号经复用生成复用信号Sig2。来自输出通道Ch3和Ch7的信号经复用生成复用信号Sig3。来自输出通道Ch4和Ch8的信号经复用生成复用信号Sig4。就是说，来自图像传感器上沿垂直方向的两个相邻像素的信号进行复用。
图6示出了当经由8个通道读出像素时复用的实例。此处，作为实例，示出了在奇数水平同步周期(下文称为“奇数H周期”)中的色彩顺序。
当经由8个通道输入到AFE电路13的像素信号以MUX类型A进行复用时，在一个时钟周期内从CMOS传感器12同时读出的输出通道Ch1和Ch2中的R1和Gr1在与传输时钟周期同步的过程中，按顺序时分复用为复用信号Sig1，所述的传输时钟周期是读出时钟周期的二倍。相反，在MUX类型B中，在一个时钟周期内同时从CMOS传感器12读出的输出通道Ch1和Ch5中的R1和Ggo1按顺序时分复用为复用信号Sig1。
当考虑到在图像传感器输出通道分配方面的变化及在AFE电路13中复用方面的变化时，如下所述，将出现输入到数字信号处理电路14的图像信号的各种色彩顺序。此外，依赖于滤波编码和图像传感器中像素的数目，色彩顺序的数目会进一步增加。
下游的数字信号处理电路14需要考虑输入图像信号的色彩顺序来执行内部处理。如果针对各个色彩顺序分别设计制造数字信号处理电路14，那么产率就会明显下降。因此，根据本实施例，数字信号处理电路14具有在其输入级中按照各种色彩顺序来分类输入图像信号的功能。通过针对来自像机控制电路15的各种色彩顺序简单地设置分类功能的参数，数字信号处理电路14可在不改变内部电路配置的条件下支持各种色彩顺序。
图7是数字信号处理电路14的内部配置的框图。
如图7中所示，数字信号处理电路14包括分类处理单元21、像机信号处理单元22、通信I/F 23、和信号发生器(SG)24。分类处理单元21将具有多种色彩顺序的N/2通道的图像信号(在这个实例中是4通道图像信号)的顺序改变为S通道的信号，每个都具有特定的彩色滤光片分量。此后，分类处理单元21将S通道信号传送到像机信号处理单元22。在这个实例中，输出的是四个通道(即，R/Gb通道、Gr/B通道、Ggo通道、和Gge通道)的信号。
像机信号处理单元22对来自分类处理单元21的图像信号来执行已知的通常像机信号处理。像机信号处理的实例包括数字箝位、降噪、缺陷像素校正、解马赛克处理、白平衡控制、和分辨率转换。在这些处理中，根据来自像机控制电路15的控制参数，并行地处理经由S(＝4)个通道输入的图像信号。最终，信号被转换为Y和C信号，并被传送到下游的基带处理系统。
通信I/F 23是一个接口电路，用于控制在数字信号处理电路14与像机控制电路15的每个处理组块之间的数据输入和输出。像机信号处理单元22的检测数据经由通信I/F 23传送到像机控制电路15。像机控制电路15经由通信I/F 23将用于处理像机信号的控制参数传送到像机信号处理单元22。另外，像机控制电路15经由通信I/F 23将用于控制分类操作的控制参数传送到分类处理单元21。
SG 24是一个用于生成各种定时信号的处理组块，所述的各种定时信号用于分类处理单元21和像机信号处理单元22的处理。例如，SG 24生成使能信号H_EN，表示图像信号沿水平方向的有效期间。
图8示出了在分类处理单元21执行分类操作前后的色彩顺序的实例。在这个实例中，示出了读出时以MUX类型A复用8通道的信号时的色彩顺序。
在奇数H周期期间，R和Gr过滤分量在来自AFE电路13的复用信号Sig1中交替出现。同样，在复用信号Sig2～Sig4中，不同的过滤分量交替出现。分类处理单元21按照过滤分量来对这些图像信号分类，如图8右部所示，以便将R、Gr、Ggo、和Gge过滤分量分类到对应通道中，然后输出。另外，在偶数H周期期间，复用信号Sig1～Sig4经分类以便将Gb、B、Ggo、和Gge过滤分量分类到对应的输出通道中。因而，在像机信号处理单元22中，如图8中右下部所示，在彩色滤光片配置中空间相邻像素(例如，R1、Ggo1、Gr1、和Gge1)的组合可在一个时钟周期内并行处理。
此处，在从AFE电路13输出的信号中，过滤分量的预定重复模式根据读出操作而出现。在这个实施例中，相同模式出现在每一个H周期。例如，在奇数H周期中，R、R、Ggo、Ggo、Gr、Gr、Gge、和Gge的模式成为重复模式。如果包括在重复模式(在这个实例中是四个R、Ggo、Gr、和Gge或四个Gb、Ggo、B1、和Gge)之一中的过滤分量的数目或那个数目的整倍数等于分类处理单元21输出通道的数目，那么数字信号处理单元14的输出通道能够以一对一的方式分配给过滤分量。因而，数字信号处理电路14可并行处理出现在空间上接近位置处的不同过滤分量的信号，因此，可简化数字信号处理电路14的处理程序和电路配置。
接下来详细描述分类处理单元21的内部配置。图9是分类处理单元21内部配置的框图。
如图9中所示，分类处理单元21包括使能信号发生器(EN发生器)30、分类存储器40、分类存储器40的写控制单元50、和分类存储器40的读控制单元60。
EN发生器30生成表示对应于R或Gb、Gr或B、Ggo、和Gge分量的信号出现在来自AFE电路13的各个复用信号Sig1～Sig4中的时间的使能信号。EN发生器30接下来将使能信号输出到写控制单元50。R或Gb出现在复用信号Sig1～Sig4中的时间由使能信号R_Gb_EN_Sig1～R_Gb_EN_Sig4确定。与此类似，Gr或B出现在复用信号Sig1～Sig4中的时间由使能信号Gr_B_EN_Sig1～Gr_B_EN_Sig4确定。Ggo出现在复用信号Sig1～Sig4中的时间由使能信号Ggo_EN_Sig1～Ggo_EN_Sig4确定。Gge出现在复用信号Sig1～Sig4中的时间由使能信号Gge_EN_Sig1～Gge_EN_Sig4确定。
EN发生器30根据由像机控制电路15指定的控制参数(EN生成参数)，在来自SG 24的使能信号H_EN处于H电平的水平有效期内设置这些使能信号。同时，EN发生器30与这些使能信号同步地延迟从AFE电路13接收到的复用信号Sig1～Sig4，并将复用信号Sig1～Sig4输出到写控制单元50。
分类存储器40由例如双端口静态RAM(SRAM)构成，其能够同时写及读数据。分类存储器40的整个存储区被分为用于R/Gb、Gr/B、Ggo、和Gge过滤分量的存储区。
写控制单元50根据从EN发生器30输入的使能信号来分类经由EN发生器30输入的复用信号Sig1～Sig4，以生成按照过滤分量分类的信号Sig_R_Gb、Sig_Gr_B、Sig_Ggo、和Sig_Gge。另外，写控制单元50为每个输出通道生成写使能信号WEN_R_Gb、WEN_Gr_B、WEN_Ggo、和WEN_Gge及写地址WADRS_R_Gb、WADRS_Gr_B、WADRS_Ggo、和WADRS_Gge，并将这些信号和地址输出到分类存储器40，以便将信号Sig_R_Gb、Sig_Gr_B、Sig_Ggo、和Sig_Gge写入对应于过滤分量的存储区。
读控制单元60将读使能信号REN_R_Gb、REN_Gr_B、REN_Ggo、和REN_Gge及读地址RADRS_R_Gb、RADRS_Gr_B、RADRS_Ggo、和RADRS_Gge输出到分类存储器40，以便读出信号Sig_R_Gb、Sig_Gr_B、Sig_Ggo、和Sig_Gge，它们是适合于相应过滤分量的分离信号。读控制单元60将读出的信号传送到像机信号处理单元22。
分类处理单元21按照过滤分量将输入的多个通道的图像信号分类到分类存储器40的对应存储区中。通过控制分类存储器40的读写地址以及读写分类信号的时间，就可以生成具有下游像机信号处理单元22恒定需要的过滤分量顺序的图像信号。
图10是EN发生器30的内部配置的框图。
如图10中所示，EN发生器30包括计数器31、标记生成解码器32、选择器组33a～33d(其中每个对应于过滤分量之一)、和延迟控制器34。
计数器31在使能信号H EN处于H电平的水平有效期内生成像素ID。此后，计数器31将该像素ID传送到选择器组33a～33d。像素ID是每当输入像素信号时，分配给复用信号Sig1～Sig4的像素信号的识别号。在这个实施例中，数字“0”到“3”顺序并重复使用。就是说，计数器31在水平有效期开始时，从数字“0”开始计数。之后，计数器31与复用信号Sig1～Sig4的像素时钟同步地在“0”与“3”之间重复将数字加一。
此处，像素ID的重复数由过滤分量在各个复用信号Sig1～Sig4中的重复数决定。在本实施例中，如以下将在图11到图17中示出，过滤分量的重复数是“2”或“4”。因此，确定像素ID的重复数是“4”。为了支持具有不同过滤分量重复数的色彩顺序，像素ID的重复数可确定为过滤分量重复的这些次数的公倍数。换句话说，图像传感器可具有使得像机控制电路15能够针对每个色彩顺序改变计数器31重复数的配置。
标记生成解码器32根据来自像机控制电路15的EN生成参数，向选择器组33a～33d输出针对复用信号Sig1～Sig4的各个通道以及各个像素ID的开/关标记。当相应过滤分量出现时，开/关标记被设为H电平。
此处，EN生成参数是关于复用信号Sig1～Sig4中过滤分量的信息。如上所述，由于复用信号Sig1～Sig4中过滤分量的重复数对应于像素ID的重复数，因此EN生成参数包括与像素ID相同数目的关于每个信号的过滤分量的信息项。
标记生成解码器32对EN生成参数进行解码，从而为每个像素ID生成表示过滤分量的出现的开/关标记。标记生成解码器32将R/Gb、Gr/B、Ggo、和Gge过滤分量的这些开/关标记分别传送到选择器组33a～33d。要注意，可使用任何配置的标记生成解码器32，只要这种配置能够使用来自像机控制电路15的EN生成参数，根据复用信号Sig1～Sig4的色彩顺序来设置开/关标记就行。例如，像机控制电路15可直接控制开/关标记。
选择器组33a～33d中的每一个都包括四个选择器SEL0～SEL3。选择器SEL0～SEL3中的每个分别接收对应于相同过滤分量和相同信号通道(即，复用信号Sig1～Sig4中任一者)的像素ID的开/关标记。随后，选择器SEL0～SEL3中的每一个从计数器31中选择对应于像素ID的输入信号，并输出所选择的输入信号。
因而，例如，从选择器组33a中的选择器SEL0输出的使能信号R_Gb_EN_Sig1表示每个时钟周期R/Gb分量的出现。同样，使能信号R_Gb_EN_Sig2～R_Gb_EN_Sig4表示每个时钟周期复用信号Sig2～Sig4中R/Gb分量的出现。然后，表示Gr/B、Ggo、和Gge分量的出现的类似使能信号分别从选择器组33b～33d输出。
延迟控制器34延迟从AFE电路13接收到的复用信号Sig1～Sig4，以便按照输出定时，使从选择器组33a～33d输出的使能信号与复用信号Sig1～Sig4中的对应像素信号一致。
参考图11到图17描述从EN发生器30根据色彩顺序的变化而输出的使能信号的具体实例。在图11到图17中，为了简便，在所有水平有效期内的像素数目都相同。然而，在实际操作中，像素数目是没有限制的。
图11和图12分别示出了当图像传感器读出通道的数目为“8”时，在MUX类型A和在MUX类型B中的色彩顺序和使能信号。
如图11中所示，例如，在复用信号Sig1中，当像素ID为“0”和“2”时，R分量(奇数H周期)或Gb分量(偶数H周期)出现，而当像素ID为“1”和“3”时，Gr分量(奇数H周期)或B分量(偶数H周期)出现。因此，当像素ID为“0”和“2”时，使能信号R_Gb_EN_Sig1处于H电平，而当像素ID为“1”和“3”时，使能信号Gr_B_EN_Sig1处于H电平。另外，由于Ggo和Gge分量不出现在复用信号Sig1中，因此使能信号Ggo_EN_Sig1和Gge_EN_Sig1总是处于L电平。
相反，如图12所示，当应用MUX类型B时，R分量(奇数H周期)或Gb分量(偶数H周期)出现在复用信号Sig1中，与以上所述的MUX型相同。然而，当像素ID为“1”和“3”时，Ggo分量出现，而Gr和Gge分量不出现。因此，当像素ID为“1”和“3”时，使能信号Ggo_EN_Sig1处于H电平，而使能信号Gr_B_EN_Sig1和Gge_EN_Sig1总是处于L电平。
图13和图14分别示出了当图像传感器读出通道的数目为“6”时，在MUX类型A和在MUX类型B中的色彩顺序和使能信号。
如图13和图14中所示，在6通道读出的情况下，在复用图像信号后，图像信号的通道数目为3，因此，图像信号并不被传输到复用信号Sig4。
在图13中所示的情况下，在复用信号Sig1中，两个分量R和Gr在奇数H周期内每两个像素出现。在偶数H周期内，两个分量Gb和B每两个像素出现。另外，由于在复用信号Sig2中，四个分量R、Ggo、Gr、和Gge在奇数H周期内重复出现，因此对应于复用信号Sig2的使能信号R_Gb_EN_Sig2、Gr_B_EN_Sig2、Ggo_EN_Sig2、和Gge_EN_Sig2每隔三个像素就处于H电平。
相反，如图14中所示，当应用MUX类型B时，全部四个分量R、Ggo、Gr、和Gge在全部复用信号Sig1～Sig3都出现(在奇数H周期内)。因此，对应于这些过滤分量的所有使能信号R_Gb_EN_Sig3、Gr_B_EN_Sig3、Ggo_EN_Sig3、和Gge_EN_Sig3每隔三个像素就处于H电平。
图15和图16分别示出了当图像传感器的读出通道的数目为“4”时，在MUX类型A和在MUX类型B中的色彩顺序和使能信号。
如图15和图16中所示，在使用4通道读出时，在复用图像信号后图像信号的通道数目为2，因此，图像信号不被传输到复用信号Sig3和Sig4。另外，在使用4通道读出时，对于MUX类型A和B两者来说，两个分量交替出现在各个复用信号Sig1和Sig2中。然而，对于MUX类型A和B来说，两个分量的组合是不同的。
图17示出了当图像传感器的读出通道数目为“2”时，在MUX类型A和MUX类型B中的色彩顺序和使能信号。
如图17所示，在使用2通道读出的情况下，在复用图像信号后，仅将图像信号传输到一个通道，因此断定，四个过滤分量以相同的顺序重复出现，不管MUX的类型如何。
如图11到图17所示，图像传感器读出通道的数目和复用方法的组合可对复用信号Sig1～Sig4产生多种类型的色彩顺序。具有上述配置的EN发生器30可设置对应于这么多种色彩顺序的EN生成参数，以便自由输出脉冲信号(即使能信号)，其表示过滤分量的出现时间。
图18是写控制单元50内部配置的框图。
如图18所示，写控制单元50包括延迟控制器51a～51d，分别对应于复用信号Sig1～Sig4；信号分类单元52，用于按照过滤分量来分类复用信号Sig1～Sig4；延迟控制器53，用于控制输入到信号分类单元52的信号延迟；和解码器54，用于在分类存储器40中生成写地址。
延迟控制器51a从EN发生器30接收复用信号Sig1及复用信号Sig1的使能信号R_Gb_EN_Sig1、Gr_B_EN_Sig1、Ggo_EN_Sig1、和Gge_EN_Sig1。同样，延迟控制器51b～51d从EN发生器30分别接收复用信号Sig2～Sig4及复用信号Sig2～Sig4的使能信号。
延迟控制器51a～51d根据分类参数来将输入信号延迟预定时长，其中分类参数是从像机控制电路15输入的控制参数。每个延迟控制器51a～51d都包括例如多个触发(FF)电路，它们彼此串联连接，以能够根据分类参数从每个FF级中选出一个输出。当相同过滤分量同时出现在复用信号Sig1～Sig4中时，每个延迟控制器51a～51d都延迟其中一个信号，以便具有相同过滤分量的信号能够被连续写入分类存储器40。
在延迟控制器51a～51d控制了输入信号的延迟之后，延迟控制器53进一步控制延迟并将复用信号Sig1_adj～Sig4_adj输出到信号分类单元52。信号分类单元52根据来自解码器54的选择信号，按照过滤分量来分类复用信号Sig1_adj～Sig4_adj，以生成信号Sig_R_Gb、Sig_Gr_B、Sig_Ggo、和Sig_Gge，并将这些分类信号输出到分类存储器40。要注意，延迟控制器53将复用信号Sig1_adj～Sig4_adj延迟预定时间段，以便信号分类单元52能够完全与解码器54同步。
解码器54根据从延迟控制器51a～51d输出的经延迟调节的使能信号，生成关于信号分类单元52的选择信号及用于将所选信号写入到分类存储器40的地址和使能信号。
图19是信号分类单元52内部配置的框图。
如图19所示，信号分类单元52包括分别对应于过滤分量R/Gb、Gr/B、Ggo、和Gge的选择器521～524。每个选择器521～524都接收复用信号Sig1_adj～Sig4_adj，根据来自解码器54的相应选择信号SEL_R_Gb、SEL_Gr_B、SEL_Ggo、或SEL_Gge来选择复用信号Sig1_adj～Sig4_adj中的一个，并输出所选信号。
在图19中，附加于选择器521～524的输入端的数字“1”、“2”、“3”、“4”表示由基于输入到解码器54的使能信号的位串(十进制计数法)所表示的数字。如下所述，解码器54使得信号分类单元52根据输入的使能信号选择一个对应这个数字的输入通道。因而，仅有一个对应于所述数字的过滤分量的信号从每个选择器521～524中输出。
输入的复用信号Sig1_adj～Sig4_adj已经过延迟控制器51a～51d调节，从而不会同时输入相同的过滤分量。因此，只需通过选择输入信号，信号分类单元52就能将所有过滤分量的信号分类到输出通道中，而没有任何过滤分量的信号损耗。
图20是解码器54内部配置的框图。
如图20中所示，解码器54包括分别对应于过滤分量R/Gb、Gr/B、Ggo、和Gge的选择信号解码器541a～541d、或门542a～542d、反相器543a～543d、和计数器544a～544d。
选择信号解码器541a～541d将相应过滤分量的使能信号用作位串，并分别输出选择信号SEL_R_Gb、SEL_Gr_B、SEL_Ggo、和SEL_Gge，以便信号分类单元52可选择对应于由位串表示的数字的输入通道。以下参考图21到图22描述该解码过程。
或门542a～542d从延迟控制器51a～51d接收分别对应于过滤分量R/Gb、Gr/B、Ggo、和Gge信号的使能信号。从或门542a输出的脉冲被输入到反相器543a和计数器544a。反相器543a的输出变为使能信号XWEN_R_Gb，其使得能够对分类存储器40的R/Gb存储区执行写操作(此处，电平L使得写操作能够执行)。另外，计数器544a对从或门542a输出的脉冲进行计数。计数值用作分类存储器40的R/Gb存储区的写地址。关于其他组件的电路以与上述相同的方式执行。从或门542b～542d输出的脉冲被分别输入到反相器543b～543d及计数器544b～544d。因而，生成了分类存储器40的Gr/B、Ggo、和Gge存储区的使能信号和写地址。
在图21和图22中示出了在执行延迟控制之后的使能信号的具体实例。选择信号解码器541a～541d的操作接下来将参考图21和图22来描述。图21示出了在MUX类型A中，当图像传感器输出通道的数目为“8”时，选择信号的解码操作。
在此情况下，如图11中所示，包括相同过滤分量的信号出现在复用信号Sig1和Sig2中。同样，包括相同过滤分量的信号出现在复用信号Sig3和Sig4中。因此，在图21中所示的实例中，使用延迟控制器51b和51d，将复用信号Sig2和Sig4延迟一个时钟周期。
此处，我们研究位串，其中对于每种过滤分量来说，使能信号Sig1～Sig4在执行了延迟控制之后从最低有效位向最高有效位排列。例如，在图21中，当R、Gr、Ggo、和Gge(或Gb、B、Ggo、和Gge)分量分别出现在复用信号Sig1_adj～Sig4_adj中时，R/Gb分量的位串是“0001”，Gr/B分量是“0010”、Ggo分量是“0100”、及Gge分量是“1000”。图21下部分示出了这些位串的十进制计数值。
由于复用信号Sig1_adj～Sig4_adj不会同时包括相同的过滤分量，因此位串的十进制计数可能值为“0”、“1”、“2”、“4”、和“8”。另外，由于复用信号Sig1_adj～Sig4_adj的输入通道自位串最低有效位向最高有效位分配给位串，因此断定对应于位是ON的输入通道的过滤分量出现。
因此，当基于输入使能信号的位串值为“1”时，选择信号解码器541a～541d生成信号来指示信号分类单元52选择复用信号Sig1_adi。当位串的值为“2”时，选择信号解码器541a～541d生成信号来指示信号分类单元52选择复用信号Sig2_adj。当位串值的为“4”时，选择信号解码器541a～541d生成信号来指示信号分类单元52选择复用信号Sig3_adj。当位串的值为“8”时，选择信号解码器541a～541d生成信号来指示信号分类单元52选择复用信号Sig4_adj。另外，当位串的值为“0”时，选择信号解码器541a～541d生成信号来指示信号分类单元52不选择任何信号通道。
在上述实例中，当R、Gr、Ggo、和Gge(或Gb、B、Ggo、和Gge)分量出现在复用信号Sig1_adj～Sig4_adj中时，分量R/Gb、Gr/B、Ggo、和Gge的位串分别是“1”、“2”、“4”、和“8”。因此，执行控制以使信号分类单元52的选择器521选择复用信号Sig1_adj，选择器522选择复用信号Sig2_adj，选择器523选择复用信号Sig3_adj、及选择器524选择复用信号Sig4_adj。
作为另一个实例，接下来描述当图像传感器读出通道的数目为“6”时的解码过程。图22示出了在MUX类型A中，当读出通道的数目为“6”时的选择信号解码操作。
在此情况下，为了防止相同的过滤分量同时出现，延迟控制器51b的延迟设置为一个时钟周期，而延迟控制器51c的延迟设置为两个时钟周期。当例如分量R、Gr、和Ggo在执行了延迟控制之后分别出现在复用信号Sig1_adj～Sig3_adj中时，与基于使能信号的这些分量相对应的位串是“1000”、“0100”、“0010”、和“0000”。因此，根据来自选择信号解码器541a～541d的选择信号，信号分类单元52的选择器521选择复用信号Sig1_adj，选择器522选择复用信号Sig3_adj，及选择器523选择复用信号Sig2_adj。选择器524不选择任何复用信号。
如上所述，选择信号解码器541a～541d以输入的使能信号为基础执行上述的简单解码操作。因而，信号分类单元52能够从对应的通道输出关于每个过滤分量的图像信号，以便将关于过滤分量的图像信号存储在分类存储器40的存储区中。
参考图23到图29描述在执行了上述分类操作前后，关于每种色彩顺序的图像信号排列的具体实例。图23和图24分别示出了在MUX类型A和B中，当图像传感器的读出通道数目为“8”时的图像信号排列。图25和图26分别示出了在MUX类型A和B中，当图像传感器的读出通道数目为“6”时的图像信号排列。图27和图28分别示出了在MUX类型A和B中，当图像传感器的读出通道数目为“4”时的图像信号排列。图29示出了在MUX类型A和B中，当图像传感器的读出通道数目为“2”时的图像信号排列。
如图23到图29中所示，具有上述配置的写控制单元50能够按照过滤分量来分类输入信号，并将经分类的信号写入分类存储器40的对应存储区中，而与图像传感器读出通道的数目和复用方法无关。例如，如果图像传感器输出通道的数目N不等于由数字信号处理电路14并行处理的图像信号的过滤分量的数目(在这个实施例中是四个分量R、Gr、Ggo、和Gge或四个分量Gb、B、Ggo、和Gge)，更具体来说，如果信号是如图25和图26所示使用六个通道读出时，在复用之后可将三种或更多种类型的过滤分量传输到一个通道。即使在这种情况下，也可按照过滤分量来分类输入信号。
另外，如上所述，信号经由各种过滤分量的通道从写控制单元50输出。然而，过滤分量的信号并不总是在适合于数字信号处理电路14并行处理的时间输出。例如，如图24所示，在分类后奇数H周期内的信号中，R2、Gr2、Ggo1、和Gge1是同时输出的。从图4中能看出，这些像素包括在图像传感器上具有不同空间位相的像素。因此，这些像素就不应在数字信号处理电路14中同时处理。另外，如果复用信号的通道数目小于过滤分量的类型数目(在图25到图29所示的情况下)，可断定数字信号处理电路14所需的所有过滤分量的信号不同时输出。
为了调整输出时间方面的这些变化，经过分类的信号都通过分类存储器40输出。无论输出时间如何，从写控制单元50输出的每种过滤分量的图像信号都被顺序存储在分类存储器40的相邻区域中。写控制单元50生成的分类存储器40的写地址与空间位相一致。因此，在将信号存储在分类存储器40中之后，可通过以递增地址的顺序读出信号来同步所有通道的输出时间。
图30是读控制单元60内部配置的框图。
如图30中所示，读控制单元60包括用于输出读地址的计数器61和用于使使能信号的输出定时与地址输出同步的延迟控制器62。计数器61在使能信号H_EN处于H电平的水平有效期内以升序计数像素时钟。计数器61在水平有效期的结尾复位计数值。计数值作为各个过滤分量的存储器读地址(即，RADRS_R_Gb、RADRS_Gr_B、RADRS_Ggo、和RADRS_Gge)输出到分类存储器40。延迟控制器62的延迟是根据计数器61的操作延迟设置的。经过延迟调节的使能信号H_EN作为表示允许执行存储区读操作的使能信号REN_R_Gb、REN_Gr_B、REN_Ggo、和REN_Gge输出到分类存储器40。
通过使用具有这种简化结构的读控制单元60，可适时输出按照过滤分量分类的图像信号。就是说，各种过滤分量的信号可输出，以使图像传感器上的空间位置适当组合。因此，已接收到这种图像信号的数字信号处理电路14能够随时以同样方式处理输入的图像信号，而与从AEF电路13输出的图像信号的色彩顺序无关。
在用于上述实施例的色彩顺序中，空间上置于图像传感器最左端像素的像素信号被首先输出。然而，在实际操作中，不总是能满足这样的条件。例如，如果图像传感器具有通过在不减少输出信号数目的条件下及在不增加读出频率的条件下，将图像传感器上的相邻像素的并具有相同过滤分量的信号相加并同时输出这些信号从而以很高的屏幕速度输出图像的功能，那么图像信号不会总是以水平方向的排列顺序输出到分类存储器40。例如，图像信号可以R2、R1、R4、R3、......的顺序输出。在此情况下，空间上左侧像素的信号不一定存储在分类存储器40的较小地址处，因此，如果数字信号处理电路14以地址递增的顺序读信号，那么数字信号处理电路14就不能适当处理信号。图31示出了支持这种情况的读控制单元60的配置。
图31是根据本发明另一个实施例的读控制单元60内部配置的框图。
如图31中所示，读控制单元60包括用于各种过滤分量的计数器63a～63d，和延迟控制器64。计数器63a～63d生成读地址。延迟控制器64将使能信号的输出定时与计数器63a～63d的操作定时同步。
与图30中所示的计数器61相同，计数器63a～63d在水平有效期内计数像素时钟。计数值作为关于各个过滤分量的存储区的读地址(即，RADRS_R_Gb、RADRS_Gr_B、RADRS_Ggo、和RADRS_Gge)。在像机控制电路15的控制下，计数器63a～63d可独立控制它们的计数操作。如上所述，甚至在不以水平方向的顺序输出色彩顺序时，通常，输出信号的空间位置也具有一定的规律性。因此，计数器63a～63d根据所述的规律性来执行计数操作。
例如，就B分量来说，当B2、B 1、B4、B3、......写入分类存储器40时，对应于B分量的计数器63b使用数字1、0、3、2、......执行计数操作。执行具有规律性计数操作的计数器很容易实现。如果计数器63a～63d中的每一个都可以选择性地执行多个计数操作，那么就可以增加所支持的色彩顺序的类型数目。
如上所述，由于数字信号处理电路14包括分类处理单元21，其处于像机信号处理单元22的图像信号输入级，因此可随时使用相同的处理规则将图像信号输入到像机信号处理单元22。因此，在不会使像机信号处理单元22的处理程序和电路配置复杂化的条件下以及不增加电路配置规模的条件下，就可支持各种类型的色彩顺序。具体来说，通过将分类处理单元21的输出通道数目确定为并行处理的过滤分量的类型数目或该数目的整倍数，像机信号处理单元22的配置，具体来说是考虑到在图像传感器上的特定位置进行操作的处理组块(例如，降噪或缺陷像素校正)可被简化。
另外，通过简单地根据输入信号的色彩顺序设置控制参数，分类处理单元21可在不改变其电路配置的条件下支持多种类型的色彩顺序。因而，与包括多个处理电路(每一个处理电路处理一种色彩顺序)的数字信号处理电路14相比，可明显缩小电路规模。
因此，可实现多用的数字信号处理电路14，其中图像传感器的读出通道的数目、经由多个通道读出的信号的复用方法、稀化像素的方法、像素的数目、和滤波编码可自由组合。因而，未来可在改变图像传感器规格或扩大产品系列的同时降低开发和制造成本。
虽然已参考图2中所示的滤波编码描述上述实施例，但是本发明可应用于使用不同滤波编码的图像捕获装置。
图32是包括在使用Bayer阵列形式的图像捕获装置中作为不同滤波编码的数字信号处理电路的框图。
在Bayer阵列形式中，通常，如图32中所示，像机信号处理单元22在奇数H周期和偶数H周期内同时处理R、Gr、Gb、和B过滤分量。甚至在这种情况下，通过使用具有上述配置的分类处理单元21，四种类型过滤器形式的图像信号可从像机信号处理单元22的四个输出通道输出，而与图像传感器读出通道的数目、像素的数目、和信号复用方法无关。另外，像机信号处理单元22可通过多用电路处理由使用不同滤波编码(例如，图2中所示的贝尔阵列形式或滤波编码)的图像传感器捕获得到的图像信号，所述多用电路的设置是由像机控制电路15控制的。在这种情况下，可实现更加多用的数字信号处理电路14。
此外，本发明可应用于使用固态图像传感器的图像捕获装置(例如，数码摄影机和数码照相机)和包括这种图像捕获功能的装置(例如，移动电话和个人数字助理)。另外，与图像捕获装置的数字信号处理电路一样，本发明的实施例可应用于经由多个通道接收特定数据排列的数据并当预计输入数据有多个数据顺序时处理该数据的处理电路。
另外，上述处理可通过计算机来实现。在此情况下，提供描述了与图形处理装置相同功能(诸如对应于元数据提取单元21功能的功能)的程序。计算机通过执行所述程序实现上述的功能。描述所述功能的程序可存储在计算机可读记录介质中。计算机可读记录介质的实例包括磁记录装置、光盘、磁光盘、和半导体存储器。
为了分配程序，例如，可分配包括该程序的可移动记录介质(诸如光盘或半导体存储器)。或者，将程序存储在服务器计算机的一个存储器中，然后该服务器计算机可经由网络将程序传输给其他计算机。
执行程序的计算机将存储在可移动记录介质中或从服务器计算机传输的程序存储到计算机的存储单元中。随后，计算机读出存储在计算机存储单元中的程序，并根据所述程序执行处理。另外，计算机可直接从可移动记录介质读取程序，并可根据程序执行处理。另外，每当计算机从服务器计算机接收到程序时，计算机就可根据所述的程序执行处理。
对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种用于处理彩色图像信号的图像处理装置，包括信号处理装置，用于并行处理多个图像信号，所述多个图像信号与预定的过滤分量一一对应；存储装置，包括与所述过滤分量一一对应的存储区；参数接收装置，用于接收表示与所述图像信号中所述过滤分量的输入顺序一致的设置的控制参数；写装置，用于根据由所述控制参数表示的所述设置，对基于从固态图像传感器输出的信号的多个通道的输入图像信号按照其过滤分量进行分类，所述写装置将经过分类的图像信号写入所述对应存储区；以及读装置，用于经由各个输出通道从所述存储区顺序读出所述图像信号，所述读装置将所述图像信号传送到所述信号处理装置。
2.根据权利要求1所述的图像处理装置，其中，所述写装置包括使能信号生成装置，用于根据由所述控制参数表示的所述设置，生成表示所述过滤分量在所述多个通道的每一个通道内的所述输入图像信号中的出现的使能信号；延迟控制装置，用于针对每个通道将所述输入图像信号和所述使能信号的延迟控制为相同的时钟周期，以使所述过滤分量的信号不会同时出现；以及写控制装置，用于根据来自所述延迟控制装置的所述使能信号，对来自所述延迟控制装置的所述图像信号按照其过滤分量进行分类，并将所述图像信号从所述存储区的开头开始顺序写入所述对应存储区。
3.根据权利要求2所述的图像处理装置，其中，所述使能信号生成装置包括计数装置，用于与像素信号的输入同步地将计数值向所述过滤分量出现在所述多个通道的每一个通道内的所述输入图像信号中的重复计数重复增加；标记输出装置，用于根据所述控制参数表示的所述设置，输出表示每次从所述计数装置输入所述计数值时，对于所述输入图像信号的各个通道，各个所述过滤分量是否出现在所述输入图像信号中的标记信号；以及多个选择装置，每个都接收相同过滤分量和相同通道所对应的所述标记信号，并选择性地将对应于所述计数装置的所述计数值的所述标记信号作为所述使能信号输出。
4.根据权利要求3所述的图像处理装置，其中，所述计数装置的所述计数值的所述重复计数是依赖于由所述控制参数表示的所述设置的变量。
5.根据权利要求2所述的图像处理装置，其中，所述写控制装置包括多个通道选择装置，每个都从所述延迟控制装置中选择一个通道，并将所选通道的图像信号输出到所述对应存储区；以及选择控制装置，用于根据由从所述延迟控制装置接收到的所述使能信号所生成的所述过滤分量的组合，来控制每个所述通道选择装置的选择操作。
6.根据权利要求1所述的图像处理装置，其中，所述读装置包括多个地址计数装置，用于响应于由所述控制参数表示的所述设置，根据从多个规则中选出的一个规则来执行计数操作，并输出所述存储区的读地址。
7.根据权利要求1所述的图像处理装置，其中，从所述读装置到所述信号处理装置的所述输出通道的数目等于过滤分量的数目或过滤分量数目的整倍数。
8.一种使用固态图像传感器捕获图像的图像捕获装置，包括信号处理装置，用于并行处理多个图像信号，所述多个图像信号与过滤分量一一对应；存储装置，包括与所述过滤分量一一对应的存储区；参数接收装置，用于接收包括与所述图像信号中所述过滤分量的输入顺序一致的设置的控制参数；写装置，用于根据由所述控制参数表示的所述设置，对基于从所述固态图像传感器输出的信号的多个通道的输入图像信号按照其过滤分量进行分类，所述写装置将经过分类的图像信号写入所述对应存储区；以及读装置，用于经由各个输出通道从所述存储区顺序读出所述图像信号，所述读装置将所述图像信号传送到所述信号处理装置。
9.根据权利要求8所述的图像捕获装置，其中，所述固态图像传感器能够经由多个通道从不同像素并行读取信号。
10.根据权利要求9所述的图像捕获装置，进一步包括复用装置，用于将所述固态图像传感器读出的多个通道的图像信号时分复用为数目减少的多个通道的图像信号，并输出数目减少的多个通道的所述图像信号。
11.一种向信号处理电路提供基于来自固态图像传感器的输出信号的多个通道的输入图像信号的方法，所述信号处理电路能够并行处理多个图像信号，所述多个图像信号与过滤分量一一对应，所述方法包括以下步骤通过使用参数接收装置来接收包括与所述输入图像信号中所述过滤分量的输入顺序一致的设置的控制参数；根据由所述控制参数表示的所述设置对所述输入图像信号按照其过滤分量进行分类，并通过使用写装置以一对一的方式将经过分类的图像信号写入与所述过滤分量一一对应的存储区；以及经由各个输出通道从所述存储区顺序读出所述图像信号，并将所述图像信号传送到所述信号处理电路。
12.一种使计算机向信号处理电路提供基于从固态图像传感器输出的信号的多个通道的输入图像信号的图像处理程序，所述信号处理电路能够并行处理多个图像信号，所述多个图像信号与过滤分量一一对应，所述程序包括以下步骤接收包括与所述输入图像信号中所述过滤分量的输入顺序一致的设置的控制参数，以使所述计算机作为参数接收装置；根据由所述控制参数表示的所述设置对所述输入图像信号按照其过滤分量进行分类，并以一对一的方式将经过分类的图像信号写入与所述过滤分量一一对应的存储区，以使所述计算机作为写装置；以及经由各个输出通道从所述存储区顺序读出所述图像信号，并将所述图像信号传送到所述信号处理电路，以使所述计算机作为读装置。
13.一种对由包括用于彩色编码的彩色滤光片的成像装置获得的图像进行处理的图像处理装置，包括信号输入装置，用于输入多个通道的图像信号；信号处理装置，用于并行处理关于包括在输入图像信号中的特定过滤分量的多个图像信号；脉冲信号组生成装置，用于根据从所述图像处理装置的外部设置的第一控制参数，生成与所述特定过滤分量相关的脉冲信号组；延迟控制装置，用于根据第二控制参数延迟所述输入图像信号及所述脉冲信号，以使所述脉冲信号和关于包括在所述输入图像信号中的所述特定过滤分量的所述图像信号不会同时出现；分类装置，用于根据来自所述延迟控制装置的经过延迟控制的脉冲信号，将经过延迟控制的输入图像信号分别分类为关于所述特定过滤分量的所述图像信号；存储装置，用于分别存储关于所述特定过滤分量的所述图像信号；写控制装置，用于将经过分类的关于所述特定过滤分量的图像信号分别写入所述存储装置；以及读控制装置，用于经由相应输出通道从所述存储装置读出关于所述特定过滤分量的所述图像信号，并将关于所述特定过滤分量的所述图像信号传输到所述信号处理装置。
14.根据权利要求13所述的图像处理装置，其中，所述第一控制参数包括使能信号生成参数，所述第二控制参数包括分类参数。
15.根据权利要求13所述的图像处理装置，其中，所述第一控制参数是一个变量，并且，关于期望过滤分量的图像信号通过改变所述第一控制参数提取得到。
16.根据权利要求13所述的图像处理装置，其中，所述成像装置使用X-Y地址型固态图像传感器获得所述图像。
17.一种对由包括用于彩色编码的彩色滤光片的成像装置获得的图像进行处理的图像处理装置，包括信号输入装置，用于输入多个通道的图像信号；信号处理装置，用于并行处理关于包括在输入图像信号中的特定过滤分量的多个图像信号；延迟控制装置，用于为每个通道延迟所述输入图像信号，以使关于包括在所述输入图像信号中的所述特定过滤分量的所述图像信号不会同时出现；存储控制装置，用于将经过延迟控制的输入图像信号分别分类为关于所述特定过滤分量的所述图像信号，并将所述图像信号存储在对应的存储装置中；以及读控制装置，用于读出存储在所述存储装置中关于所述特定过滤分量的所述图像信号，并将关于所述特定过滤分量的所述图像信号传输到所述信号处理装置。
18.一种用于处理彩色图像信号的图像处理装置，包括信号处理单元，用于并行处理多个图像信号，所述多个图像信号与预定的过滤分量一一对应；存储单元，包括与所述过滤分量一一对应的存储区；参数接收单元，用于接收表示与所述图像信号中的所述过滤分量的输入顺序一致的设置的控制参数；写单元，用于根据由所述控制参数表示的所述设置，对基于从固态图像传感器输出的信号的多个通道的输入图像信号按照其过滤分量进行分类，所述写单元将经过分类的图像信号写入所述对应存储区；以及读单元，用于经由各个输出通道从所述存储区顺序读出所述图像信号，所述读单元将所述图像信号传送到所述信号处理单元。
19.一种使用固态图像传感器捕获图像的图像捕获装置，包括信号处理单元，用于并行处理多个图像信号，所述多个图像信号与过滤分量一一对应；存储单元，包括与所述过滤分量一一对应的存储区；参数接收单元，用于接收包括与所述图像信号中所述过滤分量的输入顺序一致的设置的控制参数；写单元，用于根据由所述控制参数表示的所述设置，对基于从固态图像传感器输出的信号的多个通道的输入图像信号按照其过滤分量进行分类，所述写单元将经过分类的图像信号写入所述对应存储区；以及读单元，用于经由各个输出通道从所述存储区顺序读出所述图像信号，所述读单元将所述图像信号传送到所述信号处理单元。
20.一种对由包括用于彩色编码的彩色滤光片的成像单元获得的图像进行处理的图像处理装置，包括信号输入单元，用于输入多个通道的图像信号；信号处理单元，用于并行处理关于包括在输入图像信号中特定过滤分量的多个图像信号；脉冲信号组生成单元，用于根据从所述图像处理装置的外部设置的第一控制参数，生成与所述特定过滤分量有关的脉冲信号组；延迟控制单元，用于根据第二控制参数延迟所述输入图像信号及所述脉冲信号，以使所述脉冲信号和关于包括在所述输入图像信号中的所述特定过滤分量的所述图像信号不会同时出现；分类单元，用于根据来自所述延迟控制单元的经过延迟控制的脉冲信号，将经过延迟控制的输入图像信号分别分类为关于所述特定过滤分量的所述图像信号；存储单元，用于分别存储关于所述特定过滤分量的所述图像信号；写控制单元，用于将经过分类的关于所述特定过滤分量的图像信号分别写入所述存储单元；以及读控制单元，用于经由相应输出通道从所述存储单元读出关于所述特定过滤分量的所述图像信号，并将关于所述特定过滤分量的所述图像信号传输到所述信号处理单元。
21.一种对由包括用于彩色编码的彩色滤光片的成像单元获得的图像进行处理的图像处理装置，包括信号输入单元，用于输入多个通道的图像信号；信号处理单元，用于并行处理关于包括在输入图像信号中的特定过滤分量的多个图像信号；延迟控制单元，用于为每个通道延迟所述输入图像信号，以使关于包括在所述输入图像信号中的所述特定过滤分量的所述图像信号不会同时出现；存储控制单元，用于将经过延迟控制的输入图像信号分别分类为关于所述特定过滤分量的所述图像信号，并将所述图像信号存储在对应的存储单元中；以及读控制单元，用于读出存储在所述存储单元中关于所述特定过滤分量的所述图像信号，并将关于所述特定过滤分量的所述图像信号传输到所述信号处理单元。
全文摘要
本发明涉及一种用于处理彩色图像信号的图像处理装置，包括信号处理单元，用于并行处理多个图像信号，其中，多个图像信号与预定的过滤分量一一对应；存储单元，包括与过滤分量一一对应的存储区；参数接收单元，用于接收表示与图像信号中过滤分量的输入顺序一致的设置的控制参数；写单元，用于根据控制参数中的设置，对基于从固态图像传感器输出的信号的多个通道的输入图像信号按照其过滤分量进行分类，并将经过分类的图像信号写入对应存储区；和读单元，用于经由各个输出通道从存储区顺序读出图像信号，并将图像信号传送到信号处理单元。
文档编号H04N9/07GK1897638SQ20061009028
公开日2007年1月17日 申请日期2006年7月11日 优先权日2005年7月11日
发明者木下雅也 申请人:索尼株式会社