专利名称：图像捕获装置、图像传感器和图像捕获处理方法
技术领域：
本发明涉及一种图像捕获装置、图像传感器和图像捕获处理方法，尤其涉及一种适合用于像素相加和缩减(thinning)处理的技术。
背景技术：
传统上，除从用于静态图像拍摄的图像传感器依次读出所有像素的帧读取模式外，已经有一种通过像素相加和缩减操作从图像传感器高速读出像素的动态图像读取模式(参见CCD读取方法(水平和垂直像素相加技术(对应于VGA动态图像))；见因特网<URLhttp//www.sony.co.jp/Products/SC-HP/imagingdevice/ccd/tec vga.html>)。图11是用于解释在动态图像拍摄模式下从通用C CD图像传感器读出信号的传统方法的图。
参看图11，在像素被曝光后，在垂直移位寄存器中每次将相同颜色的两个像素相加。例如，将与垂直方向上的编号V相对应的满足V＝10n(这里n为0或正整数)和V＝10n+2的像素相加，将满足V＝10n+5和V＝10n+7的像素相加。不读出剩余的像素。经过垂直移位寄存器相加的图像信号被传送到水平移位寄存器。
在该水平移位寄存器中，将与水平方向上的编号H相对应的满足H＝4m(m为0或正整数)和H＝4m+2的相同颜色的像素相加，并且将满足H＝4m+1和H＝4m+3的相同颜色的像素相加。输出结果像素数据。
这种图像传感器输出像素数据，使得将垂直方向上的像素数减少到1/5，将水平方向上的像素数减少到1/2。
在以上述方式进行的相加处理中，例如，如图12所示，当将G1[n+1]和G1[n+3]相加以输出G1[k+1]，并将R[n]和R[n+2]相加以输出R[k]时，在G1[n+1]和R[n+2]处出现像素坐标颠倒现象。这导致在精细物体图像上出现锯齿(台阶状)。
更具体地说，当对已经过上述相加处理的像素进行缩减并减少以作为例如VGA大小的图像输出时，锯齿不大明显。与此相比，当输出图像的大小增大时，锯齿的影响增大。因此，如果输出图像的大小增大，则可能出现图像质量的显著降低。
如上所述，根据传统图像捕获装置中的相加读取方法，例如，如图12所示，当考虑G1-R线时，G1[n+1]和R[n+2]之间的位置关系被颠倒。结果，在斜线等上出现锯齿，导致图像质量的显著降低。
一般来说，在对图像进行采样时，如果原始图像的信号频带没有被减少到采样频率的1/2的频率(奈尼奎斯特频率，Nyquistfrequency)，则在低频信号中产生混叠(aliasing)信号。根据图11和12所示的相加读取方法，在将水平方向上的像素数减少到1/2，并将垂直方向上的像素数减少到1/5时读出像素数据。
然而，上述只对像素的相加不能充分抑制原始图像的频带。结果，在低频信号中产生混叠信号。
发明内容
本发明是考虑到上述问题而做出的，其首要目的是，在缩减的基础上读出像素时，减少缩减操作后图像质量的下降。
本发明的第二个目的是，减少在缩减操作后出现的混叠。
本发明的第三个目的是，减少在缩减操作后产生的锯齿。
根据本发明的第一方面，提供一种图像捕获装置，其特征在于，包括信号放大装置，用于以具有对以矩阵形式排列的多个像素设置的规则模式的放大因子来放大像素信号；像素混合装置，用于对由所述信号放大装置放大后的相同颜色的像素信号进行混合；以及像素缩减装置，用于对由所述像素混合装置混合后的像素信号进行缩减和输出。
根据本发明的第二方面，提供一种图像捕获装置，其特征在于，包括以矩阵形式排列的多个像素；以及读出该矩阵中水平方向上的像素并传送该像素的水平移位寄存器和读出该矩阵中垂直方向上的像素并传送该像素的垂直移位寄存器中的至少一个，所述水平移位寄存器和所述垂直移位寄存器包括信号放大装置，用于以具有对所述多个像素设置的规则模式的放大因子来放大像素信号，像素混合装置，用于对由所述信号放大装置放大后的相同颜色的像素信号进行混合，以及像素缩减装置，用于对由所述的像素混合装置混合后的像素信号进行缩减和输出。
根据本发明的第三方面，提供一种图像捕获装置，其特征在于，包括图像传感器，所述图像传感器包括以矩阵形式排列的多个像素；信号放大装置，用于以具有对所述多个像素设置的规则模式的放大因子来放大像素信号，以及像素混合装置，用于对由所述信号放大装置放大后的相同颜色的像素信号进行混合，其中，所述像素混合装置对R-G线上的R信号以每次三个像素进行混合，对R-G线上的G信号以每次两个像素进行混合，其中，该R-G线是该矩阵的水平方向或垂直方向上的线，并且在该R-G线上交替出现R信号和G信号，以及所述像素混合装置对G-B线上的G信号以每次两个像素进行混合，对G-B线上的B信号以每次三个像素进行混合，其中，该G-B线是该矩阵的水平方向或垂直方向上的线，并且在该G-B线上交替出现G信号和B信号。
根据本发明的第四方面，提供一种图像传感器，其特征在于，包括以矩阵形式排列的多个像素；信号放大装置，用于以具有对所述多个像素设置的规则模式的放大因子来放大像素信号；像素混合装置，用于对相同颜色的每个像素对来自所述光电转换单元的输出信号进行混合；以及像素缩减装置，用于以预定的缩减比率来缩减由所述像素混合装置混合后的像素信号。
根据本发明的第五方面，提供一种图像捕获处理方法，其特征在于，包括信号放大步骤，用于以具有对以矩阵形式排列的多个像素设置的规则模式的放大因子来放大像素信号；像素混合步骤，用于对在该信号放大步骤中放大后的相同颜色的像素信号进行混合；以及像素缩减步骤，用于对在该像素混合步骤中混合后的像素信号进行缩减和输出。
从以下结合附图所进行的说明中可明显看出本发明的其他特征和优点，其中在所有附图中，相同的附图标记表示相同或相似的部分。
图1是示出根据本发明第一实施例的图像捕获装置的硬件配置的例子的框图；图2是概念性示出根据本发明第一实施例在相加模式下的读取方法的例子的图；图3是示出根据本发明第一实施例的图像传感器的像素结构的例子的电路图；图4A和4B是概念性示出根据本发明第一实施例在图像传感器中如何进行相加和平均操作的图；图5是示出根据本发明第一实施例的RG水平移位寄存器中G1移位寄存器的示意性配置的例子的电路图；图6是示出根据本发明第一实施例的RG水平移位寄存器中R移位寄存器的示意性配置的第一个例子的电路图；图7是示出根据本发明第一实施例的RG水平移位寄存器中R移位寄存器的示意性配置的第二个例子的电路图；图8是概念性示出根据本发明第二实施例在相加模式下的读取方法的例子的图；图9是概念性示出根据本发明第三实施例在相加模式下在水平方向上将像素缩减到1/3时读出像素的方法的例子的图；图10是概念性示出根据本发明第三实施例在相加模式下在水平方向上将像素缩减到1/5时读出像素的方法的例子的图；图11是用于解释根据现有技术在动态图像摄影模式下从通用CCD图像传感器读出信号的传统方法的图；图12是概念性示出根据现有技术在图像传感器中如何执行相加和平均操作的图。
具体实施例方式
接着将参考附图来说明本发明的实施例。
第一实施例首先，参考图1，说明根据本实施例的图像捕获装置的硬件配置的例子。
附图标记101表示光学系统，其包括透镜和光圈；102表示机械快门；103表示图像传感器。本实施例中的图像传感器103包括具有原色拜尔(Bayer)模式的滤色器。附图标记104表示执行模拟信号处理的CDS电路；105表示将模拟信号转换成数字信号的A/D转换器。
附图标记106表示定时信号发生电路，其生成用于操作图像传感器103、CDS电路104和A/D转换器105的信号；107表示光学系统101、机械快门102和图像传感器103的驱动电路；108表示信号处理电路，其对所捕获的图像数据进行必要的信号处理；109表示图像存储器，其存储已经过信号处理的图像数据。
附图标记110表示图像记录介质，其相对于该图像捕获装置是可拆卸的；111表示记录电路，其将已经过信号处理的图像数据记录在图像记录介质110上；112表示图像显示装置，其显示已经过信号处理的图像数据；113表示显示电路，其使图像显示装置112显示图像。
附图标记114表示系统控制单元，其控制整个图像捕获装置；115表示非易失性存储器(ROM)。非易失性存储器(ROM)115存储例如由系统控制单元114执行的描述控制方法的程序、执行程序时使用的参数和表等控制数据、以及用于缺陷地址的校正数据等。附图标记116表示易失性存储器(RAM)。提前传送存储在非易失性存储器115中的程序、控制数据和校正数据并将其存储在易失性存储器(RAM)116中，以便系统控制单元114在控制图像捕获装置时使用它们。
接着将说明由具有上述配置的图像捕获装置使用机械快门102执行的图像捕获操作的例子。
假设在图像捕获操作之前，在系统控制单元114开始工作时，例如，在图像捕获装置打开电源时，系统控制单元114提前将必要的程序、控制数据和校正数据从非易失性存储器115传送到易失性存储器(RAM)116，并将其存储在RAM 116中。
另外，假设系统控制单元114使用这些程序和数据来控制图像捕获装置，并在需要时将另外的程序和数据从非易失性存储器115传送到易失性存储器116，或者系统控制单元114直接从非易失性存储器115读出数据并使用它们。
首先，光学系统101根据来自系统控制单元114的控制信号驱动光圈和透镜，从而以适当设置的亮度在图像传感器103上形成物体图像。然后，根据图像传感器103的操作，来自系统控制单元114的控制信号驱动机械快门102，为图像传感器103挡光，从而设置必要的曝光时间。如果图像传感器103具有电子快门功能，则该功能可与机械快门102一起使用，以确保必要的曝光时间。
基于系统控制单元114控制的定时信号发生电路106生成的操作脉冲的驱动脉冲驱动图像传感器103。图像传感器103通过光电转换，将物体图像转换成电信号，并将其作为模拟图像信号输出。根据由系统控制单元114控制的定时信号发生电路106生成的操作脉冲，在CDS电路104从该信号中去除时钟同步噪声之后，A/D转换器105将从图像传感器103输出的模拟图像信号转换成数字图像信号。
然后，由系统控制单元114控制的信号处理电路108对该数字图像信号执行颜色转换、白平衡、伽马校正、分辨率转换处理、图像压缩处理等的图像处理。图像存储器109用于暂时存储信号处理期间的数字图像信号或存储作为已经过信号处理的数字图像信号的图像数据。在信号处理电路108中将已经过信号处理的图像数据或存储在图像存储器109中的图像数据由记录电路111转换成适合图像记录介质110的数据(例如，具有分级结构的文件系统数据)，并记录在图像记录介质110上。可选地，该信号经过信号处理电路108中的分辨率转换处理，并将结果数据由显示电路113转换成适合于图像显示装置112的信号(例如，NTSC模拟信号)，并显示在图像显示装置112上。
在此情况下，信号处理电路108可根据来自系统控制单元114的控制信号，将数字图像信号作为图像数据输出到图像存储器109或者记录电路111，而不执行信号处理。在接收到来自系统控制单元114的请求时，信号处理电路108向系统控制单元114输出在信号处理过程中生成的数字图像信号或图像数据的信息，例如，图像的空间频率、指定区域的平均值和压缩图像的数据量的信息，或从中提取的信息。另外，在接收到来自系统控制单元114的请求时，记录电路111向系统控制单元114输出信息，例如，图像记录介质110的类型和剩余容量。
图2是概念性地示出在根据具有上述配置的本实施例的图像捕获装置中在相加模式下的读取方法的图。图3是示出根据本实施例的图像传感器的像素结构的例子。注意，图2示出了这样的例子图像传感器具有以6(行)×11(列)矩阵形式排列的多个像素。参看图2，R、G1、G2和B代表像素的颜色(R代表红色；G1和G2代表绿色；B代表蓝色)，在R、G1、G2和B下所示的“×1”和“×2”代表对各像素施加的增益(放大因子)。以下将参照图2和图3，对根据本实施例的图像捕获装置的主要操作进行说明。
步骤1-1首先，在图2所示的图像传感器103上形成在曝光操作时经过光学系统101的物体图像。如图3所示，置于图像传感器103的每个像素中的光电二极管203输出与光量相对应的电信号(电流)。
与传统图像传感器相比，本实施例的图像传感器103的主要特征在于，包括能对每个像素施加不同增益的放大器(正常模式放大器201和相加模式放大器202)。在正常模式下的读取操作中，通过静态图像选择(s选择)信号204接通晶体管206和208，通过电容器Cs侧的正常模式放大器201对从光电二极管203输出的电信号进行放大，从而得到像素输出信号。
在相加模式下的读取操作中，通过相加选择(m选择)信号205接通晶体管207和209，通过电容器Cm侧的相加模式放大器202对电信号进行放大，从而得到像素输出信号。
注意，通过使用由复位信号212接通的复位MOS晶体管210和211来复位每个像素。
步骤1-2参看图2，在R-G1线(该线在垂直方向上的编号V是奇数，V＝2m+1(这里m为0或正整数))上，相加模式放大器202对水平方向上的编号H满足H＝4n(这里n为0或正整数)的位置处的R像素施加×2增益。
在G2-B线(该线在垂直方向上的编号V是偶数，V＝2m(这里m为0或正整数))上，相加模式放大器202对水平方向上的编号H满足H＝4n+3(这里n为0或正整数)的位置处的B像素施加×2增益。假设其余每个像素的增益量为×1。
步骤1-3开始垂直传送。
步骤1-4在RG水平移位寄存器103a和GB水平移位寄存器103b中，对相同颜色的像素进行相加。此时，将来自垂直方向上的偶数线和奇数线的像素值传送到不同的水平移位寄存器(RG水平移位寄存器103a和GB水平移位寄存器103b)，在各寄存器中执行不同像素的相加操作。然后，在水平方向上传送结果数据。
以下将说明R-G1线(该线在图2中的垂直方向上的编号V是奇数)上的像素相加操作的例子。
将相同颜色的两个相邻像素G1进行相加和平均，将结果像素传送到RG水平移位寄存器103a。图4A和4B是概念性地示出在本实施例中图像传感器103如何执行相加和平均操作的图。图4A示出将像素G1[n+1]和像素G1[n+3]进行相加和平均以生成像素G1[K+1]。
图5是示出RG水平移位寄存器103a中G1移位寄存器的示意性配置的例子的图。
参看图5，在正常读取模式下，每个像素G1[n+1]依次由静态图像选择(s选择)信号401和静态图像串行寄存器403通过晶体管405和406输出。在正常读取模式下，每个像素G1[n+3]依次由静态图像选择信号401和静态图像串行寄存器403通过晶体管407和408输出。
在相加读取模式下，由相加选择(m选择)信号402通过晶体管409和410在G相加单元(相加和平均电路GAdd[k+1])412中对像素G1[n+1]和G1[n+3]进行相加和平均，并由相加串行寄存器404通过晶体管411输出。同样，由G相加单元(相加和平均电路GAdd[k+3])413将像素G1[n+5]和像素G1[n+7]进行相加和平均。上述操作可被表示为，例如，G1[k+1]＝(G1[n+1]+G1[n+3])/2G1[k+3]＝(G1[n+5]+G1[n+7])/2 ...(1)...
随后，将相同颜色的3个相邻像素R进行相加和平均，并将结果像素传送到RG水平移位寄存器103a。图4A示出将像素R[n+2]、R[n+4]和R[n+6]进行相加和平均以生成像素R[k+2]。
图6是示出在RG水平移位寄存器103a中R移位寄存器的示意性配置的例子的图。
参看图6，在正常读取模式下，每个像素R[n+2]依次由静态图像选择(s选择)信号501和静态图像串行寄存器503通过晶体管505和506输出。
在正常读取模式下，每个像素R[n+4]依次由静态图像选择(s选择)信号501和静态图像串行寄存器503通过晶体管507和508输出。
在正常读取模式下，每个像素R[n+6]依次由静态图像选择(s选择)信号501和静态图像串行寄存器503通过晶体管509和510输出。
在相加读取模式下，由相加选择(m选择)信号502和相加串行寄存器504通过晶体管511、512和513，在R相加单元(相加和平均电路RAdd[k+2])514中，将像素R[n+2]、R[n+4]和R[n+6]进行相加和平均。同样，由R相加单元(相加和平均电路RAdd[k+4])515将像素R[n+6]、R[n+8]和R[n+10]进行相加和平均。
上述操作可被表示为，例如，R[k+2]＝(α×R[n+2]+β×R[n+4]+γ×R[n+6])/4R[k+4]＝(α×R[n+6]+β×R[n+8]+γ×R[n+10])/4 ...(2)...
在这种情况下，系数α和γ都为“1”(α＝γ＝1)，系数β为“2”(β＝2)。在上述步骤1-2的处理中，对像素乘以这些系数。
将通过上述相加和平均操作获得的并被传送到RG水平移位寄存器103a的像素依次从RG水平移位寄存器103a传送并输出。
以下将说明在G2-B线(该线在图2中的垂直方向上的编号V是偶数)上的像素相加操作的例子。注意，由于对G2-B线采用了与参照图5和图6所述的用于R-G1线的配置和操作相同的配置和操作，因此将简要说明相加操作，并省略其详细说明。
将相同颜色的两个相邻像素G2进行相加和平均，将结果像素传送到GB水平移位寄存器103b。图4B是示出将像素G2[n]和G2[n+2]进行相加和平均以生成像素G2[k]的图。该操作可被表示为，例如，G2[k]＝(G2[n]+G2[n+2])/2G2[k+2]＝(G2[n+4]+G2[n+6])/2 ...(3)...
随后，将相同颜色的三个相邻像素B进行相加和平均，并将结果像素传送到GB水平移位寄存器103b。图4B示出将像素B[n+1]、B[n+3]和B[n+5]进行相加和平均以生成像素B[k+1]。该操作可被表示为，例如，
B[k+1]＝(α×B[n+1]+β×B[n+3]+γ×B[n+5])/4B[k+3]＝(α×B[n+5]+β×B[n+7]+γ×B[n+9])/4 ...(4)...
在这种情况下，系数α和γ都为“1”(α＝γ＝1)，系数β为“2”(β＝2)。在上述步骤1-2的处理中，对像素乘以这些系数。
将通过上述相加和平均操作获得的并被传送到GB水平移位寄存器103b的像素依次从GB水平移位寄存器103b传送并输出。
在本实施例中，如上所述，对图像传感器103中的每个像素单元施加了不同的增益，并且在对每个像素周期性地施加增益后，对相同颜色的像素进行相加和平均。这使得有可能在对传感器中的像素执行缩减处理之前，获得低通过滤器效果，从而防止因缩减而引起的混叠(摩尔纹，moiré)的发生。
另外，每次对沿着水平方向的三个像素的R和B信号进行相加和平均，每次对沿水平方向的两个像素的G信号进行相加和平均。这可以防止G和R信号之间以及G和B信号之间的像素位置关系被颠倒。这可以极大地防止在传统相加读取模式下发生的由像素位置的颠倒而引起的锯齿(jaggy)的出现。
在本实施例中，对每个像素提供放大器，以对每个像素施加增益。然而，如图7所示，垂直传送线可包括能够向每个像素施加增益的放大器。
参看图7，由静态图像选择(s选择)信号601执行正常模式下的读取操作，由相加选择(m选择)信号602执行相加模式下的读取操作。
当由相加选择(m选择)信号602来执行相加模式下的读取操作时，由放大器608通过晶体管605对像素R[n+2]施加×1增益。由放大器609通过晶体管606对像素R[n+4]施加×2增益。像素R[n+6]经过晶体管607，并且放大器610对该像素施加×1增益。
R相加单元(相加和平均电路RAdd[k+2])611将增益校正后的像素R[n+2]、R[n+4]和R[n+6]进行相加和平均，并通过晶体管612将结果像素作为像素R[k+2]输出。图7所示的配置需要选择器，用于对各种颜色施加不同的增益。然而，不需要为每个像素保留一个放大器，这样可减小芯片面积。注意，在R相加单元(相加和平均电路RAdd[k+4])613中执行与上述相同的相加和平均操作。
在本实施例中，在图像传感器103内执行相加处理和缩减处理。然而，很显然，通过在静态图像模式下从图像传感器103读出所有像素，并通过使用图像捕获装置或PC(个人计算机)中的程序执行相加和削减处理，可得到具有很小混叠的图像。
第二实施例接着将对本发明的第二实施例进行说明。除了第一实施例中在传感器的水平方向上的相加处理以外，本实施例执行在传感器的垂直方向上的相加处理，从而防止由于垂直方向上的缩减处理而带来的图像质量的下降。如上所述，本实施例与第一实施例的不同之处在于，在传感器的垂直方向上进行相加处理，而其它配置是相同的。与第一实施例中相同的图1到图7中的附图标记在第二实施例中表示相同的部分，并将省略其详细说明。
在图像传感器103中，用于水平方向上的相加处理的电路配置、用于对每个像素施加不同增益的电路配置以及用于像素相加的电路配置与第一实施例中的相同。由于显然可通过使垂直移位寄存器的电路配置具有与第一实施例中的水平移位寄存器相同的电路配置来实现垂直方向上的相加处理，因此将省略其详细说明(参见图5到图7)。
图8是概念性地示出在根据本实施例的图像捕获装置中在相加模式下的读取方法的例子的图。注意，图8示出图像传感器具有按6(行)×7(列)矩阵形式排列的多个像素的例子。参看图8，R、G1、G2和B代表像素的颜色(R代表红色；G1和G2代表绿色；B代表蓝色)，R、G1、G2和B下面所示的“×1”和“×2”代表对各像素施加的增益(放大因子)。
步骤2-1首先，在图像传感器103上形成在曝光操作时经过光学系统的物体图像。与第一实施例中相同，然后置于图像传感器103的每个像素中的光电二极管203输出与光量相对应的电信号(电流)。
步骤2-2在R-G1线(该线在垂直方向上的编号V是奇数，V＝2m+1(这里m为0或正整数))上，放大器对水平方向上的编号H满足H＝4n(这里n为0或正整数)的位置处的R像素的电信号施加×2增益。在G2-B线(该线在垂直方向上的编号V是偶数，V＝2m(这里m为0或正整数))，放大器对水平方向上的编号H满足H＝4n+3(这里n为0或正整数)的位置处的B像素的电信号施加×2增益。假设剩余每个像素的增益量为×1。
步骤2-3在垂直传送操作中，对相同颜色的像素进行相加。参看图8，在垂直方向上，将垂直方向上的编号V满足V＝6n(n为0或正整数)的线上的像素和满足V＝6n+2(n为0或正整数)的线上的像素进行相加和平均。另外，在垂直方向上，将垂直方向上的编号V满足V＝6n+3(n为0或正整数)的线上的像素和满足V＝6n+5(n为0或正整数)的线上的像素进行相加和平均。而且，垂直方向上的编号V满足V＝6n+1(n为0或正整数)的线上的像素和满足V＝6n+4(n为0或正整数)的线上的像素被跳过。
步骤2-4在RG水平移位寄存器103a和GB水平移位寄存器103b中，对相同颜色的像素进行相加。此时，将来自垂直方向上的偶数线(G2-B线)和奇数线(R-G1线)的像素值传送到不同的水平移位寄存器(RG水平移位寄存器103a和GB水平移位寄存器103b)，并且在各寄存器中执行不同的像素相加操作。然后，在水平方向上传送结果数据。由于在本实施例的水平移位寄存器中相加像素的方法与第一实施例中的相同，因此将省略其说明。
如上所述，根据本实施例，即使在传感器水平方向和传感器垂直方向上都执行相加和平均操作，也能防止G和R信号的像素之间以及G和B信号之间的位置关系被颠倒。这能够防止锯齿的产生。另外，因为将相同颜色的四个像素进行相加，所以能够输出只有很小噪声的图像信号。
同样在本实施例中，在图像传感器103中执行相加处理和缩减处理。然而，很显然，通过在静态图像模式下从图像传感器103读出所有像素，并通过在图像捕获装置或PC(个人计算机)中的程序上执行相加处理和缩减处理，能得到具有很小混叠的图像。
第三实施例接着将说明本发明的第三实施例。本实施例的特征在于，在首先对每种颜色的像素施加具有共同模式的增益、并在水平移位寄存器中对相同颜色的像素进行相加和平均以获得低通滤波器效果之后，缩减并读出像素。本实施例的特征还在于，根据缩减比率改变对相同颜色的像素施加的增益的周期。其他配置与第一和第二实施例中的相同。因此，与上述第一和第二实施例中相同的图1到图8中的附图标记在第三实施例中表示相同的部分，并将省略其详细说明。
图9是概念性地示出在根据本实施例的图像传感器中在相加模式下在水平方向上将像素缩减到1/3时，读出像素的方法的例子的图。参看图9，R、G1、G2和B代表像素的颜色(R代表红色；G1和G2代表绿色；B代表蓝色)，在R、G1、G2和B下面所示的“×1”和“×2”代表对其上所示的各像素施加的增益(放大因子)。
步骤3-1首先，在图像传感器103上形成在曝光操作时经过光学系统的物体图像。置于图像传感器103的每个像素中的光电二极管203输出与光量相对应的电信号(电流)。
步骤3-2如图9所示，通过如在第一实施例中所述的为各像素提供的放大电路(放大器)来施加具有对每种颜色的像素预先设置的预定模式的增益。参看图9，在水平方向上施加具有规律(×1，×2，×1)的增益。
步骤3-3开始垂直传送。
步骤3-4水平移位寄存器对相同颜色的像素进行相加，然后输出结果像素。
以下将说明在G-B线(该线在图9中的垂直方向上的编号k是奇数)上的像素相加操作的例子。
更具体地说，例如，按下面给出的公式(5)进行相加G[2m]＝(G[6n]+G[6n+2]+G[6n+4])/4B[2m+1]＝(B[6n+1]+B[6n+3]+B[6n+5])/4 ...(5)接着将说明在R-G线(该线在图9中的垂直方向上的编号k是偶数)上的像素相加操作的例子。
与G-B线的情况相同，例如，按下面给出的公式(6)进行相加G[2m+1]＝(G[6n+1]+G[6n+3]+G[6n+5])/4R[2m]＝(R[6n]+R[6n+2]+R[6n+4])/4 ...(6)以这种方式从传感器输出数据后，水平方向上的像素数被减少到1/3。为了执行垂直方向上的缩减，垂直移位寄存器可以执行如第二实施例中由水平移位寄存器所执行的相同的相加和平均处理。
接着将说明在水平方向上将像素缩减到1/5时读出像素的模式被设置的情况。图10是概念性地示出在本实施例的图像传感器中在相加模式下在水平方向上将像素缩减到1/5时读出像素的方法的例子的图。参看图10，R、G1、G2和B代表像素的颜色(R代表红色；G1和G2代表绿色；B代表蓝色)，R、G1、G2和B下面所示的“×1”、“×4”和“×6”代表施加到各像素的增益(放大因子)。从图9和图10可明显看出，在将像素缩减到1/3的模式下，在水平方向上对相同颜色的像素所施加的规律性的增益具有三像素周期。与此相对比，在将像素缩减到1/5的模式下，增益具有五像素周期。如上所述，在本实施例中，随着缩减比率增大，增益模式的周期增大。
步骤4-1在图像传感器上形成在曝光操作时经过光学系统的物体图像。置于图像传感器的每个像素中的光电二极管输出与光量相对应的电信号(电流)。
步骤4-2如图10所示，通过如第一实施例中所述的为各像素提供的放大电路(放大器)来施加具有对每种颜色的像素提前设置的预定模式的增益。参看图10，在水平方向上施加具有规律(×1，×4，×6，×4，×1)的增益。
步骤4-3开始垂直传送。
步骤4-4水平移位寄存器将相同颜色的像素进行相加，然后输出结果像素。
以下将说明在G-B线(该线在图10中的垂直方向上的编号k是奇数)上的像素相加操作的例子。
更具体地说，例如，按下面给出的公式(7)进行相加G[2m]＝(G[10n]+G[10n+2]+G[10n+4]+G[10n+6]+G[10n+8])/16B[2m+1]＝(B[10n+1]+B[10n+3]+B[10n+5]+B[10n+7]+B[10n+9])/16...(7)接着将说明在R-G线(该线在图10中的垂直方向上的编号k是偶数)上的像素相加操作的例子。
与G-B线的情况相同，例如，按下面给出的公式(8)进行相加G[2m+1]＝(G[10n+1]+G[10n+3]+G[10n+5]+G[10n+7]+G[10n+9])/16R[2m]＝(R[10n]+R[10n+2]+R[10n+4]+G[10n+6]+R[10n+8])/16...(8)以这种方式从传感器输出数据后，水平方向上的像素数被减少到1/5。为了执行垂直方向上的缩减，垂直移位寄存器可以执行如第二实施例中由水平移位寄存器所执行的相同的相加和平均处理。
如上所述，在本实施例中，根据缩减比率改变周期性增益的周期，除了第一和第二实施例中的效果外，还可以更可靠地减小由于相加和缩减操作而带来的混叠。
同样在本实施例中，在图像传感器103内执行相加处理和缩减处理。然而，很显然，通过在静态图像模式下从图像传感器103读出所有像素，并通过在图像捕获装置或PC(个人计算机)中的程序上进行相加处理和缩减处理，可得到具有很小混叠的图像。
根据上述实施例，在通过具有对以矩阵形式排列的多个像素设置的规则模式的放大因子对像素信号进行放大之后，在进行相加和平均操作时对相同颜色的像素信号进行缩减。这使得有可能在对像素进行缩减处理之前获得低通滤波器效果，从而尽可能地防止由于缩减而带来的混叠。
另外，对R-G线上的R信号按每次三个像素进行相加和平均，对G信号按每次两个像素进行相加和平均。另一方面，对G-B线上的B信号按每次三个像素进行相加和平均，对G信号按每次两个像素进行相加和平均。这可以尽可能地防止在G和R信号之间以及在G和B信号之间的像素位置关系被颠倒。这能够尽可能地防止锯齿的产生。
本发明的其他实施例本发明在其范围内还包含下面的配置。在该配置中，为了使各设备工作以实现上述实施例的功能，将用于实现上述实施例功能的软件的程序代码提供给与各设备相连的装置或系统中的计算机，从而使该系统或装置中的计算机(CPU或MPU)根据该程序代码操作各设备。
在这种情况下，软件程序代码本身实现上述实施例的功能，并且程序代码本身和将该程序代码提供给计算机的装置，即，存储该程序代码的记录介质构成了本发明。可以使用例如软盘、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失性存储卡、ROM等作为存储这种程序代码的记录介质。
显然，不仅在计算机执行所提供的程序代码时实现上述实施例的功能的情况下，而且还在上述程序代码与计算机上运行的OS(操作系统)、另一应用程序软件等协作实现上述实施例的功能的情况下，上述程序代码被包括在本发明的实施例中。
另外，本发明包含这样一种情况将所提供的程序代码存储在计算机中的功能扩展板或与计算机相连的功能扩展单元的存储器中，该功能扩展板或与功能扩展单元的CPU根据该程序代码的指令执行部分或全部实际处理，从而通过该处理来实现上述实施例的功能。
由于在不脱离本发明的精神和范围的情况下，可以做出许多明显不同的本发明的实施例，因此应该理解，除了所附权利要求书中定义的以外，本发明不局限于特定的实施例。
权利要求
1.一种图像捕获装置，其特征在于，包括信号放大装置，用于以具有对以矩阵形式排列的多个像素设置的规则模式的放大因子来放大像素信号；像素混合装置，用于对由所述信号放大装置放大后的相同颜色的像素信号进行混合；以及像素缩减装置，用于对由所述像素混合装置混合后的像素信号进行缩减和输出。
2.一种图像捕获装置，其特征在于，包括以矩阵形式排列的多个像素；以及读出该矩阵中水平方向上的像素并传送该像素的水平移位寄存器和读出该矩阵中垂直方向上的像素并传送该像素的垂直移位寄存器中的至少一个，所述水平移位寄存器和所述垂直移位寄存器包括信号放大装置，用于以具有对所述多个像素设置的规则模式的放大因子来放大像素信号，像素混合装置，用于对由所述信号放大装置放大后的相同颜色的像素信号进行混合，以及像素缩减装置，用于对由所述的像素混合装置混合后的像素信号进行缩减和输出。
3.根据权利要求1或2所述的图像捕获装置，其特征在于，该规则模式包括用于R信号和B信号以及用于G信号和B信号的不同模式。
4.一种图像捕获装置，其特征在于，包括图像传感器，所述图像传感器包括以矩阵形式排列的多个像素；信号放大装置，用于以具有对所述多个像素设置的规则模式的放大因子来放大像素信号，以及像素混合装置，用于对由所述信号放大装置放大后的相同颜色的像素信号进行混合，其中，所述像素混合装置对R-G线上的R信号以每次三个像素进行混合，对R-G线上的G信号以每次两个像素进行混合，其中，该R-G线是该矩阵的水平方向或垂直方向上的线，并且在该R-G线上交替出现R信号和G信号，以及所述像素混合装置对G-B线上的G信号以每次两个像素进行混合，对G-B线上的B信号以每次三个像素进行混合，其中，该G-B线是该矩阵的水平方向或垂直方向上的线，并且在该G-B线上交替出现G信号和B信号。
5.根据权利要求4所述的图像捕获装置，其特征在于，所述图像传感器包括具有原色拜尔模式的滤色器。
6.根据权利要求1或2所述的图像捕获装置，其特征在于，根据所述缩减装置中的缩减比率来设置该规则模式。
7.根据权利要求6所述的图像捕获装置，其特征在于，随着所述缩减装置中的缩减比率增大，该规则模式的周期被设置得更长。
8.根据权利要求1或2所述的图像捕获装置，其特征在于，该规则模式是具有预定周期的模式。
9.一种图像传感器，其特征在于，包括以矩阵形式排列的多个像素；信号放大装置，用于以具有对所述多个像素设置的规则模式的放大因子来放大像素信号；像素混合装置，用于对相同颜色的每个像素对来自光电转换单元的输出信号进行混合；以及像素缩减装置，用于以预定的缩减比率来缩减由所述像素混合装置混合后的像素信号。
10.根据权利要求9所述的图像传感器，其特征在于，还包括执行光电转换的光电转换单元，所述光电转换单元包括所述多个像素和所述信号放大装置。
11.一种图像捕获处理方法，其特征在于，包括信号放大步骤，用于以具有对以矩阵形式排列的多个像素设置的规则模式的放大因子来放大像素信号；像素混合步骤，用于对在该信号放大步骤中放大后的相同颜色的像素信号进行混合；以及像素缩减步骤，用于对在该像素混合步骤中混合后的像素信号进行缩减和输出。
全文摘要
本发明提供一种图像捕获装置、图像传感器和图像捕获处理方法。本发明的目的在于，当在缩减的基础上读出像素时，减少缩减操作后图像质量的下降。图像传感器被设计成使得基于像素来施加不同的增益。在对各像素施加周期性的增益之后，对相同颜色的像素进行相加和平均，以便在传感器中对像素进行缩减处理之前获得低通滤波器效果，从而防止因缩减而引起的混叠(摩尔纹)的出现。
文档编号H04N9/07GK1835565SQ20061005980
公开日2006年9月20日 申请日期2006年3月15日 优先权日2005年3月15日
发明者池田荣一郎 申请人:佳能株式会社