专利名称：图像拍摄装置和图像质量校正方法
技术领域：
本发明涉及一种通过使用固态图像拍摄部件拍摄物体图像的图像拍摄装置，以及在此图像拍摄期间使用的图像质量校正方法。
背景技术：
近年来，用于将拍摄的图像存储为数字数据的数字静态照相机(digitalstill camera)变得流行起来。在数字静态照相机中，通过使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器的图像拍摄器件，由光学透镜拍摄的图像被光电转换为数字数据，其后，在其上执行预定的信号处理，并将数据记录在外部记录介质上等。
对于拍摄的图像信号处理，执行如下自动控制，如用于执行适当曝光的自动曝光(AE)、根据色温进行颜色校正的自动白平衡(AWB)、以及用于去除包含在图像信号中的偏移的数字箝位(DCLP)。根据通过稀疏像素从图像拍摄器件读取的图像信号，进行上述自动控制的检测。通常使用这种图像信号作为液晶显示(LCD)上的显示数据，由用户用于在图像拍摄期间进行监视。因此，执行稀疏读取的读取操作模式称为“监视读取模式”。
作为对照，不通过稀疏像素而从图像拍摄器件读取信号的读取操作模式，在隔行扫描方式情况下称为“帧读取模式”，而在逐行扫描方式情况下称为“所有像素(all-pixels)读取模式”。它们共同称为“拍摄读取模式”。
图14概略地示出了读取操作模式在传统数字静态照相机中切换时、信号处理的示例。
图14示出了使用隔行扫描方式的CCD作为图像拍摄器件的情形。图14的部分(A)示出了与帧、或场同步的同步信号。图14的部分(B)示出了在CCD中读取操作模式的切换。图14的部分(C)、和(D)分别示出了对应于上述切换的、用于AE、AWB和DCLP的控制的检测过程和图像生成过程的流程图。图14的部分(C)、和(D)中的检测过程和图像生成过程由例如照相机系统LSI执行。
在定时T1401和T1402，如图14的部分(B)所示，CCD操作于监视读取模式并执行在其中稀疏像素的信号的读取，而与同步信号同步。由监视读取模式获得的图像信号转换为数字数据，之后，如图14的部分(C)所示，在照相机系统LSI中执行用于AE、AWB和DCLP的控制的检测。通过该检测而获得的数据传送到例如微型计算机，由此计算AE、AWB和DCLP的控制系数，并且输出这些系数给照相机系统LSI。
在照相机系统LSI中，如图14的部分(D)所示，根据计算的系数，在监视读取模式中获得的图像信号上执行适当的图像质量校正过程，执行转换为预定图像数据格式的过程，从而执行生成用于监视的图像信号(此后称为“监视图像信号”)的过程。所生成的监视图像信号存储在诸如动态随机访问存储器(DRAM)之类的图像存储器中，之后，将该监视图像信号输出给显示模块，从而，在诸如LCD的显示器件上显示，这样，来执行用户的监视。
用户通过使用显示器件来调整物体的视角，而此时显示图像要求高帧速率。监视读取模式是用于生成监视图像信号的读取操作模式，所述监视图像信号通过读取在CCD中稀疏像素的信号而具有少量信息。
接着，在定时T1402，当用户按下如快门开关时，CCD被置于拍摄读取模式，并从水平方向的所有奇数行像素执行信号读取。在随后的定时T1403，从所有偶数行像素执行信号读取。在拍摄读取模式，由于未稀疏像素，同步信号间隔增加。通过拍摄读取模式而获得的图像信号转换为数字数据，并暂时存储这些数据在图像存储器中。
接着，在定时T1404，CCD返回监视读取模式。随同此，从图像存储器读取通过拍摄读取模式而获得的图像信号，将所述图像信号提供给照相机系统LSI，并开始生成图像信号的过程，所述图像信号将要记录在如外部记录介质(此后称为“拍摄的图像信号”)上。如图14的部分(D)所示，在照相机系统LSI中，在按下快门开关的定时T1402之前，通过使用从监视读取模式中的图像信号而获得的各种系数，通过开环(open)控制来执行用于来自存储器的图像信号的诸如AE、AWB和DCLP之类的校正过程，而且，还在其上执行数据转换过程，从而生成拍摄的图像信号。再将生成的拍摄的图像信号存储在图像存储器中，其后，将所述信号传送到外部记录介质中。
此后，在定时器T1405，在照相机系统LSI中，拍摄的图像信号的生成过程结束，并且再次开始用于监视读取模式的图像信号的检测。
如上所述，在传统数字静止照相机中，AE、AWB和DCLP的控制在图像信号上执行，该图像信号通过使用在上述拍摄读取模式前的监视读取模式中由检测获得的各种系数，在拍摄读取模式期间拍摄。这因于基于这种观念，即构造于传统上实时进行照相机信号处理和检测处理的假定之上。也就是说，这是因为，即使执行用于在按下快门后输出的图像信号的检测，也需要计算通过使用微型计算机检测而获得的数据的时间，并且不能根据该计算数值实时执行照相机信号处理。
而且，在传统数字静止照相机中，在监视读取模式中读出的作为稀疏像素的结果的图像信号与没有稀疏像素而读出的图像信号之间没有大的差异。即使在监视读取模式中执行检测，并且通过使用各种计算的系数，在拍摄读取模式中获得的图像信号上根据开环(open)控制执行校正过程，也不会出现拍摄的图像的、图像质量上的严重问题。
然而，近来，因为CCD的像素数目已经增加，通过监视读取模式而获得的图像信号和通过拍摄读取模式而获得的图像信号之间的差异已经变大，并且在传统方法中、用于拍摄的图像的AE、AWB和DCLP的校正过程不能合适地执行了。
例如，在图像拍摄器件中，根据曝光时间和温度，出现的暗信号的量变大，并且，随着像素数目增加，在拍摄读取模式中读取图像信号花费的时间增加，导致由于此时在图像拍摄装置中生成的暗信号的噪声分量增加。结果，在监视读取模式和拍摄读取模式的每一个中所获得的图像信号中，因为在基于监视读取模式中的检测的、图像质量校正过程中、包含在其中的偏移差异大，所以出现了不能生成适当图像信号的问题。
而且，随着像素数目增加，必须增加监视读取模式中的稀疏像素的比率，使得由用户监视的显示图像的帧速率不下降。结果，在图像拍摄器件上的空间取样(space sampling)出现显著的伪信号(aliasing)。作为一个用于防止该伪信号的方法，在图像拍摄装置上的垂直方向添加同样颜色的线的方法变得更普通。然而，在该方法中，对在监视读取模式中的图像信号，由于线添加，输出信号量变为2倍大。因此，在拍摄的图像信号的处理期间，通过使用根据其中执行了线添加的图像信号的检测的数据，来执行用于校正其中没有执行线添加的拍摄的图像信号的过程，这样，就使其难于执行合适的控制。
除了涉及像素数目增加的问题，在AE、AWB和DCLP的校正过程中，还有其它一些常规问题。例如，在监视读取模式，通常，在打开机械快门时拍摄图像。此时，所谓的污点可能出现在从图像拍摄器件输出的信号中。作为对照，在拍摄读取模式，通常使用机械快门。在此情况中，从原理上讲，不会出现污点。因此，可存在这种情形，其中，在两种读取操作模式中生成的图像信号之间出现了明显的差别。
而且，数字静态照相机通常具有安装在其中的闪光机制。该闪光机制在拍摄图像前的监视期间，即在监视读取模式中不操作，并且只在拍摄图像的拍摄读取模式中操作。因此，根据其中没有发射闪光的图像信号的检测，来校正其中发射闪光的图像信号，并且，从原理上讲，不可能执行精确的控制。
发明内容
鉴于这类问题，提出了本发明。本发明的一个目的在于提供一种图像拍摄装置，它能使用具有大量像素的固态图像拍摄器件，在拍摄的图像上合适地执行图像质量校正。
本发明的另一个目的在于提供一种图像质量校正方法，它能使用具有大量像素的固态图像拍摄器件，在拍摄的图像上合适地执行图像质量校正。
为了克服前述的问题，本发明提供了一种用于拍摄物体图像的图像拍摄装置，该图像拍摄装置包括安排成矩阵的固态图像拍摄器件，包括其中通过稀疏像素而读取拍摄的图像信号的第一读取操作模式，和其中没有稀疏像素而读取拍摄的图像信号的第二读取操作模式；暂时存储装置，用于暂时存储从所述固态图像拍摄器件在所述第二读取操作模式期间读取的图像信号；检测装置，用于在从所述固态图像拍摄器件在所述第一读取操作模式期间读取的所述图像信号上执行预定检测，并且用于在从所述暂时存储装置在所述第二读取操作模式期间读取的所述图像信号上执行预定检测；信号处理装置，用于执行预定的信号处理，该信号处理用于根据所述检测装置在每一个读取操作模式期间所检测的数据，在从所述固态图像拍摄器件在所述第一读取操作模式期间读取的所述图像信号上、和在从所述暂时存储装置在所述第二读取操作模式期间读取的所述图像信号上校正图像质量；以及读取控制装置，用于在该固态图像拍摄器件从所述第一读取操作模式切换到所述第二读取操作模式时，读取存储在所述暂时存储装置中的所述图像信号，并将该图像信号提供给所述检测装置，此后，重新读取所述图像信号，并将该图像信号提供给所述信号处理装置。
在这种图像拍摄装置中，在所述固态图像拍摄器件处于第一读取操作模式时，通过稀疏像素从所述固态图像拍摄器件读取的图像信号由所述检测装置检测，并且根据该所检测的数据，所述信号处理装置执行用于图像质量校正的预定的信号处理。而且，在所述固态图像拍摄器件切换到第二读取操作模式时，没有稀疏像素而从所述固态图像拍摄器件读取的图像信号暂时存储在暂时存储装置中，其后，从该暂时存储装置读取该图像信号，并且在读取控制装置的控制下将其供给所述检测装置。此后，从暂时存储装置再次读取图像信号，并且在读取控制装置的控制下将其供给所述信号处理装置。然后，根据对在第二读取操作模式读取的图像信号的检测，所述信号处理装置对该图像信号执行用于图像质量校正的信号处理。而且，例如，在第二读取操作模式期间，在将要读取暂时存储在所述暂时存储装置中的图像信号、并提供给所述检测装置时，读取控制装置通过以一种方式稀疏像素而读取图像信号，所述的方式为对应于从所述固态图像拍摄器件在所述第一读取操作模式期间读取。
而且，本发明提供一种通过使用固态图像拍摄器件来拍摄物体图像的图像拍摄方法，该图像质量校正方法包括步骤在从所述固态图像拍摄器件在第一读取操作模式读取的图像信号上执行预定检测，在所述第一读取操作模式，通过稀疏像素而读取由所述固态图像拍摄器件拍摄的所述图像信号；执行预定的信号处理，用于根据通过所述预定检测而检测的所述数据，在所述图像信号上校正图像质量；在所述固态图像拍摄器件切换到第二读取操作模式而没有稀疏所述像素时，暂时存储从所述固态图像拍摄器件读取的所述图像信号；读取所述存储的图像信号，并在其上执行所述预定的检测；以及重新读取所述存储的图像信号，并执行预定的信号处理，该信号处理用于根据通过所述预定检测而检测的所述数据，在所述重新读取的图像信号上校正图像质量。
在这种图像质量校正方法中，在所述固态图像拍摄器件从所述第一读取操作模式切换到所述第二读取操作模式时，暂时存储没有稀疏像素而从所述固态图像拍摄器件读取的图像信号，其后，读取该图像信号，并且在其上执行预定的检测。此后，再次读取暂时存储的图像信号，并且，根据对在第二读取操作模式读取的图像信号的检测，在该图像信号上执行用于图像质量校正的预定信号处理。而且，例如，在将要读取暂时存储的图像信号、并在其上将要进行预定检测时，可以通过以一种方式稀疏像素而读取所述图像信号，所述的方式为对应于从所述固态图像拍摄器件在所述第一读取操作模式期间读取。
图1是用来说明本发明的图像拍摄装置的配置示例的方框图。
图2是用来说明照相机系统LSI的内部配置的示例的方框图。
图3概略地说明图像拍摄器件中的像素编码的示例。
图4A和4B说明在逐行扫描方式中的图像拍摄器件中读取信号的示例。
图5A和5B说明在隔行扫描方式中的图像拍摄器件中读取信号的示例。
图6说明在隔行扫描方式情况中在监视读取模式中读取信号的示例。
图7说明在监视读取模式中执行线添加的情况中读取信号的示例。
图8概略地说明在读取操作模式在本发明的图像拍摄装置中切换时、信号处理的示例。
图9是用来说明照相机预处理电路的内部配置的示例的方框图。
图10说明数字箝位电路的配置的示例。
图11说明数字增益电路的配置的示例。
图12说明白平衡调整电路的配置的示例。
图13是用来说明在拍摄的图像时微型计算机的操作的流程图。
图14概略地说明在读取操作模式在传统数字静态照相机中切换时、信号处理的示例。
具体实施例方式
下面将参照
本发明的各实施方式。
图1是用来说明本发明的图像拍摄装置的配置示例的方框图。图1中所示的图像拍摄装置1用于拍摄物体的图像并生成数字系统的图像数据。所述图像拍摄装置1包括透镜2a、光圈2b和快门2c，用于接收来自物体的光；图像拍摄器件3，用于将该光进行光电转换；放大器4，用于驱动来自图像拍摄器件3的模拟图像信号；前端5，用于执行诸如将模拟图像信号转换为数字数据之类的过程；照相机系统LSI 6，用于在已经转换为数字数据的图像信号上执行图像质量校正过程、以及用于转换为亮度信号和色差信号的过程；图像存储器7，用于存储从照相机系统LSI 6输出的图像信号；定时发生电路(TG)8，用于驱动图像拍摄器件3；以及微型计算机9，用于控制整个装置。
透镜2a沿着光轴可移动，并将来自物体的光正确收集进入图像拍摄器件3。光圈2b通过改变收集的光通过的区域，来控制提供给图像拍摄器件3的光量。快门2c通过阻塞光传输，来控制图像拍摄器件3中的曝光。存在光圈2b也用作为快门2c的功能的情形。透镜2a、光圈2b和快门2c的操作由微型计算机9控制。
以这种方式配置图像拍摄器件3，诸如CCD和CMOS图像传感器之类的、大量的固态图像拍摄器件以矩阵集成。图像拍摄器件3把来自物体的光转换为电信号，并输出该信号作为电流值或电压值。而且，图像拍摄器件3包括其中对一次扫描中的一帧或一场的所有像素读出存储的电荷的读取操作模式，以及其中通过稀疏像素读出存储的电荷的读取操作模式。此后，前者称为“拍摄读取模式”，而后者称为“监视读取模式”。
而且，为了在空间取样期间去除信号的伪(aliasing)分量，由于稀疏像素的比率在监视读取模式中高，图像拍摄器件3具有如下功能即，在监视读取模式期间，添加同样颜色的线的信号，并将其关于图像拍摄器件3中的垂直方向的像素而进行输出。
放大器4驱动来自图像拍摄器件3的模拟图像信号，并将该模拟图像信号提供给前端5。
前端5包括取样/保持(S/H)和增益/控制(GC)电路5a、以及A/D转换电路5b。S/H和GC电路5a通过关联的双取样过程，在经由放大器4提供的模拟图像信号上，执行针对通常称为1/F波动噪声等的噪声消除处理，并在必要时进一步执行增益调整。例如，在入射到图像拍摄器件3的光强度弱时，在微型计算机9的控制下放大输入图像信号。A/D转换电路5b将来自S/H和GC电路5a的信号转换为数字图像信号，并将该数字图像信号提供给照相机系统LSI 6。
照相机系统LSI 6在微型计算机9的控制下从前端5检测图像信号，并且，在执行用于将该图像信号从图像存储器7读取和写入的读/写操作时，照相机系统LSI 6执行诸如白平衡调整、和偏移消除之类的图像质量校正过程、以及用于将该图像信号转换为亮度信号和色差信号的过程。而且，经过这种过程后生成的图像信号输出给显示器件(未示出)的显示模块或外部记录介质的写模块。而且，同步信号输出给前端5和TG 8。
图像存储器7是诸如DRAM或SDRAM(同步DRAM)之类的半导体存储器，并暂时存储来自照相机系统LSI 6的数字系统的图像信号。
TG 8在图像拍摄器件3中、在微型计算机9的控制下控制水平和垂直方向的驱动定时。而且，在图像拍摄器件3具有高速/低速快门功能时，TG 8对该功能执行曝光时间控制。
微型计算机9管理整个图像拍摄装置1的控制。例如，微型计算机9执行如下控制，例如通过光圈2b控制曝光量、通过对快门2c进行开/关控制而控制曝光时间、在图像拍摄器件3中控制读取操作模式(将在后面描述)、在前端5的S/H和GC电路5a中控制增益、操作控制和计算用于照相机系统LSI 6的控制值、通过TG 8控制图像拍摄器件3的电子快门功能等。
下面，将在描述照相机系统LSI 6的内部配置。图2是示出了照相机系统LSI 6的内部配置例子的方框图。
照相机系统LSI 6包括数据总线选择器61和62，用于切换图像信号的输入；检测处理电路63，用于检测输入图像信号；照相机预处理电路64，用于在输入图像信号上执行诸如图像质量校正过程的信号处理；照相机主处理电路65，执行用于把输入图像信号转换为亮度信号和色差信号的过程；存储器控制器66，用于控制从图像存储器7读取和写入；以及定时发生电路67，用于在照相机系统LSI 6内的电路中生成定时信号。
根据来自微型计算机9的控制信号，数据总线选择器61在来自前端5的图像信号与经由存储器控制器66而来自图像存储器7的图像信号之间，把输入切换到检测处理电路63和照相机预处理电路64。而且，数据总线选择器62在来自前端5的图像信号与来自照相机主处理电路65的图像信号之间，把输入切换到存储器控制器66。
检测处理电路63执行检测，用于在从数据总线选择器61输入的图像信号上执行AE、AWB和DCLP控制。例如，检测处理电路63执行如下过程即，为了AE控制而用于在检测帧内积分(integrating)亮度信号分量的过程、为了AWB控制而用于积分逐色(color-by-color)电平的过程、以及为了DCLP控制而用于在光学暗(OPB)区域中积分每种颜色的偏移电平的过程。检测处理电路63把通过每一个过程而得到的、所检测的数据输出给微型计算机9。
根据微型计算机9计算的控制值，照相机预处理电路64在从数据总线选择器61输入的图像信号上执行如下图像质量校正过程，如白平衡、DCLP、增益调整、γ校正和钳位处理。
照相机主处理电路65在从照相机预处理电路64输入的、由例如RGB基色信号组成的图像信号上执行像素插值过程、频率特性校正过程等，使图像信号转换为由亮度信号(Y)和色差信号(Cb/Cr)形成的常规图像数据格式。
存储器控制器66缓冲从数据总线选择器62提供的图像信号，执行图像存储器7的寻址，并在微型计算机9的控制下将该图像信号存储进图像存储器7的指定区域。而且，存储器控制器66读出指定区域的图像信号，并将其输出给数据总线选择器61。
存储器控制器66其中包括稀疏/增加电路66a。稀疏/增加电路66a具有用于通过在将要从图像存储器7读取图像信号时稀疏像素、而从图像存储器7读取图像信号的功能，以及在矩阵中的垂直方向增加同色的线的图像信号、并将其输出的功能。在上述稀疏读取期间，通过匹配将要减少的像素的位置、以及以一种方式进行颜色编码，来进行读取，所述的一种方式对应在监视读取模式中的图像拍摄器件3的稀疏方法。而且，在线增加期间，类似地，以一种方式进行读取，所述的一种方式匹配在监视读取模式中的图像拍摄器件3的线增加和增加方法。
定时发生电路67生成定时信号，用作对前端5和照相机系统LSI 6、TG8等的每一个内部电路的操作参考。
图像拍摄装置1的图像拍摄器件3包括两种读取操作模式，即上述方式的拍摄读取模式和监视读取模式。拍摄读取模式是用于生成拍摄的图像的操作模式，且生成的图像信号包括用于在图像拍摄器件3中提供的所有像素的数据，使可以显示高分辨率图像。
监视读取模式是用于生成将要示出在诸如LCD之类的显示器件上的图像信号的操作模式，于是，例如，在拍摄图像前，视角由用户调整。在该监视读取模式，通过稀疏像素从图像拍摄器件3读取信号的结果是，将要生成的图像信号的数据量减少了，而且可增加显示器件中显示图像的帧速率。
这里，将给出在基色单板CCD用作为图像拍摄器件3的情况中的一个例子的说明。图3概略地示出了图像拍摄器件3中的像素编码的例子。
例如，如图3中所示，基色滤波器R、Gr、Gb和B定位在图像拍摄装置1中提供的图像拍摄器件3中。Gr和Gb分别指出与R信号和B信号设置在同一水平线上的G信号。
在逐行扫描方式中，水平线像素顺序存储在水平寄存器中，并且，例如，作为从左侧顺序读取的结果，输出所有像素的信号。而且，在隔行扫描方式的情况中，首先，诸如图中的A1和A2的奇数行像素顺序读出，其后，诸如B1和B2的偶数行像素顺序读出，从而输出一帧的所有像素。
现在，将在下面给出具有这种像素编码的图像拍摄器件3中的信号读取操作的说明。图4A和4B示出在逐行扫描方式的情况中读取信号的例子。
在逐行扫描方式的图像拍摄器件3的情况中，在拍摄读取模式，如图4A中所示，从水平方向的第一行开始顺序读取所有像素的信号。图4B示出在监视读取模式情况中的像素稀疏读取的例子。这里，黑色填充部分指出对其没有执行读取信号的像素。在该例子中，在如第一行和第四行、以及第九行和第十二行那样维持像素编码时，作为从8行读取两行图像信号的结果，将要读取的像素数目减少到1/4。
下面，将描述在隔行扫描方式情况中读取信号的例子。图5A和5B示出在隔行扫描方式情况中在拍摄读取模式中读取信号的例子。
在隔行扫描方式情况中，在两场的间隔读取图像拍摄器件3中的图像信号。在读取第一场期间，如图5A中所示，例如，读取水平方向的奇数行的图像信号，而在下面读取第二场期间，如图5B中所示，读取偶数行的图像信号。每场的图像信号暂时存储在图像存储器7中，从而生成用于包括所有像素的一帧的图像信号。
图6示出在隔行扫描方式情况中在监视读取模式中读取信号的例子。
在监视读取模式，以类似于上述逐行扫描方式的方式，在一次扫描中读取用于一帧的像素信号。在图6的例子中，在维持像素编码时，作为从8行读取两行像素信号的结果，像素数目减少到1/4。
而且，在图4B和6中所示的监视读取模式中读取信号的例子中，因为像素信号以一行为单位读出，有必要在由图像拍摄器件3处理的像素数目变大时增加稀疏比率，图像变得粗糙，而且在空间取样期间的伪信号(aliasing)变得可能发生。因此可知，通过以增加的方式读取在垂直方向的多行中的同样颜色的像素信号，改进了图像质量。
图7示出在隔行扫描方式执行线添加的情况中读取信号的例子。
在图7的例子中，从垂直方向的12行读取4行，并且，由水平寄存器31增加用于两行的垂直方向的同样颜色的邻近像素的信号，并将其输出。例如，对R信号和Gr信号，增加第一行和第三行的图像信号，并输出，而对Gb信号和B信号，增加第8行和第10行的图像信号，并输出。
结果，在将要输出的像素数目减少为所有像素的1/6时，两倍于它的、1/3的视频信息量反映在图像中，因而校正了由于稀疏读取而导致的图像的粗糙。而且，作为增加用于垂直方向的两行的同样颜色的像素信号的结果，作用如一个带通滤波器，可减少因空间取样而出现在图像中的伪(aliasing)噪声。然而，应当注意，由于这种增加，输出图像信号的电平变为两倍高。
在前述中，虽然已经描述了基色单板CCD用作为图像拍摄器件3的情况中，但是，在例如使用一个3板CCD时，可以在用于关于每种颜色的同样数量的线的图像信号上执行稀疏读取。
在图像拍摄装置1中，照相机系统LSI 6在微型计算机9的控制下、在拍摄的图像信号上、执行诸如曝光、白平衡和偏移之类的用于执行校正过程的检测。而且，通过将该检测结果发送给微型计算机9，以及通过接收计算结果的输入，实现了自动曝光(AE)校正、自动白平衡(AWB)、和用于去除偏移的数字钳位(DCLP)过程的功能。
在监视读取模式，在以稀疏方式从图像拍摄器件3读取的图像信号上执行检测，并且，根据该检测的数据，执行图像质量校正控制。而且，例如在拍摄读取模式，在按下快门按钮后，通常，根据在前面的监视读取模式所检测的数据执行图像质量校正控制。然而，在本发明中，除了上述情况中，还在拍摄读取模式中读取的图像信号上执行检测，从而改进图像质量校正的精确度。
图8概略地说明在图像拍摄装置1的切换中、作为读取操作模式的信号处理的示例。现在将参考图8在下面描述图像拍摄装置1的操作。
图8示出隔行扫描方式的CCD用作为图像拍摄器件3的情形。图8(A)示出与帧或场同步的同步信号。图8(B)示出在图像拍摄器件3中读取操作模式的切换。图8(C)和8(D)示出在用于控制AE、AWB和DCLP的照相机系统LSI 6中的检测过程和图像生成过程，分别对应于上述切换。图14(C)的检测过程是在检测处理电路63中执行的过程，而图14(D)的图像生成过程是在照相机预处理电路64和照相机主处理电路65中执行的过程。
在定时T801和T802，如图8(B)中所示，图像拍摄器件3操作在监视读取模式中，并且与同步信号同步地对其中稀疏了像素的信号进行读取。在监视读取模式得到的图像信号经由放大器4提供给前端5，由此，将该图像信号转换为数字数据。此后，用于控制AE、AWB和DCLP的检测过程在照相机系统LSI 6的检测处理电路63中进行。通过该检测过程得到数据传递给微型计算机9，由此计算用于控制AE、AWB和DCLP的系数，并将其输出给照相机系统LSI 6的照相机预处理电路64。
如图8(D)中所示，在照相机预处理电路64中，根据从微型计算机9输出的数据，启动生成用于用户监视的图像信号(下面称为“监视图像信号”)的过程。在照相机预处理电路64中，根据在微型计算机9中计算的系数，在监视读取模式得到的图像信号上执行适当的图像质量校正过程。而且，为了控制AE，根据计算的结果，也通过微型计算机9执行对光圈2b、前端5等的控制。从照相机预处理电路64输出的图像信号在照相机主处理电路65中进一步转换为亮度信号和色差信号，并且生成监视图像信号。
生成的监视图像信号在存储器控制器66控制下存储在图像存储器7中，此后该图像信号输出到例如显示模块，并且，该图像信号显示在诸如CCD之类的显示器件上。该显示图像由用户监视。由于显示图像此时基于在图像拍摄器件3中通过稀疏读取像素而生成的图像信号，所以，显示图像以高帧速率显示。而且，在执行用于垂直方向的同样颜色的线的增加过程、并且在图像拍摄器件3中输出图像信号时，减少了图像中的伪噪声。
下面，在定时T802，在用于生成拍摄的图像的请求供给微型计算机9作为例如用户按下快门开关的结果时，如图8(B)所示，图像拍摄器件3切换到拍摄读取模式，并且快门2c在微型计算机9的控制下操作。在图像拍摄器件3中，首先，对用于例如水平方向的奇数行的所有像素的信号进行读取。在随后的定时T803，对用于偶数行的所有像素的信号进行读取。
在该拍摄读取模式，因为像素没有稀疏，同步信号的间隔增加。在拍摄读取模式得到的图像信号由前端5经过放大器4转换为数字数据，此后，在照相机系统LSI 6的存储器控制器66控制下，该数字数据暂时存储在图像存储器7的预定地址。
下面，在定时T804，图像拍摄器件3返回到监视读取模式。接着，与此同时，在拍摄读取模式得到的图像信号在存储器控制器66控制下从图像存储器7读出，并且该图像信号提供给照相机系统LSI 6。在照相机系统LSI6中，作为数据总线选择器61切换的结果，存储在图像存储器7中的包括所有像素信号的图像信号提供给检测处理电路63。
这里，存储器控制器66通过以一种方式稀疏像素而读取存储的图像信号，所述的一种方式即稀疏/增加电路66a的功能控制读取图像存储器7的地址。在该稀疏读取中，在图像信号要在监视读取模式在图像拍摄器件3读取时，与要读取的像素位置和像素编码进行匹配。而且，在图像拍摄器件3已经在垂直方向执行线增加、并已经输出像素信号时，稀疏/增加电路66a执行增加过程，使图像拍摄器件3中的线增加、关于其中进行稀疏读取的像素信号而匹配像素位置，并且经过数据总线选择器61将该信号输出到检测处理电路63。
检测处理电路63在提供的图像信号上执行检测，并将检测结果输出给微型计算机9。然后，在随后的定时T805，由微型计算机9根据该检测结果执行用于图像质量校正的各种系数的计算。这里，通过使用在拍摄读取模式检测的数据、以及在按下快门开关的定时T802前使用在监视读取模式的图像信号的检测结果，由微型计算机9计算各种系数。
在随后的定时T806，计算的各种系数从微型计算机9提供给照相机预处理电路64。与此同时，在存储器控制器66的控制下再次读取存储在图像存储器7中的图像信号，并且经过数据总线选择器61提供给照相机预处理电路64。此时，存储器控制器66读取图像信号的所有像素数据而不使用稀疏/增加电路66a的功能。这样，启动用于生成用于在外部记录介质上记录的图像信号(此后称为“拍摄的图像信号”)的过程。
在照相机预处理电路64中，根据来自微型计算机9的各种系数，在其上还没有执行稀疏和线增加的输入图像信号上执行图像质量校正过程。在该图像质量校正过程中，执行曝光、白平衡、偏移消除等处理。而且，该图像信号提供给照相机主处理电路65，由此在其上执行像素插入过程，并将信号转换为亮度信号和色差信号，从而生成拍摄的图像信号。
生成的拍摄的图像信号经过数据总线选择器62供给存储器控制器66，并且在存储器控制器66的控制下将该图像信号存储在图像存储器7的预定地址上。而且，再次读取存储的拍摄的图像信号，并使其经过例如分辨率转换过程和数据压缩过程，并将该图像信号传送给外部记录介质等。
此后，在定时T807，在照相机系统LSI 6中，拍摄的图像信号的生成过程结束，并且再次开始对于在监视读取模式中得到的图像信号的检测。
在这种用于在拍摄读取模式生成的图像信号的过程中，根据在拍摄读取模式前的监视读取模式中、由检测处理电路63所检测的数据、以及通过检测在拍摄读取模式中读取的图像信号而得到的数据，来执行照相机预处理电路64中的图像质量校正过程。因此，通过考虑在监视读取模式和拍摄读取模式中生成的每一个图像信号的图像状态的差异，可以执行对拍摄的图像信号的图像质量校正过程。
例如，在图像拍摄器件3具有大量像素时，在拍摄读取模式，读取所有像素花费的时间增加，并且可能在图像信号中发生大偏移。在上述处理中，因为可检测该偏移，所以可在照相机预处理电路64中执行使用DCLP的、适当的偏移消除处理，从而可以改进图像质量。
而且，在监视读取模式，存在在图像信号中出现污点的情况。该污点通常不出现在拍摄读取模式。在上述处理中，因为可检测因出现污点而引起的每一个读取模式的图像信号的差异，所以，可以根据该差异执行图像质量校正过程。
而且，在图像拍摄装置1具备闪光机制时，该闪光机制通常仅仅操作于拍摄读取模式。因此，在上述处理中，因为可检测因闪光机制激励存在或不存在而引起的图像信号的差异，所以在照相机预处理电路64中，根据该差异可执行适当的曝光校正和白平衡校正。
而且，因为可由存储器控制器66的稀疏/增加电路66a执行存储在图像存储器7中的图像信号的稀疏读取，所以减少了将要提供给检测处理电路63的图像信号的数据量，因而可缩短执行检测过程所花费的时间。
在监视读取模式，为了减少随稀疏比率增加而显著发生的伪噪声，图像拍摄器件3有时执行垂直方向上的线增加。类似的线增加可由稀疏/增加电路66a在从图像存储器7读取的信号上执行，并且可将该信号提供给检测处理电路63。因此，在监视读取模式和拍摄读取模式的每一个图像信号的检测、通过匹配的作为参考的信号电平而变得可能，因而可进行精确的图像质量校正。
而且，在稀疏/增加电路66a中的稀疏读取和线增加过程，通过像素稀疏位置、像素编码和作为匹配的参考的信号电平，允许对在拍摄读取模式生成的图像信号和在监视读取模式生成的图像信号执行检测。因此，与通常情况相比，对检测处理电路63和照相机预处理电路64不需要进行大的系统改变，并且可改进生成的图像信号的图像质量。
在从图像存储器7读取图像信号、并提供给检测处理电路63时，可将所有像素的信号提供给检测处理电路63而不在稀疏/增加电路66a中执行稀疏读取。在此情况中，因为根据在拍摄读取模式读取的图像信号中的所有像素的检测，可执行图像质量校正，可以提高图像质量校正的精确度。然而，在此情况中，对检测处理电路63和微型计算机9要求更高的处理性能，并且增加了制造成本。
在下面将给出在图像信号上的检测过程和图像质量校正过程的描述。在下面给出了基色单板CCD用作为图像拍摄器件3的情况中的描述。
在检测处理电路63中，主要计算用于控制AE、AWB和DCLP的所检测的数据。对于用于上述数据中的AE的所检测的数据，输入图像信号中的检测帧预先设置，在该帧内的亮度信号电平对所有像素积分，并且该积分值输出给微型计算机9。对亮度信号电平，例如，使用R、Gr、Gb和B的4颜色的平均值。而且，对用于AWB的所检测的数据，检测帧中的每一种颜色的信号电平对检测帧中的所有像素进行积分，并且每一种颜色的积分值输出给微型计算机9。而且，对用于DCLP的所检测的数据，积分图像信号中OPB区域的每一种颜色的偏移电平，并且该积分值输出给微型计算机9。
微型计算机9计算用于AE、AWB和DCLP的每一个系数，作为图像质量校正的控制值，并将其发送给照相机系统LSI 6的照相机预处理电路64。而且，在监视读取模式，对AE，不将系数发送给照相机预处理电路64，并且控制光圈2b、前端5的S/H和GC电路5a及TG 8，以便产生最适宜的曝光。
这里，将描述在照相机预处理电路64中的图像质量校正过程的概要。图9是显示照相机预处理电路64的内部配置的例子的方框图。
照相机预处理电路64包括用于消除包含在输入图像信号中的偏移的数字箝位电路64a，用于调整信号电平、以校正曝光的数字增益电路64b，用于调整白平衡的白平衡调整电路64c，以及用于执行γ校正的γ校正电路64d。
对于上述电路中的γ校正电路64d，可使用如通常使用的、具有同样配置的电路。在拍摄读取模式，在使存储器控制器66的稀疏/增加电路66a作用于读取图像信号时，如通常情形那样具有同样配置的电路可使用于数字箝位电路64a和白平衡调整电路64c。数字增益电路64b是在本发明中新提供的电路，后面将要描述。
图10示出数字箝位电路64a的配置示例。
如图10中所示，数字箝位电路64a由用于从输入图像信号中的每一个彩色信号电平减去微型计算机9计算的偏移量的减法电路641组成。在微型计算机9中，作为对每一种颜色的偏移电平，对每一个像素计算系数R_CLP、Gr_CLP、Gb_CLP和B_CLP的值。数字箝位电路64a从输入图像信号减去从微型计算机9接收的每一个系数的值。结果，去除了主要因暗信号引起的、包含于在拍摄读取模式读取的图像信号中的偏移。
图11示出数字增益电路64b的配置例。
如图11中所示，数字增益电路64b由用于把从微型计算机9计算的关于输入图像信号的信号电平的所有颜色乘以固定增益系数的乘法电路642组成。
这里，在拍摄读取模式提供的图像信号已经以一种方式经过曝光校正，所述的一种方式即打开光圈2b、由快门2c产生曝光时间以及由前端5执行增益调整。因此，通过新提供数字增益电路64b，根据在拍摄读取模式中的图像信号，输入图像信号的每一种颜色的信号电平乘以恒定增益系数，从而进一步执行对亮度的校正。结果，可以校正图像的亮度差异，作为所有如闪光功能的结果。
图12示出白平衡调整电路64c的配置例。
如图12中所示，白平衡调整电路64c由用于将输入图像信号中的每一种颜色的信号电平乘以由微型计算机9计算的WB系数的乘法电路643组成。在微型计算机9中，作为每一种颜色的WB系数，对每一个像素计算值R_WB、Gr_WB、Gb_WB和B_WB。白平衡调整电路64c将输入图像信号乘以从微型计算机9接收的每一个系数的值。结果，可以校正因使用如闪光功能引起的图像中的颜色差异。
数字钳位电路64a和白平衡调整电路64c也可在同一电路中实现。通过如参考查找表(LUT)、通过折叠近似方法等，γ校正电路64d在输入图像信号的每一种颜色的信号电平上执行非线性信号转换过程。
图13是示出在拍摄图像时、微型计算机9的操作的流程图。
在步骤S1301，图像拍摄器件3和TG 8设置于监视读取模式。在图像拍摄器件3中，根据该设置，输出其中已经执行了稀疏读取像素和垂直方向的线增加的图像信号。此时，微型计算机9使透镜2a、光圈2b和前端5根据初始设置、或根据以前使用的设置操作。而且，微型计算机9控制数据总线选择器61，使经过前端5输入到照相机系统LSI 6的图像信号输入到检测处理电路63，由此检测该图像信号。
在步骤S1302，从检测处理电路63接收所检测的数据。接着，存储接收的数据，以准备将来在拍摄读取模式中使用。在步骤S1303，根据接收的所检测的数据，计算用于AE、AWB和DCLP的各种系数，作为图像质量校正的控制值。此时，还执行用于自动聚焦(AF)的控制值的计算。
在步骤S1304，输出控制值的计算结果，并且执行用于照相机预处理电路64的AWB和DCLP功能的控制。接着，作为AE控制，执行光圈2b、前端5和TG 8的操作控制。接着，执行用于透镜2a的AF控制。其质量由照相机预处理电路64校正的图像信号、在照相机主处理电路65中进一步经过用于转换为亮度信号和色差信号的过程，并将该图像信号输出为监视图像信号。
在步骤S1305，控制数据总线选择器62和存储器控制器66以使生成的监视图像信号存储在图像存储器7中。此后，读取存储的监视图像信号，并将该图像信号发送给显示模块(未显示)，由此将该拍摄的图像显示在显示器件上。
在步骤S1306，确定如快门按钮是否打开。在快门按钮没有打开时，过程返回到步骤S1302，在那里重复执行用于在监视读取模式中的图像信号的图像质量校正过程，并且，监视图像信号顺序生成。结果，用于AE、AWB、DCLP和AF的、最适宜的控制在高帧速率的图像信号上执行，该图像信号在图像拍摄器件3中通过稀疏读取而得到。当在步骤S1306中确定快门按钮打开时，过程前进到步骤S1307。
在步骤S1307，图像拍摄器件3和TG 8设置于拍摄读取模式。结果，快门2c操作，并且，在图像拍摄器件3中，对所有像素的存储电荷进行读取。在隔行扫描方式情况中，通过两次扫描而读取所有像素的存储电荷。此时，不执行垂直方向的线增加。在步骤S1308中，切换数据总线选择器62，并且，通过控制存储器控制器66，从前端5输出的图像信号暂时存储在图像存储器7中。
在步骤S1309中，切换数据总线选择器61，并且，通过控制存储器控制器，读取暂时存储在图像存储器7中的图像信号，并将图像信号输入到检测处理电路63，由此检测图像信号。此时，存储器控制器66中的稀疏/增加电路66a工作，并且根据在存储器读取模式期间的图像拍摄器件3中的功能，在图像信号上执行稀疏读取和线增加。
在步骤S1310，从检测处理电路63接收所检测的数据。在步骤S1311，根据接收的所检测的数据，计算图像质量校正的控制值。此时，例如，仅仅根据此时接收的所检测的数据，计算用于DCLP的系数，并且通过参考该所检测的数据、和在上述所检测的数据前的监视读取模式期间所存储的所检测的数据，来计算AE和AWB系数。
在步骤S1312，通过控制存储器控制器66，再次读取暂时存储在图像存储器7中的图像信号，并将图像信号输入到照相机预处理电路64。此时，存储器控制器66中的稀疏/增加电路66a停止工作，并且读取用于所有像素的图像信号。
在步骤S1313，将各种系数输出到照相机预处理电路64，并且在照相机预处理电路64中执行AE、AWB和DCLP功能的控制。结果，对于像素没有稀疏的图像信号执行曝光、白平衡和偏移校正。接着，在照相机主处理电路65中，执行用于分离为亮度信号和色差信号的过程，并且生成拍摄的图像信号。
在步骤S1314，通过控制存储器控制器66，生成的拍摄的图像信号存储在图像存储器7的预定区域。此后，读取存储的拍摄的图像信号，该信号传送给用于分辨率转换过程等、数据压缩过程等的处理模块，并将该图像信号传送给外部记录介质(未显示)。
在上述流程图的步骤S1311中，在微型计算机9中，用于AE和AWB的每一个系数可仅仅使用拍摄读取模式的所检测的数据来计算。然而，通过使用拍摄读取模式前的监视读取模式中的所检测的数据，拍摄读取模式的图像信号的图像质量可在一定程度上被估计，并且可有效提高图像质量校正的精确度。
因而，如上所述，在本发明的图像拍摄装置中，在第二读取操作模式中，从固态图像拍摄器件读取而没有稀疏的图像信号提供给检测装置，由此在其上执行检测。因此，由于根据用于在第二读取操作模式中读取的图像信号的检测，信号处理装置执行用于该图像信号的图像质量校正的信号处理，所以甚至在固态图像拍摄器件具有的大数目像素时，也可以合适地执行图像质量校正。
而且，例如，在第二读取操作模式期间，在读取存储在暂时存储装置中的图像信号、并提供给检测装置时，读取控制装置可以通过以一种方式稀疏像素而读取图像信号，即对应于在第一读取操作模式期间从固态图像拍摄器件读取。结果，缩短了检测需要的时间，并且与常规情况相比，不对检测装置和信号处理装置的配置进行大的改变，就可实现每一个功能。
在本发明的图像质量校正方法本发明的中，在固态图像拍摄器件从第一读取操作模式切换到第二读取操作模式时，在没有稀疏而从固态图像拍摄器件读取的图像信号上执行预定检测。因此，由于根据用于在第二读取操作模式读取的图像信号的检测，执行用于图像质量校正的预定信号处理，所以甚至在固态图像拍摄器件具有的大数目像素时，也可以合适地执行图像质量校正。
而且，例如，在读取暂时存储的图像信号、并在其上执行预定检测时，可以通过以一种方式稀疏像素而读取图像信号，所述的一种方式即对应于在第一读取操作模式期间从固态图像拍摄器件读取。结果，缩短了检测所需要的时间，并且与常规情况相比，不对检测装置和信号处理装置的配置进行大的改变，就可以实现每一个功能。
权利要求
1.一种用于拍摄物体图像的图像拍摄装置，所述图像拍摄装置包括安排成矩阵的固态图像拍摄器件，包括其中通过稀疏像素而读取拍摄的图像信号的第一读取操作模式，和其中没有稀疏像素而读取拍摄的图像信号的第二读取操作模式；暂时存储装置，用于暂时存储从所述固态图像拍摄器件在所述第二读取操作模式期间读取的图像信号；检测装置，用于对从所述固态图像拍摄器件在所述第一读取操作模式期间读取的所述图像信号进行预定检测，并且用于在从所述暂时存储装置在所述第二读取操作模式期间读取的所述图像信号上执行预定检测；信号处理装置，用于执行预定的信号处理，该信号处理用于，根据所述检测装置在每一个所述读取操作模式期间检测的所述数据，在从所述固态图像拍摄器件在所述第一读取操作模式期间读取的所述图像信号上、和在从所述暂时存储装置在所述第二读取操作模式期间读取的所述图像信号上，校正图像质量；以及读取控制装置，用于在该固态图像拍摄器件从所述第一读取操作模式切换到所述第二读取操作模式时，读取存储在所述暂时存储装置中的所述图像信号，并将该图像信号提供给所述检测装置，此后，重新读取所述图像信号，并将该图像信号提供给所述信号处理装置。
2.根据权利要求1所述的图像拍摄装置，其中，所述读取控制装置通过以一种方式稀疏像素而读取存储在所述暂时存储装置中的所述图像信号，并将该图像信号提供给所述检测装置，所述的方式为对应于从所述固态图像拍摄器件在所述第一读取操作模式期间读取。
3.根据权利要求1所述的图像拍摄装置，其中，在所述第二读取操作模式期间，根据在所述检测装置中检测的所述检测的数据、和在切换到所述第二读取操作模式前的所述第一读取操作模式期间得到的所述检测的数据，所述信号处理装置执行所述预定的信号处理。
4.根据权利要求1所述的图像拍摄装置，其中，所述固态图像拍摄器件包括第一信号增加装置，用于增加垂直方向的同样颜色的线中的多个像素的信号，并且在所述第一读取操作模式期间读取它们，以及所述读取控制装置包括第二信号增加装置，用于将对应所述第一信号增加装置的像素的信号增加到从所述暂时存储装置在所述第二读取操作模式期间读取的所述图像信号上，并将所述信号提供给所述检测装置。
5.根据权利要求1所述的图像拍摄装置，其中，所述信号处理装置根据由所述检测装置检测的所述数据，在所述输入图像信号上调整白平衡。
6.根据权利要求1所述的图像拍摄装置，其中，所述信号处理装置根据由所述检测装置检测的所述数据，在所述输入图像信号上执行偏移消除处理。
7.根据权利要求1所述的图像拍摄装置，其中，所述信号处理装置根据由所述检测装置检测的所述数据，在所述输入图像信号上执行增益调整。
8.一种通过使用固态图像拍摄器件来拍摄物体图像的图像质量校正方法，所述图像质量校正方法包括步骤在从所述固态图像拍摄器件在第一读取操作模式读取的图像信号上执行预定检测，在所述第一读取操作模式，通过稀疏像素而读取由所述固态图像拍摄器件拍摄的所述图像信号；执行预定的信号处理，用于根据通过所述预定检测而检测的所述数据，在所述图像信号上校正图像质量；在所述固态图像拍摄器件切换到第二读取操作模式而没有稀疏所述像素时，暂时存储从所述固态图像拍摄器件读取的所述图像信号；读取所述存储的图像信号，并在其上执行所述预定的检测；以及重新读取所述存储的图像信号，并执行预定的信号处理，该预定的信号处理用于根据通过所述预定检测而检测的所述数据，在所述重新读取的图像信号上校正图像质量。
9.根据权利要求8所述的图像质量校正方法，其中，在所述第二读取操作模式期间，在将要读取暂时存储的所述图像信号、并将要在其上执行所述预定检测时，通过以一种方式稀疏像素而读取所述图像信号，所述的方式为对应于从所述固态图像拍摄器件在所述第一读取操作模式期间读取。
全文摘要
图像拍摄装置使用具有大量像素的固态图像拍摄器件，能对拍摄的图像合适地执行图像质量校正。在监视读取模式，照相机系统LSI(6)检测通过图像拍摄器件(3)稀疏像素而读出的读图像信号，微型计算机(9)根据检测的数据计算用于图像质量校正的控制值，照相机系统LSI(6)根据控制值执行图像信号的图像质量校正。图像拍摄器件切换到拍摄读取模式时，照相机系统LSI(6)在图像存储器(7)中暂时存储所有读取像素的图像信号，然后读出图像信号，并对其检测。根据检测的数据、和在先前使用的监视读取模式中检测的数据，微型计算机(9)计算控制值。照相机系统LSI(6)再次读出图像信号，并由微型计算机(9)根据控制值执行图像质量校正。
文档编号H04N5/345GK1489862SQ02804158
公开日2004年4月14日 申请日期2002年9月20日 优先权日2001年10月3日
发明者中岛健, 佐藤伸行, 三井敏, 行 申请人:索尼公司