固态成像器件和驱动控制方法

专利名称：固态成像器件和驱动控制方法
技术领域：
本发明涉及固态成像器件和驱动控制方法，更具体而言，涉及如下这样的固态成 像器件和驱动控制方法其在防止像素灵敏度任何降低的同时，允许使用子采样读取来高 速地执行成像。
背景技术：
存在朝着具有更大量像素的CMOS (互补金属氧化物半导体)图像传感器加速发展 的趋势。对于CMOS图像传感器来说，图像传感器的像素的数目越大，则其花费了越长的时 间来获得一个屏幕( 一幅图像)，因此，难以高速地执行成像。 用来在不改变分辨率的情况下(在不降低分辨率的情况下)执行高速成像的方法 包括使用诸如加法处理之类的信号处理。然而，该信号处理必须适用于高帧速率，而这种用 途的信号处理电路是昂贵的。进一步，由于该方法需要额外的存储器，因此其导致成本增 加。 在这种情形下，通过利用CMOS图像传感器具有对于每一像素的随机访问能 力的这一事实，子采样读取广泛地用作为以低成本执行高速成像的方法(例如，见 JP-A-2008-167003(专利文献l))。 子采样(sub-sampling)读取是这样的成像方法在该方法中，读出以矩阵形式排 列的多个像素，以使得将处于预定间隔的某些像素被跳过(被子采样)，并且，由通过使子 采样继续存在而读出的像素来形成一个屏幕。由于读出的像素的数目减少，因此尽管使分 辨率下降，但是可以实现改善的帧速率。

发明内容
然而，当通过对要读取的像素进行子采样而以牺牲分辨率来以高帧速率执行高速 成像时，由于縮短了用于每一像素的曝光时间，因此出现像素灵敏度(在像素处接收到的 光量)降低的问题。 在此情形下，期望防止当使用子采样读取来高速执行成像时降低像素的灵敏度。 根据本发明的实施例，提供了如下这样的固态成像器件，其包括像素阵列部分，
其由以矩阵形式排列的、包括光电转换元件的多个像素形成；以及控制部件，其用于选择性
地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以便控制像素
的曝光时间。当以1/Q(Q为正整数)的子采样率执行子采样读取时，控制部件提供持续Q
帧时段的曝光时间，以便对所述像素阵列部分每一行中的像素进行曝光。 在第p-l帧(p > 1)之后的第p帧中，所述控制部件可以使得对所述像素阵列部
分的、排除已经在第P-1帧中执行了快门操作和读出操作的行之后的行执行快门操作和读
出操作。 所述控制部件可以使得在Q帧时段中对所述像素阵列部分的所有行执行快门操 作和读出操作。
3
可以在预定输出行上输出通过所述读出操作所读出的像素的像素数据。所述器件可以还包括信号处理部件，其用于计算和输出在所述像素阵列部分的垂直方向上最接近于所述输出行的两个读出行的像素数据的加权和。
所述固态成像器件可以是列A/D转换型的。 根据本发明的另一实施例，提供了用于固态成像器件的驱动控制方法，所述固态成像器件具有像素阵列部分，其由以矩阵形式排列的、包括光电转换元件的多个像素形成；以及控制部件，其用于选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以便控制像素的曝光时间。所述方法包括以下步骤选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以使得当以1/Q的子采样率执行子采样读取时，提供持续Q帧时段的曝光时间用于对所述像素阵列部分每一行中的像素进行曝光。 在本发明的实施例中，选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以使得当以1/Q的子采样率执行子采样读取时，提供持续Q帧时段的曝光时间以便对所述像素阵列部分每一行中的像素进行曝光。 所述固态成像器件可以是独立的器件，可替换地，其可以是用于形成成像装置的一部分的内部器件。 根据本发明的实施例，当使用子采样读取来高速执行成像时，可以防止像素灵敏度的任何降低。


图1是示出根据本发明实施例的CMOS图像传感器的实施例的示例性配置的图； 图2是示出CMOS图像传感器中的R、 G和B滤色器的排列示例的图示； 图3是用于说明(1，3)子采样的图示； 图4是用于说明(3， 1)子采样的图示； 图5是用于说明全像素读出和曝光时间之间的关系的图示； 图6是在根据现有技术的1/2读出模式下执行的快门操作和读出操作的时序图； 图7是图1所示的CMOS图像传感器所执行的(1，3)读出中涉及的快门操作和读出操作的时序图； 图8是仅示出曝光时间的、图6的修改型式； 图9是示出根据现有技术的(1，7)子采样模式下的曝光时间的图； 图10是示出图1所示的CM0S图像传感器的(1，7)子采样模式下的曝光时间的
图； 图11是示出图1所示的CM0S图像传感器的(3，5)子采样模式下的曝光时间的图； 图12是示出采用了本发明的另一 CMOS图像传感器的示例性配置的图； 图13是示出采用了本发明的又一 CMOS图像传感器的示例性配置的图； 图14是用于说明用以校正垂直方向上的图像偏移(offset)的处理的图； 图15是用于说明(1， 15)子采样的图示； 图16是示出输出经校正的像素数据的行的图示；
4
图17是示出当输出行是GB行时所执行的校正处理的图示；以及
图18是示出当输出行是GR行时所执行的校正处理的图示。
具体实施例方式
[CMOS图像传感器框图] 图1示出根据本发明实施例的CMOS图像传感器(固态成像器件)的实施例的示例性配置。 图1所示的CMOS图像传感器11包括定时控制电路12、行扫描电路13、像素阵列部分14、列处理部分15、列扫描电路16和水平输出线17。 定时控制电路12基于具有预定频率的主时钟，将预定操作所需要的时钟信号和定时信号提供给行扫描电路13和列扫描电路16。例如，定时控制电路12将用于控制在像素处所执行的快门操作和读出操作的定时信号提供给行扫描电路13和列扫描电路16。
行(垂直)扫描电路13在预定的定时，将用于控制像素信号的输出的信号依次提供给在像素阵列部分14的垂直方向上所布置的像素行。 像素阵列部分14包括以具有n行和m列的矩阵形式所排列的像素21 (即，像素21u至21m,n) 、 n条水平信号线22工至22n和m条垂直信号线23工至23m。
虽然未示出，但是像素21u至21m,n均包括光电转换元件(如，光电二极管)、传输晶体管、复位晶体管和放大晶体管。传输晶体管将光电转换元件所获得的电荷传输给FD(浮空扩散，floating diffusion)单元。复位晶体管对FD部分上的电位进行复位。放大晶体管根据FD部分上的电位输出像素信号。晶体管的操作受控于通过水平信号线22工至22n而从行扫描电路13提供的信号。不同于采用了三个晶体管的上述配置，可以使用包括被提供用于选择像素的选择晶体管的四个晶体管来配置每一像素21 像素21u至21m,n根据通过各个水平信号线22工至22n而从行扫描电路13提供的信号，将依据在光电转换元件上所累积的电荷的像素信号输出至各个垂直信号线23工至23m。
水平信号线22工至22n将各个水平行的像素21、或像素21^至21m,n连接到行扫描电路13。具体而言，像素21u至21"连接到水平信号线2215而像素21u至21m,2连接到水平信号线222。类似地，本描述适用于直至与像素21^至21m,n连接的水平信号线22n。
垂直信号线23工至23m将各个垂直行的像素21 (或像素21^至21m,n)连接至列处理部分15。具体而言，像素21u至21^连接到垂直信号线23p而像素21^至212, 连接至垂直信号线232。类似地，本描述适用于直至与像素21"至21m,n连接的垂直信号线23m。
因此，像素21u至21^根据在其光电转换元件上累积的电荷，将像素信号输出到垂直信号线23"像素21u至21^根据在其光电转换元件上累积的电荷，将像素信号输出到垂直信号线232。类似地，本描述适用于直至像素21"至21^，其根据在其光电转换元件上累积的电荷而将像素信号输出到垂直信号线23m。 列处理部分15包括平行地排列的m个ADC (模数转换器)至24m。 ADC2^至24m分别连接至垂直信号线23工至23m。 ADC 至24m对通过垂直信号路23工至23m而从像素21^至21m,n提供的像素信号执行CDS (相关双采样)处理和A/D转换处理。 具体而言，垂直信号线23i连接至ADC 24从像素21ia至2k n提供的像素信号执行CDS处理和A/D转换处理。垂直信号线232连接至ADC 242，并且ADC 242对通过垂直信号路232而从像素212a至212, n提供的像素信号执行CDS处理和A/D转换处理。类似地，本描述适用于直至ADC 24m，其对通过垂直信号路23m而从像素21"至21m,n提供的像素信号执行CDS处理和A/D转换处理。
ADC 至24m的每个暂时存储经A/D转换的像素数据，并且在列扫描电路16所执行的控制下，将该数据输出到水平输出线17。 列(水平)扫描电路16使得将存储在ADC 至24m中的像素数据以预定定时被依次输出到水平输出线17。 水平输出线17连接至DSP (数字信号处理器)等，其被提供在水平输出线17的下游以用于图像处理，并且，水平输出线17将从ADC 2^至24m输出的像素数据输出至下游。
具有上述配置的CMOS图像传感器11是其中针对每一列像素提供ADC的所谓的列A/D型CMOS图像传感器。 在图1所示的CMOS图像传感器11的每一像素21ia至21^处，提供了用于红(R)、绿(G)或蓝(B)中的任一个的滤色器，并且，在每一像素21处接收红、绿或蓝光。
[像素布置和配置] 图2示出CMOS图像传感器11的R、 G和B滤色器的示例性配置。 图2所示的RGB布置为所谓的贝尔(Bayer)布置。Bayer布置是这样的布置在
该布置中，各自包括一个红滤色器、两个绿滤色器和一个蓝滤色器的颜色阵列重复地排列
在行方向和列方向上。 例如，像素21u、21u、21u和21^用作由图2的虚线所表示的一组，并且，该组像素中的像素21u是用于接收红光的像素。在行方向上邻近像素21u的像素21^和邻近像素21u的像素21u是用于接收绿光的像素，而像素21^是用于接收蓝光的像素。沿行方向与列方向重复地排列与包括像素21u、21u、21u和212,2的该组像素相同的颜色阵列。
虽然上面已经描述了本实施例的CMOS图像传感器11采用了 Bayer色彩布置，但是本发明不限于这种布置。 具有上述配置的CMOS图像传感器11能够进行基于全像素读出(all-pixelreadout)的成像，其中，根据全像素读出，依次读出像素阵列部分14的所有像素21u至21m,n。传感器还能够进行基于子采样读取(即，在以预定间隔跳过某些像素的情况下读出像素21的读出方法)的成像。 全像素读出是这样的方法，根据其，以预定顺序(如光栅扫描顺序)依次读出在像素阵列部分14的所有像素21u至21m,n处的光电转换元件中所累积的电荷。全像素读出
允许利用像素阵列部分14的所有像素21u至21m,n来以高分辨率执行成像。 根据子采样读取，由于在读出期间跳过了像素阵列部分14的像素21u至21m,n中的预定像素，因而，生成一幅图像所需要的时间比全像素读出情况下的该时间更短。因此，当期望高速地执行成像、或者以低功耗执行成像时，尽管子采样读取提供了低分辨率，但是子采样读取是有利的。 依据所采用的子采样率，子采样读出包括1/2子采样或1/4子采样。子采样率是在垂直方向上读出的行数与总行数的比率，而不是读出(或跳过)的像素数与总像素数的比率。例如，1/2子采样是用于将在垂直方向上读取的行数减少至总行数的1/2的子采样读取。1/4子采样是用于将在垂直方向上读取的行数减少至总行数的1/4的子采样读取。
[子采样读取的示例] 现在将参考图3，描述作为1/2子采样的一种型式的(1，3)子采样。
例如，根据(1，3)子采样所读出的第一像素或者该方案的起始点是像素21u。在读出像素21u之后，要读出的下一像素是通过将读出位置沿行方向从像素21u移位一个像素所到达的像素21^ (在图2中，像素21^在其右侧与像素21u相邻)。在读出像素21u后，要读出的下一像素是通过将读出位置沿行方向从像素21^移位三个像素所获得的像素215,1Q在读出像素21^后，要读出的下一像素是通过将读出位置沿行方向从像素215,i移位一个像素所获得的像素21^。此后，类似地，通过将读出位置移位一个像素和三个像素的交替移位量，读出像素21，直至第一行末尾处的像素21"。 当完成了第一行中的像素21的读出时，以与第一行相同的方式，读出第二行的像素21u至21m,2。具体而言，在读出位置以一个像素和三个像素的交替移位量进行移位的情况下，依次读出该行中的像素21 。 当完成了第二行中的像素21的读出时，以与第一行相同的方式，读出第五行的像素211>5至21m,5，其是通过在垂直方向上将读出位置从第二行移位三行所到达的。具体而言，在读出位置以一个像素和三个像素的交替移位量进行移位的情况下，依次读出该行中的像素21。 S卩，也在垂直方向上使用一个像素和三个像素的交替移位量来选择要读出的像素。
g卩，项"(1，3)子采样"的数字1和3表示为了到达要读出的下一像素或行而要进行的移位量在1和3之间进行交替。 根据(1，3)子采样所读出的像素数在垂直和水平方向两者上是根据全像素读出所读出的像素数的1/2。因此，(1，3)子采样可达到的分辨率是全像素读出可达到的分辨率的1/4。当采用列A/D转换方法时，帧速率仅与所读出的行数成反比，(1，3)子采样可达到的帧速率是全像素读出可达到的帧速率的两倍。 如从图3中显而易见的那样，当采用(1，3)子采样时，各自包括要读出的两行的行组与各自包括要跳过的两行的行组在垂直方向上交替。在垂直方向上交替要读出的两行和要跳过的两行的原因在于CM0S图像传感器11采用了 Bayer配置。 具体而言，在Bayer配置中，各自包括交替布置的G和B像素21的GB行与各自包括交替布置的G和R像素21的GR行被排列为使得在垂直方向上彼此交替。因此，当从GB行和与其相邻的GR行读出电荷时，必须将它们作为一组对待。为此，进行设置，以使得要读出的两个连续行和要跳过的两个连续行彼此交替。 所需要的仅仅是防止连续地读出彼此相邻的GB行或GR行，并且，并不需要读出所有对彼此相邻的GB行和GR行。因此，使用(3，1)子采样，也可以实现l/2子采样。
现在参考图4，描述(3， 1)子采样。 项"(3，1)子采样"的数字3和1表示要读出的像素21之间的间隔(像素数)。因此，当读出的第一像素(开始点)是像素21u时，要读出的下一像素是通过在行方向上将读出位置从像素21u移位三个像素(在图4中向右)所到达的像素21"。在读出像素21w之后，要读出的下一像素是通过在行方向上将读出位置从像素21"移位一个像素(在图4中向右)所到达的像素21^。在读出像素21^之后，要读出的下一像素是通过在行方向上将读出位置从像素215>1移位三个像素所到达的像素21^。此后，在读出位置移位一个像素
7和三个像素的交替移位量的情况下，类似地读出像素21，直至第一行末尾处的像素21"。
也在垂直方向上使用一个像素和三个像素的交替移位量来选择要读出的像素。因此，当完成了第一行中的像素21的读出时，依次对通过在垂直方向上将读出操作进行三行的另一移位所到达的第四行中的像素21、通过将读出操作进行一行的另一移位所到达的第五行中的像素21、通过将读出操作进行三行的另一移位所到达的第八行中的像素21、以及通过将读出操作进行一行的另一移位所到达的第九行中的像素21执行读出。类似地，针对随后的行重复该操作。 根据(3，1)子采样所读出的像素数在垂直和水平方向两者上是根据全像素读出所读出的像素数的1/2。因此，(3，1)子采样可达到的分辨率是全像素读出可达到的分辨率的1/4。 虽然未示出，但是类似地，l/4子采样包括四种变型，即(1，7)子采样、(3，5)子采样、(5， 3)子采样和(7，1)子采样，其采用了选择要读出的像素的不同方式。
现在描述读出操作和曝光时间之间的关系。
[全像素读出和曝光时间之间的关系] 首先，将对作为本实施例的讨论基础的、全像素读出和曝光时间之间的关系进行描述。 图5是全像素读出期间的快门操作和读出操作的时序图。 参考图5，垂直同步信号VS是在帧开始处的预定时段内为高电平的信号。因此，垂直同步信号VS变为高电平的时间和该信号随后变为高电平的时间之间的时段是处理一帧所需要的时段(在下文中，称为"一帧时段")。全像素读出中所涉及的一帧时段用Tv来表示。 水平同步信号HS是在每一行的开始处的预定时段内为高电平的信号。因此，水平同步信号HS变为高电平的时间和该信号随后变为高电平的时间之间的时段是处理一行所需要的时段( 一个水平时段)，并且用Ts表示该时段。 将曝光时间维持为最大所需要的是刚好在下一快门操作之前的瞬间，执行跟随在快门操作之后的读出操作。因此，当假设在一帧时段期间对每一行执行快门操作和读出操作的每一个一次，并且基本上同时执行快门操作和读出操作，最大曝光时间等于一帧时段Tv。 在实践中，除了确定实际曝光时间的快门操作之外，还可以执行作为模糊(blooming)的对策的快门操作。然而，将在未执行这种额外快门操作的假设下来描述本实施例。针对快门操作方法，使用了滚动(rolling)快门方法(其中，执行了快门操作的像素21随着时间经过基于逐行被移位)，而不是全局(global)快门方法(其中，对在像素阵列部分14处二维布置的所有像素21同时执行快门操作)。 例如，在全像素读出的情况下，在时刻tn(其为第p帧(p > 1)的开始)处执行读出第一行中的像素21的操作。具体而言，在时刻tn处，对第一行中的像素21执行用于读出在第P帧之前的第P-1帧中所累积的电荷的读出操作(或结束曝光的操作)。在时刻tn之后的一个水平时段Ts后到来的时刻t『对第一行中的像素21执行用于将所累积的电荷复位的快门操作(或开始曝光的操作)。在时刻t『对第二行中的像素21执行用于读出在第(P-1)帧中所累积的电荷的读出操作。
在随后的时刻t^执行针对第二行中的像素21的快门操作和针对第三行中的像素21的读出操作。 类似地，在每次经过一个水平时段Ts时，在移位要处理的各行的同时，同时分别执行针对预定行的快门操作、以及针对该预定行之后的行的读出操作。 在当第(p+l)帧开始时的时刻t『对第n行(未示出)中的像素21执行快门操作，并且，还执行用于读出在(p+l)帧之前的第P帧中、在第一行的像素21处累积的电荷的读出操作。在随后的时刻^2，执行针对第一行中的像素21的快门操作以及针对第二行中的像素21的读出操作。 类似地，在每次经过一个水平时段Ts时，在移位待处理的行的同时，同时分别执行针对预定行的快门操作以及针对该预定行之后的各行的读出操作。 如从上述描述中显而易见的那样，在全像素读出模式下，已经在第p帧中执行快门操作的像素21的曝光时间E邓tAp是直到在第(p+l)帧中执行读出操作为止的时段。当读出操作和快门操作之间的时段(一个水平时段Ts)被忽略时，该曝光时间E邓tAp等于如上所述的一帧时段Tv。由于曝光时间在每帧中保持相同，因此在下文中将用没有下标(诸如"P")的縮写"E邓tA"来表示全像素读出模式下的曝光时间。
现在描述根据现有技术的1/2子采样模式下的曝光。
[根据现有技术的(1，3)子采样与曝光时间之间的关系] 图6是在(1，3)子采样模式(其为1/2子采样模式的一种型式)下执行的快门操作和读出操作的时序图。 如上所述，在(1，3)子采样模式下，当结束了在第一行中的像素21的读出时，读出
在垂直方向上从第一行移位一行的第二行中的像素21。当结束了第二行中的像素21的读
出时，对在垂直方向上进一步移位了三行的第五行中的像素21执行读出。 因此，在作为第p帧的开始的时刻t^对第一行中的像素21执行读出操作，并在
随后的时刻^2，对像素执行快门操作。在时刻k，还执行用于读出第二行中的像素21的操作。 在随后的时刻^3，执行对于第二行中的像素21的快门操作以及对于第五行中的像素21的读出操作。 此后，将读出位置依次移位至按照上述那样确定的第六行、第九行、第十行等，以使得对行执行快门操作，同时对要读出的下一行执行读出操作。 在作为第(p+l)帧的开始的时刻、，执行对于第n行(未示出)上的像素21的快门操作以及对于第一行中的像素21的读出操作。在随后的时刻t^，执行对于第一行中的像素21的快门操作以及对于第二行中的像素21的读出操作。 此后，在每次经过一个水平时段Ts时，所处理的位置移位一个像素或者三个像素，其中移位量以所列出的顺序交替。因此，与要读出的下一行的读出操作同时地执行对于按照上述那样所确定的行的快门操作。 结果，在(1，3)子采样模式下要经受快门操作和读出操作的行数是全像素读出模式下所读出的行数的1/2。因此，(1，3)子采样模式下的一帧时段Tv2是全像素读出模式下的一帧时段Tv的一半(Tv2 = Tv/2) 。 S卩，此模式下的帧速率是全像素读出模式下的帧速率的两倍。
9
在全像素读出模式下，像素21的曝光时间E邓tBp(其为第p帧中的快门操作与第 P+l帧中的读出操作之间的时段)是曝光时间E邓tAp的1/2。因此，(1，3)子采样模式具有 作为曝光时间ExptA的1/2的曝光时间ExptB。 如由此所述的那样，由于根据现有技术的(1，3)子采样包括较短的帧时段以及较
短的曝光时间，因此，像素具有较低的灵敏度(或接收更小的光量)。[使用CMOS图像传感器11的(1，3)子采样和曝光时间之间的关系] 在上述情形下，CMOS图像传感器11执行如图7所示的(1，3)子采样，以便通过实
现与全像素读出模式下类似的曝光时间，来防止像素灵敏度的任何降低，尽管减少了每帧
时间的持续时间。 图7示出了 CMOS图像传感器11执行的(1，3)子采样中所涉及的快门操作和读出 操作的时序图。 当CM0S图像传感器11执行(1，3)子采样时，在作为第p帧的开始的时刻U，对 第一行中的像素21执行读出操作，而在随后的时刻t^，执行对于第一行中的像素21的快 门操作。 在随后的时刻t^，执行对于第二行中的像素21的快门操作以及对于第五行中的 像素21的读出操作。 类似地，读出位置依次移位至第六行、第九行、第十行等，以使得与对于要读出的
下一行的读出操作同时执行对于如由此所述那样确定的行的快门操作。 g卩，第p帧中所执行的操作与根据参考图6所述的现有技术的(1，3)子采样模式
下的那些操作相同。 然而，就第(p+l)帧中所执行的操作而言，CMOS图像传感器11所执行的(1，3)子 采样与根据现有技术的(1，3)子采样不同。 在第(p+l)帧中，对除了已经在第(p+l)帧之前的第p帧中执行了快门操作和读 出操作的行之外的行执行快门操作和读出操作。 具体而言，在作为第(p+l)帧的开始的时刻^，对第(n-l)行(未示出)中的像素 21执行快门操作，并且对第三行中的像素21执行读出操作。在随后的时刻^2，执行对于第 三行中的像素21的快门操作以及对于第四行中的像素21的读出操作。
在随后的时刻^3，执行对于第四行中的像素21的快门操作以及对于第七行中的 像素21的读出操作。在随后的时刻t^执行对于第七行中的像素21的快门操作以及对于 第八行中的像素21的读出操作。 同时，在第(p+l)帧中，在已经于第p帧中执行了快门操作和读出操作的各行中的 像素21处继续曝光。 在随后的第(p+2)帧中，在时刻181，对第(n-3)行(未示出)上的像素21执行快 门操作，并且对第一行上的像素执行读出操作。在随后的时刻t^执行对于第一行中的像 素21的快门操作以及对于第二行中的像素21的读出操作。 在随后的时刻t^，执行对于第二行中的像素21的快门操作以及对于第五行中的 像素21的读出操作。在随后的时刻t^执行对于第五行中的像素21的快门操作以及对于 第六行中的像素21的读出操作。 在第(p+2)帧中，在已经于第(p+l)帧中执行了快门操作和读出操作的各行中的像素21处继续曝光。 如上所述，当CMOS图像传感器11执行1/2子采样时，要经受快门操作和读出操作 的像素阵列部分14的各行像素在每帧被切换呈现(render)，并且，在两帧的帧时段中对像 素阵列部分14的所有行的像素执行快门操作和读出操作。 第p帧的曝光时间E邓tCp是持续两帧的时段，即，在第p帧中执行快门操作之后 直到在第P+2帧中执行读出操作为止所经过的时段。由于曝光时间E邓tCp是一帧时段Tv2 的两倍，因此，其等于全像素读出模式下的一帧时段Tv。 S卩，曝光时间E邓tCp等于曝光时间 E邓tAp。因此，当CMOS图像传感器11执行1/2子采样时，可以为每一行中的像素21提供 与全像素读出模式下相同的曝光时间，因此，可以防止像素灵敏度的任何降低。
虽然已经通过在1/2子采样的情况下示例根据本实施例的读出控制(驱动控制) 而对其进行了描述，但是可以将这种控制用于其他模式的子采样读取，如1/4子采样和1/8 子采样。现在，将在将实施例应用于1/4子采样的假设下对其进行描述。
[全像素读出模式下的曝光时间] 图8是通过将图6修改为仅示出曝光时间而获得的图6中所示的全像素读出模式 下的快门操作和读出操作的时序图的一种型式。 在图8中，省略了水平同步信号HS。为了描述简便起见，在图8中使用了更具体的 帧指定，即，第一帧等。这同样适用于稍后描述的图9-11。 如上面参考图5所述的那样，当执行全像素读出时，在曝光时间E邓tA( = E邓tA工 =E邓tA》内，对像素阵列部分14的任一行进行曝光，并且当忽略了读出操作和快门操作 之间的时段(一个水平时段Ts)时，该曝光时间近似等于一帧时间Tv。
[根据现有技术的(1，7)子采样模式下的曝光时间] 图9以与图8相同的方式示出根据现有技术的(1，7)子采样模式下的曝光时间。
在根据现有技术的(1，7)子采样模式下，在对第一和第二行执行了快门操作和读 出操作之后，处理跳过第三至第八行，来对第九和第十行执行快门操作和读出操作。此后， 处理类似地进行来依次对第17行、第18行、第25行、第26行等执行快门操作和读出操作。
因此，要经受根据现有技术的(1，7)子采样模式下的快门操作和读出操作的行数 是全像素读出模式下的行数的1/4。因此，此模式下的一帧时段Tv4是全像素读出模式下的 一帧时段Tv的l/4(Tv4二Tv/4)。 SP， (1，7)子采样模式下的帧速率是全像素读出的帧速 率的四倍。 当对每行执行读出操作和快门操作时，在曝光时间E邓tD内对该行进行曝光，其 中，当忽略了与该行关联的读出操作和快门操作之间的时段时，曝光时间E邓tD等于(1，7) 子采样模式下的一帧时间Tv。在图9中，曝光时间ExptDp ExptD2、 ExptD3、 ExptD4等分别 是第一帧、第二帧、第三帧、第四帧等的曝光时间E邓tD。 如由此描述的那样，在根据现有技术的(1，7)子采样模式下，(1，7)子采样模式下 的一帧时段和因此的曝光时间如同全像素读出模式下的一帧时段和曝光时间的1/4那么 短，这导致像素灵敏度的相应降低。 [CMOS图像传感器11的(1，7)子采样模式下的曝光时间] 图10以与图8相同的方式，示出了 CMOS图像传感器11的(1，7)子采样模式下的 曝光时间。
11
当CMOS图像传感器11执行(1，7)子采样模式时，在第一帧的帧时段Tv4中，在第 一行、第二行、第九行、第十行、第17行、第18行、第25行、第26行等依次执行快门操作和 读出操作。 在第二帧的帧时段Tv4中，依次在第三行、第四行、第11行、第12行、第19行、第 20行、第27行、第28行等执行快门操作和读出操作。 在第三帧的帧时段Tv4中，依次在第五行、第六行、第13行、第14行、第21行、第 22行、第29行、第30行等执行快门操作和读出操作。 在第四帧的帧时段Tv4中，依次在第七行、第八行、第15行、第16行、第23行、第 24行、第31行、第32行等执行快门操作和读出操作。 在第五帧的帧时段Tv4中，再次在第一行、第二行、第九行、第十行、第17行、第18 行、第25行、第26行等依次执行快门操作和读出操作。 结果，在曝光时间E邓tF(其是全像素读出模式下的一帧时间Tv4的四倍、或者等 于一帧时间Tv)内，对要经受快门操作和读出操作的每一行进行曝光。因此，该曝光时间等 于曝光时间ExptA。在图9中，曝光时间ExptF!、ExptF2、ExptF3、ExptF4等分别是在第一帧、 第二帧、第三帧、第四帧等处开始的曝光时间E邓tF。 因此，由于CMOS图像传感器11执行的(1，7)子采样读取提供了持续四帧的曝光 时间，因此，即使执行1/4子采样，也可以为每一像素21提供具有与全像素读出模式下的持 续时间相同的持续时间的曝光时间。因此，可以防止像素灵敏度的任何降低。
[CMOS图像传感器11的(3， 5)子采样模式下的曝光时间] 图11是以与图8相同的方式示出CM0S图像传感器11的(3，5)子采样模式下的 曝光时间的图。 如上所述那样，在(3， 5)子采样模式下，为了获得要读出的下一行而要进行的移 位量(像素的数目)在3和5之间重复交替 当CMOS图像传感器11执行(3，5)子采样模式时，在第一帧的帧时段Tv4中，对第 一行、第四行、第九行、第12行、第17行、第20行、第25行、第28行等依次执行快门操作和 读出操作。 在第二帧的帧时段Tv4中，对第三行、第六行、第11行、第14行、第19行、第22行、 第27行、第30行等依次执行快门操作和读出操作。 在第三帧的帧时段Tv4中，对第五行、第八行、第13行、第16行、第21行、第24行、 第29行、第32行等依次执行快门操作和读出操作。 在第四帧的帧时段Tv4中，对第二行、第七行、第十行、第15行、第18行、第23行、 第26行、第31行等依次执行快门操作和读出操作。 在第五帧的帧时段Tv4中，再次对第一行、第四行、第九行、第12行、第17行、第20 行、第25行、第28等依次执行快门操作和读出操作。 结果，当CM0S图像传感器11执行(3， 5)子采样读取时，正如图10所示的(1，7)子 采样模式下的曝光时间那样，在曝光时间E邓tF(其等于全像素读出模式下的一帧时间Tv) 内，对每一行进行曝光。 因此，当CMOS图像传感器11执行作为1/4子采样的另一示例的(3， 5)子采样读 取时，在CM0S图像传感器11的每一像素21处可以实现与全像素读取模式下的曝光时间相同的曝光时间。因此，可以防止像素灵敏度的任何降低。 即使当使用如上所述的子采样率1/2和1/4或者诸如1/8的其他子采样率时， CMOS图像传感器11执行的读出控制(在下文中可被称为根据本实施例的读出控制)也允 许实现与全像素读出模式下相同的曝光时间。 如上所述，当CMOS图像传感器11以1/Q(Q是正整数)的子采样率执行子采样读 取时，执行读出控制(驱动控制)，以便为像素阵列部分14的每一行中的像素21提供持续 Q帧的曝光时间。结果，可以实现与全像素读出模式下的曝光时间相同的曝光时间，而与所 采用的子采样率无关。 虽然已经将上述实施例描述为提供了等同于全像素读出模式下的最大曝光时间 Tv的曝光时间的示例，但是即使在比一帧时间Tv更短的曝光时间的情况下，CMOS图像传感 器11也可以执行类似的读出控制。 为了描述简单起见，假设上述实施例仅涉及用于确定曝光时间的快门操作，而排 除了作为对抗模糊等的措施所执行的其他快门操作。然而，即使当作为对抗模糊等的措施 来执行快门操作时，也可以类似地执行读出控制。
[体现本发明的CMOS图像传感器的其他示例] 在实施例的上述描述中，已经说明了 CMOS图像传感器11(其为体现列A/D转换方 法的固态成像器件)能够实现与全像素读出模式下的曝光时间相同的曝光时间，而与所采 用的子采样率无关。然而，根据本实施例的读出控制不限于体现列A/D转换方法的固态成 像器件，可以将该控制用于如图12和13所示的CMOS图像传感器或固态成像器件。
图12示出作为可以执行根据本实施例的读出控制的另一固态成像器件的CM0S图 像传感器71的示例性配置。 相互对应的图12和1中所示的传感器的部分用同样的附图标记来表示，并且下面 将不加以描述。 图12的CMOS图像传感器71包括CDS处理部分81 (代替图1的列处理部分15)。 CMOS图像传感器71还包括作为来自水平输出线17的输出的目的地而提供的ADC 82。
在图1的CMOS图像传感器11中，m个ADC 24:至24m平行地排列为列处理部分 15。在CMOS图像传感器71中，m个CDS 9h至91m平行排列。 图1所示的ADC 至24m对从像素21ia至n提供的像素信号执行CDS处理 和A/D转换处理，并输出所得到的信号。图12中的CDS 9h至91m对从像素21u至21"提 供的像素信号仅执行CDS处理，并且将所得到的信号输出。 已经接收了 CDS处理的像素信号在列扫描电路16所执行的控制下，通过水平输出 线17而随后被提供给ADC 82。 ADC 82对提供至其的、经CDS处理的像素信号执行A/D转 换，并且将所得到的像素数据输出。 g卩，图12的CMOS图像传感器71是所谓的列CDS型的CMOS图像传感器，其中，为 每列像素排列CDS。 图13示出作为可以执行根据本实施例的读出控制的又一固态成像器件的CM0S图 像传感器101的示例性配置。 图13的CMOS图像传感器101是通常的CMOS图像传感器，相互对应的图13和1 中的传感器的部分用同样的附图标记来表示，并且下面将不加以描述。
图13仅示出了像素阵列部分14的一部分像素(S卩，像素21m,n—JP21m,n)。图13
还示出了形成像素21m,n的光电转换元件lllm,n、传输晶体管112ffl,n、 FD部分113m,。、复位晶 体管114m,n和放大晶体管115m,n，在图1中省略了传感器11的对应部分。 行扫描电路13通过行选择信号线121n而连接到复位晶体管114m,n的漏极。行扫 描电路13分别通过传输选择信号线122n和复位选择信号线123n而连接至传输晶体管112m, n的栅极和复位晶体管114m,n的栅极。光电转换元件lllm,n对入射光执行光电转换，以便获得具有与光量对应的电荷量
的信号电荷，并且该元件累积此信号电荷。传输晶体管112m,n连接在光电转换元件11 lm,n和
FD部分113m,n之间，以便将累积在光电转换元件lllm,n中的信号电荷传输至FD部分113m,n。 FD部分113^将所传输的信号电荷转换为信号电压，并且将该电压提供给放大晶体管115m, n的栅极。复位晶体管114m,n连接在FD部分113m,n和行选择信号线121n之间，该晶体管具
有将FD部分113m,n上的电位复位至像素电源的电位(如，3.3V)的功能。放大晶体管115m, n连接在电源线124和垂直信号线23m之间，并且，该晶体管将FD部分113m,n上的电位进行 放大，并且将得到的电位输出至垂直信号线23m。 在CMOS图像传感器101中，水平选择开关131m排列在垂直信号线23m的末端与水 平信号线17之间，具有经由电阻器132所提供的反馈的运算放大器133排列在水平信号线 17的末端。S卩，具有经由电阻器132所提供的反馈的运算放大器133将垂直信号线23m和 水平信号线17上的电位固定为某一电位(Vbias)。降低电源电路134向像素21m,n提供的
电源电压，以使得像素21m,n处的放大晶体管115m,n线性地操作。结果，以电流模式从像素
21输出像素信号。 虽然此示例性配置包括为了降低提供给像素21的电源电压而并入到传感器中的 电源电路134，但是本发明不限于这种配置。例如，可以通过减小放大晶体管115m,n的阈值
电压Vth，来使得像素21^处的放大晶体管115m,n线性地操作。 图12所示的CMOS图像传感器71的行扫描电路13和列扫描电路16以及图13所 示的CM0S图像传感器101可以受控于定时控制电路12，以使得在图像传感器中也执行根据 本实施例的读出控制。结果，当CMOS图像传感器71和101执行基于子采样读取的高速成 像时，也可以提供与全像素读出模式下的曝光时间相同的曝光时间。
[对抗垂直偏移的措施] 当执行根据本实施例的读出控制时，在两个连续帧的图像之间可能出现垂直方向 上的偏移。例如，当如图7所示那样执行1/2子采样时，即使当通过对同一固定(不运动) 对象进行成像而获得第P帧的图像和第(P+l)帧的图像时，它们在垂直方向上也彼此偏移 了两个像素。 例如，可以通过如图14所示那样在CMOS图像传感器11的下游排列DSP 201以执
行用于校正图像偏移的处理(如手抖动校正)来解决该问题。预先知道的是，CM0S图像传
感器ll将取决于所采用的子采样率，而输出在垂直方向上彼此偏移了若干像素的图像。因
此，可以连同用于表示图像彼此偏移了若干像素的控制信息一起输出像素数据。 可替换地，CMOS图像传感器11可以在由传感器自身校正了这种垂直偏移的情况
下输出图像，而不依赖于在该CMOS图像传感器11的下游所提供的DSP 201等。
现在，通过在执行(1，15)子采样(其为1/8子采样的一个型式)的情况下示例
CMOS图像传感器11所执行的用于校正可归因于根据本实施例的读出控制的图像偏移的处
理，来对该处理进行描述。 [(1，15)子采样的操作] 首先，将参考图15简要描述(1，15)子采样。 在(1，15)子采样的情况下，为了到达要读出的下一行而要产生的移位量(像素的 数目)在1和15之间重复交替。 例如，在第(a+1)帧中，对第一行、第二行、第17行、第18行、第33行、第34行等 依次执行快门操作和读出操作。 在下一帧或第(a+2)帧中，对第三行、第四行、第19行、第20行、第35行、第36 行等依次执行快门操作和读出操作。 在第(a+3)帧中，对第五行、第六行、第21行、第22行、第37行、第38行等依次 执行快门操作和读出操作。 此后，类似地执行快门操作和读出操作，并且在第(a+8)帧中，对第15行、第16
行、第31行、第32行、第47行、第48行等依次执行快门操作和读出操作。 在第(a+9)帧中，再次对第一行、第二行、第17行、第18行、第33行、第34行等
依次执行快门操作和读出操作。 当对第(a +1)帧和第(a +8)帧(其为就读出位置而言距彼此最远的帧的组合) 之间对应的读出位置进行比较时，在垂直方向上存在15像素的差异。S卩，就图像的重心的 位置而言，在输出图像之间存在15/2 = 7. 5像素的偏移。
[CMOS图像传感器11所执行的图像偏移校正处理] 在校正了输出图像之间的可归因于子采样读取的任何偏移之后，CMOS图像传感器 ll将输出图像的图像数据输出。[用于输出校正处理之后的图像数据的行] CMOS图像传感器11在固定行输出像素数据，以使得输出图像的重心处于相同的
位置，而与帧无关。即，在固定行输出像素数据，而与读出像素数据的行无关。例如，CM0S图
像传感器11在第一行、第九行、第17行、第25行和第33行输出像素数据，以使得在相等间
隔的行输出像素数据。此外，CM0S图像传感器11使用第一行、第17行和第33行作为用于
输出GB行的像素数据的输出行，并且使用第九行和第25行作为用于输出GR行的像素数据
的输出行。根据相同的规则，还输出排除在图示之外的各行的数据。 现在将对作为图16所示的输出行中的像素数据所输出的值进行描述。 例如，当在与读出数据的行不同的行上输出像素数据时，CMOS图像传感器11计算
在垂直方向上最接近于输出行的两个读出行的像素数据的加权和，并且输出该计算结果。
加权和是通过根据输出行和读出行之间的距离(行的数目)来执行像素数据的加权加法而
获得的值。 当在同一行读出和输出像素数据时，CMOS图像传感器11按照其原样输出所读取 的像素数据。 在诸如(1，15)子采样的1/8子采样模式下，如上面参考图15所述，存在读出像素 数据的八种式样(pattern)的行。因此，同样以八种不同的方式计算加权和(包括直接输
15出和)。然而，由于预先连同输出行一起确定要读出的行的位置和读取顺序，因此也可以预 先确定用于计算加权和的表达式。例如，在诸如(1，7)子采样的l/4子采样模式下，存在读 出像素数据的四种式样的行，因此，以四种不同的方式计算加权和。
[对用作输出行的GB行所执行的校正处理] 现在将参考图17，对当GB行用作输出行时所执行的校正处理进行描述。
将在第17行用作输出行的假设下进行描述。 在第(a+l)帧中，由于在与读出数据相同的行输出像素数据，因此CMOS图像传感 器11将从第17行读出的像素数据按照其原样输出。 在第(a+2)帧中，在与读出数据的行不同的行输出像素数据。因此，CMOS图像传 感器11计算从作为在读出式样上最接近于第17行的两个读出行的第三行和第19行读出 的像素数据的加权和，并且在第17行输出计算结果。 读出行之一 (S卩，第三行)与作为输出行的第17行间隔14行。另一读出行(艮P， 第19行)与作为输出行的第17行间隔两行。因此，使用下列表达式来计算在17行上输出 的经校正的像素数据P。ut，其中，P3表示从第三行读出的像素数据，而Pw表示从第19行读 出的像素数据。 POUT=(、 19) 可以认为，经校正的像素数据P。UT是在输出行的位置中的、通过对从第三行读出的 像素数据P3和从第19行读出的像素数据P19进行线性插值而得到的值。
在第(a +3)帧中，CMOS图像传感器11计算从第五行以及第21行读出的像素数 据的加权和，并且在第17行输出计算结果。 通过下列表达式获得CMOS图像传感器11所输出的经校正的像素数据P。m，其中， P5表示从第五行读出的像素数据，而P21表示从第21行读出的像素数据。 POUT=(、 21) 在第(a +4)帧中，CMOS图像传感器11计算从第七行以及第23行读出的像素数 据的加权和，并且在第17行输出计算结果。 在第(a +5)帧中，CMOS图像传感器11计算从第九行以及第25行读出的像素数 据的加权和，并且在第17行输出计算结果。 在第(a+6)帧中，CM0S图像传感器11计算从第11行以及第27行读出的像素数 据的加权和，并且在第17行输出计算结果。 在第(a+7)帧中，CM0S图像传感器11计算从第13行以及第29行读出的像素数 据的加权和，并且在第17行输出计算结果。 在第(a+8)帧中，CM0S图像传感器11计算从第15行以及第31行读出的像素数 据的加权和，并且在第17行输出计算结果。 在第(a+9)帧中，由于像素数据输出行和读出行再次彼此一致，因此，CMOS图像 传感器11将从第17行读出的像素数据按照其原样进行输出。
[对用作输出行的GR行所执行的校正处理] 现在将参考图18，对当GR行用作输出行时所执行的校正处理进行描述。
16
将在假设第25行用作输出行的情况下进行描述。 在第(a+1)帧中，在与读出像素数据的行不同的行输出像素数据。因此，CM0S图 像传感器11计算从作为在读出式样上最接近于第25行的两个读出行的第18行和第34行 读出的像素数据的加权和，并且在第25行输出计算结果。 在第(a+2)帧中，CM0S图像传感器11计算从第20行以及第36行(未示出)读 出的像素数据的加权和，并且在第25行输出计算结果。 在第(a+3)帧中，CM0S图像传感器11计算从第22行以及第38行(未示出)读 出的像素数据的加权和，并且在第25行输出计算结果。 在第(a+4)帧中，CM0S图像传感器11计算从第24行以及第40行(未示出)读 出的像素数据的加权和，并且在第25行输出计算结果。 在第(a+5)帧中，CM0S图像传感器11计算从第10行以及第26行读出的像素数 据的加权和，并且在第25行输出计算结果。 在第(a+6)帧中，CM0S图像传感器11计算从第12行以及第28行读出的像素数 据的加权和，并且在第25行输出计算结果。 在第(a+7)帧中，CM0S图像传感器11计算从第14行以及第30行读出的像素数 据的加权和，并且在第25行输出计算结果。 在第(a+8)帧中，CMOS图像传感器11计算从第16行以及第32行读出的像素数 据的加权和，并且在第25行输出计算结果。 在第(a+9)帧中，CMOS图像传感器11再次计算从第18行以及第34行读出的像 素数据的加权和，并且在第25行输出计算结果。 如上所述，CMOS图像传感器11对通过执行根据本实施例的读出控制所输出的图 像进行如上所述的校正处理以输出图像。因此，可以获得没有其重心的帧间垂直偏移的输 出图像。 结果，不需要在图像传感器的下游所提供的DSP 201 (图14)来执行用于校正垂直 偏移的处理。因此，由于可以使DSP完全专注于其它的图像处理，所以降低了对于DSP的处 理负载。只参考CMOS图像传感器11，即使当使用子采样读取来高速地执行成像时，其也可 以提供与全像素读出模式下的曝光时间相同的曝光时间。此外，图像传感器可以通过校正 垂直方向上的任何偏移来输出高质量的图像。 可以通过信号处理电路来执行用于校正垂直方向上的偏移的上述校正处理，所述
信号处理电路例如可以被提供在图1所示的CMOS图像传感器11中的水平输出线17的下
游。显然，上述CMOS图像传感器71或101可以执行上述的校正处理。 本申请包含与2009年1月7日和2009年4月20日分别向日本专利局提交的日
本优先权专利申请JP 2009-001513和JP 2009-101636中公开的主题相关的主题，其全部
内容通过引用的方式合并于此。 本领域技术人员应理解，取决于设计需求和其他因素，可以发生各种修改、组合、 部分组合以及变更，只要其在所附权利要求或其等效物的范围内即可。
权利要求
一种固态成像器件，包括像素阵列部分，其由以矩阵形式排列的多个包括光电转换元件的像素形成；以及控制部件，其用于选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以便控制像素的曝光时间，其中当以1/Q的子采样率执行子采样读取时，所述控制部件提供持续Q帧时段的曝光时间，以对所述像素阵列部分的每一行中的像素进行曝光，其中，Q为正整数。
2. 如权利要求1所述的固态成像器件，其中，在第P-l帧之后的第P帧中，所述控制部件使得对所述像素阵列部分的、排除已经在第P-l帧中执行了快门操作和读出操作的行之后的行执行快门操作和读出操作，其中P > 1。
3. 如权利要求2所述的固态成像器件，其中，所述控制部件使得在Q帧时段中对所述像素阵列部分的所有行执行快门操作和读出操作。
4. 如权利要求3所述的固态成像器件，其中将所述读出操作所读出的像素的像素数据在预定输出行上输出，并且所述器件还包括信号处理部件，其用于计算和输出在所述像素阵列部分的垂直方向上最接近于所述输出行的两个读出行的像素数据的加权和。
5. 如权利要求3所述的固态成像器件，其是列A/D转换型的。
6. —种用于固态成像器件的驱动控制方法，所述固态成像器件具有像素阵列部分，其由以矩阵形式排列的多个包括光电转换元件的像素形成；以及控制部件，其用于选择性地控制对所述像素阵列部分的像素逐行执行的快门操作和读出操作，以便控制像素的曝光时间，所述方法包括以下步骤选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以使得当以1/Q的子采样率执行子采样读取时，提供持续Q帧时段的曝光时间，以对所述像素阵列部分的每一行中的像素进行曝光。
7. —种固态成像器件，包括像素阵列部分，其由以矩阵形式排列的多个包括光电转换元件的像素形成；以及控制部分，其被配置为选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以便控制像素的曝光时间，其中当以1/Q的子采样率执行子采样读取时，所述控制部分提供持续Q帧时段的曝光时间，以对所述像素阵列部分的每一行中的像素进行曝光，其中，Q为正整数。
全文摘要
公开了固态成像器件和驱动控制方法。所述固态成像器件包括像素阵列部分，其由以矩阵形式排列的、多个包括光电转换元件的像素形成；以及控制部件，其用于选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以便控制像素的曝光时间，其中，当以1/Q的子采样率执行子采样读取时，所述控制部件提供持续Q帧时段的曝光时间，以便对所述像素阵列部分每一行中的像素进行曝光，其中，Q为正整数。
文档编号H04N5/378GK101771801SQ201010002078
公开日2010年7月7日 申请日期2010年1月7日 优先权日2009年1月7日
发明者中世古哲司 申请人:索尼公司