摄像装置及图像传感器的驱动方法与流程

本发明涉及摄像装置及图像传感器的驱动方法。

背景技术：

一般要求用于车载和用于监控的摄像装置具有宽动态范围性能。此外，也要求数字静态照相机和数字摄像机具有宽动态范围性能。对此，已知通过对短曝光时间的图像和长曝光时间的图像进行合成来生成具有宽动态范围的图像的方法。

同时，诸如led光源和荧光灯等的许多光源与商用电源同步闪烁。为此，如果以短曝光时间进行摄像，则人眼看起来接通的光源有时被拍摄为在静止图像上看起来未接通。此外，在运动图像上，光源有时被拍摄为看起来快速闪烁。

日本特开2007-6049号公报公开了通过使用用于检测照明的能量波动周期的波动检测单元来检测光源的波动周期的技术。根据这种波动周期决定总体曝光时段。以预定比率将该曝光时段交替地划分为有效和无效曝光时段。公开了被构造为通过将摄像单元累积的电荷中的仅在有效曝光时段期间累积的电荷转换成电信号，根据光源的波动周期来获取短曝光时间的图像的摄像装置。

技术实现要素：

为了实现放大动态范围和抑制光源闪烁的影响，日本特开2007-6049号公报中公开的摄像装置被构造为针对各帧交替地进行短曝光时间的摄像和长曝光时间的摄像。然而，本发明人已经发现，这种装置难以正确地获取图像。如果日本特开2007-6049号公报中公开的摄像装置进行短曝光时间的摄像，则光电转换单元需要多次进行电荷释放和电荷转移。因此，该装置需要诸如浮动扩散存储器(floatingdiffusionmemory)等的存储器。由光电转换单元在第n帧的有效曝光时段期间生成的电荷，在同一第n帧的时段期间，被间歇地转移到存储器，并且在到第(n+1)帧的时段的阶段，被依次从存储器转移到后段的存储单元。日本特开2007-6049号公报中公开的摄像装置针对短曝光时间的摄像，以预定比率将一个帧交替地划分为有效曝光时段和无效曝光时段。为此，当装置在第(n+1)帧进行了短曝光时间的摄像时，在存储器中第n帧的电荷可能被叠加在第(n+1)帧的电荷上。这使得难以在连续帧中进行不同曝光时间的摄像。为了通过将具有多个不同曝光时间的图像进行合成来获得具有宽动态范围的一个图像，同时确保帧速率，期望在连续帧中输出以不同曝光时间拍摄的图像。本发明的一些实施例提供了在摄像装置中获取具有宽动态范围的图像同时抑制光源的闪烁的影响的技术。

根据一些实施例，提供一种摄像装置，所述摄像装置包括图像传感器和被构造为控制所述图像传感器的控制单元，所述图像传感器包括多个像素，所述多个像素中的各个像素包括光电转换单元、电荷保持单元、输出单元、被构造为将由所述光电转换单元生成的电荷转移到所述电荷保持单元的第一转移单元、以及被构造为将所述电荷保持单元中保持的电荷转移到所述输出单元的第二转移单元，其中，所述控制单元使所述图像传感器反复进行保持操作和转移操作，所述保持操作用于使所述第一转移单元将由所述光电转换单元生成的电荷转移到所述电荷保持单元以保持所述电荷，所述转移操作用于使所述第二转移单元将所述电荷保持单元中保持的电荷转移到所述输出单元，并且所述控制单元使所述图像传感器进行包括第一保持操作和第二保持操作的多个保持操作中的一个或更多个，作为所述保持操作，所述第一保持操作用于在一个帧的时段中多次进行第一采样操作，所述第一采样操作使所述第一转移单元将由所述光电转换单元在第一曝光时间中生成的电荷转移到所述电荷保持单元以保持该电荷，所述第二保持操作用于在所述一个帧的时段中不少于一次地进行第二采样操作，所述第二采样操作使所述第一转移单元将由所述光电转换单元在比所述第一曝光时间长的第二曝光时间中生成的电荷转移到所述电荷保持单元以保持该电荷。

根据一些其他实施例，提供一种用于图像传感器的驱动方法，所述图像传感器包括多个像素，所述图像传感器的多个像素中的各个像素包括：一个光电转换单元，至少两个电荷保持单元，输出单元，被构造为将电荷从所述光电转换单元转移到一个电荷保持单元的转移单元，被构造为将电荷从所述光电转换单元转移到另一个电荷保持单元的转移单元，被构造为将电荷从所述一个电荷保持单元转移到所述输出单元的转移单元，以及被构造为将电荷从所述另一个电荷保持单元转移到所述输出单元的转移单元，并且所述用于图像传感器的驱动方法包括以下步骤：反复进行多个操作，所述操作包括：在电荷被保持在所述一个电荷保持单元中的状态下，将电荷转移到所述另一个电荷保持单元以保持电荷；以及在电荷被保持在这两个电荷保持单元中的状态下，转移来自所述一个电荷保持单元的电荷。

根据一些其他实施例，提供一种用于图像传感器的驱动方法，所述图像传感器包括多个像素，所述多个像素中的各个像素包括光电转换单元、电荷保持单元、输出单元、被构造为将所述光电转换单元生成的电荷转移到所述电荷保持单元的第一转移单元、以及被构造为将所述电荷保持单元中保持的电荷转移到所述输出单元的第二转移单元，其中，所述用于图像传感器的驱动方法包括以下步骤：反复进行操作，反复进行操作，所述操作包括使所述第一转移单元将由所述光电转换单元生成的电荷转移到所述电荷保持单元以保持所述电荷，以及使所述第二转移单元将所述电荷保持单元中保持的电荷转移到所述输出单元，并且进行多个保持操作中的一个或多个，使得所述第一转移单元转移所述电荷，所述多个保持操作包括在一个帧的时段中多次进行第一采样操作，所述第一采样操作使所述第一转移单元将由所述光电转换单元在第一曝光时间中生成的电荷转移到所述电荷保持单元以保持该电荷，以及在所述一个帧的时段中不少于一次地进行第二采样操作，所述第二采样操作使所述第一转移单元将由所述光电转换单元在比所述第一曝光时间长的第二曝光时间中生成的电荷转移到所述电荷保持单元以保持该电荷。

通过以下(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是根据本发明的第一实施例的摄像装置的框图；

图2是用于说明图1中的摄像装置的操作的时序图；

图3是图1中的摄像装置的像素部分的等效电路图；

图4是示出图1中的摄像装置的图像处理单元的布置的框图；

图5a和图5b是用于说明图1中的摄像装置的图像合成方法的图；

图6是用于说明根据本发明的第二实施例的摄像装置的操作的时序图；

图7是用于说明根据本发明的第三实施例的摄像装置的操作的时序图；

图8是根据本发明的第四实施例的摄像装置的框图；

图9是图8中的摄像装置的像素部分的等效电路图；以及

图10是用于说明图8中的摄像装置的操作的时序图。

具体实施方式

下面将参照附图描述根据本发明的摄像装置的具体实施例。注意，在以下描述和附图中，在多个附图中，共同的附图标记表示共同的组成部件。为此，将相互参照多个附图来描述各个共同的组成部件，并且将适当地省略由共同的附图标记表示的组成部件的描述。

将参照图1至图5b描述根据本发明的实施例的摄像装置的结构以及摄像装置的驱动方法。图1是示意性示出根据本发明的第一实施例的摄像装置101的布置的示例的框图。根据该实施例的摄像装置101是例如包括以扩展的动态范围显示图像的显示单元和以扩展的动态范围记录图像的内置记录介质单元的车载或监控运动图像记录摄像机。摄像装置101包括图像传感器102、控制单元103、图像处理单元104、图像显示单元105以及图像记录单元106。

图像传感器102具有以阵列二维布置的多个像素。图1示出了四个像素120。图像传感器102具有以阵列二维布置的多个像素120。图像传感器102的各个像素120包括光电转换单元107、重置单元108、第一转移单元109、电荷保持单元110、第二转移单元111以及输出单元112。光电转换单元107是例如具有将入射光转换成诸如电荷等的电信号的功能的光电二极管。重置单元108重置光电转换单元107中的电荷的电位。第一转移单元109将光电转换单元107生成的电荷转移到电荷保持单元110。电荷保持单元110暂时保持电荷。第二转移单元111将电荷保持单元110中保持的电荷转移到作为图像传感器102的后段电路的输出单元112。输出单元112将来自图像传感器102的图像输出到图像处理单元104。使图像传感器102生成与入射光相对应的电荷并且将该电荷保持在电荷保持单元110中的一系列操作被称为采样操作。本实施例的采样操作由重置光电转换单元107中的电荷的电位的重置操作、等待光电转换单元107中的电荷的累积的曝光操作、以及将光电转换单元107中累积的电荷转移到电荷保持单元110并保持该电荷的操作构成。曝光操作所需的时间被称为曝光时间。

接下来，将描述控制单元103。控制单元103生成用于驱动图像传感器102的脉冲信号。控制单元103包括采样操作切换单元113、第一脉冲生成单元114以及第二脉冲生成单元115。采样操作切换单元113具有针对图像的各帧依次切换用于供给驱动图像传感器102的脉冲信号的定时中的、与上述采样操作相关联的定时。第一脉冲生成单元114和第二脉冲生成单元115生成用于采样操作的脉冲信号。针对多个连续帧中的各个，采样操作切换单元113依次切换由各个脉冲生成单元生成的脉冲信号，并且将该脉冲信号从控制单元103发送到图像传感器102。

第一脉冲生成单元114生成用于使图像传感器102进行第一电荷转移操作的脉冲信号，第一电荷转移操作包括第一保持操作和第一转移操作。第一保持操作是在一个帧的时段期间多次进行第一曝光时间的采样操作的操作，该第一曝光时间是短曝光时间。短曝光时间的采样操作被称为短时间采样操作。短时间采样操作也被称为第一采样操作。第一转移操作是将通过第一保持操作保持在电荷保持单元110中的信号电荷转移到输出单元112的操作。利用第一电荷转移操作，通过多个短时间采样操作生成的信号电荷被叠加在电荷保持单元110中，然后被转移到输出单元112。即，图像传感器102输出以短曝光时间多次曝光的图像。

第二脉冲生成单元115生成用于使图像传感器102进行第二电荷转移操作的脉冲信号，第二电荷转移操作包括第二保持操作和第二转移操作。第二保持操作是在一个帧的时段期间一次或更多次进行第二曝光时间的采样操作的操作，该第二曝光时间是长曝光时间。长曝光时间的采样操作被称为长时间采样操作。长时间采样操作也被称为第二采样操作。长时间采样操作的曝光时间比短时间采样操作的曝光时间长。在本实施例中，在第二保持操作中，在一个帧的时段期间仅进行一次长时间采样操作。第二转移操作是将通过第二保持操作保持在电荷保持单元110中的信号电荷转移到输出单元112的操作。利用第二电荷转移操作，由一个长时间采样操作生成的信号电荷被保持在电荷保持单元110中，然后被转移到输出单元112。即，图像传感器102输出以长曝光时间单次曝光的图像。

在本实施例中，用于执行第一转移操作的脉冲信号可以与用于执行第二转移操作的脉冲信号相同。为此，控制单元103可以具有生成该脉冲信号的其他脉冲生成单元，代替第一脉冲生成单元114和第二脉冲生成单元115。在这种情况下，采样操作切换单元113向图像传感器102供给通过该其他脉冲生成单元生成的脉冲信号。

由采样操作切换单元113发送到图像传感器102的脉冲信号使图像传感器102反复进行上述电荷转移操作。此外，脉冲信号使图像传感器102循环切换并进行第一电荷转移操作和第二电荷转移操作。这使得图像传感器102针对各个帧依次循环输出以短曝光时间多次曝光的图像和以长曝光时间单次曝光的图像，并且将所得到的图像发送到图像处理单元104。

图像处理单元104对由图像传感器102拍摄的图像进行处理。图像处理单元104具有如下功能：接收来自图像传感器102的信号，对具有不同曝光时间的至少两个图像进行合成，以及以扩展的动态范围生成图像。图像处理单元104还具有将来自拜耳排列的图像传感器的像素排列信号转换成诸如rgb信号或ycbcr信号等的一般的视频信号的功能。此外，图像处理单元104包括生成图像显示单元105的显示信号的if(接口)功能以及生成图像记录单元106的记录信号的if功能。图像显示单元105由例如液晶元件或el元件形成，并且显示由图像处理单元104处理的图像。图像记录单元106由例如硬盘或非易失性存储器形成，并且记录由图像处理单元104处理的图像。

图2是用于说明根据本实施例的摄像装置101的操作的时序图。时段t210(n)、t210(n+1)、t210(n+2)、t210(n+3)和t210(n+4)分别表示第n帧、第(n+1)帧、第(n+2)帧、第(n+3)帧和第(n+4)帧的帧时段。各帧对应于从图像传感器102向图像处理单元104输出一个图像。

波形201示意性地表示例如通过50hz或60hz的商用交流(ac)电源的全波整流获得的波形。时段t211表示商用电源的ac周期，并且是例如1/50秒或1/60秒。

波形202表示诸如使用波形201的电源的交通信号机等的led光源的接通状态。“h”电平和“l”电平分别表示接通状态和断开状态。在这种情况下，当全波整流的电源的波形201等于或大于阈值电平th时，波形202被设置为接通状态。当波形201小于阈值电平th时，波形202被设置为断开状态。当波形202不同于闪烁相位时，波形203示意性地表示接通状态。时段t212表示光源的闪烁周期，是时段t211的1/2。时段t213a和时段t213b表示光源为接通期间的时段，并且时段t214a和t214b表示光源为断开期间的时段。

信号波形204表示从采样操作切换单元113输出到重置单元108以重置光电转换单元107的电位的脉冲信号的波形。“h”电平和“l”电平分别表示重置状态和非重置状态。在本实施例中，图像传感器102上以阵列布置的所有像素120的光电转换单元107被整体并且同时重置。为此，各自具有信号波形204的“h”电平的重置信号在同一定时被输入到所有像素120的重置单元108。

信号波形205表示从采样操作切换单元113输出到第一转移单元109的脉冲信号的波形。当信号波形205被设置为“h”电平时，第一转移单元109被接通，以将光电转换单元107生成的电荷转移到电荷保持单元110。当信号波形205位于“l”电平时，第一转移单元109被断开，以不进行从光电转换单元107向电荷保持单元110转移电荷。在本实施例中，在以阵列布置的所有像素120中，由光电转换单元107生成的电荷被同时转移到电荷保持单元110。为此，各自具有信号波形205的“h”电平的转移信号在同一定时被输入到所有像素120的第一转移单元109。摄像装置101实施全局电子快门(globalelectronicshutter)，即，通过使用由信号波形204表示的光电转换单元107的重置信号以及由信号波形205表示的第一转移单元109的转移信号，来同时曝光以阵列布置的所有像素120。

时段t215和t216分别表示上述短时间采样操作的时段。此外，时段t217表示在一个帧内进行的多个短时间采样操作中的、从首先采样操作的开始至最后采样操作的结束的时段。在本实施例中，在时段t217期间，进行时段t215和t216的两个采样操作。在两个时段t215和t216中生成的电荷被采样并被转移到各个电荷保持单元110以进行相加。结果，电荷保持单元110形成以短曝光时间多次曝光的图像。

时段t218表示上述长时间采样操作的时段。在时段t218期间进行长时间采样操作，并且在该时段生成的电荷被采样。结果，各个电荷保持单元110形成以长曝光时间单次曝光的图像。

假设当由信号波形204代表的从重置单元108到光电转换单元107的重置信号从“l”电平改变到“h”电平时，短时间采样操作和长时间采样操作开始。还假设当由信号波形205代表的从采样操作切换单元113到第一转移单元109的转移信号从“h”电平改变到“l”电平时，各个采样操作结束。

信号波形206、207和208代表从采样操作切换单元113输出到第二转移单元111的脉冲信号的波形，以进行将各电荷保持单元110中暂时保持的电荷转移到对应的输出单元112的第一和第二转移操作。当信号波形206至208位于“h”电平时，第二转移单元111被接通，以将电荷保持单元110中暂时保持的电荷转移到输出单元112。当信号波形206至208位于“l”电平时，第二转移单元111被断开，以不进行从电荷保持单元110向输出单元112转移电荷。在这种情况下，信号波形206是用于将图像传感器102的第一行的各像素120的电荷保持单元110中保持的电荷转移到对应的输出单元112的信号的波形。同样地，信号波形207是用于将图像传感器102的第二行的各像素120的电荷保持单元110中保持的电荷转移到对应的输出单元112的信号的波形。另外，信号波形208是用于将最后行的各像素120的电荷保持单元110中保持的电荷转移到对应的输出单元112的信号的波形。时段t219是根据信号波形206至208在垂直方向上针对各行将与一个帧相对应的图像数据依次从电荷保持单元110输出到输出单元112的转移时段。

以这种方式，利用全局电子快门功能，电荷保持单元110整体且暂时地保持由图像传感器102上以阵列布置的像素120的光电转换单元107生成的电荷。随后，电荷保持单元110将电荷依次输出到输出单元112，从而输出与一个画面相对应的帧图像。

在由时段t210(n)代表的第n帧的时段t217中采样的电荷，在第(n+1)帧的时段t210(n+1)中的时段t219期间针对各行被转移到输出单元112，并且被从图像传感器102输出到图像处理单元104。随后，在第(n+1)帧的时段t218中采样的电荷，在第(n+2)帧的时段t210(n+2)中的时段t219期间针对各行被转移到输出单元112，并且进一步被从图像传感器102输出到图像处理单元104。采样操作切换单元113针对各个帧依次切换图像传感器102的采样信号，以使图像传感器102针对各个帧向图像处理单元104输出短曝光时间的图像和长曝光时间的图像。更具体地，图像传感器102在奇数帧输出短曝光时间的图像，并且在偶数帧输出长曝光时间的图像。图像处理单元104通过使用这些具有不同曝光时间的图像，来进行动态范围扩展的图像合成。

假设在时段t215和t216中进行的多个短时间采样操作之间的间隔，即，从第一个短时间采样操作的开始到下一个短时间采样操作的开始的间隔，是一个帧的时段的1/2或更少。例如，该间隔可以被设置为用于摄像的光源的闪烁周期的1/2或更少。在时段t217中，以光源的闪烁的两倍或更多的频率，多次采样光源的闪烁，并且对所得到的数据进行相加。即使在断开时间进行多个短时间采样操作中的任何一个，也极有可能在同一帧内的接通时间进行其他短时间采样操作。这增加了即使利用短曝光时间也能够防止接通状态的未检测的可能性。

假设在用于执行短时间采样操作的帧中，不进行时段t215中的采样操作，仅进行时段t216中的采样操作，即，进行单次曝光。在这种情况下，由于光源为接通的波形202的时段t213a与时段t216交叠，因此能够检测到接通状态。与此相反，考虑波形203在闪烁相位与波形202不同。在这种情况下，由于光源为断开的时段t214b与时段t216中的采样操作交叠，因此无法检测到接通状态。这能够导致无法识别光源的接通。假设交通信号机的红灯在明亮的白天环境为接通。在这种情况下，短曝光时间的摄像能够导致表示灯未接通的错误检测。即使光源的闪烁相位对应于波形203，通过在时段t215和t216中进行短时间采样操作，并且使电荷保持单元110将由光电转换单元107生成的电荷进行相加，也能够防止这种误检测。

本实施例举例说明了一个帧的时段中的短时间采样操作的次数被设置为2，并且以光源的闪烁周期的1/2的间隔进行采样的情况。例如，可以多次进行采样。增大短时间采样操作的次数能够提高闪烁光源的检测精度，并且抑制被检测图像的波动(fluctuation)。

还假设时段t217是一个帧的时段的至少1/2或更多。例如，时段t217可以是光源的闪烁周期的1/2或更多。作为选择，例如，时段t217可以等于在光源的闪烁周期中的、光源为接通期间的时段。在本实施例中，由于以下原因，时段t217被设置为光源的闪烁周期的1/2。例如，考虑诸如交通信号机等的光源通过使用商业电源的全波整流进行接通/断开控制。在这种情况下，许多光源为接通期间的时段长于光源为断开期间的时段。为此，在光源的闪烁周期的至少1/2或更多的时段中进行多次采样，使得能够在光源为接通期间的时段中进行至少一次采样。然而，在通过控制接通比来进行亮度控制的诸如照明等的光源中，当例如辉度(luminance)降低时，接通时段与光源的闪烁周期的比可以变为小于1/2。将在下面的实施例中描述在这种情况下的摄像装置的驱动方法。

在本实施例中，在进行短时间采样操作的帧和进行长时间采样操作的帧中，进行第一和第二转移操作期间的时段t219被设置为固定时间。在这种情况下，时段t219短于一个帧的时段的1/2。此外，时段t219短于作为光源的闪烁周期的时段t212的1/2。当由各光电转换单元107生成的电荷被转移到对应的电荷保持单元110的时段与电荷保持单元110将电荷依次转移到输出单元112的时段t219交叠时，电荷保持单元110中的电荷量在图像输出的垂直扫描期间改变。时段t219被设置为防止这种情况。应当注意进行短时间采样操作的帧中的时段t219的设置。在本实施例中，即使在进行长时间采样操作的帧中，如同在进行短时间采样操作的帧中，该时段被设置为使得电荷保持单元110在比作为光源的闪烁周期的时段t212的1/2更短的时间内，将电荷转移到输出单元。在所有帧中匹配将电荷从电荷保持单元110转移到输出单元的定时，能够简化图像传感器102的后段的图像处理单元104的图像输入电路结构。这能够实现低成本的摄像装置。

图3示出了根据本实施例的摄像装置101的图像传感器102的像素部分的等效电路的布置的示例。虽然图3示出了4个像素300，但是图像传感器102具有以阵列二维布置的许多像素300。像素300对应于图1中的像素120。各个像素300包括与光电转换单元107相对应的光电转换单元301、与电荷保持单元110相对应的电荷保持单元302、与第一转移单元109相对应的第一转移开关304、以及与第二转移单元111相对应的第二转移开关305。像素300还包括与输出单元112相对应的放大单元310、重置晶体管309、选择晶体管307和输入节点303。

光电转换单元301对入射光生成的电荷进行累积。作为光电转换单元301，例如使用光电二极管。第一转移开关304将光电转换单元301生成的电荷转移到电荷保持单元302。电荷保持单元302暂时保持由光电转换单元301通过使用入射光生成的电荷。第二转移开关305将电荷保持单元302中暂时保持的电荷转移到放大单元310的输入节点303。选择晶体管307选择将信号输出到输出线308的像素300。被选择像素300的放大单元310将基于由入射光生成的电荷的信号输出到输出线308。重置晶体管309根据来自控制线325的信号，使放大单元310的输入节点303的电压重置到重置线326的电位。放大单元310形成例如源极跟随电路。此外，例如，使用mos晶体管作为第一转移开关304和第二转移开关305。

通过经由控制线321供给的控制信号，来控制第一转移开关304的操作。由图2中的信号波形205代表的驱动脉冲被从控制线321供给到第一转移开关304。通过经由控制线322供给的控制信号，来控制第二转移开关305的操作。在本实施例中，像素300被布置成矩阵，并且共同控制线连接到一行中包括的像素300。按照各行从控制线322供给图2中所示的信号波形206至208。

此外，各个像素300包括与图1中所示的重置单元108相对应的放电开关318。放电开关318将光电转换单元301中的电荷释放到诸如溢漏(overflowdrain)等的电源节点324，以基于该电荷重置光电转换单元301的电位。通过经由控制线323供给的控制信号，来控制放电开关318的操作。由图2中所示的信号波形204代表的驱动脉冲从控制线323供给到放电开关318。利用这些布置，各光电转换单元301能够累积当电荷保持单元302暂时保持电荷时生成的电荷。为此，摄像装置101具有使多个像素300的光电转换时段相匹配的功能，以及所谓的全局电子快门功能。此外，放电开关318同时释放在多个像素300的光电转换单元301中累积的电荷。可以在所有像素中同时进行上述操作。可以通过以阵列二维布置的至少多个像素来进行该操作。以下描述将举例说明所有像素同时进行上述操作的情况。

在本实施例中，通过控制各放电开关318来控制曝光的开始。更具体地，放电开关318被从接通状态改变到断开状态，以开始在光电转换单元301中累积电荷。这使得能够自由地设置曝光时间。如上所述，具有溢漏结构和电荷保持单元302，使得能够通过在一个帧的期间将由短时间曝光生成的电荷转移到电荷保持单元302，来形成多次曝光的短时间曝光图像。

另外，在本实施例中，各第一转移单元109或各重置单元108可以具有将对应的光电转换单元107生成的所有电荷全部转移到电荷保持单元110的功能或者重置电荷的功能。此外，各第二转移单元111可以具有将来自对应的电荷保持单元110的电荷全部转移到对应的输出单元112的功能。这能够通过制造构成图3所示的各像素300的电路的各元件，同时适当地设置各元件的电位分布来实现。转移或重置所有电荷能够抑制由热引起的转移不规则性或重置不规则性。这抑制了热噪声的影响，并且即使在多个采样操作之后也能够获得高的图像质量。

接下来，将参照图4、图5a和图5b描述图像传感器102拍摄的具有不同曝光时间的图像的合成方法。图4示出了根据本实施例的摄像装置101的图像处理单元104的布置的示例。图像处理单元104从图像传感器102接收各个帧的图像信号，对具有不同曝光时间的两个或更多个图像进行合成，并且将得到的显示信号输出到图像显示单元105并将得到的记录信号输出到图像记录单元106。前图像处理单元401针对从图像传感器102输入的图像数据进行诸如黑电平校正等的图像处理。第一图像暂时存储单元402在帧存储器等中，暂时保持通过在一个帧的期间多次短时间采样操作获得的多次曝光的短时间曝光图像数据。第二图像暂时存储单元403在帧存储器等中，暂时保持通过在一个帧的期间长时间采样操作获得的单次长时间曝光图像数据。图像合成单元404通过对由第一图像暂时存储单元402输入的多次曝光的短时间曝光图像与由第二图像暂时存储单元403输入的单次长时间曝光图像进行合成，来生成具有扩展动态范围的合成图像。后图像处理单元405将来自拜耳排列等的图像传感器的像素排列信号转换成诸如rgb信号或ycbcr信号等的一般的视频信号。后图像处理单元405还可以针对合成图像进行诸如白平衡校正或伽玛校正等的图像质量校正。图像显示if单元406是将图像显示信号发送到图像显示单元105并且发送/接收控制信号的if单元。图像记录if单元407是将图像记录信号发送到图像记录单元106并且发送/接收控制信号的if单元。

图5a和图5b示出了由根据本实施例的摄像装置101的图像合成单元404进行的动态范围扩展的图像生成方法。下面示出了如下情况：图像合成单元404对多次曝光的短时间曝光图像与长时间曝光图像进行合成，使例如作为输出水平的色调数从4096色调增加到65536色调，并且使动态范围从72db扩展到96db。

图5a是示出图像合成之前由多个短时间采样操作获得的短时间曝光图像和由一个长时间采样操作获得的长时间曝光图像的输出水平与照度(illuminance)之间的关系的图。特性501a代表与拍摄长时间曝光图像时的照度相对应的输出水平，其主要用于拍摄被摄体的暗区域。假设在该情况下，图像传感器的输出是12位，色调的输出数是4096色调。特性502a代表与拍摄短时间曝光图像时的照度相对应的输出水平，其主要用于拍摄被摄体的亮区域。具有短曝光时间的短时间曝光时间的特性的倾斜度比长时间曝光时间的特性的倾斜度更平缓。为简单起见，假设长时间曝光的曝光时间是多次进行的短时间曝光的总的曝光时间的16倍。

在本实施例中，当照度为1000lx时，摄像时的长时间曝光图像的输出水平被设置为达到4095色调，而当照度为16000lx(是1000lx的16倍)时，摄像时的短时间曝光图像的输出水平被设置为达到4095色调。首先，为了对长时间曝光拍摄的图像与短时间曝光拍摄的图像进行合成，短时间曝光拍摄的图像数据向更高阶数字移位4位，以形成图像。利用该操作，由短时间曝光拍摄的图像数据向更高阶移位4位，以成为具有65536色调的16位数据。然后，对长时间曝光图像和短时间曝光图像进行合成。通过使用长时间曝光拍摄的、色调水平低于给出的阈值输出水平的图像数据，并且使用短时间曝光拍摄的、色调水平高于该阈值输出水平的图像数据来生成16位图像，。例如，将该阈值设置为4095色调。图5b示出了合成图像相对于照度的色调输出水平。由长时间曝光获得的特性501a代表使用而不改变输出水平等于或小于作为阈值的4095色调的数据的区域。特性502b代表通过使短时间曝光图像的数据的特性502a向更高阶移位4位而获得的数据的区域，其输出水平高于作为阈值的4095色调。利用该操作，合成图像成为饱和水平比针对暗部的摄像的饱和水平高16倍同时在暗部具有16位的色调精度的、具有扩展动态范围的图像。在本实施例中，长时间曝光的曝光时间是多次进行的短时间曝光的曝光时间的总和的16倍。然而，通过设置更大的曝光时间比，能够获得具有等于或大于100db的高动态范围的图像。

使用上述布置和驱动方法使得摄像装置101能够抑制，例如当通过使用在隧道中行驶的车辆的车载摄像机拍摄黑暗的隧道外部的明亮的交通信号机的接通状态时，错误地检测被设计为进行短时间曝光的明亮的交通信号机的接通状态的可能性。此外，对短时间曝光图像与长时间曝光图像进行合成，使得摄像装置101能够获得具有宽动态范围的图像，从而清楚地描绘隧道内部的暗部以及隧道外部的亮部。

以这种方式，实现了如下的摄像装置，即提高了当在暗部和亮部共存的要求宽动态范围的环境中进行摄像时，以短周期闪烁的光源的接通和断开状态的检测精度。此外，实现了如下的摄像装置，即通过抑制由光源闪烁导致的曝光量波动而引起的闪抖(flicker)，来获取具有高图像质量的运动图像。根据本实施例的摄像装置101不需要如同日本特开2007-6049号公报中公开的、用于检测光源闪烁的任何接通检测单元。此外，没有必要使光源的闪烁相位与传感器的曝光操作匹配。这简化了电路结构。其结果是，实现了低成本的摄像装置。

将参照图6描述根据本发明的第二实施例的摄像装置的驱动方法。图6是用于说明根据本实施例的摄像装置101的操作的时序图。与第一实施例的图2的时序图相比较，第二实施例与第一实施例的不同之处在于：第二实施例使用信号波形604和605，来代替从控制单元103到图像传感器102的信号波形204至208中的信号波形204和205。第二实施例可以在其他方面与第一实施例相同。此外，根据第二实施例的摄像装置的结构可以与根据第一实施例的摄像装置101的相同。为此，类似的组成部件的重复说明将被省略。

上述第一实施例举例说明了使用如下的led光源的交通信号机等，该led光源被设计为通过以商用电源的两倍的频率进行闪烁来进行显示，其中，光源的接通时间长。然而，在通过闪烁驱动进行亮度控制、诸如照明等的光源中，或者在使用这种光源的显示中，当辉度降低时，接通时段与光源的闪烁周期的比可以变得小于1/2。当对这种光源进行摄像时，用于动态范围扩展的具有短时间曝光时间的采样操作可能引起光源或显示上的闪抖。因此，下面将描述抑制这种闪抖的根据本实施例的摄像装置的驱动方法。

在图6的时序图中，波形201示意性地表示通过ac电源的全波整流获得的波形。波形202表示如下的led光源的接通状态，该led光源使用具有波形201的电源并且通过例如闪烁驱动进行亮度控制。波形603表示通过闪烁驱动进行亮度控制的光源的辉度被降低为低于波形202的情况。

如同图2中的信号波形204，从控制单元103供给到图像传感器102的脉冲信号的信号波形604，表示从采样操作切换单元113发送到重置单元108的、用于重置各光电转换单元107的电位的重置信号的波形。如同图2中的信号波形205，从控制单元103供给到图像传感器102的脉冲信号的信号波形605，表示从采样操作切换单元113发送到各第一转移单元109的转移信号的波形。

时段t215b表示帧中的短时间采样操作的首先采样操作的时段。另外，时段t216b表示帧中的短时间采样操作的最后采样操作的时段。此外，时段t217b表示在一个帧中多次进行的短时间采样操作中的从首先采样操作的开始至最后采样操作的结束的时段。在本实施例中，为了在同一帧内进行图像形成，在时段t217b中，从时段t215b至时段t216b进行多个短时间采样操作。在从时段t215b至时段t216b的多个采样操作的时段中生成的电荷，被转移到各电荷保持单元110以进行相加，从而形成具有短曝光时间的多次曝光图像。

时段t218表示长时间采样操作的时段。在时段t218期间生成的电荷被采样，并且各电荷保持单元110形成具有长曝光时间的单次曝光图像。

基于信号波形206至208的操作，即，将拍摄的图像从各第二转移单元111转移到对应的输出单元112，与第一实施例中描述的相同。在第(n+1)帧，针对各行，将在第n帧采样的电荷依次转移到各输出单元112，从而形成与一个画面相对应的帧图像。另外，以下的操作可以与第一实施例中的相同：通过针对各个帧，对从各输出单元112转移到图像处理单元104的具有不同曝光时间的图像进行合成，在图像显示单元105上显示图像，并将图像记录在图像记录单元106中，来形成具有扩展动态范围的图像。

假设在本实施例中，从时段t215b至时段t216b进行的多个短时间采样操作之间的间隔，是作为光源的闪烁周期的时段t212的1/2或更小。换言之，短时间采样操作之间的间隔被设置为一个帧的时段的1/4或更小。在本实施例中，由于在作为光源的闪烁周期的时段t212期间，进行m次采样，因此以作为光源的闪烁周期的时段t212的1/m(m≥2)的间隔进行采样。另外，时段t217b被设置为等于时段t211的1/2，即，被设置为作为光源的闪烁周期的时段t212。即，时段t217b被设置为一个帧的时段的1/2。

如果光源的接通时间如同波形603的时段t213b一样短，则只要采样间隔是作为光源的接通时间的时段t213b的1/2或更小，就能够检测到接通状态。这使得能够抑制短时间曝光图像之间的辉度波动差异，并且抑制由光源的闪烁操作引起的闪抖，从而获取具有扩展动态范围的高质量运动图像。

本实施例还消除了匹配光源的闪烁相位与短时间曝光的相位之间的关系的必要，因此，摄像装置不需要检测光源的闪烁的接通检测单元。此外，没有必要进行用于使光源的闪烁相位与曝光的相位相匹配的操作。这简化了电路结构。结果，实现了低成本的摄像装置。

在这种情况下，在一定程度上，有必要匹配作为光源的闪烁周期的时段t212与摄像装置中的帧的时段之间的关系。考虑如下情况，其中，光源的闪烁周期是商用电源的周期的1/2，如同诸如交通信号机、电子公告板或显示器等的显示装置。商用电源的频率在一些区域为50hz，在其他区域为60hz。为此，基于gps信息或地图信息，确定近来经常使用的区域，从而消除检测光源的闪烁周期的必要。此外，本实施例举例说明了光源的闪烁周期与摄像装置中的各个帧的时段相同步的图表。然而，不必要严格地使周期与时段匹配，因为只要它们大致地彼此匹配，就不发生大的辉度波动。

此外，使用本实施例能够获取具有抑制的波动和不规则性的运动图像，因为即使使用例如辉度以模拟方式周期性地改变的光源，而不是表现如同波形202和603的数字波形的光源，也能够多次进行采样。这是因为，即使使用辉度大幅改变的光源，也通过多次进行的采样来获得平均图像。此外，即使使用没有表现周期性改变的光源，也能够实现获取高质量的运动图像的摄像装置。

将参照图7描述根据本发明的第三实施例的摄像装置的驱动方法。图7是用于说明根据本实施例的摄像装置101的操作的时序图。与第一实施例的图2的时序图相比较，第三实施例与第一实施例的不同之处在于：第三实施例使用信号波形704和705，来代替从控制单元103到图像传感器102的信号波形204至208中的信号波形204和205。第三实施例可以在其他方面与第一实施例相同。根据第三实施例的摄像装置的结构可以与根据第一实施例的摄像装置101的结构相同。为此，类似的组成部件的重复说明将被省略。

上述第一实施例举例说明了如下的情况，即针对各帧交替地输出通过短时间曝光而获得的多次曝光图像和通过长时间曝光而获得的单次曝光图像，并且对图像进行合成以输出具有扩展动态范围的图像。然而，本发明不限于对一个通过多次曝光获得的短时间曝光图像和一个通过单次曝光获得的长时间曝光图像进行合成的图像合成。当进行实际的动态范围扩展时，曝光时间之间的比有时被设置为高达100或以上。在这种情况下，由于在短时间曝光图像与长时间曝光图像之间、用于摄像的辉度范围的差异大，因此合成图像的线性有时劣化。此外，由于在接近用于合成的阈值的辉度水平方面，边界辉度误差大，因此，例如由伪轮廓等使图像质量劣化。为了抑制这种图像质量劣化，与通过对在两个不同的条件下获取的图像进行合成而获得的图像相比较，可以对利用三个或更多个不同曝光时间而获取的图像进行合成来提高图像质量。因此，下面将描述根据本实施例的摄像装置的驱动方法。

参照图7的时序图，波形201示意性地表示通过ac电源的全波整流获得的波形。波形202表示使用由波形201代表的电源的led光源(例如交通信号机)的接通状态。

如同图2中的信号波形204，从控制单元103供给到图像传感器102的脉冲信号的信号波形704，表示从采样操作切换单元113发送到各重置单元108以重置对应的光电转换单元107的电位的重置信号的波形。如同图2中的信号波形205，从控制单元103供给到图像传感器102的脉冲信号的信号波形705表示从采样操作切换单元113发送到各第一转移单元109的转移信号的波形。

时段t215和t216分别表示进行短时间采样操作的时段。此外，时段t215c和t216c分别表示进行第三采样操作的时段。在时段t215c和t216c中的第三采样操作各自具有第三曝光时间。第三曝光时间被设置为比时段t215和t216中的各个短时间采样操作的曝光时间长。此外，第三曝光时间被设置为比时段t218中的长时间采样操作的曝光时间短。

时段t217和t217c分别表示在一个帧中的多个短时间采样操作中的首先采样操作的开始至最后采样操作的结束的时段，以及在一个帧中的第三采样操作中的首先采样操作至最后采样操作的结束的时段。在本实施例中，在时段t217期间的时段t215和t216中，进行两个短时间采样操作。此外，在时段t217c期间的时段t215c和t216c中，进行两个第三采样操作。在这些采样操作的时段期间生成的电荷被采样，并被转移到各个电荷保持单元110以进行相加，从而形成具有两种类型的短时间曝光的多次曝光图像，这两种类型的短时间曝光包括通过短时间采样操作的曝光和通过第三采样操作的曝光。时段t218表示长时间采样操作的时段。在各电荷保持单元110中，在时段t218期间生成的电荷被采样，以形成具有长时间曝光的单次曝光图像。

在这种情况下，第一脉冲生成单元114可以生成用于使图像传感器102进行第三保持操作的脉冲信号，该第三保持操作多次进行第三采样操作。在这种情况下，第一脉冲生成单元114可以针对各个帧，在生成用于执行第一保持操作的脉冲信号与生成用于执行第三保持操作的脉冲信号之间依次切换。此外，控制单元103还可以包括用于生成用于执行第三保持操作的脉冲信号的第三脉冲生成单元，并且控制单元103可以针对各个帧，使采样操作切换单元113依次切换要被发送到图像传感器102的脉冲信号。

由时段t210(n)表示的第n帧的时段t217中的多个短时间采样操作保持的电荷被输出，作为与第(n+1)帧的时段t210(n+1)中的时段t219期间的一个帧相对应的曝光图像。同样地，由时段t210(n+1)表示的第(n+1)帧的时段t217c中的多个第三采样操作保持的电荷，在第(n+2)帧的时段t210(n+2)中的时段t219期间被输出。此外，由时段t210(n+2)表示的第(n+2)帧的时段t218期间的一个长时间采样操作保持的电荷被输出，作为与第(n+3)帧的时段t210(n+3)中的时段t219期间的一个帧相对应的曝光图像。在本实施例中，图像传感器102输出通过短时间采样操作的短时间曝光获得的多次曝光图像、通过第三采样操作的曝光获得的多次曝光图像、以及通过以三个帧为周期的长时间采样操作的长时间曝光获得的单次曝光图像。

图像处理单元104将具有三种不同曝光时间的图像合成为一个具有扩展的动态范围的图像。假设多个短时间采样操作的曝光时间的总和、多个第三采样操作的曝光时间的总和、以及单个长时间采样操作的曝光时间之间的比为1:10:100。在对两种类型的图像(包括由短时间采样操作获得的图像和由长时间采样操作获得的图像)进行合成的情况下，要被合成的图像在范围上相差100倍。然而，在本实施例中，使用第三采样操作，使得能够将它们之间在范围差异抑制为各自10倍，从而抑制图像质量的劣化。与对具有两种不同曝光时间的图像进行合成的情况相比，这使得能够获取具有扩展的动态范围的高质量的图像。此外，实现了如下的摄像装置，即当图像质量几乎保持相同时，进一步扩展了动态范围。

如同在本实施例中，当实现具有动态范围扩展功能的摄像装置时，由于当获取短曝光时间的图像时，用于摄像的采样周期的类型的数量增加，因此能够抑制未检测到闪烁的光源的麻烦。此外，这种布置降低了匹配光源的闪烁相位与短时间曝光的相位之间的关系的必要，因此，不需要检测光源的闪烁的接通检测单元。此外，没有必要使光源的闪烁相位与摄像装置进行的曝光操作的相位匹配。这简化了电路结构。结果，实现了低成本的摄像装置。

将参照图8至图10描述根据本发明的实施例的摄像装置的结构以及用于摄像装置的驱动方法。图8是示意性地示出根据本发明的第四实施例的摄像装置801的布置的示例的框图。不同于图1中所示的摄像装置101，图像传感器102具有像素820的阵列，像素820各自具有两组，各组包括电荷保持单元110、第一转移单元109以及第二转移单元111。另外，采样操作切换单元113被改变为供给用于驱动图像传感器102的脉冲信号的采样操作控制单元813。摄像装置801的其它组成部分可以与上述摄像装置101的相同。在本说明书中，当有必要区分在各个组中包括的各组成部件时，各组成部件的附图标记具有后缀“s”及“l”(例如，电荷保持单元110s)。

图9示出了根据本实施例的摄像装置801的图像传感器102的像素部分的等效电路的布置的示例。像素800对应于图8中的像素820。不同于图3中所示的像素300，像素800包括两个组，各个组包括电荷保持单元302、第一转移开关304以及第二转移开关305。另外，像素800包括用于分别控制第一转移开关304s和304l的控制线321s和321l以及用于分别控制第二转移开关305s和305l的控制线322s和322l。像素800的其他组成部件可以与上述的像素300的相同。利用这种布置，在电荷被保持在一个电荷保持单元中的状态下，将电荷从光电转换单元301转移到其他电荷保持单元以被保持(第一步骤)。在在第一步骤中电荷被保持在两个电荷保持单元中的状态下，将电荷从一个电荷保持单元转移到输出单元(第二步骤)。依次进行该操作，使得这两个电荷保持单元以高同时性来保持信号。下面将详细描述该操作。

在各个像素800中，根据由第一转移开关304s和第一转移开关304l分别选择的时间，由光电转换单元301生成的电荷分别被保持在电荷保持单元302s和电荷保持单元302l中。在第一至第三实施例中，控制单元103使图像传感器102针对各个帧进行具有不同曝光时间的采样操作，从而针对各个帧依次生成具有不同曝光时间的图像。与此相反，在本实施例中，由于各像素800包括多个电荷保持单元110，因此控制单元103使图像传感器102针对各个帧同时进行具有不同曝光时间的采样操作并且生成利用不同曝光时间获得的多个信号。

图10是用于说明根据本实施例的摄像装置801的操作的时序图。时段t910(n)、t910(n+1)、t910(n+2)及t910(n+3)分别表示第n帧、第(n+1)帧、第(n+2)帧及第(n+3)帧的帧时段。在本实施例中，在各个帧中，由于各个像素820具有两个电荷保持单元，因此图像传感器102向图像处理单元104输出具有不同曝光时间的两个信号。图像处理单元104通过对针对各个帧输出的、具有不同曝光时间的两个信号进行合成，来生成图像。在本实施例中，各个像素820包括两个组，各个组包括电荷保持单元110、第一转移单元109以及第二转移单元111。例如，各个像素可以包括三个或更多个组，并且针对各个帧生成具有不同曝光时间的三个或更多个图像。

波形901表示用于例如在电子公告板、各种类型的照明设备以及车辆上的显示的模拟调制的led光源等的接通波形。信号波形904表示从采样操作控制单元813输出到各重置单元108以重置光电转换单元107的电位的脉冲信号的波形。如在上述实施例中，“h”电平和“l”电平分别表示重置状态和非重置状态。在图像传感器102上以阵列布置的所有像素820的光电转换单元107被整体并且同时重置。为此，各自具有信号波形904的“h”电平的重置信号在同一定时被输入到所有像素820的重置单元108

信号波形905s表示从采样操作控制单元813输出到各第一转移单元109s的脉冲信号的波形。信号波形905l表示从采样操作控制单元813输出到各第一转移单元109l的脉冲信号的波形。在本实施例中，由光电转换单元107生成的电荷被同时转移到以阵列布置的所有像素820中的电荷保持单元110s或110l。当信号波形905s被设置为“h”电平时，由各光电转换单元107生成的电荷被转移到对应的电荷保持单元110s。此时，各自具有信号波形905s的“h”电平的转移信号，被同时输入到所有像素820的第一转移单元109s。同样地，当信号波形905l被设置为“h”电平时，由各光电转换单元107生成的电荷被转移到对应的电荷保持单元110l。此时，各自具有信号波形905l的“h”电平的转移信号，被同时输入到所有像素820的第一转移单元109l。利用该操作，两个电荷保持单元110s和110l分别对如下的电荷采样，即利用分别由信号波形904、信号波形905s、信号波形904及信号波形905l分别限定的不同曝光时间，由光电转换单元107生成的电荷。这些电荷保持单元可以利用相同的曝光时间和不同的采样次数来对电荷采样。

在这种情况下，时段t915s、t916s及t917s分别表示如下的时段，即在由具有信号波形904的驱动脉冲重置后，响应于具有信号波形905s的驱动脉冲，将各光电转换单元107中累积的电荷转移到对应的电荷保持单元110s的短时间采样操作的时段。同样地，时段t915l、t916l及t917l分别表示如下的时段，即在由具有信号波形904的驱动脉冲重置后，响应于具有信号波形905l的驱动脉冲，将光电转换单元107中累积的电荷转移到电荷保持单元110l的长时间采样操作的时段。在时段t915s、t916s及t917s中的短时间采样操作和在时段t915l、t916l及t917l中的长时间采样操作，不被同时进行，而被依次进行。通过使图像传感器102依次进行短时间采样操作和长时间采样操作，控制单元103能够在同一帧的时段期间，同时生成具有不同曝光时间的图像。作为选择，控制单元103能够同时生成具有高同时性的图像，即使它们是在不同的采样定时获得的。

信号波形906s和906l表示从采样操作控制单元813输出到第二转移单元111s和111l以将电荷保持单元110s和110l中暂时保持的电荷依次转移到各输出单元112的脉冲信号的波形。当信号波形906s和906l为“h”电平时，对应的像素820中的第二转移单元111s和111l被接通，以将电荷保持单元110s和110l中暂时保持的电荷依次转移到输出单元112。信号波形906s-1、906s-2及906s-3分别表示用于在时段t917s、t915s及t916s期间转移电荷保持单元110s中累积的电荷的脉冲信号的波形。同样地，信号波形906l-1、906l-2及906l-3分别表示用于在时段t917l、t915l及t916l期间转移电荷保持单元110l中累积的电荷的脉冲信号的波形。此外，时段t910是与一个画面相对应的转移时段，在该时段期间，根据信号波形906s-1和906l-1至信号波形906s-3和906l-3，针对各行，与从第一行至最后行的一个帧相对应的图像数据被依次输出到输出单元112。时段t910可以被认为是一个帧的时段。

在本实施例中，在一个帧的时段t910期间，进行由时段t915、t916s和t917s表示的三个短时间采样操作，以生成具有短曝光时间的多次曝光图像。此外，在一个帧的时段t910期间，进行由时段t915l、t916l和t917l表示的比短时间采样操作的长的三个长时间采样操作，以生成具有长曝光时间的多次曝光图像。在一个帧的时段中的多个短时间采样操作和多个长时间采样操作的时段的总时间，等于在一个帧的时段中由各个采样操作获得的图像的曝光时间。

在第一至第三实施例中，针对各个帧，以不同的曝光时间依次生成图像，并且对与多个帧相对应的图像进行合成以获取具有扩展动态范围的合成图像。与此相反，本实施例提供了两个电荷保持单元，即电荷保持单元110s和110l，并且被构造为将合适的脉冲输入到各个转移单元，使得能够在同一帧内生成具有不同曝光时间的两个图像。充分增加具有不同曝光时间的采样操作的次数，将缩短从各采样操作的开始至结束的时间。在相邻的具有不同曝光时间的采样操作之间，在这种情况下获得的信息的改变量是小的，因此，即使曝光时段彼此不同，由采样操作获得的两条信息，也能够等价于从曝光的开始至曝光的结束连续地累积的信息。例如，在大约时段t921中获得第一行的信息，在大约时段t922中获得第二行的信息，并且在大约时段t923中获得最后行的信息。即，本实施例能够在几乎同一时间，获得具有不同曝光时间的图像信息。

以这种方式，在所有像素中，由图像传感器102上以阵列布置的像素820的光电转换单元107生成的电荷，被同时保持在各个具有不同的采样时间的像素的两个电荷保持单元110中。然后，针对各个行，各电荷保持单元110将电荷输出到对应的输出单元112，从而输出通过在与一个画面相对应的帧时段中，对以不同曝光时间采样的电荷相加而获得的多次曝光图像。在本实施例中，从各电荷保持单元110s中保持的电荷而获得的图像是具有短曝光时间的多次曝光图像，并且从各电荷保持单元110l中保持的电荷而获得的图像是具有长曝光时间的多次曝光图像。

具有不同曝光时间的两个多次曝光图像，是以时间间隔多次采样获得的图像，因此是在一个帧的时段中的多条信息，而不是在当光源的接通状态波动时的给定时刻的固定值。因此，能够抑制在光源的摄像时引起的闪烁等。此外，即使闪烁不能被完全抑制，由于在画面中的闪烁的发生状态在短时间曝光图像与长时间曝光图像之间保持相似，因此当对各个多次曝光图像进行合成时，能够抑制由闪烁的发生状态的差异引起的图像质量的劣化。此外，通过在同一帧的时段中多次进行采样获得各个多次曝光图像，因此多次曝光图像是在几乎同时利用两个不同曝光时间拍摄的图像。因此，对各个读出的多次曝光图像进行合成能够获得具有扩展动态范围的图像。此外，由于各个多次曝光图像具有同时性，因此与上述的对不同帧中的图像进行合成的情况相比，能够抑制由被摄体或照相机的移动引起的图像移位的发生。

在本实施例中，在一个帧的时段中，控制单元103针对对应的光电转换单元107中的信息，使各像素820进行短时间采样操作和长时间采样操作各三次。然而，采样的次数不限于此。由于通过进行两次或更多次采样操作能够获得闪烁抑制效果，各类型的采样操作的次数可以是例如两次。作为选择，各类型的采样操作可以进行四次或更多次。例如，在一个帧的时段中的短时间采样的次数可以与长时间采样的次数不同。

当在一个帧的时段中增加采样操作的次数时，获取的信息能够与通过在各个帧的时段中的连续累积而获得的信息具有相同的效果。这提高了例如闪烁的光源的检测精度，并且能够抑制由被检测的光源的闪烁引起的图像波动并且能够抑制闪抖。虽然这在拍摄运动图像时是明显的，但是短时间曝光图像中的模糊量等于长时间曝光图像的模糊量，这是因为它们是在同一帧内拍摄的，因此抑制了由合成图像引起的不协调感。例如，如果拍摄在夜间行驶的车辆的图像，则能够抑制下述情形：例如尽管事实上主体是模糊的但是光不是模糊的困扰，以及光的模糊看起来像虚线。

如上所述，随着采样操作的次数增加，换言之，信号波形905s和905l的脉冲间隔降低，所以闪烁抑制效果增大。令n(hz)为光源的闪烁频率，则当采样周期(hz)>n(hz)时，出现闪烁抑制效果。此外，在采样周期(hz)>2n的条件下，出现充分的效果。例如，当在使用50hz商用电源的荧光灯的照明下以100hz进行摄像时，往往出现闪烁。在这种情况下，当采样周期(hz)>100hz时，出现效果。此外，当采样周期(hz)>200hz时，能够获得充分的效果。如果使用使用50hz商用电源的光源，则通过使信号波形905s和905l的脉冲间隔减小至10ms或更小时，能够获得闪烁抑制效果。另外，为了增加闪烁抑制效果，信号波形905s和905l的脉冲间隔可以短于例如5ms。

另外，可以增大针对电荷多重复用的曝光时间的总时间，以增加闪烁抑制效果。例如，通过将短时间采样操作的曝光时间的总和与长时间采样操作的曝光时间的总和进行相加而获得的时间，可以是光源的闪烁周期的1/2或更多。

在本实施例中，实现了如下的摄像装置，即当在需要宽动态范围的环境中存在以短周期闪烁的光源时，提高了光源的接通状态和断开状态的检测精度。此外，实现了如下的摄像装置，即通过抑制由光源的闪烁导致的曝光量波动而引起的闪抖，来获取高质量的运动图像。另外，通过针对各帧获取具有不同曝光时间的多个图像，并且将获得的图像进行合成，本实施例的布置能够形成宽动态范围。与针对各帧获取具有不同曝光量的多个图像并对其进行合成的情况相比，这能够抑制由照相机的移动和被摄体的移动引起的时间图像移位，以及在多个图像之间的由光源引起的闪抖的差异。此外，如在上述各实施例中，没有必要使用检测光源的闪烁的任何接通检测单元，并且没有必要使光源的闪烁相位与传感器的曝光操作相匹配。这简化了电路结构并且实现了低成本的摄像装置。

虽然描述了根据本发明的四个实施例，但本发明不限于此。根据需要，能够改变和组合上述各实施例。例如，在第一至第三实施例中，当基于帧在如下的两个帧之间进行切换的同时可以进行摄像，即在一个帧中，进行三次或更多次具有两种或更多种类型的短时间曝光的采样操作，在另一个帧中，进行具有单次曝光的长时间采样操作。作为选择，不仅在针对各个帧依次切换保持操作的同时进行摄像，还在使采样操作切换单元113切换以预定的周期反复进行保持操作(例如进行两次第一保持操作，然后进行一次第二保持操作)的同时进行摄像。此外，根据需要，能够改变各个实施例中的信号波形的“h”电平或“l”电平的长度。例如，在第二和随后的实施例中，在获得具有长曝光时间的信号时的各转移单元中的“h”电平，长于在获得具有短曝光时间的信号时的“h”电平。这些长度可以彼此相等，或者它们之间的大小关系可以颠倒。此外，当将电荷从光电转换单元转移到电荷保持单元和/或从电荷保持单元转移到输出单元时，可以完全转移电荷。为了实现这种电荷转移，在平衡状态下的光电转换单元的电位可以高于电荷保持单元的电位，并且在平衡状态下的电荷保持单元的电位可以高于输出单元的电位。这里所指的电位是针对信号电荷的电位。因此，如果电子是信号电荷，则电势越低，电位越高。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。