固态摄像器件及其驱动方法和电子设备与流程

本发明涉及固态摄像器件、用于驱动固态摄像器件的方法以及电子设备。

背景技术：

在固态摄像器件中，从包括光电转换部的单位像素中获得输出信号，该输出信号相对于通过光电转换而蓄积在光电转换部中的电荷量基本上是线性的。于是，固态摄像器件的动态范围由单位像素在光电转换部中能够蓄积的电荷量(饱和电荷量)和噪声电平唯一地确定。也就是说，固态摄像器件的输出电平的下限受噪声电平的限制，且输出电平的上限受光电转换部的饱和水平的限制。结果，固态摄像器件的动态范围由光电转换部的饱和电荷量和噪声电平量唯一地确定。

过去，作为用于扩展固态摄像器件的动态范围的技术，以下三种方法是已知的。

(1)时间分割法：通过以时间分割方式拍摄因蓄积时间差异而具有不同灵敏度的多个图像并合成以时间分割方式拍摄的多个图像来扩展动态范围(参见例如专利文献1)

(2)空间分割法：通过提供具有不同灵敏度的多个像素并合成由具有不同灵敏度的多个像素拍摄的多个图像来扩展动态范围(参见例如专利文献2)

(3)像素内存储器叠加法：通过在每个像素中提供存储器来扩展动态范围，该存储器蓄积从光电转换部溢出的电荷，以增加在曝光时间段内能够蓄积的电荷量(参见例如专利文献3)

引用列表

专利文献

专利文献1：日本专利申请特开号2001-346096

专利文献2：日本专利申请特开号1993-64083

专利文献3：日本专利申请特开号2005-328493

技术实现要素：

技术问题

上述专利文献1至专利文献3中记载的现有技术具有以下问题。

(1)专利文献1记载的时间分割法：虽然可以通过增加时间分割的分割数来扩展动态范围，但是当增加分割数时，发生伪像。

(2)专利文献2记载的空间分割法：虽然可以通过增加空间分割的分割数来扩展动态范围，但是当分割数增加时，由于分辨率等的降低而导致图像质量劣化。

(3)专利文献3记载的像素内存储器叠加法：由于存储器容量受限，因此可被扩展的动态范围也受限。

本发明的目的在于提供能够通过拍摄具有可被不同于时间分割法、空间分割法以及像素内存储器叠加法的方法任意地控制的灵敏度比率的多个图像来扩展动态范围的固态摄像器件、用于该驱动固态摄像器件的方法和包括该固态摄像器件的电子设备。

技术方案

为了实现以上目的，根据本发明的固态摄像器件包括：

像素阵列单元，在所述像素阵列单元中布置有多个单位像素，所述单位像素均包括多个光电转换部；以及

驱动单元，所述驱动单元通过针对所述多个光电转换部的信号电荷的蓄积执行间歇驱动来改变所述多个光电转换部的灵敏度比率。

另外，为了实现上述目的，根据本发明的电子设备包括作为成像单元的具有上述构造的固态摄像器件。

为了实现上述目的，根据本发明的固态摄像器件的驱动方法包括：

驱动所述固态摄像器件，所述固态摄像器件包括像素阵列单元，在所述像素阵列单元中布置有多个单位像素，所述单位像素均包括多个光电转换部，并且

通过针对所述多个光电转换部的信号电荷的蓄积执行间歇驱动来改变所述多个光电转换部的灵敏度比率。

在具有上述构造的固态摄像器件、其驱动方法或电子设备中，可以通过被不同于时间分割法、空间分割法以及像素内存储器叠加法的用于针对多个光电转换部的信号电荷的蓄积执行间歇驱动(intermittentdriving)的方法来任意地控制多个光电转换部的灵敏度比率。然后，通过拍摄具有可被任意地控制的灵敏度比率的多个图像，可以扩展动态范围。

发明的有益效果

根据本发明，由于通过针对多个光电转换部的信号电荷的蓄积执行间歇驱动可以任意地控制多个光电转换部的灵敏度比率，因此与物理地提供灵敏度差的情况相比，可以自由地改变动态范围。

应当注意，这里所说明的效果并非限制性的，并且可以为本发明记载的任何效果。另外，本文所说明的效果仅为示例，而并非限制性的，并且可以提供其他效果。

附图说明

图1是示意地示出本发明的cmos图像传感器的系统构造的系统构造图。

图2是示意地示出本发明的cmos图像传感器的另一系统构造的系统构造图(部分1)。

图3是示意地示出本发明的cmos图像传感器的另一系统构造的系统构造图(部分2)。

图4是示出本发明的cmos图像传感器的使用示例的示图。

图5是示出根据第一实施例的单位像素的电路构造的电路图。

图6是根据第一实施例的单位像素的平面布局的布局图。

图7是说明根据第一实施例的单位像素的电路操作的时序波形图。

图8a是更具体地说明在基于快门信号和传输信号的脉冲信号针对信号电荷的蓄积执行间歇驱动时的电路操作的时序波形图，且图8b是作为图8a所示的间歇驱动的变形例的时序波形图。

图9是根据第一实施例的单位像素的动态范围的扩展的说明图。

图10a是在第一光电二极管和第二光电二极管的尺寸相同的情况下的布局图，且图10b是在第二光电二极管大于第一光电二极管的情况下的布局图。

图11是示出根据第二实施例的单位像素的电路构造的电路图。

图12是根据第二实施例的单位像素的动态范围的扩展的说明图。

图13是说明根据第二实施例的单位像素的电路操作的电位图。

图14是说明根据第二实施例的变形例1的单位像素的电路操作的电位图。

图15是说明根据第二实施例的变形例2的单位像素的电路构造的电位图。

图16是说明根据第二实施例的变形例2的单位像素的电路操作的电位图。

图17是示出根据第三实施例的单位像素的电路构造的电路图。

图18是示出根据第三实施例的单位像素的另一电路构造的电路图。

图19是说明根据第三实施例的单位像素在高转换效率模式下的电路操作的时序波形图。

图20是说明根据第三实施例的单位像素在低转换效率模式下的电路操作的时序波形图。

图21是示出根据第四实施例的单位像素的电路构造的电路图。

图22是示出根据第四实施例的单位像素的另一电路构造的电路图。

图23是说明根据第四实施例的单位像素的电路操作的时序波形图。

图24是示出根据第五实施例的单位像素的电路构造的电路图。

图25是根据第五实施例的单位像素的平面布局的布局图。

图26是说明根据第五实施例的单位像素的电路操作的时序波形图。

图27是示出相对应入射光量的低灵敏度差分信号snl、高灵敏度差分信号snh和校正低灵敏度差分信号snl'之间的关系的示图。

图28a是像素信号的运算处理的处理示例1的说明图，且图28b是像素信号的运算处理的处理示例2的说明图。

图29是示出根据第六实施例的单位像素以及单位像素的控制系统的示例的构造图。

图30是示出根据第六实施例的单位像素的控制系统的处理流程的流程图。

图31是根据第六实施例的单位像素的控制系统的处理的说明图。

图32是示出根据第六实施例的单位像素以及单位像素的控制系统的构造的另一示例的构造图。

图33是示出作为根据本发明的电子设备的示例的成像设备的构造的框图。

图34是示意地示出根据第七实施例的cmos图像传感器的系统构造的系统构造图。

图35是根据第七实施例的cmos图像传感器的单位像素的内部构造图。

图36a是示出使用4个参考电压电平的被摄体亮度评估单元的构造示例的示图，且图36b是示出使用两个参考电压电平的被摄体亮度评估单元的构造示例的示图。

图37是示出根据第七实施例的cmos图像传感器的系统的三维构造的示意立体图。

图38是示出根据第七实施例的cmos图像传感器的第一半导体器件层中的光电转换部和像素晶体管的平面布局的布局图。

图39a和图39b均是示出被根据第七实施例的cmos图像传感器成像为图像的被摄体的亮度分布的直方图。

图40是被摄体亮度评估单元对电荷量的评估内容和曝光时间段控制单元对曝光时间段的长度的设定的说明图。

图41a和图41b均是示出曝光时间段控制单元基于由被摄体亮度评估单元对电荷量的评估结果对曝光时间段的长度的设定的结果的示图。

图42是在将不使用间歇驱动的成像设备安装在汽车上的情况下对像素数据的分析和对摄像条件的控制的说明图。

图43在将使用间歇驱动的成像设备安装在汽车上的情况下对像素数据的分析和对摄像条件的控制的说明图。

图44是示出被摄体亮度评估单元对电荷量的评估和曝光时间段控制单元对间歇驱动的设定的处理流程的流程图。

图45是在占空比＝100％的情况下与对第一光电转换部和第二光电转换部的曝光时间段的控制有关的时序波形图。

图46是在占空比＝50％的情况下与对第一光电转换部和第二光电转换部的曝光时间段的控制有关的时序波形图。

图47是在占空比＝25％的情况下与对第一光电转换部和第二光电转换部的曝光时间段的控制有关的时序波形图。

图48是通过绘制如下输出电压而得到的示图，该输出电压是通过根据第七实施例的cmos图像传感器的第一光电转换部和第二光电转换部的曝光操作而获得的。

图49是示出根据第七实施例的变形例1的cmos图像传感器的系统的三维构造的示意立体图。

图50是根据第七实施例的变形例2的cmos图像传感器的单位像素的内部构造图。

图51是通过绘制如下输出电压而得到的示图，该输出电压是通过根据第七实施例的变形例2的cmos图像传感器的第二光电转换部的曝光操作而获得的。

图52是根据第七实施例的变形例3的cmos图像传感器的单位像素的内部构造图。

具体实施方式

在下文中，将参照附图详细地说明用于实施本发明的实施方式(以下，称为“实施例”)。本发明不限于这些实施例，且这些实施例中的各种数值、材料等仅是示例。在下面的说明中，相同部件或具有相同功能的部件将由相同的附图标记表示，并且将省略重复的说明。注意，将按照以下顺序进行说明。

1.根据本发明的固态摄像器件、用于驱动固态摄像器件的方法和电子设备以及一般说明

2.本发明的固态摄像器件

2.1基本系统构造

2.2另一系统构造

3.噪声去除处理的说明

3-1噪声去除处理的处理示例1

3-2噪声去除处理的处理示例2

4.本发明的固态摄像器件的使用示例

5.第一实施例(第二光电二极管的信号电荷的排出目的地为电源vdd的示例)

5-1.单位像素的电路构造

5-2.单位像素的电路操作

5-3.扩展动态范围的方法

6.第二实施例(第二光电二极管的信号电荷的排出目的地为第一光电二极管的示例)

6-1.单位像素的电路构造

6-2.单位像素的电路操作

6-3.第二实施例的变形例1

6-4.第二实施例的变形例2

7.第三实施例(在第一光电二极管侧的传输晶体管和复位晶体管之间布置fd选择开关的示例)

7-1.单位像素的电路构造

7-2.高转换效率模式下的电路操作

7-3.低转换效率模式下的电路操作

8.第四实施例(在第二光电二极管侧的传输晶体管和复位晶体管之间布置fd选择开关的示例)

8-1.单位像素的电路构造

8-2.单位像素的电路操作

9.第五实施例(合成第二实施例、第三实施例和第四实施例的示例)

9-1.单位像素的电路构造

9-2.单位像素的电路操作

9-3.像素信号的运算处理

10.第六实施例(适应性地控制光电二极管的灵敏度的示例)

10-1.控制系统的构造

10-2.控制系统的处理流程

11.第一实施例至第六实施例的作用和效果

12.第一实施例至第六实施例的变形例

13.根据本发明的电子设备(成像设备的示例)

14.第七实施例(设置有用于调节每个像素的单位像素的曝光时间段的机构的示例)

14-1.系统构造

14-2.单位像素的内部构造

14-3.系统的三维构造

14-4.单位像素的平面布局

14-5.在一个曝光时段中的特定点处对被摄体亮度的评估

14-6.对像素数据的分析和对成像条件的控制

14-7.曝光时间段的控制流程

14-7-1.以占空比＝100％连续曝光的情况

14-7-2.以占空比＝50％连续曝光的情况

14-7-3.以占空比＝25％连续曝光的情况

14-7-4.关于通过曝光操作获得的第一光电转换部和第二光电转换部的输出

14-8.第七实施例的变形例1(一个像素控制单元和像素信号处理单元负责多个单位像素的控制和信号处理的示例)

14-9.第七实施例的变形例2(单位像素包括一个光电转换部的示例)

14-10.第七实施例的变形例3(根据被摄体亮度来针对每个像素改变电荷蓄积单元的容量的示例)

14-11.第七实施例的变形例4(设置电荷蓄积单元的曝光时间段控制和容量控制的示例)

15.本发明的构造

<根据本发明的固态摄像器件、用于驱动固态摄像器件的方法和电子设备以及一般说明>

在根据本发明的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，多个光电转换部均被构造成包括第一光电转换部和第二光电转换部。另外，单位像素可被构造成包括电荷-电压转换部、第一传输栅单元、第二传输栅单元和排出栅单元，第一传输栅单元将被第一光电转换部光电转换的电荷传输至电荷-电压转换部，第二传输栅单元将被第二光电转换部光电转换的电荷传输至电荷-电压转换部，排出栅单元将被第二光电转换部光电转换的电荷排出。

在根据本发明的包括上述优选构造的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，排出栅单元可被构造成将被第二光电转换部光电转换的电荷排出至第一光电转换部。另外，间歇驱动可以是由用于驱动排出栅单元和第二传输栅单元的脉冲信号实现的间歇驱动。

另外，在根据本发明的包括上述优选构造的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，驱动单元可以被构造成使第二传输栅单元和排出栅单元在曝光时段中以相同的频率交替地操作，使得第二传输栅单元和排出栅单元的导通时段不重叠。另外，用于形成排出栅单元的栅极电极可被构造成与第一光电转换部的一部分重叠。

另外，在根据本发明的包括上述优选构造的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，排出栅单元可以被构造成包括串联地布置在第二光电转换部和第一光电转换部之间的两个栅单元。此时，优选地，在这两个栅单元之中，位于第一光电转换部这一侧处的栅单元包括设置成与第一光电转换部的一部分重叠的栅极电极。

可选地，在根据本发明的包括上述优选构造的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，单位像素均可被构造成包括放大晶体管、复位晶体管和第一切换栅单元，放大晶体管输出被电荷-电压转换部转换的电压，复位晶体管复位电荷-电压转换部，第一切换栅单元设置在第一传输栅单元和复位晶体管之间。另外，电荷-电压转换部可被构造成具有第一区域和第二区域，第一区域被第一传输栅单元、放大晶体管和第一切换栅单元包围，第二区域被第一切换栅单元、复位晶体管和第二传输栅单元包围。

另外，在根据本发明的包括上述优选构造的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，第一切换栅单元可被构造成在读取第一光电转换部的信号电荷时能够针对电荷-电压转换部切换高转换效率模式和低转换效率模式。另外，单位像素均可被构造成包括连接到第二区域的电容性元件。

可选地，在根据本发明的包括上述优选构造的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，单位像素均可被构造成包括放大晶体管、复位晶体管和第二切换栅单元，放大晶体管输出被电荷-电压转换部转换的电压，复位晶体管复位电荷-电压转换部，第二切换栅单元设置在第二传输栅单元和复位晶体管之间。另外，电荷-电压转换部可被构造成具有第一区域和第二区域，第一区域被第一传输栅单元、放大晶体管和第二切换栅单元包围，第二区域位于第二传输栅单元和第二切换栅单元之间。另外，单位像素均可被构造成包括连接到第二区域的电容性元件。

可选地，在根据本发明的包括上述优选构造的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，单位像素均可被构造成包括放大晶体管、复位晶体管、第一切换栅单元和第二切换栅单元，放大晶体管输出被电荷-电压转换部转换的电压，复位晶体管复位电荷-电压转换部，第一切换栅单元设置在第一传输栅单元和复位晶体管之间，第二切换栅单元设置在第二传输栅单元和复位晶体管之间。另外，电荷-电压转换部可被构造成具有第一区域、第二区域和第三区域，第一区域被第一传输栅单元、放大晶体管和第一切换栅单元包围，第二区域被第一切换栅单元、第二切换栅单元和复位晶体管包围，第三区域位于第二传输栅单元和第二切换栅单元之间。另外，单位像素均可被构造成包括连接到第三区域的电容性元件。

可选地，在根据本发明的包括上述优选构造的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，多个光电转换部均可被构造成包括第一光电转换部和第二光电转换部。另外，单位像素均可被构造成包括电荷蓄积单元、第一传输栅单元、第二传输栅单元、第三传输栅单元、第四传输栅单元、排出栅单元、曝光时间段控制部和电荷量评估部。第一传输栅单元将被第一光电转换部光电转换的电荷传输到电荷-电压转换部。第二传输栅单元和第三传输栅单元均耦合电荷蓄积单元和电荷-电压转换部的电位。第四传输栅单元将被第二光电转换部光电转换的电荷传输到电荷蓄积单元。排出栅单元将被第二光电转换部光电转换的电荷排出。曝光时间段控制部通过控制第四传输栅单元和排出栅单元的导通/非导通来控制第二光电转换部中的曝光操作的曝光时间段。电荷量评估部在第二光电转换部中的一次曝光操作的时段中的某个点处评估蓄积在电荷蓄积单元中的电荷量。此时，优选的是，在第四传输栅单元的栅极电极的下部上形成溢出路径，溢出路径将从第二光电转换部溢出的电荷传输到电荷蓄积单元。另外，曝光时间段控制部可以被构造成根据电荷量评估部的评估结果来控制第二光电转换部中的所述一次曝光操作中的在电荷量评估部的评估之后的曝光时间段。

根据本发明的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备可被构造成包括：像素阵列单元，像素阵列单元包括多个单位像素，单位像素均包括光电转换部；驱动单元，其针对光电转换部的信号电荷的蓄积执行间歇驱动；以及控制系统，其基于从光电转换部获得的信号电平来控制光电转换部的曝光时间段。

另外，在根据本发明的包括上述优选构造的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备中，控制系统可被构造成包括被摄体亮度评估部和曝光时间段控制部。被摄体亮度评估部基于从光电转换部获得的信号电平来评估被摄体的亮度。曝光时间段控制部通过控制脉冲信号的脉冲宽度来控制曝光时间段，脉冲信号针对光电转换部的信号电荷的蓄积执行间歇驱动。

根据本发明的固态摄像器件、用于驱动固态摄像器件的方法以及电子设备可被构造成包括像素阵列单元，像素阵列单元包括单位像素，单位像素均包括光电转换部。另外，单位像素均可被构造成包括电荷蓄积单元、传输栅单元、排出栅单元、曝光时间段控制部和电荷量评估部。传输栅单元将被光电转换部光电转换的电荷传输到电荷蓄积单元。排出栅单元将被光电转换部光电转换的电荷排出。曝光时间段控制部通过控制传输栅单元和排出栅单元的导通/非导通来控制光电转换部中的曝光操作的曝光时间段。电荷量评估部在光电转换部中的一次曝光操作时段的某个点处评估蓄积在电荷蓄积单元中的电荷量。另外，曝光时间段控制部可以被构造成根据电荷量评估部的评估结果来控制光电转换部中的所述一次曝光操作中的在电荷量评估部的评估之后的曝光时间段。

<本发明的固态摄像器件>

[基本系统构造]

图1是示意地示出本发明的固态摄像器件的构造的系统构造图，该固态摄像器件例如为一种x-y寻址型固态摄像器件的类型的cmos图像传感器。注意，cmos图像传感器是通过应用或部分地使用cmos工艺制成的图像传感器。

根据本应用例的cmos图像传感器10包括：形成半导体基板(半导体芯片)(未示出)上的像素阵列单元11；以及集成在与形成有像素阵列单元11的半导体基板相同的半导体基板上的外围电路单元。外围电路单元包括例如垂直驱动单元12、列处理单元13、水平驱动单元14和系统控制单元15。

cmos图像传感器10进一步包括信号处理单元18和数据蓄积单元19。信号处理单元18和数据蓄积单元19可安装在与cmos图像传感器10的基板相同的基板上，或者可布置在与cmos图像传感器10的基板不同的基板上。另外，可通过外部信号处理单元来执行信号处理单元18和数据蓄积单元19的处理，该外部信号处理单元例如为设置在与cmos图像传感器10的基板不同的基板上的数字信号处理器(dsp：digitalsignalprocessor)电路或者为软件。

在像素阵列单元11的构造中，单位像素(以下，在某些情况下简称为“像素”)20在行方向和列方向上二维地布置，即布置成矩阵形式，其中，单位像素均包括光电转换部，光电转换部通过执行光电转换来生成和蓄积对应于受光量的光电荷。注意，行方向表示像素行中的像素的布置方向(即，水平方向)，且列方向表示像素列中的像素的布置方向(即，垂直方向)。稍后将说明单位像素20的具体电路构造和像素结构的细节。

在像素阵列单元11中，对于矩阵形式的像素布置，像素驱动线16(161至16m)沿着每个像素行的行方向布线，且垂直信号线17(171至17n)沿着每个像素列的列方向布线。在从像素读取信号时，像素驱动线16传送稍后将说明的驱动信号以执行驱动。虽然图1将像素驱动线16示出为一条配线，但是像素驱动线16不限于一条配线。像素驱动线16的一端连接到垂直驱动单元12的对应于每行的输出端。

例如，垂直驱动单元12包括移位寄存器、地址解码器等，并且同时或逐行地驱动像素阵列单元11的像素。也就是说，垂直驱动单元12与控制垂直驱动单元12的系统控制单元15一起构成用于驱动像素阵列单元11的每个像素的驱动单元。尽管省略了垂直驱动单元12的具体构造的图示，但是垂直驱动单元12通常包括读取扫描系统和清除扫描(sweepscanning)系统这两个扫描系统。

为了从单位像素20读取信号，读取扫描系统逐行地、顺序地选择并扫描像素阵列单元11的单位像素20。从单位像素20中读取的信号为模拟信号。在以对应于快门速度的时间早于读取扫描的时间处，清除扫描系统对将被读取扫描系统执行读取扫描的读取行执行清除扫描。

通过由清除扫描系统执行的清除扫描，从读取行中的单位像素20的光电转换部清除不必要的电荷，从而复位光电转换部。然后，通过清除扫描系统(通过复位)清除不必要的电荷，执行所谓的电子快门操作。注意，电子快门操作表示丢弃光电转换部的光电荷以开始新的曝光(开始蓄积光电荷)的操作。

由读取扫描系统的读取操作读取的信号对应于在先前的读取操作或电子快门操作之后接收到的光量。然后，从先前的读取操作的读取时刻或电子快门操作的清除时刻到当前的读取操作的读取时刻的时段为单位像素中的光电荷的曝光时段。

从被垂直驱动单元12选择和扫描的像素行中的单位像素20输出的信号通过每个像素列的对应垂直信号线17输入到列处理单元13。针对像素阵列单元11的像素列，列处理单元13对通过垂直信号线17从选定行的像素20中输出的信号执行预定信号处理，并且在信号处理之后临时保持像素信号。

具体地，作为信号处理，列处理单元13至少执行例如噪声去除处理、相关双采样(cds：correlateddoublesampling)处理和双倍数据采样(dds：doubledatasampling)处理。例如，通过cds处理，去除诸如像素20中的复位噪声和放大晶体管的阈值的变化之类的像素特有的固定模式噪声。也可以通过使列处理单元13具有例如除噪声去除处理功能之外的模数(ad：analog-digital)转换功能以将模拟像素信号转换为数字信号并输出该数字信号。

水平驱动单元14包括移位寄存器、地址解码器等，并顺序地选择对应于列处理单元13的像素列的单位电路。通过水平驱动单元14的选择性扫描，顺序地输出每个单位电路的在列处理单元13中被信号处理的像素信号。

系统控制单元15包括用于产生各种时序信号等的时序发生器，并且基于由时序发生器产生的各种时序来对垂直驱动单元12、列处理单元13、水平驱动单元14等执行驱动控制。

信号处理单元18至少具有运算处理功能，并且对从列处理单元13输出的像素信号执行诸如运算处理等各种信号处理。数据蓄积单元19临时蓄积由信号处理单元18执行的信号处理所需的数据。

在具有上述构造的cmos图像传感器10中，本发明的特征在于单位像素20的电路结构和单位像素20的驱动单元，特别是垂直驱动单元12的驱动时序。稍后将说明单位像素20的电路构造和垂直驱动单元12的驱动时序的具体实施例。

[另一系统构造]

本发明的cmos图像传感器10不限于具有上述系统构造者。另一系统构造的示例包括以下系统构造。

例如，如图2所示，可提出具有如下系统构造的cmos图像传感器10a，其中，数据蓄积单元19布置在列处理单元13的后级处，且经由数据蓄积单元19将从列处理单元13输出的像素信号提供给信号处理单元18

另外，如图3所示，可提出具有如下系统构造的cmos图像传感器10b，其中，列处理单元13具有对像素阵列单元11的每列或多列执行ad转换的ad转换功能，并且数据蓄积单元19和信号处理单元18相对于列处理单元13并行地设置。

<噪声去除处理的说明>

在上述cmos图像传感器10(10a、10b)中，按照低灵敏度数据信号sl、低灵敏度复位信号nl、高灵敏度复位信号nh和高灵敏度数据信号sh的次序将这些信号从单位像素20输出到垂直信号线17。可选地，按照高灵敏度复位信号nh、高灵敏度数据信号sh、低灵敏度数据信号sl和低灵敏度复位信号nl的次序将这些信号从单位像素20输出到垂直信号线17。

然后，在后级的信号处理单元中，例如，在图1至图3所示的列处理单元13和信号处理单元18中，对低灵敏度数据信号sl、低灵敏度复位信号nl、高灵敏度复位信号nh和高灵敏度数据信号sh执行预定的噪声去除处理和信号处理。将在稍后进行说明的实施例中对输出低灵敏度数据信号sl、低灵敏度复位信号nl、高灵敏度复位信号nh和高灵敏度数据信号sh的单位像素20的具体构造进行详细说明。

在下文中，以按照低灵敏度数据信号sl、低灵敏度复位信号nl、高灵敏度复位信号nh和高灵敏度数据信号sh的次序将这些信号输出到垂直信号线17的情况为例，对列处理单元13中的噪声去除处理和信号处理单元18中的运算处理进行说明。

[噪声去除处理的处理示例1]

首先，列处理单元13通过获得低灵敏度数据信号sl和低灵敏度复位信号nl之间的差来生成低灵敏度差分信号snl。因此，低灵敏度差分信号snl＝低灵敏度数据信号sl-低灵敏度复位信号nl。接着，列处理单元13通过获得高灵敏度数据信号sh和高灵敏度复位信号nh之间的差来生成高灵敏度差分信号snh。因此，高灵敏度差分信号snh＝高灵敏度数据信号sh-高灵敏度复位信号nh。

如上所述，在处理示例1中，对低灵敏度信号sl和nl执行dds处理，通过该处理，去除像素特有的固定模式噪声(例如，像素20中的放大晶体管的阈值的变化)而不去除复位噪声。对高灵敏度信号sh和nh执行cds处理，通过该处理，去除像素特有的固定模式噪声(诸如像素20中的复位噪声和放大晶体管的阈值的变化等)。另外，在处理示例1中，由于其是不需要使用帧存储器的运算处理，因此优点在于可以简化电路构造并降低成本。

[噪声去除处理的处理示例2]

在噪声去除处理的处理示例2中，为使用先前帧的信息，需要存储装置(例如，帧存储器)。因此，例如通过使用作为信号处理单元18中的存储装置的数据蓄积单元19或者通过使用外部dsp电路中的帧存储器来执行处理示例2的运算处理。

具体地，首先，列处理单元13通过获得先前帧中的低灵敏度数据信号sl和低灵敏度复位信号nl之间的差来生成低灵敏度差分信号snl。因此，低灵敏度差分信号snl＝低灵敏度数据信号sl-低灵敏度复位信号nl。接着，列处理单元13通过获得高灵敏度数据信号sh和高灵敏度复位信号nh之间的差来生成高灵敏度差分信号snh。因此，高灵敏度差分信号snh＝高灵敏度数据信号sh-高灵敏度复位信号nh。

如上所述，在噪声去除处理的处理示例2中，也对低灵敏度信sl和nl执行cds处理，通过该处理，去除像素特有的固定模式噪声(诸如像素20中的复位噪声和放大晶体管的阈值的变化)。因此，根据处理示例2，虽然需要诸如帧存储器等存储装置，但是与处理示例1相比优点在于可显著降低复位噪声。

<本发明的固态摄像器件的使用示例>

下面，将说明本发明的cmos图像传感器的使用示例。图4是示出本发明的上述构造的cmos图像传感器的使用示例的示图。

例如，上述cmos图像传感器10(10a、10b)可以用在下面的感测诸如可见光、红外光、紫外光和x射线等光的各种设备中。

·拍摄鉴赏用图像的装置，例如，数码相机、配备有相机的移动装置。

·交通领域用装置，例如，为了包括自动停车在内的安全驾驶、驾驶员状况的识别等，用于拍摄车辆的前方、后方、周围、内部等车载传感器，用于监测行驶车辆和道路的监视相机，以及用于测量车辆之间的距离的距离测量传感器。

·家电领域用装置，例如，拍摄使用者的手势以根据手势执行设备操作的电视接收机、冰箱和空调。

·医疗保健领域用装置，例如，内窥镜和通过接收红外光来拍摄血管的装置。

·安全领域用装置，例如，防犯罪监视用相机和身份认证用相机。

·美容领域用装置，例如，用于拍摄皮肤的皮肤测定仪和用于拍摄头皮的显微镜。

·运动领域用装置，例如，用于运动目的的动作相机和可穿戴相机。

·农业领域用装置，例如，用于监测农田和作物的状况的相机。

<第一实施例>

第一实施例涉及固态摄像器件及其驱动方法，且更具体地涉及单位像素20的电路构造和垂直驱动单元12的驱动时序的基本形式。将参照图5至图9说明根据本发明的第一实施例的固态摄像器件及其驱动方法。图5示出根据第一实施例的单位像素20的电路构造，并且图6示出根据第一实施例的单位像素20的平面布局。

[单位像素的电路构造]

根据第一实施例的单位像素20包括例如作为多个光电转换部的第一光电二极管pd1和第二光电二极管pd2这两个光电二极管。除第一光电二极管pd1和第二光电二极管pd2之外，单位像素20还包括传输晶体管(传输栅单元)21、传输晶体管22、快门(shutter)晶体管(排出栅单元)23、复位晶体管24、放大晶体管25和选择晶体管26。

注意，对于传输晶体管21、传输晶体管22、快门晶体管23、复位晶体管24、放大晶体管25和选择晶体管26这六个晶体管，例如，这里可使用n型mosfet。然而，这里例示的六个晶体管21至26的导电类型的组合仅是示例，而不限于此。这同样适用于稍后将说明各实施例。

对于单位像素20，作为上述像素驱动线16(161至16m)的多个像素驱动线共同连接到同一像素行中的每个像素。多个像素驱动线以像素行为单位连接到垂直驱动单元12的与各像素行对应的输出端。垂直驱动单元12将传输信号tg1、传输信号tg2、快门信号shg、复位信号rst和选择信号sel适当地输出到多个像素驱动线。

第一光电二极管pd1和第二光电二极管pd2的阳极电极连接到低电位侧电源vss(例如，地)，并且第一光电二极管pd1和第二光电二极管pd2将接收的光光电转换成具有对应于光量的电荷量的光电荷(这里是光电子)，并蓄积光电荷。第一光电二极管pd1的阴极电极经由传输晶体管21电连接到放大晶体管25的栅极电极。同样地，第二光电二极管pd2的阴极电极经由传输晶体管22电连接到放大晶体管25的栅极电极。

注意，与放大晶体管25的栅极电极电连接的区域为浮动扩散部(浮动扩散区域/杂质扩散区域)fd。浮动扩散部fd是将电荷转换为电压的电荷-电压转换部。

高电平(例如，vdd电平)有效的传输信号tg1被从垂直驱动单元12提供给传输晶体管21的栅极电极21g。传输晶体管21响应于传输信号tg1而导通，从而将由第一光电二极管pd1光电转换并蓄积在光电二极管pd1中的光电荷传输到浮动扩散部fd。高电平有效的传输信号tg2被从垂直驱动单元12提供给传输晶体管22的栅极电极22g。传输晶体管22响应于传输信号tg2而导通，从而将由第二光电二极管pd2光电转换并蓄积在光电二极管pd2中的光电荷传输到浮动扩散部fd。

快门晶体管23连接在第二光电二极管pd2的阴极电极和高电位侧电源vdd之间。高电平有效的快门信号shg被从垂直驱动单元12提供到快门晶体管23的栅极电极23g。快门晶体管23响应于快门信号shg而导通，从而例如将蓄积在第二光电二极管pd2中的电荷排出(丢弃)到高电位侧电源vdd。也就是说，在本实施例中，高电位侧电源vdd为第二光电二极管pd2的电荷的排出单元。

复位晶体管24连接在高电位侧电源vdd和浮动扩散部fd之间。高电平有效的复位信号rst被从垂直驱动单元12提供到复位晶体管24的栅极电极24g。复位晶体管24响应于复位信号rst而导通，并将浮动扩散部fd的电荷丢弃到电压vdd的节点，从而复位浮动扩散部fd。

放大晶体管25的栅极电极25g和漏极电极分别连接到浮动扩散部fd和高电位侧电源vdd。放大晶体管25是源极跟随器的输入单元，该源极跟随器读取由第一光电二极管pd1或第二光电二极管pd2通过光电转换而获得的信号。也就是说，放大晶体管25的源极电极经由选择晶体管26连接到垂直信号线17。然后，放大晶体管25和与垂直信号线17的一端连接的电流源31构成将浮动扩散部fd的电压转换成垂直信号线17的电位的源极跟随器。

例如，选择晶体管26的漏极电极和源极电极分别连接到放大晶体管25的源极电极和垂直信号线17。高电平有效的选择信号sel被从垂直驱动单元12提供到选择晶体管26的栅极电极26g。选择晶体管26响应于选择信号sel而导通，从而在单位像素20处于选定状态时将从放大晶体管25输出的信号发送到垂直信号线17。

注意，可采用将选择晶体管26连接在高电位侧电源vdd和放大晶体管25的漏极电极之间的电路构造。另外，在该示例中，作为单位像素20的像素电路，将包括传输晶体管21、传输晶体管22、快门晶体管23、复位晶体管24、放大晶体管25和选择晶体管26的6tr构造(即，六个晶体管(tr))作为示例，但并不一定需要采用6tr构造。例如，可以采用省略选择晶体管26并且使放大晶体管25具有选择晶体管26的功能的5tr构造，或者采用适当地增加晶体管数量的构造。这同样适用于稍后将说明各实施例。

[单位像素的电路操作]

下面，将使用图7的时序波形图对根据第一实施例的具有上述构造的单位像素20的电路操作进行说明。图7示出从垂直驱动单元12输出的选择信号sel、复位信号rst、传输信号tg1、传输信号tg2和快门信号shg的波形。

在时刻t11处使复位信号rst有效(处于高电平状态)，以使复位晶体管24导通，并且在复位信号rst有效时，在时刻t12处使传输信号tg1和传输信号tg2有效。这使得传输晶体管21和传输晶体管22导通，从而复位第一光电二极管pd1和第二光电二极管pd2。毫无疑问，使复位信号rst有效，以使复位晶体管24导通，由此也复位浮动扩散部fd。

在复位信号rst为有效时的时段中，在时刻t13处使传输信号tg1无效(处于低电平状态)，以使传输晶体管21不导通，从而开始在第一光电二极管pd1中蓄积被光电二极管pd1光电转换的信号电荷(开始曝光)。另外，在第二光电二极管pd2中，在时刻t13处使传输信号tg2无效，以使传输晶体管22不导通，从而在光电二极管pd2中开始蓄积被光电转换的信号电荷。

接着，当在时刻t14处使复位信号rst无效以使复位晶体管24不导通之后，使快门信号shg和传输信号tg2的有效状态和无效状态交替地重复。由于在快门信号shg有效时使快门晶体管23导通，所以蓄积在第二光电二极管pd2中的信号电荷被排出到高电位侧电源vdd。另外，由于在传输信号tg2有效时使传输晶体管23导通，所以蓄积在第二光电二极管pd2中的信号电荷被传输到浮动扩散部fd。

在时刻t14之后的曝光时段中交替地重复该操作的情况下，被第二光电二极管pd2光电转换的信号电荷之中的仅如下的信号电荷被传输到浮动扩散部fd，这些信号电荷是仅在传输信号tg2为有效时的且不包括在快门信号shg为有效时的时段的时段内生成的信号。然后，将从第二光电二极管pd2传输的信号电荷蓄积和保持在浮动扩散部fd中。也就是说，在时刻t14之后的曝光时段中，针对第二光电二极管pd2的信号电荷的蓄积，执行由快门信号shg和传输信号tg2的脉冲信号实现的间歇驱动(以下，在某些情况下简称为“间歇驱动”)。

根据浮动扩散部fd中蓄积的第二光电二极管pd2的信号来执行被浮动扩散部fd电荷-电压转换的信号的读取。

具体地，在时刻t15处使选择信号sel有效，以使选择晶体管26导通，从而使单位像素20处于选定状态。因此，蓄积在浮动扩散部fd中的第二光电二极管pd2的信号经由放大晶体管25和选择晶体管26被读取到垂直信号线17。此时读取的第二光电二极管pd2的信号为上述低灵敏度数据(d相)信号sl。

此后，在选择信号sel为有效时的时段中，即在单位像素20被选定时的时段中，在时刻t16处使复位信号rst有效，以使复位晶体管24导通，从而复位浮动扩散部fd。接着，当在时刻t17处使复位信号rst无效之后，将浮动扩散部fd的电平读取到垂直信号线17。此时读取的信号是上述低灵敏度复位(p相)信号nl。此时的低灵敏度复位(p相)信号nl也是下一个第一光电二极管pd1的上述高灵敏度复位(p相)信号nh。

接着，在选择信号sel为有效时的时段内，在时刻t18处使传输信号tg1有效，从而将第一光电二极管pd1中曝光/蓄积的信号电荷传输到浮动扩散部fd。然后，将浮动扩散部fd的基于从第一光电二极管pd1传输的信号电荷的电平经由放大晶体管25和选择晶体管26读取到垂直信号线17。此时读取的第一光电二极管pd1的信号是上述高灵敏度数据(d相)信号sh。

将使用图8a的时序波形图更详细地说明基于快门信号shg和传输信号tg2的上述脉冲信号针对第二光电二极管pd2的信号电荷的蓄积执行间歇驱动时的电路操作。该间歇驱动是通过如下方式实现的：在曝光时段中以相同频率交替地操作传输晶体管22和快门晶体管23，使得导通时段不重叠。

图8a的时序波形图示出分别以有效时间段t11和t12交替地驱动快门信号shg和传输信号tg2的状态。因此，仅将在等于整个曝光时段×t11/(t11+t12)的时段内被光电转换的信号经由传输晶体管22传输到浮动扩散部fd。也就是说，可将灵敏度有效地降低至t11/(t11+t12)。通过改变时间段t11和t12，可以任意调节灵敏度。

顺便提及地，虽然即使在单次短的快门的情况下也可以通过快门时间来实现灵敏度的降低，但是在led照明下成像的情况下会出现诸如led闪烁等的问题。led并不总是点亮，并且以特定频率闪烁。因此，在短的快门的情况下，当曝光时序与led闪烁的关闭时序重叠时，拍摄到led消失的像素。这就是led闪烁。因此，从led闪烁等的角度来看，一次短的快门是不利的。

注意，尽管快门信号shg和传输信号tg2仅在基于图8a示出的驱动时序的操作中进行操作，但是该操作不限于此。也就是说，只要存在能够完全传输信号电荷的脉冲宽度，就可以使用基于图8b所示的驱动时序的操作。具体地，从快门信号shg和传输信号tg2中之一者的脉冲信号的下降沿到另一者的脉冲信号的下降沿的时段是时间段t11、t12，并因此可以获得与基于图8a所示的驱动时序的操作的情况相同的效果。

[扩展动态范围的方法]

下面，将参照图9来说明通过使用由根据第一实施例的单位像素20中的上述电路操作读取的信号电荷来扩展动态范围的方法。

在图9中，水平轴表示入射光量，且垂直轴表示输出(电子数)。假设第一光电二极管pd1的每单位时间的灵敏度为α，并且第二光电二极管pd2的每单位时间的灵敏度为β。第一光电二极管pd1的输出以关于光量的灵敏度α的斜率增加，并且在达到第一光电二极管pd1的饱和水平时收敛。同时，第二光电二极管pd2的输出以关于光量的β×{t11/(t11+t12)}的斜率增加，并且在作为传输晶体管22的传输目的地的浮动扩散部fd饱和时收敛。

虽然在图9中说明了浮动扩散部fd的饱和水平大于第一光电二极管pd1的饱和水平，但即使在二者基本相同或浮动扩散部fd的饱和水平较小的情况下也是如此。然而，随着浮动扩散部fd的饱和水平增加，扩大动态范围的效果更大。

以这种方式，第二光电二极管pd2的信号的增益以与第一光电二极管pd1和第二光电二极管pd2的灵敏度比率相对应的量增加，并获得具有与第一光电二极管pd1的斜率(灵敏度)相同的斜率(灵敏度)的输出。然后，通过针对第一光电二极管pd1饱和之前的光量使用第一光电二极管pd1的信号并针对高于该光量的光量使用第二光电二极管pd2的具有增加的增益的信号，可以增加动态范围。

注意，在整个区域中使用第二光电二极管pd2的具有增加的增益的输出是不适用的。这是因为假设第二光电二极管pd2保持在浮动扩散部fd中，因此第二光电二极管pd2的噪声分量大于第一光电二极管pd1中的噪声分量。因此，在输出小的区域中，噪声对输出的影响变大。

如上所述，在根据第一实施例的固态摄像器件及其驱动方法中，针对第二光电二极管pd2的信号电荷的蓄积，在曝光时段中通过快门信号shg和传输信号tg2的脉冲信号执行间歇驱动。注意，对于第一光电二极管pd1的信号电荷的蓄积，由于第一光电二极管pd1的灵敏度被设定为较高，所以在整个曝光时段(占空比为100％)中执行信号电荷的蓄积。通过针对第二光电二极管pd2的信号电荷的蓄积执行间歇驱动，可以控制第一光电二极管pd1和第二光电二极管pd2的灵敏度比率。

然后，通过以可被任意控制的灵敏度比率拍摄多个图像，可以如上所述地扩展动态范围。另外，由于可以通过针对第二光电二极管pd2的信号电荷的蓄积执行间歇驱动来任意地控制第一光电二极管pd1和第二光电二极管pd2的灵敏度比率，因此与物理地提供灵敏度差的情况相比，可以自由地改变动态范围。

另外，由于可以通过针对信号电荷的蓄积执行间歇驱动来控制第一光电二极管pd1和第二光电二极管pd2的灵敏度差，因此，第一光电二极管pd1和第二光电二极管pd2之间的尺寸关系不再紧要。也就是说，可以使用如图10a所示的第一光电二极管pd1的尺寸与第二光电二极管pd2的尺寸相同的结构，或者使用如图10b所示的第二光电二极管pd2大于第一光电二极管pd1的结构。如上所述，由于第一光电二极管pd1和第二光电二极管pd2之间的尺寸关系不再紧要，因此可以增加单位像素20的布局自由度。

<第二实施例>

虽然在第一实施例中，第二光电二极管pd2的电荷的排出目的地是高电位侧电源vdd，但是在第二实施例中，该排出目的地是第一光电二极管pd1。将参照图11至13来说明根据本发明的第二实施例的固态摄像器件及其驱动方法。图11是示出根据第二实施例的单位像素20的电路构造的电路图。

[单位像素的电路构造]

根据第二实施例的单位像素20的组成元件与根据第一实施例的单位像素20的组成元件相同。也就是说，除第一光电二极管pd1和第二光电二极管pd2之外，根据第二实施例的单位像素20还包括传输晶体管21、传输晶体管22、快门晶体管23、复位晶体管24、放大晶体管25和选择晶体管26。

接着，快门晶体管23连接在第一光电二极管pd1的阴极电极和第二光电二极管pd2的阴极电极之间。也就是说，第二光电二极管pd2的信号电荷不被排出到高电位侧电源vdd，而是被排出到第一光电二极管pd1，并且相加至光电二极管pd1的信号电荷。

图12是根据第二实施例的单位像素20的动态范围的扩展的说明图。如图12所示，通过将第二光电二极管pd2的信号电荷相加到第一光电二极管pd1的信号电荷，第一光电二极管pd1的灵敏度变得比第一实施例中的灵敏度大，即灵敏度为α+β×{t12/(t11+t12)}。因此，由于可以提供第一光电二极管pd1和第二光电二极管pd2之间的灵敏度差，因此可以进一步扩大动态范围。

[单位像素的电路操作]

下面，将使用图13的电位图来说明根据第二实施例的具有上述构造的单位像素20的电路操作。

在图13的最上部中示出了传输晶体管22、第二光电二极管pd2、快门晶体管23、第一光电二极管pd1和传输晶体管21的剖面构造。另外，在状态1、状态2和状态3下，示出了上述剖面在每个操作时的电位。注意，尽管为简单起见，在图13中的每个操作状态下，未示出在第一光电二极管pd1中生成的信号电荷，但是在实际操作中，以与在第二光电二极管pd2中生成信号电荷相同的方式在第一光电二极管pd1中生成信号。

如图12所示，快门晶体管23设置在第一光电二极管pd1和第二光电二极管pd2之间。在这种情况下，第一光电二极管pd1的电位被设定为比第二光电二极管pd2的电位更深(状态1)。

在这种电位关系下，通过快门信号shg和传输信号tg2的脉冲信号针对第二光电二极管pd2的信号电荷的蓄积执行间歇驱动。在该间歇驱动中，由于在快门信号shg为有效时的时段中，快门晶体管23的栅极电极23g下方的电位变深，因此第二光电二极管pd2的信号电荷被传输到第一光电二极管pd1(状态2)。因此，如图12所示，获得提高第一光电二极管pd1的灵敏度的效果。

另外，在针对第二光电二极管pd2的信号电荷的蓄积的间歇驱动时，由于在传输信号tg2为有效时的时段中，传输晶体管22的栅极电极22g下方的电位变深，因此第二光电二极管pd2的信号电荷被传输到浮动扩散部fd(状态3)。

[第二实施例的变形例1]

图14是说明根据第二实施例的变形例1的单位像素20的电路操作的电位图。在图14的最上部中示出了传输晶体管22、第二光电二极管pd2、快门晶体管23、第一光电二极管pd1和传输晶体管21的剖面构造。

如图14所示，在第二实施例的变形例1中，在像素结构中，快门晶体管23的栅极电极23g延伸到第一光电二极管pd1的上方。也就是说，快门晶体管23的栅极电极23g被设置成与第一光电二极管pd1的一部分重叠。此时，第一光电二极管pd1与第二光电二极管pd2之间的电位关系基本相同(状态1)。可选地，第二光电二极管pd2可以比第一光电二极管pd1浅。

通过使用这种像素结构，在使快门信号shg有效并使快门晶体管23导通的情况下，快门晶体管23的栅极电极23g下方的电位与第一光电二极管pd1的电位一起变深(状态2)。因此，即使在第一光电二极管pd1和第二光电二极管pd2的电位基本相同的情况下，也可以将信号电荷从第二光电二极管pd2传输到第一光电二极管pd1。

[第二实施例的变形例2]

图15是说明根据第二实施例的变形例2的单位像素的电路构造的电路图。另外，图16是说明根据变形例2的单位像素20的电路操作的电位图。在图16的最上部中示出了传输晶体管22、第二光电二极管pd2、快门晶体管23、第一光电二极管pd1和传输晶体管21的剖面构造。

在第二实施例的变形例2中，快门晶体管23和快门晶体管27这两个晶体管作为像素结构中的排出栅单元串联地布置在第一光电二极管pd1和第二光电二极管pd2之间。在根据该变形例2的像素结构中，将根据变形例1的像素结构中的快门晶体管23分割为两个。具体地，如图16的最上部所示，在串联地布置的两个晶体管中，第一光电二极管pd1侧的快门晶体管27被设置成使得快门晶体管27的栅极电极27g与第一光电二极管pd1的一部分重叠。

下面，将参照图16的电位图来说明根据变形例2的像素结构的电路操作。在本示例中，第一光电二极管pd1与第二光电二极管pd2之间的电位关系被设定为基本相同(状态1)。在该状态下，以与上述快门信号shg相同的时序同时使用于驱动快门晶体管23的快门信号shg1和用于驱动快门晶体管27的快门信号shg2有效(状态2)。

另外，在使快门信号shg1和快门信号shg2无效的情况下，执行使快门信号shg1无效并然后使快门信号shg2无效的电路操作(状态3)。在传输信号tg2为有效时的时段中，由于传输晶体管22的栅极电极22g下方的电位变深，所以第二光电二极管pd2的信号电荷被传输到浮动扩散部fd(状态4)。

第二实施例的变形例2的特征在于作为状态3的电路操作，即使快门信号shg1无效并然后使快门信号shg2无效的电路操作。通过使用这种电路操作，可以使快门晶体管23首先在第二光电二极管pd2和第一光电二极管pd1之间不导通。因此，在操作快门晶体管23和快门晶体管27时，可以防止电荷从第一光电二极管pd1回流到第二光电二极管pd2。换言之，由于可以自由地设定第一光电二极管pd1与第二光电二极管pd2之间的电位关系，所以提高了设定电位关系的自由度。

<第三实施例>

在第三实施例中，fd切换晶体管281设置在第一光电二极管pd1侧的传输晶体管21和复位晶体管24之间，以作为根据第二实施例的单位像素20中的第一切换栅单元。图17示出根据第三实施例的单位像素20的电路构造。

[单位像素的电路构造]

如图17所示，将fd切换晶体管281设置在传输晶体管21和复位晶体管24之间等同于将与根据第二实施例的单位像素20中的浮动扩散部fd相对应的部分分割成两个部分。在两个分割部分中，被传输晶体管21、放大晶体管25和fd切换晶体管281包围的区域是浮动扩散部fd11，且被fd切换晶体管281、复位晶体管24和传输晶体管22包围的第二区域是浮动扩散部fd12。高电平有效的切换信号sw1被从垂直驱动单元12提供到fd切换晶体管281的栅极电极(参见图1)。

在用于驱动fd切换晶体管281的切换信号sw1的控制下，可以在读取第一光电二极管pd1的信号电荷时针对浮动扩散部fd切换高转换效率模式和低转换效率模式这2种模式。在高转换效率模式中，执行仅将浮动扩散部fd11用作电荷-电压转换部的操作。在低转换效率模式中，执行使fd切换晶体管281导通以将浮动扩散部fd11和浮动扩散部fd12用作电荷-电压转换部的操作。

利用根据第三实施例的单元像素20，可以通过设置在传输晶体管21和复位晶体管24之间的fd切换晶体管281来任意地切换高转换效率模式和低转换效率模式，以便执行操作。稍后将说明高转换效率模式和低转换效率模式中的操作细节。

另外，由于可以通过fd切换晶体管281将浮动扩散部fd12与浮动扩散部fd11分离，所以如图18所示，可以向浮动扩散部fd12添加电容性元件cap。电容性元件cap的示例包括金属氧化物半导体(mos：metaloxidesemiconductor)电容器和金属绝缘体金属(mim：metalinsulatormetal)电容器。

由于通过向浮动扩散部fd12添加电容性元件cap可以降低浮动扩散部fd12执行电荷/电压转换时的转换效率，并且可以增加能够保持的信号电荷量，所以可以进一步扩展动态范围。

注意，即使在fd切换晶体管281未设置在传输晶体管21和复位晶体管24之间的情况下，也可以添加电容性元件cap。然而，由于在读取第一光电二极管pd1的信号电荷时的转换效率降低，所以从扩展动态范围的观点来看，未设置fd切换晶体管281的构造是不利的。

[高转换效率模式中的电路操作]

将使用图19的时序波形图来说明根据第三实施例的单位像素20的高转换效率模式中的电路操作。在图19中，示出从垂直驱动单元12输出的选择信号sel、切换信号sw1、复位信号rst、传输信号tg1、传输信号tg2和快门信号shg的波形。

在开始曝光之前，在时刻t21处使切换信号sw1和复位信号rst有效，以复位第一光电二极管pd1、第二光电二极管pd2、浮动扩散部fd11和浮动扩散部fd12。此后，在时刻t22处使传输信号tg1和传输信号tg2有效。

在复位信号rst为有效时的时段中，在时刻t23处使传输信号tg1无效(处于低电平状态)，使得传输晶体管21不导通，从而开始在第一光电二极管pd1中蓄积被光电二极管pd1光电转换的信号电荷(开始曝光)。同样，在第二光电二极管pd2中，在时刻t23处使传输信号tg2无效，使得传输晶体管22不导通，从而在光电二极管pd2中开始蓄积被光电转换的信号电荷。

由于在时刻t23处的开始曝光之后的电路操作与第一实施例相同，所以省略其说明。注意，在图19的时序波形图中，虽然在曝光时段使切换信号sw1无效，但是该信号也可保持在有效状态下。

在曝光时段中，在通过快门信号shg和传输信号tg2针对第二光电二极管pd2的信号电荷的蓄积执行间歇驱动之后，在时刻t25处使选择信号sel有效，以使选择晶体管26导通，从而使单位像素20处于选定状态。

此后，在选择信号sel为有效时的时段中，即在单位像素20被选定时的时段中，在时刻t26处使切换信号sw1有效，以使fd切换晶体管281导通。然后，第二光电二极管pd2的d相(低灵敏度数据信号sl)通过fd切换晶体管281、放大晶体管25和选择晶体管26被读取到垂直信号线17。当在曝光时段中已使切换信号sw1有效的情况下，其有效状态继续保持。

接着，在时刻t27处使复位信号rst有效，以使复位晶体管24导通，从而复位浮动扩散部fd11和浮动扩散部fd12。然后，在时刻t28处使复位信号rst无效之后，浮动扩散部fd(fd11+fd12)的电平作为第二光电二极管pd2的p相(低灵敏度复位信号nl)被读取到垂直信号线17。

之后，通过在时刻t29处使切换信号sw1无效而使fd切换晶体管281不导通，浮动扩散部fd仅变为浮动扩散部fd11。在这种状态下，浮动扩散部fd11的电平作为第一光电二极管pd1的p相(低灵敏度复位信号nl)被读取到垂直信号线17。

接下来，在时刻t30处使传输信号tg1有效，以使传输晶体管21导通，从而将曝光/蓄积在第一光电二极管pd1中的信号电荷传输到浮动扩散部fd11。然后，浮动扩散部fd11的电平作为第一光电二极管pd1的d相(高灵敏度数据信号sh)被读取到垂直信号线17。此后，在时刻t31处使传输信号tg1无效。

[低转换效率模式中的电路操作]

下面，将使用图20的时序波形图来说明根据第三实施例的单位像素20的低转换效率模式中的电路操作。与图19相同，在图20中示出从垂直驱动单元12输出的选择信号sel、切换信号sw1、复位信号rst、传输信号tg1、传输信号tg2和快门信号shg。

在低转换效率模式的情况下，如图20的时序波形图所示，在使传输信号tg1无效的时刻t31之后的时刻t32处，使在选择信号sel为有效时的时段中的时刻t26处已经有效的切换信号sw1无效。因此，在浮动扩散部fd为fd11+fd12的状态下，第一光电二极管pd1的p相(低灵敏度复位信号nl)和d相(高灵敏度数据信号sh)被读取到垂直信号线17。

注意，尽管上面基于根据第二实施例的单元像素20的电路构造来说明根据第三实施例的单元像素20的电路构造，但是利用将fd切换晶体管281添加到根据第一实施例的单位像素20的电路构造的电路构造，也可以获得同样的作用和效果。

<第四实施例>

第四实施例为第三实施例的变形例。在第三实施例中，fd选择开关281设置在第一光电二极管pd1侧的传输晶体管21和复位晶体管24之间，以作为第一切换栅单元。另一方面，在第四实施例中，fd选择开关282设置在第一光电二极管pd2侧的传输晶体管22和复位晶体管24之间，以作为第二切换栅单元。图21示出根据第四实施例的单位像素20的电路构造。

[单位像素的电路构造]

如图21所示，将fd切换晶体管282设置在传输晶体管22和复位晶体管24之间等同于将与根据第二实施例的单位像素20中的浮动扩散部fd相对应的部分分割成2部分。在两个分割部分中，被传输晶体管21、放大晶体管25和fd切换晶体管282包围的第一区域是浮动扩散部fd21，且位于传输晶体管22和fd切换晶体管282之间的第二区域是浮动扩散部fd22。高电平有效的切换信号sw2被从垂直驱动单元12提供到fd切换晶体管282的栅极电极(参见图1)。

利用根据第四实施例的单位像素20，通过将fd切换晶体管282设置在传输晶体管22和复位晶体管24之间，可以以先于第二光电二极管pd2的信号的方式读取第一光电二极管pd1的信号。

另外，由于可以通过fd切换晶体管282将浮动扩散部fd22与浮动扩散部fd21分离，所以如图22所示，可以向浮动扩散部fd22添加电容性元件cap。因此，由于可以降低浮动扩散部fd22的转换效率，并且可以增加可保持的信号电荷量，所以可以进一步扩展动态范围。

注意，即使在fd切换晶体管282未被设置在传输晶体管22和复位晶体管24之间的情况下，也可以添加电容性元件cap。然而，同样由于在读取第一光电二极管pd1的信号电荷时的转换效率降低，所以从扩展动态范围的观点来看，未设置fd切换晶体管282的构造是不利的。

[单位像素的电路操作]

将使用图23的时序波形图来说明根据第四实施例的具有上述构造的单位像素20中的电路操作。在图23中，示出从垂直驱动单元12输出的选择信号sel、切换信号sw2、复位信号rst、传输信号tg1、传输信号tg2和快门信号shg的波形。

在第四实施例的情况下的电路操作为如下模式下的操作，该模式以先于第二光电二极管pd2的信号的方式读取第一光电二极管pd1的信号。下面将具体说明该模式中的操作。

在开始曝光之前，在时刻t41处使切换信号sw2和复位信号rst有效，以复位第一光电二极管pd1、第二光电二极管pd2、浮动扩散部fd21和浮动扩散部fd22。此后，在时刻t42处使传输信号tg1和传输信号tg2有效。

接着，在复位信号rst为有效时的时段中，在时刻t43处使传输信号tg1无效，使得传输晶体管21不导通，从而开始在第一光电二极管pd1中蓄积被光电二极管pd1光电转换的信号电荷(开始曝光)。同样，在第二光电二极管pd2中，在时刻t43处使传输信号tg2无效，以使传输晶体管22不导通，从而开始在光电二极管pd2中蓄积被光电转换的信号电荷。

由于在时刻t43处的开始曝光之后的电路操作与第一实施例相同，所以省略其说明。在图23的示例中，在曝光时段中，使切换信号sw2无效。

当在曝光时段中通过快门信号shg和传输信号tg2针对第二光电二极管pd2的信号电荷的蓄积执行间歇驱动之后，在时刻t45处使选择信号sel有效，以使选择晶体管26导通，从而使单位像素20处于选定状态。

此后，在选择信号sel为有效时的时段中，即在单位像素20被选定时的时段中，在时刻t46处使复位信号rst有效，以使复位晶体管24导通，从而复位浮动扩散部fd21。然后，当在时刻t47处使复位信号rst无效之后，浮动扩散部fd21的电平作为第一光电二极管pd1的p相(高灵敏度复位信号nh)被读取到垂直信号线17。

接下来，在时刻t48处使传输信号tg1有效，以使传输晶体管21导通，从而将曝光/蓄积在第一光电二极管pd1中的信号电荷传输到浮动扩散部fd21。然后，浮动扩散部fd21的电平作为第一光电二极管pd1的d相(高灵敏度数据信号sh)被读取到垂直信号线17。

接着，在时刻t50处使复位信号rst有效，以使复位晶体管24导通，从而复位浮动扩散部fd21。然后，在时刻t51处使复位信号rst无效。此后，在时刻t52处使切换信号sw2有效，以使fd切换晶体管282导通。

由于使fd切换晶体管282导通，所以蓄积在浮动扩散部fd22中的第二光电二极管pd2的信号电荷被保持在浮动扩散部fd(fd21+fd22)中。然后，该保持状态下的浮动扩散部fd的电平作为第二光电二极管pd2的d相(低灵敏度数据信号sl)被读取到垂直信号线17。

接下来，在切换信号sw2为有效时的时段中，在时刻t53处使复位信号rst有效，以使复位晶体管24导通，从而复位浮动扩散部fd22。然后，当在时刻t54处使复位信号rst无效之后，浮动扩散部fd22的电平作为第二光电二极管pd2的p相(低灵敏度复位信号nl)被读取到垂直信号线17。此后，在时刻t55处使切换信号sw2无效。

注意，尽管上面基于根据第二实施例的单元像素20的电路构造来说明根据第四实施例的单元像素20的电路构造，但是即使利用将fd切换晶体管282添加到根据第一实施例的单位像素20的电路构造的电路构造，也可以获得同样的作用和效果。

另外，与第三实施例中的fd切换晶体管281相同，第四实施例中的fd切换晶体管282可以用作第一光电二极管pd1的低转换效率模式。然而，在这种情况下，信号读取的次序限于第二光电二极管pd2→第一光电二极管pd1的次序。

<第五实施例>

第五实施例是第二实施例、第三实施例和第四实施例的组合。图24示出根据第五实施例的单位像素20的电路构造，并且图25示出第五实施例的单位像素20的平面布局的构造。

[单位像素的电路构造]

在第五实施例中，设置有两个fd切换晶体管。具体地，如图24所示，设置有位于传输晶体管21和复位晶体管24之间的作为第一切换栅单元的fd切换晶体管281和位于传输晶体管22和复位晶体管24之间的作为第二切换栅单元的fd切换晶体管282。高电平有效的切换信号sw1被施加到fd切换晶体管281的栅极电极281g。高电平有效的切换信号sw2被施加到fd切换晶体管282的栅极电极282g。

这等同于将与根据第二实施例的单位像素20中的浮动扩散部fd相对应的部分分割成三个部分。在三个分割部分中，被传输晶体管21、放大晶体管25和fd切换晶体管281包围的第一区域是浮动扩散部fd31。另外，被fd切换晶体管281、fd切换晶体管282和复位晶体管24包围的第二区域是浮动扩散部fd32，并且位于传输晶体管22和fd切换晶体管282之间的第三区域是浮动扩散部fd33。

如上所述，通过利用两个fd切换晶体管281和282将浮动扩散部fd选择性地分割为fd31、fd32和fd33这三个区域，可以以三种方式切换第一光电二极管pd1的信号电荷的转换效率。具体地，这三种方式包括浮动扩散部fd仅为fd31的情况下的高转换效率，浮动扩散部fd为fd31+fd32的情况下的低转换效率，以及浮动扩散部fd为fd31+fd32+fd33的情况下的超低转换效率。另外，在仅fd31的高转换效率和fd31+fd32的低转换效率的情况下，可以自由地改变第一光电二极管pd1和第二光电二极管pd2的信号读取的次序。

另外，由于可以通过fd切换晶体管282将浮动扩散部fd33与浮动扩散部fd32分离，所以可以向浮动扩散部fd22添加电容性元件cap。因此，由于可以降低浮动扩散部fd33的转换效率，并且可以增加可保持的信号电荷量，所以可以进一步扩展动态范围。

[单位像素的电路操作]

下面，将使用图26的时序波形图来说明根据第五实施例的具有上述构造的单位像素20中的电路操作。在图26中，示出从垂直驱动单元12输出的选择信号sel、切换信号sw1、切换信号sw2、复位信号rst、传输信号tg1、传输信号tg2和快门信号shg的波形。

现在，作为根据第五实施例的单位像素20的电路操作的示例，将说明在高转换效率模式中首先读取第一光电二极管pd1的信号的情况下的操作。

在开始曝光之前，在时刻t61处使切换信号sw1、切换信号sw2和复位信号rst有效，以复位第一光电二极管pd1、第二光电二极管pd2、浮动扩散部fd31、浮动扩散部fd32和浮动扩散部fd33。此后，在时刻t62处使传输信号tg1和传输信号tg2有效。

接着，在复位信号rst为有效时的时段中，在时刻t63处使传输信号tg1无效，以使传输晶体管21不导通，从而开始在第一光电二极管pd1中蓄积被光电二极管pd1光电转换的信号电荷(开始曝光)。同样，在第二光电二极管pd2中，在时刻t63处使传输信号tg2无效，以使传输晶体管22不导通，从而开始在光电二极管pd2中蓄积被光电转换的信号电荷。

由于在时刻t63处开始曝光之后的电路操作与第一实施例相同，所以省略其说明。在图23的示例中，在曝光时段中，使切换信号sw1和切换信号sw2无效。

在曝光时段中，在通过快门信号shg和传输信号tg2针对第二光电二极管pd2的信号电荷的蓄积执行间歇驱动之后，在时刻t65处使选择信号sel有效，以使选择晶体管26导通，从而使单位像素20处于选定状态。

此后，在选择信号sel为有效时的时段中，在时刻t66处使切换信号sw1和复位信号rst有效，以复位浮动扩散部fd31。然后，当在时刻t67处使切换信号sw1和复位信号rst无效之后，浮动扩散部fd31的电平作为第一光电二极管pd1的p相(高灵敏度复位信号nh)被读取到垂直信号线17。

接下来，在时刻t68处使传输信号tg1有效，以使传输晶体管21导通，从而将曝光/蓄积在第一光电二极管pd1中的信号电荷传输到浮动扩散部fd31。然后，浮动扩散部fd31的电平作为第一光电二极管pd1的d相(高灵敏度数据信号sh)被读取到垂直信号线17。

接着，在时刻t70处使切换信号sw1和复位信号rst有效，以复位浮动扩散部fd31。然后，在时刻t71处使切换信号sw1和复位信号rst无效。此后，在时刻t72处使切换信号sw1和切换信号sw2有效，以使fd切换晶体管281和fd切换晶体管282导通。

由于fd切换晶体管281和fd切换晶体管282导通，所以蓄积在浮动扩散部fd33中的第二光电二极管pd2的信号电荷被保持在浮动扩散部fd(fd31+fd32+fd33)中。然后，该保持状态下的浮动扩散部fd的电平作为第二光电二极管pd2的d相(低灵敏度数据信号sl)被读取到垂直信号线17。

接下来，在切换信号sw1和切换信号sw2为有效时的时段中，在时刻t73处使复位信号rst有效，以复位浮动扩散部fd33。然后，当在时刻t74处使复位信号rst无效之后，浮动扩散部fd33的电平作为第二光电二极管pd2的p相(低灵敏度复位信号nl)被读取到垂直信号线17。此后，在时刻t75处使切换信号sw1和切换信号sw2无效。

虽然在上文中说明了在以高转换效率模式读取第一光电二极管pd1的信号的情况下的操作，但是在低转换效率模式的读取的情况下，在读取第一光电二极管pd1的p相/d相时，仅需要使fd切换晶体管281不导通。另外，通过替换第一光电二极管pd1的p相/d相并替换第二光电二极管pd2的p相/d相，也可以改变第一光电二极管pd1和第二光电二极管pd2的信号读取次序。

[像素信号的运算处理]

现在，将说明在将根据第五实施例的单位像素20用作cmos图像传感器10(10a、10b)中的单位像素20的情况下信号处理单元18中的像素信号的运算处理。

(像素信号的运算处理的处理示例1)

首先，将说明像素信号的运算处理的处理示例1。在处理示例1中，在低灵敏度差分信号snl落入预定范围内的情况下，信号处理单元18针对每个像素、每多个像素、每种颜色、公共像素单元中的每个特定像素或者统一地针对所有像素计算低灵敏度差分信号snl和高灵敏度差分信号snh的比率以作为增益，并生成增益表。然后，信号处理单元18计算低灵敏度差分信号snl和增益表的乘积，以作为低灵敏度差分信号snl的校正值。

假设增益由g表示，且低灵敏度差分信号snl的校正值(以下称为“校正低灵敏度差分信号”)由snl'表示。增益g和校正低灵敏度差分信号snl'可以基于以下公式(1)至(4)获得。

(1)g＝snh/snl

＝(cfd31+cfd32+cfd33)/cfd31×sens_h/sens_l

(2)sens_h＝α+β×{t2/(t1+t2)}

(3)sens_l＝β×{t2/(t1+t2)}

(4)snl'＝g×snl

注意，cfd31、cfd32和cfd33分别表示浮动扩散部fd31、fd32、fd33的容量值，α表示第一光电二极管pd1的每单位时间的灵敏度，且β表示第二光电二极管pd2的每单位时间的灵敏度。因此，增益g相当于灵敏度比率和容量比的乘积。

在图27中，示出相对于入射光量的低灵敏度差分信号snl、高灵敏度差分信号snh和校正低灵敏度差分信号snl'之间的关系。

下面，如图28a所示，信号处理单元18通过使用预先设定的预定阈值vt来执行信号处理。在高灵敏度差分信号snh的光响应特性饱和之前并且在光响应特性为线性的区域中预先设定预定阈值vt。

然后，在高灵敏度差分信号snh未达到预定阈值vt的情况下，信号处理单元18输出高灵敏度差分信号snh，以作为待处理的像素的像素信号sn。也就是说，在snh<vt的情况下，像素信号sn＝高灵敏度差分信号snh。

另一方面，在高灵敏度差分信号snh不大于预定阈值vt的情况下，信号处理单元18输出低灵敏度差分信号snl的校正低灵敏度差分信号snl'，以作为待处理的像素的像素信号sn。也就是说，在vt≤snh的情况下，像素信号sn＝校正低灵敏度差分信号snl'。

(像素信号的运算处理的处理示例2)

接着，对像素信号的运算处理的处理示例2进行说明。在处理示例2中，如图28b所示，在高灵敏度差分信号snh落入预定范围内的情况下，信号处理单元18以预先设定的比率合成校正低灵敏度差分信号snl'和高灵敏度差分信号snh，并将其作为像素信号sn输出。

例如，信号处理单元18在作为参考的预定阈值vt附近的范围内逐渐地改变校正低灵敏度差分信号snl'和高灵敏度差分信号snh的合成比。如上所述，预定阈值vt为在高灵敏度差分信号snh的光响应特性饱和之前并且在光响应特性为线性的区域中预先设定的值。

·在snh<vt×0.90的情况下，sn＝snh

·在vt×0.90≤snh<vt×0.94的情况下，

sn＝0.9×snh+0.1×snl'

·在vt×0.94≤snh<vt×0.98的情况下，

sn＝0.7×snh+0.3×snl'

·在vt×0.98≤snh<vt×1.02的情况下，

sn＝0.5×snh+0.5×snl'

·在vt×1.02≤snh<vt×1.06的情况下，

sn＝0.3×snh+0.7×snl'

·在vt×1.06≤snh<vt×1.10的情况下，

sn＝0.1×snh+0.9×snl'

·在vt×1.10≤snh的情况下，

sn＝snl'

顺便提及地，在使用根据第一实施例至第四实施例的单位像素20的情况下，由于在读取高灵敏度数据信号sh和高灵敏度复位信号nh时的容量和灵敏度是可变的，所以上述公式(1)中的增益g的值根据容量/灵敏度的值而变化。

在信号处理单元18中，通过执行上述的处理示例1或处理示例2的运算处理，可以更平滑地从低照度时的信号切换到高照度时的信号。

<第六实施例>

第六实施例是根据被摄体亮度适应性地控制光电二极管的灵敏度的示例。图29示出根据第六实施例的单位像素20及其控制系统的构造的示例。在图29中，将图11示出的根据第二实施例的单位像素20用作基础。

[控制系统的构造]

如图29所示，根据第六实施例的单位像素20的控制系统包括被摄体亮度评估部31和曝光时间段控制部32，并被构造成基于根据作为间歇驱动对象的第二光电二极管pd2获得的信号电平来控制第二光电二极管pd2的曝光时间段。

在该控制系统中，被摄体亮度评估部31基于浮动扩散部fd的输入到放大晶体管25的电平来评估被摄体亮度。曝光时间段控制部32形成在例如垂直驱动单元12中，并且基于被摄体亮度评估部31的评估结果来控制曝光时间段。曝光时间段由传输信号tg2和快门信号shg的脉冲宽度确定。因此，曝光时间段控制部32控制作为间歇驱动对象的传输信号tg2和快门信号shg的脉冲信号的脉冲宽度。

[控制系统的处理流程]

下面，将使用图30的流程图来说明根据第六实施例的单位像素20的控制系统的处理流程。

在开始曝光的情况下，通过由传输信号tg2的脉冲信号实现的间歇驱动将第二光电二极管pd2的信号读取到浮动扩散部fd。在该曝光时段的初始阶段，被摄体亮度评估部31基于读取到浮动扩散部fd的信号电平来评估被摄体亮度(步骤s11)，并判定是否需要改变曝光时间段(步骤s12)。

然后，在需要改变曝光时间段的情况下，被摄体亮度评估部31判定被摄体亮度高于或低于基准(步骤s13)，并在被摄体亮度为高的情况下，将用于降低第二光电二极管pd2的灵敏度的指令提供给曝光时间段控制部32(步骤s14)。另外，在被摄体亮度为低的情况下，将用于增加第二光电二极管pd2的灵敏度的指令提供给曝光时间段控制部32(步骤s15)。

当从被摄体亮度评估部31接收指令时，在该指令为降低第二光电二极管pd2的灵敏度的指令的情况下，曝光时间段控制部32执行减小传输信号tg2的脉冲宽度的控制(步骤s16)。另外，在该指令为增加第二光电二极管pd2的灵敏度的指令的情况下，曝光时间段控制部32执行增加传输信号tg2的脉冲宽度的控制(步骤s17)。

注意，虽然在本实施例中通过高/低两级评估来评估被摄体亮度，但是被摄体亮度不限于此，并且可以通过三级以上的多级评估来进行评估。

通过由根据第六实施例的单位像素20的控制系统执行的上述一系列控制，可以根据被摄体亮度在1次曝光时段中适应性地控制第二光电二极管pd2的灵敏度。然后，在控制系统的控制下，从第二光电二极管pd2获得的信号对应于图31所示的信号s。由于传输信号tg2的脉冲宽度变化的时序是已知的，所以灵敏度变化前后的曝光时间段t1、t2以及关于整个曝光时间段的各个灵敏度(＝由脉冲宽度确定的灵敏度)β1、β2是已知的。因此，在整个曝光时段获得的信号s可以由以下公式表示。

s＝β1×t1+β2×t2

因此，可以以任意灵敏度将其转换成在整个周期中的曝光的情况下的信号。

注意，虽然在本实施例中已经基于根据第二实施例的包括两个光电二极管pd1和pd2的单位像素20说明了根据被摄体亮度来适应性地控制第二光电二极管pd2的灵敏度的示例，但示例不限于此。也就是说，如图32所示，根据被摄体亮度的光电二极管pd的控制也可以适用于包括1个光电二极管pd的单位像素20。在这种情况下，与第一实施例的情况相同，光电二极管pd的排出目的地为高电位侧电源vdd。

另外，即使在与第三实施例、第四实施例和第五实施例的情况相同且在第二光电二极管pd2侧的传输晶体管22和浮动扩散部fd之间存在多个fd切换晶体管28的情况下，通过在曝光时段中使fd切换晶体管28导通也可以同样地适用本实施例。

<第一实施例至第六实施例的作用和效果>

利用根据上述第一实施例至第六实施例的包括单位像素20的cmos图像传感器10(10a、10b)，可以获得以下作用和效果。也就是说，由于通过针对第二光电二极管pd2的信号电荷的蓄积执行的间歇控制可以任意地控制第一光电二极管pd1和第二光电二极管pd2的灵敏度比率，所以与物理地提供灵敏度差的情况相比，可以自由地改变动态范围。

另外，在cmos图像传感器10(10a、10b)中，可以通过将电容性元件cap添加到具有低灵敏度的第二光电二极管pd2来增加低灵敏度数据信号sl饱和时的电平。因此，可以在保持动态范围的最小值的同时增加动态范围的最大值，并扩大动态范围。

例如，在车载图像传感器中，在某些情况下会发生被称为led闪烁的现象，其中，诸如led光源之类的发生闪烁的被摄体由于闪烁的时序而不能被成像。例如，因为现有的固体摄像器件的动态范围低，所以发生led闪烁，并且需要针对每个被摄体调节曝光时间。

也就是说，为了支持具有各种照度的被摄体，现有的固体摄像器件增加具有低照度的被摄体的曝光时间段并降低具有高照度的被摄体的曝光时间段。因此，即使在低动态范围内也可以支持具有各种照度的被摄体。另一方面，由于无论曝光时间如何，读取速度都是恒定的，所以在以比读取时间更短的单位设定曝光时间段的情况下，虽然在除曝光时间以外的时间内进入光电转换部的光被光电转换为电荷，但是这些电荷被丢弃而不执行读取。

另一方面，如上所述，由于可以在cmos图像传感器10(10a、10b)中扩展动态范围并且可以将曝光时间段设定为较长，所以可以防止发生led闪烁。另外，在cmos图像传感器10(10a、10b)中，在通过时间分割法或空间分割法来增加分割数的情况下，可以防止伪像的发生和分辨率的降低。

<第一实施例至第六实施例的变形例>

虽然在第一实施例至第六实施例中示出了在1个像素中设置具有不同灵敏度的两个光电转换部(第一光电二极管pd1和第二光电二极管pd2)的示例，但是可以在一个像素中设置三个以上的光电转换部。在这种情况下，只需至少在具有最低灵敏度的光电转换部中设置电荷蓄积单元，而不需要在具有最高灵敏度的光电转换部中设置电荷蓄积单元。另外，只要满足该条件，可以设置具有相同灵敏度的两个以上的光电转换部。

虽然在上述实施例中作为示例说明了本发明能够应用于以矩阵的形式布置有单元像素20的cmos图像传感器，但是本发明的技术不限于应用于cmos图像传感器。也就是说，本发明可应用于以矩阵形式二维地布置有单位像素20的所有x-y寻址型固态摄像器件。

另外，本发明能够应用于具有以下结构的所有固态摄像器件：在传输晶体管22和放大晶体管25之间设置诸如pn结电容和mis电容之类的像素内存储器，并且在像素内存储器中蓄积经由传输晶体管22从第二光电二极管pd2传输的电荷。

另外，本发明能够应用于前表面照射型结构和背面照射型结构中的任何一种像素结构。注意，假定其上形成有配线层的基板表面是半导体基板的其上形成有单位像素20的前表面，则从前表面侧照射入射光的像素结构是前表面照射型，且从前表面侧照射入射光的像素结构是背面照射型。

另外，本发明不限于应用于检测可见光的入射光量的分布并将该分布成像为图像的固态摄像器件，并且可应用于将红外线、x射线、粒子等的入射量的图像分布成像为图像的所有固态摄像器件。

<根据本发明的电子设备>

根据第一实施例至第六实施例的上述固态摄像器件可以用作所有电子设备的成像单元(摄像单元)，例如，电子设备为诸如数码相机和摄像机等成像设备、诸如移动电话等具有成像功能的便携式终端设备以及使用固态摄像器件作为图像读取单元的复印机等。注意，固态摄像器件可以形成为一个芯片的形式，或者形成为具有成像功能的模块化形式，在模块化形式中，成像单元和信号处理单元或光学系统被共同封装。安装在电子装置上的上述模块化形式(即相机模块)可以为成像设备。

图33是示出作为根据本发明的电子设备的示例的成像设备的构造。如图33所示，根据本示例的成像设备50包括：包括透镜组等的光学系统51、成像单元52、dsp电路53、帧存储器54、显示装置55、记录装置56、操作系统57、电源系统58等。接着，dsp电路53、帧存储器54、显示装置55、记录装置56、操作系统57和电源系统58经由总线59彼此连接。

光学系统51拍摄来自被摄体的入射光(图像光)，并在成像单元52的成像表面上形成图像。成像单元52以像素为单位将被光学系统51成像在成像表面上的入射光的量转换为电信号，并将该电信号作为像素信号输出。dsp电路53执行一般的相机信号处理，例如，白平衡处理、去马赛克处理和伽马校正处理。

帧存储器54适当地用于在dsp电路53中的信号处理过程中蓄积数据。显示装置55包括诸如液晶显示装置和有机电致发光(el：electroluminescence)显示装置等面板型显示装置，并且显示由成像单元52拍摄的运动图像或静止图像。记录装置56将由成像单元52拍摄的运动图像或静止图像蓄积在诸如便携式半导体存储器、光盘和硬盘驱动器(hdd：harddiskdrive)等记录介质中。

在用户的操作下，操作系统57发出用于成像设备50的各种功能的操作指令。电源系统58适当地将作为dsp电路53、帧存储器54，显示装置55、记录装置56和操作系统57的操作电源的各种电源提供给这些供电对象。

这种成像设备50适用于摄像机、数码相机以及诸如智能电话和移动电话等移动装置的相机模块。于是，在该成像设备50中，可以将根据第一实施例至第六实施例的包括单位像素的上述固态摄像器件用作成像单元52。根据第一实施例至第六实施例的包括单位像素的固态摄像器件能够通过针对信号电荷的蓄积执行间歇驱动来扩展动态范围。因此，能够改善成像设备50的图像质量。

<第七实施例>

第七实施例是使用根据第一实施例至第六实施例的技术(即，针对光电转换部的信号电荷的蓄积执行间歇驱动的技术)的固态摄像器件(例如，cmos图像传感器)的示例。图34是根据第七实施例的cmos图像传感器的系统构造图。

[系统构造]

如图34所示，在根据第七实施例的cmos图像传感器100的结构中，例如，形成有半导体装置的五个半导体器件层(所谓的硅片(silicondie))层叠在一起，并且信号线与这些半导体器件层连接。注意，在以下说明中，为方便起见，将cmos图像传感器100的光入射面这一侧称为为“上侧”，而将与该入射面相对的侧称为“下侧”。

第一半导体器件层101布置在最靠近透镜(对应于图33中的光学系统101的透镜)的一侧(cmos图像传感器100的光入射侧，上侧)。在第一半导体器件层101的下侧布置有第二半导体器件层102。在第二半导体器件层102的下侧布置有第三半导体器件层103。在第三半导体器件层103的下侧布置有第四半导体器件层104。在第四半导体器件层104的下侧布置有第五半导体器件层105。在第五半导体器件层105的下侧布置有cmos图像传感器100的外部端子106。

在图34中，被虚线包围的部分表示1个单位像素20。1个单位像素20形成为跨越第一半导体器件层101、第二半导体器件层102和第三半导体器件层103。均以跨越第一半导体器件层101、第二半导体器件层102和第三半导体器件层103的方式形成的单位像素20在与每个半导体器件层的前表面平行的表面上沿列方向和行方向布置成二维阵列。注意，在图34中，仅简要描述了单位像素20的内部构造。

[单位像素的内部构造]

图35示出根据第七实施例的cmos图像传感器100中的单位像素20的内部构造的示例。图35示出图34所示的1个单位像素20的内部构造。单位像素20包括形成在第一半导体器件层101中的部分、形成在第二半导体器件层102中的部分和形成在第三半导体器件层103中的部分。将参照图35具体地说明单位像素20的内部构造。

单位像素20中包括的第一半导体器件层101包括光电转换部和用于驱动光电转换部的晶体管(所谓的像素晶体管)。这些器件被称为光电转换单元。光电转换单元包括以下器件。也就是说，光电转换单元包括第一光电转换部111、第二光电转换部112、第一传输栅单元113、第二传输栅单元114、第三传输栅单元115和第四传输栅单元116。第一光电转换部111包括第一光电二极管pd1，且第二光电转换部112包括第二光电二极管pd2。

在与根据第五实施例的单位像素20的对应中，第一传输栅单元113对应于传输晶体管21，第二传输栅单元114对应于fd切换晶体管281，第三传输栅单元115对应于fd切换晶体管282，且第四传输栅单元116对应于传输晶体管22。于是，将传输信号tg1施加至第一传输栅单元113的栅极电极，将切换信号sw1施加至第二传输栅单元114的栅极电极，将切换信号sw2施加至第三传输栅单元115的栅极电极，并将传输信号tg2施加至第四传输栅单元116的栅极电极。

第一光电转换部111比第二光电转换部112具有更大的光电二极管的受光面积。因此，在第一光电转换部111和第二光电转换部112执行相同时段的光电转换的情况下，在第一光电转换部111中比在第二光电转换部112中生成更多的信号电荷。由于第一光电转换部111能够比第二光电转换部112获得更多的信号电荷，所以第一光电转换部111包括灵敏度高于第二光电转换部112的灵敏度的光电转换部，且第二光电转换部112包括灵敏度低于第二光电转换部111的灵敏度的光电转换部。

第一传输栅单元113连接到第一光电转换部111。另外，第一排出栅单元117连接到第一光电转换部111。溢漏部(overflowdrain)(例如，电源vdd)连接到第一排出栅单元117的端部。第一排出栅单元117由施加到第一排出栅单元117的栅极电极的驱动信号ofg1驱动，从而将第一光电转换部111中包括的第一光电二极管pd1的信号电荷排出到溢漏部。此外，根据第一实施例至第六实施例的单元像素20也可以具有以下构造，该构造包括对应于第一排出栅单元117的电荷排出单元，该第一排出栅单元将第一光电二极管pd1的信号电荷排出到溢漏部。

第一传输栅单元113和第二传输栅单元114经由浮动扩散部(所谓的浮动扩散层)fd连接。第二传输栅单元114和第三传输栅单元115经由第一节点n1连接。除第二传输栅单元114和第三传输栅单元115外，复位晶体管(复位栅单元)24也连接到第一节点n1。特定的电位线(例如，电源vdd)连接到复位晶体管24的端部。复位晶体管24、放大晶体管25和选择晶体管26之间的连接关系与根据第一实施例的单位像素20中的连接关系相同。

第三传输栅单元115和第四传输栅单元116经由第二节点n2连接。除第三传输栅单元115和第四传输栅单元116外，电荷蓄积单元118也连接到第二节点n2。第二传输栅单元114和第三传输栅单元115耦合电荷蓄积单元118和浮动扩散部fd的电位。第四传输栅单元116连接到第二光电转换部112。另外，第二排出栅单元119连接到第二光电转换部103。溢漏部(例如，电源vdd)连接到第二排出栅单元119的端部。第二排出栅单元119由施加到第二排出栅单元119的栅极电极的驱动信号ofg2驱动。

在与根据第五实施例的单位像素20的对应中，第二排出栅单元119对应于快门晶体管23，电荷蓄积单元118对应于电容性元件cap，并且第二排出栅单元119的驱动信号ofg2对应于快门信号shg。另外，浮动扩散部fd对应于浮动扩散部fd31，第一节点n1对应于浮动扩散部fd32，第二节点n2对应于浮动扩散部fd33，并且电荷蓄积单元118对应于电容性元件cap。

第四传输栅单元116的栅极电极的下部上的沟道区域具有稍微正方向的电位(换言之，电位稍微更深)。因此，形成了电荷的溢出路径。在由于第二光电转换部112中的光电转换而生成具有超过第二光电转换部112的饱和电荷量的量的电荷的情况下，具有超过饱和电荷量的量的电荷经由上述溢出路径从第二光电转换部112溢出(overflow)到电荷蓄积单元118。溢出的电荷蓄积在电荷蓄积单元118中。注意，在下文中，将在第四传输栅单元116的栅极电极的下部上的沟道区域中形成的溢出路径简称为第四传输栅单元116的溢出路径。

第四传输栅单元116的溢出路径的电位比第二排出栅单元119的溢出路径的电位稍微正方向(换句话说，电位稍深)。因此，在向第四传输栅单元116和第二排出栅单元119施加相同的栅极电压(例如，0v)的情况下，从第二光电转换部112溢出的电荷经由第四传输栅单元116的溢出路径溢出到电荷蓄积单元118。

另外，在向第四传输栅单元116的栅极施加负偏压的情况下，第四传输栅单元116的溢出路径闭合。因此，在向第四传输栅单元116施加负偏压并且向第二排出栅单元119施加0v的情况下，从第二光电转换部112溢出的电荷经由第二排出栅单元119的溢出路径被排出到溢漏部(例如，电源vdd)。

对于电荷蓄积单元118，例如，可使用mis电容器或mos电容器。在将mis电容器或mos电容器用作电荷蓄积单元118的情况下，电荷蓄积单元118的两个电极中的第一电极是连接到第二节点n2的节点电极。电荷蓄积单元118的第二电极是接地的接地电极。注意，作为实施例的变形例，第二电极可以连接到除接地电位之外的特定电位，例如电源电位。

另外，在将mis电容器或mos电容器用作电荷蓄积单元118的情况下，作为示例，第二电极是形成在诸如硅基板等半导体基板上的杂质区域，并且形成电容的电介质膜是形成在半导体基板上的氧化物膜或氮化物膜。另外，第一电极是在第二电极和电介质膜上的由具有导电性的材料(例如，多晶硅和金属)形成的电极。

另外，在将mis电容器或mos电容器用作电荷蓄积单元118的情况下，第二电极例如是形成在半导体基板上的杂质区域，在该半导体基板上形成有第一光电转换部111或第二光电转换部112。在第二电极为接地电位的情况下，第二电极是与第一光电转换部111或第二光电转换部112的光电二极管中包括的p型杂质区电连接的p型杂质区域。在第二电极是除接地电位之外的特定电位的情况下，第二电极可以是形成在p型杂质区域中的n型杂质区域。

为了使电荷蓄积单元118的每单位面积的电容大于第一光电二极管pd1和第二光电二极管pd2中包括的电荷蓄积单元的每单位面积的电容，有利的是，作为第二电极的杂质区域形成在半导体基板的前表面上，而不是沿深度方向形成在在半导体基板的内部。另外，为了使电荷蓄积单元118的每单位面积的电容大于第一光电二极管pd1和第二光电二极管pd2中包括的电荷蓄积单元的每单位面积的电容，有利的是，使作为第二电极的杂质区域的杂质浓度高。

由于在某些情况下，半导体基板的前表面在深度方向上具有比半导体基板的内部更多的晶体缺陷或界面态，所以在将形成在半导体基板的前表面上的杂质区域用作电荷蓄积单元118的第二电极的情况下，电荷蓄积单元可以比第一光电二极管pd1和第二光电二极管pd2中包括的在深度方向上在蓄积半导体基板中蓄积电荷的电荷蓄积单元具有更多噪声。相反，通过将形成在半导体基板的表面上的杂质区域用作电荷蓄积单元118的第二电极，与第一光电二极管pd1和第二光电二极管pd2中包括的在深度方向上在蓄积半导体基板中蓄积电荷的电荷蓄积单元相比，可以获得具有更大每单位面积的电容值的电容(杂质区域)。

单位像素20的特征在于包括作为电荷蓄积单元118的电荷蓄积单元，该电荷蓄积单元中能够蓄积的电荷量是第二光电转换部112中能够蓄积的电荷量的至少两倍，更具体地大约100倍。也就是说，单位像素20被构造成将在第二光电转换部112中生成的大部分电荷蓄积在电荷蓄积单元118中。另外，电荷蓄积单元118中能够蓄积的电荷量是例如浮动扩散部fd中能够蓄积的电荷量的至少两倍，更具体地，大约100倍。

在图34中，单位像素20中包括的第二半导体器件层102包括像素控制单元和像素信号处理单元，像素控制单元执行具有上述构造的光电转换单元的操作控制，像素信号处理单元对作为光电转换单元中的光电转换操作的结果而生成的信号执行信号处理。像素控制单元包括以下子单元。也就是说，像素控制单元包括被摄体亮度评估单元201、曝光时间段控制单元202和像素操作控制单元203。像素信号处理单元包括以下子单元。也就是说，像素信号处理单元包括模拟/数字(a/d：analog/digital)转换单元204、增益计算单元205和混合合成单元206。

被摄体亮度评估单元201是在曝光时段中的特定点处对经由溢出路径从第二光电转换部112溢出到电荷蓄积部118的溢出电荷的量进行评估的装置。更具体地，当在第二光电转换部112中发生溢出时，浮动扩散部fd的电压因溢出电荷而改变。被摄体亮度评估单元201通过评估浮动扩散部fd的电压来评估溢出电荷量。

被摄体亮度评估单元201可以是例如用于比较两个电平或4个电平的参考电压与浮动扩散部fd的电压的大小的电压比较器。例如，如图36a所示，可以在电源vdd和地之间串联地布置五个电阻r1至r5，并且可以将由电阻分割产生的4种电压v1至v4用作4个电平的参考电压。如上所述，为了比较浮动扩散部fd的电压和4个电平v1至v4的参考电压的大小，仅需要4种参考电压v1至v4和4个电压比较器61至64。在图36a中，通过改变电源vdd或电阻r1至r5的大小，可以将4个电平v1至v4的参考电压设置为任意大小。

例如，如图36b所示，在电源vdd和地之间串联地布置三个电阻r1至r3，并且可以将由电阻分割产生的2种电压v1和v2用作2个电平的参考电压。如上所述，为了比较浮动扩散部fd的电压和2个电平v1和v2的参考电压的大小，仅需要2种参考电压v1和v2和两个电压比较器61和62。在图36b中，通过改变电源vdd或电阻r1至r3的大小，可以将2个电平v1和v2的参考电压设置为任意大小。

曝光时间段控制单元202根据在上述曝光时段中的某一点处对溢出到电荷蓄积部118的电荷量的评估结果来判定从在曝光时段中执行上述评估时起的曝光时段的长度。此外，曝光时间段控制单元202控制用于负责开启和结束第二光电转换部112的曝光周期的传输信号tg2和驱动信号ofg2且负责开启和结束第一光电转换部111的曝光时段的传输信号tg1和驱动信号ofg1。

像素操作控制单元203控制光电转换单元中包括的复位晶体管24的复位信号rst、第二传输栅单元114的切换信号sw1、第三传输栅单元115的切换信号sw2以及选择晶体管26的选择信号sel。

a/d转换单元204对作为单位像素20的曝光操作的结果而在第二光电转换部112中生成并蓄积在第二光电转换部112和电荷蓄积单元118中的信号电荷以及作为单位像素20的曝光操作的结果而在第一光电转换部111中生成并蓄积在第一光电转换部111中的信号电荷执行a/d转换。

为了线性地耦合以下输出特性(1)和输出特性(2)，基于信号电荷的a/d转换结果以及用于获得该结果的曝光时间段的有关信息，增益计算单元205执行信号处理以使a/d转换结果乘以增益。

(1)作为在第一光电转换部中生成的信号电荷的a/d转换结果而获得的数字值的关于被摄体亮度的输出特性

(2)作为在第二光电转换部中生成的信号电荷的a/d转换结果而获得的数字值的关于被摄体亮度的输出特性

由目前市场上可售的图像显示装置或图像打印装置接收的图像数据的位宽一般为8位。通过乘以上述增益而获得的与被摄体的亮度成线性的像素数据的位宽大于由这些图像显示装置或图像打印装置接收的位宽，并且与被摄体的亮度成线性的像素数据的位宽例如是14位或16位。在执行稍后将说明的混合合成之后，在稍后将说明的非线性压缩处理单元中，该位宽被非线性地压缩到由这些图像显示装置或图像打印装置接收的图像数据的位宽。在非线性压缩线性像素数据的情况下，例如，可以根据人的可视性相对于被摄体亮度的非线性特性来执行非线性压缩。

混合合成单元206执行信号处理，以在增益计算单元205对来自第一光电转换部111的输出数据和来自第二光电转换部112的输出数据执行增益计算之后，将这些输出数据执行混合。该混合处理示例如可以为已知的α混合处理。

单位像素20中包括的第三半导体器件层103为像素数据存储器。像素数据存储器包括：用于在像素数据存储器和上述像素控制单元之间写入/读取每个像素的数据的像素数据存储器；以及用于在像素数据存储器和上述像素信号处理单元之间写入/读取每个像素的数据的像素数据存储器。更具体地，第三半导体器件层103的像素数据存储器包括曝光时间存储器211、增益计算前像素数据存储器212、增益计算后像素数据存储器213和混合后宽d像素数据存储器214。

曝光时间存储器211是写入/读取作为曝光时间段控制单元中的控制结果而确定的每个像素的第一光电转换部111和第二光电转换部112的曝光时间段的存储器。增益计算前像素数据存储器212是写入/读取受到a/d转换单元204的a/d转换的每个像素的第一光电转换部111和第二光电转换部112的输出的a/d转换结果的存储器。增益计算后像素数据存储器213是写入/读取在增益计算单元205执行增益乘法之后每个像素的第一光电转换部111和第二光电转换部112的输出的存储器。混合后宽d像素数据存储器214是在由混合合成单元206对每个像素的第一光电转换部111和第二光电转换部112的输出执行混合处理之后写入/读取数据的存储器。

作为单位像素20的成像操作的结果而获得的输出被写入混合后宽d像素数据存储器214中，并由图34所示的第四半导体器件层104读取。

返回参照图34的与根据第七实施例的cmos图像传感器100有关的系统结构的说明。在cmos图像传感器100中包括的第一半导体器件层101、第二半导体器件层102和第三半导体器件层103中，以跨越这三个层的方式形成的单位像素20在与半导体器件层的前表面平行的表面上沿列方向和行方向布置成二维阵列，从而构成像素阵列单元(对应于图1中的像素阵列单元11)。

另一方面，cmos图像传感器100中包括的第四半导体器件层104包括信号处理处理器(或信号处理电路)，该处理器执行帧信号处理，以通过对上述像素阵列单元中包括的多个像素20的输出结果执行积分来创建1幅图像。

信号处理处理器(或信号处理电路)包括作为子单元的非线性压缩处理单元221和图像信号处理单元222。非线性压缩处理单元221执行非线性地压缩图像数据的位宽的处理。图像信号处理单元222执行非线性压缩以外的图像信号处理，例如，降噪、轮廓强调和用于压缩输出图像数据的数据量的编码处理。

cmos图像传感器100中包括的第五半导体器件层105包括用于上述信号处理处理器(或信号处理电路)的帧存储器231，以用于蓄积在帧信号处理中使用的图像数据，并输出作为帧信号处理的结果而产生的图像数据。第五半导体器件层105还包括输入/输出单元232，以用于将cmos图像传感器100经由外部端子106连接到装置的外部。

[系统的三维构造]

下面，将使用图37来说明根据第七实施例的cmos图像传感器100的系统的三维构造。图37是示出根据第七实施例的cmos图像传感器100的系统的三维构造的示意立体图。

根据第七实施例的cmos图像传感器100的系统的三维构造的特征在于：

(1)单元像素20以跨越第一半导体器件层101、第二半导体器件层102和第三半导体器件层103这三个层的方式形成，并且多个像素20在这三个层中布置成二维阵列，

(2)第四半导体器件层104包括执行帧信号处理的信号处理处理器(或信号处理电路)，并且

(3)第五半导体器件层105包括帧存储器231。在图37中，三维地示出第一半导体器件层101、第二半导体器件层102、第三半导体器件层103、第四半导体器件层104和第五半导体器件层105。

[单位像素的平面布局]

下面，将使用图38来说明根据第七实施例的cmos图像传感器100的单位像素20的平面布局。图38是示出根据第七实施例的cmos图像传感器100的第一半导体器件层101中的光电转换部和像素晶体管的平面布局的布局图。在图中，示出了4个单位像素20的平面布局。在图38中，虚线表示单位像素20之间的边界线。

布置在第一光电转换部111中包括的第一光电二极管pd1周围的大圆圈是表示布置在cmos图像传感器100的光入射面上的第一片上透镜301的外形的线。布置在第二光电转换部112中包括的第二光电二极管pd2周围的小圆圈是表示布置在cmos图像传感器100的光入射面上的第二片上透镜302的外形的线。第一片上透镜301和第二片上透镜302收集入射光并使所收集的光分别进入第一光电二极管pd1和第二光电二极管pd2。

由于除了第一片上透镜301和第二片上透镜302之外的组成元件已经在参考图35的说明中详细地描述，因此这里将省略其描述。

[在一个曝光时段中的特定点处对被摄体亮度的评估]

下面，将说明在通过提供用于针对根据第七实施例的cmos图像传感器100中的每个像素调节单位像素20的曝光时间段的机构来拍摄具有宽动态范围的图像时在一个曝光时段内特定点处对被摄体亮度的评估。

图39a和图39b均为被根据第七实施例的cmos图像传感器100成像为图像的被摄体的亮度分布的直方图。在图39a和图39b中，以单位像素20输出的图像数据为14位数据为例进行说明。在图39a和图39b中，以与x轴平行的方式描绘的实心白色箭头表示被摄体的亮度范围，即如下的动态范围，该动态范围允许cmos图像传感器100在不使用宽动态范围成像机构的情况下通过作为本发明的特征的间歇驱动(intermittentdriving)能够拍摄具有阶调(gradation)的图像。

在图39a中，被摄体的亮度分布宽于允许cmos图像传感器100在不使用间歇驱动的情况下能够拍摄图像的动态范围。在这种情况下，当在不使用间歇驱动的情况下拍摄图像时，必须设定曝光时间，以便能够仅针对被摄体的亮度分布的一部分来拍摄具有阶调的图像。在图39a中，作为这种设定曝光时间的示例，示出了如下示例：将曝光时间段t1设定成使得具有亮度l1的被摄体被设定为允许cmos图像传感器100能够拍摄具有阶调的图像的亮度范围的中心。

根据图39a所示的具有亮度l1的被摄体，输出了作为数字数据的值2047。然后，根据亮度为由图39a中的实心白色箭头描述的动态范围的下限的被摄体，输出了作为数字数据的值0。根据亮度为由图39a中的实心白色箭头描述的动态范围的上限的被摄体，输出了作为数字数据的值4095。

在通过使用宽动态范围机构利用作为本发明的特征的间歇驱动来拍摄图像的情况下，在通过上述方法设定曝光时间段t1并开始曝光之后，在曝光时段中的某一点处，单位像素20中包括的被摄体亮度评估单元201(见图34)针对每个像素对溢出并蓄积在电荷蓄积单元118中的电荷量进行评估。例如，在曝光开始之后经过曝光时段t1的1/10的时间段时的点处，针对每个像素对溢出并蓄积在电荷蓄积单元118中的电荷量进行评估。

如上所述，单位像素20的特征在于包括作为电荷蓄积单元的电荷蓄积单元118，该电荷蓄积单元能够蓄积的电荷量不小于第二光电转换部112能够蓄积的电荷量的例如大约100倍。也就是说，单位像素20被构造成在电荷蓄积单元118中蓄积在第二光电转换部112中生成的大部分电荷。

在这方面，基于在经过曝光时段t1的1/10的时间时的点处对溢出并蓄积在电荷蓄积单元118中的电荷量的评估结果，单位像素20中包括的曝光时间段控制单元202(参见图34)针对每个像素预测在曝光时间段t1结束之后的电荷量。以这种方式，曝光时间段控制单元202针对每个像素预测在曝光时间段t1结束之后每个单位像素20是否饱和或者每个单位像素20在不饱和的情况下是否具有阶调。

接着，在对溢出并蓄积在电荷蓄积单元118中的电荷量进行评估时的曝光时段中，曝光时间段控制部202基于上述预测结果来设定从进行评估时的点起的曝光时段的长度。

图40是被摄体亮度评估单元201对电荷量的评估和曝光时间段控制单元对曝光时间段的长度的设定的说明图。作为以曝光时间段t1的曝光的结果，拍摄具有图39a所示的被摄体亮度分布的直方图中的亮度l1的被摄体的图像的像素输出作为数字数据的值2047。

因此，如图40所示，针对单位像素20，在经过曝光时段t1的1/10的时间时的点处对溢出并蓄积在电荷蓄积单元118中的电荷量进行评估的情况下，从拍摄具有亮度l1的被摄体的图像的像素获得作为数字数据的值204。

对于在经过曝光时段t1的1/10的时间时的点处通过对电荷蓄积单元118中的电荷量进行评估而获得作为数字数据的值204的像素，可以预测，在曝光时间段t1结束之后，从该像素获得作为数字数据的大约2040的值。该值自然地落入允许单位像素20能够输出具有阶调的14位像素数据的动态范围内。作为上述评估的结果，通过曝光时间段控制单元202控制被预测为在曝光时间段t1结束之后输出具有阶调的数据的像素的曝光操作，使得曝光时间段变成t1。

同样地，对于在经过曝光时段t1的1/10的时间时的点处通过对溢出并蓄积在电荷蓄积单元118中的电荷量进行评估的结果而获得作为数字数据的值409的像素，可以预测，在曝光时间段t1结束之后，从该像素获得作为数字数据的大约4090的值。由于预测到该值落入允许输出具有阶调的14位像素数据的动态范围内，所以通过曝光时间段控制单元202控制曝光操作，而不使用间歇驱动，使得有效曝光时间段变为t1。

另一方面，对于在经过曝光时段t1的1/10的时间时的点处通过对溢出并蓄积在电荷蓄积单元118中的电荷量进行评估的结果而获得作为数字数据的410至819范围内的值的像素，可预测，在曝光时间段t1结束之后，从该像素获得作为数字数据的对应于4100至8190范围内的值的曝光量。于是，预测到该值未落入允许输出具有阶调的14位像素数据的动态范围内。在具有该范围的像素中，在曝光时段t1中，通过曝光时间段控制单元202间歇地驱动第四传输栅单元116，使得有效曝光时间段成为t1的50％。通过间歇驱动，也从上述像素获得具有阶调的像素数据。

另外，对于在经过曝光时段t1的1/10的时间时的点处通过对溢出并蓄积在电荷蓄积单元118中的电荷量进行评估的结果而获得作为数字数据的范围不小于820的值的像素，可以预测，在曝光时间段t1结束之后，从该像素获得作为数字数据的对应于值8200的曝光量。于是，预测到该值未落入允许输出具有阶调的14位像素数据的动态范围内。在具有该范围的像素中，在曝光时段t1中，通过曝光时间段控制单元202间歇地驱动第四传输栅单元116，使得有效曝光时间段成为t1的25％。通过间歇驱动，也从像素获得具有阶调的像素数据，其中，从上述像素中获得作为数字数据的820至1638范围内的值。

在图39b中，以与x轴平行的方式布置的实心白色箭头表示作为使用被摄体亮度评估单元201对电荷量的上述评估和曝光时间段控制单元202的间歇驱动的结果而允许被阶调成像的被摄体的亮度范围，即动态范围。可以理解，与图39a相比，动态范围被扩展。

图41a和图41b均为示出基于被摄体亮度评估单元201的电荷量评估结果，通过曝光时间段控制单元202对曝光时间段的长度执行设定的结果的示图。在本示例中，示出了如下操作的结果：在被认为已经以曝光时段t1曝光的每个像素中，基于在经过曝光时段t1的1/10的时间时的点处对蓄积在电荷蓄积单元118中的电荷量的评估结果，通过曝光时间段控制单元202执行间歇驱动来针对每个像素改变曝光时段t1中的有效曝光时间段。

在图41a和41b示出的图像中，示出了以在开始曝光之前设定的曝光时间段t1来曝光成像有具有被摄体的平均亮度的地面401的区域。

另一方面，在如下的情况下，曝光时间段控制单元202执行间歇驱动：经预测，在以曝光时间段t1执行曝光时，在经过曝光时段t1的1/10的时间时的点处对电荷量的评估结果未落入允许输出具有阶调的像素数据的动态范围内。

具体地，对于天空402的通过在曝光时段t1中执行间歇驱动使得有效曝光时间段变为t1的50％而被预测获得具有阶调的像素数据的区域进行成像的区域，对曝光执行间歇驱动，使得曝光时间段t1中的有效曝光时间段变为t1的50％。

另外，对于太阳403的通过在曝光时段t1中执行间歇驱动使得有效曝光时间段变为t1的25％而被预测获得具有阶调的像素数据的区域进行成像的区域，对曝光执行间歇驱动，使得曝光时间段t1中的有效曝光时间段变为t1的25％。

[像素数据的分析和成像条件的控制]

注意，用于评估像素的饱和水平并将减小饱和像素的曝光时间段的控制反映在被评估图像的下一帧上的技术是已知的。然而，例如，假设在诸如汽车等移动装置上安装成像设备并且在移动时执行曝光的情况，会发生以下问题。也就是说，即使在评估特定像素的饱和状态并将评估结果反映在下一帧上的控制时，被摄体的位置在下一帧中已经移动。因此，会出现以下如下问题：针对与被评估为饱和的被摄体不同的被摄体进行基于饱和的曝光时间段控制。

另一方面，在本实施例中，在1个曝光时段中的某个点处评估被摄体的亮度，并基于评估结果来控制从曝光时段中的该评估点起的曝光时段的长度。因此，根据本实施例，由于在1个曝光时段中(即，在1帧曝光中)执行亮度的评估和曝光时段的控制，所以与上述现有技术相比，可以快速地执行曝光控制。因此，与上述现有技术相比，即使当被摄体被移动时，也可以获得能够适当地调节被摄体的亮度以获得适当的图像的作用和效果。

将参照图42和图43更详细地说明安装在汽车上的成像设备的情况的示例。

例如，在安装在汽车上的成像设备的情况下，被安装在行驶中的车辆上的成像设备拍摄成运动图像的被摄体总在移动。成像设备针对每个像素分析运动图像的帧(第一帧)中拍摄的图像，以获得每个像素的适当成像条件，并针对每个像素将作为分析结果所获得的成像条件反馈至作为第一帧的下一帧的第二帧。然而，如图42所示，对于帧中的所有像素，在第二帧中要被成像的被摄体与第一帧中的被摄体不同。因此，反馈到第二帧的成像条件不一定适合于在第二帧中要被成像的被摄体。

另一方面，在第七实施例中，如图43所示，成像设备在运动图像的帧(第一帧)中同时开始所有像素的曝光，并在经过曝光时段中的某个时间段时的点处针对每个像素分析通过每个像素的在直到该时间时的成像而获得的像素数据。于是，成像设备获得了适当的成像条件，以作为在经过曝光时段中的某个时间段时的点之后的未来曝光时段的成像条件，并且反馈所获得的成像条件，以作为该曝光时段中的未来曝光时段的成像条件。因此，即使在被摄体移动的情况下，与不使用间歇驱动的现有技术相比，也可以通过适当调节被摄体的亮度来获得适当的图像。

[曝光时间段的控制流程]

下面，将使用图44来说明曝光时间段的控制流程。图44是示出被摄体亮度评估单元201对电荷量的评估和曝光时间段控制单元202对间歇驱动的设定的处理流程的流程图。

首先，曝光时间段控制单元202设定曝光时间段(步骤s21)。具体地，曝光时间段控制单元202设定曝光时间段t1，以便通过对在期望再现阶调的被摄体亮度范围内具有中值(亮度l1)的被摄体进行曝光来获得饱和像素数据ds的50％的值dh。接着，曝光时间段控制单元202开始以曝光时间段t1曝光(步骤s22)。

当在开始曝光之后经过了t1/10的时间时(步骤s23)，被摄体亮度评估单元201评估在t1/10中溢出到电荷蓄积单元118的电荷的电压vo(步骤s24)，确定(比较确定)与通过将被a/d转换单元204(参照图34)a/d转换的输入电压的最大值vomax乘以系数而获得的值的大小关系(步骤s25)。在与图40的对应中，最大值vomax是可获得与通过a/d转换而获得的最大值4095相对应的数字数据的输入电压。

在步骤s25中，执行(1)vo≤vomax/10；(2)vomax/10<vo≤vomax/5和(3)vomax/5<vo的判定。注意，在与图40的对应中，vomax/10是可获得与值490相对应的数字数据的输入电压，该值409是在曝光时段t1结束后不执行间歇驱动就可输出具有阶调的数据的判定的阈值。在与图40的对应中，vomax/5是可获得与值819相对应的数字数据的输入电压，该值819是在曝光时段t1结束后通过执行50％间歇驱动就可以输出具有阶调的数据的判定的阈值。

根据步骤s25的判定结果，像素操作控制单元203控制作为用于驱动第四传输栅单元116的脉冲信号的传输信号tg2的占空比。具体地，在判定结果为(1)vo≤vomax的情况下，对于曝光时段的剩余时间t1×9/10，以占空比100％驱动传输信号tg2(步骤s26)。在判定结果为(2)vomax/10<vo≤vomax/5的情况下，对于曝光时段的剩余时间t1×9/10，以占空比50％驱动传输信号tg2(步骤s27)。在判定结果为(3)vomax/5<vo的情况下，对于曝光时段的剩余时间t1×9/10，以占空比25％驱动传输信号tg2(步骤s28)。

下面将更具体地说明对单位像素20中包括的第一光电转换部111和第二光电转换部112的曝光时间段的控制。

(以占空比＝100％连续曝光的情况)

首先，将使用图45来说明以占空比＝100％连续曝光的情况。图45是在占空比＝100％的情况下与对第一光电转换部111和第二光电转换部112的曝光时间段的控制有关的时序波形图。在图45中，示出驱动像素的示例。可以预测，作为被摄体亮度评估单元201的评估的结果，即使在以不使用间歇驱动的方式执行曝光操作使得有效曝光时间段变为t1的情况下，也从像素获得具有阶调的像素数据。

第一光电转换部111的曝光操作由用于驱动第一传输栅单元113的传输信号tg1和用于驱动第一排出栅单元117的驱动信号ofg1控制。在开始曝光之前，当驱动信号ofg1有效时，光电二极管pd1中的所有电荷已被排出，而第一光电转换部111连接到溢漏部(例如，电源vdd)，该溢漏部连接到第一排出栅单元117的端部。

接着，驱动信号ofg1变为无效，因此开始蓄积作为光电转换的结果而在第一光电转换部111中生成的电荷。换言之，开始曝光操作。在经过曝光时间段t1之后，传输信号tg1变为有效，在曝光时段期间蓄积在第一光电转换部111中的电荷被传输到浮动扩散。相应地，完成第一光电转换部111的1次曝光操作。

第二光电转换部112的曝光操作由用于驱动第四传输栅单元116的传输信号tg2和用于驱动第二排出栅单元119的驱动信号ofg2控制。当传输信号tg2为0v时，电荷可以经由形成在第四传输栅单元116的沟道区域中的溢出路径从第二光电转换部112溢出到电荷蓄积单元118。

当传输信号tg2为负偏压vgn时，该溢出路径关闭，并且电荷不能从第二光电转换部112溢出到电荷蓄积单元118。当传输信号tg2是正偏压vgp时，作为光电转换的结果而蓄积在第二光电转换部112中的所有电荷被传输到电荷蓄积单元118。

在开始曝光之前，当传输信号tg2有效时，光电二极管pd2中的所有电荷已经被排出，而第二光电转换部112连接到溢漏部(例如，电源vdd)，该溢漏部连接到第二排出栅单元119的端部。

传输信号tg2变为无效，并因此开始蓄积作为对光的光电转换的结果而在第二光电转换部112中生成的电荷。换言之，开始曝光操作。在曝光时段中，传输信号tg2为0v。因此，在曝光时段中，从第二光电转换部112溢出的电荷经由第四传输栅单元116的溢出路径溢出到电荷蓄积单元118。在经过曝光时间段t1之后，传输信号tg2变为有效，并且在曝光时段期间蓄积在第二光电转换部112中的电荷被传输到电荷蓄积单元118。相应地，完成第二光电转换部112的1次曝光操作。

注意，第一光电转换部111的曝光操作和第二光电转换部112的曝光操作在相同的时间点处开始，以相同的时间段执行，并在相同的时间点处完成。此操作提供以下作用和效果。

也就是说，针对每个像素，由每个像素中包括的混合合成单元206对从第一光电转换部111输出的图像数据和从第二光电转换部112输出的图像数据执行混合处理，并作为结果生成1条像素数据。

现在，假设要被成像的被摄体是在曝光时段中移动的移动被摄体，或者假设cmos图像传感器100安装在诸如汽车等的移动装置上并且在移动的同时执行曝光。此时，在执行第一光电转换部111的曝光操作时的曝光时段和执行第二光电转换部112的曝光操作时的曝光时段不匹配的情况下，从第一光电转换部111获得的图像中的被摄体的位置和从第二光电转换部112获得的图像中的被摄体的位置在某些情况下彼此偏移。在对存在被摄体的位置的彼此偏移的图像执行混合合成的情况下，生成的图像可能具有被摄体的轮廓的减小的锐度。

另一方面，在本实施例中，如图45的时序波形图所示，使执行第一光电转换部111的曝光操作时的曝光时段和执行第二光电转换部112的曝光操作时的曝光时段匹配，以执行曝光。因此，由于从第一光电转换部111获得的图像中的被摄体的位置和从第二光电转换部112获得的图像中的被摄体的位置相匹配，因此通过对这些图像执行混合合成，生成的图像中的被摄体的轮廓的锐度能够为高。

(以占空比＝50％的间歇驱动执行曝光的情况)

下面，将使用图46来说明以占空比＝50％连续曝光的情况。图46是在占空比＝50％的情况下与对第一光电转换部111和第二光电转换部112的曝光时间段的控制有关的时序波形图。

第一光电转换部111的曝光操作与基于图46的时序波形图的操作相同。因此，这里将省略该操作的说明。

在开始曝光之前，当驱动信号ofg2有效时，光电二极管pd2中的所有电荷已被排出，而第二光电转换部112连接到溢漏部(例如，电源vdd)，该溢漏部连接到第二排出栅单元119的端部。驱动信号ofg2变为无效，因此开始蓄积作为光电转换的结果而在第二光电转换部112中生成的电荷。换言之，开始曝光操作。

在开始曝光之后，在经过曝光时段t1的1/10的时间时的点处，被摄体亮度评估单元201评估蓄积在电荷蓄积单元118中的电荷量，并且曝光时间段控制单元202开始以50％的间歇驱动的曝光操作。

如下执行以50％的间歇驱动的曝光操作。也就是说，将曝光时段t1分为多个子曝光时段。优选地，分割次数大(例如不小于10)，而不是非常小(例如两个)，这是因为当对移动的被摄体成像时，可以通过以短的曝光时间段顺序地且准确地捕捉移动的被摄体来执行曝光。

在每个分割子曝光时段中的50％的间歇驱动期间，将传输信号tg2和驱动信号ofg2均设定为0v。在这种情况下，在该时间段内从第二光电转换部112溢出的电荷经由第四传输栅单元116的溢出路径溢出到电荷蓄积单元118。换言之，在该时间段内作为光电转换的结果而在第二光电转换部112中生成的电荷蓄积在电荷蓄积单元118中，并且在曝光时段完成后作为像素数据输出。

另一方面，在每个分割子曝光时段的50％的剩余时段期间，将传输信号tg2设定为负偏压vgn，且将驱动信号ofg2设定为0v。在这种情况下，在该时间段内从第二光电转换部112溢出的电荷经由第二排出栅单元119的溢出路径被排出到溢漏部。由于作为该时间段中的光电转换的结果而在第二光电转换部112中生成的电荷被排出，因此电荷蓄积单元118变得难以饱和。因此，获得以下作用和效果，即扩展了获得具有阶调的图像数据的范围，即动态范围。

另外，如同在基于图45的时序波形图的操作中，在基于图46的时序波形图的操作中，第一光电转换部111的曝光操作和第二光电转换部112的曝光操作在相同的时间点处开始，以相同的时间段执行，并在相同的时间点处完成。因此，在通过第一光电转换部111和第二光电转换部112成像移动的被摄体并对两个图像执行混合合成的情况下，由于被摄体的位置在两个图像中匹配，因此可以获得具有高锐度的图像。

(以占空比＝25％的间歇驱动执行曝光的情况)

下面，将使用图47来说明以占空比＝25％连续曝光的情况。图47是在占空比＝25％的情况下与对第一光电转换部111和第二光电转换部112的曝光时间段的控制有关的时序波形图。

第一光电转换部111的曝光操作与基于图45的时序波形图的操作相同。因此，这里将省略该操作的说明。

在第二光电转换部112的曝光操作中，在每个子曝光时段中的25％的间歇驱动期间，将传输信号tg2和驱动信号ofg2设定为0v，其中，子曝光时段使通过将曝光时段t1分割为多个子曝光时段而获得的。接着，在75％的剩余时间期间，将传输信号tg2设定为负偏压vgn，且将驱动信号ofg2设定为0v。除此之外，与基于图46的时序波形图的操作相同。

(关于通过曝光操作获得的第一光电转换部和第二光电转换部的输出)

现在，将使用图48来说明通过曝光操作获得的第一光电转换部111和第二光电转换部112的输出。图48是通过绘制如下输出电压而得到的图，该输出电压使通过第一光电转换部111和第二光电转换部112的曝光操作而获得的。在图48中，水平轴表示被单位像素20成像的被摄体的亮度，且垂直轴表示从单位像素20的浮动扩散部fd输出到a/d转换单元204的电压，即对应于从a/d转换单元204输出的数字数据的值。

如上所述，相比于第二光电转换部112，第一光电转换部111具有光电二极管的较大的受光面积。因此，在第一光电转换部111和第二光电转换部112两者执行相同时间段的光电转换操作的情况下，第一光电转换部111能够获得比第二光电转换部112多的信号电荷。换言之，第一光电转换部111是具有高灵敏度的容易饱和且动态范围小的光电转换部。

另一方面，第二光电转换部112是比第一光电转换部111获得少的信号电荷的光电转换部，即，具有低灵敏度的难以饱和且动态范围大的光电转换部。于是，在本实施例中，作为通过使用于蓄积信号电荷的电荷蓄积单元118更难饱和来进一步扩展动态范围的方法，针对第二光电转换部112使用间歇驱动。

在图48中，长短交替点划线表示第一光电转换部111中的关于被摄体亮度的输出特性。另外，在图48中，对于具有不同斜率的三条实线，具有最大斜率的实线表示在不执行间歇驱动(换言之，以100％占空比执行间歇驱动)的情况下第二光电转换部112中的关于被摄体亮度的输出特性。

在具有不同斜率的三条实线之中，具有第二大斜率的实线表示在以50％占空比执行间歇驱动的情况下第二光电转换部112中的关于被摄体亮度的输出特性。在具有不同斜率的三条实线之中，具有最小斜率的实线表示在以25％占空比执行间歇驱动的情况下第二光电转换部112中的关于被摄体亮度的输出特性。

在图48中，还示意性地示出与x轴平行的噪声电平。如从图48可以看出，通过引入间歇驱动，可获得扩展第二光电转换部112的动态范围的作用和效果。另一方面，在执行间歇驱动的情况下，图48所示的输出特性的斜率变小。换言之，通过引入间歇驱动来减小占空比，从而扩展动态范围。另外，在对具有特定亮度的被摄体执行成像的情况下，通过引入间歇驱动来减小占空比，由此减小所获得的信号的值，即降低s/n。被摄体亮度越小，信号的容量就越小。因此，s/n的降低的影响增加。

为了解决这个问题，在本实施例中，采用以下构造，而不是输出通过引入间歇驱动来降低占空比的图像。也就是说，在采用的构造中，在每个像素中设置具有高灵敏度和优异s/n的第一光电转换部111，对从第二光电转换部112获得的通过引入间歇驱动而动态范围扩展的图像和从第一光电转换部111获得的具有优异s/n的图像执行混合合成，并且采用合成的图像。

人的对于具有高亮度的被摄体的可视性高于人的对于具有低亮度的被摄体的可视性。因此，不输出从第二光电转换部112获得的通过引入间歇驱动而具有扩展的动态范围的图像，而是输出通过对从第二光电转换部112获得的图像和从具有高灵敏度和优异s/n的第一光电转换部111获得的图像执行混合合成而获得的图像。因此，根据本实施例的cmos图像传感器100，可以获得以下优异作用和效果：获得具有优异动态范围和优异s/n的图像，其中，人眼可以察觉的噪声被降低。

注意，为了对从第一光电转换部111获得的图像和从第二光电转换部112获得的图像执行混合合成，在执行混合合成之前执行以下处理。也就是说，该处理将第二光电转换部112的关于被摄体亮度的输出特性斜率乘以增益，使得该斜率变得等于第一光电转换部111的关于被摄体亮度的输出特性的斜率。具体地，如图34所示，针对每个像素，单位像素20包括增益计算单元205。

增益计算单元205执行针对每个像素使增益相乘的处理，这些增益对应于由第一光电转换部111和第二光电转换部11之间的灵敏度差导致的输出特性的斜率的差异和由每个像素的曝光时间段的差异引起的输出特性的差异。通过处理，使第二光电转换部112的关于被摄体亮度的输出特性的斜率等于第一光电转换部111的关于被摄体亮度的输出特性的斜率。

图48所示的虚线表示在使增益相乘之后第二光电转换部112的关于被摄体亮度的输出特性。使由虚线表示的输出特性的斜率对应于第一光电转换部111的关于被摄体亮度的输出特性。因此，即使在第一光电转换部111和第二光电转换部112之间的存在灵敏度差异或曝光时间段的差异的情况下，也可带来以下作用和效果，即在混合之后获得了消除这些差异的混合图像。

[第七实施例的变形例1]

在第七实施例的变形例1中，形成在第二半导体器件层102中的1个像素控制单元和1个像素信号处理单元负责控制多个单位像素20和信号处理。图49示出根据第七实施例的变形例1的cmos图像传感器100的系统的三维结构。

在第七实施例中，每个单位像素20包括形成在第二半导体器件层中的像素控制单元和像素信号处理单元。相对地，在第七实施例的变形例1中，形成在第二半导体器件层中的1个像素控制单元和1个像素信号处理单元负责以多个像素为单位的控制和信号处理。另一方面，对应于负责控制多个单位像素20和信号处理的像素控制单元和像素信号处理单元，也提供了形成在第三半导体器件层103中的存储器。

利用根据第七实施例的上述变形例1的cmos图像传感器100，可以增加1个像素控制单元和1个像素信号处理单元的面积。因此，由于可以在像素控制单元和像素信号处理单元上安装更多的晶体管，所以提供了可实现更高级功能的作用和效果。

[第七实施例的变形例2]

在第七实施例的变形例2中，单位像素20包括1个光电转换部。图50是根据第七实施例的变形例2的cmos图像传感器100中的单位像素20的内部构造图。

如图50所示，根据第七实施例的变形例2的单位像素20仅包括作为光电转换部的第二光电转换部112，而省略了图35所示的第一光电转换部111。第二光电转换部112及其周围的构造与图35所示的单位像素20的构造相同。

也就是说，设置有第二光电转换部112、具有溢出路径的第四传输栅单元116、电荷蓄积单元118、排出栅单元119以及形成在第二半导体器件层102中的作为电荷量评估部的被摄体亮度评估单元201和作为曝光时间段控制部的曝光时间段控制单元202。电荷蓄积单元118能够蓄积的电荷量多于第二光电转换部112能够蓄积的电荷量(例如，多于第二光电转换部112能够蓄积的电荷量的100倍)。

在根据第七实施例的变形例2的具有上述结构的单位像素20中，与在第七实施例中说明的间歇驱动方式相同，可以对第二光电转换部112执行用以扩展动态范围的间歇驱动。由于评估从第二光电转换部112溢出的电荷的方法和对第二光电转换部执行间歇驱动的方法与第七实施例相同，因此将省略其说明。

在第七实施例的变形例2中，将使用图51来说明通过曝光操作获得的第二光电转换部112的输出。图51是通过绘制如下输出电压而得到的图，该输出电压使通过第二光电转换部112的曝光操作获得的。

在变形例2中，与第七实施例相同，提供了根据被摄体的亮度而间歇地执行每个像素的曝光以获得具有高动态范围的图像的机构。在输出在每个像素的不同时间段内拍摄的图像之前，执行用于消除曝光时间段的差异的增益计算。与图48相同，图51中描绘的实线表示在以占空比100％、50％和25％执行间歇驱动的情况下的输出特性。对每个像素的输出特性执行上述增益计算，如图51中的虚线所示，执行使输出特性的斜率彼此相等的增益计算，而无论间歇驱动的占空比如何，并且输出计算后的图像。

[第七实施例的变形例3]

在第七实施例的变形例3中，针对每个像素，根据被摄体亮度来改变电荷蓄积单元的电容量的大小。图51是根据第七实施例的变形例3的cmos图像传感器100的单位像素20的内部构造图。

同样，在变形例3中，1个单位像素20以跨越第一半导体器件层101、第二半导体器件层102和第三半导体器件层103的方式形成。于是，在这些第一半导体器件层101、第二半导体器件层102和第三半导体器件层103中，多个单位像素20沿列方向和行方向布置在二维阵列中。

在图52说明的变形例3中，单位像素20包括用于改变每个像素的电荷蓄积单元118的电容量的大小的机构。具体地，电荷蓄积单元118包括多个电荷蓄积单元，例如，三个电荷蓄积单元1181、1182和1183。这三个电荷蓄积单元1181、1182和1183经由布置在它们之间的传输栅单元1201、1202和1203互相并联连接。

对于电荷蓄积单元118的电容量，在需要大电容量的情况下，使传输栅单元1201、1202和1203导通，并且三个电荷蓄积单元1181、1182和1183互相并联连接，以增加电容量的大小。在所需的电容量为小的情况下，使电荷蓄积单元1181、1182和1183之间的传输栅单元1201、1202和1203不导通，以切断电容量。

在曝光时间段控制单元202的控制下执行传输栅单元1201、1202和1203的导通/不导通的控制。也就是说，曝光时间段控制单元202还具有用于控制电荷蓄积单元118的电容量大小的电容量控制单元的功能。

在上述第七实施例中，单位像素20通过使用被摄体亮度评估单元201在曝光时段中的某一点处评估直到该时间时蓄积在电荷蓄积单元118中的电荷量，并且根据被摄体的亮度程度来控制未来曝光时段的长度。

在变形例3中，执行控制，使得单元像素20使用被摄体亮度评估单元201在曝光时段的某一点处评估直到该时间时蓄积在电荷蓄积单元118中的电荷量，并根据被摄体的亮度程度针对每个像素改变单位像素20中包括的电荷蓄积单元118的电容量的大小。

在被摄体的亮度为高的情况下，为了防止电荷蓄积单元118饱和，并且获得具有阶调的数据，优选地，电荷蓄积单元118的电容量值大。然而，在将作为光电转换操作的结果而获得的信号电荷传输到用于电荷-电压转换的浮动扩散部fd的情况下，浮动扩散部fd的输出电压降低，即灵敏度随着电荷蓄积单元118的电容量变大而减小。

在这方面，在变形例3中，在预测到电荷蓄积单元118不饱和的情况下，通过执行使电荷蓄积单元118的电容量的大小减小的控制，可以从浮动扩散部fd获得具有高灵敏度的输出。在被摄体的亮度为低的情况下，对于电荷蓄积单元118的电容量，不需要大电容量。从图49的输出特性可以看出，在被摄体的亮度为低的情况下，由于信号小于被摄体的亮度为高的情况的信号，所以与被摄体的亮度高的情况相比，s/n会劣化。

另一方面，人的对于具有高亮度的被摄体的可视性高于人的对于具有低亮度的被摄体的可视性。在对具有低亮度的被摄体成像(在该过程中，信号小且s/n较差)的像素中，无论人的可视性如何，变形例3提供了通过减小单位像素20中使用的电荷蓄积单元118的电容量来改善s/n的作用和效果。

[第七实施例的变形例4]

在第七实施例的变形例4中，针对每个像素设置在第七实施例中设置的机制(1)和在第七实施例的变形例3中设置的机制(2)(未示出)，其中，机制(1)用于评估被摄体的亮度并根据结果来改变曝光时间段，机制(2)用于评估被摄体的亮度并根据结果来改变电荷蓄积单元118的电容量。

在变形例4中，可以通过使电荷蓄积单元118的电容量最大化并且在对具有高亮度的被摄体执行成像的像素中执行间歇曝光操作来扩展被摄体的能够拍摄具有阶调的图像的亮度范围，由此使得可以拍摄具有宽动态范围的图像。

同时，在变形例4中，在曝光时段继续执行曝光操作，而不在对具有低亮度的被摄体执行成像的像素中执行间歇曝光操作，从而获得尽可能多的信号电荷。另外，通过减少电荷蓄积单元118的电容量来降低在将信号电荷传输到浮动扩散部fd并执行电荷电压转换的情况下的电容量，并且从浮动扩散部fd获得大的输出电压。这样可以拍摄高s/n的图像。

如上所述，通过针对每个像素设置上述机制(1)和(2)，变形例4提供了以下作用和效果：在拍摄包括具有高亮度的被摄体和具有低亮度的被摄体的被摄体的情况下，可以拍摄具有宽动态范围和高s/n的图像。

与根据第一实施例至第六实施例的固态摄像器件相同，根据第七实施例的上述固态摄像器件及其变形例也可用作诸如图33所说明的成像设备等的电子设备的成像单元。与根据第一实施例至第六实施例的固态摄像器件相同，根据第七实施例的上述固态摄像器件及其变形例能够通过对信号电荷的蓄积执行间歇驱动来扩展动态范围。相应地，可以提高成像设备50的图像质量。

注意，本发明可采用以下构造。

[1]一种固态摄像器件，其包括：

像素阵列单元，在所述像素阵列单元中布置有多个单位像素，所述单位像素均包括多个光电转换部；以及

驱动单元，所述驱动单元通过针对所述多个光电转换部的信号电荷的蓄积执行间歇驱动来改变所述多个光电转换部的灵敏度比率。

[2]根据以上[1]的固态摄像器件，其中

所述多个光电转换部均包括第一光电转换部和第二光电转换部，且

所述单位像素均包括电荷-电压转换部、第一传输栅单元、第二传输栅单元和排出栅单元，所述第一传输栅单元将被所述第一光电转换部光电转换的电荷传输到所述电荷-电压转换部，所述第二传输栅单元将被所述第二光电转换部光电转换的电荷传输到所述电荷-电压转换部，所述排出栅单元将被所述第二光电转换部光电转换的电荷排出。

[3]根据以上[2]的固态摄像器件，其中

所述排出栅单元将被所述第二光电转换部光电转换的电荷排出到所述第一光电转换部。

[4]根据以上[2]或[3]的固态摄像器件，其中

所述间歇驱动是由用于驱动所述排出栅单元和所述第二传输栅单元的脉冲信号实现的间歇驱动。

[5]根据以上[2]至[4]中任一项的固态摄像器件，其中

所述驱动单元使所述第二传输栅单元和所述排出栅单元在曝光时段中以相同的频率交替地操作，使得所述第二传输栅单元和所述排出栅单元的导通时段不重叠。

[6]根据以上[3]的固态摄像器件，其中

用于形成所述排出栅单元的栅极电极设置成与所述第一光电转换部的一部分重叠。

[7]根据以上[3]的固态摄像器件，其中

所述排出栅单元包括串联地布置在所述第二光电转换部和所述第一光电转换部之间的两个栅单元，且

在所述两个栅单元之中，位于所述第一光电转换部这一侧处的所述栅单元的栅极电极设置成与所述第一光电转换部的一部分重叠。

[8]根据以上[2]或[3]的固态摄像器件，其中

所述单位像素均包括放大晶体管、复位晶体管和第一切换栅单元，所述放大晶体管输出被所述电荷-电压转换部转换的电压，所述复位晶体管复位所述电荷-电压转换部，所述第一切换栅单元设置在所述第一传输栅单元和所述复位晶体管之间，且

所述电荷-电压转换部具有第一区域和第二区域，所述第一区域被所述第一传输栅单元、所述放大晶体管和所述第一切换栅单元包围，所述第二区域被所述第一切换栅单元、所述复位晶体管和所述第二传输栅单元包围。

[9]根据以上[8]的固态摄像器件，其中

在读取所述第一光电转换部的信号电荷时，所述第一切换栅单元能够针对所述电荷-电压转换部切换高转换效率模式和低转换效率模式。

[10]根据以上[8]或[9]的固态摄像器件，其中

所述单位像素均包括连接到所述第二区域的电容性元件。

[11]根据以上[2]或[3]的固态摄像器件，其中

所述单位像素均包括放大晶体管、复位晶体管和第二切换栅单元，所述放大晶体管输出被所述电荷-电压转换部转换的电压，所述复位晶体管复位所述电荷-电压转换部，所述第二切换栅单元设置在所述第二传输栅单元和所述复位晶体管之间，且

所述电荷-电压转换部具有第一区域和第二区域，所述第一区域被所述第一传输栅单元、所述放大晶体管和所述第二切换栅单元包围，所述第二区域位于所述第二传输栅单元和所述第二切换栅单元之间。

[12]根据以上[11]的固态摄像器件，其中

所述单位像素均包括连接到所述第二区域的电容性元件。

[13]根据以上[2]或[3]的固态摄像器件，其中

所述单位像素均包括放大晶体管、复位晶体管、第一切换栅单元和第二切换栅单元，所述放大晶体管输出被所述电荷-电压转换部转换的电压，所述复位晶体管复位所述电荷-电压转换部，所述第一切换栅单元设置在所述第一传输栅单元和所述复位晶体管之间，所述第二切换栅单元设置在所述第二传输栅单元和所述复位晶体管之间，且

所述电荷-电压转换部具有第一区域、第二区域和第三区域，所述第一区域被所述第一传输栅单元、所述放大晶体管和所述第一切换栅单元包围，所述第二区域被所述第一切换栅单元、所述第二切换栅单元和所述复位晶体管包围，所述第三区域位于所述第二传输栅单元和所述第二切换栅单元之间。

[14]根据以上[13]的固态摄像器件，其中

所述单位像素均包括连接到所述第三区域的电容性元件。

[15]根据以上[1]的固态摄像器件，其中

所述单位像素均包括电荷蓄积单元、第一传输栅单元、第二传输栅单元、第三传输栅单元、第四传输栅单元、排出栅单元、曝光时间段控制部和电荷量评估部，所述第一传输栅单元将被所述第一光电转换部光电转换的电荷传输到所述电荷-电压转换部，所述第二传输栅单元和所述第三传输栅单元均耦合所述电荷蓄积单元和所述电荷-电压转换部的电位，所述第四传输栅单元将被所述第二光电转换部光电转换的电荷传输到所述电荷蓄积单元，所述排出栅单元将被所述第二光电转换部光电转换的电荷排出，所述曝光时间段控制部通过控制所述第四传输栅单元和所述排出栅单元的导通/非导通来控制所述第二光电转换部中的曝光操作的曝光时间段，所述电荷量评估部在所述第二光电转换部中的一次曝光操作的时段中的特定点处评估蓄积在所述电荷蓄积单元中的电荷量，

在所述第四传输栅单元的栅极电极的下部形成溢出路径，所述溢出路径将从所述第二光电转换部溢出的电荷传输到所述电荷蓄积单元，且

所述曝光时间段控制部根据所述电荷量评估部的评估结果来控制所述第二光电转换部中的所述一次曝光操作中的在所述电荷量评估部的评估之后的曝光时间段。

[16]一种固态摄像器件，其包括：

像素阵列单元，所述像素阵列单元包括多个单位像素，所述单位像素均包括光电转换部；

驱动单元，所述驱动单元针对所述光电转换部的信号电荷的蓄积执行间歇驱动；以及

控制系统，所述控制系统基于从所述光电转换部获得的信号电平来控制所述光电转换部的曝光时间段。

[17]根据以上[16]的固态摄像器件，其中

所述控制系统包括被摄体亮度评估部和曝光时间段控制部，所述被摄体亮度评估部基于从所述光电转换部获得的信号电平来评估被摄体的亮度，所述曝光时间段控制部通过基于所述被摄体亮度评估部的评估结果控制脉冲信号的脉冲宽度来控制曝光时间段，所述脉冲信号针对所述光电转换部的信号电荷的蓄积执行间歇驱动。

[18]一种固态摄像器件，其包括：

像素阵列单元，所述像素阵列单元包括多个单位像素，所述单位像素均包括光电转换部，其中，

所述单位像素均包括电荷蓄积单元、传输栅单元、排出栅单元、曝光时间段控制部和电荷量评估部，所述传输栅单元将被所述光电转换部光电转换的电荷传输到所述电荷蓄积单元，所述排出栅单元将被所述光电转换部光电转换的电荷排出，所述曝光时间段控制部通过控制所述传输栅单元和所述排出栅单元的导通/非导通来控制所述光电转换部中的曝光操作的曝光时间段，所述电荷量评估部在光电转换部中的一次曝光操作的时段中的特定点处评估蓄积在所述电荷蓄积单元中的电荷量，并且

所述曝光时间段控制部根据所述电荷量评估部的评估结果来控制所述光电转换部中的所述一次曝光操作中的在所述电荷量评估部的评估之后的曝光时间段。

[19]一种驱动驱动固态摄像器件的方法，其包括：

驱动所述固态摄像器件，所述固态摄像器件包括像素阵列单元，在所述像素阵列单元中布置有多个单位像素，所述单位像素均包括多个光电转换部，且

通过针对所述多个光电转换部的信号电荷的蓄积执行间歇驱动来改变所述多个光电转换部的灵敏度比率。

[20]一种电子设备，其包括：

固态摄像器件，所述固态摄像器件包括：

像素阵列单元，在所述像素阵列单元中布置有多个单位像素，所述单位像素均包括多个光电转换部；以及

驱动单元，所述驱动单元通过针对所述多个光电转换部的信号电荷的蓄积执行间歇驱动来改变所述多个光电转换部的灵敏度比率。

附图标记列表

10(10a、10b)、100cmos图像传感器

11像素阵列单元12垂直驱动单元

13列处理单元14垂直驱动单元

15系统控制单元16(161至16m)像素驱动线

17(171至17n)垂直信号线18信号处理单元

19数据蓄积单元20单位像素

21、22传输晶体管(传输栅单元)

23、27快门晶体管(排出栅单元)

24复位晶体管25放大晶体管

26选择晶体管28(281、282)fd切换晶体管

31被摄体亮度评估部32曝光时间段控制部

50成像设备51光学系统

52成像单元53dsp电路

54帧存储器55显示装置

56记录装置57操作系统

58电源系统59总线

101第一半导体器件层102第二半导体器件层

103第三半导体器件层104第四半导体器件层

105第五半导体器件层111第一光电转换部

112第二光电转换部113第一传输栅单元

114第二传输栅单元115第三传输栅单元

116第四传输栅单元117第一排出栅单元

118电荷蓄积单元119第二排出栅单元

201被摄体亮度评估单元202曝光时间段控制单元

203像素操作控制单元204模拟/数字(a/d)转换单元

205增益计算单元206混合合成单元

211曝光时间存储器212增益计算前像素数据存储器

213增益计算后像素数据存储器

214混合后宽d像素数据存储器

221非线性压缩处理单元222图像信号处理单元

301第一片上透镜302第二片上透镜

cap电容性元件fd、fd1、fd2浮动扩散部

pd1第一光电二极管pd2第二光电二极管