固体摄像器件、固体摄像器件的信号处理方法及电子装置的制作方法

专利名称：固体摄像器件、固体摄像器件的信号处理方法及电子装置的制作方法
技术领域：
本发明涉及固体摄像器件、固体摄像器件的信号处理方法及电子装置。
背景技术：
在诸如电荷耦合器件(Charge Coupled DeviCe，CCD)图像传感器和互补金属氧化 物半导体(Complementary Metal-Oxide Semiconductor, CMOS)图像传感器等固体摄像器 件中，在很多情况下，单位像素在垂直方向和水平方向上按预定间距以格子状图形的方式 排列着(例如见日本专利申请公开公报No. 2007-189085)。目前，由于容易对在垂直方向和水平方向上具有相同间距的像素阵列进行信号处 理，因而这种像素阵列已成为主流。在垂直方向和水平方向上以相同间距排列的像素，即， 各自在垂直方向和水平方向上具有相同尺寸的那些像素被称作方形像素。此外，在垂直方 向和水平方向上以不同间距布置的像素，即，各自在垂直方向和水平方向上具有不同尺寸 的那些像素被称作矩形像素。在旧式摄像机等装置内所使用的固体摄像器件中，在很多情况下使用了垂直尺寸 大于水平尺寸的矩形像素。这是因为在电视广播标准中，规定了沿垂直方向布置的扫描线 的数量，而沿水平方向布置的扫描线的数量存在着自由度，因此如果想要在电视机上显示 图像，当使用方形格子状像素时，优点是很少的。另外，为了通过使用个人计算机来进行图像处理并通过使用机器视觉(machine vision)来进行图像特性的实时提取和识别，方形像素比矩形像素是更优选的。因此，这种 类型的固体摄像器件，即，使用了方形像素的固体摄像器件正越来越多地用于摄像机中。此外，为了提供具有新功能或更好特性的固体摄像器件，在一些情况下采用了在 垂直方向或者水平方向上彼此相邻的像素(以下称作“相邻像素”)之间进行计算的方法。 例如，作为用于扩大动态范围的方法，已存在一种对于偶数行像素和奇数行像素使用不同 的累积时间的方法(例如见日本专利申请公开公报No. 11-150687)。然而，根据上述用于扩大动态范围的方法，如果动态范围是基于一个图像而被扩 大的，则垂直方向上的分辨率会降低一半。在日本专利申请公开公报No. 11-150687中，使 用了两个图像来补偿垂直方向上的分辨率。然而，代替上述问题的是，由于时间迟延而使得 动态分辨率劣化。如果这样在垂直方向或者水平方向上相邻的像素之间进行计算，则上述 方向上的分辨率有所改变。因此，所得到的输出变成与来自于矩形像素的输出相同。最近已经普遍的是，在像素阵列中采用2 u m以下的小的像素间距。2 u m以下的像 素间距小于照相机的透镜(光学系统)的分辨率。作为一般观点的延伸思维，认为像素的精细化会使像素灵敏度降低并使能够处理的信号量减少，但会使分辨率提高。然而，如果像 素间距变得小于透镜的分辨率，则固体摄像器件的分辨率不会被提高。也就是说，透镜的分 辨率限定了固体摄像器件的分辨率的极限。图27示出了透镜的分辨率的示例。即，如果把光圈开大(F值减小)，则透镜的像 差增大，因而分辨率降低。另外，如果把光圈关小(F值增大)，则由于光的波动性而导致衍 射，因而在这种情况下分辨率也降低。将由于波动性而产生的极限称作瑞利极限(Rayleigh limit)。图27示出了大约在F4(F值=4)处分辨率为最高的透镜的示例。即使在F4处， 也难以分辨2 ym以下的像素间距。在单镜头反光式照相机透镜中，在大约F8处分辨率为 最高，因而在很多情况下F值被设定为大约是F8。在单镜头反光式照相机透镜中，当F值大 约为F8或低于F8时，因透镜的像差而产生的极限超过了因波动性而产生的极限。因此，很 难分辨5 ym以下的像素间距。另外，如果透镜系统包括光学低通滤波器，则该光学系统的 分辨率与透镜的分辨率和光学低通滤波器的分辨率二者之中较低的那个分辨率对应。在上述示例中，各个像素的尺寸是被光电转换元件的尺寸所限定的。因此，像素间 距可以参照光电转换元件的间距。如果在垂直方向和水平方向上以空间上相等的间隔对入 射光进行采样，则该像素是方形像素。如果在垂直方向和水平方向上以空间上不同的间隔 对入射光进行采样，则该像素是矩形像素。因此，像素的布局形状不一定必须是方形或者矩 形，例如也可以是诸如智力拼图片(jigsaw puzzle pieces)的形状等复杂形状。

发明内容
本发明的目的是提供一种固体摄像器件、一种固体摄像器件的信号处理方法和一 种电子装置，它们能够进行相邻像素之间的计算以提供更好的特性或者新的功能，从而基 本上发挥出方形像素产品的易处理性并使图像处理和系统构建更加容易。本发明的另一目的是提供即使当像素的精细化超出了分辨率的极限时也能够提 高摄像特性的固体摄像器件、固体摄像器件的信号处理方法和电子装置。为了实现上述目的，本发明实施例的固体摄像器件包括像素阵列部，它被构造为 包括多个矩形像素，每个所述矩形像素在垂直方向和水平方向上具有不同的尺寸，并且多 个相邻的所述矩形像素被组合起来以形成在垂直方向和水平方向上具有相同尺寸的方形 像素；以及信号处理部，它用于进行把从组合起来的多个所述矩形像素读出的多个信号作 为单个信号进行输出的处理。本发明另一实施例的固体摄像器件包括像素阵列部，它包括按照行和列以二维 形式布置的像素；以及信号处理部，它包括判定电路，当所述像素阵列部中的n(2<n)个像 素形成一组且从所述n个像素中依次读出n个信号时，所述判定电路在所述n个信号中的 每一个信号的读出时都判定该信号是否等于或者大于预定值，并且所述信号处理部根据所 述判定电路的判定结果来对小于n个的m(l < m < n)个信号进行预定信号处理。本发明另一实施例的固体摄像器件的信号处理方法包括对配置有多个矩形像素 的像素阵列部的各个所述矩形像素进行信号处理的步骤，每个所述矩形像素在垂直方向和 水平方向上具有不同的尺寸，并且多个相邻的所述矩形像素被组合起来以形成在垂直方向 和水平方向上具有相同尺寸的方形像素。在该信号处理方法中，从组合起来的多个所述矩形像素读出多个信号，并且对从多个所述矩形像素读出的多个信号进行处理并作为单个信 号输出。本发明另一实施例的固体摄像器件的信号处理方法包括对来自像素阵列部的信 号进行处理的步骤，所述像素阵列部包括多个矩形像素，每个所述矩形像素在垂直方向和 水平方向上具有不同的尺寸，并且多个相邻的所述矩形像素被组合起来以形成在垂直方向 和水平方向上具有相同尺寸的方形像素。在该信号处理方法中，从组合起来的多个所述矩 形像素读出灵敏度不同的多个信号，并且对所述多个信号进行处理从而形成方形格子的信 号。本发明另一实施例的电子装置包括固体摄像器件，它包括像素阵列部，所述素阵 列部包括多个矩形像素，每个所述矩形像素在垂直方向和水平方向上具有不同的尺寸，且 多个相邻的所述矩形像素被组合起来以形成在垂直方向和水平方向上具有相同尺寸的方 形像素，并且所述固体摄像器件对从组合起来的多个所述矩形像素读出的多个信号进行处 理并把处理后的信号作为单个信号输出；以及光学系统，它被构造为接收入射到所述固体 摄像器件的摄像面上的入射光。在本发明的各实施例中，将多个矩形像素组合起来形成方形像素，并且从该多个 矩形像素读出的多个信号被作为单个信号而输出。因而，能够将上述单个信号作为来自方 形格子(方形像素)的信号而进行处理。如果在垂直方向和水平方向上以空间上相等的间 隔对入射光进行采样，则能够使多个矩形像素看起来像方形格子。在作为来自方形格子的 信号而被处理的单个信号的情况下，就不必改变在后续阶段处的针对方形格子的信号处理 系统的结构。另外，如果从多个矩形像素的各个信号以适当形式选择或者合成上述单个信 号，则在后续阶段处的信号处理系统中就能够通过使用该单个信号来进行用于改善摄像特 性的处理(例如用于扩大动态范围的处理等)。因此，即使当像素的精细化超出了分辨率的 极限时，也能够在实现像素的精细化的同时改善摄像特性。根据本发明的实施例，在垂直方向或者水平方向上相邻的像素之间进行计算，从 而提供更好的特性或者新的功能。因此，能够基本上发挥出方形像素产品的易处理性，并使 图像处理和系统构建更加容易。即使像素的精细化超出分辨率的极限，且如果像素间距变 得小于接收入射光的光学系统的分辨率，也能够改善摄像特性。


图1是示出了本发明实施例CMOS图像传感器的系统结构概要的系统结构图。图2是示出了第一实施例的像素阵列部中的像素阵列的示例的结构图。图3是示出了对第一实施例的像素阵列部中的像素阵列进行的扫描方法的过程 的概念图。图4是示出了第一实施例的列电路的结构示例的框图。图5是示出了像素阵列部中的像素阵列的示例的结构图，在该像素阵列中，灵敏 度不同的三个像素形成一组。图6是示出了第一实施例的第一变形例的列电路的结构示例的框图。图7A和图7B各自是示出了第一实施例或者第一变形例的列电路的操作的时间顺 序的时序图。
图8A和图8B各自是示出了第一实施例的第二变形例的列电路的操作的时间顺序 时序图。图9是示出了第二变形例的第一具体示例的列电路的结构示例的框图。图10是示出了第二变形例的第二具体示例的列电路的结构示例的框图。图11是示出了第二变形例的第三具体示例的列电路的结构示例的框图。图12是示出了在第三具体示例的列电路的信号处理中所使用的系数与来自第i 行像素的信号之间关系的图。图13是示出了在第三具体示例的列电路的信号处理中所使用的系数与来自第 i+1行像素的信号之间关系的图。图14A和图14B各自是示出了第二变形例的第三具体示例的列电路的操作的时间 顺序的时序图。图15是示出了第一实施例的像素电路的结构示例的电路图。图16是示出了背面入射型像素结构的示例的截面图。图17是示出了第一实施例的变形例的结构图。图18是示出了第二实施例的像素阵列部中的像素阵列的示例的结构图。图19是示出了对第二实施例的像素阵列部中的像素阵列进行的扫描方法的过程 的概念图。图20是示出了第二实施例的像素电路的结构示例的电路图。图21是示出了第二实施例的列电路的结构示例的框图。图22是示出了第三实施例的像素电路的结构示例的电路图。图23是示出了对第三实施例的像素阵列部中的像素阵列进行的扫描方法的过程 的概念图。图24是示出了第三实施例的列电路的结构示例的框图。图25是示出了信号读出系统的变形例的结构图。图26是示出了作为本发明实施例的电子装置示例的摄像装置的结构示例的框 图。图27是示出了透镜的F值与分辨率极限之间关系的图。
具体实施例方式下面参照附图对用于实现本发明的实施方式(以下称作“实施例”)进行详细说 明。将按照以下顺序进行说明1、本发明实施例的固体摄像器件(CMOS图像传感器示例)2、本实施例的特征部分3、变形例4、电子装置(摄像装置示例)1、本发明实施例的固体摄像器件图1是示出了本发明实施例的固体摄像器件(例如，作为一种X-Y地址型固体摄 像器件的CMOS图像传感器)的系统结构概要的系统结构图。这里，所述CMOS图像传感器 是指通过应用CMOS工艺或者使用CMOS工艺的一部分而制成的图像传感器。
如图1所示，本实施例的CMOS图像传感器10被构造为包括在半导体基板(以下 有时称作“芯片”)11上形成的像素阵列部12以及集成在形成有像素阵列部12的同一芯片 11上的周边电路部。在本示例中，例如，周边电路部包括垂直驱动部13、列处理部14、水平 驱动部15、输出电路部16和系统控制部17。在像素阵列部12中，单位像素(以下有时简称为“像素”)按照行和列以二维形式 布置着，各个单位像素包括通过光电转换产生电荷并累积所产生的电荷(以下简称为“电 荷”)的光电转换元件，该光电转换元件中的电荷量与入射光量对应。稍后将会对单位像素 的具体结构进行说明。另外，在像素阵列部12中，各条像素驱动线121对应于具有行和列的像素阵列的 各个行而被设置着，且沿水平方向即行方向(像素行中的像素的排列方向)延伸。另外，各 条垂直信号线122对应于各个列而被设置着，且沿垂直方向即列方向(像素列中的像素的 排列方向)延伸。在图1中，像素驱动线121的数量是每行一条，但不限于此。每条像素驱 动线121的一端连接至垂直驱动部13的对应行的输出端子。例如，垂直驱动部13被构造为包括移位寄存器和地址解码器等，并且用作同时或 者以行为单位驱动像素阵列部12的各个像素的像素驱动部。此处虽然没有图示垂直驱动 部13的具体结构，但垂直驱动部13通常被构造为包括两个扫描系统，即读出(从光电转换 元件至输出电路)扫描系统(以下简称为“读出扫描系统”)和复位扫描系统。读出扫描系统以行为单位依次选择并扫描像素阵列部12的单位像素，从这些单 位像素读出信号。从这些单位像素读出的信号是模拟信号。复位扫描系统对将要受到读出 扫描系统的读出扫描的读出行进行复位扫描，且复位扫描比读出扫描提前与快门速度对应 的时间。利用复位扫描系统的复位扫描，从读出行中的单位像素的光电转换元件中将不必 要的电荷清除出去。因此，光电转换元件得到复位。于是，利用复位扫描系统对不必要的电 荷的复位(清除)，进行所谓的电子快门操作。这里，电子快门操作是指除掉光电转换元件 的电荷并重新开始曝光过程(开始累积电荷)的操作。通过读出扫描系统的读出操作而读出的信号对应于在前一次读出操作或者电子 快门操作之后入射的光量。从前一次读出操作的读出时刻或者电子快门操作的复位时刻到 当前读出操作的读出时刻的期间对应于单位像素中的电荷的累积期间(曝光期间)。从被垂直驱动部13选择并扫描的像素行中的各个单位像素输出的信号通过各条 垂直信号线122被供给到列处理部14。列处理部14以像素阵列部12的像素列为单位对通 过垂直信号线122从所选行的各个单位像素输出的信号进行预定信号处理，并暂时保存该 经过了信号处理的像素信号。具体地，例如，在从各个单位像素接收信号时，列处理部14对该信号进行诸如基 于相关双采样(Correlated Double Sampling，CDS)的降噪、信号放大和AD (模拟/数字) 转换等信号处理。上述降噪过程会除去像素所特有的固定模式噪声，例如复位噪声和放大 晶体管之间的阈值偏差等。这里列举出的信号处理仅仅是示例。因此，信号处理不限于上 述这些。水平驱动部15被构造为包括移位寄存器和地址解码器等，并且从列处理部14依 次选择与像素列对应的单位电路。由于通过水平驱动部15进行的选择和扫描，因此由列处理部14进行了信号处理的像素信号被依次输出到水平总线18，并通过水平总线18传输到 输出电路部16。输出电路部16处理并输出通过水平总线18传输来的信号。由输出电路部16进 行的处理可以仅是缓存处理，或者可以是诸如在缓存之前对黑电平的调节和对各列之间的 偏差的校正等各种数字信号处理。例如，输出电路部16具有差分输出结构，该差分输出结构的输出级输出差分信 号 。也就是说，输出电路部16的输出级对通过水平总线18传输来的各个信号进行处理，并 将所得到的信号作为正相(normal-phase)信号输出。而且，输出电路部16的输出级将该 信号的极性取反，并将所得到的信号作为反相(reverse-phase)信号输出。正相信号通过正相输出端子19A输出到芯片11外部，而反相信号通过反相输出端 子19B输出到芯片11外部。当输出电路部16的输出级具有差分输出结构时，设置在芯片 11外部的信号处理部(例如信号处理集成电路(IC)等)在该信号处理部的被构造为差分 电路的输入级处接收上述正相信号和反相信号。利用上述输出电路部16的输出级的差分输出结构和信号处理IC的输入级的差分 电路结构，就能够通过输出电路部16的输出级与信号处理IC的输入级之间的电流来传输 信息。因此，即使输出电路部16的输出级与信号处理IC的输入级之间的传输路径的长度 增加，在该传输路径上也不会出现充电和放电。因此，能够实现高速系统。系统控制部17接收从芯片11外部供给的例如时钟和操作模式指令数据，并输出 诸如CMOS图像传感器10的内部信息等数据。另外，系统控制部17包括用于生成各种时序 信号的时序发生器。根据由时序发生器生成的各种时序信号，系统控制部17对包括垂直驱 动部13、列处理部14和水平驱动部15等部分的周边电路部进行驱动控制。芯片11的周缘部设置有包括电源端子的输入输出端子组20和21的各个端子。输 入输出端子组20和21在芯片11的内部与外部之间交换电源电压和信号。例如，通过考虑 信号相对于芯片11的进入和输出方向，将输入输出端子组20和21的安装位置确定在方便 的位置处。2、本实施例的特征部分在上述结构的CMOS图像传感器10中，本实施例的特征部分在于各个单位像素的 纵横比被设定为不是1 1(方形像素)，即，单位像素的形状被设定为在垂直方向和水平方 向上具有不同尺寸的矩形(矩形像素)；多个相邻的上述单位像素被组合起来以形成在垂 直方向和水平方向上具有相同尺寸的方形像素；并且从组合起来的多个单位像素输出单个信号。利用该结构，能够把从由多个像素构成的一个单位输出的单个信号作为来自方形 格子(方形像素)的信号进行处理。如果在垂直方向和水平方向上以空间上相等的间隔对 入射光进行采样，则可以使像素看起来像方形格子。在将单个信号作为来自方形格子的信 号进行处理的情况下，不必改变在后续阶段处通常使用的针对方形格子的信号处理系统的 结构。另外，如果从多个像素的各个信号中适当地选择或者合成单个信号，则在后续阶 段的信号处理系统中可以通过使用该单个信号来进行诸如用于扩大动态范围的处理等能 够改善摄像特性的处理。下面对具体实施例进行说明。
第一实施例图2是示出了第一实施例的像素阵列部12中的像素阵列的示例的结构图。如图2所示，像素阵列部12包括以二维的形式布置成多行多列的单位像素30，每个单位像素30 都具有光电转换元件。这里，每个单位像素30都是所谓的横向较长型矩形像素，这种矩形 像素的水平尺寸(行方向上)是纵向尺寸(列方向上)的两倍，也就是说，该矩形像素具有 1 2的垂直与水平间距比。如果本实施例的CMOS图像传感器10能够摄取彩色图像，则在单位像素30的各个 光接收面上设置有例如片上滤色器40等滤色器。这里，在垂直方向上相邻的多个例如两个 单位像素30形成一组。由上下两个像素构成的组设置有同色的片上滤色器40。将片上滤色器40布置成使得各个颜色R(红)、G(绿)和B(蓝)例如具有预定的 关系。例如，此处将颜色编码设计成使两行由重复的GB组合构成的颜色排列和两行由重复 的RG组合构成的颜色排列进行交替。上下两个像素是相同的颜色。因此，一个滤色器能够 覆盖上下两个像素。在像素阵列部12的像素阵列中，各个单位像素30是垂直与水平尺寸比为1 2 的横向较长型矩形像素。因此，如图2所示，用于由上下两个像素构成的组的单个片上滤色 器40的形状是正方形。各个正方形的片上滤色器40被设置用于让两行由重复的GB组合 构成的颜色排列和两行由重复的RG组合构成的颜色排列进行交替而得到的像素阵列。因 此，片上滤色器40的总体颜色排列是所谓的拜尔阵列(Bayer array)。在片上滤色器40被构造为具有以两个像素为一个单位的颜色排列的情况下，能 够获得以下优点。也就是说，随着CMOS工艺的精细化，像素也变得越来越精细化。然而，滤 色器的精细化很难赶上像素的精细化。这是因为，很难在防止滤色器的角部的变圆和脱落 且同时保持滤色器的分光特性的情况下使滤色器精细化。然而，由于上述结构示例的片上滤色器40能够被形成为两个像素的组合尺寸，因 而对像素的精细化是有利的。也就是说，如上所述，如果为每个像素都设置一个滤色器，则 很难根据像素的精细化而使滤色器精细化。然而，本示例中把一个滤色器配置成对应于多 个像素，因而能够适应像素的精细化。扫描方法参照图3，下面说明对第一实施例的像素阵列部12的像素阵列进行的扫描方法， 该像素阵列即是让两行由重复的GB组合构成的颜色排列和两行由重复的RG组合构成的颜 色排列进行交替而得到的像素阵列。在图1的垂直驱动部13的驱动操作下进行上述扫描。 参照图3说明的扫描方法是通常使用的扫描方法。首先，对奇数行进行快门扫描然后对偶数行进行快门扫描。接着，对读出行进行扫 描。这里，快门扫描对应于前面所述的被称作电子快门操作的扫描，并且定义了像素累积的 开始。在快门扫描中，为奇数行的各个像素和偶数行的各个像素设定了不同的快门时刻。具体地，如图3所示，奇数行的各个像素的快门时刻被设定为加长累积时间，而偶 数行的各个像素的快门时刻被设定为缩短累积时间。也就是说，当相邻两行形成一个单位 (一组)时，累积时间被设定为对其中一行(在本示例中为奇数行)的各个像素相对较长， 而对另一行(在本示例中为偶数行)的各个像素相对较短。由于上述快门扫描，来自累积时间较长的奇数行的各个像素的信号是对应于较长累积时间的高灵敏度信号。也就是说，光在较长时间内入射到奇数行的各个像素。因此，来 自奇数行的各个像素的信号能够对暗区域也会捕捉到清晰的图像。然而，在奇数行的各个 像素中即高灵敏度像素中，光电转换元件很快就会饱和。此外，来自累积时间较短的偶数行 的各个像素的信号是对应于较短累积时间的低灵敏度信号。也就是说，入射到偶数行的各 个像素的光量较少。因此，来自偶数行的各个像素的信号能够不会饱和地对亮区域的图像 进行捕捉。列处理部下面对列处理部14进行说明，该列处理部14根据通过上述扫描方法进行的扫描 对从第一 实施例的像素阵列部12的各个像素30输出的信号进行处理。列处理部14是被 设置成与像素阵列部12的各像素列对应的各单位电路的集合。下面把构成列处理部14的 各单位电路称作列电路。图4是第一实施例的列电路14A的结构示例的框图。如图4所示，第一实施例的 列电路14A被构成为包括CDS电路141、判定电路142、用于进行诸如AD转换处理等预定信 号处理的AD转换电路143以及锁存器144。在垂直驱动部13的驱动操作下，各像素的信号按照像素的灵敏度的降序从像素 阵列部12被依次供给到列电路14A。在本示例中，奇数行像素的灵敏度高于偶数行像素的 灵敏度。因此，来自奇数行像素的信号被首先输入到列电路14A，然后来自偶数行像素的信 号被输入到列电路14A。普遍已知的是，列电路14A的⑶S电路141进行这样的信号处理计算出像素信号 的ON电平(稍后说明的信号电平)与OFF电平(稍后说明的复位电平)之间的差，并且计 算出排除了偏移量的信号量。在系统控制部17的控制下，在从像素阵列部12依次读出来自高灵敏度像素的信 号和来自低灵敏度像素的信号时，判定电路142在每一次信号的读出时都进行用于判定该 信号是否等于或大于预定值的处理。例如，像素的饱和电平被用来作为代表判定电路142 的判定基准的预定值。判定电路142、AD转换电路143和锁存器144对来自奇数行像素的信号和来自偶 数行像素的信号进行如下的不同的处理操作。[奇数行]使用像素的饱和电平作为判定基准，判定电路142判定从奇数行像素传输来的信 号是否已经饱和。如果该信号不处于饱和电平，则判定电路142将逻辑“0”写入到标记FL 中。如果该信号处于饱和电平，则判定电路142将逻辑“1”写入到标记FL中。然后，判定 电路142把标记FL与从⑶S电路141接收到的信号一起发送到AD转换电路143。如果标记FL存储着逻辑“0 ” (即，该信号不处于饱和电平)，则AD转换电路143对 这个来自像素的信号(模拟信号)进行AD转换，并将AD转换后的信号传送到锁存器144。 如果标记FL存储着逻辑“ 1”( S卩，该信号处于饱和电平)，则AD转换电路143处于待机状 态，因此不进行AD转换处理。标记FL的值通过AD转换电路143被写入到锁存器144的一 部分中。[偶数行]判定电路142不对从偶数行像素传输来的信号进行判定处理，而是把该信号与来自奇数行像素的信号的判定结果(即，标记FL的值)一起发送到AD转换电路143。在AD 转换电路143从判定电路142接收到来自偶数行像素的信号以及标记FL的值时，仅当标记 FL存储着逻辑“ 1 ”时，AD转换电路143才进行工作以对来自偶数行像素的信号进行AD转 换，并将AD转换后的信号传送到锁存器144。具体地，如果从判定电路142接收到的标记FL所存储的是逻辑“0”，即，如果来自 奇数行像素的信号不处于饱和电平，则AD转换电路143处于待机状态，并且不对来自偶数 行像素的信号进行AD转换处理。另外，如果标记FL所存储的是逻辑“ 1 ”，即，如果来自奇数 行像素的信号处于饱和电平，则AD转换电路143对来自偶数行像素的信号进行AD转换处理。在上述方式中，按照奇数行、偶数行的顺序利用列电路14A对来自两行中的像素(即，上下两个像素)的信号进行了处理。然后，所得到的像素信号的值和标记FL的值都从 锁存器144被读出到图1所示的水平总线18。因此，上下两个像素中的一个像素的信号被 进行了 AD转换并被输出。在此过程中，另一个像素的信号未受到AD转换处理，且AD转换 电路143处于待机状态。上下两个像素共用前面说明的同色的滤色器。如果来自累积时间较长的高灵敏度像素的信号已经饱和，则使用来自累积时间较 短的低灵敏度像素的信号。这里，饱和是指如下状态在该状态下，信号主要处于这样一个 电平，处于该电平的信号对入射光的量基本上没有线性响应。在本示例中，如果从奇数行像 素读出的高灵敏度信号还未饱和，则该高灵敏度信号的信号电平和标记FL的值“0”从列电 路14A被输出到水平总线18。如果从奇数行像素读出的信号已经饱和，则从偶数行像素读 出的低灵敏度信号的信号电平和标记FL的值“ 1，，从列电路14A被读出到水平总线18。然后，根据上述信号电平和标记FL的值，后续阶段的信号处理部(例如，图26中 的数字信号处理器(Digital Signal Processor,DSP) 103)进行信号处理。因此，能够扩大 动态范围。具体地，如果标记FL表明来自高灵敏度像素的信号还未饱和(FL = 0)，则后续 阶段的信号处理部通过使用与标记FL —起作为一对而被提供的来自高灵敏度像素的信号 来生成视频信号。如果标记FL表明来自高灵敏度像素的信号已经饱和(FL= 1)，则后续阶段的信号 处理部使用与标记FL —起作为一对而被提供的来自低灵敏度像素的信号的信号电平来生 成视频信号。通过上述信号处理，能够扩大相对于光输入的动态范围。如果上下两个像素的间距实际上等于或者小于透镜分辨率，则垂直分辨率不会降 低，并且来自上下两个像素的信号就能够被视为如同是从方形像素输出的具有扩大的动态 范围的信号。这里，透镜分辨率是指通过接收入射光的光学系统的透镜在CMOS图像传感器 10的摄像面上形成的图像的分辨率。严格来说，可能在一些情况下，通过除了透镜之外的诸如光学低通滤波器等元件 来确定分辨率。另外，如果考虑不使用所谓的“透镜”而进行摄像，例如使用X射线或者透 射光来直接摄像的情况下，则透镜分辨率是指用于在CMOS图像传感器10的摄像面上形成 图像的光学系统的分辨率。为了使来自上下两个像素的信号看起来像是从单个像素输出的信号，就期望该上 下两个像素的偏移量及灵敏度特性尽可能相似，并且该上下两个像素之间的特性差异小于 通常的像素偏差。否则，在这两个像素的信号之间的过渡区域可能会产生间断(gap)。因此，上下两个像素共用构成像素电路的多个电路元件中的一部分电路元件。稍后会说明像 素对一部分电路元件的共用。另外，如前所述，列电路14A被构造为使得形成一个组的两个像素(在本示例中 为高灵敏度像素和低灵敏度像素)中的一个像素的信号受到AD转换，并且另一像素的信号 未受到AD转换且AD转换电路143处于待机状态。该配置的优点是，与对两个像素的各个 信号都进行AD转换处理的情况相比，由于AD转换电路143处于待机状态因而能够降低电 能消耗。上述信号处理技术的应用不限于CMOS图像传感器10 (该CMOS图像传感器10被 构造为 通过组合多个矩形像素来形成方形像素，并且把从多个矩形像素读出的多个信号作 为单个信号输出从而作为方形像素信号的)。也就是说，不管单位像素30的形状如何，上述 信号处理技术通常都能够应用于单位像素30按照行和列以二维形式布置而得到的CMOS图 像传感器。另外，在本示例中，已经作为示例说明了包括高灵敏度像素和低灵敏度像素的两 个像素形成一组的情况。然而，形成一组的像素的数量不限于两个。另外，对像素的信号进 行的信号处理不限于AD转换处理。也就是说，当像素阵列部12中的n(2彡η)个像素(在本示例中η = 2)形成一组 并且从该η个像素依次读出η个信号时，判定电路142在这些信号中的每一个信号的读出 时都判定该信号是否等于或者大于预定值。然后，根据判定结果，对m个信号进行预定信号 处理，其中，m小于η (1 < m < η)。因此，由于不对其他(n-m)个信号进行预定信号处理，因 而能够降低电能消耗。η = 3时进行的列处理下面参照一个示例来说明第一变形例的列处理(列电路14Α-1进行的信号处理)， 在该示例中，例如，数量η不是两个而例如可以是三个，即灵敏度互不相同的三个像素形成一组。图5示出了其中让灵敏度不同的三个像素形成一组而得到的像素阵列部12的像 素阵列的示例。如图5所示，在本示例中，将颜色编码设计成使三行由重复的GR组合构成 的颜色排列和三行由重复的BG组合构成的颜色排列进行交替。另外，在垂直方向上相邻的 同色的三个像素形成一组，并且它们例如具有如下的灵敏度高低关系这三个像素中最上 面的像素具有最高灵敏度，且这三个像素中最下面的像素具有最低灵敏度。然而，灵敏度高低关系不限于上述顺序。在任何一种灵敏度高低关系中，优选的 是，在垂直驱动部13的驱动操作下，来自高灵敏度像素的信号被首先读出并输入到第一实 施例的第一变形例的列电路14Α-1中。图6示出了第一实施例的第一变形例的列电路14Α-1的结构示例。本变形例的列 电路14Α-1具有与图4所示第一实施例的列电路14Α基本相同的结构。列电路14Α-1与列 电路14Α的不同之处在于锁存器144'由两个锁存器1和2形成。判定电路142、AD转换电路143和锁存器144'对来自第一行、第二行和第三行的 各个像素的信号进行以下的不同的处理操作。「第一行 1使用像素的饱和电平作为判定基准，判定电路142判定从第一行像素传输来的信号是否还未饱和。如果信号不处于饱和电平，则判定电路142将逻辑“O”写入到标记FL中。 如果信号处于饱和电平，则判定电路142将逻辑“1”写入到标记FL中。然后，判定电路142 把标记FL与从⑶S电路141接收到的信号一起发送到AD转换电路143。
如果标记FL存储着逻辑“0 ”( S卩，该信号不处于饱和电平)，则AD转换电路143进 行工作以对像素的模拟信号进行AD转换，并将AD转换后的信号写入到锁存器144'的锁存 器1中。如果标记FL存储着逻辑“ 1”( S卩，该信号处于饱和电平)，则AD转换电路143处 于待机状态，因此不进行AD转换处理。标记FL的值通过AD转换电路143被写入到锁存器 144'的一部分中。「第二行 1
判定电路142不对从第二行像素传输来的信号进行判定处理，而是把该信号与来 自第一行像素的信号的判定结果(即，标记FL的值)一起发送到AD转换电路143。在AD 转换电路143从判定电路142接收到来自第二行像素的信号和标记FL的值时，不管标记FL 的值如何，AD转换电路143都进行工作以对来自第二行像素的信号进行AD转换。在此过 程中，如果标记FL存储着逻辑“0”，则AD转换电路143将AD转换结果写入到锁存器144' 的锁存器2中。如果标记FL存储着逻辑“1”，则由于锁存器144'的锁存器1是空的，因此 AD转换电路143将AD转换结果写入到锁存器1中。「第三行1判定电路142不对从第三行像素传输来的信号进行判定处理，而是把该信号与来 自第一行像素的信号的判定结果(即，标记FL的值)一起发送的AD转换电路143。在AD 转换电路143从判定电路142接收到来自第三行像素的信号和标记FL的值时，仅当标记FL 所存储的是逻辑“ 1 ”时，AD转换电路143才进行工作以对来自第三行像素的信号进行AD转换。具体地，如果从判定电路142接收到的标记FL所存储的是逻辑“0”，即，如果来自 第一行像素的信号不处于饱和电平，则AD转换电路143处于待机状态，并且不对来自第三 行像素的信号进行AD转换处理。另外，如果标记FL所存储的是逻辑“ 1 ”，即，如果来自第一 行像素的信号处于饱和电平，则AD转换电路143对来自第三行像素的信号进行AD转换处 理，并且将AD转换结果写入到锁存器144'的锁存器2中。通过列电路14A-1以上述方式对来自三个像素的信号进行了处理。然后，锁存器 144'的两个锁存器1和2中的标记FL的值和信号的值被读出到图1所示的水平总线18。 由于通过列电路14A-1进行的信号处理，这三个像素中的两个像素的信号得到了 AD转换并 被输出。更具体地，如果最初读出的高灵敏度像素的信号已经饱和，则该高灵敏度像素的 信号不会受到AD转换处理，并且中等灵敏度像素的信号的AD转换结果和低灵敏度像素的 信号的AD转换结果被写入到锁存器144'的锁存器1和锁存器2中。此外，如果最初读出 的高灵敏度像素的信号还未饱和，则该高灵敏度像素的信号和中等灵敏度像素的信号受到 AD转换，并且这两个信号的AD转换结果被写入到锁存器144'的锁存器1和锁存器2中。 低灵敏度像素的信号未受到AD转换处理。写入到锁存器144'的两个锁存器1和2中的标记FL的值和数字信号被输出到水 平总线18。然后，后续阶段的信号处理部(例如，图26中的DSP 103)根据这些信号的值和标记FL的值进行信号处理。因此，能够扩大动态范围。在依次读出形成为一组的三个像素的信号的上述处理示例中，根据由判定电路 142作出的对信号电平的判定，AD转换电路143仅工作两次，并待机一次。因此，与AD转换 电路143对三个像素的各个信号工作三次的情况相比，本示例能够降低电能消耗。上面说明了通常对三个像素中的两个像素进行AD转换的示例。然而，如果也通过 判定电路142判定来自第二行像素的信号的信号电平，且如果与来自第一行像素的信号一 样，来自第二行像素的信号也已经饱和，则对于来自第二行像素的信号，AD转换电路143也 可以处于待机状态。在这种情况下，会发生微小的变化，例如标记FL变为2位(two bit) 等。然而，这样的变化能够被设计者充分预料到。
如上所述，根据设计者的想法可以有各种应用。也就是说，本发明的技术范围不限 于在上述实施例中说明的范围。因此，在不偏离本发明要旨的范围内，能够以各种方式对上 述实施例进行修改或者改进，并且这些修改或者改进的实施例也包含于本发明的技术范围 中。对本领域技术人员显而易见的是，本发明也能够用于处理来自灵敏度不同的四个以上 像素的信号。图7A和图7B各自示出了操作的时间顺序，下面参照图7A和图7B来概括说明当数 量η是两个或者三个时所进行的列处理的上述概要。图7Α和图7Β示出了两个处理示例。如图7Α所示，首先从具有最高灵敏度的第i行像素读出信号。响应于此操作，判 定电路142判定从第i行像素读出的信号是否已经饱和。在此过程中，如果判定该信号未 饱和，则在第i行的AD转换期间对来自第i行像素的信号进行AD转换处理。另外，如果判定该信号已饱和，则在第i行的AD转换期间不对该信号进行AD转换 处理，且AD转换电路143处于待机状态。在此过程中，针对各个像素列来进行像素的信号 是否已经饱和的判定。因此，来自第i行像素的信号可能来自受到了 AD转换处理的像素列 或者来自未受到AD转换处理的像素列。然后，从灵敏度比第i行像素的灵敏度低的第i+Ι行像素读出信号。在第i+Ι行 的AD转换期间，来自第i行中受到了 AD转换处理的像素列的信号不受到AD转换处理，且 AD转换电路143处于待机状态。此外，来自第i行中未受到AD转换处理的像素列的信号受 到AD转换处理。如上所述，在第一实施例的列处理中，例如，为来自两行像素的信号的读出提供了 两个AD转换期间。另外，AD转换电路143在上述两个AD转换期间中的一个AD转换期间 内工作。此外，如图7B所示，在如下的处理示例中AD转换电路143也是在两个AD转换期 间中的一个AD转换期间内工作，该处理示例是在针对来自给定行的像素的信号进行的AD 转换期间内，并行地进行来自下一行的像素的信号的读出。AD转换电路143在两个AD转换期间中的一个AD转换期间内进行AD转换处理的 操作意味着该AD转换电路143在另一个AD转换期间内处于待机状态。因此，由于AD转换 电路143的待机状态，因而能够降低电能消耗。在上述第一实施例或者第一变形例的列处理(列电路14A或者14A-1进行的信号 处理)中，AD转换电路143并不总是保持在工作状态，而是在适当时处于待机状态，因而能 够降低电能消耗。作为第二变形例的列处理，下面说明除了能够实现电能消耗的降低之外 还能实现信号处理时间的缩短的列处理。
图8A和图8B各自是示出了第二变形例的列电路的操作的时间顺序的时序图。图 8A和图8B示出了两个处理示例。假设第二变形例的列电路包括采样/保持(S/H)电路。如图8A所示，例如，首先从作为奇数行的第i行的像素读出信号。响应于该操作，判定电路142判定从第i行像素读出的信号是否已经饱和。如果判定来自第i行像素的信 号未饱和，则通过采样/保持电路对该信号进行保持。在此过程中，未饱和的信号不一定必 须通过采样/保持电路来予以保持。然后，从作为偶数行的第i+Ι行的像素读出信号。在此过程中，如果前面的来自第 i行像素的信号还未饱和，则来自第i+Ι行像素的信号被阻挡在采样/保持电路之外。反 之，如果来自第i行像素的信号已经饱和，则通过采样/保持电路对来自第i+Ι行像素的信 号进行保持。然后，该处理进入AD转换期间，并且AD转换电路143对由采样/保持电路保 持的信号进行AD转换处理。如上所述，当数量η是两个时，例如，在第二变形例的列处理中，将一个AD转换期 间设定为对应于来自两行像素的信号的读出。也就是说，由于不需要在来自两行像素的信 号的读出时的待机时间，因而能够缩短AD转换期间。因此，与第一实施例或者第一变形例 中将两个AD转换期间设定为对应于来自两行像素的信号的读出的列处理相比，本示例的 列处理能够提高信号处理速度。另外，如果使本示例的信号处理速度与第一实施例或者第一变形例的列处理的信 号处理速度一样低，则能够提高该低速信号处理时的精度，例如AD转换处理的转换精度。 另外，利用为来自两行像素的信号的读出而设定的一个AD转换期间，本示例能够实现比设 定有两个AD转换期间的情况下更低的电能消耗。如图8Β所示，例如，在如下的处理示例中也为来自两行像素的信号的读出仅设定 了一个AD转换期间，该处理示例是在针对来自两行像素的信号进行的AD转换期间内，并 行地进行来自下一个两行像素的信号的读出。下面说明用于实现上述第二变形例的列处理的列电路14Α的具体示例。图9示出了第二变形例的第一具体示例的列电路14Α-2的结构示例的框图。在该 图中，与图4中的元件相同的元件用相同的附图标记表示。如图9所示，除了包括具有采样/保持电路的⑶S电路141'、判定电路142、AD转 换电路143和锁存器144之外，第一具体示例的列电路14A-2被构造为还包括多路复用器 (MUX) 145。下面将⑶S电路141 ‘作为⑶S及S/H电路141 ‘进行说明。多路复用器145适当地选择把通过对应的垂直信号线122输入过来的像素信号供 给至⑶S及S/H电路141'还是通过电容元件C将该信号释放到接地。除了⑶S及S/H电 路141'包括采样/保持电路之外，该⑶S及S/H电路141'基本上与第一实施例的⑶S电 路141相同。另外，判定电路142、AD转换电路143和锁存器144也是基本上与第一实施例 中的那些元件相同。下面说明通过第一具体示例的上述结构的列电路14A-2进行的信号处理。例如， 在来自作为奇数行的第i行的像素的信号的到达时刻，判定电路142控制多路复用器145， 从而向⑶S及S/H电路141'提供来自第i行像素的信号。因此，来自第i行像素的信号受 到⑶S及S/H电路141 ‘的⑶S处理，并被采样/保持电路保持。判定电路142判定由⑶S及S/H电路141'保持的来自第i行像素的信号是否已经饱和。然后，判定电路142将判定结果写入到标记FL中，并保存用于识别该来自第i行 像素的信号的识别信息。在此过程中，如果该信号被判定为未饱和，则判定电路142将多路 复用器145切换到电容元件C。此外，如果该信号被判定为已饱和，则判定电路142维持多 路复用器145的当前状态(与⑶S及S/H电路141'连接)。然后，从作为偶数行的第i+Ι行的像素读出信号。如果前面的来自第i行像素的信 号还未饱和，则多路复用器145已切换到电容元件C。因此，来自第i+Ι行像素的信号不会 被输入到⑶S及S/H电路141 ‘，而是通过电容元件C被释放到接地。另外，⑶S及S/H电 路141'继续保持前面的来自第i行像素的信号。如果来自第i行像素的信号已经饱和，则 把来自第i+Ι行像素的信号输入到⑶S及S/H电路141 ‘，从而通过⑶S及S/H电路141 ‘ 进行⑶S处理、采样和保持。然后，该处理进入AD转换期间。AD转换电路143对从⑶S及S/H电路141 ‘供给 来的 信号进行AD转换，并将AD转换后的信号传送到锁存器144。在此过程中，AD转换电路 143从判定电路142接收用于表明该AD转换后的信号来自奇数行还是偶数行的识别信息， 并将该识别信息传送到锁存器144。另外，判定电路142将多路复用器145切换至CDS及 S/H电路141'。然后，对来自第i+2行像素的信号和来自第i+2行后面各行像素的信号以 类似的方式重复进行信号处理。根据上述一系列信号处理，可以获得能够实现前面说明的用于扩大动态范围的处 理的信号。在上述信号处理中，当不需要来自第i+Ι行像素的信号时，多路复用器145不是 执行使垂直信号线122与⑶S及S/H电路141 ‘之间的连接简单断开的操作，而是执行切换 至电容元件C的操作，从而防止垂直信号线122的电容出现大的变化。图10示出了第二变形例的第二具体示例的列电路14A-3的结构示例的框图。在 该图中，与图4中的元件相同的元件用相同的附图标记表示。如图10所示，第二具体示例的列电路14A-3被构造为在⑶S电路141与AD转换 电路143之间设置有S/H电路146，判定电路142与S/H电路146并行设置着，并且计算电 路147被设置为替代锁存器144。⑶S电路141、判定电路142和AD转换电路143基本上与 第一实施例中的那些相同。稍后对计算电路147的功能进行详细说明。下面，说明通过第二具体示例的上述结构的列电路14A-3进行的信号处理。例如， 把来自作为奇数行的第i行的像素的信号输入至⑶S电路141，以通过⑶S电路141进行 ⑶S处理。判定电路142判定经过了⑶S处理的来自第i行像素的信号是否已经饱和，并将 判定结果写入到标记FL中。在此过程中，判定电路142还控制S/H电路146。具体地，如果来自第i行像素的 信号还未饱和，则判定电路142使S/H电路146工作，从而将信号保持在S/H电路146中。 如果来自第i行像素的信号已经饱和，则判定电路142可以使S/H电路146工作或不使S/ H电路146工作。随后，从作为偶数行的第i+Ι行的像素中读出信号，并通过⑶S电路141对该信号 进行⑶S处理。在此过程中，判定电路142参照标记FL。如果前面的来自第i行像素的信 号已经饱和，则判定电路142使S/H电路146工作，从而将来自第i+Ι行像素的信号保持在 S/H电路146中。如果来自第i行像素的信号还未饱和，则判定电路142不使S/H电路146 工作，并且让S/H电路146继续保持来自第i行像素的信号。
然后，该处理进入AD转换期间。AD转换电路143对从S/H电路146接收到的信号 进行AD转换，并将AD转换后的信号传送到计算电路147。计算电路147参照通过AD转换 电路143进行的AD转换的结果和从判定电路142接收到的标记FL的值，并进行扩大动态 范围的处理。计算电路147已经被输入有第i行和第i+Ι行各自的累积时间的信息，该信 息对全部像素列是通用的。另外，计算电路147直接保存来自奇数行的信号，并且保存被乘 上了累积时间比(accumulation time ratio)的来自偶数行的信号。因此，作为信号计算电路147的计算结果，可以获得经过了动态范围扩大处理的 信号。也就是说，第二具体示例的列电路14A-3也能进行与该列电路14A-3相关的上述动 态范围扩大处理。
图11是示出了第二变形例的第三具体示例的列电路14A-4的结构示例的框图。 在该图中，与图10中的元件相同的元件用相同的附图标记表示。在第一具体示例的列电路 14A-2和第二具体示例的列电路14A-3这两个例子中，处理来自两行(η = 2)灵敏度不同的 像素的信号。此外，第三具体示例的列电路14Α-4的例子处理来自三行(η = 3)灵敏度不 同的像素的信号。如图11所示，第三具体示例的列电路14Α-4被构造为包括对应于每个像素列而设 置的两个采样/保持(S/H)电路146 (S/H电路1和S/H电路2)。列电路14Α-4的其它元 件基本上与第二具体示例的列电路14Α-3的元件相同。下面将两个S/H电路1和2统称为 S/H电路146'进行说明。从像素阵列部12读出像素的信号，且同色的三个像素的信号按照第i行、第i+1 行和第i+2行(i代表3的倍数)的顺序被连续读出。另外，第i行像素具有最高灵敏度， 该第i行像素的信号是上述三个像素的信号中被最先读出的信号，第i+2行像素具有最低 灵敏度，该第i+2行像素的信号是上述三个像素的信号中被最后读出的信号。⑶S电路141的操作与第一实施例中相同。判定电路142、AD转换电路143和计 算电路147对来自第i行、第i+Ι行和第i+2行像素的信号讲行以下的不同的操作。「第 i 行 1判定电路142首先判定受到⑶S电路141的⑶S处理的来自第i行像素的信号是 否已经饱和，并将判定结果写入到标记FL中。类似于第二具体示例，判定电路142还控制 S/H电路146' (S/H电路1和2)。具体地，如果来自第i行像素的信号还未饱和，则判定电 路142使S/H电路1工作，从而把来自第i行像素的信号保持在S/H电路1中。如果来自 第i行像素的信号已经饱和，则判定电路142不使S/H电路1和2工作。「第 i+Ι 行 1判定电路142参照标记FL的值。如果来自第i行像素的信号已经饱和，则判定电 路142使S/H电路1接收受到⑶S电路141的⑶S处理的来自第i+Ι行像素的信号。如果 来自第i行像素的信号还未饱和，则判定电路142使S/H电路2接收受到⑶S电路141的 ⑶S处理的来自第i+Ι行像素的信号。「第 i+2 行 1判定电路142参照标记FL的值。如果来自第i行像素的信号已经饱和，则判定电 路142使S/H电路2接收受到⑶S电路141的⑶S处理的来自第i+2行像素的信号。如果 来自第i行像素的信号还未饱和，则判定电路142不使S/H电路1和2工作。
AD转换及以后然后，AD转换电路143对由S/H电路1保持的信号进行AD转换处理，并将该AD转 换后的信号传送到计算电路147。然后，AD转换电路143对由S/H电路2保持的信号进行 AD转换处理，并将该AD转换后的信号传送到计算电路147。根据通过判定电路142传送的标记FL的值和通过AD转换电路143进行的两次AD 转换的结果，计算电路147进行动态范围扩大处理。计算电路147已经被输入有第i行、第 i+1行和第i+2行各自的累积时间的信息，该信息对全部像素列是通用的。另外，如果待计算的信号是来自第i行像素的信号和来自第i+Ι行像素的信号，则 计算电路147进行SiX (1-α ^+SwXr1X α 的计算处理，并对该计算结果进行保存。
这里，Si代表第i行的信号，Si+1代表第i+Ι行的信号，巧代表第i行像素与第i+1 行像素之间的灵敏度比，并且Q1代表系数。如图12所示，系数、采取由第i行的信号51 决定的从0至1的范围内的值。在靠近饱和电平的区域中，系数h被设定为使贡献率增 加的值(接近1的值)。具体地，在大约一半饱和电平以下的区域内，系数、为0，而在高 于大约一半饱和电平的区域内，系数α ！根据第i行的信号Si从0至1呈线性变化。如果待计算的信号是来自第i+Ι行像素的信号和来自第i+2行的信号，则计算电 路147进行SwXr1X (l-a2)+Si+2Xr2X a 2的计算处理，并且对该计算结果进行保存。这里，Si+2代表第i+2行的信号，r2代表第i行像素与第i+2行像素之间的灵敏度 比，并且a 2代表系数。如图13所示，系数％采取由第i+Ι行的信号Si+1决定的从0至1 范围内的值。在靠近饱和电平的范围内，系数Ci2被设定为使贡献率增加的值(接近1的 值)。具体地，在大约一半饱和电平以下的区域内，系数^2为0，而在高于大约一半饱和电 平的区域内，系数a 2根据第i+Ι行的信号Si+1从0至1呈线性变化。由此，来自三个像素的信号受到列电路14A-4的处理，并且作为该处理结果的来 自计算电路147的输出被读出到图1所示的水平总线18。因此，来自三个像素中的两个像 素的信号被合成并读出。如果最先读出的高灵敏度像素的信号已经饱和，则该高灵敏度像素的信号不会受 到AD转换处理。因此，中等灵敏度像素的信号和低灵敏度像素的信号被合成并输出。另外， 如果最初读出的高灵敏度像素的信号还未饱和，则该高灵敏度像素的信号和中等灵敏度像 素的信号受到AD转换并被合成。低灵敏度像素的信号未受到AD转换处理。因此，AD转换 电路143的对于三个信号的工作减少为两次AD转换处理。图14A和图14B各自是第三具体示例的列电路14A-4的操作的时间顺序的时序 图。图14A和图14B示出了两个处理示例。在图14A的第一处理示例中，从第i行像素至第i+2行像素读出信号，然后进行两 次AD转换。图14B的第二处理示例基本上与图14A的第一处理示例相同。然而，在图14B 的处理示例中，在来自第i+2行像素的信号的读出之后，紧接着进行来自第i+3行像素的信 号的读出，且与来自第i+3行像素的信号的读出处理一起并行地进行AD转换处理。这里，如前所述，饱和是指信号主要处于如下电平的状态处于该电平的信号对入 射光的量基本上没有线性响应。在第三具体示例的列处理中，信号是按照灵敏度的降序从 像素读出的。然而，在按照灵敏度的升序从像素读出信号的情况下，也能够实现列处理。如上所述，通过将AD转换电路143的对于三个信号的工作减少为两次AD转换处理，能够减少AD转换处理的次数。因此，与对三个信号进行三次AD转换处理的情况相比， 本示例能够提高信号处理速度。另外，如果允许本示例的处理速度与对三个信号进行的三 次AD转换处理的处理速度是相同的处理速度(低速)，则能够提高该低速信号处理时的精 度，例如AD转换处理的转换精度。通过减少AD转换处理的次数，还能够使电能消耗降低。像素电路图15示出了第一实施例的像素电路的结构示例的电路图。如图15所示，上下两个像素30U和30L分别包括作为光电转换元件的光电二极管(PD) 31U和31L以及传输晶体 管32U和32L。另外，上下两个像素30U和30L被构造为共用一些电路元件，例如共用包括 复位晶体管33、选择晶体管34和放大晶体管35的三个晶体管。在本示例中，例如，各个像素晶体管32U、32L和33 35使用N沟道MOS晶体管， 但不限于此。另外，为了对传输晶体管32U和32L、复位晶体管33以及选择晶体管34进行 驱动控制，为各个行设置有传输控制线1211U和1211L、复位控制线1212以及选择控制线 1213以作为前述的像素驱动线121。传输晶体管32U连接在光电二极管3IU的阴极电极与浮动扩散部(FD =Floating Diffusion Capacitance ；浮动扩散电容)36之间，并且传输晶体管32L连接在光电二极 管31L的阴极电极与浮动扩散部36之间。高激活传输脉冲(high-active transmission pulse) TRGu通过传输控制线1211U被供给到传输晶体管32U的栅极电极，并且高激活传输 脉冲TRGI通过传输控制线1211L被供给到传输晶体管32L的栅极电极。因此，传输晶体管 32U和32L分别向浮动扩散部36传输由光电二极管31U和31L进行光电转换并累积在光电 二极管31U和31L中的电荷(此处为电子)。浮动扩散部36起到将电荷转换为电压信号的 电荷电压转换单元的作用。复位晶体管33的漏极电极和源极电极分别连接至电源电压Vdd的电源线和浮动 扩散部36。在从光电二极管31U和31L向浮动扩散部36传输电荷之前，通过复位控制线 1212向复位晶体管33的栅极电极供给高激活复位脉冲(high-active reset pulse)RST0 因此，复位晶体管33对浮动扩散部36的电位进行复位。选择晶体管34的漏极电极和栅极电极分别连接至电源电压Vdd的电源线和选择 控制线1213。高激活选择脉冲(high-active selection pulse) SEL通过选择控制线1213 被供给到选择晶体管34的栅极电极。因此，选择晶体管34使单位像素(30U或者30L)处 于被选状态。放大晶体管35的栅极电极、漏极电极和源极电极分别连接至浮动扩散部36、选择 晶体管34的源极电极和垂直信号线122。在利用选择晶体管34使单位像素(30U或者30L) 处于被选状态的情况下，放大晶体管35从单位像素(30U或者30L)将信号输出到垂直信号 线 122。具体地，放大晶体管35把已被复位晶体管33复位的浮动扩散部36的电位作为复 位电平输出。另外，在通过传输晶体管32U或者32L从光电二极管3IU或者31L向浮动扩 散部36传输电荷之后，放大晶体管35将浮动扩散部36的电位作为信号电平输出。在此处说明的示例中，各个单位像素30基于包括传输晶体管32U或者32L、复位晶 体管33、选择晶体管34以及放大晶体管35的四晶体管结构。然而，本示例仅是一个例子。 也就是说，单位像素30的像素结构不限于基于四晶体管结构的像素结构，也可以是例如基于三晶体管结构的像素结构。另外，在上述结构的像素电路中，选择晶体管34连接在电源电压Vdd的电源线与 放大晶体管35之间。然而，选择晶体管34也可以被构造为连接在放大晶体管35与垂直信 号线122之间。
根据上述结构的像素电路，在电荷已经从光电二极管31U或者31L传输到浮动扩 散部36之后，对所述电荷进行检测。因此，两个像素30U和30L共用作为电荷传输目的地 的同一浮动扩散部36。因此，两个像素30U与30L之间的灵敏度特性是均衡的。作为连接 至放大晶体管35的栅极电极的节点，浮动扩散部36具有寄生电容。因而，并不是特别需要 准备电容元件。如上所述，在包括作为按照行和列布置而成的横向较长型矩形像素的单位像素30 的CMOS图像传感器10中，通过使用来自形成一组的上下两个像素30U和30L的各个信号 中的更好一者，能够获得以下的作用效果。通常，如果根据从上下两个像素30U和30L的各 个信号选出的信号(或合成的信号)来生成视频信号，则垂直方向(竖直方向)上的分辨 率降低。然而，在上述结构的CMOS图像传感器10中，垂直方向上的分辨率和水平方向上的 分辨率相等，并且能够基本上与方形像素类似地对上下两个像素30U和30L进行处理。在 图像中，垂直方向上的采样间距仅在信号量发生改变的上下两个像素30U与30L之间的过 渡区域中是不相等的。因此，为了处理的完全性，可以对该区域附加地进行轻微处理。另外，如果垂直方向上的像素间距随着像素的精细化而减小并且变得小于用来接 收入射光的光学系统的分辨率，则CMOS图像传感器10的分辨率不由垂直方向上的像素间 距来决定，而是由该光学系统的分辨率来决定。因此，如果垂直方向上的像素间距小于用 来接收入射光的光学系统的分辨率，则基本上不必对信号量发生改变的、上下两个像素30U 与30L之间的过渡区域进行上述轻微处理。也就是说，如果像素的精细化超出了分辨率的极限并且垂直方向上的像素间距变 得小于用来接收入射光的光学系统的分辨率，则使用来自上下两个像素30U和30L的各个 信号中的更好一者。由此，与如果保持分辨率则会使摄像特性劣化的现有技术相比，可以在 保持分辨率的同时提高摄像特性。例如，如果上下两个像素30U和30L中一个像素的信号 是高灵敏度信号且另一像素的信号是低灵敏度信号，并且如果该高灵敏度信号已经饱和， 则使用低灵敏度信号来生成视频信号。因此，能够扩大相对于光输入的动态范围。变形例在很多CMOS图像传感器中，为了提高灵敏度，在个体的片上滤色器40上对应于各 个像素都设置有片上透镜。在第一实施例中，各个单位像素30具有横向较长的形状。因而， 很难通过使用片上透镜来精确地收集光。这是因为，很难制造非圆形的片上透镜，并且重要 的是，很难通过使用非圆形的透镜来收集光。[第一变形例]为了解决通过使用片上透镜来收集光时的问题，优选采用具有100%的开口率且 不使用片上透镜的像素结构，该像素结构例如是背面入射型像素结构或者光电转换膜层叠 型像素结构。背面入射型像素结构从布线层的相对侧接收入射光。光电转换膜层叠型像素 结构在层叠于布线层的入射光侧上的光电转换膜处进行光电转换。下面说明背面入射型像素结构的示例。图16是示出了背面入射型像素结构的示例的截面图。这里，示出了两个像素的截 面结构。在图16中，在硅部41中形成有光电二极管42和像素晶体管43。也就是说，硅部 41是元件形成部。这里，光电二极管42对应于图15的光电二极管31U和31L。另外，像素 晶体管43对应于图15的晶体管32U和32L及33 35。在硅部41的一侧，隔着层间膜44形成有滤色器45。利用此结构，从硅部41的上 述一侧入射的光通过滤色器45而被引导至光电二极管42的各个光接收面。在硅部41的 另一侧，形成有布线部46，在该布线部46中设置有像素晶体管43各自的栅极电极和金属布 线。布线部46的与硅部41相背离的表面通过粘合剂47与支撑基板48粘接。 在上述像素结构中，形成有光电二极管42和像素晶体管43的硅部41具有面向布 线部46的一侧，该侧称作前面侧，并且硅部41具有背离布线部46的一侧，该侧称为背面 侧。根据上述定义，从硅部41的背面侧接收入射光的本像素结构是背面入射型像素结构。根据该背面入射型像素结构，由于入射光是从布线部46的相对侧接收到的，因而 能够将开口率提高到100%。另外，布线部46不位于入射光接收侧。因此，不使用片上透镜 就能够将入射光收集到光电二极管42的各个光接收面上。因此，本示例能够解决当各个单 位像素30是在垂直方向和水平方向上具有不同尺寸的矩形像素时而产生的需要使用片上 透镜来收集光的问题。[第二变形例]在上述第一实施例中，分别对奇数行和偶数行进行快门扫描，这会导致累积时间 出现差异并因而提供了具有不同灵敏度的上下两个像素。可替代地，可以采用另一种提供 不同灵敏度的方法。例如，可以将ND(Neutral Density，中性密度)滤色器仅粘接在偶数行 上，或者如图17所示，可以只在奇数行中的单位像素30上设置片上透镜49，从而提供具有 不同灵敏度的上下两个像素。这里，ND滤色器是指如下的光量调节滤色器，该光量调节滤 色器使可见光范围的光量基本上均勻减少而不会影响颜色。第二实施例图18是示出了第二实施例的像素阵列部12中的像素阵列的示例的结构图。如图 18所示，像素阵列部12包括各自具有光电转换元件且布置成多行多列的二维形式的单位 像素30。这里，各个单位像素30是所谓的纵向较长型矩形像素，该纵向较长型矩形像素的 垂直尺寸(在列方向上)是水平尺寸(在行方向上)的两倍，即，该纵向较长型矩形像素具 有2 1的垂直与水平间距比。如果CMOS图像传感器10能够摄取彩色图像，则在水平方向上相邻的多个例如两 个单位像素30形成一组。由左右两个像素构成的组设置有同色的片上滤色器40。具体地， 各个奇数行包括由重复的GGBB组合构成的颜色排列，并且各个偶数行包括由重复的RRGG 组合构成的颜色排列。左右两个像素是相同的颜色。因此，一个滤色器能够覆盖该左右两 个像素。在像素阵列部12的像素阵列中，各个单位像素30是垂直与水平尺寸比为2 1的 纵向较长型矩形像素。因此，如图18所示，用于由左右两个像素构成的组的单个片上滤色 器40的形状是正方形。这种正方形的片上滤色器40被设置给通过让两列由重复的GR组合构成的颜色排列和两列由重复的BG组合构成的颜色排列进行交替而得到的像素阵列。因 此，片上滤色器40的总体颜色排列是拜尔阵列。在片上滤色器40被构造为具有以两个像素为单位的颜色排列的情况下，能够获 得与第一实施例类似的优点。也就是说，随着CMOS工艺的精细化，像素也变得越来越精细 化。然而，使滤色器随着像素的精细化而精细化已变得越来越困难。这是因为，很难在防止 滤色器的角部变圆和脱落并同时保持滤色器的分光特性的情况下使滤色器精细化。然而， 上述结构示例的片上滤色器40能够被形成为两个像素的组合尺寸，因而对像素的精细化 是有利的。扫描方法参照图19，下面说明对第二实施例的像素阵列部12的像素阵列进行的扫描方法， 该像素阵列即由两列重复的GR组合的颜色排列和两列重复的BG组合的颜色排列进行交替 而得到的像素阵列。在图1的垂直驱动部13的驱动操作下进行上述扫描。第二实施例的扫描是对偶数列与奇数列之间不同的电子快门行进行的。因此，偶 数列和奇数列 具有不同的累积时间，因而也具有不同的灵敏度。对各个行进行两次读出操 作，即，首先对奇数列进行读出操作，然后对偶数列进行读出操作。在本示例中，来自奇数列 的各个像素的信号是对应于长时间累积的高灵敏度信号，而来自偶数列的各个像素的信号 是对应于短时间累积的低灵敏度信号。像素电路图20是示出了第二实施例的像素电路的结构示例的电路图。在该图中，与图15 中的元件相同的元件用相同的附图标记表示。如图20所示，第二实施例的像素电路被构造为同色的左右两个相邻的像素共用 电路的一部分，从而使左右两个像素的偏移量及灵敏度特性均衡，并分别对奇数列和偶数 列进行快门操作和读出操作。下面分别将左侧的像素30和右侧的像素30称作奇数列像素 30ο和偶数列像素30e。具体地，左右两个像素30ο和30e分别包括光电二极管(PD) 31ο和31e以及传输 晶体管32ο和32e。另外，两个像素30ο和30e共用一些电路元件，例如共用包括复位晶体 管33、选择晶体管34和放大晶体管35的三个晶体管。通常，如第一实施例那样，同一行中的像素由同一线驱动。然而，在第二实施例中， 奇数列和偶数列分别被分配有用于驱动传输晶体管32 (32ο和32e)各自的栅极电极的线。 具体地，奇数列像素30ο的传输晶体管32ο的栅极电极被用于奇数列的传输线1211ο驱动， 并且偶数列像素30e的传输晶体管32e的栅极电极被用于偶数列的传输线1211e驱动。复位晶体管33、选择晶体管34和放大晶体管35之间的连接关系基本上与第一实 施例的像素电路中的连接关系相同。然而，在第二实施例的像素电路中，选择晶体管34连 接在放大晶体管35与垂直信号线122之间。此外，在第一实施例的像素电路中，选择晶体 管34连接在电源电压Vdd的电源线与放大晶体管35之间。可替代地，第二实施例的像素 电路可以被构造为如第一实施例的像素电路那样，选择晶体管34连接在电源电压Vdd的电 源线与放大晶体管35之间。在上述结构的像素电路中，在对奇数列执行快门操作时，向复位晶体管33的栅极 电极供给高激活复位脉冲RST，并且向奇数列的传输晶体管32ο的栅极电极供给高激活传输脉冲TRGo。因此，除掉浮动扩散部36的电荷，随后开始奇数列的累积。此外，在对偶数列 执行快门操作时，向复位晶体管33的栅极电极供给高激活复位脉冲RST，并且向偶数列的 传输晶体管32e的栅极电极供给高激活传输脉冲TRGe。因此，除掉浮动扩散部36的电荷， 随后开始偶数列的累积。列处理部
图21是第二实施例的列电路14B的结构示例的框图。在该图中，与图4中的元件 相同的元件用相同的附图标记表示。在第二实施例中，左右两个相邻像素30ο和30e形成一组。因此，第二实施例的各 个列电路14B对应于每两个相邻列而被设置着。另外，列电路14B被构造为包括⑶S电路
141、判定电路142、AD转换电路143和锁存器144，并且还包括选择部148，该选择部148对 应于列电路14B的输入部而被设置着并例如由用于在奇数列与偶数列之间进行选择的开 关形成。选择部148首先选择来自奇数列的信号，然后选择来自偶数列的信号。由于选择 部148的选择，来自奇数列的信号和来自偶数列的信号依次受到CDS电路141、判定电路
142、AD转换电路143和锁存器144的处理。CDS电路141、判定电路142、AD转换电路143 和锁存器144进行与第一实施例的处理操作类似的处理操作。如上所述，根据包括作为垂直与水平尺寸比为2 1且按照行和列布置的单位像 素30的CMOS图像传感器10，即使像素的精细化超出了分辨率的极限并且水平方向上的像 素间距变得小于用来接收入射光的光学系统的分辨率，也能够改善摄像特性。例如，如果左 右两个像素30ο和30e中的一个像素的信号是高灵敏度信号而另一像素的信号是低灵敏度 信号，并且如果该高灵敏度信号已经饱和，则使用低灵敏度信号来生成视频信号。因此，能 够扩大相对于光输入的动态范围。第三实施例在第二实施例中，像素电路的一部分被左右两个像素30ο和30e所共用。此外，第 三实施例假设采用了大尺寸的CMOS图像传感器，并且被构造为左右两个像素30ο和30e不 共用像素电路的一部分。在诸如大尺寸CMOS图像传感器中等提供了额外工艺的结构中，即 使左和右两个相邻的像素30ο和30e不共用像素电路的一部分，也能使这两个像素30ο与 30e在偏移量及灵敏度特性方面均衡。本实施例与第二实施例具有相同的像素阵列和颜色 编码。像素电路图22是示出了第三实施例的像素电路的结构示例的电路图。在该图中，与图20 中的元件相同的元件用相同的附图标记表示。如图22所示，在第三实施例的像素电路中，虽然左右两个像素30ο和30e不共用 像素电路的一部分，但同一行的奇数列和偶数列分别被配备有用于驱动传输晶体管32ο和 32e各自的栅极电极的线。具体地，奇数列像素30ο的栅极电极通过用于奇数列的传输线 1211ο而被驱动，并且偶数列像素30e的栅极电极通过用于偶数列的传输线1211e而被驱 动。来自左右两个像素30ο和30e的各个信号(信号电平和复位电平的信号)分别被读出 到分别用于奇数列和偶数列的垂直信号线122ο和122e。扫描方法
利用通过分别用于同一行中奇数列和偶数列的传输线1211ο和1211e而进行的传 输和驱动操作，可以在快门操作中分别对奇数列和偶数列进行扫描，并且可以在读出操作 中同时对奇数列和偶数列进行扫描。图23示出了扫描的顺序。如图23所示，分别对奇数 列和偶数列进行快门操作，而对各个行同时进行读出操作。列处理部图24是示出了第三实施例的列电路14C的结构示例的框图。在该图中，与图4中 的元件相同的元件用相同的附图标记表示。在第三实施例中，在左右两个像素30ο和30e中分别通过各自的垂直信号线122ο 和122e来供给信号电平和复位电平。因此，第三实施例的列电路14C被构造为包括分别用 于奇数列和偶数列的不同的⑶S电路141ο和141e。在列电路14C中，⑶S电路141ο和141e分别对奇数列和偶数列进行降噪处理，并 且将奇数列 的已降噪的信号和偶数列的已降噪的信号分别供给到判定电路142。判定电路 142判定要使用该奇数列的信号还是该偶数列的信号。例如，如果对应于长时间累积的奇数 列的信号未达到饱和电平，则使用奇数列的信号。如果奇数列的信号已经达到饱和电平，则 使用偶数列的信号。然后，判定电路142选择要被使用的信号，并输出该信号和判定结果。AD转换电路143对通过判定电路142供给的信号进行AD转换，并将AD转换后的 信号写入到锁存器144中。上述判定结果通过AD转换电路143而被写入到锁存器144中 作为标记FL。然后，在后续阶段处对该判定结果和信号进行处理，从而获得具有扩大的动态 范围的图像。与第二实施例相比，本实施例对各个行仅进行一次读出操作，因而对实现高速 处理是有利的。此外，在第三实施例中，能够获得与第二实施例的作用效果类似的作用效果。例 如，如果左右两个像素30ο和30e中一个像素的信号是高灵敏度信号且另一像素的信号是 低灵敏度信号，并且如果该高灵敏度信号已经饱和，则使用低灵敏度信号来生成视频信号。 因此，能够扩大相对于光输入的动态范围。3、变形例上述第一 第三实施例被构造为使用各自具有1 2(2 1)的垂直与水平尺寸 比的矩形像素作为单位像素30，并且这些单位像素30中的每上下两个单位像素或者每左 右两个单位像素形成一组。然而，结构不限于此。例如，可以对上述结构进行变形，即将像 素的垂直与水平尺寸比设定为1 3或者1 4，并且每三个或者四个垂直或者水平相邻的 像素形成一组。利用此结构，能够对来自三个或者四个像素的信号进行处理。另外，第一 第三实施例被构造为把形成一组的两个像素中的任一个像素的信号 输出。可以把该结构变形为根据两个像素的各个信号来合成单个信号。如果由此从形成一 组的多个像素的信号中选择出或合成单个信号，则能够获得与来自方形像素的信号类似的 信号。另外，在第一 第三实施例中，例如已经对为了扩大动态范围所进行的信号处理 进行了说明。然而，信号处理不限于此示例。例如，在两个像素形成一组的情况下，当光从 诸如发光二极管等光源发出并照射至目标来检测物体时，可以将来自其中一个像素的信号 用作基于由所述目标反射的光的目标信号。另外，可以将来自另一像素的信号用作基于所 述目标的背景光的背景信号。然后，如果对来自两个像素的各个信号进行减法处理，从而根据该减法结果除去了背景光，则能够让所获得的信号看起来像是来自方形像素(方形格 子)的信号。如上所述，除了用于扩大动态范围的应用例之外，其它各种应用也是可行的。在任 何情况下，当将来自两个像素的信号作为来自方形像素的信号进行处理时，优选的是，像素 阵列的垂直方向上的像素间距和水平方向上的像素间距中较短的一者等于或者小于接收 入射光的光学系统的分辨率。另外，第一 第三实施例被构造为将来自R、G和B像素的信号读出到公用的垂直 信号线122。该结构可以变形为将来自R、G和B像素的信号读出到不同的垂直信号线。例 如，如图25所示，可以将来自G像素的信号及来自B和R像素的信号分别读出到不同的垂 直信号线122g和122br。在这种情况下，例如，在像素阵列部12的下侧设置有用于G像素的列电路14g，并且在像素阵列部12的上侧设置有用于B和R像素的列电路14br。另外，来自G像素的信 号通过垂直信号线122g被读出到该图的下侧，而来自B和R像素的信号通过垂直信号线 122br被读出到该图的上侧。然后，分别对列电路14g和14br进行诸如降噪等信号处理。另外，在第一 第三实施例中，已经对本发明应用于能够摄取彩色图像的CMOS图 像传感器的示例进行了说明。然而，本发明同样也可以应用于能够摄取黑白图像的CMOS图 像传感器。上面说明了将本发明应用于如下CMOS图像传感器的示例该CMOS图像传感器包 括按照行和列的形式布置着且把与可见光的光量对应的信号电荷作为物理量进行检测的 单位像素。然而，本发明的应用不限于CMOS图像传感器。因此，本发明能够应用于诸如CCD 图像传感器等一般的固体摄像器件。固体摄像器件可以被实现为一个芯片，或者被实现为一个模块，该模块具有摄像 功能且包括一体封装的摄像部及信号处理部或者光学系统。4、电子装置通常，本发明实施例的固体摄像器件能够安装并应用于在其图像捕捉单元(光电 转换单元)中使用了上述固体摄像器件的电子装置。该电子装置例如是诸如数码相机和 摄像机等摄像装置(照相机系统)，具有摄像功能的诸如手机等移动终端装置，以及在其图 像读取单元中使用了上述固体摄像器件的复印机，等等。在一些情况下，安装在电子装置中 的上述模块化实施例即照相机模块构成了摄像装置。摄像装置图26示出了本发明实施例的一种电子装置例如摄像装置的结构示例的框图。如 图26所示，本发明实施例的摄像装置100包括具有透镜组101等组件的光学系统、摄像器 件102、用作照相机信号处理单元的DSP电路103、帧存储器104、显示装置105、记录装置 106、操作系统107和电源系统108等。摄像装置100被构造为使得DSP电路103、帧存储器 104、显示装置105、记录装置106、操作系统107和电源系统108通过总线109相互连接。透镜组101从目标接收入射光(图像光)，并且在摄像器件102的摄像面上形成图 像。摄像器件102以多个像素为单位把通过透镜组101在摄像面上形成图像的入射光的光 量转换为电信号，并把转换后的电信号作为像素信号输出。作为摄像器件102，能够使用诸 如前述实施例的CMOS图像传感器10等固体摄像器件。
这里，摄像器件102中像素阵列的垂直方向上的像素间距和水平方向上的像素间 距中较短的一者等于或者小于包括透镜组101的光学系统的分辨率。DSP电路103从摄像 器件102接收像素信号，并接收表明该像素信号是对应于长时间累积的高灵敏度信号还是 对应于短时间累积的低灵敏度信号的信号(图4、图21和图24中的标记FL)，并且进行用 于扩大动态范围的信号处理。
具体地，如果通过摄像器件102供给的标记FL表明高灵敏度信号还未饱和(FL = 0)，则DSP电路103通过使用与标记FL —起作为一对而被提供的高灵敏度信号来生成视频 信号。如果标记FL表明高灵敏度信号已经饱和(FL = 1)，则DSP电路103通过使用与标 记FL—起作为一对而被提供的低灵敏度信号的信号电平来合成饱和电平，由此生成视频 信号。利用上述信号处理，能够扩大相对于光输入的动态范围。通过DSP电路103进行的处理与对来自方形像素的信号进行处理时的信号处理相 同。不必说，可以考虑像素的实际排列来设计上述处理。然而，如果所述处理与对来自方 形像素的信号进行的信号处理相同，那就不必考虑像素的实际排列而改变所设计的信号处 理。因此，与要考虑像素的实际排列而设计的信号处理相比，能够以更低的成本生成基本上 相同的图像。另外，能够在减少多个像素的信号量的同时使多个像素看起来像方形像素。因 此，本信号处理能够以较低的电能消耗来实现，并且具有很高的通用性。显示装置105包括诸如液晶显示装置和有机电致发光(ElectroLuminescence， EL)显示装置等平板显示装置，并且显示装置105显示通过摄像器件102摄取的动态或静态 图像。记录装置106将通过摄像器件102摄取的动态或静态图像记录在诸如录像带和数字 式通用盘(DigitalVersatile Disk, DVD)等记录介质上。操作系统107发出与摄像装置100的各种功能相关的操作命令。电源系统108按 照需要向DSP电路103、帧存储器104、显示装置105、记录装置106和操作系统107供给各 种电源以作为它们的工作电源。如上所述，如果诸如照相机系统和用于例如手机等移动装置的照相机模块等摄像 装置100使用了前述实施例的CMOS图像传感器10作为摄像器件102，则能够获得以下的作 用效果。也就是说，即使摄像器件102中当像素阵列的垂直方向上的像素间距和水平方向 上的像素间距中较短的一者等于或者小于包括透镜组101的光学系统的分辨率时，也能够 改善摄像特性。本领域技术人员应当理解，依据设计要求和其他因素，可以在本发明所附的权利 要求或其等同物的范围内进行各种修改、组合、次组合及改变。
权利要求
一种固体摄像器件，其包括像素阵列部，它包括多个矩形像素，每个所述矩形像素在垂直方向和水平方向上具有不同的尺寸，并且多个相邻的所述矩形像素被组合起来以形成在垂直方向和水平方向上具有相同尺寸的方形像素；以及信号处理部，它用于进行把从组合起来的多个所述矩形像素读出的多个信号作为单个信号进行输出的处理。
2.如权利要求1所述的固体摄像器件，其中，所述多个矩形像素的垂直方向上的像素 间距和水平方向上的像素间距中较短的一者等于或者小于用来将入射光接收到所述像素 阵列部中的光学系统的分辨率。
3.如权利要求1所述的固体摄像器件，其中，所述多个矩形像素具有同色的滤色器。
4.如权利要求1所述的固体摄像器件，其中，所述多个矩形像素具有互不相同的灵敏度。
5.如权利要求4所述的固体摄像器件，其中，所述多个信号是包括来自高灵敏度像素的信号和来自低灵敏度像素的信号的两个信 号，并且当所述来自高灵敏度像素的信号不处于饱和电平时，所述信号处理部输出所述来自高 灵敏度像素的信号，而当所述来自高灵敏度像素的信号处于饱和电平时，所述信号处理部 输出所述来自低灵敏度像素的信号。
6.如权利要求1所述的固体摄像器件，其中，所述多个矩形像素共用构成像素电路的 电路元件的一部分。
7.如权利要求1所述的固体摄像器件，其中，所述多个矩形像素具有背面入射型像素 结构或者光电转换膜层叠型像素结构，所述背面入射型像素结构从与布线形成层相对的侧 接收入射光，所述光电转换膜层叠型像素结构在层叠于布线形成层的入射光侧上的光电转 换膜处进行光电转换。
8.—种固体摄像器件，其包括像素阵列部，它包括按照行和列以二维形式布置的像素；以及信号处理部，它包括判定电路，当所述像素阵列部中的n个像素形成一组且从所述n个 像素中依次读出n个信号时，所述判定电路在所述n个信号中的每一个信号的读出时都判 定该信号是否等于或者大于预定值，并且所述信号处理部根据所述判定电路的判定结果来 对小于n个的m个信号进行预定信号处理，其中n彡2且1 < m < n。
9.如权利要求8所述的固体摄像器件，其中，所述n个像素具有互不相同的灵敏度。
10.如权利要求9所述的固体摄像器件，其中，所述n个信号按照对应的像素的灵敏度的降序被输入到所述判定电路，并且所述信号处理部不对所述n个信号中的被所述判定电路判定为等于或者大于所述预 定值的任一个信号进行所述预定信号处理。
11.如权利要求8所述的固体摄像器件，其中，所述信号处理部针对所述m个信号中的 每个信号都保存有用于识别与该信号对应的是所述n个信号中的哪个信号的信息。
12.如权利要求8所述的固体摄像器件，其中，所述信号处理部是为所述像素阵列部的 各个像素列而设置的。
13.如权利要求8所述的固体摄像器件，其中，所述信号处理部保存所述m个信号，并且 在读出所述n个信号之后对所述m个信号进行所述预定信号处理。
14.如权利要求13所述的固体摄像器件，其中，所述信号处理部对经过所述预定信号 处理的所述m个信号进行用于扩大动态范围的计算处理。
15.一种固体摄像器件的信号处理方法，其包括如下步骤对包括多个矩形像素的像素阵列部的各个所述矩形像素进行信号处理，每个所述矩形 像素在垂直方向和水平方向上具有不同的尺寸，并且多个相邻的所述矩形像素被组合起来 以形成在垂直方向和水平方向上具有相同尺寸的方形像素， 其中，从组合起来的多个所述矩形像素读出信号，并且 对从多个所述矩形像素读出的多个所述信号进行处理并作为单个信号输出。
16.如权利要求15所述的固体摄像器件的信号处理方法，其中，所述多个信号是包括来自高灵敏度像素的信号和来自低灵敏度像素的信号的两个信号，当所述来自高灵敏度像素的信号不处于饱和电平时，使用所述来自高灵敏度像素的信 号生成视频信号，而当所述来自高灵敏度像素的信号处于饱和电平时，使用所述来自低灵敏度像素的信号 生成视频信号。
17.如权利要求15所述的固体摄像器件的信号处理方法，其中，所述多个信号是包括基于来自目标的光的信号和基于所述目标的背景光的信号的两 个信号，并且对所述两个信号进行减法运算，作为该减法的结果而获得已经除去所述背景光的信号。
18.一种固体摄像器件的信号处理方法，其包括如下步骤对来自像素阵列部的信号进行处理，所述像素阵列部包括多个矩形像素，每个所述矩 形像素在垂直方向和水平方向上具有不同的尺寸，并且多个相邻的所述矩形像素被组合起 来以形成在垂直方向和水平方向上具有相同尺寸的方形像素，其中，从组合起来的多个所述矩形像素读出灵敏度不同的多个信号，并且 对所述多个信号进行处理，形成方形格子的信号。
19.一种电子装置，其包括固体摄像器件，它包括像素阵列部，所述素阵列部包括多个矩形像素，每个所述矩形像 素在垂直方向和水平方向上具有不同的尺寸，且多个相邻的所述矩形像素被组合起来以形 成在垂直方向和水平方向上具有相同尺寸的方形像素，并且所述固体摄像器件对从组合起 来的多个所述矩形像素读出的多个信号进行处理并把处理后的信号作为单个信号输出；以 及光学系统，它被构造为接收入射到所述固体摄像器件的摄像面上的入射光。
20.如权利要求19所述的电子装置，其中，所述多个矩形像素的垂直方向上的像素间 距和水平方向上的像素间距中较短的一者等于或者小于所述光学系统的分辨率。
全文摘要
本发明提供固体摄像器件、固体摄像器件的信号处理方法和电子装置，所述固体摄像器件包括像素阵列部和信号处理部。所述像素阵列部被构造成包括多个矩形像素，每个所述矩形像素在垂直方向和水平方向上具有不同的尺寸，并且多个相邻的所述矩形像素被组合起来以形成在垂直方向和水平方向上具有相同尺寸的方形像素。所述信号处理部被构造成进行这样的处理把从组合起来的多个所述矩形像素读出的多个信号作为单个信号输出。在单个信号的情况下，就不必改变在后续阶段处的针对方形格子的信号处理系统的结构。另外，在后续阶段处的信号处理系统中能够通过使用该单个信号来进行用于改善摄像特性的处理(例如用于扩大动态范围的处理等)。
文档编号H04N5/335GK101860689SQ20101013696
公开日2010年10月13日 申请日期2010年3月31日 优先权日2008年4月7日
发明者马渕圭司 申请人:索尼公司