读出和复位图像传感器的像素的电路和方法

专利名称：读出和复位图像传感器的像素的电路和方法
技术领域：
本发明涉及用于复位(reset)和读出图像传感器的像素的电路和方法，更具 体地，涉及CMOS技术的图像传感器。
背景技术：
图像传感器尤其是CMOS图像传感器被广泛应用于摄像机或监视相机 (surveillance camera )领域中、测量设备或者在移动电话中作为附件(add-on)。
而且，这种类型的图像传感器正日益用于专业的摄像机应用中，例如，在广
播和故事片(feature film)中。
典型的CMOS图像传感器包括多个像素单元，所述多个像素单元将投射
(impinging)到各个像素上的光转换为电压信号，并且所述多个像素单元通常
以行和列布置。更精确地，通过复位信号来复位像素，并且将投射光子 (impinging photon)转换为在积分周期(integration period)上聚积或积分的电
子，从而得到的电压信号示出增加或减少过程，其梯度取决于所转换的光子
量。在积分周期结束时，将所述电压信号读出，并且所述电压信号表示像素
的亮度值。
在本领域中，普遍期望提高CMOS图像传感器的动态范围，并且同时降 低像信号噪声之类的负面影响。
为了实现该目的，文献EP 1641249A1公开了一种对图像传感器或者关 于图像传感器的改进，从而在短积分周期之后读出像素阵列的奇数行，并且 在较长积分周期之后读出像素阵列的偶数行。在这两次读出处理之后，将两 个相邻像素行(一个偶数行和一个奇数行)拼合在一起以便形成具有宽动态 范围的单输出线。该文献本身承认以损失所得到的图像的分辨率为代价来实 现宽动态范围。
文献US 2005/0078205 Al提出了一种使用具有非常小像素尺寸的传感器 的低噪声图像感测系统和方法，所述像素在一帧周期期间被多次读出和复位。 在后续步骤中，对一帧期间的读出值进行积分或者将其相加以便形成该帧期间得到的像素的亮度值。
在文献EP 1233613 A2中描述了高动态范围CMOS图像传感器的另一种 解决方案，其中实现自适应的像素复位，从而在一帧周期期间仅复位具有高 输出的像素。
文献EP 0862829 B1公开了 一种具有高动态范围线性输出的图像传感器。 为了实现该高动态范围，在一帧周期期间多次读出图像传感器的单个像素， 并且将所读出的值累积为高分辨率输出值。在一个实施例中，提出了使用非 破坏性的读出方法，这意味着在一帧周期期间仅复位像素一次。
尽管存在多种用于实现高动态范围的解决方案，但是在本领域中仍普遍 期望对在图像传感器的读出期间进一步提高动态范围并且使负面影响最小 化。

发明内容
通过具有权利要求1所述的特征的电路和通过具有权利要求26所述的特 征的方法来实现该目标。在从属权利要求、说明书和附图中公开了本发明的 优点或优选实施例。
所述电路可操作来复位和读出图像传感器的虚拟像素单元或实际像素单 元。优选地，图像传感器提供多个像素单元，所述多个像素单元以行和列布 置或者以另一布置例如以同心环布置。通常，图像传感器可感测可见光镨中 的光，但是本发明也涵盖仅可感测UV、 NIR和/或IR光语的图像传感器。实 际像素单元被定义为所述电路的、包含单个物理像素的子单元，因此实际像 素单元优选地包括单个光电二极管或光感测元件。实际像素单元优选地被实 现为有源(active)像素(例如，光电二极管CMOS APS、针插(pinned)光电二极 管CMOS APS)或无源(passive)像素。虚拟像素单元被定义为两个或更多个 实际像素单元的逻辑组合。图像传感器例如被用在摄像机、数码相机、移动 电话或测量设备中。在说明书和权利要求中，像素单元将被解释为实际像素 单元或虚拟像素单元。
所述电路包括用于复位像素单元的部件，其中像素单元的第一次复位与 随后的复位之间的时间间隔被定义为主积分周期。复位表示相应主积分周期 的开始。所述复位以有规律的间隔发生，其间不存在另一次复位。主积分周 期优选地等效于图像传感器的帧速率。因此，每个主积分周期仅存在一次复
6位。复位像素单元的步骤例如通过清空在积分周期期间累积或积分的电子来 执行，或者通过将像素单元设置为预定状态、例如电压等来执行。
提供了用于在所述积分周期期间多次读出所述像素的部件，该部件可操 作来在所述主积分周期期间两次、三次或者更多次地读出相应像素单元。如 上面已经强调的，读出是非破坏性的，即，在主积分间隔或周期内不存在其 他复位。
所述电路还包括用于从所述至少两个像素信号来形成输出信号的部件， 其中所述输出信号表示分别在积分周期和/或帧周期期间像素的照度
(illumination )。
根据本发明，用于累积的部件可操作为依据所述像素的饱和电平以加 权的方式来组合所述至少两个像素信号，以便生成输出信号。所述饱和电平 是所述像素单元的实际饱和值，其优选地被作为所述至少两个像素信号之一 而读出。因此，不仅仅将所述至少两个像素信号通过相加来组合(如现有技 术中所知)，而是在第一步骤中，依据像素的实际饱和电平将所述至少两个 像素信号加权，并且在第二步骤中，将所述至少两个像素信号组合。
本发明的一个发现是读出值的简单相加在像素单元或者图像传感器的 可实现的动态范围上不会产生令人满意的结果。因此，尤其为了使干扰噪声 影响最小化，进行以下处理似乎是有利的在饱和电平较低的情况下，使用 具有较长积分时间的读出值来生成输出值；在饱和电平较高的情况下，使用 具有较短积分时间的读出值；以及在较高饱和电平和较低饱和电平之间的过 渡区中，将取决于饱和电平而被加权的两个读出值混合。
这里所使用的术语，如像素信号、暗信号和其他信号，优选地等效于相 应与时间相关的信号(time dependent signal )的最小值、最大值或才及值(extreme
V3lU6 )。
在最优选的实施例中，所述电路和/或其部件以CMOS(互补金属氧化物 半导体)技术实现和/或被实现为片上集成电路。
在有利的实施例中，所述用于多次读出的部件可操作为读出像素以获 取较低亮信号，并且之后再一次读出像素以获取明亮信号，在第一次读出和 第二次读出之间未对该像素单元进行复位。因此，在第一曝光时间和第二曝
光时间之后读出成像器的像素，第一曝光时间短于第二曝光时间。当像素单 元的饱和电平在积分周期期间具有单调的行为时，较低亮信号的幅度的绝对值等于或小于明亮信号的幅度的绝对值。
更优选地，所述用于多次读出的部件可操作来在所述积分周期期间读出 像素以获取暗信号。优选地，在所述积分周期开始处复位像素单元之后立即
读出所述暗信号。所述暗信号表示像素单元的kTC噪声，并且进一步包括有 关像素单元的复位电平的信息，所述信息通常在各像素单元之间彼此不同。
通过减去暗信号来补偿读出像素信号被称作CDS(correlated double sampling相关双采样)。许多CMOS成像器主张实施CDS,但是实际上已知 系统从一个积分周期读出像素信号并且从下一个积分周期读出暗信号。因此， 测量到的kTC与来自当前帧的像素信号无关。根据优选实施例，对于同一帧， 分离地读出一个(或多个)像素信号和暗信号。优选地，在外部例如在帧存 储器中存储暗信号的值，从而对于同一帧能够具有相应值。因此， 一个(或 多个)像素信号和暗信号表示相同复位时刻、或者帧或积分周期，并且减去 正确的kTC噪声电平。该方法可被称为可变数字双采样或VDDS (variable digital double sampling )。 VDDS可被用来提高S/N(信号/噪声)性能，尤其是图 像的暗区域中的S/N性能。
在又一实施例中，实施VDDS，使得存储了每条直线(line)的像素的黑 色值(black value )或暗信号。结果，VDDS中执行的减法操作也可被用来补 偿像素之间的阈电压差异。而且，抑制了垂直和水平阴影或浮散(blooming)。
在再一优选实施例中，所述用于组合的部件可操作来补偿所述较低亮信 号的被缩短的曝光时间。所提出的补偿是有用的，其使得所述至少两个像素 信号成为相同量级(scale),以使得它们能够被正常地累积。优选地，将所述 较低亮信号放大某一倍数，该倍数取决于所述帧周期或积分时间与在第一次 复位和所述较低亮信号的读出之间的时间段之间的比率。然而，也可以例如
通过将明亮信号与所述因子的倒数值相乘来补偿明亮信号。更一般来讲，在 n个像素信号的情况下，可以补偿n-l个像素信号的曝光时间，使得所有n个 像素信号涉及相同量级。
在又一优选实施例中，所述用于累积的部件可操作来使用包含扩展过渡 部分(extended transition section)的加权函数，其中所述较低亮信号和明亮 信号分别被放大较低亮增益和明亮增益。 一种实际的实践例如通过对于至少 两个像素信号实施与亮度或饱和电平相关的增益的传递函数来体现，其中传 递函数包括扩展过渡区，在所述扩展过渡区中输出信号是所述至少两个像素信号的加权平均值。因此，在过渡区中，将与电平相关的增益应用于两个信 号，并且将这两个信号组合。所述相关性通常可被表达为比例相关或任何其 他相关，其中，在所述过渡区中，使用至少两个、三个或更多个不同的增益 值。两个信号的增益之和优选地被归一化和/或等于1。用于组合的部件可以
包括微处理器或DSP,其运行相应的计算软件。
优选地，所述过渡区在阈值或者阈值之下结束，该阈值等效于明亮信号 的最大读出值。该最大读出值例如受限于像素单元的全满容量(fUll-well capacity )或者受限于将像素信号转换为数字数据的ADC0莫数转换器)的最大 值。因此，阈值可以用伏特或者数字来表示，例如对于12位分辨率ADC为 4095。
在本发明的又一实施例中，所述电路可操作来复位和读出具有以行和列 布置的多个像素单元的图像传感器，其中，可以将布置在一列中的像素单元 选择性地耦接到 一公共线，以便读出与投射到所述图像传感器上的光相对应 的值；为像素的寻址线提供第一移位寄存器以便进行复位，为像素单元的寻 址线提供第二移位寄存器，以便在与图像传感器的帧速率相对应的积分周期 结束时从像素单元读出值；为像素单元的寻址线提供第三移位寄存器和第四 移位寄存器，以便读出在复位像素和积分周期结束之间不同时刻处的值。在 该实施例中，用于复位的部件被实现为第一移位寄存器，用于多次读出的部 件被实现为第二移位寄存器、第三移位寄存器和第四移位寄存器，它们都可 :操作来在积分周期期间多次进行读出。
可选地提供另一设置部件，其可操作来执行自动动态范围算法，其中， 用于读出较低亮信号的时间和/或用于读出明亮信号的时间是依据整个图像 上经过限幅的较低亮信号的数目和/或经过限幅的明亮信号的数目来设置的。 通常，用于在积分周期期间读出的所有定时时刻是可调节的，使得可以提供 不同的扩展动态范围设置，从而所述设置可适应于将要拍摄的场景，尤其是 场景的照度。优选地，自动地调节这些设置，然而，用户的手动调节也是可 能的。自动动态范围算法例如取决于至少两个像素信号之一的限幅值来设置 定时时刻。限幅值被定义为在阈值限制上的像素值，即，在像素单元的全满 容量上和/或在ADC的最大分辨率上的像素值。例如，调节所述设置，使得 整个图像的较低亮信号包含大约10%的限幅值，整个图像的明亮信号包含大 约50%的限幅值。然而，可以根据用户需求或者其他需求来设置上述条件。注意到，与仅使用暗信号值和明亮信号值的电路相比，如上所述的使用 每个像素单元的暗信号值、较低亮信号值和明亮信号值来生成相应像素单元
的超高动态范围(extreme dynamic range )信息会导致数据流的增加。大致上， 数据流需要被增加为3/2倍。 一方面，这对于实现高动态范围图像是可接受 的。另一方面，在一些应用中，期望减少数据流。尤其对于这些应用，本发 明提供了动态范围信息和图像的分辨率之间的折衷，因此可以减少数据流。
因此，本发明的一个发现是将所述实际像素逻辑组合为虚拟像素，其中 对于每个虚拟像素，在高动态范围图像中仅输出一个像素值。虚拟像素单元 的概念导致高动态范围图像的分辨率的在垂直方向和/或水平方向上减小。
在优选实施例中，相邻布置的实际像素单元被组合成虛拟单元之一。被 組合在一个虚拟像素单元中的实际像素单元可以以任意顺序布置，但是优选 地， 一个虛拟像素单元的实际像素单元是指共同行和/或共同列。
为了简化虛拟像素单元的概念的实现，优选地，所述电路可操作来生成 具有矩阵元素的中间图像，其中，用较低亮信号的值和明亮信号的值填充相 邻布置的矩阵元素。具体地，例如通过减去相应暗信号值而对较低亮信号和 明亮信号的值进行暗信号补偿。
遵循虚拟像素单元的概念，优选地，每个虚拟像素单元包括至少一个用 较低亮信号填充的矩阵元素和至少一个用明亮信号值填充的矩阵域。因此， 通过例如如前面所述地组合至少两个信号值，可获得虚拟像素单元的高动态 范围值，其中，所述至少两个信号值表示至少两个不同的实际像素单元。
在本发明的优选发展中，所述电路被实现来生成具有用较低亮信号和明 亮信号的值填充的矩阵元素的中间图像。矩阵元素的数目对应于图像传感器 的(所用)实际像素单元的数目。优选地，所述值按照以下方式分布相邻布置 的矩阵元素的值能够被组合来形成虛拟像素单元的高动态范围值。
在又一优选实施例中，分别地在多行或多列中布置较低亮信号的值，'在 其他列或行中布置明亮信号的值。
一种可能的替换方式实现所述值的布置，使得两行(列)较低亮信号值与 两行(列)明亮信号值交替。这种替换方式呈现了在垂直方向(水平方向)上具有 较低或降低的分辨率的中间图像。另 一种可能的替换方式以类棋盘形图案实 现所述值的布置，这使得最终图像的水平方向或垂直方向的分辨率降低。
在本发明的实施中，所述电路可操作来在一个积分周期内和/或在一个帧周期内两次读出图像传感器。从而，读出两个满场(field),在每个满场中， 每个实际像素单元包括一个信号值，其中，实现所述两个满场，使得从该两 个满场可获得中间图像。
在本发明的另一发展中，构造所述满场，使得每个满场包括暗信号行， 其中，排它地仅用或者用暗信号值来填充暗信号行。优选地，满场的每个第 二行是暗信号行，并且(更优选地)布置暗信号行使得对于每个实际像素单 元都读出暗值。
在一种可能的实施中，所述两个满场中的每一个包括排它地仅用或者用 较低亮信号值填充的较低亮信号行以及排它地仅用或者用明亮信号值填充的 明亮信号行。从而，特别优选地，暗信号行之间的行交替地为较低亮信号行 与明亮信号行。
在另一种可能的实施中，以类棋盘形方式用较低亮信号值和明亮信号值 来填充暗信号行以外的行。因此，每一行交替具有较低亮信号值和明亮信号 值，并且所述列以相同的方式交替。
因此，本发明也涉及一种用于控制图像传感器的方法，其特征在于在 一帧周期期间，在第一积分时间周期或第二积分时间周期之后，交替地读出 连续(subsequent)行或列中的像素。可选地，在一帧周期期间，在第一积分 时间、第二积分时间以及直到第n积分时间之后读出连续行或列。此外，可 选地，在一帧周期期间，以不同的积分时间读出n个完整图像或满场。具体 地，在一帧周期期间，读出两个图像或满场，其中， 一个在帧周期内或在满 积分时间内曝光，另一个在较短的时间段内曝光。
本发明进一步涵盖一种如权利要求26所述的用于寻址图像传感器的方 法，包括步骤
-复位像素单元；
-读取与在满曝光周期期间曝光的像素单元对应的值，所述满曝光周期 是对应于图像传感器的帧速率的时间段； 其特征在于，所述方法还包括步骤 -读取所述满曝光周期内一时刻的值；
-组合所述满曝光周期内读取的值和取决于像素单元的饱和电平而加权 的、在所述满曝光周期内的所述时刻读取的值。
所述方法还可以可选地包括读出与复位像素单元相对应的值。优选地，所述方法使用如上所述或者如在所附装置权利要求中要求的电路。具体地， 复位步骤通过复位部件来完成，多次读出通过多次读出部件来完成，组合通 过组合部件来完成。
在优选实施例中，所述方法包括步骤基于所述满曝光周期与像素单元 在被复位之后且在被读出之前被曝光的时间之间的比率，从在满曝光周期内 读出的值计算校正值。该步骤优选地通过用于组合的部件来完成，并且如上 所述用来适应于不同的投射时间。


通过本发明的优选实施例和附图的下面详细描述，公开了本发明的其他 特征、优点和/或效果，其中
图1图示了 CMOS图像传感器的最大可用动态范围和限制因数；
图2图示了根据本发明的实际像素单元的连接图3示出了与时间相关的信号曲线图，用以解释图2中的像素单元中的 电荷建立和VDDS技术；
图4示出了具有额外的移位寄存器信号的另 一个与时间相关的信号曲线
图5示出了在图2中的像素单元的操作期间生成的示例性信号；
图6示出了预处理步骤之后的图5中的信号；
图7示出了图5或图6中的信号的增益的传递函数；
图8示出了高亮压缩(high-light compressing )的示例性曲线；
图9图示了根据本发明第一实施例所使用的移位寄存器的示意方框图IO描绘了根据本发明第二实施例所使用的移位寄存器的示意方框图11示出了使用VDDS的图像传感器的方框图12图示了作为本发明第三实施例的图像传感器的方框图13示出了具有表示图像传感器的实际像素单元的矩阵元素的矩阵；
图14示出了根据本发明的可能替换读出方法；
图15示出了根据本发明的另 一替换读出方法，
图16示出了被适配用于所述另一替换读出方法的复用器。
相同或等效的部件由相同的附图标记来表示。
具体实施例方式
图1采用坐标系1图示了像素单元、例如CMOS APS的最大动态范围和 限制因数。
坐标系1的水平轴2表示像素单元的照度，垂直轴3表示取决于照度的 信号电平。该信号电平由轴2的低照度端上的噪声最低限、和轴2的高照度 端处的饱和电平来界定。应当注意，附图中的照度表示随时间积分的照度。 像素单元的动态范围由饱和电平与噪声最低限电平的比确定，该动态范围涵 盖所拍摄场景的场景内(intra-scene)和/或场景间(inter-scene)动态范围。场景内 动态范围是指一个图像内的比率，而场景间动态范围是指连续图像之间的比 率。
照度电平函数4的曲线图包括与水平轴2平行的第一部分、第二线性增 加部分和与水平轴2平行的第三部分。
第一部分表示最小可检测信号，其由电子噪声引起的噪声最低限确定， 并且该第一部分确定最小照度信号。该噪声最低限也可表达为噪声等效照度。
第三部分表示最大可检测信号，并且由图像传感器或者像素单元的电子 的全满容量来确定。最大信号对应于完全饱和信号(foil saturation signal), 其继而对应于与曝光时间相乘的相应的完全饱和照度(fUll saturation illumination )。
图2作为连接图示出了与本发明一起使用的像素电路5的示例。通过投 射光子来照亮像素或者光电二极管PD1。所述投射光子通过光电效应被转换 为电子。这些电子被累积在电容器C中。为了清空或者复位电容器C,可以 将选择脉冲施加到节点RST。为了读出电容器C，在节点SEL处施加选择脉 沖。
图3示出了与时间相关的信号曲线图，用以解释图2中的像素单元中的 电荷建立和VDDS技术。上面的线表示图2中的电容器C的充电线6。该充 电线6被划分为多个帧部分，即帧l、帧2、帧3等，每个帧部分示例性地 表示单个帧的时间段。
在帧部分的开始处，通过在节点RST处施加选择脉沖来复位像素电路5。 该选择脉冲在附图3中用Rst-线7来描绘，Rst-线7示出了在帧部分的每个开 始处的矩形复位脉沖8。响应于该复位脉冲8，电容器C以及充电线6因而被 复位为复位电平V化，其对应于像素单元5的kTC噪声最低限。在图像传感
13器或者光电二极管PD1上光投射的积分时间Tint期间，光电二极管PD1或电 容器C处的电压下降，如充电线6的线性下降所示，直到到达电平V ^为止， 其对应于最大积分时间之后的视频电平。
而且，示出了选择线9和lO(Sell, Sel2),用于选择在Tint期间的两个 不同时刻进行读出。用于读取的第一选择Sel 1 —般用于读出在时刻Tsell获 取的复位值或暗值Vsell，而用于读取的第二选择Sel2用于读取在时刻Tsel2 处的明亮值或者曝光后的值Vsel2。时刻Tsell和Tsel2在图3中由选择脉 沖指示和/或分别由箭头Sell和Sel2指示。
通过从Vsel2中减去值Vsell以抑制kTC噪声，来计算输出视频值。应 当强调，将暗值Vsell和明亮值Vsel2组合，以便计算对于实际帧产生的输出 值，该暗值Vsell和明亮值Vsel2是从同一帧中获得的。该技术可被称作 VDDS(可变数字双采样)。
时间Tsell处的输出对应于V复位，时间Tsel2处的输出对应于V复位+ V白 色。比率Tsel2/Tint表示获取白色值的时间相对于最大可能积分时间的位置 (point)。在一条直线(line)中的所有像素被寻址为同时读出的情况下，最 大可能积分时间由帧速率和一帧内所述直线的数目来确定。例如，对于每秒 帧数而言，24、 30、 50、 59、 94是常见的速率，但是通常任何其他帧速率也 是可能的。
为了改善图像传感器对明亮区域的性能，可以使用下面描述的修改的读 出方法。由于在读出Vsell之前和在读出Vsell期间照亮了光电二极管PDl, 因此在电容器C中建立了电荷。因此，如果在读取Vsel2时图像传感器或像 素单元是饱和的，即当对Vsel2读出的信号被限幅时，则该值Vsell可被用来 计算视频电平。典型地，Vsdl是具有非常短的积分时间(通常是在复位之后 尽可能短的时间)的测量值，但是也可能将该时刻移动到Vsella，将读出延 迟某一时间。然而，该修改的读出方法涉及kTC噪声抑制与动态范围之间的 折衷，因为暗值不再与复位时刻紧密耦合。如后面结合附图5等所解释的， 优选地计算所产生的输出值，从而，将值Vsell或值Vsella用作较低亮信号， 将值Vsel2用作明亮信号，由此忽略暗信号(kTC)补偿。
为了提供优良的kTC噪声抑制以及改善的动态范围，优选地使用用于寻 址要读出的像素单元的第三垂直移位寄存器。
图4示出了具有被实现为移位寄存器信号Sd3的额外选择线11的另一个与时间相关的信号图。充电线6示出了根据本发明的图像传感器中的电荷 建立(bulid-up)、以及用于复位和读出视频信号的对应寻址脉沖Rst、 Sell、 Sel2 和Sel3。在该图中，假设非常亮的照度，其使得图像传感器在最大积分时间 Tint的中间就饱和了。相应的白色值由延长该曲线的虚线来指示。然而，由 于在预定电平V^处对信号进行了限幅，因此不能达到实际上与照度和积分 时间相对应的白色值。
例如，积分时间被设置为Tint = 20ms,其对应于帧速率50Hz,用于使 用选择脉冲Sel2寻址和/或读出光电二极管PD1的时刻被设置为Tsel2 = 5 ms, 用于使用选择脉冲Sel3寻址和/或读出光电二极管PD1的时刻被设置为Tsel3 =20ms。由于Vsel3被限幅为V限幅，因此，Vsel2被用来如下地延长V白色 V白色-Vsel2xTint/Tse12。因此，在具有用于不同的选择标志的三个垂直移位 寄存器的结构中，可以实现提高的黑色图像响应和扩展的动态范围功能性。
图5示出了通过施加选择脉冲Sell、 Sel2和Sel3而生成的信号曲线图， 从而分别生成暗信号V暗、明亮信号V^和较低亮信号V较M。要注意，从顶 部到底部的信号顺序并不对应于获取信号的顺序。在第一处理步骤中，从V 明亮和V较低亮中减去V暗，以便校正或补偿固定图案噪声(FPN)和kTC。 V较低亮的 增益因子可被计算为总积分时间Tint和在读取V较低亮值之前成像器已经曝光 的时间Tsel2的商。该增益因子被施加到对V较低亮读取的值，以便确定如果图 像传感器没有饱和则应当读取的值。
图6示出了由与通过增益因子校正的V城亮值对应的信号补偿后的图5 的示例性信号。每一帧的校正后的V较低亮的最大电平对应于相应帧的延长后 的V白色。
在本发明的优选实施例中，根据通过读取亮度值获得的信号和通过读取 并校正较低亮值V録《获得的信号各自的值，将所述两个信号组合。
一般来讲，在图像的较暗区域中，优选地仅使用明亮值信号，因为对于 较暗区域而言该信号保持更精确的值。另一方面，在图像的非常亮的区域中， 优选地仅使用校正后信号V较低亮，因为明亮值可能被限幅了，并且该较低亮 值保持有关图像的动态特性的信息。
在过渡区中，将与电平相关的增益施加到两个信号，并且組合这两个信 号。该两个信号的增益之和优选地纟皮调节为等于1。
图7示出了作为传递函数或增益函数的明亮值(连续线)和较低亮值(虚线)的增益的示例性值。在水平轴上显示了以数字表示的像素的累积照度，在垂
直轴上显示了增益因子。在该附图中，DNth对应于阈值。从该阈值点开始， 以递增方式施加较低亮信号。在该附图中，值4095对应于该示例中使用的示 例性ADC的12位分辨率。 示例
Tint/Tsel2 = 10
Tint = 16.6 ms (当帧速率为60 Hz时) Tsel2 = 1/10 x Tint = 1.66 ms
较低亮信号在从O到10 x4095 =40950的范围内。所产生的输出对应于 1og(40950)/log(2) = 16位分辨率。
暗区域中的分辨率由12位V明亮信号来确定，明亮区域中的虛拟分辨率 从增益校正后的V较低亮信号中计算而来。
为了在过渡区中实现正常行为，提出了反正切(arctan)曲线来将组合后的 信号变回到10位分辨率信号。这可被认为是高亮压缩、Knee函数、或对数 传递曲线。图8中示出了示例性曲线。该反正切曲线对于与表示暗像素的值 相对应的较小值而言具有增益1,而对于与较高亮度的像素相对应的较高值 而言，该增益递减，从而通过相应的反正切值衰减了输入值。
所有定时时刻在Tint内的范围中是可调节的，也就是说，在Tint内可以 调节对信号采样的时刻。以这种方式，根据将要拍摄的场景，通过用户调节 或者通过自动动态范围算法调节，可以提供不同的扩展动态范围。
根据本发明，自动动态范围算法包括在整个图像上测量在Tsel2处获 取的信号的平均视频电平，以及在整个图像上测量在Tsel3处获取的信号的平 均视频电平。使用这两个参数可以调节Tsel2和/或Tse13，使得在Tsel3处获 取的信号包含大约50%的限幅值，在Tsel2处获取的信号包含大约10%的限 幅值。对于在时刻Tsel2和Tsel3处采样多少限幅值的设置仅仅作为示例值被 给出。可以取决于用户需求或其他需求来设置这些值。
在现有技术中，CMOS成像器的动态范围是大约400%。
通过额外测量Vse12,动态范围祐j是高到
示例1:
Tsel2 = 5ms: Tint/Tse12 = 20ms/5ms = 4 x较高的=>1600% 示例2:Tsel2 = 2ms: 20ms/2ms =10x 示例3:
Tsel2 = 200 us: 20ms/200 us = 100 x 示例4:
Tsel2 = 20 us: 20ms/20 us = 1000 x 示例5:
Tsel2 = 2 us: 20ms/2 us= 10000 x 示例3:
Tsel2 = 200 ns: 20ms/200 ns = 100000 x
因此，就Tsel2 = 200 ns而言，理论上，可以实现100000 x 400 % = 40000000%的动态范围。
该示例示出了最大积分时间与在对在Tsel2处获取的信号的值采样的时 间之间的关系。
只要在Tsel2处获取的信号未被限幅，在Tsell处获取的信号可被认为是 ADC上的附加位。
为了执行VDDS并且提供扩展动态范围，在一个实施例中，成像器以三 倍的期望帧速率运行。对于1080P30/1080I60的视频格式，这意味着输出数据 速率为74 x 3 = 222 M采样/秒。在成像器中使用两个ADC， 一个用于奇数像 素， 一个用于偶数像素，每个ADC将必须在111MHz操作。当然，通过增加 更多的ADC能够减小该频率，从而使用大量的额外ADC，线性地降低了所 需的操作频率。
因此， 一种用于提高动态范围并且提供相关双采样的方法包括从在 Tsel2处获取的信号和在Tsd3处获取的信号中减去在Tsell处获取的信号(复 位值)以便抑制kTC噪声和阴影假像。而且，计算对应于Tint/Tse12的、在Tsel2 处获取的信号的增益因子，并且将其施加到在Tsel2处获取的信号。然后，利 用取决于在Tsel2处获取的信号的加权因子，将在Tsel2处获取的信号与在 Tsel3处获取的信号组合。
在一种发展中，将在Tsel2处获得的信号和在Tsd3处获得的信号相加。 只要在Tsd3处获得的信号未被限幅，所述相加就将时间噪声减小为1/V^倍。
图9图示了根据本发明所使用的三个移位寄存器的示意方框图。优选地， 所述移位寄存器被实现为垂直移位寄存器。使用该实施例，可以实现如结合附图3所述的用于生成V较低亮和V明亮值的方法，或者所述移位寄存器之一在 一帧周期期间被使用两次，从而可以实现如结合附图4所述的用于生成V暗、 V较低亮和V明亮值的方法。
图IO示出了本发明另一发展的示意方框图，其中，提供了三个移位寄存 器来选择要读出的像素电路，提供了两个移位寄存器来独立地复位各个像素 电路。与现有技术相比，提供了另外两个移位寄存器来选择进行读出以及另 外一个可选的移位寄存器来进行复位。
使用根据本发明的该发展的配置，下列不同的读出模式是可能的
1. 模拟双采样模式
2. 数字双采样模式
3. 高动态范围模式
4. 第二次复位以读出黑色线
为了执行所述的第一读出模式，仅需要一个复位和一个选择寄存器。然 而，该模式会带来一些不利。首先，测量到的kTC噪声实际上属于随后的积 分周期，从而导致仅抑制固定的图案噪声、或者FPN。其次，如果积分时间 缩短，则使用属于错误直线(wrongline)的固定图案噪声来进行校正，从而 根本上导致该固定图案噪声的不良校正。
在第二模式中，当读出帧速率增加为2倍时，可以从每个像素电路读出 明亮值和暗值。根据执行数字双采样的方法，将该暗值存储在帧存储器中并 且对该暗值进行增益校正以便补偿较短的积分时间。
图11示出了用于执行第二模式的电路的示例性方框图。该模式和该电路 允许通过使用相关值(correlating value)来补偿kTC噪声。而且，水平和垂 直阴影假像被抑制。再者，来自每个像素的固定图案噪声被独立地测量和校 正。该电路进一步允许通过改变从帧存储器读出的信令(signing)而灵活地 设置积分时间。
已经在上面描述了第三模式，因此不再详细参考。
在第四模式中，读出黑色线，以便允许抑制列固定图案噪声。可替换地， 可以仅读出图像的一条直线(line),用以校正列固定图案噪声。
图12示出了根据本发明的图像传感器的基本方框图。该图像传感器包括 具有例如以行和列布置的多个像素单元的成像器。标志控制逻辑例如被具体 化为如图IO所示的移位寄存器系统，其寻址要读出的像素单元。经由复用器Mux单元传送读出值，并将读出值划分为三个通道，从而第一通道将复位电 平值Vsell引导到第一帧存储器中，第二通道将Tsel2之后的视频电平值、即 较低亮值引导到第二帧存储器。在完成该帧周期之后，将两个帧存储器清空 到累积单元中，其中，引导Tsel3之后的视频电平值即明亮值的第三通道也结 束。在该附图中，Vsdl对应于暗值或V暗，Vsel2对应于在Tsel2处的视频电 平或较低亮值，Vsel3对应于在最长、优选地最大积分时间处的视频电平或明 亮值。在累积单元中，执行VDDS以及如先前所述的另外的超高动态范围算 法，以便生成输出^L频。
可以选择性地输出校正后的高动态视频输出或者两个数据流， 一个数据 流具有标准图像， 一个数据流用于高动态范围。
图13示出了具有按直线(line)布置的交替的奇数像素和偶数像素的示 例性像素网格。字母O和E表示奇数和偶数。
根据本发明的实施例，在不同的积分时间之后读出相邻直线或行。例如， 对于不同的积分时间读出奇数行和偶数行。
使用具有三个移位寄存器的电路，使用来自第一移位寄存器的第一选择 信号来读取奇数行中的明亮值以及偶数行中的较低亮值。使用来自第二移位 寄存器的第二选择信号来读出奇数行的暗值。使用来自第三移位寄存器的第 三选择信号来读出偶数行的暗值。
图14示出了像素行的读取图案，其中在不同的积分时间之后读出连续 行。字母D表示暗值，字母L表示在较短的积分时间之后读出的较低亮值， 字母B表示在最大积分时间之后读出的明亮值。示例性的像素网格与图13 中展示的相同。读出第一场的第一行以产生暗值。读出第一场的第二行以产 生较低亮值。读出第一场的第三行以再次产生暗值，读出第一场的第四行以 产生明亮值。重复上面的顺序，直到完全读出了第一场为止。然后将所述顺 序偏移一行以便读出第二场。在第二场中，读出笫一行以产生较低亮值。读 出下一行即第二行以产生暗值。读出第三行以产生明亮值，读出第四行以再 次产生暗值。重复该顺序，直到完全读出了第二场为止。图14还在右手边示 出了如何将第一场和第二场重构成一帧。可以看出，第一行和第二行包含较 低亮值，第三行和第四行包含明亮值。该顺序继续进行直到该帧结束为止。 本发明的该实施例以可能降低垂直分辨率为代价提供了提高的动态范围。
在另 一 实施例中，以可能降低水平分频率为代价来实现提高的动态范围。
19相应的图案在图15中示出。在这种情况下，与第一实施例中所示出的类似， 保持在每个第二行读出暗值。然而，对奇数列和偶数列，交替地应用用于读 出明亮值和较低亮值的定时。类似于第一实施例，在连续场之间偏移读出图 案。然而，也在连续场之间偏移列读出图案。在图15的右手边，示出了重构 帧。可以看到包含较低亮值和明亮值的棋盘式图案的像素。
根据本发明的第二实施例，为了读出图像传感器，可能需要用于正存储 读取值的列电容器的选择输入。为此，可以提供对于两个输出(即奇数列和 偶数列)的列电容器开关的分离。
在该实施例中，以隔行模式在两场内读出完整图像。然而，也可以适用 交替读出方案来读出完整图像、或者逐行视频。该说明书中的术语"场"用 于隔行视频的半图像。术语"帧"用于逐行视频的完整图像。
所有定时时刻在积分时间Tint内的范围中是可调节的，也就是说，在Tint 内可以调节对较低亮值的信号进行采样时的时刻。以这种方式，根据将要拍 摄的场景，通过用户调节或者通过自动动态范围算法调节，可以提供不同的 扩展动态范围。
根据本发明的一种发展，自动动态范围算法包括在整个图像上测量 Vsel2的平均视频电平，以及在整个图像上测量Vsel3的平均视频电平。使用 这两个参数可以调节Vsel2，使得Vsel3包含+-50%的限幅值，Vsel2包含+-10 %的限幅值。对于Vsel2和Vsel3采样多少限幅值的上述设置仅仅作为示例值 被给出。可以取决于用户需求或其他需求来设置这些值。
图16示出了用于驱动列电容器开关的可能的复用器。在该附图中，标签 COL—0_En表示用于选择奇数列或偶数列的、对复用器的输入。标签 SW—B—COL—control—Odd(2,.0)表示经由SPI寄存器提供控制的、对复用器的 输入。下表示出了用于复用器的逻辑表
用于复用器的逻辑表
SW—B—COL—控制—Odd(2..0) = >SW_B—COL一Odd(位2..0)
000 == > SW一B
001= =>SW_D
010==>逻辑低
011 ==>逻辑高
100 =- > SW_B和COL—O—En101 == > SW—D和COL_0_En 110==>预留 111 ==>预留
使用复用器以便对于每一列的暗值和明亮值在各存储部件之间进行选 择、在奇数像素与偶数像素之间进行选择、以及在读出和作为基准电压的信 号之间进行选择。总之，可设想如下组合
SW-Bj:OL-奇数 (如示例中所示)
sw一bj:ol一偶数
SW—D—COL—奇数 SW_D—COL—偶数 SW_B—REF—奇数 SW—B—REF一偶数 SW_D_REF—奇数 SW一D一REF」禺数
由于通过对多列使用复用器可以选择性地读出 一条直线或一行内的奇数 像素和偶数像素，因此也可以增加帧速率。
尽管特别参考使用三个移位寄存器进行读出的图像传感器描述了本发 明，但是也能够由具有更少移位寄存器的成像器来使用本发明。在这种情况 下，能够以可变的时钟速率来为移位寄存器提供时钟是有利的。
权利要求
1. 用于复位和读出图像传感器的实际和/或虚拟像素单元(5)的电路，所述电路包括以下步骤-用于复位(Rst)所述像素单元的部件，其中，所述像素单元的第一次复位与第二次复位之间的时间间隔被定义为主积分周期(Tint)；-用于在所述主积分周期期间多次读出所述像素单元的部件，其中，所述电路可操作来在所述主积分周期(Tint)期间至少两次(Sel1，Sel2)读出所述像素单元，生成至少两个像素信号(V较低亮，V明亮)，和-用于将所述至少两个像素信号组合成输出信号的部件，其特征在于，所述用于组合的部件可操作为依据所述像素单元的饱和电平以加权方式组合所述至少两个像素信号。
2. 如权利要求1所述的电路，其中，所述电路或者其部件被实现为CMOS-电路。
3. 如权利要求1或2所述的电路，其中，所述用于多次读出的部件可操 作为读出像素以获取具有第一曝光时间的较低亮信号(V较低亮)，并且之后再 一次读出所述像素以获取具有第二曝光时间的明亮信号(V sm),所述第一曝光 时间短于所述第二曝光时间。
4. 如在前权利要求之一所述的电路，其中，所述用于多次读出的部件可 操作来在所述主积分周期期间读出像素以获取暗信号(V暗)，并且所述暗信号 (V暗)优选地在所述主积分周期的开始处读出。
5. 如权利要求4所述的电路，包括用于预处理信号的部件，其中，所述 用于预处理的部件可操作来从所述较低亮信号(V较低亮)和/或从所述明亮信号 (V明亮)中减去所述暗信号(V暗)。
6. 如在前权利要求3-5之一所述的电路，其中，所述用于组合的部件可 操作来补偿所述较低亮信号的减少的曝光时间，将所述较低亮信号放大某一 倍数，该倍数取决于所述主积分周期(Tint)与在第一次复位和所述较低亮 (Tsel2)信号的读出之间的时间段之间的比率。
7. 如在前权利要求之一所述的电路，其中，所述用于组合的部件可操作 来使用包括扩展过渡部分的加权函数，所述较低亮信号(V较低亮)和所述明亮信 号(V明亮)分别被放大较低亮增益和明亮增益。
8. 如权利要求7所述的电路，其中，所述过渡部分在阈值处或者阈值之 下结束，该阈值等于明亮信号的最大读出值。
9. 如在前权利要求之一所述的、用于复位和读出具有以行和列布置的多 个像素单元的图像传感器的的电路，其中，可以将以列布置的像素单元选择 性地耦接到公共线，以读出与投射到所述图像传感器上的光相对应的值，为 像素的寻址线提供第 一移位寄存器以用于复位，为像素的寻址线提供第二移 位寄存器以便在与图像传感器的帧速率相对应的主积分周期(Tint)结束时从 像素单元读出值，为像素单元的寻址线提供第三移位寄存器和第四移位寄存 器以便在复位所述^f象素与主积分周期(Tint)结束之间的不同时刻处读出值。
10. 如权利要求9所述的电路，包括可操作来执行自动动态范围算法的 设置部件，其中，用于读出较低亮信号(V较低亮)的时间和/或用于读出明亮信号 (V g)的时间是依据整个图像上的、超过预定值的较低亮信号和/或明亮信号 的凄t目而i殳置的。
11. 如在前权利要求中任一项所述的电路，其中，所述电路可操作来复 位和读出具有以行和列布置的多个实际像素单元的图像传感器，并且多个实 际像素单元的信号被组合成虚拟像素单元的相应信号。
12. 如权利要求11所述的电路，其中，水平或垂直相邻布置的实际像素 单元被组合成所述虚拟像素单元之一。
13. 如权利要求11到12之一所述的电路，其中，所述电路可操作来生 成包括具有较低亮信号和明亮信号的值的相邻布置的矩阵元素的中间图像。
14. 如权利要求13所述的电路，其中，具有较低亮信号的值的所述矩阵 元素以列或行布置，并且/或者具有明亮信号的值的所述矩阵元素以列或行布 置。
15. 如权利要求14所述的电路，其中，分别以交替方式布置具有较低亮 信号的值的两列或两行矩阵元素以及具有明亮信号的值的两列或两行矩阵元 素。
16. 如权利要求13所述的电路，其中，以类棋盘形图案布置以较低亮信 号的值填充的矩阵元素和以明亮信号的值填充的矩阵元素。
17. 如在前权利要求之一所述的电路，其中，所述电路可操作来读出具 有图像传感器的信号值的两个满场，其中所述信号值涉及单个积分周期和/或 一个帧周期。
18. 如权利要求17所述的电路，其中，所述电路可操作来将所述两个满 场组合为中间图像。
19. 如权利要求17或18所述的电路，其中，所述两个满场包括具有以 暗信号值填充的矩阵元素的暗信号行。
20. 如权利要求19所述的电路，其中，每第二行是暗信号行。
21. 如在前权利要求17到20之一所述的电路，其中，所述两个满场包 括以较低亮信号值填充的较低亮信号行和以明亮信号值填充的明亮信号行。
22. 如权利要求21所述的、与权利要求20相关的电路，其中，剩余行 在较低亮信号行与明亮信号行之间变化。
23. 如权利要求17到20之一所述的电路，其中，所述两个满场包括混 合信号行，每个混合信号行以交替方式具有以较低亮信号的值和以明亮信号 的值填充的矩阵像素。
24. 如权利要求23所述的、与权利要求20相关的电路，其中，剩余行 的矩阵元素以类棋盘形方式用较低亮信号和明亮信号填充。
25. 如在前权利要求之一所述的电路，其特征在于，在一帧周期期间， 在第 一或第二积分时间之后，交替地读出连续行和/或列中的实际像素。
26. 用于寻址图像传感器的方法，包括步骤 -复位虚拟像素单元和/或实际像素单元；-读出对应于复位后的像素单元的值；-读出与在满曝光周期期间曝光的像素单元相对应的值，所述满曝光周 期优选地是与图像传感器的帧速率相对应的时间段； 其特征在于，所述方法还包括步骤 -读出所述全曝光周期内一时刻处的值；-将所述全曝光周期内读出的值与在所述全曝光周期内的所述时刻读出 的、依据像素单元的饱和电平加权的值组合。
27. 如权利要求11所述的方法，包括步骤基于所述全曝光周期与在像 素单元被复位之后并被读出之前被曝光的时间之间的比率，从在所述全曝光 周期内读出的值计算校正值。
28. 如权利要求26或27所述的方法，其中，所述方法使用如权利要求 1到25之一所述的图像传感器和/或电路。
全文摘要
提出了一种用于复位和读出CMOS图像传感器的像素单元(5)的电路。所述电路允许在主积分间隔期间至少两次读出像素单元，从而生成至少两个像素信号(V_较低亮，V_明亮)。所述电路还包括用于将所述至少两个像素信号组合为输出信号的部件。所述用于组合的部件可操作来依据所述像素单元的饱和电平以加权方式组合所述至少两个像素信号。也提供了一种控制所述用于读出图像传感器的电路的方法。
文档编号H04N5/235GK101455074SQ200780018839
公开日2009年6月10日 申请日期2007年5月23日 优先权日2006年5月24日
发明者尼古拉斯·J·戴姆斯特拉, 彼得勒斯·G·M·森藤, 斯蒂芬·莱尔, 杰罗恩·罗特, 沃尔克·尼斯, 海因里希·谢曼, 萨拜因·罗思 申请人:汤姆森特许公司