专利名称：摄像设备及其控制方法
技术领域：
本发明涉及一种对由光电转换获得的图像信号进行处理的 摄像设备及其控制方法。
背景技术：
近年来，由于互补金属氧化物半导体(CMOS)传感器具有低 的电功耗，示出了与电荷耦合器件(CCD)同等的高信噪比(SN 比)，并且可以由与光电转换单元相同的半导体处理制造其信号 处理电路，因此该互补金属氧化物半导体传感器已经引起了广 泛的注意。
图9是示出包含多个像素的传统CMOS传感器中的用于一 个像素的信号的读出路径以及用于处理读出信号的结构的图。 当CMOS传感器的曝光开始时，首先接通开关SWl,并且在放 大器510的输入部中对在主要包括浮动扩散单元(FD)502的区域 中累积的电荷进行复位。然后，在断开SW1之后，将FD 502的 电荷读出到电容CN(噪声信号)。接着，接通开关SW2以将累积 在光电二极管(PD)501中的由光电转换获得的电荷传送到FD 502,并将电荷读出到电容CS(图像信号)。通过相关双采样(CDS) 电路504对保持在电容CS中的图像信号和保持在电容CN中的 噪声信号进行差分。因此，可以输出去除了噪声成分的图像信 号。图像信号进一步通过模拟-数字(A/D)转换器505转换为数字 信号，并通过信号处理电路506进行信号处理。
在具有上述结构的CMOS传感器中，已知出现了被称之为 高亮度暗色(high-brightness darkening)的现象。该高亮度暗色是 这样一种现象在极大量的光进入时，输出信号突然消失，并
且光所照射的区域变黑，好像没有光进入一样。
考虑到由在极大量的光入射在像素PD 501上时不能由PD 501保持的且流入FD 502的电荷引起该高亮度暗色。因此，如 果电荷流入FD 502，则读出的噪声信号迅速变大，从而降低了 图像信号和噪声信号之间的差分(输出信号)。
在日本特开2000-287131中，为了緩解高亮度暗色，通过将 噪声信号与阔值进行比较来检测噪声信号的快速升高。因此， 可以将噪声信号箝位(clip)于固定值。
然而，尽管对噪声信号进行了箝位，然而如果在用于判断 暗色的阈值中或在箝位后的信号的电平中出现误差，则可能仍 有暗色。以下将说明这一点。
图10A~ IOE示出了当在图9中所示的CMOS传感器的^^径 中的各点对诸如太阳等的高亮度被摄体进行拍摄时由CMOS传 感器在 一 行扫描中所获得的图像信号的变化。
图IOA是示出在拍摄像太阳这样的高亮度被摄体时在 CMOS传感器的各像素上累积的电荷量的示意图。图1 OB是示出 在图9中的点P1处的一行噪声信号N和图像信号S的图。垂直轴 表示信号电平，水平轴表示水平方向上的像素位置。在图像信 号S中，PD 501中由光电转换获得的电荷量(入射电平)超过饱和 电平。因此，饱和电平将连续。当入射电平达到了进一步超过 々包和电平的过々包和电平时，电荷乂人PD 501向FD 502泄漏。因此， 噪声信号N的值变得大于周围值。如果照原样将噪声信号N输入 到CDS电路504并且执行噪声信号N和图像信号S之间的差分处 理(S-N),则与周围值相比较，极大降低了超过过饱和电平的像 素的输出电平。
另 一方面，如果设置箝位电路503以在噪声信号N超过阈值 (箝位电平)时将噪声电平箝位到阈值(图1 OC)，则可以緩解过饱
和区域中的电平的降低(图IOD)。
如果将阈值设置得低，则可以消除暗色，然而，很有可能 甚至对正常噪声成分也可能进行箝位，这导致了图像质量的劣 化。相反地，如果将阈值设置得高，则存在不能抑制暗色的可 能性。图10C和10D示出了当通过在点P2和P3处分别设置阈值而 没有完全消除暗色时CDS电路504的输入和输出。为了消除各像 素的饱和电平的不均衡，A/D转换器505还将信号箝位到预定电 平的上限(图10E)。这里，如果还降低要箝位的范围，则可以消 除暗色的影响。然而，这引起了图像质量的劣化。结果，关于 A/D转换器505的输出，可能在饱和电平的像素区域内生成电平 比饱和电平低的像素区域。例如，当拍摄太阳时，太阳中心的 电平可能比太阳外围的电平低。
此外，当噪声信号的电平根据电压和温度等的环境变化而 波动时，如果仅设置一个箝位电平，并且总是将其应用于信号， 则不能防止S/N比的劣化。
发明内容
本发明涉及一种可以根据拍摄情况设置更多适当的箝位电 平的摄像设备及其控制方法。
在本发明的第一方面，提供一种摄像设备，包括多个光 电转换单元，各自用于输出图像信号和噪声信号；箝位部件， 用于如果所述噪声信号超过预设阈值电平，则将所述噪声信号 箝位到箝位电平；箝位电平控制部件，用于基于从所述多个光 电转换单元读取的信号，计算阈值电平，并向所述箝位部件设 置所计算出的所述阈值电平，作为所述预设阈值电平；以及处 理部件，用于执行从自给定光电转换单元读取的图像信号减去 自所述给定光电转换单元读取的并由所述箝位部件进行了箝位的噪声信号的差分处理。
在本发明的第二方面中，提供 一 种控制摄像设备的方法， 所述摄像设备具有用于输出图像信号和噪声信号的多个光电转 换单元以及用于在所述噪声信号超过预设阈值电平时将所述噪
声信号箝位到箝位电平的箝位部件，所述方法包括以下步骤 基于从所述多个光电转换单元的每一个读取的信号，计算阈值 电平；向所述箝位部件设置计算出的所述阈值电平，作为所述 预设阈值电平；以及/人自所述多个光电转换单元的每一个读:f又 的图像信号减去自相应的光电转换单元读取的并由所述箝位部 件进行了箝位的噪声信号。
以下通过结合附图对典型实施例的详细说明，本发明的其 它特征和方面将变得明显。
包括在说明书中并构成说明书的 一 部分的附图示出本发明 的典型实施例、特征和方面，并与说明书一起，用来解释本发 明的原理。
图1是示出根据本发明第 一 典型实施例的摄像设备的结构 的框图。
图2是示出根据第 一 典型实施例的摄像处理的流程图。
图3是示出根据第 一 典型实施例从预备图像获得箝位电平 的处理的图。
图4是示出根据第一典型实施例的主图像的信号成分和箝 位后的噪声成分的电平的图。
图5是示出根据本发明第二典型实施例的摄像设备的结构 的框图。
图6是示出根据第二典型实施例的摄像处理的流程图。图7是示出根据第二典型实施例从第 一 预备图像对不包括 噪声电平分析的区域进行检测的处理的图。
图8是示出根据第二典型实施例从第二预备图像获得箝位 电平的处理的图。
图9是示出传统CMOS传感器的一个像素和信号处理单元 的结构的框图。
图10中的A E是示出当出现暗色时在各处理步骤进行的 传统像素电平的变化的图。
具体实施例方式
以下将参考附图详细说明本发明的不同典型实施例、特征 和方面。
第一典型实施例
图l是示出根据本发明第一典型实施例的CMOS传感器(图 像传感器)的 一 个像素的结构以及具有光学系统和信号处理单 元的摄像设备的结构的框图。
光通过透镜101入射。通过光圏102调整入射光量，并且在 CMOS传感器105上形成图像。光圈驱动电路104控制光圈102。 光圏驱动电^各104通过光圏驱动马达103驱动光圏102。 CMOS传 感器驱动电路110对C M O S传感器10 5的电荷累积操作、读取操 作以及复位操作进行控制。CMOS传感器驱动电路110可以驱动 CMOS传感器105来以高速执行帧读取。CMOS传感器驱动电路 IIO可以以视频记录速率读取多个所拍才聂的图4象。中央处理单元 (CPU)106对光圏驱动电路104、 CMOS传感器驱动电路110以及 参数控制单元10 9进行控制。
CMOS传感器105主要包括多个像素和读取电路。然而，在 图l中，将通过关注于一个像素的传送路径来说明CMOS传感器105。
首先，在拍摄稍后将要说明的主图像时(在第 一读取驱动期 间)，在CMOS传感器105的曝光开始之后，首先接通开关SW1。 因此，在放大器10的输入单元中对除了累积在主要包括浮动扩 散单元(FD)2的光电二极管(PD)1的内部电容中的电荷以外的累 积电荷(噪声信号)进行复位。然后，在断开开关SW1之后，将 FD 2的电荷读出到电容CN。此时，在通过箝位电路3对噪声信 号进行箝位处理之后，将该噪声信号读出到电容CN。接着，接 通开关SW2，并且电荷(图像信号)通过PD l进行光电转换，并 累积在PD l的内部电容中。将所累积的电荷传送到FD2并读出 到电容CS。
对每个像素执行该读出操作。将读出到电容CN的噪声信号 和读出到电容CS的图像信号顺次输入到相关双采样(CDS)电路 107。 CDS电路107求输入图像信号和噪声信号之间的差分，以 输出去除了噪声成分的信号(差分信号)。通过A/D转换器108将 从CDS电路107输出的差分信号(模拟信号)进一 步转换为数字 图像数据，并对该差分信号进行为了抑制各像素的饱和电平的 不均衡而限制上限值的箝位处理。
将由A/D转换器108处理的数字图像数据输出到信号处理 单元114,并对该数字图像数据进行信号处理。
另 一方面，在拍摄稍后将要说明的预备图像时(在第二读取 驱动期间)，将读出到电容CN的噪声信号传输到噪声分析单元 111。然后，根据噪声分析单元lll的噪声分析结果，在CPU106 的控制下，参数控制单元109向箝位电路3设置阈值箝位电平。
接着，将参考图2中的流程图说明具有上述结构的摄像设备 的操作。
在第一典型实施例中，拍摄用于设置箝位电路3中的阈值箝位电平的预备图像(第一读取驱动)和用于拍摄记录目标图像的 主图像(第二读取驱动)。
首先，在步骤Sll, CPU 106开始拍摄预备图像(第一读取 驱动)。在步骤S12， CPU 106控制参数控制单元109以向箝位电 路3设置箝位电平的初始值。CPU 106将充分大的值设置为初始 值，从而当读取预备图像时不进行箝位。
接着，在步骤S13, CPU 106驱动CMOS传感器105。在预设 电荷累积时间过去之后，CPU 106仅将作为预备图像的噪声信 号N读出到电容CN，并将所读出的信号N输入到噪声分析单元 111。图3是示出通过在水平方向上扫描CMOS传感器105所读取 的一行噪声信号N的电平的变化的放大图。在拍摄预备图像时， CPU 106设置短的电荷累积时间，从而电荷没有泄漏到FD 2。 因此，根据本实施例，可以获得没有受暗色影响的噪声信号N。
如图3所示，在步骤S14,噪声分析单元lll从所读出的噪声 信号N检测噪声电平的最大值。然后，在步骤S15,噪声分析单 元lll对所检测出的噪声电平的最大值和随后将执行的拍摄主 图像时使用的电荷累积时间之间的差分进行校正，并计算主图 像(N，)中的噪声电平的最大值的估计值。图3还示出当对最大值 和电荷累积时间之间的差分进行校正时估计出的在拍摄主图像 时的一行噪声信号N。噪声分析单元lll基于所估计出的主图像 中的噪声电平的最大值，确定在读取主图像时要使用的箝位电 平。噪声分析单元111将要设置的阈值箝位电平输出到参数控制 单元109。在步骤S16,参数控制单元109在开始读取主图像之 前向箝位电路3设置阈值箝位电平。
接着，在步骤S21, CPU 106开始拍摄主图像(第二读取驱 动)。在步骤S22, CPU 106驱动CMOS传感器105以在预设电荷 累积时间过去之后分别将噪声信号Nm和图像信号Sm读出到电
容CN和电容CS。此时，将噪声信号Nm箝位到由箝位电路3设置 的箝位电平。
在步骤S23,将在步骤S22中读出到电容CN和电容CS的噪 声信号N m和图像信号S m输入到C D S电路10 7 ，并且求它们的差 分。因此，可以获得去除了噪声信号的图像信号(差分信号)。 在步骤S24,通过A/D转换器108将从CDS电路107输出的差分信 号转换为数字信号。在步骤S25,将数字信号输出到信号处理 单元114,并对该数字信号进行信号处理，使其成为记录图像。
图4示出在步骤S22中读取的主图Y象的一行图像信号Sm和 噪声信号Nm的电平的变化。在图4所示的示例中，由于主图像 的图像信号Sm超过暗色电平，因此由箝位电路3对与超过暗色 电平的区域相对应的噪声信号进行箝位。此时，基于预备图像 的噪声信号的电平，应用在步骤S16中设置的阈值箝位电平。
对各记录帧或场执行图2所示的处理。即，对各记录帧或场 多次驱动CMOS传感器105，以便读取预备图像和主图像，并且 每次更新箝位电平。由于以这种方式进行驱动控制，因此可以 根据电压和温度等的环境变化来设置更合适的阈值箝位电平。 因此，可以防止S/N比的劣化。
第二典型实施例
图5是示出根据本发明第二典型实施例的摄像设备的整体 结构的框图。在图5中，相同的附图标记附给第一典型实施例中 的与参考图1的那些部分或组件相同的部分或组件，并且省略对
其的说明。
第二典型实施例与第一典型实施例的不同之处在于在基 于预备图像确定用于拍摄主图像的阈值箝位电平时不仅使用噪 声成分还使用图像信号成分。
参考图6中的流程图，将说明本第二典型实施例中的摄像设 备的操作。
首先，在步骤SIOI， CPU 106开始拍摄第一预备图像(第一 读取驱动)。在步骤S102, CPU 106控制参数控制单元109,以 向箝位电路3设置箝位电平的初始值。将充分大的值设置为初始 值，从而当读取第一预备图像时不对信号进行箝位。
接着，在步骤S103， CPU 106驱动CMOS传感器105，在预 设电荷累积时间过去之后仅将作为第 一预备图像的图像信号成 分读出到电容CS，并将所读取的成分输入到噪声分析单元lll。 在拍摄第一预备图像时，CPU 106控制电荷累积时间，从而使 累积时间变为等于在拍摄主图像时的累积时间。作为第 一 预备 图像的一个示例，图7示出了通过在水平方向上扫描CMOS传感 器105读出的一行图像信号Sp的电平的变化。超过饱和电平的 区域可能进一步达到高亮度区域的暗色电平，并且噪声信号的 电平可能增大。在步骤S104，噪声分析单元111从图7中示出的 图像信号成分检测饱和区域，并将该饱和区域设置为不包括噪 声电平分析的区域。
接着，在步骤Slll， CPU 106开始拍摄第二预备图像(第二 读取驱动)。CPU 106驱动CMOS传感器105,以^又将噪声信号Np 读出到电容CN作为第二预备图像。然后，在步骤S112， CPU 106 将读取的噪声信号Np输入到噪声分析单元lll。在拍摄第二预 备图像时，CPU 106还控制电荷累积时间，从而使累积时间变 为等于在拍摄主图像时的累积时间。此外，由于在步骤S102中 初始化箝位电路3的箝位电平，因此没有对噪声信号Np进行箝 位。作为第二预备图像的一个示例，图8示出了通过在水平方向 上扫描CMOS传感器105读取的一行噪声成分Np的电平的变化。
在步骤S113,噪声分析单元lll在读取的噪声信号Np中检 测从在步骤S104中检测出的不包括噪声电平分析的区域之外 的区域输出的噪声信号Np的最大值。然后，噪声分析单元lll
将检测出的噪声电平的最大值确定为在读取主图像时使用的箝
位电平，并将要设置的箝位电平输出到参数控制单元109。在步 骤S114，参数控制单元109在开始读取主图像之前向箝位电路3 设置箝位电平。
接着，CPU 106执行主图像的拍摄(第三读取驱动)。然而， 由于这里所执行的处理与在图2中步骤S21 S25中执行的处理 相同，因此分配相同的附图标记，并省略对其的"i兌明。
对各记录帧或场执行图6中所示的处理。即，对各记录帧或 场多次驱动CMOS传感器105,以便读取第一预备图像、第二预 备图像以及主图像，并每次更新箝位电平。
如上所述，根据第二典型实施例，可以根据电压或温度等 的环境变化来设置更合适的箝位电平。因此，可以防止S/N比 的劣化。
尽管参考典型实施例说明了本发明，但是应该理解，本发 明不限于所公开的典型实施例。所附权利要求书的范围符合最 宽的解释，以包含所有这类修改以及等同结构和功能。
权利要求
1.一种摄像设备，包括多个光电转换单元，各自用于输出图像信号和噪声信号；箝位部件，用于如果所述噪声信号超过预设阈值电平，则将所述噪声信号箝位到箝位电平；箝位电平控制部件，用于基于从所述多个光电转换单元读取的信号，计算阈值电平，并向所述箝位部件设置所计算出的所述阈值电平，作为所述预设阈值电平；以及处理部件，用于执行从自给定光电转换单元读取的图像信号减去自所述给定光电转换单元读取的并由所述箝位部件进行了箝位的噪声信号的差分处理。
2. 根据权利要求l所述的摄像设备，其特征在于，所述箝 位电平控制部件将所述箝位电平设置为等于所述阈值电平。
3. 根据权利要求1或2所述的摄像设备，其特征在于，还包括驱动部件，用于执行用于从所述多个光电转换单元的每一 个读取噪声信号的第一读取驱动以及用于在执行所述第一读取 驱动之后从所述多个光电转换单元的每一个读取噪声信号和相 应的图像信号的第二读取驱动，其中，所述箝位电平控制部件 用于使用由所述第一读取驱动获得的所述噪声信号来计算所述 阈 <直电平，以及其中，所述处理部件用于对由所述第二读取驱动获得的每 个噪声信号和相应的图像信号执行所述差分处理。
4. 根据权利要求3所述的摄像设备，其特征在于，在所述 第 一读取驱动期间的所述多个光电转换单元中的电荷累积时间 短于在所述第二读取驱动期间的电荷累积时间，以及其中，所述箝位电平控制部件用于基于在所述第一读取驱 动和所述第二读取驱动期间的电荷累积时间的差别，来设置所述阈值电平。
5. 根据权利要求l所述的摄像设备，其特征在于，还包括 检测部件，用于从所述多个光电转换单元中检测输出超过所述预设阈值电平的图像信号的光电转换单元，其中，所述箝元输出的用于计算所述箝位电平的噪声信号。
6. 根据权利要求5所述的摄像设备，其特征在于，还包括 驱动部件，用于执行用于从所述多个光电转换单元的每一个读取图像信号的第一读取驱动、用于在所述第一读取驱动之 后从所述多个光电转换单元的每一个读取噪声信号的第二读取 驱动、以及用于在所述第二读取驱动之后从所述多个光电转换 单元的每一个读取噪声信号和相应的图像信号的第三读取驱 动，其中，所述^r测部件使用由所述第一读取驱动获得的所述 图像信号来执行所述检测，其中，所述箝位电平控制部件用于使用由所述第二读取驱 动获得的多个所述噪声信号来计算所述阔值电平，以及其中，所述处理部件用于对由所述第三读取驱动获得的每 个噪声信号和相应的图像信号执行所述差分处理。
7. 根据权利要求6所述的摄像设备，其特征在于，在所述 第一读取驱动、所述第二读取驱动以及所述第三读取驱动期间 的所述多个光电转换单元中的电荷累积时间是相等的。
8. —种控制摄像设备的方法，所述摄像设备具有用于输出 图像信号和噪声信号的多个光电转换单元以及用于在所述噪声 信号超过预设阈值电平时将所述噪声信号箝位到箝位电平的箝 位部件，所述方法包括以下步骤基于从所述多个光电转换单元的每一个读取的信号，计算 阈值电平；向所述箝位部件设置计算出的所述阈值电平，作为所述预设阈{直电平；以及从自所述多个光电转换单元的每一个读取的图像信号减去 自相应的光电转换单元读取的并由所述箝位部件进行了箝位的 噪声信号。
9.根据权利要求8所述的方法，其特征在于，还包括以下 步骤从所述多个光电转换单元中检测输出超过所述预设阈值电 平的图像信号的光电转换单元；以及不釆用从检测出的光电转换单元输出的用于计算所述箝位 电平的噪声信号。
全文摘要
本发明涉及一种摄像设备及其控制方法。所述摄像设备包括多个光电转换单元，用于输出通过执行光电转换所获得的图像信号和噪声信号；箝位单元，用于在所述噪声信号超过预设箝位电平时，将噪声信号箝位到箝位电平；控制单元，用于基于从所述多个光电转换单元读取的信号，计算箝位电平，并向所述箝位单元设置所计算出的所述箝位电平，作为所述预设箝位电平；以及差分单元，用于执行从自所述多个光电转换单元读取的图像信号减去自所述光电转换单元读取的并由所述箝位单元进行了箝位的噪声信号的差分处理。
文档编号H04N5/378GK101345821SQ200810132338
公开日2009年1月14日 申请日期2008年7月11日 优先权日2007年7月12日
发明者石田俊树 申请人:佳能株式会社