摄像设备和校正方法

专利名称：摄像设备和校正方法
技术领域：
本发明涉及一种摄像设备和校正方法，更具体地涉及一种 用于在使用了图像传感器的摄像设备中校正图像传感器产生的 噪声以及图像传感器中缺陷像素的输出的技术。
背景技术：
迄今为止，诸如数码相机和摄像机之类的摄像设备已经得
到广泛使用，这些摄像设备使用诸如CCD或者CMOS之类的图 像传感器。尤其最近几年，图像传感器的像素数目已随数字照 相机的性能改进而增加。
尽管已知诸如温度之类的因素会导致这些图像传感器产生 暗电流，但这种暗电流还取决于使用环境、曝光期等等。因此， 已知一种技术，它由紧接在实际图像捕获操作之前或之后被遮
蔽的图像传感器进行图像捕获，并从已捕获的图像中减去所获 得的图像(光学黑图像)(例如，参见日本特开2003-333435 的背景技术部分)。因此，通过从被摄体图像中减去光学黑图像， 由于减少了暗电流分量中的微小缺陷和固定模式噪声的影响， 因而改善了图像质量。
另外公开了一种方法，其中施加了增益，以便在固态图像 传感器制造期间从光学黑图像中提取出固定模式噪声之后，存 储固定模式噪声，而固态图像传感器响应于由摄像设备中温度 传感器测量得到的温度而变动(例如，参见日本特开 2003-018475 )。釆用这种方法，通过减去根据温度变动而施加 了增益的固定模式噪声，对捕获的被摄体进行图像校正，因而 消除了固定模式噪声的温度相关性所引起的副作用。
涉及从光学黑图像中进行减去操作的日本特开
2003-333435中披露的校正处理，可减少屏幕上的固定模式噪 声和二维暗电流不均的影响。然而，利用被遮蔽的图像传感器 在与实际图像捕获操作相同的电荷累积期中进行图像捕获可获 得光学黑图像。因此，捕获图像时的快门释放时滞增加，并且 当进行连续图像捕获时，第 一和第二帧之间的间隔由于获取光 学黑图像所花费的时间而增加。尤其在慢快门速度下可能会错 过摄像的时机。
日本特开2003-018475号中披露的方法试图消除摄像设备 中温度改变带来的影响，因为测量的并不是实际图像传感器的 温度并且屏幕上的温度分布变化取决于图像传感器，所以无法 进行高精度校正。
另一方面，对于固态图像传感器而言，已知制造处理中出 现的缺陷像素是降低图像质量并使产量减少的 一 个因素。由于 完全消除缺陷像素存在困难，通常，已知通过使用缺陷像素的 相邻像素进行插值来改善图像质量。
已知比如日本特开2003-333435的"背景技术"中披露了 一种方法，这种方法是用于校正缺陷像素的信号输出的技术。 比如，这种方法首先包括通过在固态图像传感器出厂时的预定 条件下，在标准电荷累积期内曝光固态图像传感器而获取的输 出值来确定缺陷像素。此时获得的关于缺陷像素的输出电平、 位置等信息被存储起来，并且当进行图像捕获时，基于缺陷像 素的输出电平、位置等的存储信息，使用缺陷像素的相邻像素 的输出电平对缺陷像素的输出进行插值。
更进一步地，已经提出下列技术用于以慢快门速度进行拍 摄的情况。首先，在实际图像捕获之前得到光学黑图像，将处 于或者超过预定输出的输出电平作为缺陷像素从光学黑图像中
提取并存储。然后相对于通过实际图像捕获获得的图像对已提 取出来的缺陷像素进行校正。对除了已提取的缺陷像素之外的
像素进行所谓的黑细化(thinning),以从通过实际图像捕获获 得的对应像素的输出电平中减去光学黑图像中像素的输出电 平。这样即使相对于慢速快门速度拍摄时产生的缺陷像素的输 出电平增大，也允许进行校正，从而使图像劣化最小化并且不 会导致系统崩溃(例如，参见日本特开2001-028713 )。
还提出了 一种技术，包括提供用于校正缺陷像素的输出的 多个校正数据段，以及在使用根据诸如感光度和电荷累积期之 类的拍摄条件和诸如温度之类的拍摄环境选择的最优数据进行 选择之后校正捕获的图像。(例如，参见日本特开 2003-333435 )。
一些缺陷像素的输出电平由暗电流造成并且这些缺陷像素 的输出电平的变化很大程度上取决于温度和电荷累积期。由暗 电流所引起的缺陷像素的输出电平随着暗电流因更高温度和更 长时间曝光(更慢的快门速度)引起的增大而增大。
当缺陷像素累积的电荷经过暗电流增大而达到像素饱和电 平时，受上述暗电流影响的缺陷像素会引起下列现象。也就是 说，百分之几的超过像素饱和电平的输出会渗漏到相邻像素。 因此，如图10所示，相邻像素的输出电平变得不必要的高，形 成了十字形的缺陷像素区域。在图10中，坐标(n,n)表示由 暗电流所引起的缺陷像素，并且示出了在横向和纵向位置与其 相邻的像素的输出电平的增大，即，示出了作为电荷渗漏的结 果的坐标(n-l，n)、 (n+l，n)、 ( n,rrl )和(n，n+l )。
根据上述日本特开2001-0287134皮露的方法，因为在实际 摄像之前需要时间来获取具有与实际摄像相同的电荷累积时间 的光学黑图像以提取缺陷像素，所以从开始指示进行摄像到实
际执行摄像之间的快门释放时滞被延长。尤其在快门速度慢得 足以让电荷渗漏到相邻像素的情况下，快门释放时滞变得非常 长。然而，如果尝试缩短快门释放时滞，则不可能提取出已经 渗漏了电荷的相邻像素，并无法进行校正。
此外，当尝试对如图IO所示暗电流引起的十字形的缺陷像
素区域采用诸如日本特开2003-333435号所公开的校正方法 时，则会出现下列问题。即，因为输出电平的改变取决于温度 和电荷累积期，所以对于每种情况下每个缺陷像素，都需要保 留是否对相邻像素进行校正的信息，以及缺陷像素的地址信息， 并且需要用于存储这种数据的存储容量。
此外，近年来已经提出一种提案，它利用已经渗漏到CMOS 传感器浮动扩散(FD)部分的信号来计算饱和输出，并且扩大 了动态范围(例如，参见日本特开2006-222762 )。然而，这种 方法不意味着用于防止图像质量劣化，因为不可能判断已经渗 漏到FD部分的信号是由来自被摄体的光线所造成的饱和引起 的，还是由诸如缺陷像素的暗电流之类噪声信号所造成的饱和 引起的。

发明内容
本发明已经考虑到上述情况，能够校正屏幕上不均匀的暗 输出，诸如图像信号中的暗电流不均匀，并且在缺陷像素已饱 和的情况下无需增加任何专门的设备就可以正确地校正图像信 号，并保持快门释放时滞较短。
根据本发明，通过提供一种摄像设备达到上述目标，该摄 像设备包括图像传感器，其中设置了多个像素，每个像素具 有光电转换器，接收来自被摄体的光并将所接收到的光转换 为信号，半导体区域，接收从所述光电转换器传输的信号，传
输单元，将由所述光电转换器转换过的信号传输到所述半导体
区域；以及读出单元，从所述半导体区域读出信号；以及校正 单元，基于通过读出在所述光电转换器的信号累积期间累积在 所述半导体区域中的信号而获得的第二信号，校正从所述光电 转换器读出的第一信号。
根据本发明，还通过提供一种校正方法，用于校正从设置 了多个像素的图像传感器获得的信号，每个像素具有光电转 换器，接收来自被摄体的光并将所接收的光转换为信号；半导 体区域，接收从所述光电转换器传输的信号；传输单元，将所 述光电转换器转换过的信号传输到所述半导体区域；以及读出 单元，从所述半导体区域读出信号，所述方法包括第一读出 步骤，从所述光电转换器读出第一信号；第二读出步骤，在所 述第 一读出步骤之前读出累积在所述半导体区域中的第二信 号；以及校正步骤，基于所述第二信号校正所述第一信号。
根据本发明，还通过提供一种摄像设备，包括图像传感 器，其中设置了多个像素，每个像素具有光电转换器，接收 来自被摄体的光并将所接收到的光转换为信号，半导体区域， 接收从所述光电转换器传输的信号，传输单元，将由所述光电 转换器转换过的信号传输到所述半导体区域；以及读出单元， 从所述半导体区域读出信号；饱和电荷量计算单元，基于通过 读出在所述光电转换器的信号累积期间流向所述半导体区域的 信号而获得的第一信号，计算所述光电转换器的饱和电荷量； 以及校正单元，根据所述饱和电荷量计算单元的计算结果，校 正从如下像素的光电转换器读出的第二信号，所述像素与包括 被所述饱和电荷量单元计算出饱和电荷量的光电转换器的像素 相邻。
根据本发明，还通过提供一种校正方法，用于校正从设置 了多个像素的图像传感器获得的信号，每个像素具有光电转
换器，接收来自被摄体光并将所接收的光转换为信号；半导体 区域，接收从所述光电转换器传输的信号；传输单元，将所述 光电转换器转换过的信号传输到所述半导体区域；以及读出单 元，从所述半导体区域读出信号，包括饱和电荷量计算步骤， 基于通过读出在所述光电转换器的信号累积期间流向所述半导 体区域的信号而获得的第 一 信号，计算所述光电转换器的饱和 电荷量；以及校正步骤，根据所述饱和电荷量计算步骤的计算 结果，校正从如下像素的光电转换器读出的第二信号，所述像 素与包括被饱和所述电荷量步骤计算出饱和电荷量的光电转换 器的像素相邻。
参考附图，本发明的更多特征将从下列典型实施例的说明 中显现出来。


图l是示出根据本发明第 一 实施例的摄像设备结构的框
图2是主要示出根据本发明的第 一 实施例的图像传感器的 一个像素的配置的电路图3中的(A)和(B)示出根据本发明的第 一 实施例的像素和 组成元件的电势的概略表达的剖视图4是根据本发明的第 一 实施例的用于驱动图像传感器的 时序图5是用于说明根据本发明的第 一 实施例的校正噪声信号 的处理的流程图6是用于说明根据本发明的第二实施例的校正噪声信号 的处理的流程图7是根据本发明的第二实施例的用于在电荷累积期间驱 动图像传感器的时序图8是用于说明根据本发明第三实施例的校正缺陷像素信 号的处理的流程图9是用于说明根据本发明第四实施例的校正缺陷像素信 号的处理的流程图；以及
图10示出因为缺陷像素的饱和而造成电荷渗漏到相邻像 素的实例。
具体实施例方式
将根据附图详细说明本发明的优选实施例。 第 一 实施例
图1是示出根据本发明第 一 实施例的作为摄像设备的数字 静态照相机的示意配置的框图。在图l中，附图标记51表示在图像传感器55上形成被摄体 光学图像的镜头，附图标记52表示用于调节已通过镜头51的光 量的光圏。光圏52由光圈控制器63控制。附图标记54表示限制 了入射到图像传感器55上的光线的空间频率或波长的滤光器， 附图标记55表示将经过镜头51形成的被摄体光学图像转换为 电子图像信号的图像传感器。附图标记56表示对从图像传感器 5 5输出的图像信号进行模拟处理和模数转换的模拟前端。模拟 前端56由相关双采样(CDS)电路57、调节信号增益的放大器 58以及将模拟信号数字化的模数转换器59组成。附图标记60 表示数字信号处理器，它对从模拟前端56输出的数字图像数据 进行各种类型的校正，并且压缩图像数据。
附图标记65表示定时信号发生器，它向图像传感器55、模 拟前端56和数字信号处理器60输出各种定时信号，而附图标记 6 1表示系统控制C P U ,它从整体上控制各种计算和数字静态照 相机。附图标记6 2表示用于临时存储图像数据的图像存储器，
附图标记66表示用于显示已感测的图像的显示接口 ，而附图标 记67表示诸如LCD之类的显示单元。附图标记68表示在记录介 质上记录或从记录介质读出的记录接口 ，附图标记69表示用于 记录图像数据和附加数据的诸如半导体存储器之类的可移动记 录介质，而附图标记70表示用于与外部计算机71等进行通信的 外部接口 。
图2示出了具有此处所示的CMOS传感器的配置的图像传 感器55的一个像素的电路。
在图2中，附图标记1表示经由转换开关2连接到浮动扩散 (FD)部分3的光电二极管(PD)。 FD部分3连接到电源线5， 电源线5经由复位开关4提供复位电压。FD部分3形成场效应晶 体管(FET)6的栅极。FET 6的漏极连接到一见定电压，而源极 经由选择开关7连接到垂直输出线8。上述元件构成像素9。具 有相似配置的多个像素沿垂直输出线8成行的构成，以构成列 10，而面积传感器由水平配置的具有相似结构的多个列构成。
至少将 一 个恒流电源11连接到每个垂直输出线8,并且垂 直输出线8的电压由所选像素的FD部分3的电荷确定。电容器 12经由开关13连接到每个垂直输出线8作为用于临时存储像素 输出的存储器，并且电容器14经由开关15进行连接作为用于临 时存储饱和输出的存储器。电容器12和14经由开关13和15分别 连接到读出线16,并且经由输出放大器17从读出线16读出存储 在电容器12和14中的像素输出。
图3(A)是示出图2所示像素9的PD 1和FD部分3的截面配 置的示意图，而图3(B)示出饱和时组成元件的电势的概略表达。 注意，将对应于图2的相同组成元件附以相同的附图标记。
在图3(A)中，附图标记21表示PD l的扩散区，附图标记22 表示转换开关2的栅电极，附图标记3表示浮动扩散(FD)部分 (半导体扩散区域)，附图标记19表示PD l之上的遮光膜开口 ， 而附图标记18表示FD部分3之上的遮光膜。附图标记8表示垂 直信号线，而附图标记5表示电源线。如图3(B)所示，饱和时， PD l中产生的电荷渗漏到FD部分3。
图4示出来自定时信号发生器65的不同的脉沖输出的时序 图。参考图4，将在下文中描述操作。
当选择特定像素时，通过将选择脉冲([)SEL设置为高电平， 可以开启待选择的像素的选择开关7。因为FD部分3由类似于作 为公用的光电转换器的PD l的扩散区组成，所以此时通过入射 的杂散光和热量产生组成光信号电荷的电子空穴对。因此，FD 部分3相当于作为光电转换器进行工作。因此通过摄像设备中 的器件和电路所产生的少量光辐射和热量在FD部分3中产生信 号电荷，并由这些因素所引起的电荷(噪声分量)累积起来。 因此，优选地，FD部分3构成为具有接近当PD l被遮蔽时用于 产生电荷的特性的特性。
因此在PD l的电荷经由传输开关2传输之前，由FET 6对 累积在FD部分3中的电荷(噪声分量)进行电荷/电压转换，并 且将对应于电荷的电压输出到垂直输出线8。通过将存储器脉 冲小M2设置为高电平，并在这种状态下将开关15连接到垂直输 出线8，将对应于已读出的噪声分量的电荷的电压临时存储在 电容器14中。
然后，通过将复位脉沖())RES设置为高电平，将FD部分3 复位到规定的复位电压，而开启复位开关4。接着，通过将传 输脉冲(()TX设置为高电平以开启传输开关2，并将累积在PD 1 中的电荷(光学分量)读出到FD部分3。读出到FD部分3的光
学分量的电荷由FET 6进行电荷/电压转换，并且将对应的电压 输出到垂直输出线8。通过将存储器脉沖())M1设置为高电平，并 在这种状态下将开关13连接到垂直输出线8,将对应于光学分 量的电荷的电压临时存储在电容器12中。
接着，通过将读出脉沖(j)Rl设置为高电平，将开关13连接 到读出线16,将对应于光学分量的电荷的临时存储的电压输出 到读出线16,并且经由输出放大器17作为光信号输出。更进一 步地，然后通过将读出脉冲(j)R2设置为高电平，将开关15连接 到读出线16 ,将对应于噪声分量的电荷的电压输出到读出线 16，并经由输出放大器17作为噪声信号输出。
因此，通过模数转换器59将从图像传感器55输出的光学以 及噪声信号转换为数字数据，然后将数字数据作为基于光信号 的光学输出图像和基于噪声信号的示出噪声电平和区域的噪声 图像发送至图l中的数字信号处理器60。
下面将参考图5的流程图说明第一实施例中的数字信号处 理器60进行的暗输出校正处理。
因为F D部分3和P D 1之间每个像素产生的像素缺陷不同， 所以在步骤S101中在噪声图像上5 x 5像素范围内进行中值处 理，消除了每一个像素的噪声并仅提取出由暗输出所引起的噪 声图像中的屏幕不均。接着，在步骤S102中，为了校正PD 1 和F D部分3之间发生暗电流时具有的感光度差异和强度差异， 进行增益校正。因为FD部分3相对于PD l而言感光度更并且具 有更多的暗电流入射，所以噪声图像的电平降低。接着，在步 骤S103中，从光学输出图像中减去已校正的噪声图像，完成暗 输出校正。
根据上述处理，因为在没有获得光学黑图像的情况下进行 校正，所以通常获得实际图像和光学黑图像所需的两个电荷累
积期可以减少为 一 个电荷累积期。
下面将说明在数字静态照相机中感测图像时执行上述校正 处理的^喿作。
电源开关的打开(未示出)开启了主电源、控制系统的电
源以及诸如;漠拟前端56的摄像相关电路的电源。
然后，为了控制曝光量，系统控制CPU 61经由光圏控制 器63完全打开光圏52。在经由模拟前端56转换后，在这种状态 下的由图像传感器55输出的图像信号被输入到数字信号处理 器60。系统控制CPU 61基于这些数据进行曝光计算。利用这 种测光法的结果判断亮度，并且系统控制CPU 61根据判断的 亮度控制光圏52。
接着，从图像传感器55输出的图像信号中提取出高频分 量，并且通过系统控制CPU 61计算锐度。然后，在驱动镜头 51后再次计算锐度，并且判断是否对被摄体进行聚焦(锐度是 否最大化)。如果断定未对被摄体聚焦，那么在驱动镜头51后 再次计算锐度。重复这种控制直到锐度最大化为止，并且在锐 度最大化之后(在确认已对被摄体聚焦之后)，采用图像传感器 55的电子快门功能来启动和结束上述的实际曝光。然后，顺序 地进行输出光学输出图像和噪声图像。图像传感器55输出的图 像信号进行诸如由模拟前端56进行的相关双采样的降噪、放大 以及模数转换后被数字化。
在由数字信号处理器6 0进行上述处理之后，通过系统控制 CPU 61将数字化图像信号写入图像存储器62。然后，在系统 控制CPU 61的控制下，存储在图像存储器62中的图像数据经 由记录接口 6 8而记录在诸如半导体存储器的可移动记录介质 69上。此外，已捕获的图像数据还经由显示器接口66显示在诸 如LCD的显示单元67上。可选地，已捕获的图像数据可以经由 外部接口 70直接输入到计算机71等并进行图像处理。 第二实施例
接下来将说明本发明的第二实施例。
如同在缺陷像素出现的情况，在FD部分3产生的暗电流大 于在PD l产生的暗电流的情况下，当以慢速快门速度拍摄时， 噪声分量的电荷将引起FD部分3饱和，这成为一个问题。在第 二实施例中将说明用于解决这个问题的方法。
注意，因为基本的装置配置类似于第 一实施例中参考图1 到3而说明的基本装置配置，所以将省略对基本装置配置的说 明。
图6是用于说明根据第二实施例的校正噪声信号的处理的 流程图。在第二实施例中，在电荷累积期中以规定的时间间隔 多次从FD部分3中读出噪声分量的电荷，然后将其相加在一起。
首先，在复位图像传感器55的全部屏幕之后，在步骤S201 中判断是否已经达到读出噪声图像的时间(是否已经经过了规 定的时间段)，如果已经达到读出噪声图像的时间，那么处理推 进至步骤S202,在其中读出噪声图像。
在图7中示出了此时在步骤S202中驱动图像传感器55的时 序图。
当选择特定像素时，通过将选择脉冲())SEL设置为高电平， 可以开启待选择的像素的选择开关7。因为FD部分3是由类似于 PD1的扩散区组成，该扩散区是常规的光电转换器，通过上迷 入射的杂散光和热量产生组成光信号电荷的电子空穴对。因此， FD部分3相当于作为光电转换器进行工作。因此，通过摄像设 备中的器件和电路产生的少量的光发射和热量在FD部分3中产 生信号电荷，并且这些因素引起的电荷(噪声分量)被累积起 来。
因此在PD l的电荷经由传输开关2传输之前，由FET 6对 累积在FD部分3中的电荷(噪声分量)进行电荷/电压转换，并 且将对应于该电荷的电压输出到垂直输出线8。通过设置存储 器脉冲cj)M2为高电平，并在这种状态下将开关15连接到垂直输 出线8，对应于读出的噪声分量的电荷的电压被临时存储在电 容器14中。
然后，通过设置复位脉冲(()RES为高电平，将FD部分3复位 到规定的复位电压，来开启复位开关4。接着，通过设置读出 脉冲(j)R2为高电平，将开关15连接到读出线16,并且将对应于 噪声分量的电荷的电压输出到读出线16,然后经由输出放大器 17作为噪声信号输出。
因此，从图像传感器55输出的噪声信号由模数转换器59转 换为数字数据，并且将数字数据作为示出噪声电平和区域的噪 声图像被发送到图l中的数字信号处理器60。
当在步骤S202中按上述方式输出噪声图像时，因为仍然没 有噪声图像需要加入，所以如果这是第一次读出噪声图像，那 么在步骤S203中将噪声图像存储在数字信号处理器60中而不 进行更进一步的处理。然后该处理推进至步骤S204,在该步骤 中检查设置的电荷累积期是否已经结束。如果电荷累积期没有 结束，那么该处理返回到步骤S201,并且在等待了规定的时间 段(直到在步骤S201判断出"是")之后，如参考图7所述，在 步骤S202中读出噪声图像。在步骤S203中，将从第二循环之 前读出的噪声图像加到存储在数字信号处理器60中的噪声图 像中。加噪声图像之后，处理推进至步骤S204。此时，如果电 荷累积期已经结束，那么处理推进至步骤S205，但是如果电荷 累积期没有结束，那么处理返回到步骤S201并重复上述处理。
在步骤S205中，读出电荷累积期结束之后的电荷。因为这
个过程类似于第一实施例中图4所述的时序图，在此省略对其
的说明。然而，在第二实施例中，因为在步骤S202和步骤S203 中以规定的时间间隔读出噪声图像，所以噪声图像的电荷累积 期不同于在步骤S205中读出的光学输出图像的电荷累积期。
因此，在第二实施例的步骤S205中，已读的噪声图像被加 到已存储在数字信号处理器60中的噪声图像中，以获得最后的 噪声图像。基于光学输出图像和由此获得的噪声图像，将在数 字信号处理器6 0中进行参考图5说明的噪声校正操作。
根据上述第二实施例，因为在电荷累积期中多次读出噪声 信号，所以可以防止具有较长的电荷累积期的FD部分3中噪声 分量的电荷发生饱和，在FD部分3中产生的暗电流强度大于PD l中产生的强度时将发生饱和。
注意在本实施例中，通过使用于输出噪声信号的信号通路 与用于输出光信号的信号通路相同，减少了对诸如外来噪声的 噪声的易感度，从而可以获得极好的图像信号。
此外，尽管在本实施例中对噪声图像进行了中值处理，但 是在没有缺陷像素的传感器中不必进行中值处理。在这种情况 下，可以通过对仅进行过增益校正的噪声图像进行减处理来校
正每个像素产生的固定模式噪声。
尽管在5x 5像素范围中进行中值处理，但是为了获得更好 的图像该范围可以发生变化。
第三实施例
下面将说明本发明的第三实施例。
注意，因为第三实施例中的基本装置配置类似于第一实施 例中图l到3所示的基本装置配置，而且图像传感器的驱动时序 类似于图4所示的驱动时序，所以省略了对这些内容的说明。
图像传感器55输出的作为图4所示脉冲驱动的结果的光学
和噪声信号被模数转换器5 9转换为数字数据，然后将数字数据 作为基于光信号的光学输出图像和基于噪声信号的示出噪声电 平和区域的噪声图像而发送到图l的数字信号处理器60。
下面将参考图8的流程图说明第三实施例中数字信号处理 器60中对缺陷像素信号进行的校正处理。
首先，在步骤S11中，从噪声图像中检测出饱和像素，进 一步判断相邻的像素是否饱和。以这样 一 种方式来纟全测饱和像 素将噪声图像的每个噪声信号值与该噪声图像的预设值或该 噪声图像的平均信号值进行比较，噪声信号值大于预设值或平 均信号值的像素被判断为饱和像素。然而，本发明不限于这种 检测饱和像素方法，也可以利用已知的方法检测饱和像素。
如果相邻像素已饱和，那么因为被摄体是明亮的，所以判 断出已经产生像素饱和，程序结束而无需进一步处理。这是因 为来自被摄体的光线经过镜头51和诸如低通滤波器的光学滤 波器5 4后被扩散，这样由来自被摄体的光线所引起的饱和区域 的尺寸不会是一个像素。相反，缺陷像素的暗电流引起的饱和 被隔离到单个像素。因此，可以通过饱和区域的尺寸来判断饱 和是由缺陷像素引起的还是由来自被摄体的光线引起的。
如果在步骤S11中判断出饱和像素是隔离的，或换言之， 饱和像素不相邻，那么处理推进至步骤S12，在该步骤中从相 邻于光学输出图像中饱和像素的像素的光信号中减去每个饱和 像素的噪声信号电平乘以规定比例"a"的信号电平。当通过 长期电荷累积而使得缺陷像素的暗电流饱和时，规定比例"a" 等于渗漏到相邻像素的过饱和输出电平的比例。在存在一个饱 和像素的情况下，可以判断出饱和是由缺陷像素的暗电流所引 起的，而不是由被摄体的亮度所引起的，并且假定缺陷像素的 信号电平和相邻像素的信号电平之间将具有显著差异。这种校
正可以获得相邻于缺陷像素的像素的实际光信号，并且可以防 止图像质量劣化。
接着，处理推进至步骤S13，在该步骤中判断出隔离的饱 和像素是缺陷像素，并且利用同样颜色的相邻像素的光信号对 光学输出图像中缺陷像素的光信号进行插值，此后，处理结束。
这样可以在缺陷像素饱和的情况下，对缺陷像素和相邻像
素的光信号进行适当的校正。
注意，在第三实施例中在图8的步骤Sll中判断饱和像素是 否是缺陷像素，这种判断可以用于扩展动态范围。例如，如果 饱和像素不是缺陷像素，那么可以通过向光信号加饱和像素的 噪声信号来扩展动态范围。
第四实施例
下面将参考

本发明的第四实施例。
注意，因为第四实施例中的基本装置配置类似于第 一 实施 例中图l到3所示的基本装置配置，而且图像传感器的驱动时序 类似于图4所示的驱动时序，所以省略了对这些内容的说明。
图9是用于说明在本发明第四实施例中通过图1的数字信 号处理器6 0对缺陷像素信号进行校正的处理的流程图。
首先，在步艰《S21中，比^口J;口曰本净争开2003-333435戶斤^皮 露的，读出预存储在存储器(未显示)中的缺陷像素的地址。 然而，在第四实施例中，如果已存储了缺陷像素的地址，那么 没有必要存储输出电平。接着，处理推进至步骤S22,在该步 骤中根据对应于所读出的缺陷像素的地址的噪声图像中的像素 的噪声信号的电平，判断缺陷像素是否已饱和。注意，可以利 用与当图8的步骤S11中检测到饱和像素时相似的方法进行判
如果在步骤S22中缺陷像素未饱和，那么判断出没有饱和
信号渗漏到相邻像素中，并且处理推进至步骤S24而无需校正 相邻像素。如果在步骤S22中判断出缺陷像素是饱和像素，那
么处理推进至步骤S23,在该步骤中从相邻于光学输出图像中
缺陷像素的像素的光信号中减去每个缺陷像素的噪声信号电平
乘以规定比例"a"的信号电平。当通过长期电荷累积而使得 缺陷像素的暗电流饱和时，规定比例"a"等于渗漏到相邻像 素的过饱和输出电平的比例。如果缺陷像素饱和，假定缺陷像 素的信号电平和相邻像素的信号电平之间将具有显著差异。这 种校正可以获得相邻于饱和像素的像素的实际光信号，并且可 以防止图像质量劣化。
接着，处理过程进入步骤S24,在该步骤中利用同样颜色 的相邻像素的光信号对光学输出图像中缺陷像素的光信号进行 插值，此后，处理结束。
虽然饱和信号向相邻像素渗漏的值可能根据摄像环境不同 而发生变化，但是仍将其假定为常数。
其它实施例
注意，本发明可以应用于一种由多种装置(例如，摄像设 备、接口装置、计算机等)组成的系统或者由单个装置(例如， 摄像设备)组成的设备。如果由多个设备构成，那么摄像设备 模拟前端5 6输出的光学输出信号和噪声信号无需更进 一 步的 处理就可以输出到外部计算机71，并在外部计算机71中进行图 5、 6、 8和9的处理。
此外，通过直接地或间接地向系统或设备提供实现上述实 施例功能的软件程序，利用该系统或设备的计算机读出所提供 的程序代码，然后执行该程序代码，可以实现本发明。在这种 情况下，只要该系统或设备具有该程序的功能，实现的方式就 不必依赖于程序。
因此，因为本发明的功能由计算机实现，所以安装在计算 机中的程序代码也可以实现本发明。换句话说，本发明的权利 要求也覆盖了为了实现本发明功能的计算机程序。
在这种情况下，只要该系统或设备具有该程序的功能，就 可以以诸如目标代码、由解释器执行的程序或提供给操作系统 的脚本数据的任意形式来执行该程序。
可用于提供该程序的存储介质的实例可以是软盘、硬盘、
光盘、磁光盘、MO盘、CD-ROM、 CD-R、 CD-RW、磁带、 非易失性存储卡、ROM和DVD ( DVD-ROM、 DVD-R)。
作为用于提供程序的方法，客户端计算机可以使用客户端 计算机的浏览器连接到因特网上的网址，并且可以将本发明的 计算机程序或该程序的自动安装压缩文件下载到诸如硬盘的记 录介质上。更进一步地，可以通过将组成程序的程序代码分割 为多个文件并从不同网址下载这些文件的方式来提供本发明的 程序。换句话说，向多用户下载通过计算机实现本发明功能的 程序文件的WWW (万维网)服务器也被本发明的权利要求所。
也有可能在诸如CD-ROM的存储介质上加密和存储本发 明的程序，向用户分发这种存储介质，允许满足某些必要条件 的用户经由因特网从网站下载解密密钥信息，并且由于程序安 装在用户计算机中，故允许这些用户通过使用密钥信息对已加 密的程序进行解密。
述功能的情况外，运行在计算机上的操作系统等可以执行全部 或 一部分实际的处理，以便可以通过该处理实现上述实施例的功能。
此外，在从存储介质读出的程序被写入到插入计算机中的 功能扩展卡中或被写入到连接到计算机的功能扩展单元中的存 储器中时，安装在功能扩展卡或功能扩展单元上的CPU等可以 执行全部或 一 部分实际的处理，以{更可以通过该处理实现上述 实施例的功能。
尽管本发明已经参考典型实施例进行了说明，但应当理解， 本发明范围不局限于公开的典型实施例。所附权利要求的范围
将符合最宽的解释，以便包含所有的修改、等同结构和等效功
权利要求
1、一种摄像设备，包括图像传感器，其中设置了多个像素，每个像素具有光电转换器，接收来自被摄体的光并将所接收到的光转换为信号，半导体区域，接收从所述光电转换器传输的信号，传输单元，将由所述光电转换器转换过的信号传输到所述半导体区域，以及读出单元，从所述半导体区域读出信号；以及校正单元，基于通过读出在所述光电转换器的信号累积期间累积在所述半导体区域中的信号而获得的第二信号，校正从所述光电转换器读出的第一信号。
2、 根据权利要求l所述的摄像设备，其特征在于所述读出单元在所述光电转换器中的信号累积期间，多次 读出在所述半导体区域中累积的信号，以及所述校正单元通过相加多次读出的信号来计算所述第二信
3、 根据权利要求1或2所述的摄像设备，其特征在于，所 述校正单元从所述第 一信号中减去与所述第二信号成预定比例 的信号。
4、 根据权利要求1或2所述的摄像设备，还包括复位单元， 用于复位所述半导体区域的信号，其中所述第一信号是在所述半导体区域的信号已经复位之 后，由所述传输单元以及所述读出单元从所述光电转换器读出 的信号。
5、 根据权利要求1或2所述的摄像设备，其特征在于，所 述校正单元在校正之前对所述第二信号进行中值处理。
6、 一种校正方法，用于校正从设置了多个像素的图像传 感器获得的信号，每个像素具有光电转换器，接收来自被摄体的光并将所接收的光转换为信号；半导体区域，接收从所述 光电转换器传输的信号；传输单元，将所述光电转换器转换过 的信号传输到所述半导体区域；以及读出单元，从所述半导体 区域读出信号，所述方法包括第一读出步骤，从所述光电转换器读出第一信号；第二读出步骤，在所述第一读出步骤之前读出累积在所述 半导体区域中的第二信号；以及校正步骤，基于所述第二信号校正所述第一信号。
7、 根据权利要求6所述的校正方法，其特征在于 在所述第二读出步骤中，在所述光电转换器中信号累积期间多次读出所述半导体区域中累积的信号，以及在所述校正步骤中，通过相加在所述第二读出步骤中读出 的信号来计算所述第二信号。
8、 根据权利要求6或7所述的校正方法，其特征在于，其 中在所述校正步骤中，从所述第一信号中减去与所述第二信号 成预定比例的信号。
9、 根据权利要求6或7所述的校正方法，其特征在于，还 包括复位所述半导体区域的信号的复位步骤，其中，在所述第一读出步骤中，所述第一信号是在所述半 导体区域的信号已经复位之后，由所述传输单元以及所述读出 单元从所述光电转换器读出的。
10、 根据权利要求6或7所述的校正方法，其特征在于，还 包括在所述校正步骤之前对所述第二信号执行中值处理的步 骤。
11、 一种摄像设备，包括图像传感器，其中设置了多个像素，每个像素具有 光电转换器，接收来自被摄体的光并将所接收到的光转换 为信号，半导体区域，接收从所述光电转换器传输的信号， 传输单元，将由所述光电转换器转换过的信号传输到所述 半导体区域，以及读出单元，从所述半导体区域读出信号；饱和电荷量计算单元，基于通过读出在所述光电转换器的 信号累积期间流向所述半导体区域的信号而获得的第 一 信号， 计算所述光电转换器的饱和电荷量；以及校正单元，根据所述饱和电荷量计算单元的计算结果，校 正从如下像素的光电转换器读出的第二信号，所述像素与包括 被所述饱和电荷量单元计算出饱和电荷量的光电转换器的像素 相邻。
12、 根据权利要求ll所述的摄像设备，其特征在于，还包 括饱和像素区域计算单元，其根据所述饱和电荷量计算单元的 计算结果，检测包括被计算出饱和电荷量的光电转换器的像素， 然后计算饱和像素区域的尺寸，其中，如果所述饱和像素区域的尺寸小于或等于预设，则 所述校正单元按照饱和电荷量的规定比例校正从相邻于所述饱 和像素区域的像素的所述光电转换器读出的所述第二信号。
13、 根据权利要求ll所述的摄像设备，其特征在于，还包 括缺陷像素位置存储单元，其预存储缺陷像素的位置，其中，所述饱和电荷量计算单元计算存储在所述缺陷像素 位置存储单元中的位置处的缺陷像素的所述光电转换器的饱和 电荷量，以及所述校正单元按照所述缺陷像素的所述光电转换器的饱和 电荷量的规定比例，对从相邻于所述缺陷像素的像素的所述光 电转换器读出的所述第二信号进行校正。
14、 根据权利要求ll所述的摄像设备，其特征在于，所述 校正单元从所述相邻像素的所述光电转换器读出的所述第二信 号中减去与饱和电荷量的信号成预定比例的信号。
15、 根据权利要求ll所述的摄像设备，其特征在于，还包 括复位单元，其复位所述半导体区域的信号，其中，所述第二信号是在所述半导体区域的信号已经复位 之后，由所述传输单元以及所述读出单元从所述光电转换器读 出的信号。
16、 根据权利要求12所述的摄像设备，其特征在于，还包括相加单元，如果由所述饱和像素区域计算单元计算出的饱和 像素区域的尺寸超过所述预设尺寸，则对每个像素，所述相加 单元相加从所述饱和像素区域输出的所述第一和第二信号。
17、 一种校正方法，用于校正从设置了多个像素的图像传 感器获得的信号，每个像素具有光电转换器，接收来自被摄 体光并将所接收的光转换为信号；半导体区域，接收从所述光 电转换器传输的信号；传输单元，将所述光电转换器转换过的 信号传输到所述半导体区域；以及读出单元，从所述半导体区 域读出信号，包括饱和电荷量计算步骤，基于通过读出在所述光电转换器的 信号累积期间流向所述半导体区域的信号而获得的第 一信号， 计算所述光电转换器的饱和电荷量；以及校正步骤，根据所述饱和电荷量计算步骤的计算结果，校 正从如下像素的光电转换器读出的第二信号，所述像素与包括 被饱和所述电荷量步骤计算出饱和电荷量的光电转换器的像素 相邻。
18、 根据权利要求17所述的校正方法，其特征在于，还包 括饱和像素区域计算步骤，其根据所述饱和电荷量计算步骤的 计算结果，检测包括被计算出饱和电荷量的光电转换器的像素， 然后计算饱和像素区域的大小，其中，在所述校正步骤中，如果所述饱和像素区域的尺寸 小于或等于预设尺寸，则根据与饱和电荷量所成的预定比例， 对从相邻于所述饱和像素区域的像素的光电转换器读出的所述 第二信号进行校正。
19、 根据权利要求17所述的校正方法，其特征在于，还包 括读出步骤，其从预存储缺陷像素位置的缺陷像素位置存储单 元中读出缺陷像素的位置，其中，在所述饱和电荷量计算步骤中，计算出在所述读出 步骤中读出位置的位置处的缺陷像素的光电转换器的饱和电荷 量，以及在所述校正步骤中，根据所述缺陷像素的所述光电转换器 的饱和电荷量的规定比例，对从相邻于所述缺陷像素的像素的 光电转换器读出的所述第二信号进行校正。
20、 根据权利要求17所述的校正方法，其特征在于，在所 述校正步骤中，从所述相邻像素的光电转换器读出的所述第二 信号中减去与饱和电荷量成预定比例的信号。
21、 根据权利要求17所述的校正方法，其特征在于，还包 括复位半导体区域的信号的复位步骤，其中，所述第二信号是在半导体区域的信号已经复位之后， 由传输单元以及读出单元从光电转换器读出的信号。
22、 根据权利要求18所述的校正方法，其特征在于，还包 括相加步骤，如果由饱和像素区域计算步骤计算出的饱和像素区 域的尺寸超过所述预设尺寸，则对每个像素，所述相加步骤中相 加从所述饱和像素区域输出的所述第 一信号和所述第二信号。
全文摘要
本发明提供一种摄像设备和校正方法。该摄像设备包括设置了多个像素的图像传感器，每个像素具有光电转换器，接收来自被摄体的光并将已接收的光转换为信号；半导体区域，接收从光电转换器传输的信号；传输单元，将光电转换器转换过的信号传输到半导体区域；以及读出单元，从半导体区域读出信号；以及校正单元，根据通过读出半导体区域中累积的信号而获得第二信号，校正从光电转换器读出的第一信号。
文档编号H04N5/369GK101170643SQ200710163749
公开日2008年4月30日 申请日期2007年10月26日 优先权日2006年10月26日
发明者永田桂次 申请人:佳能株式会社