专利名称：图像捕获装置和噪声消除方法
技术领域：
本发明涉及使用固态成像器件捕获目标的图像捕获装置，以及消除在捕获图像之时出现的噪声的噪声消除方法。
背景技术：
近年来，把捕获的图像作为数字数据存储的数字照相机日渐流行。在这种数字照相机中，使用例如CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)图像传感器等对通过光学透镜捕获的图像做光电转换，然后作为数字数据记录。
在这种使用上述的成像器件而产生的一个图像信号中，常含有由于制造过程中的各种因素所导致的成象器件中出现的黑信号引起的噪音，或在电路板中出现的噪声。例如，在由于该黑信号引起的一个固定图形噪声当中，有一种由例如结构缺陷产生在一个具体图像单元中出现的大量电荷引起的噪声。这种噪声在显示屏幕上表现为一个白亮点。在下文中，这种噪声称为亮点噪声。但是，在长时间的曝光或高温环境使用的情况下，在正常使用中很少大幅度出现的该亮点噪声将随着曝光时间和温度的加量而变得非常明显。
因此，在数字照相机中，一般是通过校正来自成像器件的图像信号而执行降低这些固定图形噪声的处理。作为已知方法的一个实例，从以快门打开所正常捕获的一个图像信号中减去在同一曝光条件下但以快门关闭而完全阻挡该光照所捕获的一个图像信号。
然而，根据上述降噪方法，不能完全消除由该黑信号引起的噪音的影响，并且有一种情况，其中该点部分在一个显示器上相反地残留为一个黑点。此问题将在下面描述。图18(A)和18(B)分别是表示以上述降噪方法捕获的图像信号的波形实例的示意图。而且，图19是表示在上述降噪方法中输出的图像信号的波形实例的示意图。
在图18(A)中，显示的是成像器件输出的模拟信号波形实例。在此信号中，除了噪声成份和由噪音引起的直流偏移之外，在捕获的图像信号上还包括由成像器件产生的黑信号所引发的亮点噪声N1到N7。通常，在该图像捕获装置中，对于由A/D转换器转换成数字信号之后的信号执行例如噪声抑制处理等各种信号处理，然后将信号存储在一个记录介质上。
而且，图18(B)示出了在快门关闭的条件下所捕获并且从成像器件输出的一个信号的波形的实例。以此方式，在图18(B)中，对应图18(A)的那些分别的亮点噪声以同一个参考数字标记。在上述降噪处理中，图18(B)中的信号的捕获是在例如相同的曝光时间等条件下在图18(A)中的信号的捕获之后或之前立即执行的。例如，在先行捕获了图18(A)的信号的一个情况中，在此信号被数字化和存储在一个预定的缓存器中之后的一个状态中，随即捕获图18(B)的信号。
其中，由于捕获是在快门关闭的条件下进行的原因，所以图18(B)的信号不包括任何图像信号，而仅由噪音成分组成。因此，通过从图18(A)的信号减去图18(B)的信号，获得如图19所示的一个信号波形，其微小的固定图形噪声和直流偏移被消除。
以图18和19的方式，在信号模-数转换之时的可转换范围中的最大值由虚线R表示。在图18(A)中，由于起因于成像器件的黑信号的缘故，在亮点噪声N1到N7中，特别是亮点噪声N1、N2和N3具有超过该模-数转换的范围的高电平。因此，这些亮点噪声N1、N2和N3的分别的信号电平在模-数转换之后的整个标度上全变成同一个值，因此不能反映实际信号电平。
但是在另一方面，在18(B)的信号波形中，在应该出现与图18(A)中存在的由黑信号引起的相同亮点噪声N1至N7之处，由于这些信号的电平被局限在模-数转换范围之内，所以它们被转换成数字地对应于实际输入的分别的信号电平。从图18(B)得知，亮点噪声N1、N2和N3的分别的电平实际彼此不同。
因此，在通过减去这些信号而产生的一个波形中，出现如图19中显示的算术误差，由此造成一种状态，其中在出现亮点之处的各个信号电平以相反方向急剧下降。这些部分处在一种可能使得图像中产生的一个黑洞看上去好像一种浓密彩色像素(下文称作黑点)的状态。
如上所述，根据传统的降噪方法所存在的问题是由于不能完全消除该黑信号而引起亮点噪声，使得亮点噪声的效果看上去象该图像中产生的黑点，因此降低了图像质量。
本发明意在解决上述问题，并且其目的是提供一种能够消除由来自固态成像器件的黑信号引起的噪声的图像捕获装置。
本发明的另一目的是提供一种能够消除由来自固态成像器件的黑信号引起的噪声的噪声消除方法。
发明内容
为了解决上述问题，根据本发明，提供一种使用固态成像器件捕获一个目标的图像捕获装置，其包括相减装置，用于从以快门打开的一个常规捕获模式所正常捕获的并且数字化的第一图像数据中减去在与该常规捕获相同的曝光条件下、紧邻上述常规捕获之前或之后以快门关闭所捕获并且数字化的第二图像数据；亮点位置检测装置，用于检测一个亮点噪声的出现位置，该亮点噪声是在第二图像数据中产生的在捕获图像上的亮点的一个高电平噪声；以及噪声补偿装置，用于相对从该相减装置输出的数据而补偿在对应于由该亮点位置检测装置检测的该亮点噪声的出现位置的一个像素的数据。
在此图像捕获装置中，该相减装置从以该快门打开的常规捕获模式中产生的第一图像数据减去在与该常规捕获的相同曝光但是快门关闭的条件下、在紧邻该常规捕获之前或之后的捕获所产生的第二图像数据。该亮点位置检测装置检测在该第二图像数据中的亮点噪声的出现位置。该噪声补偿装置针对从相减装置输出的数据而补偿在对应于由亮点位置检测装置检测的该亮点噪声出现位置的像素的数据。由此而有可能容易和精确地检测来自该相减装置的输出数据中的该亮点噪声的出现位置。
而且，根据本发明，提供一种用于消除在使用固态成像器件捕获一个目标之时的噪声出现的噪声消除方法，本方法包括步骤从以该快门打开的常规捕获模式中捕获并且数字化的第一图像数据减去在与该常规捕获的曝光相同但是快门关闭的条件下、在紧邻上述常规捕获之前或之后被捕获并且数字化所产生的第二图像数据。检测一个亮点噪声的出现位置，该亮点噪声是在第二图像数据中的产生在捕获图像上的亮点的一个高电平噪声；并且相对于作为相减结果所获得的数据，补偿对应于该检测的亮点噪声的出现位置的像素数据。
在此噪声消除方法中，从该第二图像数据检测该亮点噪声的出现位置，该第二图像数据是通过在与该常规捕获相同曝光条件下、在紧邻该快门打开的状态中的常规捕获之前或之后以快门关闭进行的捕获所产生的图像数据。随后，针对从由该常规捕获的第一图像数据减去该第二图像数据而获得的图像数据，补偿对应于该检测的亮点噪声出现位置的像素的数据。由此而有可能容易和精确地检测通过该相减而获得的图像数据中的该亮点噪声的出现位置。
图1是根据本发明的图像捕获装置的示例性结构的框图。
图2是一个预处理电路的示例性内在结构的示意图。
图3是输入到计算装置的各个图像信号的波形实例的示意图。
图4是表示以快门关闭和各个定时脉冲捕获的图像信号之间关系的示意图。
图5A至5B是说明黑点噪音补偿的示例性波形的示意图。
图6是该计算装置的第一示例性内在结构的示意图。
图7是该计算装置的第二示例性内在结构的示意图。
图8是以使用10比特数字数据的实例的方式描述的该计算装置的第二示例性内在结构的各个部分的不同信号电平的示意图。
图9是一个亮点检测电路的第一示例性内在结构的示意图。
图10是针对具有不同偏移电平的两个图像信号的亮点噪声出现位置的不同检测模式的示意图。
图11是该亮点检测电路的第二示例性内在结构的示意图。
图12是表示该第二示例性内在结构的比较电路中亮点噪声检测和分别的定时脉冲输出之间的关系。
图13A与13B是表示该亮点检测电路的第三和第四示例性内在结构的示意图。
图14是一个黑点补偿电路的第一示例性内在结构的示意图。
图15是表示在一个选择器中的输入/输出信号的一个模式的示意图。
图16A与16B是表示一个黑点补偿电路的第二和第三示例性内在结构的示意图。
图17A与17B是表示根据成像器件的不同结构的图像信号的不同示例性像素方案的示意图。
图18是表示传统降噪方法中捕获的一个图像信号的示例性波形的示意图。
图19是表示传统降噪方法中一个输出图像信号的示例性波形的示意图。
具体实施例方式
随后参考附图描述用于执行本发明的最佳模式。
图1是根据本发明的图像捕获装置的示例性结构的框图。
图1所示的图像捕获装置1是用于捕获一个目标以产生数字模式的图像数据的一个装置，并且包括正对来自目标的光的透镜2a、光圈2b和快门2c；用于执行此光的光电变换的成像器件3；用于驱动来自成像器件3的一个模拟图像信号的放大器4；用于执行把该模拟图像信号转换为数字数据的前端5；对于数字化的图像信号执行降噪处理、彩色信号处理等的摄像机系统LSI6；用于存储来自摄像机系统LSI6的一个输出图像信号的图像存储器7；用于驱动成像器件3的TG(定时发生器)8；和用于控制整个装置的微型计算机9。
可沿着一个光轴移动的透镜2a把来自目标的光精确地会聚在成像器件3上。
通过调节会聚光所经过的一个面积，光圈2b控制将要提供到该成像器件3的光量。通过关闭将要提供到成像器件3的光的发送，快门2c控制成像器件3中的曝光量。以此方式，快门2c的功能也可以由光圈2b执行。该透镜2a、光圈2b和快门2c的操作由微型计算机9控制。
通过集成大量例如CCDS、CMOS图像传感器构成的成像器件3把来自目标的光转换为电子信号，作为电流值或电压值输出。通过驱动来自成像器件3的输出信号，放大器4把模拟图像信号提供到前端5。
前端5包括S/H(取样/保持)·GC(增益控制)电路5a和模-数(A/D)转换线路5b。通过对经由放大器4提供的模拟图像信号施加相关的双取样，该S/H·GC电路5a对于所谓的1/F起伏噪声执行一个噪声消除处理，并且根据需要进一步执行增益调整。A/D转换电路5b把来自S/H·GC电路5a的信号转换为一个数字图像信号，并且提供到摄像机系统LSI6。
摄像机系统LSI6带有用于对来自前端5的图像信号执行例如噪声消除处理的一个预处理的预处理电路6a、用于执行例如彩色信号处理的一个主处理的主处理电路6b、对于控制该图像存储器7的图像信号的写入或读出的存储控制器6c、和对于产生针对每一部分的一个定时信号的定时产生电路6d。
通过计算从该图像存储器7读出的图像信号，预处理电路6a执行消除由该成像器件3产生的噪声的一个处理。在此，如随后描述的那样，在执行一个以快门打开捕获的常规图像信号和以快门关闭捕获的图像信号之间的相减处理之后，进一步执行进行补偿的处理，补偿由于黑信号产生的一种高电平噪声(亮点噪声)的出现所引起的捕获图像上出现的一种浓彩色像素(黑点)。
主处理电路6b执行用于把R/G/B(红/绿/兰)基色信号转换为包括亮度信号(Y)和两个色差信号(Cb/Cr)的一个Y-色差信号的一个处理，并且还执行例如像素内插、频率特性补偿、Y信号矩阵计算、色差矩阵计算等各种处理。
存储控制器6c执行对于用于提供的图像信号的缓存器或图像存储器7的编址，并且响应微型计算机9的控制而在图像存储器7的规定区域中存储图像信号，以及还从一个规定区域读出将要输出到该预处理电路6a以及主处理电路6b的图像信号。
定时产生电路6d产生一个定时信号，作为前端5、摄像机系统LSI6、TG8等的操作基准。
由例如DRAM(动态随机存储器)、SDRAM(同步动态随机存储器)等半导体存储器构成的图像存储器7暂存来自前端5、预处理电路6a和主处理电路6b的数字图像信号。
TG8控制在成像器件3中的水平和垂直方向的驱动定时。而且，在该成像器件3具有一个快/慢电子快门功能的情况中，该TG8执行用于此功能的一个曝光间隔控制。
微型计算机9负责该图像捕获装置1的整个控制。例如，其执行通过光圈2b的曝光控制、通过控制开与关而对于快门2c的曝光时间控制、前端5中的S/H·GC电路5a中的增益控制、用于摄像机系统LSI6的操作控制、通过TG8对于成像器件3的电子快门功能的控制等等。而且，微型计算机9通过这些控制来执行以快门2c打开的正常捕获操作和在该正常捕获操作之后立即执行的以快门2c关闭的一个捕获操作的控制，以及在摄像机系统LSI6中与这些操作、图像补偿处理、图像存储器7的读和写等关联的计算控制。
以此方式，在使用在图像捕获装置1中的该成像器件3中，从其中输出的图像信号常包含由于成像器件3中出现的黑信号引起的噪音和/或周边装置的电路板中出现的噪声。而且，由于该黑信号的出现量取决于曝光时间和温度，所以如果在长的曝光时间和/或高温环境下使用，则由于该高电平噪声的原因，在一个捕获图像上的亮点可能十分明显。
为了消除各种噪音，在图像捕获装置1中，在紧随以快门2c打开进行捕获的正常捕获操作的定时之后，执行不改变例如曝光量的捕获条件但仅以快门2c关闭的一个状态的捕获操作。随后，通过使用如此产生的这两个不同的图像信号，摄像机系统LSI6执行一个处理，以便减小上述噪音和补偿该图像质量。
下面将描述图像捕获装置1中的捕获定时的操作。
当通过输入操作从用户接收一个起动捕获的请求时，在微型计算机9的控制下调节光圈的光圈量和快门2c的快门速度，于是调节从目标进入成像器件3的光。在TG8的驱动定时控制下，成像器件3执行入射光的光电变换，以便输出图像信号A1。
通过放大器4把图像信号A1提供到前端5。前端5以S/H·GC电路5a对于输入的图像信号A1执行相关双重取样处理，随后以A/D转换电路5b把图像信号A1转换成一个数字信号。通过转换成数字信号而获得的图像信号A2被提供到摄像机系统LSI6，并且该摄像机系统LSI6通过存储控制器6c在图像存储器7中暂存如此输入的图像信号A2。
随后，响应来自微型计算机9的指令，快门2c在不改变例如光圈2b、TG8和前端5中的增益控制的图像捕获状态的条件下关闭快门2c。成像器件3输出在以入射光完全被遮闭状态中捕获的一个图像信号B1。经由放大器4，来自成像器件3的图像信号B1被送到前端5。响应来自微型计算机9的指令，前端5通过取样图像信号B1而把此图像信号B1变换成一个数字信号的图像信号B2，以便提供到摄像机系统LSI6。摄像机系统LSI6通过存储控制器6c在该图像存储器7之内的不同于图像信号A2的区域一区域中存储该输入的图像信号B2。
随后，摄像机系统LSI6从图像存储器7读出图像信号A2和B2，并且把A2和B2提供到预处理电路6a。该预处理电路6a从图像信号A2减去图像信号B2，并且对于作为相减结果输出的图像信号C1执行一个补偿处理，以便补偿由黑信号产生的亮点噪声所引起的图像上的黑点。图像质量被补偿的图像信号C2通过存储控制器6c再次存储在该图像存储器7中。
随后，在微型计算机9的控制之下，从图像存储器7读出图像信号C2，并且提供到主处理电路6b。主处理电路6b对于包括例如每一R/G/B像素的电平值的图像信号C2执行例如改进图像质量的内插处理、频率特性补偿处理、彩色校正处理Y校正等处理，以便转换成含有亮度信号(Y)和色差信号(Cb/Cr)的一个普通图象数据格式。通过存储控制器6c把如此变换的图像信号D存储在图像存储器7中。
随后将详细描述摄像机系统LSI6中的预处理电路6a的处理。图2是该预处理电路6a的示例性内在结构的示意图。
如图2所示，预处理电路6a包括一个运算电路61，用于从图像信号A2中的每一个像素的每一个信号减去图像信号B2中的对应的每一个像素的每一个信号；一个亮点检测电路62，用于从图像信号B2检测亮点的位置；以及一个黑点补偿电路63，用于根据亮点检测电路62中的检测结果，补偿从运算电路61输出的图像信号C1中的该黑点之处的像素的信号。
通过存储控制器6c从图像存储器7读出的图像信号A2被提供到运算电路61，并且该图像信号B2被提供到运算电路61以及亮点检测电路62。通过顺序地从图像信号A2减去其中对应的每一像素的图像信号B2，运算电路61输出图像信号C1，其中仅删除了一个固定图形噪声的成份。在此瞬间，有其中的图像信号C1没有完全摆脱亮点噪声影响的情况，并且在此情况中，将允许保持该黑点噪音。
亮点检测电路62根据稍后将描述的预定的信号电平L所提供的图像信号B2检测已经出现亮点噪声之处的一个像素的位置，并且输出一个定时脉冲T1。相对于从运算电路61输出的图像信号C1，该黑点补偿电路63根据来自亮点检测电路62的定时脉冲T1确定黑点噪声现存之处的像素的位置，并且使用在其附近具有相同色彩的一个像素的信号补偿该像素。
在此将参照各个部分的示例的信号波形来详细描述该黑点补偿处理。图3是将要输入到运算电路61的图像信号A2和B2的各个波形的实例示意图。
图3(A)示出通过普通捕获操作并数字化的捕获的图像信号A2的一个示例性波形。除了该目标的图像信息之外，此信号还包括由于该成像器件3产生的黑信号引起的噪音成分，以及在周边电路板上产生的噪声所引起的一个固定图形噪声。虽然根据该固定图形噪声的电平会有在该信号中出现一个直流偏移的情况，但是在此图像信号A2中也出现一个偏移。而且，由于该黑信号引起噪音的原因，由于成像器件3或制造偏差等结构缺陷产生大量的电荷，因此包含将在捕获图像上产生亮点的亮点噪声N1到N7。
而且在图3中，前端5中的该A/D转换电路5b的可改变范围的最大值由虚线R表示。A/D转换电路5b以该满标度按照相同的值转换所有具有高于此范围R的像素，并且相应地数字化。
在图3A的信号波形中，示出相对于从成像器件3输出的图像信号A1，亮点噪声N1、N2和N3的实际信号电平超过了范围R，以及相对于数字变换的图像信号A2，亮点噪声N1、N2和N3的电平达到了该范围R中的满标值。即，相对于数字变换的图像信号A2而言，亮点噪声N1、N2和N3不反映其实际出现的信号电平。
另一方面，图3(B)的实例示出在普通的捕获之后以快门关闭并且转换成一个数字数据的捕获的图像信号B2的波形。图像信号B2不包括任何目标的图像信号，而是仅包括噪音成分，例如由于出现在该电路板上的该成像器件3的黑信号的噪声、例如直流模式偏移的固定图形噪声以及亮点噪声N1到N7。顺便说明，图3(B)中以相同的参考数字标记分别对应于图3(A)中的示例信号波形的亮点噪声。
其中，如果象曝光时间等捕获条件以及象温度等环境条件相同，则在成像器件3中产生的黑信号的出现量是已知的。因此，在正常捕获图像信号A2之后立即以快门关闭捕获的图像信号B2中，实际上已经出现的原始信号电平被针对达到该图像信号A2中的范围R之内的满标值的亮点噪声N1、N2和N3的那些信号电平而再生。
通过顺序地从图像信号A2减去其中对应的每一像素的图像信号B2，运算电路61输出图像信号C1，其中仅删除了该固定图形噪声的成份。而且，在运算电路61中，亮点噪声N4、N5、N6和N7以及小于范围R的原始信号电平也被删除。但是，就其实际不反映它们的原始信号电平的图像信号A2中的亮点噪声N1、N2和N3而论，由于在图像信号A2和B2之间的信号电平中存在一个差值，所以在图像信号C1中它们相反地表现为仅是其信号电平急剧下降的像素之处的黑点噪声N11、N12和N13。
为了除去这些黑点噪声N11、N12和N13，该亮点检测电路62从图像信号B2检测亮点噪声N1、N2和N3的出现位置，并且在检测的位置输出一个定时脉冲T1。其中，图4是表示该图像信号B2和定时脉冲T1之间关系的示意图。
如上所述，在图像信号B2中，精确地反映出噪声成分的信号电平。而且，如图4(A)所示，因为该图像信号B2是在快门关闭因此中断入射光的状态中捕获的图像信号，从而不包含该目标的任何图像成分，所以该图像信号是在一个能够容易地仅分离亮点噪声N1到N7的一个信号模式中的图像信号。
由此，亮点检测电路62使用该图像信号B2检测出现亮点噪声N1至N7的每一个的像素的位置。因为该亮点噪声N1到N7具有比其它噪音高很多的一个信号电平，所以该亮点检测电路62任意地设置一个信号电平L，以便起到在该亮点噪声N1到N7的检测中的一个阈值的作用。随后，如图4(B)所示，通过把图像信号B2中的各个像素的分别的信号电平与信号电平L比较，并且通过在它们达到信号电平L的情况下输出一个定时脉冲T1，检测亮点噪声N1至N7的分别的位置。
随后，在图5A至5B中，示出用于解释一个黑点噪声补偿的示例性波形。
图5A示出从该运算电路61输出的图像信号C1的一个示例性波形。如上所述，在此图像信号C1中，在对应于亮点噪声N1、N2和N3的分别的像素中，达到图像信号A2中的范围R之内的满标值的信号电平将出现黑点噪音N11、N12和N13。
该黑点补偿电路63从该运算电路61顺序地接收图像信号C1的输入，并且在从该亮点检测电路62接收一个定时脉冲T1时，以在其附近的另一像素信号补偿在此瞬间输入的图像信号C1中的一个特定像素的信号。更具体地说，使用例如在前或随后的具有相同色彩的相邻像素的信号替换该对应像素的信号。另外，通过对该在前和随后相邻像素的两信号的取平均，以获得的平均值替换该对应像素的信号。通过这种像素补偿处理，在捕获的图像上出现如象黑洞的一个黑点像素被以在其附近彩色所填充而看上去不易察觉，由此防止该图像质量的劣变。
随后描述预处理电路6a中的每一部分的一个示例性内在结构。首先，图6是表示运算电路61的第一示例性内在结构的示意图。
如图6所示，运算电路61仅包括减法电路611。减法电路611输出通过从输入图像信号A2减去图像信号B2而获得的一个图像信号C1。
在第一示例性内在结构的情况下，例如假设两个输入信号都是10比特无编码的数据，则计算的结果将变成一个10比特有一个编码的数据，从而导致一比特的比特宽度的增加。更具体地说，例如由于相减中可能有由于不规则噪音等原因出现一个负信号的情况，但是如果为了防止该比特宽度改变而消除该负信号，则由于在该黑色附近的噪声受到一个半波调整，所以邻近该黑色的一个平均直流电平或平均电压电平被引起改变。
与此相对，接下来描述用于防止在该图像信号的比特宽度中的这种变化的一个示例性内在结构。图7是该运算电路61的第二示例性内在结构的示意图。顺便说明，图7中具有与图6所示的第一示例性内在结构相同的功能块以同一个参考数字标记。
除了上述的减法电路611之外，图7所示的运算电路61a包括用于添加偏移的一个加法电路612以及用于限制一个信号电平的限幅器613。加法电路612添加一个具有直流信号电平的偏移信号O，相对于来自减法电路611的输出信号X中包含的一个负噪声成分而言，该直流信号电平是足以发送的水平。而且，限幅器613限制由加法电路612偏移的一个输出信号Y的信号电平，以便其保持该原始比特宽度。
其中，图8是通过10比特数字数据的实例说明运算电路61a中的各个部分中的不同的信号电平的示意图。顺便说明，图8中的例如亮点噪声等的微小噪声成份的波形被省略，以便简化该描述。
图8中，相对于输入到减法电路611的图像信号A2和B2，其中被删除了固定图形噪声的来自减法电路611的一个输出信号X有时可以包括一个负噪声成分。而且，在来自加法电路612的一个输出信号Y中例如一个″32″数据的偏移被加到输出信号X。结果是，输出信号Y变成与一个编码连接的11比特的数据，随后在限幅器613中，通过使得一个负信号电平为″O″、电平超过该10比特数据的最大宽度范围值″1023″的信号为″1023″，把将要输出的图像信号C1变成一个无编码的10比特数据。
根据上述的第二示例性内在结构，有可能以一个限幅的比特数目发送其中的固定图形噪声被消除的输出信号X而不降低图像质量。
下面将描述该亮点检测电路62的一个示例性内在结构。图9是该亮点检测电路62的第一示例性内在结构的示意图。
如图9所示，亮点检测电路62包括一个比较电路621，用于把输入图像信号B2的信号电平与一个预置值比较，并且把该比较的结果作为一个定时脉冲T1输出。作为比较基准的信号电平L由微型计算机9设置。此外，当图像信号B2的信号电平高于在比较时的信号电平L时，将要输出的一个定时脉冲T1被限定为H电平。
根据此第一示例性的内在结构，在图像信号B2的信号电平超过建立的信号电平L的情况下，其检测亮点噪声的出现，并且通过以H电平设置该定时脉冲T1，通知该黑点补偿电路63该亮点噪声的存在。但是，根据此内在结构，如果在该输入图像信号B2中包含了大量直流模式偏移的情况下，则在确定该亮点噪声的电平时将可能出现误差。
其中，图10是针对具有不同偏移电平的两个不同图像信号的亮点噪声出现位置的检测方式的示意图。
作为一个实例，图10(A)和10(B)都假设图像信号B2是10比特无编码的图像信号，微型计算机9提供的信号电平L的信号是10比特无编码的信号，并且信号电平L的预置值是256。而且，两个图像信号B2以与其相关的定时脉冲T1的分别的输出状态指示。
在图10(A)的情况下，相对于使用在亮点噪声检测中的信号电平L的值检测到六个亮点噪声的位置，并且在与之对应的各个位置把分别的定时脉冲T1设置在H电平。相比之下，在10(B)的情况下，其偏移电平高于图10(A)的偏移电平。因此，因为出现在定时T101的一个相当低电平的噪声超过信号电平L，所以包括此噪音的七个位置被确定为亮点噪声。
如上所述，根据该第一示例性内在结构，随着将要输入到该亮点检测电路62的图像信号B2中包含的偏移电平，有时会在涉及亮点噪声检测的确定中出错。例如，在曝光周期变长或环境温度上升的情况下，因为偏移电平将进一步增加，所以随着在检测中使用的信号电平L的建立条件，可能会有一个亮点噪声被确定为针对每一像素出现的情况。
下面将描述能够防止这种确定错误的一个示例性内在结构。首先，图11是表示该亮点检测电路62的第二示例性内在结构的示意图。顺便说明，图11中具有与图9所示的第一示例性内在结构相同的功能块以同一个参考数字标记。
图11所示的亮点检测电路62a包括用于延迟输入图像信号B2的延迟电路622、用于进一步延迟来自延迟电路622的一个输出信号的延迟电路623、用于计算延迟电路623和图像信号B2的平均电平值的平均计算电路624、用于从该延迟电路622的输出信号减去平均计算电路624的输出信号的减法电路625、用于限幅包含在来自减法电路625的输出信号中的一个负成分的限幅器626、以及与第一示例性内在结构中类似的比较电路621，用于在检测到来自该限幅器626的一个输出信号的亮点噪声时输出一个定时脉冲T1。
延迟电路622和623由例如D触发器组成，并且延迟元件的级数是一或两级。因此，相对于从存储控制器6c提供的图像信号B2，从延迟电路622输出的信号被延迟一个像素，并且从延迟电路623输出的信号被进一步延迟一个像素。由此，在亮点检测电路62a中，其设计使得从延迟电路622输出的一个信号被设置为使用在该亮点噪声检测中的一个目标信号、在从来自延迟电路623的输出信号读出的该目标像素之前的一个在先像素的信号、和在从到达延迟电路622的输入图像信号B2读出的一个随后像素的信号。
以此方式，如将随后描述的那样，延迟电路622和623中的延迟元件的级数将根据成像器件3中的器件构造确定。
平均计算电路624计算来自延迟电路623的输出信号和输入图像信号B2之间的信号电平的平均值。由此，针对该用于检测的目标像素的在先和随后相邻像素获得该信号电平的平均值。减法电路625从来自延迟电路622提供的用于检测的目标的信号减去该平均计算电路624的信号。由此输出在用于检测目标的像素和在该目标像素两侧相邻的像素的平均信号电平之间的一个差值。
限幅器626消除由减法电路625中的计算产生的负信号，以便输出″0″信号电平。从而能够避免由于负信号的出现引起的数据比特宽度的增加。随后，此输出信号被输入到比较电路621，与检测基准的信号电平L比较，然后相应地输出一个定时脉冲T1。
其中，图12是一个示意图，示出根据该第二示例性内在结构的该比较电路621中的亮点噪声的检测与定时脉冲T1的输出之间的关系。
在图12中，设置一个实例使得输入到比较电路621的信号S是无编码的10比特信号，由微型计算机9给出的信号电平是L的信号是无编码而10比特信号，以及该信号电平L的预置值是128。输入信号S是用于检测的目标像素信号与该目标像素两侧并列的像素的平均信号电平之间的一个差信号，其中的负信号被消除。因此，例如在图10(A)和(B)所示的实例中，无论输入到亮点检测电路62的图像信号B可能具有何种偏移值，输入到比较电路621的信号S都是在其偏移成份被消除的一个状态中。
因此，通过使用输入信号S并且执行该信号电平L与检测基准的比较，为了防止根据偏移的亮点噪声的错误检测而把作为检测基准的信号电平L增加到较高电平将变得不必要，从而确保与偏移电平无关地精确地执行该亮点噪声的检测。
以此方式，根据上述第二示例性内在结构，通过使用在用于检测的目标像素两侧的并列像素，从该目标像素的电平减去两侧并列像素的平均电平，但是并不局限于这种方式，并且甚至通过仅使用这些并列像素之一的像素电平，也能够获得相同的效果。下面将描述该亮点检测电路62的这样一个示例性内在结构。
图13A与13B是表示该亮点检测电路62的第三和第四示例性内在结构的示意图。
顺便说明，图13A至13B中具有与图9和11示出的第一和第二示例性内在结构中的相同结构的功能块以相同的参考数字标记。
在图13A中，作为第三示例性内在结构，其中示出的一个亮点检测电路62b通过使用在一个目标像素和与之并列的一个在先像素之间的差来检测一个亮点噪声。此亮点检测电路62b包括用于延迟输入图像信号B2的延迟电路627、用于从图像信号B2减去该延迟电路627的输出信号的减法电路625、用于从输出信号消除一个负成分的限幅器626和用于执行亮点噪声检测的比较电路621。
带有一级或两级例如D触发器的延迟元件的延迟电路627把输入图像信号B2延迟对应于一个像素的部分。因此，在减法电路625中，从检测目标的信号减去来自延迟电路627的在先一个像素的像素信号(通常是在左边像素的信号)，并且经由限幅器626把输出信号提供到比较电路621。
而且在图13B中，作为第四示例性内在结构，其中示出的一个亮点检测电路62c通过使用在该目标像素和与之并列的一个随后像素之间的差来检测一个亮点噪声。此亮点检测电路62c包括用于延迟输入图像信号B2的延迟电路628、用于从延迟电路627的输出信号减去输入图像信号B2的减法电路625、用于从输出信号消除一个负成分的限幅器626和用于检测亮点噪声的比较电路621。
在此亮点检测电路62c中，在该延迟电路628中延迟了一个像素的信号变成亮点噪声检测的一个目标。因此，在减法电路625中，从用于检测的目标的信号减去随后一个像素(通常在右侧)的像素信号，并通过限幅器626把此输出信号提供到比较电路621。
根据上述第三和第四示例性内在结构，由于通过使用在检测目标像素的信号和与之并列的像素的信号之间的差值执行该信号电平的比较，实现亮点噪声的精确检测而与将要输入的图像信号B2具有的偏移电平无关。
以此方式，根据该第二和第四示例性内在结构，由于使用检测目标的信号之后的一个像素的信号，将要输出的一个定时脉冲T1被假设相对于图像信号B2延迟了一个像素。因此，在采用第二和第四示例性内在结构的情况中，用于把信号延迟一个像素的延迟电路被提供在该运算电路61的图像信号A2和B2的输入级，或提供在该运算电路61和该黑点补偿电路63之间。
下面将描述黑色点补偿电路63的一个示例性内在结构。图14是该黑点补偿电路63的第一示例性内在结构的示意图。
图14所示的黑点补偿电路63包括用于延迟从运算电路61输出的图像信号C1的延迟电路631；用于进一步延迟从延迟电路631输出的信号的延迟电路632；用于计算来自延迟电路632和输入图像信号C1的输出信号的平均值的平均计算电路633；用于输出通过延迟来自亮点检测电路62的定时脉冲T1而获得的一个定时脉冲T2的延迟电路634；以及选择器635，响应来自该延迟电路634的定时脉冲T2，在来自延迟电路631和平均计算电路633的输出信号之间切换，以便把该输出信号作为图像信号C2输出到存储控制器6c。
即使消除了固定图形噪声，将要输入到该黑点补偿电路63的图像信号C1也可能包括黑点噪声。延迟电路631以相同的彩色延迟该图像信号C1一个像素。此信号被引到选择器635的输入端之一，作为表示黑点补偿目标的一个像素的图像信号C3。而且，延迟电路632进一步以相同的彩色把来自延迟电路631的输出信号延迟一个像素，并且提供到该平均计算电路633。因此，平均计算电路633相对于来自延迟电路631的输出信号中的每一像素从并列的在先和随后像素计算数据的平均值，以便作为用于该黑点补偿的图像信号C4提供到选择器635的另一输入。
考虑到作为黑点补偿的目标的图像信号C3由延迟电路631所延迟，为了把定时脉冲T1与图像信号C3同步，延迟电路634把从定时脉冲T1延迟的一个定时脉冲T2提供到选择器635。当输入定时脉冲T2为L电平时，选择器635输出来自延迟电路631的图像信号C3，而当输入定时脉冲T2为H电平时，输出来自平均计算电路633的图像信号C4。
在图15中示出了在选择器635中的输入/输出信号的模式。
图15(A)中所示的定时脉冲T2表示已经出现亮点噪声的像素。而且，来自延迟电路631的图像信号C3是消除了固定图形噪声的图像信号C1的信号，仅被延迟但是可能包含黑点噪声。例如，在图15(B)中所示的图像信号中，包括黑点噪声N11、N12和N13。而且，该黑点噪声仅出现在有亮点噪声出现的像素中。
因此，仅在可能存在黑点噪声的一个像素被提供在来自延迟电路631的图像信号C3之时，选择器635才输出来自平均计算电路633的图像信号C4。如上所述输出的图像信号C2在图15(C)中示出。
以此方式，与附近的像素相比，在具有黑点噪音出现的像素中的彩色成分的电平急剧降低。因此，在平均计算电路633中，输出相邻于该黑点补偿的目标像素前与后的像素的信号平均值，并且在选择器635中，图像信号C4替代出现该黑点噪音位置的像素。由此，在一个捕获的图像上，已经出现黑点噪声的像素被平滑地与相邻像素的彩色连接，从而让该黑点不易察觉，因此提高图像质量。
在上述的黑点补偿电路63中，通过使用该黑点补偿目标像素的相同色彩的前后相邻像素的信号的平均值，替换并补偿有黑点噪音出现的该像素的信号，但是该具有黑点噪音出现的该像素的信号也可以由该像素的前后相邻像素之一的信号所替换，以便提高图像质量。下面将描述用于执行这种黑点补偿的该黑点补偿电路63的一个示例性内在结构。
图16A与16B是表示这种黑点补偿电路63的第二和第三示例性内在结构的示意图。顺便说明，图16A和16B中具有与图14所示的第一示例性内在结构相同的功能块以同一个参考数字标记。
在图16A中，作为第二示例性内在结构，示出的黑点补偿电路63a通过以并列的相同色彩的一个在先像素的信号替换其上有黑点噪声出现的一个像素而进行补偿。此黑点补偿电路63a包括用于延迟输入图像信号C1的延迟电路636，以及用于进行选择的选择器635，当输入定时脉冲T1是L电平时用于选择图像信号C1，以及当输入定时脉冲T1是H电平时选择从延迟电路636输出的信号。
带有一级或两级例如D触发器的延迟元件的延迟电路636把输入图像信号C1延迟同一色彩的一个像素。因此，选择器635被提供有是黑点补偿目标的图像信号C1以及来自延迟电路636的在先一个像素(通常在左侧)的相同色彩的在先像素的一个信号。随后，响应定时脉冲T1，有可能包括黑点噪音的一个像素的信号由其在先一个像素的像素信号所替代。
而且，在图16B中，示出的第三示例内在结构的黑点补偿电路63b以并列的相同彩色的一个随后像素的信号替换出现有黑点噪声的一个像素而进行补偿。此黑点补偿电路63b包括用于延迟输入图像信号C1的延迟电路637，用于延迟输入定时脉冲T2的延迟电路634，以及一个选择器635，当输入定时脉冲T2是L电平时用于输出来自延迟电路637的一个输出信号，以及当输入定时脉冲T2是H电平时输出该图像信号C1。
在此黑点补偿电路63b中，在延迟电路637中延迟了相同色彩的一个像素的信号成为该黑点补偿的一个目标。而且，通过延迟该输入定时脉冲T1，延迟电路634产生一个定时脉冲T2，其相位与该延迟电路637所延迟的图像信号C3的相位匹配，并且提供到该选择器635。由此，选择器635被提供有是黑点补偿目标的图像信号C1以及来自延迟电路637的具有相同颜色的随后一个像素(通常是右侧)的像素信号。随后，响应定时脉冲T2，有可能包括黑点噪音的一个像素的信号由其随后一个像素的像素信号所替代。
根据上述的第二和第三示例性内在结构，出现有黑点噪音的像素仅以与之并列的像素之一的信号所替换，从而改进了一个捕获图像的质量。然而，由于其被显示成与并列像素之一相同的彩色，所以根据上述第一示例性内在结构补偿的图像受补偿的图像质量的影响较大。但是，根据该第二和第三示例性内在结构，其电路结构比第一示例性内在结构简单，从而实现产品价格的抑制。
顺便说明，在此之前描述的亮点检测电路62和黑点补偿电路63的示例性内在结构中，就用于延迟该输入图像信号B2和C1的延迟电路以及该定时脉冲T1来说，提供在其中的延迟元件的级数随着其成像器件3的结构的不同而变化。这是因为随着成像器件3的结构的改变，像素配置中的同一个彩色的间隔随之变化。
其中图17A至17B示出根据成像器件3的结构不同的在图像信号的像素排列中的变化的一个例子。
在一个黑白传感器或三晶片CCD中，由于从每一个装置输出同一个颜色的信号，所以并列像素的所有信号成为同一个彩色。因此如图17A所示，通过以一级(对应于一个时钟)设置在该延迟电路中的延迟元件，就可能获得对应于同一颜色并列像素的一个像素部分的延迟。
而且，在提供2乘2或2乘4滤色器阵列的单个晶片CCD的情况中，并列像素的彩色信息彼此不同。因此如图17B所示，通过以两级(对应于两个时钟)设置在该延迟电路中的延迟元件，就可能获得对应于同一颜色的几个像素中的一个像素的延迟。
在上述图像捕获装置1中，由于使用在正常捕获之后紧接着捕获的图像信号B2检测其中已经出现亮点噪声的像素，所以能够容易和精确地检测可能出现黑点噪声的像素位置。而且，根据这种检测，就可能出现黑点噪声的像素而言，由于其被使用在该像素附近的数据所补偿，作为黑点出现的像素不易察觉，从而使能容易地改进捕获图像的质量。
顺便说明，在上述示例的实施例中，在快门关闭状态中的捕获是在正常捕获之后立即执行，但是该快门关闭状态中的捕获可以是在紧邻正常捕获之前执行。在此情况中，在通过输入操作从用户接收起动捕获的请求时，微型计算机9执行光圈2b、前端5和TG8的设置，首先关闭快门2c并且使前端5执行图像信号的取样，然后以快门2c正常设置状态捕获图像，从而产生一个图像信号。在该图像存储器7中，首先存储以快门关门捕获的图像信号B2，然后存储正常捕获的图像信号A2，两个图像信号被同时地输出到预处理电路6a。
根据上述示例的实施例，正常捕获的图像信号A2和以快门关闭捕获的图像信号B2一旦都存储在图像存储器7中，则随即输出到预处理电路6a，但是并不局限于这种方式。例如，也可以设计成使得在这两个图像信号之一被存储在图像存储器7中之后，在另一图像被捕获之时将该存储的图像信号从图像存储器7读出，以便同时把两个图像信号提供到预处理电路6a。更进一步，还可能设计成不在图像存储器7中存储从预处理电路6a输出的图像信号C2，可将其直接提供到主处理电路6b。
通过如上所述设计，由于抑制了访问图像存储器7的频率和数据传送量，所以能够缩短从捕获开始到存储最终图像信号的时间周期，并且还能够减小功耗。
如前所述，在根据本发明的图像捕获装置中，利用该亮点位置检测装置，通过在与快门打开的常规捕获的相同曝光条件之下以快门关闭进行的捕获，在紧邻该常规捕获之前或之后生产的第二图像数据中检测该亮点噪声的出现位置。随后，利用噪音补偿装置，就从通过常规捕获的第一图像数据减去该第二图像数据获得的数据而言，补偿对应于该检测亮点噪声的出现位置的像素数据。因此，由于能够容易和精确地检测并补偿从相减装置输出的数据中的亮点噪声的出现位置，所以有可能消除该亮点噪声并且提高捕获图像的质量。
而且，根据本发明的噪声消除方法，从通过在与常规捕获相同的曝光条件下、在紧邻其之前或之后以快门关闭捕获所产生的第二图像数据中检测该亮点噪声的发生位置。随后，就从通过常规捕获的第一图像数据减去该第二图像数据获得的数据而言，补偿对应于该检测亮点噪声的出现位置的像素数据。因此，由于能够容易和精确地检测并补偿通过相减而获得的图像数据中的亮点噪声的出现位置，所以有可能消除该亮点噪声并且提高捕获图像的质量。
权利要求
1.一种使用固态成像器件捕获一个目标的图像捕获装置，特征在于包括相减装置，用于从以快门打开的一个普通捕获模式捕获并且数字化的第一图像数据减去在紧邻普通捕获之前或之后的与普通捕获相同曝光条件下以快门关闭所捕获并且数字化的第二图像数据；亮点位置检测装置，用于检测一个亮点噪声的出现位置，该亮点噪声是在所述第二图像数据中在捕获图像上产生亮点的高电平噪声；以及噪声补偿装置，用于相对从所述相减装置输出的数据而补偿在对应于由所述亮点位置检测装置检测的所述亮点噪声的出现位置的一个像素的数据。
2.如权利要求1所述的图像捕获装置，特征在于，如果在所述第二图像数据中的每一像素的信号电平都达到任意设置的一个预定值，则所述亮点位置检测装置检测所述亮点噪声的出现位置。
3.如权利要求1所述的图像捕获装置，特征在于，如果从在所述第二图像数据中的每一个像素的信号电平减去邻接该像素的两个像素的平均信号电平所获得的一个值达到任意设置的一个预定值，则所述亮点位置检测装置检测所述亮点噪声的出现位置。
4.如权利要求1所述的图像捕获装置，特征在于，如果从在所述第二图像数据中的每一个像素的信号电平减去邻接该像素的任一像素的信号电平所获得的一个值达到任意设置的一个预定值，则所述亮点位置检测装置检测所述亮点噪声的出现位置。
5.如权利要求1所述的图像捕获装置，特征在于，所述补偿装置以相邻亮点噪声的相同色彩的两个像素的平均数据替换对应于所述亮点噪声出现位置的每一像素的数据。
6.如权利要求1所述的图像捕获装置，特征在于，所述补偿装置以相邻该亮点噪声的相同色彩的两个像素任何之一的数据替换对应于所述亮点噪声出现位置的每一像素的数据。
7.一种用于消除在使用固态成像器件捕获一个目标之时的噪声的一种噪声消除方法，其特征于包括步骤从以快门打开的一个常规捕获模式所捕获并且数字化第一图像数据中减去在与该常规捕获相同的曝光条件下、紧邻上述常规捕获之前或之后以快门关闭所捕获并且数字化的第二图像数据；检测在所述第二图像数据中的亮点噪声的出现位置，该亮点噪声是在一个捕获图像上产生亮点的高电平噪声；以及相对于从所述相减产生的数据，补偿对应于所述检测亮点噪声的出现位置的一个像素的数据。
全文摘要
提供一种能够消除由于来自固态成像传感器的黑信号产生的噪声的图像捕获装置。在一个图像存储器中存储了通过常规成像获得的图像信号(A2)，在该图像存储器中存储紧接其后以快门关闭捕获的图像信号(B2)。随后，通过存储控制器(6c)把图像信号(A2)和(B2)提供到预处理电路(6a)。通过从图像信号(A2)减去图像信号(B2)，运算电路(61)消除一个固定图形噪声和一个偏移成份。亮点检测电路(62)确定从图像信号(B2)产生的亮点噪声的位置，并且响应此确定输出一个定时脉冲(T1)。与该定时脉冲(T1)同步，黑点补偿电路(63)在从运算电路(61)输出的图像信号(C1)中检测一个具有出现黑点噪声的可能性的像素，并且使用在其邻近的一个像素的数据补偿此像素。
文档编号H04N5/369GK1484913SQ02803582
公开日2004年3月24日 申请日期2002年9月3日 优先权日2001年9月20日
发明者中岛健, 佐藤伸行, 行 申请人:索尼公司