专利名称：闪烁校正方法和装置及成像装置的制作方法
技术领域：
本发明涉及一种闪烁校正方法和装置、以及图像拾取装置，其中通过从图像信号中减去闪烁校正信号来校正闪烁。
背景技术：
在传统的图像传感器中，电荷存储的定时根据是按平面还是按行进行电荷存储而不同。通常，按平面的电荷存储的定时被称作“全局快门系统”，而按行的电荷存储的定时被称作“滚动(rolling)快门系统”。过去，大部分CCD采用了全局快门类型的图像传感器。然而，最近，对CMOS图像传感器给予了日益增加的关注，其中CMOS图像传感器消耗比CCD更少的功率，并且由于其更少数目的零件而可以比CCD更廉价地生产。许多CMOS图像传感器由于其结构问题而采用滚动快门系统。采用两个快门系统中的一个，当在重复导通和关断的光源的光之下进行成像时，在整个图像平面中将出现亮和暗条纹(平面闪烁)，而采用另一个快门系统，将按行出现亮和暗条纹(平面内闪烁)。
图1示出了采用全局快门系统的图像传感器中的电荷存储量的差异，并且图2示出了当图像传感器为全局快门类型时发生平面闪烁的图像的示例。图3示出了采用滚动快门系统的图像传感器中的电荷存储量的差异，并且图4示出了发生平面内闪烁的图像的示例。另外，包括于在循环导通和关断的光源的光下所捕获的图像中的闪烁分量可以近似于正弦波，并且通过基于正弦波的性质而消除闪烁来形成校正图像的方法已经很普遍。
对于闪烁校正，提出过一种基于在输入图像中检测到的闪烁分量来控制增益的方法(如在日本专利申请公开No.2004-222228中)。
发明内容
当在诸如荧光灯、循环重复导通和关断的光源的光之下，用数字照相机对对象成像时，在所捕获的对象图像中将出现循环的亮和暗条纹，从而导致它们将似乎在图像中运动。不然的话，在图像上的帧之间将循环出现亮度差。这被称作“闪烁”。当在闪烁光源的光之下通过使用图像传感器对对象成像的数字照相机对对象成像，其中电荷存储的定时发生偏移时，闪烁是不可避免发生的问题。
对于闪烁校正，利用闪烁可以近似于正弦波的特征来检测输入信号中的闪烁分量。类似地，从正弦波的特性和所检测的闪烁分量计算校正量，并且将校正量加到输入信号，或者将后者乘以校正量。对于闪烁分量到正弦波的近似，必须检测三个特征“循环”、“相位”和“幅度”。
可以基于电源频率和帧速率来检测循环。
因此，本发明的申请人提出了一种闪烁校正方法，其包括以下步骤响应于每个特定周期的校正误差信号，获取与包括在视频信号的每个特定周期内的闪烁分量相对应的闪烁校正信号，其中视频信号由连续的特定周期形成，并且包含闪烁分量，并且计算闪烁校正信号和每个特定周期，以生成校正了其闪烁分量的、一个特定周期的校正视频信号，在每个特定周期之前的一个特定周期和每个特定周期的校正视频信号中检测闪烁分量的校正误差，以获取校正误差信号，作为与所检测的校正误差相对应的信号，并且获取闪烁校正信号作为与校正误差信号相对应地减小了校正误差的信号(如在日本专利申请公开No.2004-330299中)。
上述闪烁校正方法是在没有检测闪烁幅度而是采用固定闪烁值的情况下执行的。在来自光源的光不变化的情况下，即使采用固定的闪烁幅度值，也可以执行该方法而没有任何问题。然而，在来自光源的光变化的情况下，必须适当地改变闪烁幅度。因此，该传统方法不是通用的。
因此，期望通过提供一种闪烁校正方法和装置以及图像拾取装置来克服相关技术的上述缺点，其中即使当光源的光强变化时，也能灵活地校正闪烁。
根据本发明，通过检测输入图像信号中的闪烁分量，基于所检测的闪烁分量而计算校正值，并且将校正值加到输入图像信号，从而进行闪烁校正。
根据本发明，提供了一种闪烁校正方法，其包括以下步骤从当前经过闪烁校正的帧的图像，预测下一帧的图像的闪烁，以生成被加入了在电平上相互不同的闪烁的两种闪烁图像；通过所生成的两种闪烁图像与输入的下一帧的图像之间的比较来检测闪烁分量；
基于所检测的闪烁分量而生成闪烁校正值；以及通过逐帧地将所生成的闪烁校正值加到输入图像帧来进行闪烁校正。
根据本发明，还提供了一种闪烁校正装置，包括闪烁校正部件，用于通过将闪烁校正信号加到输入图像信号来进行闪烁校正；以及闪烁校正信号生成部件，用于从已经由闪烁校正部件闪烁校正的图像信号和尚未经过闪烁校正的图像信号，预测下一帧的图像的闪烁，以生成具有在电平上相互不同的闪烁的两种闪烁图像，通过所生成的两种闪烁图像和输入的下一帧的图像之间的比较，检测闪烁分量，以及基于所检测的闪烁分量而生成闪烁校正值，闪烁校正部件，将由闪烁校正信号生成部件逐帧生成的闪烁校正信号加到输入图像信号，以便进行闪烁校正。
根据本发明，还提供了一种包括闪烁校正装置的图像拾取装置，用于通过将闪烁校正信号加到由图像拾取装置捕获的图像信号来进行闪烁校正，该闪烁校正装置包括闪烁校正部件，用于通过将闪烁校正信号加到输入图像信号来进行闪烁校正；以及闪烁校正信号生成部件，用于从已经由闪烁校正部件闪烁校正的图像信号和尚未经过闪烁校正的图像信号，预测下一帧的图像的闪烁，以生成具有在电平上相互不同的闪烁的两种闪烁图像，通过所生成的两种闪烁图像和输入的下一帧的图像之间的比较，检测闪烁分量，以及基于所检测的闪烁分量而生成闪烁校正值，闪烁校正部件，将由闪烁校正信号生成部件逐帧生成的闪烁校正信号加到输入图像信号，以进行闪烁校正。
根据本发明，可以通过在经过幅度预测的闪烁图像和由图像传感装置(在此也被称为“成像元件”)捕获的图像之间的比较，顺序地预测闪烁的幅度。即使当光源的光强变化时，也能随时以自动的方式灵活地调整闪烁幅度，以便校正闪烁。另外，即使在从具有闪烁源的位置转移到无闪烁的位置时进行成像，也能自动地改变闪烁幅度，并且停止闪烁校正。另外，即使在从无闪烁的位置转移到具有闪烁源的位置时进行成像，也能自动地改变闪烁幅度，并且进行闪烁校正。
因此，根据本发明，即使当光源的光强改变时，也可以这样灵活地进行闪烁校正。
图1示意性地示出了全局快门类型的图像传感器中的电荷存储量差异；图2示意性地示出了在采用全局快门系统时出现的平面闪烁图像示例；图3示意性地示出了滚动快门类型的图像传感器中的电荷存储量差异；图4示意性地示出了平面内闪烁图像的示例；图5是作为本发明的一个实施例的图像拾取装置的示意性方框图；图6也是包括在图5所示的图像拾取装置内的闪烁校正电路的示意性方框图；图7是闪烁校正电路中的校正值计算器的示意性方框图；图8示意性地示出了图像拾取装置中用于校正误差检测的算法；图9是包括在图像拾取装置内的校正相位误差检测器的示意性方框图；图10是包括在图像拾取装置内的校正幅度误差检测器的示意性方框图；图11是包括在图像拾取装置内的闪烁幅度调整器的示意性方框图。
具体实施例方式
下面将参考附图涉及本发明实施例来详细描述本发明。应当注意，本发明不限于以下将要描述的实施例，而是它可以以各种方式进行修改，可选地进行构造，或者以各种其它形式进行实施，而不背离其范围和精神。
本发明适用于如图5所示构造的图像拾取装置。该图像拾取装置在总体上用附图标记100表示。
图像拾取装置100包括红色图像传感装置(图像元件)10R、绿色图像传感装置(成像元件)10G、蓝色图像传感装置(成像元件)10B；A-D转换器20R、20G和20B，用于数字化分别由图像传感装置10R、10G和10B捕获的彩色图像的图像信号SI_R、SI_G和SI_B；闪烁校正电路30R、30G和30B、校正相位误差检测器40R、40G和40B、以及校正幅度误差检测器50R、50G和50B，分别被提供由A-D转换器20R、20G和20B数字化的图像信号DV_R、DV-G和DV_B；闪烁幅度调整器60R、60G和60B，分别被提供由校正幅度误差检测器50R、50G和50B检测到的校正幅度误差信号C_R、C_G和C_B；照相机信号处理电路70，分别被提供由闪烁校正电路30R、30G和30B闪烁校正之后的图像信号CV_R、CV_G和CV_B；等等。
被提供分别由闪烁校正电路30R、30G和30B闪烁校正之后的图像信号CV_R、CV_G和CV_B，以及分别由闪烁幅度调整器60R、60G和60B调整之后的闪烁幅度信号A_R、A_G和A_B，校正相位误差检测器40R、40G和40B检测数字化图像信号DV_R、DV_G和DV_B中的图像信号CV_R、CV_G和CV_B的校正相位误差，以及经过闪烁校正的图像信号CV_R、CV_G和CV_B和闪烁幅度信号A_R、A_G和A_B的校正相位误差，以生成校正相位误差信号E_R、E_G和E_B，并且将所生成的校正幅度误差信号E_R、E_G和E_B分别提供给闪烁校正电路30R、30G和30B，以及校正幅度误差检测器50R、50G和50B。
被提供分别由闪烁校正电路30R、30G和30B闪烁校正之后的图像信号CV_R、CV_G和CV_B，以及分别由闪烁幅度调整器60R、60G和60B调整之后的闪烁幅度信号A_R、A_G和A_B，校正幅度误差检测器50R、50G和50B检测数字化图像信号DV_R、DV_G和DV_B中的图像信号CV_R、CV_G和CV_B，经过闪烁校正的图像信号CV_R、CV_G和CV_B和闪烁幅度信号A_R、A_G和A_B中的校正相位误差，以生成校正幅度误差信号C_R、C_G和C_B，并且将所生成的校正幅度误差信号E_R、E_G和E_B分别提供给闪烁幅度调整器60R、60G和60B。
闪烁幅度调整器60R、60G和60B分别从校正幅度误差信号E_R、E_G和E_B生成闪烁幅度信号A_R、A_G和A_B，并且将所生成的闪烁幅度信号A_R、A_G和A_B分别提供给闪烁校正电路30R、30G和30B，校正相位误差检测器40R、40G和40B，以及校正幅度误差检测器50R、50G和50B。
在图像拾取装置100中，闪烁校正电路30R、30G和30B中的每个使用如图6所示构造的闪烁校正电路30*。在此应当注意，星号(*)代表“R(红)”、“G(绿)”和“B(蓝)”。
闪烁校正电路30*包括地址计算器31*，被提供来自校正误差检测器40*的校正误差信号E_*；校正值计算器32*，被提供由地址计算器31*算出的地址AD；乘法器33*，被提供由校正值计算器32*算出的闪烁校正数据FD、以及由闪烁幅度调整器60*生成的闪烁幅度信号A_*；电平调整器34*，被提供通过在乘法器33中将闪烁校正数据FD乘以闪烁幅度信号A_*而得到的闪烁校正数据FDA；以及低通滤波器(LPF)35*和运算电路36*，被提供由A-D转换器20*数字化的图像信号DV_*。通过低通滤波器(LPF)35*将由A-D转换器20*数字化的图像信号DV_*提供给电平调整器34*，然后，其将生成要被提供给运算电路36*的闪烁校正值CFD。
在如上构造的闪烁校正电路30*中，地址计算器31*基于从校正误差检测器40提供的校正误差信号E_*，计算包括在校正值计算器32*内的ROM(后面将进一步详细描述的闪烁存储器321和322)中的地址AD。
地址计算器31*计算当前行的地址，这是通过从电源频率和帧速率计算所关注的帧中的第一行的地址、并且计算朝向该地址每次前进一行的地址增量来完成的。更具体地说，在电源频率是50Hz，帧速率是30Hz，并且图像传感装置10*的纵向时钟数是1125clk的情况下(贯穿下面描述，这些电源频率、帧速率以及图像传感装置10*的时钟数保持不变)，闪烁的亮和暗条纹之间的周期T将包含如下由方程式1给出的337.5行T＝30Hz×1125clk/(50Hz×2)＝337.5(clk) .......(1)另外，系统中的ROM保存通过将一个周期除以512而得到的闪烁数据。在每次前进一行时，ROM中的地址将大约增加如下由方程式2给出的1.51703512/337.5＝1.51703 .......(2)也就是，假定第一行上的校正波地址是零(0)，从第一行开始计数的第100行上的地址将是如下由方程式3给出的1520+1.51703×100≈152 ......(3)如图7所示，校正值计算器32*包括闪烁存储器321和322；乘法器323和324，用于将从闪烁存储器321和322读取的两种闪烁数据FD1和FD2分别乘以系数α和α-1；以及加法器325，被提供分别由乘法器323和324乘以系数α和α-1之后的闪烁数据FD1_A和FD2_A。根据由地址计算器31*算出的地址AD，将分别从闪烁存储器321和322读取两种闪烁数据FD1和FD2。
校正值计算器32*通过基于由地址计算器31*算出的地址AD而分别从闪烁存储器321和322读取两种闪烁数据FD1和FD2，与帧速率和快门速度相对应地分别由乘法器323和324将闪烁数据FD1和FD2分别乘以系数α和α-1，并且由加法器325将结果相加在一起，从而计算一个闪烁校正数据FD。
注意，利用闪烁数据的周期性，校正值计算器32*保存闪烁数据FD1和FD2的一部分波形。另外，即使采用不同于ROM的任何其它存储器，也可以适当地计算闪烁数据。在该实施例中，通过将两个闪烁数据FD1和FD2组合在一起，来合成与波形相对应的一个闪烁校正数据FD。然而，可以将三个或更多个闪烁数据组合在一起，以合成各个闪烁校正数据FD。逐行地，通过取决于每行的值来更新闪烁校正数据FD一次。
由于闪烁与每个像素的值相对应地在电平上变化，因此通过使用输入图像信号DV_*来调整每一个的电平。然而，图像信号DV_*中的噪声分量将影响电平调整。
因此，在图像拾取装置100的闪烁校正电路30中，使输入图像信号DV_*通过低通滤波器(LPF)35*，以便从图像信号DV_*中消除噪声分量，并且将无噪声的图像信号DV_*′提供给电平调整器34*。电平调整器34*可以从无噪声的图像数据DV_*′和由校正值计算器32*算出的闪烁校正数据FD，计算不受噪声影响的每个像素的校正值CFD。
注意，调整该实施例使得校正值与像素值相对应地单调增加，这是因为已观察到闪烁电平也与像素值相对应地线性增加的趋势。另外，由于在像素值非常小或大时没有观察到闪烁，因此该实施例被调整成考虑这个特征来进行计算。然而，本发明不限于该实施例。
在闪烁校正电路30*中，运算单元35*将每个像素的校正值CFD加到图像信号DV_*，以提供校正图像信号CV_*。
下面将参考图8描述用于在图像拾取装置100中检测校正误差的算法。
在此假定，特定帧图像(第n帧的图像)的闪烁可能已被校正为校正电平。由于闪烁从一个帧到另一个帧是连续的，因此可以预测下一帧的闪烁。在所预测的下一帧的闪烁保持为与第n帧的闪烁相同电平的情况下，将第(n+1)帧的闪烁加到校正图像中。将这样产生的闪烁图像视为“图像A”。同时，在电平变得高于第n帧电平的情况下，将第(n+1)帧的闪烁加到经过闪烁校正的图像。将这样产生的闪烁图像视为“图像B”。图像A是通过将第(n+1)帧的闪烁分量加到第n帧的对象图像而得到的图像，而图像B是通过将其闪烁电平变得高于图像A的闪烁电平的第(n+1)帧的闪烁分量加到第n帧的对象图像而得到的。当分别计算实际提供的第(n+1)帧的图像与图像A和B之间的差值时，仅仅对象的运动分量将作为差值出现，这是因为在图像A中忠实地再现了下一帧闪烁。然而，因为图像B变得在电平上高于下一帧闪烁，所以它包含两个分量，即对象运动和闪烁分量，作为差值，也就是，更近似于下一帧闪烁的预测闪烁分量将取小值作为差值。此外，生成了两个图像，即，其中加入了在电平上高于第n帧的闪烁的第(n+1)帧的闪烁分量的图像，以及其中加入了在电平上低于第n帧的闪烁的第(n+1)帧的闪烁分量的图像。当分别计算这两个图像和第(n+1)帧的图像之间的差值时，更近似于第(n+1)帧的闪烁电平的差值将取小值。因此，通过在每个帧的差值之间进行比较，有可能随着时间经过而将任意闪烁的初始电平自动调整到适当的闪烁电平。
根据上述算法来设计校正相位误差检测器40R、40G和40B，以及校正幅度误差检测器50R、50G和50B中的每个。
在该图像拾取装置100中，校正相位误差检测器40R、40G和40B中的每个使用如9所示的、根据前述算法而构造的校正相位误差检测器40*。在此应当注意，星号(*)代表“R(红)”、“G(绿)”和“B(蓝)”。
校正相位误差检测器40*包括闪烁加入信号生成器41A和41B，其被提供由闪烁校正电路30*闪烁校正之后的图像信号CV_*、以及由闪烁幅度调整器60*生成的闪烁幅度信号A_*；行积分器42A和42B，其被提供分别由闪烁加入信号生成器41A和41B生成的闪烁加入信号FDV1和FDV2；存储器43A和43B，其被提供分别由行积分器42A和42B积分之后的行数据LD11和LD21；差值检测器44A和44B，其被提供分别从存储器43A和43B读取的行数据LD12和LD22；行积分器45，其被提供由A-D转换器20*数字化的图像信号DV_*；积分器46A和46B，其被提供分别由差值检测器44A和44B检测的差值数据DD1和DD2；比较器47，其被提供分别由积分器46A和46B提供的积分数据ID1和ID2；等等。由行积分器45提供的行数据LD3将被提供给差值检测器44A和44B中的每个，并且作为来自比较器47的比较输出而提供的校正误差信号E_*被提供给闪烁加入信号生成器41A和41B中的每个。
闪烁加入信号生成器41A和41B中的每个包括地址计算器411A和411B，其被提供作为来自比较器47的比较输出而提供的校正误差信号E_*；地址转换器412A和412B，其被提供分别由地址计算器411A和411B算出的地址AD11和AD21；校正值计算器413A和413B，其被提供分别由地址转换器412A和412B算出的地址AD12和AD22；乘法器414A和414B，其被提供由闪烁幅度调整器60*生成的闪烁幅度信号A_*；电平调整器415A和415B，其被提供在乘法器414A和414B中乘以闪烁幅度信号A_*之后的闪烁数据FD1和FD2；以及低通滤波器(LPF)416A和416B以及运算单元417A和417B，其被提供由A-D转换器20*数字化的图像信号DV_*。分别通过低通滤波器(LPF)416A和416B，将由A-D转换器20*数字化的图像信号DV_*提供给电平调整器415A和415B，并且将分别由电平调整器415A和415B生成的校正值CFD1和CFD2分别提供给运算单元417A和417B。
在如上构造的校正误差检测器40*中，地址计算器411A和411B基于校正误差信号E_*而计算ROM中的地址AD11和AD21。这样算出的地址通过以正方向或负方向偏移下一帧的闪烁的前列地址而得到。如在闪烁校正电路30*的地址计算器31*中计算这些地址。另外，包括在校正误差检测器40*内的ROM与包括在闪烁校正电路30*内的ROM相同。
地址转换器412A和412B将分别由地址计算器411A和411B算出的地址AD11和AD21，分别转换成从其可以再现下一帧的闪烁的地址AD12和AD22。也就是，它们将地址AD1和AD2转换成具有相反相位的地址。分别由地址转换器412A和412B转换的地址AD12和AD22通过下一帧的闪烁的预测而得到，而不是打算用于闪烁校正。
校正值计算器413A和413B基于由地址转换器412A和412B分别转换的地址AD12和AD22，分别计算闪烁数据FD1和FD2。也如同在闪烁校正电路30*中一样按行确定闪烁数据FD1和FD2。类似于包括在闪烁校正电路30*内的校正值计算器32*，构造校正值计算器413A和413B。
如同在闪烁校正电路30*中一样，在校正相位误差检测器40*的闪烁加入信号生成器41A和41B中，使图像信号DV_*通过低通滤波器(LPF)416A和416B，以便从图像信号DV_*中消除噪声，将无噪声图像信号DV_*′提供给电平调整器415A和415B。电平调整器415A和415B基于无噪声图像信号DV_*′以及分别由乘法器414A和414B算出的闪烁数据FD1和FD2，计算不受噪声影响的每个像素的校正值CFD1和CFD2。
如同包括在闪烁校正电路30*内的电平调整器34*一样，构造电平调整器415A和415B。
运算单元417A和417B将每个像素的校正值CFD1和CFD2加到闪烁校正图像信号CV_*，以生成下一帧的闪烁加入信号FDV1和FDV2。还如同包括在闪烁校正电路30*内的运算单元36一样，构造运算单元417A和417B。
行积分器42A和42B通过分别积分下一帧的闪烁加入信号FDV1和FDV2的特定片段来计算行数据LD11和LD21。“片段”可以是作为水平尺寸的任意值，只要它在水平获取的图像内即可。采用较大的片段，可以以较高准确度来检测校正误差。片段的垂直尺寸可以是一个屏幕内的闪烁的亮和暗条纹的循环的整倍数。更具体地说，可以假定该片段为1000个水平像素乘以675个垂直像素(＝337.5×2)，即1000×675像素。
分别将由行积分器42A和42B算出的行数据LD11和LD21存储在存储器43A和43B中，直至提供下一帧的图像信号DV_*。当提供下一帧的图像信号DV_*时，行积分器45对与已经积分的闪烁加入信号FDV1和FDV2的片段相同的片段进行行积分，以计算行数据LD3。
分别存储在存储器43A和43B中的行数据LD12和LD22、以及与行数据LD12和LD22的行相对应的下一帧图像信号DV_*的行数据LD3被提供给差值检测器44A和44B，以提供差值数据DD1和DD2。
积分器46A和46B通过分别积分两个差值数据DD1和DD2，分别提供积分数据ID1和ID2。
然后，比较器47通过在这些积分数据ID1和ID2之间进行大小比较，判断在哪个方向上偏移地址以便预测校正闪烁，即正或负方向。例如，如果在正方向上偏移地址的情况下获得的积分数据ID_*小于在负方向上偏移地址的情况下获得的积分数据ID_*，则输出校正相位误差信号E_*，以在正方向上偏移该地址。
通过将校正相位误差信号E_*提供给闪烁校正电路30*的地址计算器31、以及校正幅度误差检测器50*的地址计算器511A和511B，以便在朝着闪烁的正确方向上偏移地址，从而最小化校正误差。
另外，在该图像拾取装置100中，校正幅度误差检测器50R、50G和50B中的每个使用如10所示的、根据前述算法而构造的校正幅度误差检测器60*。在此应当注意，星号(*)代表“R(红)”、“G(绿)”和“B(蓝)”。
校正幅度误差检测器50*包括闪烁加入信号生成器51A和51B，其被提供由闪烁校正电路30*闪烁校正之后的图像信号CV_*、以及由闪烁幅度调整器60*生成的闪烁幅度信号A_*；行积分器52A和52B，其被提供分别由闪烁加入信号生成器51A和51B生成的闪烁加入信号FDV13和FDV32；存储器53A和53B，其被提供分别由行积分器52A和52B积分的行数据LD31和LD32；差值检测器54A和54B，其被提供分别从存储器53A和53B读取的行数据LD31和LD32；行积分器55，其被提供由A-D转换器20*数字化的图像信号DV_*；积分器56A和56B，其被提供分别由差值检测器54A和54B检测的差值数据DD31和DD32；比较器57，其被提供分别由积分器56A和56B提供的积分数据ID31和ID32；等等。由行积分器55提供的行数据LD3将被提供给差值检测器54A和54B中的每个。
闪烁加入信号生成器51A和51B包括地址计算器511A和511B，分别被提供作为来自校正相位误差检测器40*中的比较器47的比较输出而提供的校正相位误差信号E_*；地址转换器512A和512B，被提供分别由地址计算器511A和511B算出的地址AD31；校正值计算器513A和513B，被提供分别由地址转换器512A和512B算出的地址AD32；幅度放大器514A和幅度衰减器514B，被提供由闪烁幅度调整器60*生成的闪烁幅度信号A_*；乘法器515A和515B，被提供分别由校正值计算器513A和513B算出的闪烁数据FD31和CFD31；电平调整器516A和516B，被提供在乘法器515A和515B中乘以闪烁幅度信号A_*之后的闪烁数据CFD1和CFD2；以及低通滤波器(LPF)517A和517B以及运算单元518A和518B，被提供由A-D转换器20*数字化的图像信号DV_*。将通过控制幅度放大器515A和幅度衰减器514B中的闪烁幅度信号A_*而得到的幅度信号AM31和AM32分别提供给乘法器515A和515B，分别通过低通滤波器(LPF)517A和517B将把由A-D转换器20*数字化的图像信号DV_*提供给电平调整器516A和516B，并且分别将由电平调整器516A和516B生成的校正值CFD31和CFD32提供给运算单元518A和518B。
在如上构造的校正幅度误差检测器50*的闪烁加入信号生成器51A和51B中，地址计算器511A和511B基于校正误差信号E_*而计算ROM中的地址AD31。这样算出的地址是下一帧的闪烁分量的前列地址。如同在闪烁校正电路30*的地址计算器31*中一样计算该地址。另外，包括在校正幅度误差检测器50*内的ROM与包括在闪烁校正电路30*内的ROM相同。
地址转换器512A和512B将由地址计算器511A和511B算出的地址AD31转换成从其可以再现下一帧的闪烁的地址。更具体地说，它们将地址AD31的相位转换成在相位上与地址AD31相反的地址AD32。由地址转换器512A和512B转换的地址AD32通过下一帧的闪烁的预测而得到，而不是打算用于闪烁校正。
校正值计算器513A和513B基于由地址转换器512A和512B转换的地址AD32而计算闪烁数据FD31。还如同在闪烁校正电路30*中一样按行确定闪烁数据FD31。类似于包括在闪烁校正电路30*内的校正值计算器32*，构造校正值计算器513A和513B。
接下来，幅度放大器514A计算通过幅度信号A_*的放大而得到的幅度信号AM31。同时，幅度衰减器514B衰减所提供的幅度信号A_*，以计算幅度信号AM32。乘法器515A和515B将算出的幅度信号AM31和AM32乘以闪烁数据FD31，以提供具有其放大的闪烁分量的闪烁校正数据FDA31，以及具有其衰减的闪烁分量的闪烁校正数据FDA32。
另外，在校正幅度误差检测器50*的闪烁加入信号生成器51A和51B中，如同在闪烁校正电路30*中一样，使图像信号DV_*通过低通滤波器(LPF)517A和517B，以从图像信号DV_*中消除噪声，并且将无噪声图像信号DV_*′提供给电平调整器516A和516B。电平调整器516A和516B从无噪声图像信号DV_*′以及由校正值计算器515A和515B分别算出的闪烁数据FDA31和FDA32，计算每个像素的校正值CFD31和CFD32。
类似于包括在闪烁校正电路30*内的电平调整器34*，构造电平调整器516A和516B。
运算单元518A和518B将每个像素的校正值CFD31和CFD32加到经过闪烁校正的图像信号CV_*，以生成下一帧的闪烁加入信号FDV31和FDV32。类似于包括在闪烁校正电路30*内的运算单元36，构造运算单元518A和518B。
然后，如同在校正相位误差检测器40*中一样，处理分别从运算单元518A和518B提供的下一帧的闪烁加入信号FDV31和FDV32。
也就是，行积分器52A和52B积分其中存在闪烁加入信号FDV31和FDV32的下一帧的片段，以计算行数据LD31和LD32。
将由行积分器52A和52B算出的行数据LD31和LD32分别存储在存储器53A和53B中，直至提供下一帧的图像信号DV_*。当提供下一帧的图像信号DV_*时，行积分器55对与已经被积分的闪烁加入信号FDV31和FDV32的片段相同的片段进行行积分，以计算行数据LD3。
将分别存储在存储器53A和53B中的行数据LD31和LD32、以及与行数据LD31和LD32的行相对应的下一帧图像信号DV_*的行数据LD3提供给差值检测器54A和54B，以提供差值数据DD31和DD32。
积分器56A和56B通过分别积分两个差值数据DD31和DD32，分别提供积分数据ID31和ID32。
然后，比较器57在这些积分数据ID31和ID32之间进行大小比较，以提供表示应该放大还是衰减下一帧闪烁的幅度的比较信号C*。
将在校正幅度误差检测器50*中提供的比较信号C_*提供给闪烁幅度调整器60*。如图11所示，闪烁幅度调整器60*包括比较器61和幅度增大/减小单元62，并且始终基于比较信号C_*而改变闪烁幅度。闪烁幅度调整器60*用来在从校正幅度误差检测器50*提供的比较信号C_*将变小的方向上，改变闪烁幅度。在此应当注意，更小的比较信号C_*意味着基于预测的闪烁图像更近似于由图像传感装置10*形成的实际图像。也就是，由比较器61检查各帧之间的比较信号C_*的大小关系允许判断是否准确地预测了闪烁电平。例如，如果当闪烁幅度已经增大时，比较信号C_*大于前一帧的比较信号C_*，则可以确定不准确地预测了闪烁幅度。在这种情况下，将由幅度增大/减小单元62减小闪烁幅度。相反，如果比较信号C_*小于前一帧的比较信号C_*，则可以确定已经准确地预测了闪烁幅度。在这种情况下，将由幅度增大/减小单元62增大闪烁幅度。通过这些操作，提供幅度信号A_*作为输出。
这样，通过根据前述校正误差检测算法，在两个差值数据DD31和DD32的积分值将更小的方向上改变电平，有可能随着时间的经过，将校正电平改变为最优电平。
本领域的技术人员应当理解，根据设计要求及其他因素，可以进行各种修改、组合、子组合以及变更，只要它们在所附权利要求或其等价物的范围之内即可。
对相关申请的交叉引用本发明包含与2005年5月13日在日本专利局提交的日本专利申请JP2005-141614相关的主题内容，在此将其全文引作参考。
权利要求
1.一种闪烁校正方法，包括以下步骤从当前经过闪烁校正的帧的图像，预测下一帧的图像的闪烁，以生成被加入了在电平上相互不同的闪烁的两种闪烁图像；通过所生成的两种闪烁图像与输入下一帧的图像之间的比较来检测闪烁分量；基于所检测的闪烁分量而生成闪烁校正值；以及通过逐帧地将所生成的闪烁校正值加到输入图像来进行闪烁校正。
2.一种闪烁校正装置，包括闪烁校正部件，用于通过将闪烁校正信号加到输入图像信号来进行闪烁校正；以及闪烁校正信号生成部件，用于从已经由闪烁校正部件闪烁校正的图像信号和尚未经过闪烁校正的图像信号，预测下一帧的图像的闪烁，以生成具有在电平上相互不同的闪烁的两种闪烁图像，通过所生成的两种闪烁图像和输入的下一帧的图像之间的比较，检测闪烁分量，以及基于所检测的闪烁分量而生成闪烁校正值，闪烁校正部件，通过将由闪烁校正信号生成部件逐帧生成的闪烁校正信号加到输入图像信号，进行闪烁校正。
3.根据权利要求2所述的装置，其中闪烁校正信号生成部件包括校正相位误差检测部件，用于通过从由闪烁校正部件闪烁校正之后的图像信号和尚未经过闪烁校正的图像信号，预测下一帧的图像信号的闪烁，以生成被加入了在电平上相互不同的闪烁的两种闪烁图像信号，并且在所生成的两种闪烁图像信号和输入的下一帧的图像信号之间进行比较，检测校正相位误差；校正幅度误差检测部件，用于通过从由闪烁校正部件闪烁校正之后的图像信号和尚未经过闪烁校正的图像信号，预测下一帧的图像信号的闪烁，以生成被加入了在电平上相互不同的闪烁的两种闪烁图像信号，并且在所生成的两种闪烁图像信号和输入的下一帧的图像信号之间进行比较，检测校正幅度误差；以及闪烁幅度调整部件，用于生成幅度信号，根据该幅度信号，在由校正幅度误差检测部件检测的校正幅度误差将更小的方向上，控制闪烁校正信号的幅度，基于由校正相位误差检测部件生成的校正相位误差信号、以及由闪烁幅度调整部件生成的幅度信号而生成闪烁校正信号。
4.一种图像拾取装置，包括闪烁校正装置以通过将闪烁校正信号加到由图像拾取装置捕获的图像信号来进行闪烁校正，该闪烁校正装置包括闪烁校正部件，用于通过将闪烁校正信号加到输入图像信号来进行闪烁校正；以及闪烁校正信号生成部件，用于从已经由闪烁校正部件闪烁校正的图像信号和尚未经过闪烁校正的图像信号，预测下一帧的图像的闪烁，以生成具有在电平上相互不同的闪烁的两种闪烁图像，通过所生成的两种闪烁图像和输入的下一帧的图像之间的比较，检测闪烁分量，以及基于所检测的闪烁分量而生成闪烁校正值，闪烁校正部件，通过将由闪烁校正信号生成部件逐帧生成的闪烁校正信号加到输入图像信号，进行闪烁校正。
5.一种闪烁校正装置，包括闪烁校正电路，用于通过将闪烁校正信号加到输入图像信号，进行闪烁校正；以及闪烁校正信号生成器，用于从已经由闪烁校正电路闪烁校正的图像信号和尚未经过闪烁校正的图像信号，预测下一帧的图像的闪烁，以生成具有在电平上相互不同的闪烁的两种闪烁图像，通过所生成的两种闪烁图像和输入的下一帧的图像之间的比较，检测闪烁分量，以及基于所检测的闪烁分量而生成闪烁校正值，闪烁校正电路，通过将由闪烁校正信号生成器逐帧生成的闪烁校正信号加到输入图像信号，进行闪烁校正。
6.一种图像拾取装置，包括闪烁校正装置以通过将闪烁校正信号加到由图像拾取装置捕获的图像信号来进行闪烁校正，该闪烁校正装置包括闪烁校正电路，用于通过将闪烁校正信号加到输入图像信号，进行闪烁校正；以及闪烁校正信号生成器，用于从已经由闪烁校正电路闪烁校正的图像信号和尚未经过闪烁校正的图像信号，预测下一帧的图像的闪烁，以生成具有在电平上相互不同的闪烁的两种闪烁图像，通过所生成的两种闪烁图像和输入的下一帧的图像之间的比较，检测闪烁分量，以及基于所检测的闪烁分量而生成闪烁校正值，闪烁校正电路，通过将由用于进行闪烁校正的闪烁校正信号生成器逐帧生成的闪烁校正信号加到输入的图像信号，进行闪烁校正。
全文摘要
即使当光源的光强变化时，也可以这样灵活地进行校正闪烁。本发明提供了一种闪烁校正方法，其包括以下步骤从当前经过闪烁校正的帧的图像，预测下一帧的图像的闪烁，以生成被加入了在电平上相互不同的闪烁的两种闪烁图像，通过所生成的两种闪烁图像与输入的下一帧的图像之间的比较来检测闪烁分量，基于所检测的闪烁分量而生成闪烁校正值；以及通过逐帧地将所生成的闪烁校正值加到输入图像来进行闪烁校正。
文档编号H04N5/243GK1863277SQ20061008173
公开日2006年11月15日 申请日期2006年5月10日 优先权日2005年5月13日
发明者大野哲之, 中筋元宏, 西出义章, 池山裕政 申请人:索尼株式会社