专利名称：成像设备和闪烁减少方法
技术领域：
本发明涉及一种成像设备，如摄像机和数码照相机，其中，使用XY地址扫描型成像装置(成像器，成像传感器)，如CMOS(互补金属氧化物半导体)成像器，以及一种用来减少荧光灯闪烁的方法，其中荧光灯闪烁发生于当成像设备在荧光灯的照明下对拍摄对象(subject)进行拍摄时从成像装置获得的视频信号中。
背景技术：
当摄像机在由商用交流电源供电的荧光灯的照明下对拍摄对象进行拍摄时，由于荧光灯的亮度变化(光量的变化)的频率(商用交流电源频率的两倍)和摄像机的垂直同步频率(成像频率)不同，在拍摄输出的视频信号中将发生相对于时间的强度变化即所谓的荧光灯闪烁。
现在将描述例如这样一种情况，其中，在商用交流电源频率为50赫兹的地区，NTSC CCD摄像机(垂直同步频率(此情况下为场频率)为60赫兹)在非反相器制式的荧光灯的照明下对拍摄对象进行拍摄(不过，这不限于非反相器制式(non-inverter system)荧光灯的情况，因为在反相器制式(inverter-system)荧光灯的情况下，当整流不足时，也会发生闪烁)。在这种情况下，如图1所示，一场的周期为1/60秒，而荧光灯的亮度变化周期为1/100秒。因此，每场的曝光时刻相对于荧光灯的亮度变化发生偏移，并且每个像素的曝光量发生变化。
由于这个原因，例如，当曝光时间为1/60秒时，在周期a1、a2和a3中，即使对于相同曝光时间，曝光量也会不同。此外，当曝光时间小于1/60秒时(如后所述，当它不是1/100秒时)，在周期b1、b2和b3中，即使对于相同曝光时间，曝光量也会不同。
相对于荧光灯亮度变化的曝光时刻每三场将回到原始时刻，因此，由于闪烁造成的强度变化每三场发生重复。也就是，每场的亮度比率根据曝光周期而变化，但闪烁周期不发生变化。
然而，在渐进制式类型(progressive-system-type)的照相机如数码照相机中，当垂直同步频率(此情况下为帧频率)是30赫兹时，强度变化每三帧发生重复。
此外，对于荧光灯，通常使用多种荧光物质，例如，红、绿、蓝色荧光物质来发射白光。然而，这些荧光物质中的每一个都具有特定的余辉特性，并且在从停止放电直到开始下一次放电的周期内以各自的余辉特性以衰减方式发光，其中，该周期存在于亮度变化周期中。由于这个原因，在这个周期中，由于最初为白光的光逐渐衰减同时改变其色调(hue)，因此如果曝光时刻以上述方式发生偏移，则不仅强度发生变化，而且色调也发生变化。此外，由于荧光灯具有如下特定频谱特性，即在特定波长上存在强峰值，因此信号的变化分量根据颜色而不同。
因而，由于这种色调变化和每种颜色变化分量的不同，发生所谓的颜色闪烁。
作为比较，当电源频率为50赫兹，并且成像设备的垂直同步频率为60赫兹时，如图1所示，如果曝光时间设定为1/100秒，与荧光灯的亮度变化周期相同，那么在图1的最下方可以看出，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁。
此外，考虑了一种用于减少荧光灯闪烁而不以这种方式指定快门速度的方法。在其中一个画面平面内的所有像素都以相同曝光时刻曝光的成像设备如CCD成像设备的情况下，由于仅在场之间发生由于闪烁的强度变化和颜色变化，因此减少闪烁可以相对容易地得到实现。
例如，在图1的情况中，如果曝光时间不为1/100秒，则以三场为重复周期发生闪烁。因此，通过根据视频信号的前三场，每场视频信号的平均值恒定不变，来预测当前亮度和颜色的改变，并根据预测结果来调整每场视频信号的增益，闪烁可被抑制到不会影响实际应用的程度。
然而，在XY地址扫描型的成像设备如CMOS成像装置中，每个像素的曝光时刻在画面平面的水平方向上以与读取时钟(像素时钟)的一个周期相对应的数量顺序发生偏移，并且所有像素的曝光时刻均不同。因此，在上述方法中，闪烁不能得到足够的抑制。
这个情形如图2所示。如上所述，在画面平面的水平方向上，每个像素的曝光时刻顺序发生偏移，但是，相对于荧光灯的亮度变化周期，一个水平周期足够短。因此，假定同一行的像素在同一时刻曝光，画面平面的垂直方向上每行的曝光时刻如图所示。在实际应用中，上面的假设并不会造成问题。
如图2所示，在XY地址扫描型的成像设备如CMOS成像器中，每行(F0表示特定场的情况)的曝光时刻均不相同，并且每行中的曝光量也不相同。因此，由于闪烁造成的强度变化和颜色变化不仅在场间发生，而且也在场内发生，上述改变在画面平面中表现为条带状图案(条带本身的方向为水平方向，条带的变化方向为垂直方向)。
图3示出当拍摄对象为均匀图案时，这种平面内(画面平面内)闪烁的情况。由于条带状图案的一个周期(一个波长)为1/100秒，因此一个画面平面中出现1.666个周期的条带状图案。当每场的读取行数表示为M时，条带状图案的一个周期以读取行数对应于L＝M*600/100。在说明书和附图中，星号(*)表示乘号。
如图4所示，该条带状图案在3场(3帧)中对应于5个周期(5个波长)，并且当连续观看时，它显现为垂直滚动。
图3与图4仅示出由于闪烁造成的强度变化。然而，实际上，还加有上述颜色变化，并且图像质量恶化相当厉害。尤其是当快门速度较高(曝光时间较短)时，颜色闪烁会更明显，并且在XY地址扫描型的成像设备中，颜色闪烁的影响会在画面平面内出现。因此，图像质量的恶化变得更加显著。
另外，在这种XY地址扫描型成像设备中，当电源频率为50赫兹，成像设备的垂直同步频率为60赫兹时，如图2所示，如果曝光时间设定为1/100秒，与荧光灯的亮度变化周期相同，则曝光量将恒定不变而与曝光时刻无关，并且荧光灯的闪烁，包括平面内闪烁，均不会发生。
此外，提出了一种特定于XY地址扫描型的成像设备如CMOS成像设备而不以这种方式指定快门速度的荧光灯闪烁减少方法。
更具体地说，在日本未实审专利申请公开第2000-350102号或第2000-23040号中，公开了一种方法，其中，通过使用感光装置和光度计测量荧光灯的光量来估算闪烁分量，并根据估算结果，控制来自成像装置的视频信号的增益。
然而，当采用XY地址扫描型的成像设备，如CMOS成像器，在荧光灯的照明下对拍摄对象进行拍摄时，在来自成像设备的视频信号中发生的闪烁的形式根据成像设备的视频制式(特别是垂直同步频率)、用于驱动荧光灯的商用交流电源频率，以及电子快门的快门速度(曝光时间)的组合而大大不同。
更具体地说，作为成像设备的视频制式，对应于广播制式的NTSC制式(垂直同步频率为60赫兹)和PAL制式(垂直同步频率为50赫兹)是公知的。最新的摄像机可同时兼容NTSC及PAL制式。作为惯例，摄像机从工厂发货，根据发货的目的地，将它们电气设置为NTSC或者PAL制式。
在日本的某些地区和世界其他一些国家或地区，商用交流电源频率为50赫兹，而在日本的另一些地区和世界另一些国家或地区，商用交流电源频率为60赫兹。
图5A的情况1示出在电源频率为50赫兹的地区，在荧光灯的照明下，采用NTSC制式的CMOS成像设备对拍摄对象进行拍摄的情况。
在此情况下，每场为1/60秒，而荧光灯的亮度变化周期为1/100秒。因此，如图2到4所示，在其中曝光时间为1/60秒的正常快门时间期间，以及在其中曝光时间小于1/60秒的高速快门时间期间，发生在时间轴上是连续的闪烁，即其重复周期为3场(3帧)的闪烁(连续观看时，它显现为垂直滚动)。
然而，如图7中的情况1所示，当将快门设置为1/100秒曝光时间的高速快门时，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁包括平面内闪烁。
图5B的情况2示出在电源频率为60赫兹的地区，在荧光灯的照明下，采用PAL制式的CMOS成像设备对拍摄对象进行拍摄的情况。
在此情况下，每场为1/50秒，而荧光灯的亮度变化周期为1/120秒。因此，在其中曝光时间为1/50秒的正常快门时间期间，以及在其中曝光时间小于1/50秒的高速快门时间期间，发生在时间轴上是连续的闪烁，即其重复周期为5场(5帧)的闪烁(连续观看时，它显现为垂直滚动)。
然而，如图7中的情况2所示，当将快门设置为1/120或1/60秒曝光时间的高速快门时，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁包括平面内闪烁。
如同在图7的情况1或情况2中，当发生在时间轴上是连续的闪烁，即其重复周期为多个垂直周期(多个画面平面)的闪烁时，闪烁分量可以通过上述传统方法或其发明人与本申请相同的较早中请(日本专利申请第2003-173642号)的发明方法来减少(后面将要描述)，其中，利用闪烁的连续性来估算闪烁分量，并且根据估算结果来校正来自成像装置的视频信号，从而减少了闪烁分量。
作为比较，图6A的情况3示出在电源频率为60赫兹的地区，在荧光灯的照明下，采用NTSC制式的CMOS成像设备对拍摄对象进行拍摄的情况。
在此情况下，每场为1/60秒，而荧光灯的亮度变化周期为1/120秒。因此，在其中曝光时间为1/60秒的正常快门时间期间，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁包括平面内闪烁。然而，在其中曝光时间小于1/60秒的高速快门时间期间，如图6A右侧所示，发生在一场(一个画面平面)内完成并且其条带状图案在每场(每个画面平面)内相同的闪烁。
然而，如图7中的情况3所示，当将快门设置为1/120秒曝光时间的高速快门时，类似于曝光时间为1/60秒的正常快门时间期间，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁包括平面内闪烁。
图6B的情况4示出在电源频率为50赫兹的地区，在荧光灯的照明下，采用PAL制式的CMOS成像设备对拍摄对象进行拍摄的情况。
在此情况下，一场为1/50秒，而荧光灯的亮度变化周期为1/120秒。因此，在其中曝光时间为1/50秒的正常快门时间期间，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁包括平面内闪烁。然而，在其中曝光时间小于1/50秒的高速快门时间期间，如图6B右侧所示，发生在一场(一个画面平面)内完成并且其条带状图案在每场(每个画面平面)内相同的闪烁。
然而，如图7中的情况4所示，当将快门设置为1/100秒曝光时间的高速快门时，类似于曝光时间为1/50秒的正常快门时间期间，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁包括平面内闪烁。
那么，当在其中快门被设置为高速快门的图7的情况3或情况4中发生在一场内(一个画面平面内)完成且在时间轴上不连续的闪烁时，由于不能从最开头区分来自成像装置的视频信号中的拍摄对象画面图案分量与荧光灯闪烁分量，因此不可能通过利用上述闪烁连续性的闪烁减少方法来减少闪烁分量。
图7总结了前述内容。在图7中，其中垂直同步频率为60赫兹且电源频率为50赫兹的情况1；其中垂直同步频率为50赫兹且电源频率为60赫兹的情况2；其中垂直同步频率为60赫兹且电源频率为60赫兹的情况3；以及其中垂直同步频率为50赫兹且电源频率为50赫兹的情况4如上所述。
图7还示出渐进制式的CMOS成像设备的垂直同步频率(此情况下为帧频率)为30赫兹的情况。
如图7中的情况5所示，当在电源频率为50赫兹的地区，在荧光灯的照明下，采用垂直同步频率为30赫兹的CMOS成像设备对拍摄对象进行拍摄时，一个垂直周期为1/30秒，而荧光灯的亮度变化周期为1/100秒。因此，在其中曝光时间为1/30秒的正常快门时间期间，以及在其中曝光时间小于1/30秒的高速快门时间期间，发生在时间轴上连续的闪烁，即其重复周期为3个垂直周期(3帧)的闪烁(连续观看时，它显现为垂直滚动)。
然而，当将快门设置成曝光时间为1/100秒、1/50秒或3/100秒的高速快门，其中该曝光时间为荧光灯的亮度变化周期的整数倍时，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁包括平面内闪烁。
此外，如图7中的情况6所示，当在电源频率为60赫兹的地区，在荧光灯的照明下，采用垂直同步频率为30赫兹的CMOS成像设备对拍摄对象进行拍摄时，一个垂直周期为1/30秒，而荧光灯的亮度变化周期为1/120秒。因此，在其中曝光时间为1/30秒的正常快门时间期间，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁包括平面内闪烁。然而，在其中曝光时间小于1/30秒的高速快门时间期间，类似于情况3和情况4的高速快门期间，发生在一个周期(此情况下为一帧)内完成并且其闪烁条带状图案在每个垂直周期(此情况下为每帧)内相同的闪烁。
然而，当将快门设置成曝光时间为1/120秒、1/60秒或1/40秒的高速快门，其中该曝光时间为荧光灯的亮度变化周期的整数倍时，类似于曝光时间为1/30秒的正常快门时间期间，曝光量将恒定不变而与曝光时刻无关，并且不发生闪烁包括平面内闪烁。
如上所述，在发生在一个周期(一个画面平面)内完成并且其闪烁条带状图案在每个垂直周期(每个画面平面)内相同的闪烁的情况3、情况4或情况6中，排除将快门速度设为特定速度的情况，不能区分来自成像装置的视频信号中的画面图案分量与荧光灯闪烁分量。因此不可能通过利用上述闪烁连续性的闪烁减少方法来减少闪烁分量。
由于这个原因，在这些情况下，可以将高速快门的快门速度(曝光时间)设为不发生闪烁的速度，即在情况4中为1/120秒；在情况3中为1/100秒；以及在情况6中为1/120秒、1/60秒或1/40秒。或者，不是设为高速快门，而是将快门设为不发生闪烁的正常快门。也就是，在情况3中，快门速度可以设为1/60秒；在情况4中，快门速度可以设为1/50秒；并且在情况6中，快门速度可以设为1/30秒。
然而，为了实现上述目的，需要采用某种方法单独地检测电源频率。
例如，已考虑一种用于根据闪烁的条带状图案的周期(波长)与成像设备的垂直周期(垂直同步频率的倒数)之间的关系来检测电源频率的方法。然而，当以上述方式发生在时间轴上不连续且在一个垂直周期(一个画面平面)内完成的闪烁时，由于不能从最开头区分拍摄来自成像装置的视频信号中的画面图案分量与荧光灯闪烁分量，因此不可能检测电源频率。
此外，有一种使用外部传感器来检测电源频率的方法。然而，使用这种方法会增加成像设备系统的尺寸和成本。
此外，当将快门设置为正常快门而不是设置为高速快门时，存在电子式照相机抖动校正的问题，如下所述。
最新的成像设备具有电子式图像帧剪切(cutout)类型的照相机抖动校正功能。在这种照相机抖动校正方法中，使用内置于照相机中的照相机抖动传感器，或者使用发生在图像中的运动向量来检测照相机抖动，并且根据所检测的照相机抖动量，从输入图像中剪切适当位置上适当大小的区域并进行输出，从而校正图像信号使得输出图像看上去是静止的。
然而，在这种电子式照相机抖动校正中，画面平面间(场间或帧间)的照相机抖动可以得到校正，但由于在曝光周期内发生的照相机抖动造成的通常所称的余像模糊从原理上不能得到校正。也就是，尽管可以通过照相机抖动校正来减少画面平面间的照相机抖动，但由于余像模糊仍然存在，因此图像质量将由于失衡而恶化。
因此，为了减少该余像模糊，建议将快门设置为高速快门，以减小曝光时间。然而，如果将快门速度设置得太高，则运动画面的不连贯会很明显，因此，将快门设置为1/100秒左右的快门速度，此时，上述关系变得较为合适。
如上所述，具有电子式照相机抖动校正功能的成像设备设成当照相机抖动校正打开时自动实现高速快门。也就是，为了执行电子式照相机抖动校正，高速快门是必要的，而且，为了解决荧光灯闪烁的问题，不能忽略高速快门。
发明内容
因此，本发明的一个目的是在不检测用于驱动荧光灯的电源频率的情况下，无论电源频率和成像设备的垂直同步频率如何组合，减少荧光灯闪烁分量，并且其另一个目的是实现电子式照相机抖动校正所需的高速快门。
一方面，本发明提供了一种成像设备，包括XY地址扫描型成像装置和用于控制电子快门速度的控制器，其中，当成像设备的设定垂直同步频率表示为fv(赫兹)并且N为一个正整数时，在120/fv为整数的情况下，控制器设置电子快门速度为曝光时间是N/120秒的电子快门速度，并且在100/fv为整数的情况下，控制器设置电子快门速度为曝光时间是N/100秒的电子快门速度。
另一方面，本发明提供了一种用于减少包含在视频信号中的荧光灯闪烁分量的方法，其中该视频信号是通过使用XY地址扫描型成像装置在荧光灯的照明下对拍摄对象进行拍摄而获得的，当包括该成像装置的成像设备的设定垂直同步频率表示为fv(赫兹)并且N为一个正整数时，该方法包括快门控制步骤，在120/fv为整数的情况下，设置快门速度为曝光时间是N/120秒的电子快门速度，而在100/fv为整数的情况下，设置快门速度为曝光时间是N/100秒的电子快门速度；以及闪烁减少处理步骤，在快门控制步骤设置了电子快门速度的状态下，通过估算视频信号的闪烁分量并且根据估算结果校正视频信号来减少闪烁分量。
在图7所示的各种情况下，如果垂直同步频率表示为fv，并且电源频率表示为fp，则当如同在情况1(fv＝60赫兹，fp＝50赫兹)、情况2(fv＝50赫兹，fp＝60赫兹)或情况5(fv＝30赫兹，fp＝50赫兹)中垂直周期1/fv(秒)不是荧光灯的亮度变化周期1/2fp(秒)的整数倍，也就是，当2fp不是fv的整数倍时，将发生在时间轴上是连续的闪烁，即其重复周期为多个垂直周期(多个画面平面)的闪烁(连续观看时，它显现为垂直滚动)，并且闪烁分量可以通过利用闪烁连续性的闪烁减少方法来减少。
然而，当如同在情况3(fv＝60赫兹，fp＝60赫兹)、情况4(fv＝50赫兹，fp＝50赫兹)或情况6(fv＝30赫兹，fp＝60赫兹)中垂直周期1/fv(秒)是荧光灯的亮度变化周期1/2fp(秒)的整数倍时，也就是，当2fp是fv的整数倍时，从一开始就不会发生闪烁。然而，在高速快门时间期间，发生在一个垂直周期(一个画面平面)内完成并且其条带状图案在每个垂直周期(每个画面平面)中相同的闪烁，并且闪烁分量不能通过利用闪烁连续性的闪烁减少方法来减少。
作为比较，在本发明的具有上述配置的成像设备中，当如同在上述情况1、情况3、情况5或情况6中，120/fv为整数时，设置快门为N/120(秒)的快门速度，该快门速度处于曝光时间不超过垂直周期1/fv(秒)的范围内，而当如同在上述情况2或情况4中100/fv为整数时，设置快门为N/100(秒)的快门速度，该快门速度处于曝光时间不超过垂直周期1/fv(秒)的范围内。
也就是，当如同在情况1或情况3中fv＝60赫兹时，快门速度设置为1/120秒或1/60秒；当如同在情况2或情况4中fv＝50赫兹时，快门速度设置为1/100秒或1/50秒；当如同在情况5或情况6中fv＝30赫兹时，快门速度设置为1/120秒、1/60秒、1/40秒或1/30秒。
因此，在情况1、情况2或情况5中，发生在时间轴上是连续的闪烁，也就是，其重复周期为3场、5场或3帧的闪烁。从而，可以通过利用闪烁连续性的闪烁减少方法来减少闪烁分量；而且，在情况3、情况4或情况6中，从一开始就不发生闪烁，因此不需要闪烁减少处理。
此外，由于这个原因，不需要检测电源频率fp，并且成像设备的快门控制装置只需确定成像设备的设定垂直同步频率fv(视频制式)。此外，当执行电子式照相机抖动校正时，通过设置例如N＝1可以实现曝光时间小于垂直周期1/fv(秒)的高速快门，并且通过该高速快门可以实现图像质量的改善。
图1示出用NTSC制式(垂直同步频率＝60赫兹)的CCD成像设备进行图像捕获的情况下CCD成像设备中的荧光灯闪烁；图2示出用NTSC制式(垂直同步频率＝60赫兹)的CMOS成像设备进行图像捕获的情况下CMOS成像设备中的荧光灯闪烁；图3示出CMOS成像设备的一个画面平面内荧光灯闪烁的条带状图案；图4示出CMOS成像设备的三个连续画面平面上荧光灯闪烁的条带状图案；图5A和图5B示出发生在时间轴上连续的闪烁的情况；图6A和图6B示出在高速快门时间期间发生在一个画面平面内完成的闪烁的情况；图7示出垂直同步频率和电源频率的各种组合情况下的闪烁发生形式；图8示出本发明的成像设备实施例的系统配置；图9示出原色系统的数字信号处理部件的例子；
图10示出由快门控制部件执行的快门控制处理(快门控制处理例程)的例子的一部分；图11示出由快门控制部件执行的快门控制处理的例子的另一部分；图12示出由快门控制部件执行的快门控制处理的例子的另一部分；图13A、图13B和图13C示出用于检测拍摄对象是否使用荧光灯的照明的方法的例子；图14A示出用于在垂直同步频率为60赫兹(NTSC制式)以及电源频率为60赫兹的情况下检测拍摄对象是否使用荧光灯的照明的方法的例子；而图14B示出用于在垂直同步频率为50赫兹(PAL制式)以及电源频率为50赫兹的情况下检测拍摄对象是否使用荧光灯的照明的方法的例子；图15示出由快门控制部件执行的快门控制处理的另一个例子的一部分；图16示出本发明方法中的快门速度设置；图17示出闪烁减少部件的例子；图18示出用来说明特定例子的闪烁减少方法的方程式；图19示出用来说明特定例子的闪烁减少方法的方程式；图20示出用来说明特定例子的闪烁减少方法的方程式；图21示出用来说明特定例子的闪烁减少方法的方程式；以及图22示出用来说明特定例子的闪烁减少方法的方程式。
具体实施例方式(系统配置图8)图8示出本发明成像设备的一个实施例的系统配置，并且还示出选择性地设成NTSC制式(fv＝60赫兹)或者PAL制式(fv＝50赫兹)并且其中使用CMOS成像装置作为XY地址扫描型CMOS成像装置的摄像机。
在本实施例的成像设备即摄像机中，来自拍摄对象的光通过成像光学系统11进入CMOS成像装置12。该光在CMOS成像装置12中经过光电转换，并且从CMOS成像装置12获得模拟视频信号。
CMOS成像装置12以如下方式形成，即多个具有光电二极管(光门)、传输门(快门晶体管)、开关晶体管(地址晶体管)、放大晶体管、复位晶体管(复位门)等的像素以二维方式排列在CMOS基板上，并且还形成了垂直扫描电路、水平扫描电路及视频信号输出电路。
如后所述，CMOS成像装置12可以为原色系统或补色系统，并且从CMOS成像装置12获得的模拟视频信号是各种RGB颜色的原色信号，或者是补色系统的颜色信号。
来自CMOS成像装置12的模拟视频信号在作为IC(集成电路)形成的模拟信号处理部件13中针对每个颜色信号进行采样和保持，通过AGC(自动增益控制)来控制增益，并且，通过A/D(模拟/数字)转换将模拟视频信号转换为数字信号。
如后所述，在作为IC形成的数字信号处理部件20中，对来自模拟信号处理部件13的数字视频信号进行处理。在数字信号处理部件20内的闪烁减少部件25中如后所述为每个信号分量减少了闪烁分量之后，信号最终被转换为亮度信号Y，以及红和蓝色差信号R-Y和B-Y，并且这些信号从数字信号处理部件20输出。
系统控制器14由微型计算机等形成，并且控制摄像机的每个部件。
更具体地说，系统控制器14提供镜头驱动控制信号到由IC构成的镜头驱动器15，并且由镜头驱动器15驱动成像光学系统11的镜头和光圈。
此外，系统控制器14提供定时控制信号到定时发生器16。定时发生器16提供各种定时信号到CMOS成像装置12，由此驱动CMOS成像装置12。
此时，还根据来自系统控制器14的定时控制信号来控制CMOS成像装置12的快门速度。具体地说，如后所述，快门速度由系统控制器14内的快门控制部件14c进行设置。
此外，系统控制器14从数字信号处理部件20接收每个信号分量的检测信号。根据来自系统控制器14的AGC信号，如上所述，在模拟信号处理部件13中控制每个颜色信号的增益，另外，系统控制器14控制数字信号处理部件20中的信号处理。
此外，照相机抖动传感器17连接到系统控制器14，从而使用所获得的照相机抖动信息来进行照相机抖动校正。
组成用户接口18的操作部件18a和显示部件18b通过由微型计算机等形成的接口19连接到系统控制器14。于是，通过系统控制器14来检测操作部件18a中的设置操作和选择操作，另外，照相机的设置状态和控制状态通过系统控制器14显示在显示部件18b上。
上述NTSC制式和PAL制式之一的设置状态被保存为系统控制器14内的一个设置标志，以便将其用于快门控制部件14c的快门控制(后面将有描述)。
(数字信号处理部件的配置例子图9)图9示出在原色系统的情况下，数字信号处理部件20的例子。
原色系统具有分色光学系统，其中，图8的成像光学系统11将来自拍摄对象的光分解为各个RGB的彩色光，并且，该原色系统是具有各个RGB颜色的CMOS成像设备作为CMOS成像装置12的三调色板(three-plate)系统，或者具有一个CMOS成像设备作为CMOS成像装置12的单调色板(one-plate)系统，其中在画面平面的水平方向上各个RGB颜色的滤色镜在光入射面上为每个像素顺序重复排列。在这种情况下，从CMOS成像装置12中并行读取每个RGB颜色的原色信号。
在图9的数字信号处理部件20中，输入RGB原色信号的黑电平在钳位电路21中钳位于预定电平；在增益调节电路22中，根据曝光量来调节所钳位RGB原色信号的增益；并且，在闪烁减少部件25R、25G和25B中通过一种方法(将在后面描述)减少经过增益调节的RGB原色信号中的闪烁分量。
此外，在图9的数字信号处理部件20中，在白平衡调节部件27中调节减少了闪烁之后的RGB原色信号的白平衡；在伽马校正电路28中转换调节了白平衡之后的RGB原色信号的灰度；并且在组合矩阵电路29中从经过伽马校正的RGB原色信号产生输出亮度信号Y以及输出色差信号R-Y和B-Y。
在原色系统中，一般而言，由于如图9所示在完成了RGB原色信号的所有处理之后产生亮度信号Y，因此通过如图9所示在RGB原色信号处理步骤中减少RGB原色信号中的闪烁分量，可以足够地减少各个颜色分量和亮度分量的闪烁分量。
然而，与如图9所示由闪烁减少部件25R、25G和25B检测并减少各个RGB原色的闪烁分量不同，例如，闪烁减少部件25可以安设在组合矩阵电路29的亮度信号Y的输出端，从而检测并减少亮度信号Y的闪烁分量。
另一方面，补色系统是具有一个CMOS成像装置作为图8的CMOS成像装置12的的单调色板系统，其中，在光入射面上形成补色系统的滤色镜。
在补色系统中，从CMOS成像装置12读取和组合两个相邻水平线位置的视频信号；在数字信号处理部件20中，将补色信号(组合信号)的黑电平箝位到预定电平，根据曝光量来调节所箝位补色信号的增益，并且从经过增益调节的补色信号产生一个亮度信号和多个RGB原色信号。
然后，在闪烁减少部件25中，减少亮度信号中的闪烁分量和RGB原色信号中的闪烁分量，并校正闪烁减少后的亮度信号的灰度，从而获得输出亮度信号Y。另外，调整闪烁减少后的RGB原色信号的白平衡，转换经过白平衡调节之后的RGB原色信号的灰度，并且从伽马校正后的RGB原色信号中产生色差信号R-Y和B-Y。
在本发明中，通过下述方法来控制快门以及设置快门速度。
(NTSC制式或PAL制式的情况图10到14及图16)在以上述方式选择性地设置为NTSC制式或PAL制式的摄像机的情况下，系统控制器14的快门控制部件14c对每场执行下述快门控制处理，从而设置快门速度。
图10到12示出由快门控制部件14c执行的快门控制处理例程的例子。在本例的快门控制处理例程100中，首先，在步骤101中，判定拍摄环境是否为室内。
对于判定拍摄环境是否为室内，可利用用于普通照相机控制的AE(AutoExposure，自动曝光)控制的亮度信息、白平衡控制的色温信息等。
然后，在室外拍摄的情况下，由于从一开始就不需要闪烁减少处理，因此该处理从步骤101进入步骤102，其中执行正常快门控制，也就是，将电子快门设为正常曝光控制模式，从而完成快门控制处理。
另一方面，在室内拍摄的情况下，由于拍摄对象有可能使用荧光灯来照明，因此该处理从步骤101进入步骤103，其中判定荧光灯的照明检测模式是否处于打开状态。
荧光灯的照明检测模式的打开/关闭状态由系统控制器14自身来设置，并且以如下方式进行控制，即当成像设备加电时或者当拍摄对象信息(拍摄对象的亮度和色温)有很大的改变时，打开检测模式，并且在稳定状态下关闭检测模式。
那么，当荧光灯检测模式打开时，该处理从步骤103进入步骤104，其中执行检测模式处理。其后，该处理进入步骤105，其中根据处理结果判定拍摄环境是否处于荧光灯的照明下。
作为用于检测拍摄环境是否处于荧光灯的照明下的方法，存在使用白平衡控制的色温信息的方法。根据图13A、13B、13C和14所示的方法，可以以较高准确度进行检测。
在图13A、13B和13C的方法中，如图13A所示，在画面平面的水平方向上对在数字信号处理部件20中所获得的视频信号(每个颜色信号或亮度信号)进行积分，从而获得每场的积分值(图13的波形示出闪烁分量)，并且如图13C所示，计算相邻场间的积分值的差值(Fn-Fn_1)。
此时，当如同在图5A所示的情况1(fv＝60赫兹，fp＝50赫兹)中或者在图5B所示的情况2(fv＝50赫兹，fp＝60赫兹)中发生在时间轴上是连续的闪烁即其重复周期为多场(多个画面平面)的闪烁时，由于在差值(Fn-Fn_1)中消除了画面图案分量，并且只保留有闪烁分量，因此基于此闪烁分量的存在，有可能检测拍摄环境处于荧光灯的照明下。
然而，此时，当如同在图6A所示的情况3(fv＝60赫兹，fp＝60赫兹)或在图6B所示的情况4(fv＝50赫兹，fp＝50赫兹)中，在高速快门时间期间发生在一场(一个画面平面)内完成并且其中闪烁条带状图案在每场(每个画面平面)内都相同的闪烁时，不仅画面图案分量从差值(Fn-Fn_1)中被消除，而且闪烁分量也被消除。因此，不可能检测出拍摄环境处于荧光灯的照明下。
因此，在本例的方法中，仅在检测模式下，系统控制器14通过轻微地破坏(disrupt)垂直周期的不变性来驱动成像设备。
更具体地说，图14A示出情况3(fv＝60赫兹，fp＝60赫兹)，而图14B示出情况4(fv＝50赫兹，fp＝50赫兹)。在检测模式下，如右侧的每个情况所示(箭头方向)，每个垂直周期(从特定垂直同步信号VD到下一个垂直同步信号VD的时间)交替增加或减小α(秒)。
情况1和情况2也是如此。也就是，在检测模式下，以这种方式轻微地破坏垂直周期的不变性，而不管成像设备的设定垂直同步频率fv为60或50赫兹，也不检测电源频率fp为50赫兹或60赫兹。
因此，在情况3和情况4中，在荧光灯的照明下，闪烁分量出现在差值(Fn-Fn_1)中，从而有可能检测出拍摄环境处于荧光灯的照明下。
作为闪烁减少方法，在一个实施例(后面将要描述)中使用与本发明具有相同发明人的较早申请的发明方法(日本专利中请第2003-173642号)，在该闪烁减少方法中使用的电路块也可用于图13A、13B和13C所示的积分和差值计算。
当在步骤103中判定荧光灯照明检测模式处于关闭的稳定状态时，该处理进入步骤106，其中，接收先前或过去检测模式下的处理结果(判定结果)，然后该处理进入步骤105。
然后，当在步骤105中判定拍摄环境不处于荧光灯的照明下时，由于从一开始就不需要闪烁减少处理，因此类似于室外拍摄的情况，该处理进入步骤102，其中，执行正常快门控制，从而完成快门控制处理。
另一方面，当在步骤105中判定拍摄环境处于荧光灯的照明下时，该处理进入步骤107，其中，判定照相机抖动校正是否打开。
然后，当照相机抖动校正打开时，也就是，当要执行照相机抖动校正时，该处理从步骤107进入步骤111，其中，根据上述设置标志来判定设定垂直同步频率fv是60赫兹还是50赫兹，并设置快门为与判定结果相对应的快门速度的高速快门。
在此情况下，当照相机抖动校正打开时，可以一直将快门设置为高速快门。然而，当在执行了照相机抖动校正的情况下拍摄对象的亮度(明暗度)非常低(暗)，并且最佳曝光优先于通过高速快门改善图像质量时，快门可例外地设置为正常快门。下面的例子示出这样一种情况，其中，当照相机抖动校正打开时，快门在原则上设置为高速快门，并且以这种方式例外地设置为正常快门。
也就是，当在步骤111中判定fv＝60赫兹(NTSC制式)时，该处理进入步骤112，其中，判定拍摄对象的亮度是否低于阈值。当判定拍摄对象的亮度大于或等于阈值时，该处理进入步骤113，其中，通过在上述N/120(秒)中设置N＝1，设置快门到快门速度(曝光时间)为1/120秒的高速快门。
此外，当在步骤112中判定拍摄对象的亮度小于阈值时，该处理进入步骤114，其中，通过在上述N/120(秒)中设置N＝2，设置快门到快门速度为1/60秒的正常快门。
另一方面，当在步骤111中判定fv＝50赫兹(PAL制式)时，该处理进入步骤115，其中，判定拍摄对象的亮度是否低于阈值。当判定拍摄对象的亮度大于或等于阈值时，该处理进入步骤116，其中，通过在上述N/100(秒)中设置N＝1，设置快门到快门速度为1/100秒的高速快门。
此外，当在步骤115中判定拍摄对象的亮度小于阈值时，该处理进入步骤117，其中，通过在上述N/100(秒)中设置N＝2，设置快门到快门速度为1/50秒的正常快门。
也就是，当如同在情况1或情况3中fv＝60赫兹时，在原则上，当照相机抖动校正打开时，设置快门到快门速度为1/120秒的高速快门。当如同在情况2或情况4中fv＝50赫兹时，在原则上，当照相机抖动校正打开时，设置快门到快门速度为1/100秒的高速快门。
因此，在情况1或情况2中，发生在时间轴上是连续的闪烁，也就是，其重复周期分别为3场或5场的闪烁。因此，有可能通过利用闪烁连续性的闪烁减少方法来减少闪烁分量。另外，在情况3或情况4中，一开始就不发生闪烁，因而不需要闪烁减少处理。
此外，由于这个原因，不需要检测电源频率fp，并且，快门控制部件14c仅需要判定视频制式为NTSC制式或PAL制式(即垂直同步频率为60赫兹或50赫兹)。此外，当照相机抖动校正打开时，在原则上，可实现高速快门，并且，通过高速快门，图像质量可以得到改善。
在步骤113、114、116或117中设置快门速度之后，该处理进入步骤118，其中，根据所设置的快门速度，执行光圈调节和AGC，以便随同快门速度的设置一起实现最佳曝光，从而完成快门控制处理。
作为高速快门，一般而言，尽管以上述方式将快门设置到大约1/100秒的快门速度，但在步骤113中，在fv＝60赫兹的情况中，设置快门到1/120秒，快于(在时间上小于)1/100秒，并且当与1/100秒的快门速度的情况比较时，曝光量稍微少一些。
然而，差别大约在0.8分贝，这可通过步骤108的光圈调节和AGC进行足够的补偿，并且图像质量不会因曝光量的减少而恶化。此外，在快门速度为1/120秒的情况下，运动图像的不连贯不会很明显。
另一方面，当照相机抖动校正关闭时，也就是，当不执行照相机抖动校正时，该处理从步骤107进入步骤121，其中，根据上述设置标志来判定垂直同步频率fv是60赫兹或50赫兹，并设置快门到具有与判定结果相对应的快门速度的正常快门。
在此情况下，当照相机抖动校正关闭时，为了达到最佳曝光，可以一直将快门设置为正常快门，然而，当拍摄对象的亮度(明暗度)非常高(亮)时，快门可例外地设置为高速快门。下面的例子示出这样一种情况，其中，当照相机抖动校正关闭时，快门在原则上设置到正常快门，并且以这种方式例外地设置到高速快门。
也就是，当在步骤112中判定fv＝60赫兹(NTSC制式)时，该处理进入步骤122，其中，判定拍摄对象的亮度是否高于阈值。当判定拍摄对象的亮度小于或等于阈值时，该处理进入步骤123，其中，通过在上述N/120(秒)中设置N＝2，设置快门到快门速度为1/60秒的正常快门。
此外，当在步骤122中判定拍摄对象的亮度高于阈值时，该处理进入步骤124，其中，通过在上述N/120(秒)中设置N＝1，设置快门到快门速度为1/120秒的高速快门。
另一方面，当在步骤121中判定fv＝50赫兹(PAL制式)时，该处理进入步骤125，其中，判定拍摄对象的亮度是否高于阈值。当判定拍摄对象的亮度小于或等于阈值时，该处理进入步骤126，其中，通过在上述N/100(秒)中设置N＝2，设置快门到快门速度为1/50秒的正常快门。
此外，当在步骤125中判定拍摄对象的亮度高于阈值时，该处理进入步骤127，其中，通过在上述N/100中设置N＝1，设置快门到快门速度为1/100秒的高速快门。
在步骤123、124、126或127中设置快门速度之后，该处理进入步骤108，其中，根据设定快门速度，执行光圈调节和AGC，以便随同快门速度的设置一起实现最佳曝光，从而完成快门控制处理。
上述快门控制处理示出于图16内垂直同步频率为60赫兹或50赫兹的列中。当照相机抖动校正打开和照相机抖动校正关闭时在括号内表示的快门速度为在步骤114、117、124及127中设置的例外快门速度。在括号外表示的快门速度为在步骤113、116、123及126中在原则上设置的快门速度。
(渐进制式的情况图15和16)本发明的快门控制还能应用于如下情况，其中，在渐进制式的CMOS成像设备如数码照相机中，垂直同步频率(此情况下是帧频率)fv为例如30赫兹。
此情况下的成像设备基本上也如图8所示配置。系统控制器14的快门控制部件14c对每帧执行下述快门控制处理，并设置快门速度。
图15示出由快门控制部件14c执行的快门控制处理例程的例子。在本例的快门控制处理例程130中，从快门控制处理的开始直到步骤107的步骤与从快门控制处理例程100的快门控制处理的开始到步骤107的步骤相同。
然后，在本例的快门控制处理例程130中，当拍摄环境处于荧光灯的照明下时，在步骤107中判定照相机抖动校正是否打开。当照相机抖动校正打开时，也就是，当要执行照相机抖动校正时，设置快门为高速快门。当照相机抖动校正关闭时，也就是，当不执行照相机抖动校正时，设置快门为正常快门。
另外，在此情况下，当照相机抖动校正打开时，可以一直将快门设置为高速快门，而当照相机抖动校正关闭时，可以一直将快门设置为正常快门。下面的例子示出如下一种情况，其中，当照相机抖动校正打开时，快门在原则上设置到高速快门，并且例外地设置到正常快门，而当照相机抖动校正关闭时，快门在原则上设置到正常快门，并且例外地设置到高速快门。
也就是，当在步骤107中判定照相机抖动校正打开时，该处理进入步骤132，其中，判定拍摄对象的亮度是否小于阈值V2。当判定拍摄对象的亮度大于或等于阈值V2时，该处理进入步骤133，其中，通过在上述N/120(秒)中设置N＝1或N＝2，设置快门速度(曝光时间)为1/120秒或1/60秒。
更具体地说，当为了达到照相机抖动校正的目的而将快门设置到较高快门速度时，快门速度设置为1/120秒。此外，在快门速度根据拍摄对象的亮度细分的情况下，当拍摄对象的亮度在亮度大于或等于阈值V2的范围中为预定值V1(＞V2)或更高时，设置快门速度为1/120秒。当拍摄对象的亮度在亮度大于或等于阈值V2的范围中小于预定值V1时，设置快门速度为1/60秒。
此外，当在步骤132中判定拍摄对象的亮度小于阈值V2时，该处理进入步骤134，其中，其中，通过在上述N/120(秒)中设置N＝3或N＝4，设置快门速度(曝光时间)为1/40秒或1/30秒。
也就是，当为了达到最佳曝光的目的而将快门设置到较低快门速度时，快门速度设置为1/30秒。此外，在快门速度根据拍摄对象的亮度细分的情况下，当拍摄对象的亮度在亮度小于阈值V2的范围中小于预定值V3(＜V2)时，设置快门速度为1/30秒。当拍摄对象的亮度在亮度小于阈值V2的范围中大于或等于预定值V3时，设置快门速度为1/40秒另一方面，当在步骤107中判定照相机抖动校正关闭时，该处理进入步骤135，其中，判定拍摄对象的亮度是否高于阈值V4。当判定拍摄对象的亮度小于阈值V4时，该处理进入步骤136，其中，通过在上述N/120(秒)中设置N＝4或N＝3，设置快门速度(曝光时间)为1/30秒或1/40秒。
此外，当在步骤135中判定拍摄对象的亮度高于阈值V4时，该处理进入步骤137，其中，通过在上述N/120(秒)中设置N＝2或N＝1，设置快门速度(曝光时间)为1/60秒或1/120秒。
在步骤133、134、136或137中设置快门速度之后，该处理进入步骤108，其中，执行光圈调节和AGC，从而完成快门控制处理。
上述快门控制处理示出于图16内垂直同步频率为30赫兹的列中。如上所述，在上述情况5或6中，由于快门速度设置为1/120秒、1/60秒、1/40秒或1/30秒，因此在fp＝50赫兹的情况5中，发生在时间轴上是连续的的闪烁，即其重复周期为3帧的闪烁，因此可以通过利用闪烁连续性的闪烁减少方法来减少闪烁分量。此外，在fp＝60赫兹的情况6中，从一开始就不发生闪烁，因此不需要闪烁减少处理。
而且，由于这个原因，不需要检测电源频率fp，此外，当照相机抖动校正打开时，在原则上，可实现高速快门。因此，通过高速快门，图像质量可以得到改善。
当拍摄对象以荧光灯照明时，在快门控制部件14c以上述方式控制快门之后，在系统控制器14的控制下由数字信号处理部件20内的闪烁减少部件25进一步执行闪烁减少处理。
如图16所示，在情况3(fv＝60赫兹，fp＝60赫兹)、情况4(fv＝50赫兹，fp＝50赫兹)，或情况6(fv＝30赫兹，fp＝60赫兹)中，通过以上述方式设置了快门速度，将不发生闪烁，并且不需要闪烁减少处理。然而，由于从一开始就没有检测电源频率fp，因此在这些情况下，类似于情况1(fv＝60赫兹，fp＝50赫兹)、情况2(fv＝50赫兹，fp＝60赫兹)，或情况5(fv＝30赫兹，fp＝50赫兹)也执行下述闪烁减少处理。
对于此情况下的闪烁减少处理方法，如上所述，可以使用任何方法，只要在该方法中通过从来自成像装置的视频信号中利用闪烁连续性估算闪烁分量并且以上述方式根据估算结果校正来自成像设备的视频信号来减少闪烁分量即可。特别地，根据与本发明具有相同发明人的较早申请的发明方法(日本专利申请第2003-173642号)中的闪烁减少方法，可以以高准确度检测特定于XY地址扫描型成像装置如CMOS成像装置的闪烁分量，并且可以通过简单的信号处理来可靠且充分地减少该闪烁分量而与拍摄对象、视频信号和荧光灯类型无关。
较早申请中的本发明的闪烁减少方法包括以下步骤(a)使用来自成像设备的视频信号并在一个或更多水平周期的时间上对输入图像信号进行积分；(b)规格化该积分值，或者相邻场或帧的积分值之差值；(c)提取规格化积分值或规格化差值的频谱；(d)从所提取的频谱中估算闪烁分量；以及(e)对估算闪烁分量和输入图像信号进行计算，从而消除估算闪烁分量。
在此情况下，在规格化步骤(b)中，如后所述，(b1)将差值除以多个连续场或多个连续帧中积分值的平均值，或者(b2)将积分值除以多个连续场或多个连续帧中积分值的平均值，并从除法结果中减去预定值，或者(b3)将差值除以积分值。此外，在频谱提取步骤(c)中，使用对规格化积分值或差值执行傅立叶变换的方法。
(闪烁减少方法的例子图17到22)当使用较早申请中的本发明的闪烁减少方法时，图9所示的用于原色系统的RGB原色信号的闪烁减少部件25R、25G和25B和用于补色系统的RGB原色信号和亮度信号的闪烁减少部件25(未示出)例如配置为如图17中的闪烁减少部件25所示。
然而，下面的例子示出NTSC制式(fv＝60赫兹)的CMOS摄像机的情况，其中，如上所述，在荧光灯的照明下，当fp＝50赫兹时，发生在时间轴上是连续的闪烁，即其重复周期为3场的闪烁，而当fp＝60赫兹时，从一开始就不发生闪烁。PAL制式(fv＝50赫兹)的CMOS摄像机，选择性地设置为NTSC制式或PAL制式的CMOS摄像机，或者fv＝30赫兹的渐进制式的CMOS摄像机的情况将在后面进行描述。
在下文中，输入图像信号是输入到闪烁减少部件25的在对其执行闪烁减少处理之前的RGB原色信号或亮度信号，而输出图像信号为由闪烁减少部件25输出的在对其执行闪烁减少处理之后的RGB原色信号或亮度信号。
图3和4示出拍摄对象均匀的情况。一般而言，闪烁分量与拍摄对象的信号强度成正比。
因此，如果关于普通拍摄对象的处于任意场n中且位于任意像素(x，y)上的输入图像信号(对其执行闪烁减少处理之前的RGB原色信号或亮度信号)表示为In′(x，y)，则In′(x，y)表示为不包含闪烁分量的信号分量和根据图18的方程式(1)与之成正比的闪烁分量之和。
In(x，y)表示信号分量，Γn(y)*In(x，y)表示闪烁分量，并且Γn(y)表示闪烁系数。一个水平周期相对于荧光灯的发光周期(当fp＝50赫兹时为1/100秒，而当fp＝60赫兹时为1/120秒)充分短，并且可以假定闪烁系数在同一场的同一行中不变。因此，闪烁系数表示为Γn(y)。
为了推广Γn(y)，如图18的方程式(2)所示，闪烁系数以展开成傅立叶级数的形式来描述。于是，闪烁系数可以以根据荧光灯的类型而不同的发光特性和余辉特性全被涵盖的形式来表示。
方程式(2)中的λo表示图3所示的平面内闪烁的波长。如果每场读取行数表示为M，则当fp＝50赫兹时其对应于L(＝M*60/100)行。ωo表示为以λo规格化的规格化角速度。
γm表示每级(m＝1、2、3……)闪烁分量的幅度。φmn表示每级闪烁分量的初始相位，其取决于荧光灯的发光周期和曝光时刻。然而，当fv＝60赫兹时，由于φmn每三场变成相同值，因此图18的方程式(3)表示φmn与前一场φmn的差值。
在图17的例子中，一开始，为了减少画面平面图案对于检测闪烁的影响，输入图像信号In′(x，y)由积分块31在画面平面的水平方向的一行上进行积分，由此计算如图18的方程式(4)所示的积分值Fn(y)。方程式(4)中的αn(y)表示信号分量In(x，y)在一行上的积分值，如图18的方程式(5)所示。
计算出的积分值Fn(y)存储并保留在积分值保存块32中，以用来检测随后场中的闪烁。当fv＝60赫兹时，积分值保存块32配置成保存至少两场的积分值。
如果拍摄对象均匀，由于信号分量In(x，y)的积分值αn(y)变为常数，因此，很容易从输入图像信号In′(x，y)的积分值Fn(y)中提取闪烁分量αn(y)*Γn(y)。
然而，在普通拍摄对象中，由于αn(y)中还包含m*ωo分量，因此不可能区分出作为闪烁分量的亮度分量和颜色分量以及作为拍摄对象自身的信号分量的亮度分量和颜色分量，并且不可能纯粹地仅提取出闪烁分量。此外，由于方程式(4)中第二项的闪烁分量相对于第一项的闪烁分量非常小，因此大部分闪烁分量被掩埋在信号分量中，并且不可能直接从积分值Fn(y)中提取闪烁分量。
因此，在图17的例子中，利用三个连续场的积分值来从积分值Fn(y)中消除αn(y)的影响。
更具体地说，在本例中，当计算积分值Fn(y)时，从积分值保存块32中读取一场前的同一行积分值Fn_1(y)和两场前的同一行积分值Fn_2(y)，在平均值计算块33中计算三个积分值Fn(y)、Fn_1(y)和Fn_2(y)的平均值AVE[Fn(y)]。
如果可以假定三个连续场周期内的拍摄对象几乎相同，则可假定αn(y)为相同值。如果拍摄对象在三场间的运动足够小，则这个假设在实际应用中不会造成问题。此外，三个连续场的积分值平均值的计算为一起相加其中闪烁分量的相位根据方程式(3)的关系顺序偏移(-2π/3)*m的信号，结果，闪烁分量相互抵消。因此，图19的方程式(6)表示平均值AVE[Fn(y)]。
前文示出这样一种情况，其中，假定图19的方程式(7)的近似成立，计算三个连续场的积分值的平均值。然而，如果拍摄对象的运动较大，则图19的方程式(7)的近似不成立。
由于这个原因，假定拍摄对象的运动较大的情况的闪烁减少部件25只需在积分值保存决32中保存三场或更多场上的积分值，以与对应场的积分值Fn(y)一起计算四场或更多场上的积分值的平均值。因此，时间轴方向上的低通滤波器操作导致减小由于拍摄对象移动的影响。
然而，由于闪烁每三场重复，因此为了消除闪烁分量，需要计算j(3的倍数，如6、9……)个连续场的积分值的平均值，并且，积分值保存块32配置成保存至少(j-1)场的积分值。
图17的例子示出其中图19的方程式(7)的近似成立的情况。在本例中，此外，差值计算块34计算来自积分块31的对应场的积分值Fn(y)与来自积分值保存块32的一场前的积分值Fn_1(y)的差值，并计算出图19的方程式(8)所示的差值Fn(y)-Fn_1(y)。方程式(8)也假定方程式(7)的近似成立。
在差值Fn(y)-Fn_1(y)中，由于充分消除了拍摄对象的影响，因此相对于积分值Fn(y)，闪烁分量(闪烁系数)的状态显得更清楚。
在图17的例子中，此外，在规格化块35中，通过除以来自平均值计算块33的平均值AVE[Fn(y)]，规格化来自差值计算块34的差值Fn(y)-Fn_1(y)，并且计算出规格化之后的差值gn(y)。
规格化之后的差值gn(y)通过图19的方程式(6)和(8)以及三角函数的和与乘积公式如图20的方程式(9)所示展开，并且该差值基于图18的方程式(3)还由图20的方程式(10)表示。方程式(10)中的|Am|和θm以方程式(11a)和(11b)表示。
在差值Fn(y)-Fn_1(y)中，由于拍摄对象的信号强度的影响仍然存在，因此，由于闪烁的亮度变化和颜色变化的电平根据区域而不同。然而，通过以上述方式规格化，由于闪烁的亮度变化和颜色变化可以在整个区域内调整到同一电平。
图20的方程式(11a)和(11b)中表示的|Am|和θm分别为规格化之后的差值gn(y)的每级频谱的幅度和初始相位。如果对规格化之后的差值gn(y)执行傅立叶变换，并且检测每级频谱的幅度|Am|及初始相位θm，则图21的方程式(12a)和(12b)使得检测图18的方程式(2)所示的每级闪烁分量的幅度γm和初始相位φmn成为可能。
因此，在图17的例子中，在DFT块51中，对来自规格化块35的规格化之后的差值gn(y)中对应于闪烁的一个波长量(L行的数量)的数据执行离散傅里叶变换。
如果DFT计算表示为DFT[gn(y)]并且级数m的DFT结果表示为Gn(m)，则DFT计算以图21的方程式(13)表示。方程式(13)中的W以方程式(14)表示。此外，基于DFT的定义，方程式(11a)和(11b)与方程式(13)的关系以图21的方程式(15a)和方程式(15b)表示。
因此，基于方程式(12a)、(12b)、(15a)和(15b)，可通过图21的方程式(16a)和(16b)确定每级闪烁分量的幅度γm和初始相位φmn。
使得DFT计算的数据长度为闪烁的一个波长(L行)的原因是这使得直接获得刚好为ωo的整数倍的一组离散频谱成为可能。
通常使用FFT(快速傅立叶变换)作为用于数字信号处理的傅立叶变换。然而，在本例中，有意使用DFT。其原因如下，即由于傅立叶变换的数据长度不是2的乘方，因此DFT比FFT更方便。然而，由于处理输入和输出数据，也可使用FFT。
在荧光灯的实际照明下，即使级数m被限制到几个量级，但由于闪烁分量可被充分地近似，因此对于DFT，不需要输出所有数据，并且，其计算效率并不比FFT差。
在DFT块51中，首先，通过由方程式(13)定义的DFT计算，提取频谱，之后，通过方程式(16a)和方程式(16b)的计算来估算每级的闪烁分量的幅度γm和初始相位φmn。
此外，在图17的例子中，在闪烁产生块53中，根据来自DFT块51的估算值γm和φmn，计算由图18的方程式(2)表示的闪烁系数Γn(y)。
然而，如上所述，即使在荧光灯的实际照明下级数m被限制到几个量级，但由于闪烁分量可被充分地近似，因此当根据方程式(2)计算闪烁系数Γn(y)时，求和级可以限定于预定级数，例如，第二级而不是设置为无穷大。
根据上述方法，即使在其中闪烁分量完全掩埋在积分值Fn(y)上的信号分量中的区域例如黑色背景部分和具有非常小闪烁分量的低照明部分中，也计算差值Fn(y)-Fn_1(y)，并且它以平均值AVE[Fn(y)]规格化，从而使得有可能以高准确度检测闪烁分量。
此外，根据频谱估算闪烁分量直到一定级数产生近似值而不完全再现规格化之后的差值gn(y)。因此，相反，即使根据拍摄对象的状态在规格化之后的差值gn(y)中出现非连续部分，也有可能以高准确度估算那个部分的闪烁分量。
基于图18的方程式(1)，其中不包含闪烁分量的信号分量In(x，y)以图21的方程式(17)表示。
因此，在图17的例子中，在计算块40中，将1加到来自闪烁产生块53的闪烁系数Γn(y)中，并且将输入图像信号In′(x，y)除以和[1+Γn(y)]。
结果，包含在输入图像信号In′(x，y)中的闪烁分量几乎被完全消除，并且从计算块40，获得基本上不包含闪烁分量的信号分量In(x，y)作为输出图像信号(闪烁减少处理之后的RGB原色信号或亮度信号)。
当所有上述处理由于系统所拥有的计算能力的限制而不能在一场的时间内完成时，通过利用闪烁每三场重复的事实，可以在计算块40内提供用来保存三场上的闪烁系数Γn(y)的功能，从而对三场之后的输入图像信号In′(x，y)计算所保存的闪烁系数Γn(y)。
图17的例子示出这样一种情况，其中，差值Fn(y)-Fn_1(y)而不是如同另一个配置例子中(将在后面描述)的积分值Fn(y)以平均值AVE[Fn(y)]规格化。为了方便起见，闪烁减少部件25中DFT块51的前级部分称作“规格化积分值计算块30”。
(闪烁减少部件的另一个配置例子)如图17的例子所示，如果差值Fn(y)-Fn_1(y)以平均值AVE[Fn(y)]规格化，则可以有效确保有限的计算精度。然而，当满足需要的计算精度时，来自积分块31的积分值Fn(y)可直接以平均值AVE[Fn(y)]规格化。
然而，由于规格化之后的差值gn(y)在此情况下表示为图22的方程式(18)，因此为了使随后级的处理与图17的例子相同，如图22的方程式(19)所示，从以方程式(18)表示的规格化之后的差值gn(y)中减去1，并且将结果发送到DFT块51。
在此情况下，由于|Am|＝γm且θm＝φmn，因此基于图21的方程式(15a)和(15b)，γm和φmn可通过图22的方程式(20a)和(20b)来确定。
因此，在DFT块51中，在图17的例子中，在通过由方程式(13)定义的DFT计算提取频谱之后，通过方程式(16a)和方程式(16b)的计算来估算每级的闪烁分量的幅度γm和初始相位φmn。作为比较，在此情况下，在由方程式(13)定义的DFT计算来提取频谱后，通过方程式(20a)和方程式(20b)的计算来估算每级的闪烁分量的幅度γm和初始相位φmn。随后处理与图17的例子相同。
在此情况下，由于差值计算块34不是必要的，因此可以相应地简化闪烁减少部件25。
在图17的例子中，当图19的方程式(7)的近似成立时，用来规格化差值Fn(y)-Fn_1(y)的平均值AVE[Fn(y)]与方程式(6)中表示的αn(y)相同，并且，图18中方程式(4)的第二项[αn(y)*Γn(y)]与第一项中的αn(y)相比足够小。因此，第二项对规格化的影响非常小。
因此，关于差值Fn(y)-Fn_1(y)的规格化，即使使用来自积分块31的积分值Fn(y)来代替平均值AVE[Fn(y)]，也基本上不会造成问题，并且类似于使用平均值AVE[Fn(y)]的情况，可以有效地检测出闪烁分量。
在此情况下，积分值保存块32仅需要保存一场的积分值，并且，由于不需要平均值计算块33，因此可以简化闪烁减少部件25。
上述每个例子示出在一行上对输入图像信号In′(x，y)进行积分的情况。由于输入图像信号In′(x，y)的积分的目的是通过减少画面图案的影响来获得闪烁分量的采样值，因此可以在多行的时间上进行积分，而不限于一行。
在fv＝60赫兹和fp＝50赫兹的情况下，由于以上述方式在图像平面上显现为条带状图案的荧光灯闪烁的一个周期对应于L(＝m*60/100)，因此如果在那个周期中获得至少两个采样值，也就是，L行，则可根据所谓的采样定理检测闪烁分量。
在实际应用中，最好在一个闪烁周期中获得几个到10个或更多采样值。即使在此情况下，也有可能在几倍到10倍水平周期的时间上对输入图像信号In′(x，y)进行积分。此外，积分时间可以不刚好是水平周期的整数倍，例如2.5倍水平周期。
因而，当以此方式延长积分时间以减少每单位时间的采样数时，可以减少DFT块51中的DFT计算负载，另外，当拍摄对象在画面平面的垂直方向上移动时，可以减小其影响。
在上述每个例子中，当输入图像信号In′(x，y)的电平在饱和区域内时，如果在计算块40中执行方程式(17)的计算，相反地，信号分量(颜色分量或亮度分量)发生变化。
因此，在计算块40中，最好进行检查来为每个象素判定输入图像信号In′(x，y)的电平是否高于或等于饱和区域的阈值电平。对于输入图像信号In′(x，y)的电平低于饱和区域的阈值电平的像素，以上述方式输出方程式(17)的计算结果作为输出图像信号In(x，y)。对于输入图像信号In′(x，y)的电平高于或等于阈值电平的像素，将输入图像信号In′(x，y)按原样输出作为输出图像信号In(x，y)。
根据上文，当输入图像信号In′(x，y)的电平在饱和区域内时，信号分量(颜色分量或亮度分量)并不改变，因此可得到高图像质量的输出图像信号。
(室外拍摄或在荧光灯的照明下拍摄的情况)在室外拍摄或不在荧光灯的照明下的拍摄中，从一开始就不需要闪烁减少处理。
当使用能够拍摄运动图像和静止图像的摄像机来拍摄静态图像，并且，采用CMOS成像设备时，可以使得一个画面平面内所有像素的曝光时刻(曝光开始时刻和曝光结束时刻)是相同的，并且可避免出现荧光灯闪烁，从而不需要闪烁减少处理。在此情况下，在关闭机械快门遮蔽光线的状态下，由于这里没有拍摄运动图像时的电子快门速度的限制，因此可以缓慢地从CMOS成像装置中读取视频信号。
当在这些情况下不需要闪烁减少处理时，闪烁减少部件25由系统控制器14控制，从而在闪烁减少部件25中不执行闪烁减少处理，并且将输入图像信号In′(x，y)按原样输出来作为输出图像信号In(x，y)。
(PAL制式和渐进制式的情况)
上面的例子示出NTSC制式(fv＝60赫兹)的CMOS摄像机。在PAL制式(fv＝50赫兹)的CMOS摄像机的情况下，如图16所示，当在荧光灯的照明下fp＝60赫兹时，由于发生在时间轴上是连续的闪烁，即其重复周期为5场的闪烁，闪烁减少部件25可配置成处理闪烁(用“5场”取代NTSC制式情况下的“3场”)。
此外，在如同在图8的实施例中选择性地设置为NTSC或PAL制式的CMOS摄像机的情况下，当该摄像机设置为NTSC制式时，闪烁减少部件25可以以如下方式来配置，其中，也切换闪烁减少部件25以与NTSC制式一起使用，而当该摄像机设置为PAL制式时，也切换闪烁减少部件25以与PAL制式一起使用。
此外，在fv＝30赫兹的渐进制式的CMOS摄像机的情况下，如图16所示，当在荧光灯的照明的情况下fp＝50赫兹时，由于发生在时间轴上是连续的闪烁，即其重复周期为3帧的闪烁，因此闪烁减少部件25可配置成处理闪烁(用“帧”取代NTSC制式情况下的“场”，也就是，用“3帧”取代“3场”)。
在渐进制式的CMOS成像设备的情况下，当垂直同步频率fv不是30赫兹而是例如40赫兹或25赫兹时，本发明也能适用。在此情况下，当fv＝40赫兹时，由于120/fv为整数，因此在荧光灯的照明下，可设置快门为N/120(秒)曝光时间的快门速度，而当fv＝25赫兹时，由于100/fv为整数，因此在荧光灯的照明下，可设置快门为N/100(秒)曝光时间的快门速度。
上述实施例示出这样一种情况，其中，包括闪烁减少部件25的数字信号处理部件20由硬件构成。可选地，闪烁减少部件25或数字信号处理部件20的部分和全部可以由软件构成。
另外，本发明也适用于使用不同于CMOS成像装置的XY地址扫描型成像装置的成像设备。
如前所述，根据本发明，在不检测用于驱动荧光灯的电源的频率的情况下，无论电源频率和成像设备的垂直同步频率如何组合，均可减少荧光灯闪烁分量，而且，可以实现电子式照相机抖动校正所需的高速快门。
权利要求
1.一种成像设备，包括XY地址扫描型成像装置；以及用于控制电子快门速度的控制器，其中，当成像设备的设定垂直同步频率表示为fv(赫兹)，并且N为一个正整数时，在120/fv为整数的情况下，所述控制器设置所述电子快门速度为曝光时间是N/120秒的电子快门速度，而在100/fv为整数的情况下，所述控制器设置所述电子快门速度为曝光时间是N/100秒的电子快门速度。
2.如权利要求1所述的成像设备，其中，当要执行电子式照相机抖动校正时，所述控制器将N设为其中曝光时间少于1/fv秒的范围内的值。
3.如权利要求1所述的成像设备，其中，当要执行电子式照相机抖动校正时，在拍摄对象的亮度高于或等于阈值的情况下，所述控制器将N设为其中曝光时间少于1/fv秒的范围内的值，而在拍摄对象的亮度低于该阈值的情况下，所述控制器将N设为曝光时间是1/fv秒的值。
4.如权利要求1所述的成像设备，其中，当不执行电子式照相机抖动校正时，所述控制器将N设为曝光时间是1/fv秒的值。
5.如权利要求1所述的成像设备，其中，当不执行电子式照相机抖动校正时，在拍摄对象的亮度低于或等于阈值的情况下，所述控制器将N设为曝光时间是1/fv秒的值，而在拍摄对象的亮度高于该阈值的情况下，所述控制器将N设为曝光时间少于1/fv秒的值。
6.如权利要求1所述的成像设备，其中，通过偏移垂直周期来驱动所述成像设备，所述控制器还检测拍摄环境是否处于荧光灯的照明下。
7.如权利要求1所述的成像设备，还包括积分部件，用于在一个或多个水平周期的时间上对通过由所述成像装置对拍摄对象进行拍摄而获得的输入图像信号进行积分；规格化部件，用于规格化所述积分部件的积分值或者相邻场或帧的积分值之差值；提取部件，用于提取由所述规格化部件规格化之后的积分值或差值的频谱；估算部件，用于根据从所述提取部件提取的频谱来估算闪烁分量；以及计算部件，用于对所估算的闪烁分量和所述输入图像信号进行计算，以消除由所述估算部件估算的闪烁分量。
8.一种用于减少包含在视频信号中的荧光灯闪烁分量的方法，所述视频信号是通过在荧光灯的照明下由XY地址扫描型成像装置对拍摄对象进行拍摄而获得的，当包括所述成像装置的成像设备的设定垂直同步频率表示为fv(赫兹)并且N为一个正整数时，该方法包括快门控制步骤，在120/fv为整数的情况下，设置快门为曝光时间是N/120秒的电子快门速度，而在100/fv为整数的情况下，设置快门为曝光时间是N/100秒的电子快门速度；以及闪烁减少步骤，在所述快门控制步骤中设置了电子快门速度的状态下，通过从所述视频信号中估算闪烁分量并且根据估算结果校正所述视频信号来减少闪烁分量。
9.如权利要求8所述的闪烁减少方法，其中，在所述快门控制步骤中，当要执行电子式照相机抖动校正时，将N设为其中曝光时间少于1/fv秒的范围内的值。
10.如权利要求8所述的闪烁减少方法，其中，在所述快门控制步骤中，当要执行电子式照相机抖动校正时，在拍摄对象的亮度高于或等于阈值的情况下，将N设为其中曝光时间少于1/fv秒的范围内的值，而在拍摄对象的亮度低于该阈值的情况下，将N设为曝光时间是1/fv秒的值。
11.如权利要求8所述的闪烁减少方法，其中，在所述快门控制步骤中，当不执行电子式照相机抖动校正时，将N设为曝光时间是1/fv秒的值。
12.如权利要求8所述的闪烁减少方法，其中，在所述快门控制步骤中，当不执行电子式照相机抖动校正时，在拍摄对象的亮度低于或等于阈值的情况下，将N设为曝光时间是1/fv秒的值，而在拍摄对象的亮度高于该阈值的情况下，将N设为曝光时间少于1/fv秒的值。
13.如权利要求8所述的闪烁减少方法，还包括以下步骤通过偏移垂直周期来驱动所述成像设备，检测拍摄环境是否处于荧光灯的照明下。
14.如权利要求8所述的闪烁减少方法，还包括积分步骤，在一个或多个水平周期的时间上对通过由所述成像装置对拍摄对象进行拍摄而获得的输入图像信号进行积分；规格化步骤，规格化在所述积分步骤中获得的积分值或者相邻场或帧的积分值之差值；提取步骤，提取在所述规格化步骤中规格化之后的积分值或差值的频谱；估算步骤，根据在所述提取步骤中获得的频谱来估算闪烁分量；以及计算步骤，对闪烁分量和所述输入图像信号进行计算，以消除在所述估算步骤中获得的闪烁分量。
全文摘要
在XY地址扫描型成像设备如CMOS成像设备中，可以实现能够减少荧光灯闪烁分量、以及电子式照相机抖动校正所需要的高速快门。在垂直同步频率表示为fv(赫兹)并且N为一个正整数的情况下，当120/fv为整数时，设置快门为N/120秒，而当100/fv为整数时，设置快门为N/100秒。在NTSC制式下，当照相机抖动校正打开时，设置快门速度为1/120秒，而当照相机抖动校正关闭时，设置快门速度为1/60秒。在PAL制式下，当照相机抖动校正打开时，设置快门速度为1/100秒，而当照相机抖动校正关闭时，设置快门速度为1/50秒。对渐进制式同样适用。
文档编号H04N5/374GK1577040SQ20041006339
公开日2005年2月9日 申请日期2004年7月8日 优先权日2003年7月8日
发明者木下雅也 申请人:索尼株式会社