再现显示用图像数据等图像数据，进行实时取景显示和再现显不等图像显不。
[0060]CPU21从DSP20内的各部等输入数据等，向各部等输出控制信号，进行DSP20的整体控制。
[0061]接着，使用图5，说明图4所示的闪烁检测部32的详细结构。另外，图5中除了闪烁检测部32以外，还一并示出与闪烁检测有关的重排电路A31、开关28和图像处理器34的一部分。
[0062]在本实施方式中，根据图像传感器I的系统I和系统2的两个输出取得全像素静止图像。另一方面，在动态图像和实时取景显示图像的取得时，取得作为系统I的输出的图像输出，基于来自系统2的图像输出，根据亮度信息(AE)、对比度信息(AF)、亮度信息的时间变化来检测闪烁频率和校正值。
[0063]水平有效像素亮度值平均化部61经由开关28输入系统2的图像数据。该水平有效像素亮度值平均化部61按照图像数据的每个水平行计算平均亮度，并将其输出给水平有效行亮度值平均化部62和亮度比较部71。
[0064]水平有效行亮度值平均化部62使用由水平有效像素亮度值平均化部61计算出的多个水平行的平均亮度，计算帧整体的平均亮度，并将其输出给I次存储存储器63和帧亮度平均值闪烁周期判定部64。
[0065]I次存储存储器63存储由水平有效行亮度值平均化部62取得的I个帧的平均值。帧亮度平均值闪烁周期判定部64使用存储于I次存储存储器63中的I个帧的平均值(以往的值)和由水平有效行亮度值平均部62计算出的I个帧的平均值(当前的值)，检测闪烁周期。然后，将该检测出的闪烁周期的信息输出给帧亮度校正增益计算部65。另外，在I次存储存储器63中存储足够数量(例如，3?4帧以上)的帧数的平均值，用于判定闪烁周期。如图3的(c)所示，例如，在以480fps读出图像传感器I的系统2的输出的情况下，各取得的每帧的平均亮度的帧周期若存在16帧，则能够确定光源的闪烁周期(50Hz或60Hz)。
[0066]帧亮度校正增益计算部65按照由帧亮度平均值闪烁周期判定部64检测出的闪烁周期的定时，计算帧间的亮度校正增益。即，在产生了面闪烁的情况下，计算用于使各帧的平均亮度均匀的亮度校正增益，将该计算出的亮度校正增益输出给校正值增益调整部81。
[0067]亮度比较部71根据由水平有效像素亮度值平均化部61计算出的水平行平均亮度，检测最大亮度值(包括MAX亮度地址)和最小亮度值(包括min亮度地址)。I次存储存储器72根据在亮度比较部71中的检测结果，暂时存储各行的亮度平均值、最大亮度值、最小亮度值。
[0068]而且，亮度比较部71对存储于I次存储存储器72中的最大亮度值、最小亮度与从水平有效像素亮度值平均化部61输出的每行的亮度平均值，更新最大亮度值或最小亮度值。I次存储存储器72按照每行将亮度平均值、最大亮度值(包括MAX亮度地址)、最小亮度值(包括min亮度地址)输出给行亮度校正增益计算部73。
[0069]行亮度校正增益计算部73计算用于对行闪烁导致的亮度闪烁进行校正的增益量。即，为了使用存储于I次存储存储器72中的最大亮度值和最小亮度值、每行的平均亮度值，去除在每行上产生的行闪烁的影响，计算将各行的亮度校正为均匀的情况下所需的增益量。将该计算出的增益量输出给行地址转换部74。
[0070]行地址转换部74进行转换，以示出由系统2实时读出的行对应于由系统I读出的记录用图像的哪行。如上所述，来自系统2的图像数据以高速帧率被读出。然后，通过行亮度校正增益计算部73计算用于校正行闪烁的校正增益量。使用该计算出的校正增益量校正来自系统I的图像数据的行闪烁。此时，由于在帧率和读出图像数据尺寸(行数)不同的图像间进行校正，因而由行地址转换部74进行行地址的转换，以使得来自系统I的图像数据的像素位置(行位置)与来自系统2的图像数据的像素位置(行位置)适当一致。行地址转换部74的转换结果被输出给校正值增益调整部81。
[0071]校正值增益调整部81在产生行闪烁的情况下，从行地址转换部74被输入行闪烁的闪烁周期、各帧图像中的行内的亮度校正量等。另外，在产生面闪烁的情况下，校正值增益调整部81从帧亮度校正增益计算部65输入面闪烁的闪烁周期、帧亮度校正增益量等。然后，校正值增益调整部81将用于校正来自系统I的图像数据的增益校正量等输出给校正运算部82。
[0072]例如，在从系统I中读出的记录用图像尺寸为从系统2中读出的闪烁检测图像尺寸的2以上的整数倍的情况下，基于闪烁的亮度校正会产生过校正。其原因在于，将由行亮度校正增益计算部73计算的“由系统2读出的任意的I行的亮度校正增益量”直接反映于系统I的2以上的整数倍的行上所致。因此，输入行地址转换部74的行闪烁周期、各帧图像的行内的亮度校正量等，按照由系统I读出的每行，对亮度校正增益的校正值进行微调，并输出给校正运算部82。通过使用帧亮度校正增益计算部65的输出和行地址转换部74的输出双方，从而能够针对面闪烁极为细致地微调校正增益值。
[0073]校正运算部82根据来自校正值增益调整部81的输出，对系统I的图像数据进行闪烁校正。然后，校正运算部82将闪烁校正后的系统I的图像数据输出给彩色化及其他图像处理部83。彩色化及其他图像处理部83对进行了闪烁的校正处理后的图像数据进行彩色化图像处理等图像处理。
[0074]当在闪烁检测部中，通过与第2像素群对应的像素取得的图像由于周期性闪烁而入射了明状态的亮度的光时，校正运算部82等降低基于与第2像素群对应地配置的第I像素群得到的摄影图像的亮度输出。另一方面，当通过与第2像素群对应的像素取得的图像入射了暗状态的亮度的光时，校正运算部82等增加基于与第2像素群对应地配置的所述第I像素群得到的摄影图像的亮度输出。通过进行这种亮度校正的运算，校正运算部82作为闪烁校正部发挥功能，其校正与对应于第I像素群的多个像素的各像素对应的亮度输出增益。
[0075]另外，在本实施方式的一例中，关于校正运算部82等的亮度输出增益的校正量，将因闪烁而导致的亮度变化的平均亮度输出的值作为校正目标值。然而，亮度输出增益的校正量不限于此，例如也可以是，亮度输出以明状态的亮度输出为基准，以增加基于与第2像素群对应地配置的第I像素群得到的摄影图像的亮度输出的方式进行校正。另外，反之也可以是，亮度输出以暗状态的亮度输出为基准，以减少基于与第2像素群对应地配置的第I像素群得到的摄影图像的亮度输出的方式进行校正。
[0076]本实施方式的闪烁检测用的电路设置了水平有效像素亮度值平均化部61，该水平有效像素亮度值平均化部61针对以高速帧率读出的来自系统2的图像数据，按照每个水平行求出平均亮度值。进而，通过输入水平有效像素亮度值平均化部61的输出的水平有效行亮度值平均化部62、I次存储存储器63、帧亮度平均值闪烁周期判定部64、帧亮度校正增益计算部65来计算面闪烁的检测和校正增益量。此外，通过输入每个水平行的平均亮度值的亮度比较部71、I次存储存储器72、行亮度校正增益计算部73、行地址转换部74来计算行闪烁的检测和校正增益量。通过输入面闪烁和行闪烁的检测结果的校正值增益调整部81和校正运算部82对来自系统I的图像数据进行闪烁校正。而且，通过校正值增益调整部81和校正运算部82生成去除了闪烁的影响后的图像数据，输出闪烁校正后的图像数据。
[0077]此外，图像传感器I的图像信号读出部在来自系统I的第I像素群的I帧的图像信号的读出期间内，从系统2中读出第2像素群的图像信号。闪烁检测部34(从水平有效像素亮度值平均化部61到行地址转换部74的各部)通过第2像素群的图像信号，根据周期性产生的闪烁帧数检测光源的闪烁频率。闪烁校正部(校正运算部82等)对在包含来自系统2的第2像素群的读出期间的期间内读出的第I像素群的图像信号进行增益校正。
[0078]此外，闪烁检测部(水平有效像素亮度值平均化部61?帧亮度平均值闪烁周期判定部64的各部)根据周期性产生的闪烁帧数检测光源的闪烁频率。然后，闪烁检测部对由来自系统I的第I像素群构成的图像的读出周期与所检测出的光源的闪烁频率进行比较，从而判定来自第I像素群的取得图像是否产生了面闪烁。闪烁校正部(校正运算部82)在通过闪烁检测部的判定而判定为来自第I像素群的取得图像产生面闪烁的情况下，对处于与从系统2读出的图像对应的时间内的从第I像素群读出的图像信号的亮度输出统一进行增益校正。
[0079]此外，闪烁检测部(水平有效像素亮度值平均化部61、亮度比较部73、1次存储存储器72)根据周期性产生的闪烁帧数检测光源的闪烁频率。然后，闪烁检测部对由来自系统I的第I像素群构成的图像的读出周期与所检测出的光源的闪烁频率进行比较，判定来自第I像素群的取得图像是否产生了行闪烁。闪烁校正部(校正运算部82)在通过闪烁检测部的判定而判定为来自第I像素群的取得图像产生了行闪烁的情况下，针对处于与通过来自系统2的第2像素群读出的图像对应的配置的从第I像素群读出的各帧图像信号的亮度输出，进行帧内的亮度增益校正。
[0080]如上，在本实施方式中，从图像传感器I进行系统I的图像数据的读出。这种情况下，在动态图像摄影时和实时取景显示用图像取得时，与摄影用的帧率同步地进行图像数据的读出。另一方面，与系统I的读出帧率相比，以高速从图像传感器I进行系统2的图像数据的读出。使用图6所示的时序图说明此时的读出动作。
[0081]图6是示出在图像传感器I的系统I和系统2中的图像数据的读出定时的时序图。图6的最上层的(a)表示外部输入垂直同步信号的定时，下一层的(b)表示系统I的垂直同步信号。而且，第3层的(C)表示从系统I输出的图像数据。系统I的图像数据在期间tlO?t20、t20?t30、t30?t40、..?中分别为I帧的图像。
[0082]此外，图6的第4层的⑷表示系统2的垂直同步信号。而且，第5层的(e)表示从系统2输出的图像数据。系统2的图像数据在期间tlO?tll、til?tl2、tl2?tl3、..?中分别为I帧的图像。因此，在图6所示的例子中，在从系统I中读出I帧的图像数据的期间内，从系统2中读出4帧的图像数据。为了简化图像处理，优先在从系统I读出I帧图像数据的期间内，从系统2中读出整数倍的帧。
[0083]在闪烁的校正时，首先，使用图6的最下层的(e)所示的