专利名称：图像数据处理设备和图像拾取设备的制作方法
技术领域：
本发明涉及检测闪烁和校正检测到的闪烁的技术。更具体地，本发明涉及检测发 生在利用照明光捕获的视频图像中的闪烁的图像拾取设备和图像数据处理设备，所述照明 光的亮度随电源频率而变化以校正检测到的闪烁。
背景技术：
虽然闪烁的问题在具有滚动快门功能的图像拾取器件中被频频探讨，但是整个 画面上的闪光也出现在具有全域快门功能的图像拾取器件中。这种闪光被称为平面闪烁 (plane flicker)。平面闪烁在照明光的闪光周期(例如，照明光的闪光周期在西日本等于 1/120秒而在东日本等于1/100秒)不是成像周期的整数倍的情况下发生。照明光的闪光 周期是由电源频率决定的。例如，在日本，由于西日本的电源频率被设为60赫兹，因此西日 本的照明光的闪光周期等于1/120秒。相反，由于东日本的电源频率被设为50赫兹，因此 东日本的照明光的闪光周期等于1/100秒。平面闪烁在等于图像拾取设备的成像频率和照明光的闪光频率的最小公倍数的 频率处发生是个常识。为了移除具有上述特点的平面闪烁，将被施加到由具有全域快门功 能的图像拾取器件所捕获的数字信号(图像数据)上的校正增益在相关技术中是变化的。现在将参考图8 (a)和8 (b)来描述相关技术中确定校正增益的方法。图8(a)和8(b)图示出当图像捕获的目标中发生小的改变时相关技术中用于校正 平面闪烁的的技术。图8(a)图示出指示照明光的闪光频率和成像频率之间的关系的波形。参考图8(a)，纵轴代表照明光的强度，横轴代表时间。图8(b)图示出指示图像拾取器件中通过光电转换生成的数字信号和基于该数字 信号的校正增益之间的关系的波形。参考图8 (b)，上面的波形中的纵轴代表数字信号的级别，即每帧的亮度。下面的波 形中的纵轴代表校正增益的幅度。代表时间的横轴在上面和下面的波形中是共用的。例如，当图像拾取设备中的成像周期即曝光时间等于1/180秒时，图像拾取设备 的成像频率等于180赫兹。在通过图像拾取设备利用闪光频率为120赫兹的照明光进行的 图像捕获中，由图像拾取设备捕获的运动图像中出现的平面闪烁的周期等于60赫兹，即图 像频率和闪光频率的最大公约数。这种情况下，从图像拾取器件输出的数字信号的每帧中 的像素级别之和(以下称为“总像素级别”)在60赫兹频率处是变化的，如图8(b)中上面 的波形所示。在相关技术中，校正增益是通过根据照明光的闪光频率和成像频率的最小公倍数 等于闪烁频率这一事实、使用紧挨着待校正的帧之前的彼此同相的数据项来确定的。如图 8(b)中下面的波形所示，当图像捕获目标发生小的改变时，可以通过该方法来实现有效的 校正。例如，用于针对这种类型的闪烁来确定校正增益的技术被公开在日本未审查专利申 请2001-111887号公报中。
发明内容
然而，如果图像捕获目标的色彩和/或亮度被瞬间改变，该瞬间改变(扰动)也被 用作后续周期中的校正数据，如图9(a)和9(b)所示。因此，存在不恰当的校正可能被施加 到正常级别的帧上而大大降低图像质量的问题。希望提供能够抑制因闪烁的错误判断而造成的运动图像质量下降的图像拾取设 备和图像数据处理设备。根据本发明的一个实施例，图像数据处理设备包括操作单元；校正单元，被配置 成用被设置的校正增益来乘以由以确定的成像频率执行图像捕获的图像拾取器件生成的 图像数据；累加单元，被配置成从由图像拾取器件生成的图像数据中依次为每帧计算总像 素级别，所述总像素级别对应于每帧中确定的范围内的像素的像素级别之和；历史保持单 元，被配置成在每次总像素级别被计算时保持确定的数目的总像素级别；同相(in-phase) 平均单元，被配置成基于成像频率从操作单元供应的电源频率，从历史保持单元中保持的 总像素级别中检测与如下闪烁相位同一相位的总像素级别以计算第一平均值，所述闪烁相 位与供应给校正单元的图像数据相对应，所述第一平均值是被检测出的总像素级别的平均 值；平均值计算单元，被配置成计算作为历史保持单元中保持的总像素级别的平均值的第 二平均值；以及校正增益计算单元，被配置成通过用在同相平均单元中计算出的第一平均 值除以在平均值计算单元中计算出的第二平均值来计算校正增益，以在校正单元中设置计 算出的校正增益。多个总像素级别在上述配置中的平均值计算器和同相平均器中相加。因此，可以 在允许瞬间的成像状况改变被忽视的长度的时段期间，从总像素级别中计算第一平均值和 第二平均值，并且可以从第一和第二平均值中计算适当的校正增益。待校正的图像数据可 以通过使用计算出的校正增益来校正。根据本发明，可以提供能够抑制由于由瞬间的成像状况改变所引起的闪烁的错误 判断而造成的运动图像质量下降的图像拾取设备和图像数据处理设备。
图1是示出根据本发明一个实施例的图像拾取设备的功能框图；图2是指示当图像捕获目标不发生改变时入射到图像拾取器件上的成像光随时 间的变化的波形图；图3是示出由图像数据处理单元进行的闪烁校正处理的示例的流程图；图4 (a)和4(b)是分别示出当成像状况发生瞬间改变时平均值Dx如何变化的示 例以及校正增益Gn如何变化的示例的波形图；图5是示出根据本发明另一实施例的图像拾取设备的功能框图；
图6是示出由另一图像数据处理单元进行的部分闪烁校正处理的流程图；图7是其中由求和时段计算器检测出的300个总像素级别按时间顺序排列的波形 图；图8(a)和8(b)图示出当图像捕获目标发生小的改变时相关技术中用于校正平面 闪烁的技术；并且
图9(a)和9(b)图示出当图像捕获目标发生瞬间改变时相关技术中用于校正平面 闪烁的技术。
具体实施方式
这里将参考附图来详细描述本发明的实施例。由于下述实施例是本发明的优选具 体示例，因此各种优选技术限制被施加到诸实施例上。然而，本发明的范围不限于诸实施 例，除非在以下说明书中指定。例如，以下说明书中描述的参数的数值条件仅是优选示例， 并且示意性的尺寸、形状和排列在说明书中使用的图中被示出。<1. 一个实施例>图像拾取设备101的配置图1是示出根据本发明一个实施例的图像拾取设备的功能框图。图1所示的图像拾取设备101包括镜头(未示出)并且图像被利用通过镜头的成 像光而形成在图像拾取器件102的成像平面(未示出)上。图像拾取器件102是具有全域 快门功能的图像拾取器件，例如电荷耦合器件(CCD)图像拾取器件。图像拾取器件102对 成像平面上的成像光(用于通过镜头形成图像)执行光电转换以生成某一模拟信号，并对 该模拟信号执行数字转换以生成某一数字信号(图像数据)。数字信号是色彩信号红(R)、 绿(G)或蓝(B)。在图像拾取器件102中生成的数字信号被供应给图像数据处理单元103。图像拾 取器件102具有电子快门功能，并基于来自下述控制单元104的指令来设置电子快门的成 像频率。假设在本实施例中，图像拾取器件102捕获的视频图像的帧率等于180帧/秒，即， 成像频率等于180赫兹。图像数据处理单元103以帧为单位来控制从图像拾取器件102供应的数字信号 的增益。图像数据处理单元103通过增益控制来移除数字信号中包含的平面闪烁的闪烁 分量，以生成某一级别的数字信号。以下将平面闪烁的闪烁分量的移除称为“闪烁校正处 理”。图像数据处理单元103中生成的经历了闪烁校正处理的数字信号被供应给视频信号生 成单元105。图像数据处理单元103中数字信号的增益控制针对色彩信号(红)、色彩信号 (绿)和色彩信号(蓝)分别执行。然而，由于图像数据处理单元103对色彩信号(红)、 色彩信号(绿)和色彩信号(蓝)执行基本相同的处理，因此在这里省略对这三种色彩的 相应信号的处理的描述。下面将详细描述图像数据处理单元103。视频信号生成单元105例如执行校正从图像数据处理单元103供应的数字信号的 每一帧上的周边光强降低的处理、某一内插处理以及在校正处理和内插处理中涉及的诸如 滤波处理和阴影处理之类的信号处理。另外，视频信号生成单元105还执行用于改善图像 质量的处理。另外，视频信号生成单元105对从图像数据处理单元103供应的数字信号执行诸 如色调调整处理、亮度压缩处理和伽玛校正之类的普通图像处理，以生成视频信号供应给 某一显示设备。经历了图像处理的视频信号在例如由液晶显示器组成的显示单元106中被 显示为视频图像，或者被供应给诸如个人计算机之类的外部设备。图像数据处理单元103 中的闪烁校正处理和视频信号生成单元105中的其他校正处理是在下述控制单元104的控 制下执行的。
控制单元104例如是微型计算机并且控制组成图像拾取设备101的每个块。具体 地，控制单元104例如控制与图像拾取器件102的电子快门有关的成像频率的设置以及与 图像数据处理单元103有关的增益的设置。另外，控制单元104控制包括图像拾取器件102 和包含镜头(未示出)的光学系统在内的各个块的操作。控制单元104连接到图像拾取设 备101中的每个块，以便能够为控制操作传输数据。操作单元113包括设置在图像拾取设备101中的按键和分配给在图像拾取设备 101中的显示单元106的画面显示上的图标的软键。与用户操作一致的操作信号通过某一 接口(未示出)被从操作单元113供应到控制单元104。控制单元104根据控制单元104 中的诸如只读存储器(ROM)之类的非易失性存储单元中存储的计算机程序、基于操作信号 或预定设置来执行某些计算和每个电路的控制。 现在将参考图2来描述组成图像拾取设备101的图像数据处理单元103中待处理 的平面闪烁的特点。图2是指示当图像捕获目标不发生改变时入射到图像拾取器件102上的成像光的 时间变化的波形图。参考图2，纵轴代表入射到图像拾取器件102上的成像光量，横轴代表时间。假设在图2的示例中，通过使用其中图像拾取器件102具有180赫兹的成像频率 (即180帧/秒的帧率)的图像拾取设备101、以60赫兹的电源频率(即利用闪光周期为 1/120秒的照明光)来执行图像捕获。在上述条件下，具有相同的闪烁相位的数据每三帧被从图像拾取器件102供应到 图像数据处理单元103，如图2所示。因此，如果事先将电源频率和成像频率指示给图像数 据处理单元103，则图像数据处理单元103能够知道相同的闪烁相位何时出现。返回参考图1，现在将详细描述图像数据处理单元103。图像数据处理单元103包括累加器107、历史保持器108、同相平均器109、平均值 计算器110、校正增益计算器111和校正器112。累加器107从由图像拾取器件102生成的数字信号中依次计算每帧中的总像素级 另IJ。如上所述，总像素级别指示与各个帧相对应的像素的像素级别之和。每次总像素级别 被计算，累加器107就将计算出的总像素级别供应给历史保持器108。历史保持器108例如是帧存储器，并且保持在从累加器107供应的各总像素级别 中的某一数目的最近的总像素级别。每次历史保持器108中保持的数据被更新，历史保持 器108中保持的所有总像素级别就被供应给同相平均器109和平均值计算器110。根据本 实施例，历史保持器108中保持的总像素级别的数目被设为180。然而，历史保持器108中 保持的总像素级别的数目和从历史保持器108输出的总像素级别的数目不限于180。数据 传输在历史保持器108和控制单元104之间执行，并且历史保持器108中保持的总像素级 别的数目和从历史保持器108输出的总像素级别的数目是根据用户利用操作单元113的操 作来设置的。同相平均器109从供应自历史保持器108的所有总像素级别中检测与这样的闪烁 相位同一相位的所有总像素级别，所述闪烁相位与供应给校正器112的数字信号相对应。 如上面参考图2所述，该检测是使用照明光的闪光频率和成像频率来实现的。因此，同相平 均器109被电连接到控制单元104，并且用户利用操作单元113输入的电源频率和成像频率通过控制单元104被供应给同相平均器109。
同相平均器109计算所有检测到的总像素级别的平均值Da，以将计算出的总像素 级别的平均值Da供应给校正增益计算器111。根据本实施例，如图2所示，闪烁相位包括三种样式，并且每三个周期出现相同的 闪烁相位。因此，同相平均器109使用60个总像素级别的平均值作为平均值Da。平均值计算器110计算从历史保持器108供应的所有总像素级别的平均值Dx，以 将计算出的所有总像素级别的平均值Dx供应给校正增益计算器111。由于从历史保持器 108供应到平均值计算器110的总像素级别的数目在本实施例中为180，因此平均值计算器 110计算180个总像素级别的平均值。这180个总像素级别被用作与一秒的数字信号相对 应的数据。从180个总像素级别计算出的平均值Dx包括足够数目的、因闪烁频率为180赫 兹的闪烁而变化的所有级别中的数据项。换言之，可以认为，平均值Dx相当于不包含闪烁 的数字信号。因此，平均值Dx在下一阶段的校正增益的计算中被用作参考值。校正增益计算器111使用来自同相平均器109的输出和来自平均值计算器110的 输出来计算校正增益Gn，并将计算出的校正增益Gn供应给校正器112。校正增益Gn是根据公式⑴来计算的Gn = Da/Dx(1)校正器112是用从校正增益计算器111供应的校正增益Gn乘以从图像拾取器件 102供应的数字信号的乘法器。结果，针对每一帧对从图像拾取器件102供应的数字信号执 行了增益控制，并且经历了增益控制的数字信号被供应给视频信号生成单元105。图像拾取设备101的操作现在将参考图3和图4(a)和4(b)来描述图像拾取设备101的操作示例。图3是示出由图像数据处理单元103进行的闪烁校正处理的示例的流程图。参考图3，数字信号被从图像拾取器件102供应到图像数据处理单元103。在步骤 S301中，图像数据处理单元103中的累加器107从接收到的数字信号中依次计算每帧中的 总像素级别。每次总像素级别被计算，累加器107就将计算出的总像素级别供应给历史保 持器108。在步骤S302中，历史保持器108在从累加器107供应的总像素级别中保持最近 180个总像素级别。每次历史保持器108中保持的180个总像素级别被更新，历史保持器 108中保持的180个总像素级别就被供应给同相平均器109和平均值计算器110。同相平均器109从供应自历史保持器108的最近180个总像素级别中检测与这样 的闪烁相位同一相位的60个总像素级别，所述闪烁相位与供应给校正器112的数字信号相 对应。该检测基于从控制单元104供应的电源频率(60赫兹)和成像频率(180赫兹)，如 上所述。在步骤S303中，同相平均器109计算所有检测出的彼此同相的60个总像素级别 的平均值Da。同相平均器109将计算出的平均值Da供应给校正增益计算器111。与从历史保持器108供应到同相平均器109的总像素级别相同的总像素级别被供 应到平均值计算器110。在步骤S304中，平均值计算器110计算所供应的最近180个总像 素级别的平均值Dx。平均值计算器110将计算出的平均值Dx供应给校正增益计算器111。上述步骤完成后，在步骤S305中，校正增益计算器111将公式(1)应用到从同相 平均器109供应的平均值Da和从平均值计算器110供应的平均值Dx上，以计算校正增益Gn。校正增益计算器111将计算出的校正增益Gn供应给校正器112。对于每一帧，校正器 112用从校正增益计算器111供应的校正增益Gn乘以从图像拾取器件102供应的数字信 号，以移除数字信号中包含的平面闪烁分量。现在将参考图4(a)和4(b)来描述供应 到校正器112的数字信号和数字信号的校 正中使用的校正增益Gn之间的时间关系。图4 (a)和4 (b)是示出当成像状况发生瞬间改变时平均值Dx和校正增益Gn如何 变化的示例的波形图。图4(a)是示出平均值Dx如何随时间变化的示例的波形图。参考图4 (a)，纵轴代表平均值Dx的幅度，横轴代表时间。如上所述，当图像捕获被稳定地执行时，平均值Dx基本相当于不含闪烁的状态中 的数据，并且具有基本恒定的值。然而，如果成像状况发生瞬间改变，则由于平均值Dx是从 180个总像素级别中(即，从对应于一秒的总像素级别中)计算出来的，因此平均值Dx依据 该改变而瞬间增加或减少。这里改变例如是指从图像捕获目标反射的光的改变或图像捕获 目标的色彩的改变，其中图像捕获目标是由图像拾取器件102捕获的图像。由于在图4(a)所示的示例中平均值Dx瞬间增加，因此在平均值Dx增加的时段期 间，成像状况发生瞬间改变。图4(b)是示出校正增益Gn如何随时间变化的示例的波形图。参考图4 (b)，纵轴代表校正增益Gn的幅度，横轴代表时间。图4(b)所示的校正增益Gn是由校正增益计算器111基于图4(a)所示的平均值 Dx和由同相平均器109在与平均值Dx被计算的时段相同的时段期间计算的平均值Da计算 出来的。校正增益Gn被用来校正在校正增益Gn的计算中使用的数字信号被供应给校正器 112之后一个周期供应给校正器112的数字信号。这一个周期对应于闪烁相位的所有样式 (在本示例中，三种样式)出现的时段，并且等于60赫兹——即成像频率(180赫兹)和照 明光的闪光频率(120赫兹)的最大公约数——的倒数，即等于1/60秒。这一个周期包括 与三种样式的相应闪烁相位相对应的校正增益Gn和三个平均值Dx。在本示例中，在时段403中计算出的校正增益Gn被用来校正在时段403之后的一 个周期404即时段403之后1/60秒期间供应给校正器112的数字信号。在平均值Dx瞬间改变的时段403期间计算出的每个校正增益Gn是基于当成像状 况发生瞬间改变时从图像拾取器件102输出的数字信号计算出来的。相反，在每个校正增 益被用于校正的时段404期间从图像拾取器件102供应到校正器112的数字信号处于稳定 的成像状况中。然而，在时段403期间计算出的校正增益Gn具有的值接近时段404期间计 算出的校正增益Gn的值。因此，通过使用在时段403期间计算出的校正增益Gn而进行的 对在时段404期间供应给校正器112的数字信号的校正基本相当于通过使用在时段404期 间计算出的最优校正增益Gn而进行的对在时段404期间供应给校正器112的数字信号的 校正。当成像状况没发生瞬间改变时，计算出的校正增益具有基本恒定的值，因此从图像拾 取器件102供应到校正器112的数字信号经历适当的校正。如上所述，在本实施例中，多个总像素级别在同相平均器109和平均值计算器110 中相加。具体地，在具有允许成像状况的暂时改变被忽略的长度的时段期间从总像素级别中计算平均值Da和平均值Dx，并且从平均值Da和平均值Dx中计算校正增益Gn。因此，由 于可以防止成像状况发生的任何瞬间改变影响计算出的校正增益Gn，因此可以将适当的校 正增益Gn施加到待校正的数字信号上以便执行校正。结果，本实施例具有可以抑制因闪烁 的错误判断而造成的运动图像质量下降的效果。另外，在本实施例中，在校正增益Gn的计算中时间(同相平均器109和平均值计 算器110中相加的总像素级别的数目)是可由用户设置的参数。因此，数字信号可以通过 使用对于成像状况的瞬间改变的特点而言最优(例如，对于改变的持续时间而言最优)的 校正增益Gn来校正。此外，在本实施例中，在图像捕获中被恒定地设置的电源频率和成像频率被包含 在计算校正增益Gn时使用的参数中。因此，本实施例具有可以容易地对数字信号执行其中 成像频率和闪烁频率不受限的平面闪烁校正的效果。此外，在本实施例中，平均值Da是仅从与对应于待校正的数字信号的闪烁相位同 一相位的相加级别(addition level)中计算出来的，并且校正增益Gn是从平均值Da和平 均值Dx中计算出来的。因此，可以使得用于校正目标数字信号的校正增益Gn接近更恰当 的值。结果，本实施例具有可以更可靠地移除数字信号中包含的平面闪烁分量的效果。<另一实施例>图像拾取设备5Ol的配置图5是示出根据本发明另一实施例的图像拾取设备的功能框图。参考图5，图像拾取设备501基于某一单位时间内相加级别随时间的变化来确定 适当的求和时段(在校正增益计算器和平均值计算器中计算平均值时使用的总像素级别 的数目)，以计算求和时段期间的平均值Da。然后，图像拾取设备501基于计算出的平均值 Da和平均值Dx来计算校正增益Gn，以通过使用计算出的校正增益Gn来校正数字信号。图 像拾取设备501包括图像数据处理单元502，而不是上一实施例的组成图像拾取设备101的 图像数据处理单元103。图像数据处理单元502包括累加器107、历史保持器503、求和时段计算器504、同 相平均器505、平均值计算器110、校正增益计算器111和校正器112。在图像数据处理单元 502中使用相同的参考标号来标识与图像数据处理单元103共同的组件。这种组件的描述 在这里被省略。历史保持器503例如是帧存储器，就像图像数据处理单元103中的历史保持器108 一样。历史保持器503保持在从累加器107供应的总像素级别中的某一数目的最近的总像 素级别。每次历史保持器503中保持的数据被更新，历史保持器503中保持的所有总像素 级别就被供应给求和时段计算器504、同相平均器505和平均值计算器110。 根据本实施例，历史保持器503中保持的总像素级别的数目被设为900，是对应于 900帧的数据。然而，历史保持器503中保持的总像素级别的数目和从历史保持器503输出 的总像素级别的数目不限于900。历史保持器503被电连接到控制单元104，并且历史保持 器503中保持的总像素级别的数目和从历史保持器503输出的总像素级别的数目是根据用 户利用操作单元113进行的操作来设置的。求和时段计算器504从供应自历史保持器503的所有总像素级别中检测与这样的 闪烁相位同一相位的所有总像素级别，所述闪烁相位与供应给校正器112的数字信号相对应。检测到的总像素级别的数目对应于上述某一单位时间。如上面参考图2所述，该检测是 使用从控制单元104供应的照明光的闪光频率和成像频率来实现的。求和时段计算器504 基于检测到的总像素级别随时间的变化来确定求和时段，并将所确定的求和时段供应给同 相平均器505。在本示例中从历史保持器503供应的总像素级别对应于三种样式的相应的 闪烁相位。因此，求和时段计算器504检测到的彼此同相的总像素级别的数目等于从历史 保持器503供应的总像素级别数目的三分之一，即300。
同相平均器505从供应自历史保持器503的所有总像素级别中检测与这样的闪烁 相位同一相位的所有总像素级别，所述闪烁相位与供应给校正器112的数字信号相对应。 该检测以和在求和时段计算器504中同样的方式在同相平均器505中执行。同相平均器 505从所有检测到的总像素级别中选择与求和时段计算器504所确定的求和时段相对应的 总像素级别，以计算所选择的相加级别的平均值Da，并将该平均值Da供应给校正增益计算 器 111。图像拾取设备501的操作现在将参考图6和7来描述图像拾取设备501的操作示例。图6是示出由图像数据处理单元502进行的部分闪烁校正处理的流程图。参考图6，当图像拾取设备501的图像捕获开始时，在步骤S601，与在累加器107 中已计算的最近的总像素级别相对应的校正增益Gn被设置。校正器112使用步骤S601中 设置的校正增益Gn来校正从图像拾取器件102供应到校正器112的数字信号。同时，数字信号被从图像拾取器件102供应到累加器107，在那里，从接收到的数 字信号中依次计算每帧中的总像素级别。每次总像素级别被计算，计算出的总像素级别就 被供应给历史保持器503。历史保持器503保持在从累加器107供应的各总像素级别中的最近900个总像素 级别。每次历史保持器503中保持的900个总像素级别被更新，历史保持器503中保持的 900个总像素级别就被供应给求和时段计算器504、同相平均器505和平均值计算器110。求和时段计算器504从供应自历史保持器503的最近900个总像素级别中检测与 这样的闪烁相位同一相位的、按时间顺序的300个总像素级别(对应于单位时间)，所述闪 烁相位与供应给校正器112的数字信号相对应。图7是其中由求和时段计算器504检测出的300个总像素级别按时间顺序排列的 波形图。在图6的步骤S602中，确认具有同样的改变分量时段703并且其总像素级别超过 预定阈值的三个或更多个改变是否在单位时段702期间发生。如果确认上述三个或更多个 改变未在单位时段702期间发生(步骤S602中的“否”)，则处理返回步骤S601。如果确认上述三个或更多个改变在单位时段702期间发生(步骤S602中的 “是”)，则求和时段计算器504计算出比所确认的改变分量时段703长约十倍的时段作为图 7中的求和时段704，并将计算出的求和时段704供应给同相平均器505。例如，当与图7中 的改变分量时段703相对应的总像素级别的数目为3时，30个求和时段被从求和时段计算 器504供应到同相平均器505。然后，同相平均器505从供应自历史保持器503的最近900个总像素级别中检测 与这样的闪烁相位同一相位的300个总像素级别，所述闪烁相位与供应给校正器112的数字信号相对应。同相平均器505从检测到的彼此同相的300个总像素级别中计算最近30 个总像素级别(对应于求和时段704)的平均值Da。同相平均器505将计算出的平均值Da 供应给校正增益计算器111。与从历史保持器503供应到同相平均器505的最近900个总像素级别相同的总像 素级别被供应给平均值计算器110。平均值计算器110计算最近900个总像素级别的平均 值Dx并将计算出的平均值Dx供应给校正增益计算器111。 上述步骤完成后，在步骤S603中，校正增益计算器111将公式(1)应用到从同相 平均器505供应的平均值Da和从平均值计算器110供应的平均值Dx上，以计算用于校正 被供应给校正器112的数字信号的校正增益Gn。校正增益计算器111将计算出的校正增益 Gn供应给校正器112。对于每一帧，校正器112用从校正增益计算器111供应的校正增益 Gn乘以从图像拾取器件102供应的数字信号，以移除数字信号中包含的平面闪烁分量。和在上面描述的实施例一样，由于在本实施例中可以防止成像状况发生的任何瞬 间改变影响计算出的校正增益Gn，因此可以将适当的校正增益Gn施加到待校正的数字信 号上以执行校正。结果，可以抑制因闪烁的错误判断而造成的运动图像质量下降。另外，在本实施例中，单位时间内彼此同相的总像素级别随时间的变化被监控，求 和时段根据该变化来计算，并且校正增益基于算出的求和时段来计算。因此，可以算出与成 像状况相对应的校正增益。由于数字信号是通过使用与成像状况相对应的校正增益来校正 的，因此可以更可靠地从数字信号中移除平面闪烁。〈修改例〉在上面描述的实施例中，计算每帧中的总像素级别并且基于总像素级别为每帧计 算校正增益。然而，可以计算每一帧的划分所产生的每个区域中的总像素级别并且基于每 个区域中的总像素级别来为每个区域计算校正增益。由作为具有全域快门功能的图像拾取器件的示例的CXD图像拾取器件捕获的运 动图像中出现的平面闪烁的移除在上述实施例中被举例。然而，由例如互补金属氧化物半 导体(CMOS)图像拾取器件之类的具有滚动快门功能的图像拾取器件捕获的运动图像中出 现的除平面闪烁之外的闪烁可被移除。这种情况下，由CMOS图像拾取器件生成的数字信号 中包含的闪烁分量可以通过对CMOS图像拾取器件的每一行上的数字信号执行闪烁校正处 理来移除。虽然比改变分量时段长约十倍的求和时段在上述实施例中被使用，但是求和时段 不限于上述求和时段。本发明包含与于2009年4月14日提交给日本专利局的日本优先专利申请JP 2009-098234有关的主题，其全部内容通过引用结合于此。本领域技术人员应该明白，取决于设计要求和其他因素，可以想到各种修改、组 合、子组合和变更，只要它们落入所附权利要求或其等同物的范围内即可。
权利要求
一种图像数据处理设备包括操作单元；校正单元，被配置成用被设置的校正增益来乘以由以确定的成像频率执行图像捕获的图像拾取器件生成的图像数据；累加单元，被配置成从由所述图像拾取器件生成的图像数据中依次为每帧计算总像素级别，所述总像素级别对应于每帧中确定的范围内的像素的像素级别之和；历史保持单元，被配置成在每次总像素级别被计算时保持确定的数目的总像素级别；同相平均单元，被配置成基于所述成像频率和从所述操作单元供应的电源频率，从所述历史保持单元中保持的总像素级别中检测与如下闪烁相位同一相位的总像素级别以计算第一平均值，所述闪烁相位与供应给所述校正单元的图像数据相对应，所述第一平均值是被检测出的总像素级别的平均值；平均值计算单元，被配置成计算作为所述历史保持单元中保持的总像素级别的平均值的第二平均值；以及校正增益计算单元，被配置成通过用在所述同相平均单元中计算出的第一平均值除以在所述平均值计算单元中计算出的第二平均值来计算校正增益，以在所述校正单元中设置计算出的校正增益。
2.根据权利要求1所述的图像数据处理设备，还包括控制单元，被配置成根据用户利用所述操作单元进行的操作来改变所述历史保持单元 中保持的总像素级别的数目。
3.根据权利要求1所述的图像数据处理设备，还包括求和时段计算单元，被配置成基于所述电源频率和所述成像频率，从所述历史保持单 元中保持的总像素级别中检测与如下闪烁相位同一相位的总像素级别，监控检测到的总像 素级别的时间序列的变化，并基于所监控的总像素级别的时间序列的变化来计算求和时 段，所述闪烁相位与供应给所述校正单元的图像数据相对应，其中所述同相平均单元在检测到的总像素级别中，计算与在所述求和时段计算单元中 计算出的求和时段相对应的数目的总像素级别的平均值。
4.根据权利要求1所述的图像数据处理设备，其中所述图像拾取器件包括具有全域快门功能的图像拾取器件。
5.根据权利要求1所述的图像数据处理设备，其中所述图像拾取器件包括具有滚动快门功能的图像拾取器件。
6.一种图像拾取设备包括 操作单元；图像拾取器件，被配置成对入射光执行光电转换以生成图像数据； 校正单元，被配置成用被设置的校正增益来乘以由以确定的成像频率执行图像捕获的 所述图像拾取器件生成的图像数据；累加单元，被配置成从由所述图像拾取器件生成的图像数据中依次为每帧计算总像素 级别，所述总像素级别对应于每帧中确定的范围内的像素的像素级别之和；历史保持单元，被配置成在每次所述总像素级别被计算时保持确定的数目的总像素级别；同相平均单元，被配置成基于所述成像频率和从所述操作单元供应的电源频率，从所述历史保持单元中保持的总像素级别中检测与如下闪烁相位同一相位的总像素级别以计 算第一平均值，所述闪烁相位与供应给所述校正单元的图像数据相对应，所述第一平均值 是被检测出的总像素级别的平均值；平均值计算单元，被配置成计算作为所述历史保持单元中保持的总像素级别的平均值 的第二平均值；以及校正增益计算单元，被配置成通过用在所述同相平均单元中计算出的第一平均值除以 在所述平均值计算单元中计算出的第二平均值来计算校正增益，以在所述校正单元中设置 计算出的校正增益。
全文摘要
公开了图像数据处理设备和图像拾取设备。所述图像数据处理设备包括操作单元；校正单元，用校正增益乘以由图像拾取器件生成的图像数据；累加单元，从图像数据中依次为每帧计算总像素级别；历史保持单元，保持确定的数目的总像素级别；同相平均单元，从被保持的总像素级别中检测与如下闪烁相位同一相位的总像素级别以计算检测到的总像素级别的第一平均值，所述闪烁相位与供应给校正单元的图像数据相对应；平均值计算单元，计算被保持的总像素级别的第二平均值；以及校正增益计算单元，通过用第一平均值除以第二平均值来计算校正增益，以在校正单元中设置校正增益。
文档编号H04N5/357GK101867726SQ20101015126
公开日2010年10月20日 申请日期2010年4月7日 优先权日2009年4月14日
发明者菅野和宏 申请人:索尼公司