专利名称：摄像装置和方法、记录介质以及程序的制作方法
技术领域：
本发明涉及摄像装置和方法、记录介质以及程序，特别是涉及可以降低由使用了XY地址扫描型摄像元件的摄像机引起的、在荧光灯下等进行拍摄时产生的闪烁(flicker)的摄像装置和方法、记录介质以及程序。
背景技术：
已知在荧光灯下利用摄像机拍摄运动图像时，产生伴随荧光灯的发光的闪烁。
更具体地说，在利用商用交流电源直接点亮的荧光灯的照明下，利用摄像机拍摄被摄体时，由于荧光灯的亮度变化(光量变化)的频率(商用交流电源频率的两倍)和照相机的垂直同步频率的不同，在摄影输出的影像信号中产生时间上的明暗变化、即所谓的闪烁(荧光灯闪烁)。
例如，在商用交流电源频率为50Hz的区域中，在非逆变器方式(非インバ一タ方式)的荧光灯的照明下，在利用NTSC方式(垂直同步频率为60Hz)的CCD照相机拍摄被摄体的情况下，一个场周期是1/60秒，与此相对，荧光灯的亮度变化的周期为1/100秒，因此各场的曝光定时与荧光灯的亮度变化不一致，各像素的曝光量按每个场而变化。
因此，提出了实施该闪烁对策的摄像装置。
例如，提出了通过利用曝光时间来防止闪烁发生的摄像机。另外，关于使用了XY地址扫描型摄像元件的摄像机，提出了利用预先准备的亮度以及色调变化的模式来校正闪烁发生的技术。而且，提出了通过利用相位偏离180度的帧来降低闪烁影响的技术。
另外，还公开了如下技术经过一个水平周期以上的时间对输入的图像信号进行积分，利用连续的3个场中的积分值的平均值对相邻的场中的积分值的差分值进行标准化，对标准化后的差分值进行离散傅立叶变换而抽出频谱，从该抽出的频谱估计闪烁系数，降低由输入的图像信号中的闪烁引起的影响(例如，参照专利文献1)。
专利文献1日本特开2004-222228号公报发明内容发明要解决的问题然而，在利用曝光时间来防止闪烁发生的情况下，例如是240Hz摄像的高速摄像照相机时，曝光时间的最大值为1/240s，与此相对，可以防止闪烁发生的最小的曝光时间在50Hz电源的情况下为1/100s，在60Hz电源的情况下为1/120s，因此难以有效地利用。
另外，关于使用了XY地址扫描型摄像元件的摄像机，在利用预先准备的亮度以及色调变化的模式来校正闪烁的发生的情况下，由于没有考虑快门速度，因此在快门速度改变的情况下有可能无法对当前的快门速度进行最适合的校正。
而且，在利用相位偏离180度的帧来降低闪烁的情况下，由于输出图像成为两个帧的图像的和，因此对于有运动的被摄体的图像，有时变得不自然。
本发明是鉴于这种状况而完成的，特别是可以降低由使用了XY地址扫描型摄像元件的摄像机引起的、在荧光灯下等进行拍摄时产生的闪烁。
用于解决问题的手段本发明的一个侧面的摄像装置，使用了以照明的光量变动周期的1/2n(n为自然数)的周期进行摄像的XY地址扫描型摄像元件，该摄像装置包含积分单元，对将图像分割为多个的各区域内的像素的像素值进行积分；保持单元，保持上述积分单元的积分值；运算单元，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出单元，根据由上述运算单元运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择单元，根据上述摄像装置的快门速度，选择上述闪烁的波形；以及校正单元，利用基于由上述选择单元选择的闪烁波形、以及由上述抽出单元抽出的相位和振幅的校正值，校正上述像素的像素值。
上述选择单元还可以包含函数存储单元，该函数存储单元存储将上述快门速度作为参数来确定上述闪烁波形的函数，上述选择单元可以根据上述摄像装置的快门速度，从存储在上述函数存储单元中的函数选择上述闪烁的波形。
上述积分单元、上述保持单元、上述运算单元、上述抽出单元、或者上述选择单元之中的至少任意一个能够相对于摄像周期间歇性地执行处理。
上述积分单元、上述保持单元、上述运算单元、上述抽出单元、或者上述选择单元之中的至少任意一个能够通过时间分割对每个颜色进行处理。
本发明的一个侧面的摄像方法，是使用了以照明的光量变动周期的1/2n(n为自然数)的周期进行摄像的XY地址扫描型摄像元件的摄像装置的摄像方法，该摄像方法包括积分步骤，对将图像分割为多个的各区域内的像素的像素值进行积分；保持步骤，保持由上述积分步骤得到的积分值；运算步骤，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出步骤，根据由上述运算步骤的处理运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择步骤，根据上述摄像装置的快门速度，选择上述闪烁的波形；以及校正步骤，利用基于由上述选择步骤的处理选择的闪烁波形、以及由上述抽出步骤的处理抽出的相位和振幅的校正值，校正上述像素的像素值。
本发明的一个侧面的记录介质的程序，是对使用了以照明的光量变动周期的1/2n(n为自然数)的周期摄像的XY地址扫描型摄像元件的摄像装置进行控制的程序，该程序包括积分步骤，对将图像分割为多个的各区域内的像素的像素值进行积分；保持步骤，保持由上述积分步骤得到的积分值；运算步骤，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出步骤，根据由上述运算步骤的处理运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择步骤，根据上述摄像装置的快门速度，选择上述闪烁的波形；以及校正步骤，利用基于由上述选择步骤的处理选择的闪烁波形、以及由上述抽出步骤的处理抽出的相位和振幅的校正值，校正上述像素的像素值。
本发明的一个侧面的程序，使对使用了以照明的光量变动周期的1/2n(n为自然数)的周期摄像的XY地址扫描型摄像元件的摄像装置进行控制的计算机，执行包含如下步骤的处理积分步骤，对将图像分割为多个的各区域内的像素的像素值进行积分；保持步骤，保持由上述积分步骤得到的积分值；运算步骤，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出步骤，根据由上述运算步骤的处理运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择步骤，根据上述摄像装置的快门速度，选择上述闪烁的波形；以及校正步骤，利用基于由上述选择步骤的处理选择的闪烁波形、以及由上述抽出步骤的处理抽出的相位和振幅的校正值，校正上述像素的像素值。
根据本发明的一个侧面，在使用了以照明的光量变动周期的1/2n(n为自然数)的周期进行摄像的XY地址扫描型摄像元件的摄像装置中，对将图像分割为多个的各区域内的像素的像素值进行积分，保持积分值，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算，根据运算的积分值间的差分值的波形来抽出闪烁的相位和振幅，根据摄像装置的快门速度选择上述闪烁的波形，利用基于选择的闪烁波形、以及抽出的相位和振幅的校正值来校正像素的像素值。
摄像装置既可以是独立的装置，也可以是进行摄像处理的模块。
发明的效果如上所述，根据本发明的一个侧面，可以降低由摄像机引起的、在荧光灯下等进行摄像时产生的闪烁。
另外，根据本发明的一个侧面，可以根据快门速度，降低使用了XY地址扫描型摄像元件的摄像机的高速摄像中的、在荧光灯下等进行摄像时产生的闪烁。
图1是表示应用了本发明的摄像装置的一个实施方式的结构的图。
图2是表示图1的数字信号处理部的一个实施方式的结构的图。
图3是表示图1的数字信号处理部的另一个实施方式的结构的图。
图4是表示图1的闪烁降低部的一个实施方式的结构的图。
图5是表示图1的校正部的一个实施方式的结构的图。
图6是说明数字信号处理的流程图。
图7是说明闪烁降低处理的流程图。
图8是说明作为积分处理单位的块的图。
图9是说明积分值运算部的处理的图。
图10是说明积分值运算部的处理的图。
图11是说明求出相位和振幅的处理的图。
图12是说明内分计算的零交叉点的求出方法的图。
图13是说明快门速度和闪烁的图。
图14是说明校正处理的流程图。
图15是说明介质的图。
附图标记说明21闪烁降低部；18系统控制器；101缓冲器；102积分处理部；103积分值保持部；104闪烁校正值保持部；111积分值运算部；112相位振幅抽出部；112a内分计算部；113闪烁校正值生成部；114函数选择部；114a存储器。
具体实施例方式
以下，说明本发明的实施方式，下面举例说明本发明的构成要件与发明的详细说明中记载的实施方式的对应关系。本记载是为了证实支持本发明的实施方式被记载在发明的详细说明中。因此，即使有虽然记载在发明的详细说明中、但是没有作为与本发明的构成要件对应的实施方式记载在这里的实施方式，也不意味着该实施方式不与该构成要件对应。相反，即使实施方式作为与构成要件对应的部分而记载于此，也不意味着该实施方式不与该构成要件以外的构成要件对应。
即，本发明的一个侧面的摄像装置，使用了以照明的光量变动周期的1/2n(n为自然数)的周期进行摄像的XY地址扫描型摄像元件(例如，图1的摄像元件13)，该摄像装置包含积分单元(例如，图4的积分处理部102)，对将图像分割为多个的各区域内的像素的像素值进行积分；保持单元(例如，图4的积分值保持部103)，保持上述积分单元的积分值；运算单元(例如，图4的积分值运算部111)，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出单元(例如，图4的相位振幅抽出部112)，根据由上述运算单元运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择单元(例如，图4的函数选择部114)，根据上述摄像装置的快门速度，选择上述闪烁的波形；以及校正单元(例如，图4的校正部105)，利用基于由上述选择单元选择的闪烁波形、以及由上述抽出单元抽出的相位和振幅的校正值，校正上述像素的像素值。
上述选择单元(例如，图4的函数选择部114)还可以包含函数存储单元(例如，图4的存储器114a)，该函数存储单元存储将上述快门速度作为参数来确定上述闪烁波形的函数，上述选择单元可以根据由上述抽出单元抽出的相位和振幅、以及摄像装置的快门速度，从存储在上述函数存储单元中的函数选择上述闪烁的波形。
上述积分单元(例如，图4的积分处理部102)、上述保持单元(例如，图4的积分值保持部103)、上述运算单元(例如，图4的积分值运算部111)、上述抽出单元(例如，图4的相位振幅抽出部112)、或者上述选择单元(例如，图4的函数选择部114)之中的至少任意一个，能够相对于摄像周期间歇性地执行处理。
上述积分单元(例如，图4的积分处理部102)、上述保持单元(例如，图4的积分值保持部103)、上述运算单元(例如，图4的积分值运算部111)、上述抽出单元(例如，图4的相位振幅抽出部112)、或者上述选择单元(例如，图4的函数选择部114)之中的任意一个，能够通过时间分割对每个颜色进行处理。
本发明的一个侧面的摄像方法以及程序是使用了以照明的光量变动周期的1/2n(n是自然数)的周期进行摄像的XY地址扫描型摄像元件的摄像装置的摄像方法、以及使控制上述摄像装置的计算机执行的程序，上述摄像方法以及程序包含积分步骤(例如，图7的流程图中的步骤S22的处理)，对将图像分割为多个的各区域内的像素的像素值进行积分；保持步骤(例如，图7的流程图中的步骤S23的处理)，保持由上述积分步骤得到的积分值；运算步骤(例如，图7的流程图中的步骤S24的处理)，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出步骤(例如，图7的流程图中的步骤S27的处理)，根据由上述运算步骤的处理运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择步骤(例如，图7的流程图中的步骤S28的处理)，根据上述摄像装置的快门速度选择上述闪烁的波形；校正步骤(例如，图7的流程图中的步骤S31的处理)，利用基于由上述选择步骤的处理选择的闪烁波形、以及由上述抽出步骤的处理抽出的相位和振幅的校正值对上述像素的像素值进行校正。
图1是表示应用了本发明的摄像装置(摄像机)1的一个实施方式的结构的图。
摄像装置1是所谓的摄像机，拍摄图像(运动图像)并将拍摄的图像作为数据输出。
透镜11利用透镜驱动器12调整焦点距离，使来自被摄体的光透过到摄像元件13。
摄像元件13由CMOS(Complementary Metal-OxideSemiconductor互补金属氧化物半导体)摄像元件等的XY地址扫描型摄像元件构成，根据由定时发生器(TG)14产生的信号，当来自被摄体的光经过透镜11入射时，通过光电变换生成对应的模拟影像信号并输出到模拟信号处理部15。
更具体地说，摄像元件13在CMOS基板上以二维状排列而形成多个如下像素，并且形成垂直扫描电路、水平扫描电路以及影像信号输出电路，其中，上述像素具有光电二极管(光电门(photogate))、传送栅(快门晶体管)、开关晶体管(地址晶体管)、放大晶体管、复位晶体管(复位栅)等。
另外，利用摄像元件13得到的模拟影像信号是RGB各色的基色信号或者补色系的颜色信号。
模拟信号处理部15由IC(集成电路)构成，由系统控制器18控制，按每个颜色信号分别对从摄像元件13提供的模拟影像信号进行抽样保持(サンプルホ一ルド)，利用AGC(自动增益控制)来控制增益，并输出到A/D(Analog/Digital模拟/数字)变换部16。
A/D变换部16将从模拟信号处理部15提供的模拟信号变换为数字信号提供给数字信号处理部17。
数字信号处理部17例如构成为IC，在内置的闪烁降低部21中，在按每个信号成分降低闪烁成分的基础上，最终变换为亮度信号Y和红、蓝的色差信号R-Y、B-Y而输出。
系统控制器18由微型计算机等构成，控制摄像装置1的整体的动作。
更具体地说，系统控制器18通过向由IC构成的透镜驱动器12提供透镜驱动控制信号，并控制透镜驱动器12，由此驱动透镜11。
另外，系统控制器18通过向TG14提供定时控制信号从而控制TG14，向摄像元件13提供各种定时信号，驱动摄像元件13。
而且，系统控制器18取入来自数字信号处理部17的各信号成分的检波信号，将AGC信号提供给模拟信号处理部15，控制各色信号的增益，并且控制数字信号处理部17的信号处理。
另外，经过由微型计算机等构成的接口，在系统控制器18上连接有构成用户接口的操作部19，由系统控制器18检测操作部19中的设定操作、选择操作等，并且由系统控制器18将照相机的设定状态、控制状态等显示在未图示的显示部上。
此外，以后说明由频率为60Hz的商用电源引起的荧光灯的闪烁。另外，在该情况下，假设闪烁的频率为120Hz，摄像元件13拍摄图像的摄像频率为240Hz。但是，荧光灯的电源频率、闪烁的频率、以及摄像频率并不限于此。
下面，参照图2说明基色系的数字信号处理部17的一个实施方式的结构。
在基色系的摄像装置1中，设置有包含图1的透镜11的未图示的光学系统将来自被摄体的光分离为RGB各色的色光的分解光学系统。另外，摄像元件13是具有RGB各色用的摄像元件13的三板结构，或者是作为摄像元件13，具有在光入射面上RGB各色的滤色器沿画面水平方向逐个像素按顺序重复排列的单板结构。在该情况下，从摄像元件13并行读出RGB各色的基色信号。
钳位电路31将输入的RGB基色信号的黑色水平钳位到规定水平，并输出到增益调整电路32。增益调整电路32根据曝光量调整钳位后的RGB基色信号的增益，按RGB各色光分别输出到闪烁降低部21R、21G、21B。闪烁降低部21R、21G、21B降低增益调整后的RGB基色信号中的闪烁成分，输出到白平衡调整电路33。此外，下面在不需要特别区分闪烁降低部21R、21G、21B的情况下，简单称为闪烁降低部21，对其他的结构也同样地称呼。
白平衡调整电路33调整闪烁降低后的RGB基色信号的白平衡，并输出到伽马校正电路34。伽马校正电路34变换白平衡调整后的RGB基色信号的灰度(gradation)，输出到合成矩阵电路35。合成矩阵电路35从伽马校正后的RGB基色信号，生成作为输出的亮度信号Y和色差信号R-Y、B-Y并输出。
在基色系结构中，通常如图2所示在结束全部RGB基色信号的处理之后生成亮度信号Y，因此，如图2所示通过在RGB基色信号的处理过程中降低RGB基色信号中的闪烁成分，可以共同充分地降低各色成分和亮度成分的闪烁成分。
此外，闪烁降低部21R、21G、21B最好如图2进行配置，但并不一定限于此。
下面，参照图3说明补色系的数字信号处理部17的一个实施方式的结构。此外，对与图2的基色系的数字信号处理部17相同的结构，赋予相同的附图标记，适当省略其说明。
补色系的数字信号处理部17中作为图1的摄像元件13，是在光入射面上形成补色系的滤色器的单板结构。补色系的滤色器例如如图3中的滤色器51所示，在一方的隔着一个线的水平线位置Lo上，在水平方向上逐像素按顺序重复排列了绿色的滤色部51G和品红色的滤色部51Mg，在另一方的隔着一个线的水平线位置Le上，在水平方向上逐像素顺序重复排列了青色的滤色部51Cy和黄色的滤色部51Ye。
在该情况下，从图1的摄像元件13将相邻的两个水平线位置的影像信号合成读出。因而，在各水平期间，在图3的例中，从摄像元件13，可逐像素时钟地交替得到绿色信号和青色信号的合成信号、品红色信号和黄色信号的合成信号。
图3的数字信号处理部17中的钳位电路31将其补色信号的黑色水平钳位到规定水平，并提供给增益调整电路32。增益调整电路32根据曝光量来调整钳位后的补色信号的增益，提供给亮度合成电路41。亮度合成电路41从增益调整后的补色信号生成亮度信号Y，输出到闪烁降低部21Y。基色分离电路43从增益调整后的补色信号生成RGB基色信号，分别输出到闪烁降低部21R、21G、21B。
另外，图3的数字信号处理部17的闪烁降低部21Y，降低来自亮度合成电路41的亮度信号Y中的闪烁成分，提供给伽马校正部42。另外，闪烁降低部21R、21G、21B降低来自基色分离电路43的RGB基色信号中的闪烁成分，提供给白平衡调整电路33。
而且，图3的数字信号处理部17的伽马校正电路42校正闪烁降低后的亮度信号的灰度，输出亮度信号Y。白平衡调整电路33调整闪烁降低后的RGB基色信号的白平衡，输出到伽马校正电路34。伽马校正电路34变换白平衡调整后的RGB基色信号的灰度，输出到合成矩阵电路35。合成矩阵电路35从伽马校正后的RGB基色信号生成色差信号R-Y、B-Y并输出。
在补色系的结构中，如图3所示在数字信号处理部17的比较靠前的前级生成亮度信号和RGB基色信号。这是因为利用单纯的加法处理从上述合成信号可以容易地生成亮度信号，并且当利用差分处理从上述合成信号生成RGB基色信号、并从该RGB基色信号生成亮度信号时，亮度信号的S/N劣化。
然而，这样在分别设置亮度信号和颜色信号的处理系统的情况下，仅降低各色成分的闪烁成分不能够充分降低亮度成分的闪烁成分，而如图3那样通过另外降低亮度成分的闪烁成分，才能够充分地降低各色成分和亮度成分的闪烁成分。
此外，闪烁降低部21Y以及21R、21G、21B最好如图3那样配置，但并不限于此。
下面，参照图4说明闪烁降低部21的一个实施方式的结构。闪烁降低部21，与系统控制器18协作而实现闪烁的降低处理。因此，在图4中与闪烁降低部21一起说明系统控制器18的实现闪烁降低处理的功能。此外，在图4中，说明了将功能分别分散到闪烁降低部21和系统控制器18中而构成的例子，各功能的分散方法当然不限于图4。另外，也可以将在系统控制器18中实现的功能全部汇集到闪烁降低部21中而构成。此外，相反地，也可以将闪烁降低部21的功能全部汇集到系统控制器18中而构成。
缓冲器101临时存储输入进来的图像信号，适当提供给后级的积分处理部102以及校正部105。
积分处理部102在将画面沿纵向分割为多个的各水平方向上以长块为单位，对包含在其中的像素的像素值进行积分(相加像素值)，保持在积分值保持部103中。积分保持部103保持积分值直到与系统控制器18结束通信数据为止。
积分值运算部111读出保持在积分值保持部103中的积分值，计算构成成为抽出闪烁的相位和振幅的基础的波形的值，将计算结果提供给相位振幅抽出部112。
相位振幅抽出部112根据从积分值运算部111提供的波形信息，求出振幅和相位。相位振幅抽出部112求出右上零交叉点而抽出波形的振幅和相位。此时，在波形的抽样乱的情况下，成为零交叉点不存在的状态，因此相位振幅抽出部112具备利用内分点计算零交叉点的内分计算部112a，结果，成为可以提高相位的分辨率的结构。
函数选择部114在内置的存储器114a中存储对每个快门速度设定的闪烁波形的函数，选择表示与快门速度相应的闪烁波形的函数，提供给闪烁校正值生成部113。该闪烁波形的函数是将由积分值运算部111求出的振幅和相位设为参数的、对每个快门速度设定的闪烁波形。
闪烁校正值生成部113对于从函数选择部114提供的闪烁波形的函数，将从相位振幅抽出部112提供的相位和振幅设为参数而生成理论的闪烁波形的函数，并且求出校正值作成表，保持在闪烁校正值保持部104中。
闪烁校正值保持部104保持由闪烁校正值生成部113生成的闪烁校正值的表，当由校正部105调用时适当地提供该表。
校正部105从缓冲器101顺序读出像素值，在像素值没有饱和的情况下，读出在闪烁校正值保持部104中作为表保持的校正值，对受到闪烁影响的像素值进行校正并输出。
下面，参照图5说明图4的校正部105的详细结构。
饱和水平判断部141根据输入进来的像素的像素值是否饱和、即像素值是否为最高值，控制开关143、144，当像素值饱和时分别连接到端子143a、144a使得无法利用校正运算部142进行校正运算，当判断为没有饱和时分别连接到端子143b、144b使得利用校正运算部142进行校正运算。
校正运算部142读出保持在校正值保持部104中的闪烁的校正值，当开关143、144分别连接在端子143a、144a上时，通过从输入进来的图像信号的像素的像素值减去校正值，对像素值进行校正并输出。
下面，参照图6的流程图说明图2的基色系的数字信号处理部17的数字信号处理。
在步骤S1中，钳位电路31将输入的RGB基色信号的黑色水平钳位到规定的水平，提供给增益调整电路32。
在步骤S2中，增益调整电路32，对从钳位电路31提供的进行了钳位处理的RGB信号，根据曝光量调整增益，将各RGB信号分别提供给闪烁降低部21R、21G、21B。
在步骤S3中，闪烁降低部21R、21G、21B分别执行闪烁降低处理，降低进行了增益调整的RGB信号的闪烁成分，输出到白平衡调整电路33。此外，参照图7的流程图，在后面说明闪烁降低处理。
在步骤S4中，白平衡调整部33根据降低了闪烁成分的RGB信号来调整白平衡，并提供给伽马校正部34。
在步骤S5中，伽马校正部34对调整白平衡后的RGB信号进行伽马校正，提供给合成矩阵电路35。
在步骤S6中，合成矩阵电路35从伽马校正后的RGB信号生成亮度信号Y和色差信号R-Y、B-Y并输出。
根据以上的处理，从变换为数字信号的RGB信号生成降低闪烁成分的亮度信号Y以及色差信号R-Y、B-Y。此外，关于补色系的数字信号处理部17的数字信号处理，除了使用滤色器51、以及在增益调整电路32的后级另行处理亮度信号Y的点之外，基本上进行与基色系的处理大致相同的处理，因此省略其说明。
下面，参照图7的流程图说明闪烁降低处理。
在步骤S21中，缓冲器101以场为单位依次对输入进来的图像信号进行缓冲。
在步骤S22中，例如，如图8中所示，积分处理部102对保存在缓冲器101中的图像信号之中的、沿纵方向将一个场的图像信号分割为多个的块区域中所包含的像素的像素值依次进行积分，在步骤S23中提供给积分值保持部103并保持。
在此，在图8中示出了一个场的图像信号，沿纵向被分割为n个块Z1至Zn。积分处理部102对在块Zi(i是1至n的自然数)中包含的像素的像素值进行积分(全部相加)，在积分值保持部103中保持作为积分结果的积分值Int(i)。
在步骤S24中，积分值运算部111运算保持在积分值保持部103中的积分值Int(i)，生成成为抽出闪烁的振幅和相位的基础的波形。更详细地说积分值运算部111从保持在积分值保持部103中的积分值Int(i)之中，分别选择两个场的如图9所示相位具有180°关系的两个场(例如，选择相邻场)，利用它们的积分值执行以下的式(1)的运算，计算波形Fk(i)。
Fk(i)＝(Int1(i)-Int2(i))/(Int1(i)+Int2(i))(if i＝1，2，...，n)Fk(i)＝-Fk(i-n)(if i＝n+1，n+2，...，2n)(1)在此，Int1(1)至Int1(n)是图9的场F1的各块Z1至Zn的积分值，Int2(1)至Int2(n)是场F2的各块Z1至Zn的积分值。另外，场F1、F2是相互相邻的场。而且，Int1(n+1)至Int1(2n)是与图9的场F2相邻的未图示的场F3的各块Z1至Zn的积分值，Int2(n+1)至Int2(2n)是与场F3相邻的场F4的各块Z1至Zn的积分值。
在式(1)中，由于在场F3、F4的计算中使用场F1、F2的运算结果，因此读入的积分值只要是两个场即可。
在式(1)中计算的波形Fk(i)为图10中如虚线所示的波形。在此，在图10中从上往下示出了快门速度为1/240秒、1/500秒、1/1000秒的各个快门速度中的闪烁的波形(实线)与波形Fk(i)的关系。另外，在图10中，横轴表示块Zi，纵轴表示振幅。
如图10所示，相对于闪烁的波形变化，波形Fk(i)的变化在快门速度为低速时是接近的波形，但是随着变成高速，变化为不同的波形。然而，在图10中的任一个中，当关注波形的圆圈标记R1、R2、R11、R12、R21、R22的部分时，波形的相位和振幅一致。
因此，相位振幅抽出部112通过使用该波形Fk(i)求出闪烁的相位和振幅。此时，相位振幅抽出部112如图11的区域A所示将波形Fk(i)的右上零交叉点设为闪烁的上升相位，如图11的区域B所示将从上升相位前进了π/2相位的位置的振幅设为闪烁的振幅。然而，根据块Z1至Zn的获取方法，有可能未必取得零交叉点。
因此，在步骤S25中，相位振幅抽出部112确认是否存在零交叉点。例如，根据块Z1至Zn的获取方法，在判断为不存在零交叉点的情况下，在步骤S26中相位振幅抽出部112控制内分点计算部112a，计算成为零交叉点的内分点的相位。例如，如图12所示，在跨过振幅零，两个积分值a、b分别存在于相位A、B上的情况下，内分点计算部112a对内分点相位I执行由以下的式(2)所示的运算处理，求出成为零交叉点的内分点相位I。
I＝A+(B-A)×a/(a+b)(2)另一方面，在步骤S25中，在判断为存在零交叉点的情况下跳过步骤S26的处理。
在步骤S27中，如上所述，相位振幅抽出部112如图11的区域A所示将波形Fk(i)的右上零交叉点作为闪烁的上升相位而抽出，将图11的区域B所示的、从上升相位前进了π/2相位的位置附近的振幅作为闪烁的振幅而抽出，提供给闪烁校正值生成部113。
在步骤S28中，函数选择部114在预先对每个快门速度设定在存储器114a中的表示闪烁波形的函数之中，选择与当前的快门速度接近的闪烁波形的函数(以下称为闪烁函数)，提供给闪烁校正值生成部113。在存储器114a中保存有例如如图13所示的对每个快门速度设定的闪烁的波形函数。在图13中，横轴是相位，纵轴是振幅，示出了快门速度为1/240秒、1/320秒、1/480秒、1/960秒、1/1000秒的表示各个波形变化的函数的例子。更具体地说，闪烁函数Fr()作为由Fr()＝A×t(θ-)表示的函数而保存。在此，A是振幅的参数，θ是相位的参数，是与块Z1至Zn对应的参数，t()是表示与由图13所示的快门速度相对应的波形变化的函数。
在步骤S29中，闪烁校正值生成部113通过将从相位振幅抽出部112提供的相位和振幅的参数代入从函数选择部114提供的闪烁函数，生成理论上的闪烁波形的函数，求出与每个块对应的闪烁的值，将它作为闪烁校正值作成表，提供给闪烁校正值保持部104。
在步骤S30中，闪烁校正值保持部104将从闪烁校正值生成部113提供的每个块的闪烁校正值作成表进行保持。
在步骤S31中，关于保存在缓冲器101中的各像素，校正部105从闪烁校正值保持部104读出以块为单位的校正值，执行校正运算处理，降低像素值中包含的闪烁成分进行输出。此外，参照图14在后面说明校正运算处理。
根据以上的处理，通过利用理论上的闪烁函数来设定闪烁的校正值，可以对应于快门速度而降低闪烁的影响，其中，上述理论上的闪烁函数是通过从利用块单位的像素值的积分值求出的闪烁波形所接近的波形Fk求出振幅和相位、并代入预先对每个快门速度设定的函数而得到的。
下面，参照图14的流程图说明校正运算处理。
在步骤S51中，饱和水平判断部141读出保存在缓冲器101中的未处理的像素的像素值。
在步骤S52中，饱和水平判断部141判断像素值是否饱和、即是否成为最高像素值。在步骤S52中，在判断为像素值饱和、即是最高像素值的情况下，在步骤S57中对开关143、144进行控制以使都连接到端子143a、144a上，其处理返回步骤S51。
另一方面，在步骤S52中，在判断为像素值没有饱和的情况下，在步骤S53中，饱和水平判断部141开关143、144进行控制以使都连接到端子143b、144b上，其处理进入步骤S54。
在步骤S54中，校正运算部142通过访问闪烁校正值保持部104，读出与经过开关143提供的像素值所属的块对应的校正值，从处理对象的像素值减去校正值，由此进行校正运算。即，校正值是利用闪烁函数求出的闪烁成分的振幅本身，因此通过减法运算来降低叠加在像素值上的闪烁成分。
在步骤S55中，校正运算部142通过开关144输出进行了校正运算的像素值。
在步骤S56中，饱和水平判断部141判断是否存在保存在缓冲器101中的未处理的像素，在存在未处理的像素的情况下，处理返回步骤S51，重复之后的处理，在判断为没有未处理的像素的情况下结束该处理。
根据以上的处理，在像素值饱和的情况下没有正确地表示出像素值，因此通过对饱和的像素值不执行校正处理而输出，对没有饱和的像素值，减去理论上求出的闪烁成分自身即校正值，由此可以降低闪烁的影响。
此外，以上说明了利用相邻的两个场的积分值的例子，但是由于闪烁的周期和摄像周期是整数倍，因此对两个场的倍数观察一次相位时其变动极其微小。因而，不需要按每个场设定闪烁函数，例如，即使对4个场进行一次左右的间歇性的处理，事实上也不会损害校正的性能。因此，通过保持两个场(或者帧)的积分值，并对4个场进行一次处理，由此系统控制器18只要以60Hz工作即可，可以降低系统控制器18的处理负荷。
另外，例如，作为信号使用RGB信号时，为了同时处理它们分别需要3个积分处理部102和积分值保持部103，但是由于同样的理由不需要进行每个场的处理，因此通过对RGB信号进行时间分割处理，可以减小电路规模。
此外，以上说明了以场为单位进行处理的例子，但是未必需要以场为单位进行处理，例如，也可以以帧为单位进行处理。
根据本发明的一个侧面，在使用了以照明的光量变动周期的1/2n(n为自然数)的周期进行摄像的XY地址扫描型摄像元件的摄像装置、方法以及程序中，对将图像分割为多个的各区域内的像素的像素值进行积分并保持积分值，对闪烁的相位差成为180度的两个图像的相同区域的积分值间的差分值的波形进行运算，根据运算的积分值间的差分值的波形，抽出闪烁的相位和振幅，根据摄像装置的快门速度选择闪烁的波形，利用基于选择的闪烁波形、以及抽出的相位和振幅的校正值来校正上述像素的像素值。
结果，在使用XY地址扫描型摄像元件、并以照明的光量变动周期的一半的周期进行摄像(高速摄像)的照相机中，可以降低闪烁。另外，即使在快门速度变化的情况下也可以降低适当的闪烁。而且，即使在快门速度很快的情况下也可以进行适当的闪烁校正。可以降低系统控制器18的处理负荷。可以降低积分处理部的电路规模。
上述的一系列处理既可以由硬件执行，也可以由软件执行。在由软件执行一系列处理的情况下，从程序记录介质将构成该软件的程序安装到装入到专用的硬件中的计算机中；或者可通过安装各种程序来执行各种功能的、例如通用的个人计算机等中。
图15示出了利用软件实现图1的闪烁降低部21的电气内部结构的情况下的个人计算机的一个实施方式的结构。个人计算机的CPU301控制整个个人计算机的动作。另外，在经过总线304以及输入输出接口305由用户从由键盘、鼠标等构成的输入部306输入指令时，CPU301与此对应地执行保存在ROM(Read OnlyMemory只读存储器)302中的程序。或者，CPU301将从与驱动器310连接的包含磁盘、光盘、磁光盘、或半导体存储器的可移动介质321读出并安装到存储部308中的程序，加载到RAM(RandomAccess Memory随机存取存储器)303中而执行。由此，通过软件实现上述图1的摄像装置1的功能。而且，CPU301控制通信部309与外部进行通信，执行数据的交换。
将安装在计算机中、通过计算机成为可执行状态的程序进行保存的程序记录介质，如图15所示由可移动介质321、或者构成临时或永久保存程序的ROM302、存储部308的硬盘等构成，其中，上述可移动介质321是磁盘(包含软盘)、光盘(包含CD-ROM(Compact Disk-Read Only Memory光盘只读存储器)、DVD(Digital Versatile Disc数字多功能光盘))、磁光盘、或者由半导体存储器等构成的封装介质。根据需要通过作为路由器、调制解调器等的接口的通信部309，利用例如局域网、因特网、数字卫星广播之类的有线或无线的通信介质，向程序记录介质保存程序。
此外，在本说明书中，对保存在程序记录介质中的程序进行记述的步骤，不仅包含按照记载的顺序按时间序列进行的处理，而且包含未必按时间序列进行处理、而并行或者单独执行的处理。
此外，本发明的实施方式并不限于上述的实施方式，在不脱离本发明的要旨的范围内可以进行各种变更。
权利要求
1.一种摄像装置，使用了以照明的光量变动周期的1/2n(n为自然数)的周期进行摄像的XY地址扫描型摄像元件，该摄像装置包含积分单元，对将图像分割为多个的各区域内的像素的像素值进行积分；保持单元，保持上述积分单元的积分值；运算单元，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出单元，根据由上述运算单元运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择单元，根据上述摄像装置的快门速度，选择上述闪烁的波形；以及校正单元，利用基于由上述选择单元选择的闪烁波形、以及由上述抽出单元抽出的相位和振幅的校正值，校正上述像素的像素值。
2.根据权利要求1所述的摄像装置，其特征在于，上述选择单元还包含函数存储单元，该函数存储单元存储将上述快门速度作为参数来确定上述闪烁波形的函数，根据上述摄像装置的快门速度，从存储在上述函数存储单元中的函数选择上述闪烁的波形。
3.根据权利要求1所述的摄像装置，其特征在于，上述积分单元、上述保持单元、上述运算单元、上述抽出单元、或者上述选择单元之中的至少任意一个相对于摄像周期间歇性地执行处理。
4.根据权利要求1所述的摄像装置，其特征在于，上述积分单元、上述保持单元、上述运算单元、上述抽出单元、或者上述选择单元之中的至少任意一个通过时间分割对每个颜色进行处理。
5.一种摄像方法，是使用了以照明的光量变动周期的1/2n(n为自然数)的周期进行摄像的XY地址扫描型摄像元件的摄像装置的摄像方法，该摄像方法包括积分步骤，对将图像分割为多个的各区域内的像素的像素值进行积分；保持步骤，保持由上述积分步骤得到的积分值；运算步骤，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出步骤，根据由上述运算步骤的处理运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择步骤，根据上述摄像装置的快门速度，选择上述闪烁的波形；以及校正步骤，利用基于由上述选择步骤的处理选择的闪烁波形、以及由上述抽出步骤的处理抽出的相位和振幅的校正值，校正上述像素的像素值。
6.一种记录介质，记录了计算机可读取的程序，该程序是对使用了以照明的光量变动周期的1/2n(n为自然数)的周期进行摄像的XY地址扫描型摄像元件的摄像装置进行控制的程序，该程序包括积分步骤，对将图像分割为多个的各区域内的像素的像素值进行积分；保持步骤，保持由上述积分步骤得到的积分值；运算步骤，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出步骤，根据由上述运算步骤的处理运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择步骤，根据上述摄像装置的快门速度，选择上述闪烁的波形；以及校正步骤，利用基于由上述选择步骤的处理选择的闪烁波形、以及由上述抽出步骤的处理抽出的相位和振幅的校正值，校正上述像素的像素值。
7.一种程序，使对使用了以照明的光量变动周期的1/2n(n为自然数)的周期进行摄像的XY地址扫描型摄像元件的摄像装置进行控制的计算机，执行包含如下步骤的处理积分步骤，对将图像分割为多个的各区域内的像素的像素值进行积分；保持步骤，保持由上述积分步骤得到的积分值；运算步骤，对闪烁的相位差成为180度的两个上述图像的相同区域的积分值间的差分值的波形进行运算；抽出步骤，根据由上述运算步骤的处理运算的积分值间的差分值的波形，抽出上述闪烁的相位和振幅；选择步骤，根据上述摄像装置的快门速度，选择上述闪烁的波形；以及校正步骤，利用基于由上述选择步骤的处理选择的闪烁波形、以及由上述抽出步骤的处理抽出的相位和振幅的校正值，校正上述像素的像素值。
全文摘要
提供摄像装置和方法、记录介质以及程序。降低摄像机在荧光灯下等拍摄时产生的闪烁。在使用以照明的光量变动周期1/2n(n为自然数)的周期拍摄的XY地址扫描型摄像元件的摄像装置中，积分处理部(102)对将图像分割为多个的各区域内像素的像素值进行积分，积分值保持部(103)保持积分值。积分值运算部(111)对闪烁的相位差为180度的两个图像相同区域积分值间的差分值的波形进行运算。相位振幅抽出部(112)根据积分值间差分值的波形抽出闪烁的相位和振幅。函数选择部(114)根据摄像装置快门速度选择闪烁的波形。闪烁校正值生成部(113)利用基于选择的闪烁波形以及抽出的相位和振幅的校正值来校正像素的像素值。
文档编号H04N5/345GK1992818SQ20061015611
公开日2007年7月4日 申请日期2006年12月27日 优先权日2005年12月27日
发明者栉田英功 申请人:索尼株式会社