专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及图像处理设备和图像处理方法，尤其涉及用于抑制由图像传感器感测到的图像中的颜色串扰(color crosstalk)的图像处理设备及其控制方法。
背景技术：
诸如数字照相机等的摄像设备所安装的图像传感器具有以下结构在该结构中， 各自具有光电转换元件的像素排列成矩阵。图像传感器针对各像素将由光学系统形成的被摄体图像转换成电信号。具有该结构的图像传感器的问题在于倾斜入射的光不仅入射到预定像素还入射到邻接像素时产生的“颜色串扰”。颜色串扰的程度根据像素颜色(像素中配置的滤色器的颜色)而变化。颜色串扰在与高透过率颜色(通常为绿色)的滤色器邻接的其它颜色的像素中变大。例如，在具有普通拜尔阵列的滤色器的图像传感器中，由以下的光所引起的颜色串扰变得相对较大该光倾斜入射到红色、绿色和蓝色像素中的绿色像素、穿过绿色滤色器、然后入射到邻接的蓝色或红色像素。颜色串扰使与绿色像素邻接的蓝色或红色像素的、针对绿色波长的灵敏度相对地增加，并且绿色像素的灵敏度相对地降低。作为用于消除颜色串扰的技术，日本特开平10-271519公开了以下技术该技术存储基于颜色串扰成分所确定的校正系数，并且使用该校正系数对从图像传感器输出的图像信号中包含的颜色串扰成分进行校正。日本特开2008-263492公开了以下技术该技术估计变焦透镜焦距(视角)改变操作时F值的变化量，并且控制快门速度和帧频，由此防止在运动图像拍摄期间进行变焦操作时的过曝光或曝光不足。日本特开平11-194390公开了以下技术该技术使得能够在摄像机等中，通过使用步进马达的光圈驱动和电子快门速度控制的组合，在不会增加光圈的步数的情况下进行细微的光量调节。如日本特开平10-271519所公开的，预先准备用于校正所生成的颜色串扰的校正系数并且校正图像信号的方法通过对各颜色像素应用用于校正由颜色串扰所引起的相对灵敏度差异的增益，来校正图像信号。当颜色串扰大(灵敏度差异大)时，需要应用大的增益。这可能使S/N比下降、或者由于过校正和校正不足而使图像质量劣化。当对红色、绿色和蓝色像素的颜色分别应用不同的增益时，在由红色绿色蓝色=3:6:1给出的亮度构成比率变化时，亮度值变化。颜色串扰校正改变了要拍摄的图像的曝光。由于该原因，如果颜色串扰的程度由于光圈值的变化而变化，则需要再次获得白平衡系数。然而，日本特开2008-263492和日本特开平11-194390所公开的技术在运动图像拍摄期间光圈值变化时，针对在直到获得了与改变后的光圈值相对应的白平衡系数为止的时间段内经过白平衡处理的帧图像，不能校正由颜色串扰所引起的偏色(color cast) 0
发明内容
作出本发明以克服传统缺陷中的至少一个缺陷，并且本发明提供能够利用简单的方法来有效地校正运动图像中的颜色串扰的图像处理设备和图像处理方法。根据本发明的一方面，提供一种图像处理设备，用于对通过图像传感器拍摄由摄像光学系统形成的被摄体图像所获得的运动图像进行白平衡处理，所述图像处理设备包括存储部件，用于存储能够与至少两个关于所述摄像光学系统的参数相对应地使用的白色检测区域信息；确定部件，用于确定关于所述摄像光学系统的参数；计算部件，用于使用利用所述确定部件确定的参数所获得的帧图像、和根据所述存储部件中的与所确定的参数相对应的白色检测区域信息所获得的第一白色检测区域，计算第一白平衡系数；估计部件， 用于使用所述第一白色检测区域和不同于所述第一白色检测区域的第二白色检测区域来计算校正量，并且使用计算出的校正量校正所述第一白平衡系数，以计算估计白平衡系数； 应用部件，用于将白平衡系数应用于所述运动图像中包含的帧图像；以及控制部件，用于当关于所述摄像光学系统的参数改变时，控制所述应用部件以将所述估计部件计算出的估计白平衡系数应用于所述运动图像中包含的帧图像，然后将所述计算部件计算出的第一白平衡系数应用于所述运动图像中包含的帧图像。根据本发明的另一方面，提供一种图像处理方法，用于对通过图像传感器拍摄由摄像光学系统形成的被摄体图像所获得的运动图像进行白平衡处理，所述图像处理方法包括以下步骤存储步骤，用于将能够与关于所述摄像光学系统的至少两个参数相对应地使用的白色检测区域信息存储在存储单元中；确定步骤，用于确定关于所述摄像光学系统的参数；计算步骤，用于使用利用在所述确定步骤中确定的参数所获得的帧图像、和根据所述存储单元中的与所确定的参数相对应的白色检测区域信息所确定的第一白色检测区域，计算第一白平衡系数；估计步骤，用于使用所述第一白色检测区域和不同于所述第一白色检测区域的第二白色检测区域来计算校正量，并且使用计算出的校正量校正所述第一白平衡系数，以计算估计白平衡系数；应用步骤，用于将白平衡系数应用于所述运动图像中包含的帧图像；以及控制步骤，用于当关于所述摄像光学系统的参数改变时，控制所述应用步骤以将在所述估计步骤中计算出的估计白平衡系数应用于所述运动图像中包含的帧图像，然后将在所述计算步骤中计算出的第一白平衡系数应用于所述运动图像中包含的帧图像。利用该配置，本发明提供能够利用简单的方法来有效地校正运动图像中的颜色串扰的图像处理设备、其控制方法和摄像设备。通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
图1是例示作为根据本发明实施例的图像处理设备的示例的摄像设备的功能结构的框图；图2是用于解释根据本发明实施例的摄像设备的整体操作的流程图；图3是用于解释根据本发明实施例的摄像设备的运动图像记录开始操作的流程图；图4是用于解释根据本发明实施例的摄像设备的运动图像拍摄操作的流程图；图5是例示在本发明实施例中设置的白色检测区域和光圈值之间的关系的图；图6是用于解释根据本发明实施例的摄像设备的估计白平衡系数计算操作的流程图；以及 图7是根据本发明实施例的摄像设备的时序图。
具体实施例方式
现在将根据附图来详细说明本发明的典型实施例。图1是例示作为根据本发明实施例的图像处理设备的示例的摄像设备的功能结构的框图。摄像设备包括摄像镜头10。快门12具有能够改变光圈值的光圈机构。摄像镜头 10和快门12形成摄像光学系统。诸如C⑶传感器或CMOS传感器等的图像传感器14感测摄像光学系统所形成的被摄体图像，并且将该被摄体图像转换成电信号。A/D转换器16将从图像传感器14读出的模拟图像信号转换成数字图像信号。时序发生器18将时钟信号和控制信号供给至图像传感器14、A/D转换器16和D/ A转换器26。存储器控制单元22和系统控制单元50控制时序发生器18。图像处理单元20对来自A/D转换器16的图像信号或来自存储器控制单元22的图像信号进行预定像素插值处理和颜色转换处理。图像处理单元20使用拍摄到的图像信号进行预定计算处理。基于所获得的计算结果，系统控制单元50控制曝光控制单元40和调焦控制单元42以实现TTLCThrough The Lens，通过镜头)AF(Auto Focus,自动调焦)、AE(Auto Exposure,自动曝光)和 EF(Electronic Flash pre-emission，电子闪光灯预发光)功能。此外，图像处理单元20使用拍摄到的图像信号执行预定计算处理，并且通过对该图像信号应用所获得的计算结果(白平衡系数)还进行TTL AffB (Auto White Balance,自动白平衡)处理。在白平衡处理中，图像处理单元20进行块积分，以将根据拍摄到的图像信号形成的图像分割成多个块，并且针对各颜色获得属于各块的像素的积分值。图像处理单元20还执行白色搜索积分，以将各像素的值展开为色度空间中的坐标，并且获得落入预先在该色度空间中定义的白色检测区域内的像素值的积分值。注意，图像处理单元20存储白色搜索积分所使用的色度空间中的白色检测区域的设置。存储器控制单元22控制A/D转换器16、时序发生器18、图像处理单元20、图像显示存储器24、D/A转换器沈、存储器30和编码解码单元32。将从A/D转换器16输出的图像信号经由图像处理单元20和存储器控制单元22、 或者直接经由存储器控制单元22写入图像显示存储器M或存储器30中。诸如IXD或有机EL显示器等的图像显示单元28经由D/A转换器沈显示图像显示存储器M中所写入的显示图像数据。图像显示单元观顺次显示拍摄到的图像信号，从而实现电子取景器(EVF)功能。 图像显示单元观还可以根据来自系统控制单元50的指示，任意打开/关闭显示。 关闭显示可以大大降低摄像设备100的电力消耗。存储器30是存储拍摄到的静止图像和运动图像的存储装置，并且具有足以存储预定数量的静止图像或预定时间的运动图像的存储容量。即使在用于连续拍摄多个静止图像的连续摄像或全景摄像中，也可以将许多图像快速写入存储器30中。存储器30还可用作系统控制单元50的工作区域。
编码解码单元32读出存储器30中存储的图像，并且使用自适应离散余弦变换 (ADCT)或小波变换等进行众所周知的数据压缩或解压缩处理。编码解码单元32将处理后的数据写入存储器30中。曝光控制单元40控制具有光圈机构的快门12。另外，曝光控制单元40还提供与闪光灯48协作的闪光灯控制功能。曝光控制单元40通过对快门12设置光圈值来控制快门12的光圈机构。该光圈值是基于由系统控制单元50实现的AE功能所确定的，并且被发送至曝光控制单元40。调焦控制单元42控制摄像镜头10的调焦。变焦控制单元44控制摄像镜头10的变焦。挡板控制单元46控制用以保护摄像镜头10的镜头挡板102的操作。闪光灯48用作摄像时的辅助光源。闪光灯48还具有光控制功能和AF辅助光投射功能。使用TTL方法来控制曝光控制单元40和调焦控制单元42。更具体地，图像处理单元20对拍摄到的图像信号应用预定计算。基于计算结果，系统控制单元50控制曝光控制单元40和调焦控制单元42。系统控制单元50例如是CPU，并且通过执行存储器52中存储的程序来控制整个摄像设备100。存储器52存储系统控制单元50的操作用的常数、变量和程序等。存储器52 还存储AE控制中使用的程序图。该程序图是定义相对于测光值(EV值)的光圈开口直径 (或光圈值)和快门速度的控制值之间的关系的表。显示单元M由诸如IXD、LED和扬声器等的输出装置的组合构成。显示单元M根据系统控制单元50对程序的执行，使用文本、图像或声音等输出工作状态或消息等。将一个或多个显示单元M配置在摄像设备100的操作部70附近容易识别出的位置处。将显示单元M的一部分设置在光学取景器104中。非易失性存储器56是电可擦除/可编程存储器，并且例如是EEPR0M。模式拨盘60、快门开关62和64、以及操作部70构成用于将各种操作指示输入至系统控制单元50的操作控制件。这些操作控制件由按钮、开关、拨盘、触摸面板、基于视线检测的指示和语音识别装置等中的一个或组合构成。将详细解释这些控制件。模式拨盘60是用于切换和设置诸如电源断开、自动摄像模式、编程摄像模式、全景摄像模式、重放模式、多窗口重放/擦除模式和PC连接模式等的各个功能模式的开关。通过半按下摄像设备100所安装的快门按钮(未示出)(半冲程)，接通第一快门开关SWl 62。接着，系统控制单元50指示相关块开始诸如AF(自动调焦)处理、AE(自动曝光)处理、AWB(自动白平衡)处理或EF(电子闪光灯预发光)处理等的操作。通过完成快门按钮(未示出)的操作(全冲程)来接通第二快门开关SW2 64，并且第二快门开关SW2 64指定包括曝光处理、显影处理和记录处理的一系列处理的开始。在曝光处理中，将从图像传感器14读出的图像信号经由A/D转换器16和存储器控制单元22 写入存储器30中。此外，在系统控制单元50的控制下，使用图像处理单元20或存储器控制单元22的计算来进行显影处理。在记录处理中，从存储器30读出已经过了显影处理的图像信号，通过编码解码单元32进行压缩，并且作为图像文件写入存储卡200或210上。操作部70是具有诸如开关、按钮、转动拨盘开关和触摸面板等的操作构件的用户接口。操作部70使得可以选择针对所拍摄图像的图像记录模式、压缩率和图像质量等。在本实施例中，操作部70包括使得用户在摄像模式下可以指定开始/结束运动图像拍摄的运动图像按钮。然而，没有特别限制指定开始/结束运动图像拍摄的方法，并且可以采用任意方法。例如，用户可以利用模式拨盘60选择运动图像拍摄模式，并且通过接通/断开第二开关SW2来指定开始/结束运动图像拍摄。电源控制单元80包括电池检测电路、DC-DC转换器和用于切换要通电的块的切换电路。电源控制单元80检测电池的装载/卸载、电池类型和剩余电池电量。电源控制单元 80基于检测结果和来自系统控制单元50的指示控制DC-DC转换器。电源控制单元80将必要的电压向包括记录介质200和210的各个单元施加了必要的时间段。电源86是一次电池(例如碱性电池或锂电池)、二次电池(例如镍镉(NiCd)电池、镍氢(NiMH)电池或锂离子电池)、或AC适配器等。电源86经由连接器82和84安装至摄像设备100。诸如存储卡或硬盘等的记录介质200和210包括均由半导体存储器或磁盘等构成的记录单元202和212、与摄像设备100的接口 204和214以及连接器206和216。将记录介质200和210经由介质侧的连接器206和216以及摄像设备100侧的连接器92和96安装在摄像设备100中。连接器92和96与接口 90和94相连接。记录介质安装/拆卸检测单元98检测是否安装了记录介质200和210。在本实施例中，摄像设备100包括用于安装记录介质的接口和连接器的两种系统。然而，可以配置单个或任意数量的用于安装记录介质的接口和连接器。还可以针对各个系统使用不同标准的接口和连接器。镜头挡板102覆盖摄像设备100中包括镜头10的摄像单元，以保护该摄像单元不受污染和损坏。光学取景器104例如是TTL取景器，并且使用棱镜或镜将已经通过镜头10的光束形成为图像。光学取景器104的使用使得可以在不使用图像显示单元观上的电子取景器功能的情况下拍摄图像。如上所述，光学取景器104显示与显示单元M的一些功能有关的信息，例如聚焦显示、照相机抖动警告显示、闪光灯充电显示、快门速度显示、光圈值显示和曝光校正显示。通信单元110 进行包括 RS232C、USB、IEEE1394、P1284、SCSI、调制解调器、LAN 和无线通信处理的各种通信处理。连接器(无线通信的情况为天线)112经由通信单元110将摄像设备100连接至其它装置。将参考图2 5来解释摄像设备100的主操作。图2和3是用于解释摄像设备 100的整体操作的流程图。当通过例如更换电池来接通摄像设备100时，系统控制单元50对标志和控制变量等进行初始化(步骤S201)，并且将图像显示单元观的图像显示初始化为关闭状态(步骤 S202)。系统控制单元50判断模式拨盘60的设置位置。如果将模式拨盘60设置为电源断开(步骤S203)，则系统控制单元50执行预定结束处理(步骤S205)，然后使处理返回至步骤S203。例如，该结束处理包括以下处理结束各显示单元上的显示的处理，关闭镜头挡板102的处理，将包括标志和控制变量的参数、设置值和设置模式记录在非易失性存储器56中的处理，以及在电源控制单元80的控制下停止对包括图像显示单元观的摄像设备 100的各个单元进行不需要的供电的处理。如果在步骤S203中将模式拨盘60设置为其它模式，则系统控制单元50执行与所选择的模式相对应的处理(步骤S204)，并且使处理返回至步骤S203。如果在步骤S203中将模式拨盘60设置为摄像模式，则系统控制单元50控制电源控制单元80，以检查由电池等构成的电源86的剩余容量和工作状态(步骤S206)。然后， 系统控制单元50判断电源86在摄像设备100工作时是否出现问题。如果电源86出现问题，则系统控制单元50使用显示单元M利用图像或声音来显示预定警告(步骤S208)，并且使处理返回至步骤S203。如果电源86适当(步骤S 206中为“是”)，则系统控制单元50判断记录介质200 或210在摄像设备100工作时、尤其是在记录/重放操作时是否出现问题(步骤S207)。如果记录介质200或210出现问题，则系统控制单元50使用显示单元M利用图像或声音来显示预定警告(步骤S208)，并且使处理返回至步骤S203。如果记录介质200或210适当，则在步骤S209中系统控制单元50判断设置了 OVF (Optical ViewFinder，光学取景器)模式和 EVF (Electronic ViewFinder，电子取景器)模式中的哪一个模式。如果设置了 OVF模式，则由于不显示直通图像，因而系统控制单元50使处理移动至图3的步骤S301。如果设置了 EVF模式，则在步骤S210中系统控制单元50执行初始化处理，以使图像显示单元观用作取景器。更具体地，系统控制单元50将生成直通显示用的所拍摄图像 (直通图像)所需的诸如图像传感器14、图像处理单元20和存储器控制单元22等的构成组件设置为顺次显示拍摄到的图像信号的直通图像显示状态。即，该直通图像显示状态与显示用的运动图像拍摄相对应。在摄像准备完成时，系统控制单元50开始拍摄运动图像，并且开始将直通图像显示在图像显示单元28上(步骤S211)。在直通显示状态下，系统控制单元50经由存储器控制单元22和D/A转换器沈，将经由图像传感器14、A/D转换器16、图像处理单元20和存储器控制单元22顺次写入图像显示存储器M中的图像信号顺次显示在图像显示单元28上。结果，图像显示单元观可以用作电子取景器(EVF)。将参考图3 5来解释摄像设备100在直通图像显示状态下拍摄运动图像的操作。首先，将参考图3来解释在摄像设备100拍摄运动图像开始时的操作。在步骤S301 中，系统控制单元50判断模式拨盘60的设置是否已改变。如果系统控制单元50检测到设置改变，则系统控制单元50使处理返回至步骤S203，并且进行与模式拨盘60的状态相对应的处理。如果模式拨盘60的设置未改变，则在步骤S302中，系统控制单元50判断运动图像按钮的状态。如果运动图像按钮为接通(ON)，则系统控制单元50使处理进入步骤S305; 如果运动图像按钮为断开(OFF)，则系统控制单元50使处理进入步骤S303。在本实施例中， 运动图像按钮是在每次按下该按钮时在接通状态和断开状态之间切换的切换开关。如果运动图像按钮为断开，则在步骤S303中，系统控制单元50进行用以继续直通图像显示的预定的处理。图像处理单元20对从图像传感器14获得的信号进行预定测光计算，并将计算结果存储在存储器30中。基于测光计算结果，系统控制单元50使用曝光控制单元40对直通图像拍摄进行AE处理，并且确定诸如光圈值和快门速度等的摄像条件(步骤S304)。然后，系统控制单元50使处理返回至步骤S301。如果在步骤S302中系统控制单元50判断为运动图像按钮为接通，则在步骤S305 中，系统控制单元50进行AF处理。更具体地，图像处理单元20对从图像传感器14获得的信号执行预定调焦计算，并将计算结果存储在存储器30中。基于调焦计算结果，系统控制单元50使用调焦控制单元42进行AF处理，并且将摄像镜头10的焦点调整至被摄体。在步骤S306中，系统控制单元50使用图像处理单元20对从图像传感器14获得的信号进行积分处理和预定WB计算，从而获得运动图像拍摄用的WB系数。系统控制单元 50将运动图像拍摄用的WB系数存储在存储器30中，并且在图像处理单元20中设置该WB 系数。在步骤S307中，系统控制单元50对一帧执行运动图像拍摄处理。在该运动图像拍摄处理之后，存储器30保存已经由A/D转换器16从图像传感器14读出的、信号处理之前的帧图像的图像信号。系统控制单元50使用图像处理单元20对信号处理之前的图像信号进行显影处理。显影处理包括颜色插值处理和白平衡处理。根据记录格式，还进行编码解码单元32的编码处理和记录文件的生成等。将已经过显影处理的图像信号作为图像数据保存在存储器30中。系统控制单元50将存储器30中保存的图像数据作为运动图像文件写入记录介质200中。在步骤S 308中，系统控制单元50将在步骤S307中拍摄到的帧图像作为直通图像显示在图像显示单元208上，从而完成了运动图像拍摄开始处理。之后，系统控制单元50 进行图4的处理。将参考图4的流程图来解释摄像设备100在运动图像拍摄处理期间的处理。在步骤S401中，系统控制单元50检查模式拨盘60的设置是否已改变。如果系统控制单元50 检测到设置改变，则系统控制单元50使处理返回至步骤S203，并且进行与模式拨盘60的状态相对应的处理。如果模式拨盘60的设置未改变，则在步骤S402中，系统控制单元50判断运动图像按钮的状态。如果在运动图像拍摄开始之后再次按下运动图像按钮、并且运动图像按钮为断开，则系统控制单元50结束运动图像拍摄处理，并且使处理返回至步骤S203。如果在运动图像拍摄开始之后没有按下运动图像按钮、并且运动图像按钮保持接通，则系统控制单元50使处理进入步骤S403以继续进行运动图像拍摄处理。在步骤S403中，系统控制单元50对一帧执行运动图像拍摄处理。通过该运动图像拍摄处理，存储器30保存已经由A/D转换器16从图像传感器14读出的、信号处理之前的帧图像的图像信号。在步骤S404中，系统控制单元50使用图像处理单元20对存储器30中的图像信号应用预定测光计算，并将计算结果存储在存储器30中。在步骤S405中，通过参考在步骤S404中获得的测光计算结果，系统控制单元50 判断是否改变包括电子快门速度和光圈值的当前曝光设置值中的光圈值。可以利用任意已知的方法、例如通过使用预定程序图来进行该判断。如果系统控制单元50判断为改变光圈值，则系统控制单元50获得目标光圈值并且使处理进入步骤S406。如果系统控制单元50 判断为不改变光圈值，则系统控制单元50使处理进入步骤S407。在步骤S406中，系统控制单元50使用图像处理单元20进行WB校正处理。在WB 校正处理中，通过计算来获得光圈值变化时的白平衡的变化。系统控制单元50基于存储器 30中存储的当前WB系数、当前光圈值、目标光圈值和非易失性存储器56中预先存储的校正信息，使用图像处理单元20来计算与目标光圈值相对应的WB系数。将校正后的WB系数设置在图像处理单元20中并存储在存储器30中。注意，将参考图6来说明步骤S406中的 WB校正处理的详细内容。在步骤S407中，系统控制单元50基于步骤S404中的测光计算结果，使用曝光控制单元40来进行AE处理。在步骤S408中，系统控制单元50基于帧图像，使用图像处理单元20来进行WB处理。在步骤S408中，系统控制单元50控制图像处理单元20以在WB处理中执行积分处理或计算处理。如果没有执行积分处理、或者在步骤S405中系统控制单元50判断为移动光圈，则系统控制单元50对存储器30中存储的信号处理之前的图像信号进行WB处理用的积分处理。更具体地，图像处理单元20将由拍摄到的图像信号形成的帧图像分割成多个块。 然后，图像处理单元20针对各颜色对块中包含的像素值进行平均，以计算颜色平均值R[小 G[i]和B[i]。此外，图像处理单元20使用以下等式针对各块计算颜色评价值Cx[i]和 Cy[i]Cx[i] = (R[i]-B[i])/Y[i] X1024Cy[i] = (R[i]+B[i]-2G[i])/Y[i] X1024其中，Y[i]= R[i]+2G[i]+B[i]，i = 1. . . m(m 是块计数)。图像处理单元20将具有落入与目标光圈值相对应的白色检测区域内的颜色评价值Cx[i]和Cy[i]的块判断为白色块。图像处理单元20计算该白色块中包含的红色、绿色和蓝色像素的积分值SumR、sumG和sumB (白色搜索积分)，并将结果存储在存储器30中。 注意，可以针对各光圈值预先将与目标光圈值相对应的白色检测区域信息存储在非易失性存储器56等中。可选地，可以根据与给定的光圈值相对应的白色检测区域信息和预先准备的计算等式来计算各白色检测区域。对帧图像的积分处理需要一些时间。因而，当进行积分处理时，在该积分处理开始之后，系统控制单元50使处理进入步骤S409，而无需等待该积分处理结束。如果积分处理完成，则系统控制单元50使用图像处理单元20来执行WB计算处理。图像处理单元20从存储器30读出积分结果，并且基于例如以下等式来计算白平衡系数 WBCo_R、WBCo_G 和 WBCo_B WBCo_R = SumYX 1024/SumRWBCo_G = SumYX 1024/SumGWBCo_B = SumYX 1024/SumB其中，SumY= (SumR+2 X SumG+SumB) /4。图像处理单元20将计算出的运动图像拍摄白平衡系数(白平衡控制值)设置在自身中，并且还将它们存储在存储器30中。在步骤S409中，系统控制单元50使用图像处理单元20，对使用图像处理单元20 在步骤S403中拍摄到的并且存储在存储器30中的未处理图像数据执行显影处理。该显影处理包括颜色插值处理和白平衡处理。根据记录格式，还进行编码解码单元32的编码处理和记录文件的生成等。将已经过显影处理的图像信号作为图像数据保存在存储器30中。系统控制单元50使用该图像数据将直通图像显示在图像显示单元观上。在步骤S410中，系统控制单元50将存储器30中保存的图像数据作为运动图像文件写入记录介质200中。系统控制单元50使处理返回至步骤S401以继续进行运动图像拍摄处理。图5是例示在本实施例中设置的白色检测区域和光圈值之间的关系的图。在图5中，将白色检测区域表示为色温轴和品红色-绿色轴彼此垂直的色度空间中的区域。在该色度空间中，X轴表示色温(颜色评价值CX[i])，正方向是低色温侧、即红色方向，并且负方向是高色温侧、即蓝色方向。Y轴是品红色-绿色轴(颜色评价值Cy[i])， 正方向是品红色方向，并且负方向是绿色方向。如上所述，白色检测区域基于黑体辐射轴定义了存在各种光源下的白色物体的颜色评价值的区域。针对各颜色的滤色器的灵敏度根据以下的复合元素而变化该复合元素包括图像传感器的内部结构、诸如滤色器等的摄像系统、镜头结构、以及诸如涂膜和滤波器等的光学系统。由于该原因，色度空间中白色检测区域的位置和大小改变。当倾斜入射到图像传感器的光不仅入射到预定像素还入射至邻接像素以生成颜色串扰时，颜色串扰状态还根据光束的入射角而变化。入射到图像传感器上的光的角度、特别是相对于光轴的最大入射角依赖于光圈大小。光圈越大(光圈值或F值越小)，则倾斜入射到图像传感器的光束的量越大。因此，各颜色像素的相对灵敏度依赖于光圈值。色度空间中白色检测区域的位置和大小也依赖于光圈值。如上所述，在与光束透过率高的颜色的像素邻接的其它颜色的像素中，针对光束透过率高的颜色的波长的灵敏度增加。因此，光束透过率高的颜色的像素的灵敏度相对降低。图像传感器的光谱灵敏度特性在发生颜色串扰的情况和未发生颜色串扰的情况之间变化，并且图像的色平衡也在这两种情况之间变化。颜色串扰的程度越高，则色平衡变化得越大。本实施例通过设置白色检测区域以校正由颜色串扰所引起的色平衡的变化来执行前述的白平衡处理，由此简单有效地校正所拍摄图像中的颜色串扰。更具体地，根据在步骤S405 中获得的目标光圈值来动态地设置所拍摄图像的白平衡处理所使用的白色检测区域。图5例示F2.0时的白色检测区域和F8.0时的白色检测区域。构成滤色器的红色、 蓝色和绿色滤波器的透过率和透过波长在F2. 0和F8. 0之间不同。在F2. 0时，颜色串扰大， 蓝色方向上的灵敏度增加，并且绿色方向上的灵敏度降低。为了消除该情况，白色检测区域在高色温方向上延伸并且位于品红色方向(品红色附近)。相反，在F8.0时，与F2.0时相比较，倾斜光束的入射减少，并且抑制了颜色串扰的生成。因而，品红色-绿色方向上的灵敏度大幅变化，同时，蓝色方向上的灵敏度略微变化。更具体地，光谱灵敏度特性由于颜色串扰而变化，因此用作白色检测区域的基准的黑体辐射轴的位置根据光圈值而变化。因此，根据与光圈值相对应的黑体辐射轴的位置来设置白色检测区域的位置。当颜色串扰大时，由通过绿色滤色器然后入射到邻接的蓝色
11或红色像素的光所引起的颜色串扰相对较大。绿色波长附近的颜色评价值极有可能不正确。因此，当光圈值小且颜色串扰大时，将以下的检测区域设置得小，在该检测区域中，将白色检测区域中包含的绿色成分的比设置得小于颜色串扰小时的比。可以简单地根据白色检测区域的重心的运动矢量获得与光圈值相对应的白平衡变化量。可以使用该变化量来针对诸如太阳光或灯泡等的具有被称为预设白平衡的固定值白平衡的光源校正与光圈值相对应的白平衡变化量。在本实施例中，为了简化处理，在全光圈状态下使用F2.0用的白色检测区域，并且在F8.0以上的小光圈时使用F8.0用的白色检测区域。可以预先准备与全光圈和小光圈之间的光圈值(例如，F4. 0和F5. 6)相对应的白色检测区域，或者可以根据诸如线性插值或线性变换等的方法从F2. 0和F8. 0用的检测区域获得这些白色检测区域。当摄像设备100 是镜头可更换型时，颜色串扰特性还根据镜头直径而变化。在这种情况下，还可以针对多个光圈值存储与镜头相对应的白色检测区域信息。图6是用于解释步骤S406中校正白平衡系数的操作的流程图。在步骤S501中，系统控制单元50获得当前使用的白平衡系数和获得该白平衡系数时使用的光圈值(当前光圈值)。在步骤S503中，系统控制单元50获得非易失性存储器56中存储的信息并且定义白色检测区域。在本实施例中，非易失性存储器56仅存储以下的信息(和相应的重心位置)这些信息规定了与针对快门12可设置的光圈值中的F2. 0和F8. 0相对应的白色检测区域。在步骤S503中，系统控制单元50从非易失性存储器56读出规定了与F2. 0和F8. 0相对应的白色检测区域的信息，并将这些信息存储在存储器30中。在步骤S504中，系统控制单元50获得与当前光圈值相对应的白色检测区域和与目标光圈值相对应的白色检测区域。如果当前光圈值是落入F2. 0 F8. 0的范围内的值， 则系统控制单元50使用规定了 F2. 0和F8. 0用的白色检测区域的信息，通过插值计算来获得相应的白色检测区域。即使目标光圈值是落入F2. 0 F8. 0的范围内的值，系统控制单元50也以相同的方式获得相应的白色检测区域。系统控制单元50将通过插值计算所获得的白色检测区域信息存储在存储器30中。无需说明，如果当前光圈值或目标光圈值是F2. 0 或F8. 0，则无需对该光圈值进行插值计算。在步骤S505中，系统控制单元50计算与当前光圈值相对应的白色检测区域的重心和与目标光圈值相对应的白色检测区域的重心。该重心是作为色度空间中的坐标所获得的。当已将检测区域的重心作为设计值进行了计算时，此时还将重心位置存储在非易失性存储器56中，并且无需进行再计算。在步骤S506中，系统控制单元50计算与当前光圈值和目标光圈值相对应的白色检测区域的重心的运动矢量。基于重心在色温方向和品红色-绿色方向上的移动量，系统控制单元50校正当前白平衡系数。更具体地，系统控制单元50以将在与目标光圈值相对应的白色检测区域中检测到的白色像素校正为白色的方式，校正白平衡系数。系统控制单元50将校正后的白平衡系数作为直到计算出基于颜色评价值的白平衡系数为止所使用的估计白平衡系数而设置在图像处理单元20中。此外，系统控制单元50将该估计白平衡系数存储在存储器30中。
可以通过基于与当前光圈值相对应的白色检测区域的重心位置和与目标光圈值相对应的白色检测区域的重心位置之间的变化量(移动量)、利用计算校正当前白平衡系数，来计算估计白平衡系数。与通过基于以上所述的积分处理的白平衡系数再设置处理所获得的白平衡系数不同，可以从针对以改变后的(目标)光圈值拍摄到的第一个图像的显影处理起使用该估计白平衡系数。与再设置的白平衡系数相比，该估计白平衡系数在精度方面较低，但具有校正由光圈值的变化所引起的颜色串扰的影响的效果。使用估计白平衡系数来执行显影处理，直到根据在改变光圈值之后拍摄到的图像获得了白平衡系数为止。 这样可以抑制偏色的影响。图7是例示根据本实施例的摄像设备100中、图像信号的图像处理和光圈控制的处理时序的时序图。在图7中，VD表示垂直同步信号，并且用作为曝光和读出时序的基准。垂直同步信号的周期有时被称为VD时间段。在下一 VD时间段内读出在曝光操作A中图像传感器14 中存储的电荷(图像信号)。在从读出开始起存在短延迟的情况下，在读出的同时进行了 A/D转换的图像信号A与读出操作并行地经过显影处理A。在再下一 VD时间段内显示通过显影处理所生成的显示图像数据A。在读出图像信号结束之后，执行WB积分A。在WB积分A完成时，执行WB计算处理A以在图像处理单元20中设置WB系数。当图像处理单元20执行下一显影处理时应用所设置的WB系数。在图7的例子中，当WB计算A完成时，针对下一帧的图像信号B的显影处理B已经开始。因而，通过WB计算A计算出的WB系数不能反映到针对图像信号B的显影处理中。 将通过WB计算A计算出的WB系数反映到针对图像信号C的显影处理中。也就是说，通过 WB积分处理和WB计算处理来再设置白平衡的处理需要两个VD时间段。相反，在光圈值控制中，紧挨在垂直同步时间段开始之后，光圈的驱动开始，并且将控制之后的光圈值反映到紧后的曝光操作A中。因而，在光圈的开口直径变化时颜色串扰状态的变化影响紧挨在改变光圈值之后拍摄到的图像。在本实施例中，如参考图6所述，当基于测光处理结果改变光圈值时，获得目标光圈值以校正当前WB系数。然后，计算与该目标光圈值相对应的估计WB系数，并且在图像处理单元20中设置该估计WB系数。该校正处理既不需要图像信号积分处理也不需要基于积分值的计算处理。因此，可以将该估计WB系数应用于针对由反映光圈值变化的摄像处理A 所获得的图像信号A的显影处理A。本实施例通过针对在改变光圈值之后直到再次获得WB系数为止所拍摄到的图像信号、使用通过根据目标光圈值来校正当前WB系数所获得的估计WB系数、进行显影处理， 实现了颜色串扰校正。光圈值一旦改变，则还对以改变后的光圈值拍摄到的图像进行WB系数获得处理。紧挨在获得了 WB系数之后，可以使用所获得的WB系数。之后，可以进行更高精度的颜色串扰校正。如上所述，根据本实施例，在发生依赖于光圈值的颜色串扰的情况下、在运动图像拍摄期间光圈值改变时，再次获得白平衡系数。直到再获得完成为止，都使用通过根据光圈值的变化校正当前白平衡系数所获得的估计白平衡系数。因此，即使对于在改变光圈值之后再次获得白平衡系数完成之前拍摄到的图像，也可以校正颜色串扰。
注意，本实施例已经说明了抑制由伴随着运动图像记录期间的光圈控制的颜色串扰所引起的偏色的方法。然而，该方法不仅应用于运动图像记录期间，还应用于在运动/静止图像拍摄待机状态下执行的EVF运动图像拍摄。即，该方法可应用于需要与光圈控制相对应的白平衡控制的情况。变形例在上述实施例中，紧挨在确定了目标光圈值时，光圈值变为该目标光圈值。然而， 在平滑地改变光圈值时、或者例如当限制一个VD时间段内光圈值的最大变化量时，光圈值可以逐步地变为目标光圈值。在这种情况下，在各VD时间段开始时可以逐步地计算估计白平衡系数，并且白平衡系数再获得操作可以在以目标光圈值的摄像开始之后开始。例如，在当前光圈值为F2. 0、目标光圈值为F8. 0、并且一个VD时间段内光圈值的最大变化量为一步时，在最初的VD时间段内进行曝光之前，光圈值从F2. 0变为F4. 0。然后，获得针对F4. 0的估计白平衡系数，并将该估计白平衡系数应用于以F4. 0拍摄到的运动图像的帧图像。在下一 VD时间段内进行曝光之前，光圈值从F4. 0变为F8. 0，并且获得针对F8. 0的估计白平衡系数，并将该估计白平衡系数应用于以F8. 0拍摄到的运动图像的帧图像。此外，针对以F8. 0拍摄到的运动图像的帧图像，白平衡系数再获得处理开始。在一些情况下，在如本实施例所述的估计之后可以再次获得白平衡系数的时刻， 还可以尽可能平滑地切换该系数。在这种情况下，在该时刻之后的预定时间段内，可以使用通过对估计出的白平衡系数和再获得的白平衡系数进行加权所获得的系数，使白平衡系数逐渐地变为再获得的白平衡系数。已经针对特定实施例解释了本发明。然而，上述实施例仅是用以辅助理解本发明的例子，并且并未限制本发明。本领域技术人员将容易想到，可以在不背离本发明的范围的情况下对上述实施例应用各种改变和修改。例如，上述实施例已经解释了将根据本发明的图像处理设备应用于摄像设备的情况，但摄像和记录功能对于本发明并不是必不可少的。本发明可以在具有对包括滤色器的图像传感器拍摄到的图像进行处理的功能的任意装置中实现。例如，本发明可应用于移动电话、PDA(个人数字助理)、具有照相机功能的各种信息装置、以及能够加载并处理所拍摄图像数据的信息处理设备。其它实施例还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等的装置)以及通过以下方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能，来进行该方法的各步骤。由于该目的，例如经由网络或者从用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。虽然已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。以下的权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。
权利要求
1.一种图像处理设备，用于对通过图像传感器拍摄由摄像光学系统形成的被摄体图像所获得的运动图像进行白平衡处理，所述图像处理设备包括存储部件，用于存储能够与至少两个关于所述摄像光学系统的参数相对应地使用的白色检测区域信息；确定部件，用于确定关于所述摄像光学系统的参数；计算部件，用于使用利用所述确定部件确定的参数所获得的帧图像、和根据所述存储部件中的与所确定的参数相对应的白色检测区域信息所获得的第一白色检测区域，计算第一白平衡系数；估计部件，用于使用所述第一白色检测区域和不同于所述第一白色检测区域的第二白色检测区域来计算校正量，并且使用计算出的校正量校正所述第一白平衡系数，以计算估计白平衡系数；应用部件，用于将白平衡系数应用于所述运动图像中包含的帧图像；以及控制部件，用于当关于所述摄像光学系统的参数改变时，控制所述应用部件以将所述估计部件计算出的估计白平衡系数应用于所述运动图像中包含的帧图像，然后将所述计算部件计算出的第一白平衡系数应用于所述运动图像中包含的帧图像。
2.根据权利要求1所述的图像处理设备，其特征在于，所述摄像光学系统包括能够改变光圈值的光圈机构，并且关于所述摄像光学系统的参数是光圈值。
3.根据权利要求2所述的图像处理设备，其特征在于，所述存储部件将与光圈值相对应的白色检测区域在色度空间中的重心位置作为所述白色检测区域信息来存储，以及所述估计部件计算与改变之前的拍摄参数相对应的白色检测区域的重心位置和与改变之后的拍摄参数相对应的白色检测区域的重心位置之间的运动矢量，并且基于重心位置在色温方向和品红色-绿色方向上的移动量校正当前的白平衡系数，以计算所述估计白平衡系数。
4.一种图像处理方法，用于对通过图像传感器拍摄由摄像光学系统形成的被摄体图像所获得的运动图像进行白平衡处理，所述图像处理方法包括以下步骤存储步骤，用于将能够与关于所述摄像光学系统的至少两个参数相对应地使用的白色检测区域信息存储在存储单元中；确定步骤，用于确定关于所述摄像光学系统的参数；计算步骤，用于使用利用在所述确定步骤中确定的参数所获得的帧图像、和根据所述存储单元中的与所确定的参数相对应的白色检测区域信息所确定的第一白色检测区域，计算第一白平衡系数；估计步骤，用于使用所述第一白色检测区域和不同于所述第一白色检测区域的第二白色检测区域来计算校正量，并且使用计算出的校正量校正所述第一白平衡系数，以计算估计白平衡系数；应用步骤，用于将白平衡系数应用于所述运动图像中包含的帧图像；以及控制步骤，用于当关于所述摄像光学系统的参数改变时，控制所述应用步骤以将在所述估计步骤中计算出的估计白平衡系数应用于所述运动图像中包含的帧图像，然后将在所述计算步骤中计算出的第一白平衡系数应用于所述运动图像中包含的帧图像。
全文摘要
公开了能够利用简单的方法来有效地校正运动图像拍摄时的颜色串扰的图像处理设备和图像处理方法。当光圈值改变时，校正当前白平衡系数，从而计算与改变后的光圈值相对应的估计白平衡系数。使用以改变后的光圈值拍摄到的帧图像，白平衡系数的再获得开始。在再次获得白平衡系数所需的时间段内，将估计白平衡系数应用于用以进行白平衡处理的帧图像。
文档编号H04N9/73GK102244792SQ20111012025
公开日2011年11月16日 申请日期2011年5月10日 优先权日2010年5月10日
发明者小川茂夫 申请人:佳能株式会社