摄像设备及其控制方法
【专利摘要】本发明涉及一种摄像设备及其控制方法。该摄像设备能够形成不会给用户带来不适感的校正后的图像。在该设备中，摄像元件对光学图像进行光电转换，以将该光学图像作为图像数据输出。基于镜头单元的镜头特性信息和状态来计算用于校正由于镜头单元引起的图像质量劣化的目标校正值。系统控制器设置变化率，以使当前校正值逐步接近目标校正值，并且根据该目标校正值和变化率来重复计算校正值。基于重复计算出的校正值来校正图像数据。该变化率根据过去计算出的校正值的先前值和目标校正值之间的关系而变化。
【专利说明】摄像设备及其控制方法
[0001](本申请是申请日为2010年11月30日，申请号为2010105756708，发明名称为
“摄像设备及其控制方法”的申请的分案申请。)
【技术领域】
[0002]本发明涉及诸如数字照相机或视频摄像机(摄录机)等的摄像设备、该摄像设备的控制方法以及存储有实现该方法的计算机可执行程序的计算机可读非易失性存储介质，尤其涉及一种用于校正由于镜头单元引起的图像质量劣化的信号处理。
【背景技术】
[0003]用于在摄像元件上形成被摄体图像的镜头单元涉及有对被摄体图像造成诸如失真、模糊或周边光量下降等的图像质量劣化的各种因素。
[0004]例如，当已通过镜头单元的红光、绿光和蓝光根据这些彩色光各自的波长在与光轴垂直的方向上在不同的位置处分别形成图像时，引起使图像周边的颜色模糊的倍率色像差(magnification chromatic)。例如,作为与图像的中心部分相比光量向着图像周边变小的现象的周边光量下降是例如由因镜头单元的镜筒的机械渐晕(mechanical vignetting)或余弦四次方定律(cosine fourth law)而发生的所谓的渐晕所造成的。
[0005]例如，通过使用形状复杂的多个镜头的组合或通过使用极少产生色散(chromaticdispersion)的萤石(fluorite)作为镜头材料，可以一定程度地降低作为由于镜头单元引起的图像质量劣化其中之一的倍率色像差。还可以通过使用具有大的成像圈的镜头来一定程度地降低周边光量下降。然而，在上述情况中的任意情况下，均无法完全防止图像质量劣化。
[0006]为了解决该问题，已经提出了利用通过信号处理进行的图像校正来降低由于镜头单元的特性引起的图像质量劣化的技术。
[0007]例如，已经公开了以下技术:将与周边光量下降有关的校正数据与镜头单元的光圈值、焦距或拍摄距离相关联地存储在ROM中，并且数字信号处理器根据镜头单元的实际光圈值、实际焦距或实际拍摄距离，通过执行信号处理来校正图像(参见日本特开2003-110936 号公报)。
[0008]此外，已经公开了如下的另一技术:基于镜头单元的像差信息、被摄体亮度数据和色差数据，通过信号处理来校正由于镜头像差引起的图像质量劣化(参见日本特开2000-3437 号公报)。
[0009]通过执行信号处理校正由于镜头单元引起的图像质量劣化的上述技术不仅应用于数字照相机，而且还应用于数字视频摄像机以及配备有用于实时显示由摄像元件拍摄到的图像的所谓的实时取景(LV)功能的照相机。换言之，根据镜头单元的光学状态来实时校正由于该镜头单元引起的运动图像的图像质量劣化。
[0010]例如，已经公开了以下技术:将校正像差和周边光量等所使用的校正值预先存储在可互换镜头单元内的存储器中，并且当接通摄像设备的电源时或当将可互换镜头单元连接至摄像设备时，预先将校正值的信息从该可互换镜头单元内的存储器发送至摄像设备。然后，在实时接收与可互换镜头单元的光学状态有关的信息时，摄像设备根据可互换镜头单元的光学状态，使用预先接收到的校正值中的相应校正值来进行图像校正(参见日本特开2008-96907号公报)。
[0011]然而，即使在单镜头单元中，校正周边光量下降所使用的校正值也根据光圈值和聚焦位置而变化。此外，在具有变焦机构的镜头单元中，校正值还根据焦距而变化。因此，校正周边光量下降用的校正值的数量随着镜头单元的光学状态的增多而变大，从而使得不仅必须提供更大的存储区域，还使数据接收用的通信时间更长。
[0012]为了解决该问题，已经公开了以下技术:不是针对各变焦位置、各光圈值或各聚焦位置设置周边光量下降校正值，而是通过根据离散校正值进行确定和插值来计算与当前变焦位置、当前光圈值或当前聚焦位置相对应的校正值(参见日本特开2006-121384号公报)。
[0013]当摄像设备掌握了镜头单元的光学状态、然后开始计算适合于该镜头单元的光学状态的校正值时，校正至少被延迟了计算该校正值所需的时间。在“延迟”该时间段期间，使用在前次循环中获得的校正值来校正图像质量劣化。结果，例如，在校正周边光量下降时，由于在前次循环中获得的校正值小于适当值，因此可能发生由于使用该校正值而使图像周边的亮度减小的校正不足状态。否则，由于该校正值大于适当值，因此可能发生使图像周边的亮度增大的过校正状态。只要镜头单元的光学状态正在变化，则被摄体图像呈现的方式也变化，因此校正不足或过校正在图像上不明显，但紧挨在镜头单元的光学状态的变化停止之后，校正不足或过校正变得明显。
[0014]为了使校正所延迟的校正延迟时间尽可能短，可以设想紧挨在计算新的校正值结束之后，使用该新的校正值来校正图像。例如，假定由于校正延迟而使图像处于校正不足，当将该校正不足的图像改变为适当校正的图像时，对于用户而言看上去暗的图像的周边逐渐变亮。此时，如果镜头单元的光学状态的变化量大，则图像周边的亮度水平的增加量也变大，从而使亮度水平的变化明显。结果，用户将该变化感知为图像的闪烁，因此给该用户带来不适感。
[0015]为了解决该问题，可以设想以下方法:即使在新的校正值的计算结束之后，代替立即使用该新的校正值校正图像，使原来的校正值逐渐转变为该新的校正值。然而，假定由于校正延迟而使图像过校正，即使新的校正值的计算结束，也不能从过校正状态即时对该图像进行校正。由于过校正的图像与校正不足的图像相比更加明显，因此如果图像的过校正状态被维持或保持不校正，则给用户带来不适感。
[0016]在校正失真像差或色像差时发生相同的问题。例如，在为了校正图像整体形状的失真所进行的失真像差校正中，校正前的图像的一部分的区域不包括在进行失真像差校正后的图像中。由于该原因，图像中包括的被摄体的范围根据失真像差校正的量而不同。因此，当失真像差校正的量急剧变化时，视角中包括的被摄体范围的变化明显，从而给用户不适感。此外，当在失真像差校正中发生过校正时，图像被失真为更加不自然的形状，并且当图像的该不自然的失真状态被维持或保持不校正时，给用户带来不适感。
【发明内容】
[0017]本发明提供了如下结构:该结构使得可以获得使镜头单元的光学状态的变化不会给用户带来不适感的校正后的图像(因此，使光学单元的状态变化产生给用户带来不适感的校正后的图像的机率降低)。
[0018]根据本发明的第一方面，提供一种摄像设备，包括:摄像单元，用于对被摄体的已通过光学构件的光学图像进行光电转换，由此将所述光学图像作为图像数据输出；获取单元，用于获取所述光学构件的状态；第一计算单元，用于基于所述光学构件的特性信息和由所述获取单元获取的所述光学构件的状态，计算用于校正由于所述光学构件的特性引起的图像质量劣化的第一校正值；第二计算单元，用于设置第二校正值接近所述第一校正值的变化率，并且根据所述第一校正值和所述变化率来重复计算所述第二校正值；以及校正单元，用于基于由所述第二计算单元计算出的所述第二校正值来校正所述图像数据，其中，所述第二计算单元根据过去计算出的所述第二校正值的先前值和所述第一校正值之间的关系来设置所述变化率。
[0019]根据本发明的第二方面，提供一种摄像设备的控制方法，所述摄像设备设置有摄像单元，所述摄像单元用于对被摄体的已通过光学构件的光学图像进行光电转换，由此将所述光学图像作为图像数据输出，所述控制方法包括以下步骤:获取所述光学构件的状态；基于所述光学构件的特性信息和所获取的所述光学构件的状态，计算用于校正由于所述光学构件的特性引起的图像质量劣化的第一校正值；设置第二校正值接近所述第一校正值的变化率，并且根据所述第一校正值和所述变化率来重复计算所述第二校正值；以及基于所述第二校正值来校正所述图像数据，其中，根据过去计算出的所述第二校正值的先前值和所述第一校正值之间的关系来设置所述变化率。
[0020]根据本发明的第三方面，提供一种存储有计算机可执行程序的计算机可读非易失性存储介质，所述计算机可执行程序用于使计算机执行摄像设备的控制方法，所述摄像设备设置有摄像单元，所述摄像单元用于对被摄体的已通过光学构件的光学图像进行光电转换，由此将所述光学图像作为图像数据输出，其中，所述控制方法包括以下步骤:获取所述光学构件的状态；获取所述光学构件的状态；基于所述光学构件的特性信息和所获取的所述光学构件的状态，计算用于校正由于所述光学构件的特性引起的图像质量劣化的第一校正值；设置第二校正值接近所述第一校正值的变化率，并且根据所述第一校正值和所述变化率来重复计算所述第二校正值；以及基于所述第二校正值来校正所述图像数据，其中，根据过去计算出的所述第二校正值的先前值和所述第一校正值之间的关系来设置所述变化率。
[0021]根据本发明，可以获得使镜头单元的光学状态的变化不会给用户带来不适感的校正后的图像(因此，即使当存在光学单元的状态变化时，也使得可以获得使给用户带来不适感的机率下降的校正后的图像)。
[0022]通过以下结合附图所进行的详细说明，本发明的特征和优点将变得更加明显。
【专利附图】
【附图说明】
[0023]图1是根据本发明第一实施例的摄像设备的示意框图。
[0024]图2(A)?(C)是用于说明在光圈打开的情况下镜头单元的变焦位置从远摄侧改变为广角侧时发生的周边光量下降的校正示例的图。[0025]图3A?3C是用于说明在光圈打开的情况下镜头单元的变焦位置从广角侧改变为远摄侧时发生的周边光量下降的校正示例的图。
[0026]图4是由摄像设备的系统控制器执行的周边光量校正处理的流程图。
[0027]图5是示出在根据本发明第二实施例的摄像设备中像高和失真像差校正时使用的校正值之间的关系的图。
[0028]图6是由摄像设备的系统控制器执行的失真像差校正处理的流程图。
【具体实施方式】
[0029]以下将参考示出本发明实施例的附图来详细说明本发明。
[0030]图1是根据本发明第一实施例的摄像设备的示意框图。
[0031]如图1所示，摄像设备100包括作为光学构件的镜头单元10，该镜头单元10包括调焦透镜10a、变焦透镜10b、光圈快门IOc和镜头特性信息记录器10d。镜头特性信息记录器IOd记录包括镜头ID、镜头焦距和离散校正值等的信息。
[0032]镜头特性信息记录器IOd中记录的数据包括通过信号处理校正由于镜头单元10引起的、诸如周边光量下降、色像差、遮光、球面像差和失真像差等的各种图像质量劣化时使用的数据。
[0033]当光圈快门IOc打开时，已经通过调焦透镜IOa和变焦透镜IOb的光学图像入射摄像元件14。摄像元件14对该光学图像进行光电转换，并将光学图像作为模拟图像信号输出。A/D转换器16将从摄像元件14输出的模拟图像信号转换成数字图像数据。
[0034]在存储器控制器22和系统控制器50的控制下，定时信号生成电路18将时钟信号、控制信号等供给至摄像元件14、A/D转换器16和D/A转换器26。
[0035]图像处理电路20对从A/D转换器16传送来的图像数据或从存储器控制器22传送来的图像数据执行诸如像素插值处理和颜色转换处理等的预定图像处理。此外，图像处理电路20使用从A/D转换器16传送来的图像数据执行预定计算处理。基于预定计算处理的结果，系统控制器50执行用于控制光圈快门驱动部40和调焦透镜驱动部42的基于TTL(through-the-lenS，通过镜头)方法的自动曝光控制处理和自动调焦处理以及针对闪光灯48的自动发光控制处理。
[0036]此外，图像处理电路20使用从A/D转换器16传送来的图像数据执行预定计算处理，并且基于预定计算处理的结果还执行利用TTL方法的自动白平衡处理。
[0037]面部识别电路21在被摄体图像中识别(检测)人物图像、特别是人物面部，并将检测结果发送至系统控制器50。
[0038]系统控制器50基于面部识别电路21的面部检测结果，控制调焦透镜驱动部42以聚焦于面部，并且调整要从闪光灯48发出的光量。此外，系统控制器50根据面部识别电路21的面部检测结果，使图像处理电路20执行自动白平衡处理。
[0039]存储器控制器22控制A/D转换器16、定时信号生成电路18、图像处理电路20、图像显示存储器24、D/A转换器26、存储器30和压缩/扩展电路32。经由图像处理电路20和存储器控制器22或者仅经由存储器控制器22，将从A/D转换器16输出的图像数据写入图像显示存储器24或存储器30中。
[0040]存储器30用作用于在视频拍摄期间以预定速率将图像连续写入记录介质驱动器200的未示出的记录介质中的帧缓冲器。存储器30还用作系统控制器50的工作区域。压缩/扩展电路32读取存储器30中存储的图像数据以对该图像数据执行压缩处理或扩展处理，并将处理后的图像数据再次写入存储器30中。
[0041]光圈快门驱动部40基于图像处理电路20的计算结果驱动光圈快门10c，以控制光圈和快门速度。调焦透镜驱动部42基于图像处理电路20的计算结果驱动调焦透镜10a，以执行自动调焦控制。变焦透镜驱动部44根据控制台部70进行的变倍操作驱动变焦透镜IOb0闪光灯48具有投射自动调焦辅助光并控制闪光灯光的功能。
[0042]系统控制器50包括未示出的CPU和未示出的存储器，并且控制摄像设备100的整体操作。存储器52存储系统控制器50的操作用的常量和变量和计算机程序(基本程序)
坐寸o
[0043]非易失性存储器56由例如能够电删除/记录数据的EEPROM来实现，并且用作用于存储计算机程序等的存储器。非易失性存储器56中存储的计算机程序包括用于使系统控制器50执行以下参考图4所述的周边光量校正处理的应用程序。此外，非易失性存储器56存储诸如菜单画面和曝光校正/AEB(Auto Exposure Bracketing,自动包围曝光)配置画面等的⑶I (Graphical User Interface,图形用户接口)画面上所配置的设置值等。
[0044]主开关60接通(ON)和断开(OFF)摄像设备100的电源。此外，可以利用主开关60的操作来同时接通和断开连接至摄像设备100的记录介质驱动器200的电源。
[0045]快门开关(SWl) 62通过释放按钮的第一冲程操作(半按下)接通，并且指示系统控制器50开始自动调焦处理、自动曝光控制处理等的操作。快门开关(SW2)64通过释放按钮的第二冲程(全按下)接通，并且指示系统控制器50开始包括曝光处理、显影处理和记录处理的一系列摄像处理的操作。
[0046]控制台部70包括均未示出的各种按钮和开关以及触摸面板。这些按钮例如包括菜单按钮、设置按钮、菜单移动按钮和压缩模式开关等。系统控制器50根据来自控制台部70的信号进行各种操作。
[0047]应当注意，使用压缩模式开关来选择JPEG压缩的压缩率或选择以下的CCDRAW模式，其中在该CCDRAW模式中，对来自摄像元件14的信号进行数字化，并将数字化后的信号在未压缩的情况下记录在记录介质驱动器200的记录介质中。
[0048]可以例如在正常模式和精细模式之间切换JPEG压缩用的模式。当重视拍摄到的图像的数据大小时，选择正常模式，并且当重视拍摄到的图像的图像质量时，选择精细模式。
[0049]在JPEG压缩模式下，读出从摄像元件14读取的并且经由A/D转换器16、图像处理电路20和存储器控制器22写入存储器30中的图像数据。然后，压缩/扩展电路32以所设置的压缩率对图像数据进行压缩，并将压缩后的图像数据记录在记录介质驱动器200的记录介质中。
[0050]在CCDRAM模式下，读出根据摄像元件14的拜尔模式彩色滤波器的像素阵列以线为单位所读出的并且经由A/D转换器16和存储器控制器22写入存储器30中的图像数据，并将该图像数据记录在记录介质驱动器200的记录介质中。对运动图像记录按钮73进行操作，以给出用于将拍摄到的运动图像数据记录在存储器30或记录介质驱动器200的记录介质中的指示。[0051 ] 接口(I/F) 90提供与记录介质驱动器200的接口，并且连接器92提供与记录介质驱动器200的连接。记录介质驱动器200包括接口(I/F) 204和记录部202。记录介质驱动器200经由连接器206可移除地连接至摄像设备100，并将由摄像设备100拍摄的运动图像数据和静止图像数据记录并存储在记录介质驱动器200的记录介质中。在将运动图像数据或静止图像数据记录并存储在记录介质驱动器200的记录介质的情况下，可以进行图像校正，以抑制由于镜头单元10的特性引起的图像质量劣化。
[0052]图像显示部28显示写入图像显示存储器24中的、使用D/A转换器26顺次转换成模拟信号的图像数据，由此实现电子取景器(EVF)功能、即所谓的实时取景(LV)功能。
[0053]应当注意，图像显示部28响应于来自系统控制器50的指示，接通或断开电子取景器(EVF)功能。当接通实时取景(LV)功能时，可以进行图像校正，以抑制由于镜头单元10的特性引起的图像质量劣化。
[0054]在该图像校正中，当接通电源时或当可互换镜头(镜头单元10)连接至摄像设备时，系统控制器50从镜头特性信息记录器IOd读取与镜头单元10有关的特性信息。
[0055]如之前部分所涉及的，该镜头特性信息包含镜头单元10的包括ID、打开光圈值以及远摄端焦距和广角端焦距的特性信息。
[0056]镜头状态信息获取部15按预定定时例如以帧为单位来获取镜头单元10的当前状态。
[0057]具体地，镜头状态信息获取部15获取来自光圈快门驱动部40的当前光圈值、来自变焦透镜驱动部44的当前焦距(变焦位置)以及来自调焦透镜驱动部42的当前聚焦位置。要理解，可以根据需要获取图像校正所需的其它镜头状态。
[0058]系统控制器50将从镜头特性彳目息记录器IOd犹取的镜头特性彳目息和从镜头状态信息获取部15获取的镜头状态信息发送至校正值计算部23。
[0059]校正值计算部23基于接收到的镜头特性信息和镜头状态信息，计算诸如校正由于镜头单元10引起的周边光量下降时使用的校正系数、校正由于镜头单元10引起的失真像差时使用的校正系数以及校正由于镜头单元10引起的色像差时使用的校正系数等的各种校正值。
[0060]可以基于根据镜头状态信息和镜头特性信息预先计算出并进行存储的校正值来计算校正值，或者可选地，可以使用从基于镜头状态信息和镜头特性信息的一般光学方程式推导出的近似值来计算校正值。
[0061]系统控制器50使用以下所述的应用率等，再计算由校正值计算部23计算出的校正值，并将再计算出的校正值发送至图像处理电路20。图像处理电路20基于接收到的校正值，对由于镜头单元10的特性引起的多种类型的图像劣化进行校正。
[0062]在一些情况下，如以上所述，校正值计算部23计算校正值需要相对长的时间，因此，依赖于计算处理所需的时间，无法实时进行图像校正。
[0063]在这种情况下，例如，可以设想每隔数帧计算一次校正值并且按延迟后的定时执行图像校正处理的方法。然而，当按延迟后的定时执行图像校正处理时，校正后的图像的外观可能劣化。例如，当如上所述每隔数帧计算一次与周边光量下降有关的校正值时，出现以下所述的问题。
[0064]图2 (A)?(C)示出在光圈打开时镜头单元10的变焦位置从远摄侧改变为广角侧的情况。
[0065]图2 (A)的视图⑵示出了在镜头单元10位于远摄侧并且光圈打开的情况下拍摄均匀亮度面的图像时入射摄像元件114的光量。如从图2(A)的视图(2)显而易见，光量向着图像的周边减少。图2(A)的视图⑴示出了通过校正图2(A)的视图⑵所示的图像的周边光量下降所获得的亮度均匀的图像。
[0066]当在这种状态下镜头单元10的变焦位置改变为广角侧时，焦距变得更短。结果，对于入射摄像元件14的光量，与镜头单元10的变焦位置位于远摄侧时相比，例如通过余弦四次方定律使图像周边的光量进一步减少，并且呈现图2(B)的视图(2)所示的状态。
[0067]此时，由于上述原因因而难以实时校正周边光量下降，因此不得不暂时使用获得图2(A)的视图⑴所示的图像所使用的校正值。结果，如图2(B)的视图⑴所示，在没有对周边光量下降进行完全校正的状态下，输出校正后的图像。为了解决该问题，基于镜头单元10的状态已经改变的信息来再计算校正值，并且使用新获得的校正值来校正周边光量下降，由此可以获得如图2(C)的视图(I)所示的已适当校正了周边光量下降的图像。
[0068]在这种情况下，从图2(B)的视图(I)切换至图2(C)的视图(I)存在自用户实际改变了焦距的时间点起的时滞。由于该原因，用户将该用户并未操作摄像元件14时发生的周边亮度的突然变化识别为画面的闪烁。
[0069]假定在上述例子中，图2(C)的视图⑵示出当获得图2(C)的视图(I)中的图像时入射摄像元件114的光量，图2(B)的视图⑵中镜头单元10的光学状态与图2(C)的视图(2)中镜头单元10的光学状态相同。
[0070]如果与对应于图2(B)的视图⑵的镜头单元10的变焦位置相比、对应于图2(C)的视图(2)的镜头单元10的变焦位置进一步向着广角端改变，则也没有完全校正图2(C)的视图(I)所示的图像中的周边光量下降。只要镜头单元10的变焦位置向着广角端连续变化，该状态就重复显现，并且在变焦位置的改变完成之后(因此完成镜头单元的变焦位置的调整时)，获得适当校正了周边光量下降的图像。然而，在镜头单元10的变焦位置向着广角端变化的同时，拍摄用的视角也变化，因此周边光量下降不太明显。因此，问题并非是在变焦位置变化时发生的画面闪烁，而是在变焦位置的改变完成之后(因此完成镜头单元的变焦位置的调整时)发生的画面闪烁。
[0071]图3A?3C示出在光圈打开时镜头单元10的变焦位置从广角侧改变为远摄侧的情况。
[0072]图3A的视图⑵示出在镜头单元10位于广角侧并且光圈打开的情况下拍摄均匀亮度面的图像时入射摄像元件14的光量。如从图3A的视图(2)显而易见，光量向着图像的周边减小。图3A的图(I)示出通过校正图3A的视图(2)所示的图像的周边光量下降所获得的亮度均匀的图像。
[0073]之后，当用户将镜头单元10的变焦位置改变为远摄侧时，焦距变得更长。结果，与镜头单元10的变焦位置位于广角侧时相比，图像周边的光量下降进一步减少(即，图像周边的光量增加)，并且呈现图3B的视图⑵所示的状态。
[0074]然而，与以上相同，在变焦位置改变之后并且在计算出适当的校正值之前发生时滞，因此对于与图3B的视图⑵相对应的图像，不得不使用与获得与图3A的视图⑴相对应的图像所使用的校正值相同的校正值。结果，获得了如图3B的视图(I)所示的、周边光量被过校正的图像。之后，获取所需的镜头信息以再计算校正值，由此获得了图3C的视图
(I)所示的适当校正后的图像。
[0075]这里，在本实施例中，在不会给用户带来不适感的情况下，对由于镜头单元10的特性造成了劣化的图像质量进行校正。
[0076]图4是由本实施例的摄像设备100的系统控制器50执行的周边光量校正处理的流程图。系统控制器50的CPU及相关部件通过将诸如非易失性存储器56等的存储单元中存储的程序载入RAM中，来执行图4所示的周边光量校正处理。
[0077]首先，在步骤S401中，在对运动图像应用周边光量校正的状态下记录该运动图像或利用LV功能显示该运动图像期间，系统控制器50判断与当前帧的图像相对应的镜头单元10的光学状态是否已从与前一帧的图像相对应的镜头单元10的光学状态改变。
[0078]在本步骤中，系统控制器50通过判断镜头状态信息获取部15是否能够检测到(已经检测到)镜头单元10的状态变化来进行该判断。在这种情况下，相对于镜头单元10的实际状态变化的微小时滞是可容许的。如果在步骤S401中系统控制器50判断为镜头单元10的状态已改变，则系统控制器50进入步骤S402，而如果镜头单元10的状态没有改变，则系统控制器50进入步骤S408。
[0079]在步骤S402中，系统控制器50从镜头状态信息获取部15获取包括改变后的焦距、改变后的光圈值等的镜头状态信息，然后进入步骤S403。
[0080]在步骤S403中，系统控制器50基于在步骤S402中获取得到的镜头状态信息和预先从镜头特性信息记录器IOd读取的镜头特性信息，使校正值计算部23计算目标校正值^，然后进入步骤S404。
[0081]在步骤S404中，系统控制 器50对步骤S403中计算出的目标校正值P和根据当前帧之前的帧计算出的当前设置的校正值a进行比较。如果目标校正值P大于校正值a，则系统控制器50进入步骤S405，而如果目标校正值P不大于校正值a，则系统控制器50进入步骤S406。
[0082]应当注意，没有特别限制校正值a和P，只要它们表示用于校正周边光量下降的校正值即可。例如，校正值a和0可以是与特定像高相关联的校正增益、或利用一般光学近似表达式计算周边光量校正值时使用的系数。
[0083]目标校正值0大于校正值a的情况与镜头单元10从远摄侧移动至广角侧的状态相对应，而目标校正值3不大于校正值a的情况与镜头单元10从广角侧移动至远摄侧的状态相对应。
[0084]在步骤S405中，为了防止图像闪烁，系统控制器50选择在根据所拍摄运动图像的帧频确定应用率A和B中较小的应用率B的值时使用的针对该应用率B的表，以将应用率B设置成:与设置应用率A时相比，在周边光量校正时，较迟达到目标校正值P。然后，系统控制器50进入步骤S407。
[0085]在步骤S406中，为了即时校正周边光量的过校正，系统控制器50选择在根据所拍摄运动图像的帧频确定应用率A的值时使用的针对该应用率A的表，以将应用率A设置成:与设置应用率B时相比，在周边光量校正时，较早达到目标校正值P，然后系统控制器50进入步骤S407。没有特别限制应用率A和B，只要它们表示校正值从当前校正值a接近目标校正值P的速率即可(因此，它们表示校正值从当前校正值a开始接近目标校正值@的速率)。
[0086]在步骤S407中，系统控制器50通过根据所拍摄运动图像的帧频搜索步骤S405或S406中选择出的表，来确定并设置应用率B或A，然后进入步骤S408。
[0087]现在，将说明根据所拍摄运动图像的帧频确定应用率A或B的值的原因。假设在帧频为60fps的情况和帧频为30fps的情况这两者下，当前校正值a、目标校正值0、应用率A和应用率B各自均采用相同的值。如果在上述条件下使用以下所述的校正值Y计算方法，则当帧频变化时，校正值收敛于目标校正值P所需的时间变得不同。假定校正值收敛于目标校正值P需要6个帧，如果帧频为60fps，则收敛所需的时间等于(6X1/60)秒即
0.1秒。另一方面，当帧频为30fps时，收敛所需的时间等于(6X 1/30)秒即0.2秒。也就是说，在用户看来，由于对校正不足或过校正进行校正所需的时间根据帧频而不同，因此相同程度的不足校正或过校正看上去不同。因此，为了不给用户带来不适感，需要改变应用率A和B，以使得校正值收敛于目标校正值P需要相同的时间，而与帧频无关。
[0088]在本实施例中，非易失性存储器56预先存储与各帧频相关联地设置应用率A和B的值的、针对应用率A和B的前述各表，并且系统控制器50根据当前校正值a和目标校正值@之间的比较结果来选择针对应用率A和B的各表的其中之一，并且根据所设置的帧频从所选择的表中读出应用率A或B的值。可选地，非易失性存储器56可以仅存储与这些帧频的其中之一相关联的应用率A和B的值。在这种情况下，系统控制器50基于所存储的应用率A和B的值，根据所设置的帧频，以满足上述条件的方式来计算应用率A和B。因而，SP使当以不同的帧频记录或显示图像时，也可以通过设置如上所述根据帧频所确定出的应用率A和B的其中之一，以相同的时间间隔进行周边光量校正，这可以使校正时间更接近应用校正的目标时间段。
[0089]在步骤S408中，系统控制器50使用目标校正值P、当前校正值a和应用率A或B来计算校正值Yb)，然后进入步骤S409。例如，假定应用率A的值等于0.8并且应用率B的值等于0.6，则通过以下等式(I)和(2)来分别计算使用应用率A的情况的校正值Ya和使用应用率B的情况的校正值yb。
[0090]YA=(3-a ) X0.8+a …(I)
[0091]YB=(3 _a ) X0.6+a...(2)
[0092]如果步骤S401的问题的答案为否定(“否”)，则使用在前次循环中获得的目标校正值P以及应用于前一帧的校正值a和应用率A或B来计算校正值然后进入步骤S409。
[0093]在步骤S409中，系统控制器50将校正值a更新为校正值Y，然后使图像处理电路20使用更新后的校正值a来校正周边光量，然后返回至步骤S401。
[0094]只要镜头状态正在变化，就通过以帧为单位重复执行图4中的周边光量校正处理，在步骤S403中随时更新目标校正值P，从而以有时滞地跟随根据镜头状态而改变的目标校正值3的方式来平滑地对校正值a进行更新。然后，当使镜头状态稳定成稳定状态时，在与应用率A或B相对应的时间段内，校正值a逐步接近目标校正值3。
[0095]在本实施例中，系统控制器50利用使已经设置的当前校正值a接近目标校正值^的时间常数(变化率)来更新校正值，并且根据镜头单元10的光学状态变化的方式来切换表示该时间常数的应用率。具体地，与镜头单元10的光学状态按照周边光量下降的程度减小的方式而变化的情况相比，在镜头单元10的光学状态按照周边光量下降的程度增大的方式而变化的情况下，系统控制器50将时间常数设置为较大的值(即，将应用率设置为较小的值)。
[0096]如上所述，根据本实施例，在对由于镜头单元10的操作引起其图像质量劣化的图像进行周边光量下降的校正时使用的目标校正值从较大的值变为较小的值的情况下，校正值快速地收敛于目标校正值，由此可以获得即时对周边光量下降的过校正进行了校正的运动图像。另一方面，在对由于镜头单元10的操作引起其图像质量劣化的图像进行周边光量下降的校正时使用的目标校正值从较小的值变为较大的值的情况下，校正值缓慢地收敛于目标校正值，由此可以获得抑制了图像闪烁的运动图像。这使得可以在镜头单元10的光学状态改变时，获得不会给用户带来不适感的校正后的图像。
[0097]应当注意，即使在校正相同的运动图像的情况下，用于定义时间常数的大小的应用率A和B的值也可能根据摄像设备是处于记录用的运动图像拍摄模式还是处于并非记录用的实时取景(LV)模式而变化。可能缓慢地再现通过运动图像拍摄所存储的运动图像。因此，与LV模式相比，在运动图像拍摄模式下，可以将应用率设置为较小的值(S卩，将时间常数设置为较大的值)。
[0098]此外，只要镜头单元10的光学状态正在变化，入射摄像元件14的被摄体光就会变化，这使得周边光量下降不明显。由于该原因，系统控制器50在镜头单元10的光学状态正在变化时可以不更新校正值，而是(例如，通过判断镜头单元的光学状态在预定数量的帧内是否保持恒定)在镜头单元10的光学状态的改变已经完成之后，使用时间常数来更新校正值。可选地，系统控制器50在镜头单元10的光学状态正在变化期间，可以不使用时间常数而使用计算出的目标校正值来更新校正值，并且系统控制器50在镜头单元10的光学状态的改变已经完成之后，使用时间常数来更新校正值。
[0099]接着，将参考图5和6来说明根据本发明第二实施例的摄像设备。应当注意，使用第一实施例的附图和附图标记来说明与上述第一实施例相同或相应的部分。
[0100]在本实施例中，将说明图像的失真像差的校正。对于周边光量下降，除了特殊情况以外，图像周边的亮度不会高于该图像的中央部分的亮度。因此，总是通过增大图像周边的增益来校正图像的周边光量下降。另一方面，对于失真像差，存在两类图像质量劣化，即图像相对于理想状态(即，利用无像差镜头进行拍摄的状态)向内失真的状态(所谓的桶形失真(barrel distortion))以及图像相对于理想状态向外失真的状态(枕形失真(pin-cushion distortion))。也就是说,镜头单元10的光学状态可以从桶形失真状态和枕形失真状态这两个状态中的一个状态经由理想状态变为另一状态。
[0101]图5是示出像高和失真像差校正时使用的校正值之间的关系的图。参考图5，纵轴的正方向表不桶形失真像差校正用的校正值，并且不出:该值越闻，发生的桶形失真像差的失真量越大。另一方面，纵轴的负方向表示枕形失真像差校正用的校正值，并且示出:该值越低，发生的枕形失真像差的失真量越大。
[0102]图6是由本实施例的摄像设备的系统控制器50执行的失真像差校正处理的流程图。系统控制器50的CPU及相关部件通过将诸如非易失性存储器56等的存储单元中存储的程序载入RAM中，来执行图6所示的失真像差校正处理。
[0103]在步骤S501中，系统控制器50判断与当前帧的图像相对应的镜头单元10的光学状态是否已从与前一帧的图像相对应的镜头单元10的光学状态改变。
[0104]在本步骤中，系统控制器50判断镜头状态信息获取部15是否能够检测到镜头单元10的状态变化。在这种情况下，相对于镜头单元10的实际状态变化的微小时滞是可容许的。如果在步骤S501中系统控制器50判断为镜头单元10的状态已经改变，则系统控制器50进入步骤S502，而如果镜头单元10的状态没有改变，则系统控制器50进入步骤S510。
[0105]在步骤S502中，系统控制器50从镜头状态信息获取部15获取包括改变后的焦距、改变后的光圈值等的镜头状态信息，然后进入步骤S503。
[0106]在步骤S503中，系统控制器50基于步骤S502中获取得到的镜头状态信息和预先从镜头特性信息记录器IOd中读取出的镜头特性信息，使校正值计算部23计算目标校正值^，然后进入步骤S504。
[0107]这里没有特别限制目标校正值P，只要可以使用该目标校正值P作为失真像差校正时使用的校正值即可。例如，目标校正值P可以是理想成像位置和实际成像位置之间的比率或差、或者失真像差校正时使用的一般光学近似表达式的系数。
[0108]在步骤S504中，系统控制器50判断针对当前帧之前的帧所计算出的当前设置的校正值a以及在本次循环中计算出的目标校正值P是否用于校正相同类型的失真。[0109]具体地，如果校正值a和目标校正值P均用于桶形失真像差校正或者均用于枕形失真像差校正，则系统控制器50判断为校正值a和目标校正值P是用于校正相同类型的失真的校正值，而如果不是，则系统控制器50判断为校正值a和目标校正值P是分别用于校正不同类型的失真的校正值。可以利用如沿着图5的纵轴所示的校正值的符号来判断该校正值是用于桶形失真像差校正还是用于枕形失真像差校正。
[0110]如果系统控制器50判断为校正值a和目标校正值P用于校正相同类型的失真，则系统控制器50进入步骤S506，而如果校正值a和目标校正值0不是用于校正相同类型的失真，则系统控制器50进入步骤S505。
[0111]在步骤S505中，系统控制器50选择在根据所拍摄运动图像的帧频确定比其它应用率B和C大的应用率A的值时使用的针对该应用率A的表，以确定校正值Yk,由此将校正值a更新为校正值YA。换言之，系统控制器50选择用于以与设置应用率B或C时相t匕、在失真像差校正时较早达到目标校正值P的方式设置时间常数(变化率)的表，然后进入步骤S509。
[0112]在校正值a和目标校正值0用于校正不同类型的失真的情况下，使用校正值a进行的校正将助长图像质量劣化。由于该原因，优选至少在将校正值a切换至用于抑制图像劣化的校正值之前，尽早使校正值a接近目标校正值3。
[0113]然而，针对从桶形失真状态变为枕形失真状态的图像，尝试尽早使校正值a接近目标校正值P，这引起了校正之后视角的变化大，从而可能使运动图像的闪烁明显。在这种情况下，可以采用如下方法:以两阶段来改变应用率，以使得能够在经过暂时不进行校正的状态之后使校正值a逐渐接近目标校正值3。
[0114]以下将基于例子来说明该方法。例如，当目标校正值@从由图5的(a)表示的值转变为由图5的(e)表示的值时，即当光学状态以要引起图像从桶形失真状态变为枕形失真状态的方式急剧转变时，如果图5的校正值(a)在一帧中变为图5的校正值(e)，则视角大幅变化。在这种情况下，图像在视角的波动方面变得明显。[0115]为了解决该问题，在桶形失真校正时使用的图5的校正值(a)转变为采用值0的图5的校正值(C)之前，应用用于尽早改变校正值的应用率Al(因此在(a)和(C)之间应用Al)，然后在图5的校正值(C)转变为图5的校正值(e)之前，应用用于相对缓慢地改变校正值的应用率A2(因此在(c)和(e)之间应用A2)。这使得可以在不引起过校正的情况下获得视角波动小的运动图像。在这种情况下，仅需要将应用率Al设置为比应用率A大，并且将应用率A2设置为比应用率A小，同时，将校正值a达到目标校正值P的时间设置为与设置应用率A时所需的时间相同的时间。
[0116]如果在步骤S504中判断为校正值a和目标校正值P用于校正相同类型的失真，则系统控制器50进入步骤S506，在步骤S506中，系统控制器50在校正值a的绝对值和目标校正值P的绝对值之间进行比较。如果I a |〈| ^ |，则系统控制器50进入步骤S507，而如果I a I≥I ^ I，则系统控制器50进入步骤S508。
[0117]当判断为目标校正值P不大于校正值a时，即当校正值a与例如图5的值(a)相对应并且目标校正值@与例如由图5的(b)表示的值相对应时，如果将图5的值(a)作为校正值a应用于与目标校正值P采用图5的值(b)的光学状态相对应的图像，则发生过校正。在这种情况下，如果由于镜头单元10的原因已经产生桶形失真，则校正后的图像呈枕形失真。由于原来呈桶形失真的图像变形为具有枕形失真的状态，因此与在对图像的校正不足时相比，该图像看上去更加不自然。这同样适用于对呈枕形失真的图像进行过校正、由此引起图像中的桶形失真的情况。
[0118]为了避免该问题，在步骤S508中，系统控制器50选择在根据所拍摄运动图像的帧频确定比应用率A小但比应用率C大的应用率B的值时使用的针对该应用率B的表，从而通过与设置应用率C时相比使校正值更早达到目标校正值P来即时消除过校正。然后，系统控制器50进入步骤S509。
[0119]当判断为目标校正值@大于校正值a时，即当校正值a与例如图5的值(b)相对应并且目标校正值P与例如图5的值(a)相对应时，如果将图5的值(b)作为校正值a应用于与目标校正值P采用图5的值(a)的光学状态相对应的图像，则发生校正不足。在步骤S507中，系统控制器50选择在根据所拍摄运动图像的帧频确定比应用率A和B小的应用率C的值时使用的针对该应用率C的表，然后进入步骤S509。当选择应用率C用的表时，与选择了应用率B用的表时相比，校正值更迟达到目标校正值P，从而使得可以减轻由于视角的变化而给用户带来的不适感。
[0120]在步骤S509中，系统控制器50通过根据所拍摄运动图像的帧频搜索步骤S505、S508或S507中选择出的表，来确定并设置应用率A、B或C，然后进入步骤S510。由于根据所拍摄运动图像的帧频来确定应用率A、B或C的值，因此以相同的时间间隔对帧频不同的图像中的失真像差进行校正，这可以使校正时间更接近应用校正的目标时间段。
[0121]在步骤S510中，系统控制器50使用目标校正值P、校正值a和应用率A、B或C来再计算校正值Y(YA、“或Y。)，然后进入步骤S511。应当注意，可以使用以下的与第一实施例中的等式(I)和(2)相同的各等式来计算校正值YA、“或Y。，其中在各等式中，将目标校正值P和当前设置的校正值a之间的差乘以反映时间常数(变化率)的应用率A、B或C，并将由此产生的乘积与当前设置的校正值a相加。
[0122]如果对步骤S501的问题的回答为否定(“否”)，则使用在前次循环中获得的目标校正值P以及应用于前一帧的校正值a和应用率A、B或C来再计算校正值然后进入步骤S510。
[0123]在步骤S511中，系统控制器50将校正值a更新为校正值Y，然后使图像处理电路20使用更新后的校正值a来校正失真像差,然后返回至步骤S501。
[0124]通过执行上述处理，即使在LV模式下或在运动图片记录模式下，也可以提供视角的波动和过校正均被抑制的良好运动图像。其它结构和有利效果与上述第一实施例的结构和有利效果相同。
[0125]失真像差包括图像根据像高而向内或向外失真的波形失真像差。然而，波形失真像差是桶形失真像差和枕形失真像差的组合，因此，对于所关注的像高，可以通过与以上所述的处理相同的处理来应对该波形失真像差。
[0126]对于色像差校正，通常，与周边光量校正或失真像差校正相比，极有可能将该色像差校正作为更精细的校正来进行，因此，即使发生微小的过校正或波动，用户也很有可能不会识别出该过校正或波动。
[0127]然而，在执行色像差校正的前提下形成的具有拍摄镜头的摄像设备能够通过与参考图6所述的处理相同的处理来校正色像差。在这种情况下，在RGB拜尔模式摄像设备中，可以通过按纵轴表示相对于与G相关联的像素的成像位置的偏移量和偏移方向的方式配置图5，来进行与R或B相关联的像素信号的校正。
[0128]应当注意，本发明不限于上述实施例，而是可以在不背离本发明的精神和范围的情况下，以各种形式来实施本发明。
[0129]还可以通过读出并执行存储装置上所记录的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等的装置)以及通过以下方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行存储装置上所记录的程序以进行上述实施例的功能，来进行该方法的各步骤。由于该目的，例如经由网络或者从用作存储装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。
[0130]本发明的实施例提供了能够形成不会给用户带来不适感的校正后的图像的摄像设备。在该设备中，摄像元件对光学图像进行光电转换，以将该光学图像作为图像数据输出。基于镜头单元的镜头特性信息和状态来计算用于校正由于镜头单元引起的图像质量劣化的目标校正值。系统控制器设置时间常数，以使当前校正值逐步接近目标校正值，并且根据该目标校正值和时间常数来重复计算校正值。基于重复计算出的校正值来校正图像数据。时间常数根据先前计算出的过去的校正值和目标校正值之间的关系而变化。
[0131]尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功倉泛。
[0132]本申请要求2009年11月30提交的日本专利申请2009-271909以及2010年11月19日提交的日本专利申请2010-259087的优先权，在此通过引用包含其全部内容。
【权利要求】
1.一种摄像设备，包括: 摄像单元，用于对被摄体的已通过光学构件的光学图像进行光电转换，由此将所述光学图像作为图像数据输出； 获取单元，用于获取所述光学构件的状态； 第一计算单元，用于基于所述光学构件的特性信息和由所述获取单元获取的所述光学构件的状态，计算用于校正由于所述光学构件的特性引起的图像质量劣化的第一校正值；第二计算单元，用于设置第二校正值接近所述第一校正值的变化率，并且根据所述第一校正值和所述变化率来重复计算所述第二校正值；以及 校正单元，用于基于由所述第二计算单元计算出的所述第二校正值来校正所述图像数据， 其中，所述第二计算单元根据所述光学构件的变焦位置是移动至远摄侧还是移动至广角侧来设置所述变化率。
2.根据权利要求1所述的摄像设备，其中，所述第二计算单元通过将所述第一校正值和所述第二校正值的先前值之间的差乘以与所述变化率相对应的系数所获得的值与所述第二校正值的所述先前值相加，来计算所述第二校正值。
3.根据权利要求1所述的摄像设备，其中，与所述光学构件的变焦位置移动至所述广角侧时相比，当所述光学构件的变焦位置移动至所述远摄侧时，所述变化率被设置得更大。
4.根据权利要求1所述的摄像设备，其中，由于所述光学构件的特性引起的图像质量劣化是由于周边光量下降引起的图像质量劣化、由于失真像差引起的图像质量劣化、以及由于色像差引起的图像质量劣化的其中一个。
5.一种摄像设备的控制方法，所述摄像设备设置有摄像单元，所述摄像单元用于对被摄体的已通过光学构件的光学图像进行光电转换，由此将所述光学图像作为图像数据输出，所述控制方法包括以下步骤: 获取所述光学构件的状态； 基于所述光学构件的特性信息和所获取的所述光学构件的状态，计算用于校正由于所述光学构件的特性引起的图像质量劣化的第一校正值； 设置第二校正值接近所述第一校正值的变化率，并且根据所述第一校正值和所述变化率来重复计算所述第二校正值；以及 基于所述第二校正值来校正所述图像数据， 其中，根据所述光学构件的变焦位置是移动至远摄侧还是移动至广角侧来设置所述变化率。
【文档编号】H04N5/235GK103647898SQ201310464591
【公开日】2014年3月19日 申请日期:2010年11月30日 优先权日:2009年11月30日
【发明者】白井邦宏 申请人:佳能株式会社