周期性地改变曝光条件的摄像设备和摄像设备的控制方法
【专利摘要】本发明提供一种周期性地改变曝光条件的摄像设备和摄像设备的控制方法。摄像设备在通过改变曝光条件来拍摄运动图像时，能够进行适当的图像评价。摄像单元拍摄被摄体的图像，并且驱动单元在光轴方向上驱动调焦透镜。控制电路通过使驱动单元在光轴方向上移动调焦透镜，来控制被摄体的聚焦状态。从每个图像获取焦点评价值。控制电路使摄像单元通过改变曝光时间来拍摄多段曝光图像组的图像，根据曝光时间选择图像，使用从所选择的图像获取的焦点评价值来更新驱动调焦透镜的方向，并且使驱动单元在更新后的驱动方向上移动调焦透镜。
【专利说明】周期性地改变曝光条件的摄像设备和摄像设备的控制方法
【技术领域】
[0001]本发明涉及一种进行对比度检测调焦控制的诸如数字照相机的摄像设备、摄像设备的控制方法和存储介质。
【背景技术】
[0002]当使用数字照相机拍摄户外的场景时，存在场景的亮度范围比可拍摄亮度范围宽的情况。在这种情况下，无法记录可拍摄亮度范围外部的被摄体的灰度信息，因此在拍摄的图像中形成高光溢出(blown-out highlight)或者暗部缺失(blocked-up shadow)。例如，在晴天户外拍摄人物的情况下，如果针对人物调节曝光，则可能存在拍摄的图像遭受作为背景的天空或者云中的高光溢出或者作为背景的树的树荫中的暗部缺失的情况。因此，在观看拍摄的图像时给出的印象有时与在实际观看场景时给出的印象不同。
[0003]作为解决上述问题的技术之一，已知HDR(高动态范围)处理。HDR处理基本包括动态范围增大处理和灰度压缩处理。
[0004]动态范围增大处理增大可拍摄动态范围，并且记录出现高光溢出或者暗部缺失的亮度范围的灰度信息。根据其通常的方法，对通过针对相同的内容改变曝光而拍摄的图像组(多段曝光图像组)进行合成(下文中将通过该动态范围增大处理所生成的图像称为HDR图像)。
[0005]另一方面，灰度压缩处理是使用具有窄动态范围的显示/输出装置以优选方式再现具有宽动态范围的HDR图像的图像处理，其使用针对HDR图像的亮度的低频分量使用压缩振幅等的方法。通过执行上述HDR处理，能够显示或者打印出高光溢出/暗部缺失减少的较佳图像(日本特开2007-215073)。
[0006]另一方面，在拍摄运动图像期间，许多数字照相机通过评价拍摄的图像的对比度来进行AF(自动调焦)控制。然而，在长曝光时间段、即以低快门速度拍摄的帧图像中，图像可能例如由于照相机抖动而离焦，导致高频分量丢失，因此不能总是精确地对对比度进行评价。
[0007]为了解决该问题，提出了如下技术，其中该技术用于以交替的方式依次进行短曝光时间段的摄像和长曝光时间段的摄像，并且使用长曝光时间段拍摄的帧进行显示和记录，而使用短曝光时间段拍摄的帧进行图像评价、例如进行AF(日本特开2009-141538)。
[0008]然而，上述日本特开2007-215073和日本特开2009-141538没有关于使用在各个曝光条件下拍摄的用于图像合成的图像进行图像评价的描述，其中，在为了生成具有宽动态范围的HDR运动图像而进行的运动图像拍摄中，通过改变曝光条件而拍摄了这些图像。
【发明内容】
[0009]本发明提供一种能够在通过改变曝光条件进行运动图像的拍摄期间进行适当的图像评价的摄像设备和摄像设备的控制方法。
[0010]在本发明的第一方面，提供一种摄像设备，其包括:摄像单元，用于拍摄被摄体的图像；驱动单元，用于在光轴的方向上驱动调焦透镜；控制单元，用于通过使所述驱动单元在所述光轴的方向上移动所述调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及评价值获取单元，用于从所述摄像单元输出的图像，获取焦点评价值，其中，所述控制单元使所述摄像单元通过改变曝光时间段来拍摄多段曝光图像组的图像，基于所述多段曝光图像组的图像的各曝光时间段而从所述多段曝光图像组中选择图像，使用从所选择的图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后的驱动方向上移动所述调焦透镜。
[0011]在本发明的第二方面，提供一种摄像设备，其包括:摄像单元，用于拍摄被摄体的图像；运动检测单元，用于检测所述摄像单元的运动量；驱动单元，用于在光轴的方向上驱动调焦透镜；控制单元，用于通过使所述驱动单元在所述光轴的方向上移动所述调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及评价值获取单元，用于从所述摄像单元输出的图像，获取焦点评价值，其中，所述控制单元使所述摄像单元通过周期性地改变曝光时间段来拍摄多段曝光图像组的图像，使用从所述多段曝光图像组中的如下图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后的驱动方向上移动所述调焦透镜，其中，所述运动检测单元在曝光期间针对上述的如下图像所获取的运动量比所述运动检测单元针对所述多段曝光图像组的其它图像所获取的运动量小。
[0012]在本发明的第三方面，提供一种摄像设备，用于通过改变曝光时间段来拍摄多段曝光图像组的图像，所述摄像设备包括:摄像单元，用于拍摄被摄体的图像；评价值获取单元，用于从所述摄像单元输出的图像，获取评价值；以及评价单元，用于使用从所述摄像单元所获得的所述多段曝光图像组中的曝光时间段最短的图像和曝光时间段比基准值短的图像中的至少一个所获取的评价值，来评价所述被摄体。
[0013]在本发明的第四方面，提供一种摄像设备，其具有正常运动图像拍摄模式和用于拍摄曝光时间段不同的多段曝光图像组的高动态范围运动图像拍摄模式，所述摄像设备包括:摄像单元，用于拍摄被摄体的图像；评价单元，用于根据所述摄像单元输出的图像来计算评价值，并且通过在多个图像的评价值之间进行比较来对所述被摄体进行评价；以及合成单元，用于对所述多段曝光图像组进行合成，从而生成具有宽动态范围的高动态范围图像，其中，在所述摄像设备设置为所述高动态范围运动图像拍摄模式时，所述评价单元通过利用获取各评价值的图像的明亮度而对该评价值进行标准化，来进行所述比较。
[0014]在本发明的第五方面，提供一种摄像设备的控制方法，所述摄像设备包括:摄像单元，用于拍摄被摄体的图像；以及驱动单元，用于在光轴的方向上驱动调焦透镜，所述控制方法包括:控制步骤，用于通过使所述驱动单元在所述光轴的方向上移动所述调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及从所述摄像单元输出的图像，获取焦点评价值，其中，所述控制步骤包括:使所述摄像单元通过改变曝光时间段来拍摄多段曝光图像组的图像，基于所述多段曝光图像组的图像的各曝光时间段而从所述多段曝光图像组中选择图像，使用从所选择的图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后的驱动方向上移动所述调焦透镜。
[0015]在本发明的第六方面，提供一种摄像设备的控制方法，所述摄像设备包括:摄像单元，用于拍摄被摄体的图像；以及驱动单元，用于在光轴的方向上驱动调焦透镜，所述控制方法包括:运动检测步骤，用于检测所述摄像单元的运动量；控制步骤，用于通过使所述驱动单元在所述光轴的方向上移动所述调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及从所述摄像单元输出的图像，获取焦点评价值，其中，所述控制步骤包括:使所述摄像单元通过周期性地改变曝光时间段来拍摄多段曝光图像组的图像，使用从所述多段曝光图像组中的如下图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后的驱动方向上移动所述调焦透镜，其中，所述运动检测步骤在上述的如下图像的曝光期间针对该图像所获取的运动量比所述运动检测步骤针对所述多段曝光图像组的其它图像所获取的运动量小。
[0016]在本发明的第七方面，提供一种摄像设备的控制方法，所述摄像设备通过改变曝光时间段来拍摄多段曝光图像组的图像，所述控制方法包括:从用于拍摄被摄体的图像的摄像单元输出的图像，获取评价值；以及使用从所述摄像单元所获得的所述多段曝光图像组中的曝光时间段最短的图像和曝光时间段比基准值短的图像中的至少一个所获取的评价值，来评价所述被摄体。
[0017]在本发明的第八方面，提供一种摄像设备的控制方法，所述摄像设备具有正常运动图像拍摄模式和用于拍摄曝光时间段不同的多段曝光图像组的高动态范围运动图像拍摄模式，所述控制方法包括:根据用于拍摄被摄体的图像的摄像单元输出的图像来计算评价值，并且通过在多个图像的评价值之间进行比较来对所述被摄体进行评价；以及对所述多段曝光图像组进行合成，从而生成具有宽动态范围的高动态范围图像，其中，在所述摄像设备设置为所述高动态范围运动图像拍摄模式时，通过利用获取各评价值的图像的明亮度而对该评价值进行标准化，来进行用于对所述被摄体进行评价的所述比较。
[0018]在本发明的第九方面，提供一种非瞬态计算机可读存储介质，其存储用于使计算机执行摄像设备的控制方法的控制程序，所述摄像设备包括:摄像单元，用于拍摄被摄体的图像；以及驱动单元，用于在光轴的方向上驱动调焦透镜，其中，所述控制方法包括:控制步骤，用于通过使所述驱动单元在所述光轴的方向上移动调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及从所述摄像单元输出的图像，获取焦点评价值，其中，所述控制步骤包括:使所述摄像单元通过改变曝光时间段来拍摄多段曝光图像组的图像，基于所述多段曝光图像组的图像的各曝光时间段而从所述多段曝光图像组中选择图像，使用从所选择的图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后的驱动方向上移动所述调焦透镜。
[0019]在本发明的第十方面，提供一种非瞬态计算机可读存储介质，其存储用于使计算机执行摄像设备的控制方法的控制程序，所述摄像设备包括:摄像单元，用于拍摄被摄体的图像；以及驱动单元，用于在光轴的方向上驱动调焦透镜，其中，所述控制方法包括:运动检测步骤，用于检测所述摄像单元的运动量；控制步骤，用于通过使所述驱动单元在所述光轴的方向上移动所述调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及从所述摄像单元输出的图像，获取焦点评价值，其中，所述控制步骤包括:使所述摄像单元通过周期性地改变曝光时间段来拍摄多段曝光图像组的图像，使用从所述多段曝光图像组中的如下图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后的驱动方向上移动所述调焦透镜，其中，所述运动检测步骤在上述的如下图像的曝光期间针对该图像所获取的运动量比所述运动检测步骤针对所述多段曝光图像组的其它图像所获取的运动量小。[0020]在本发明的第十一方面，提供一种非瞬态计算机可读存储介质，其存储用于使计算机执行摄像设备的控制方法的控制程序，所述摄像设备通过改变曝光时间段来拍摄多段曝光图像组的图像，其中，所述控制方法包括:从用于拍摄被摄体的图像的摄像单元输出的图像，获取评价值；以及使用从所述摄像单元所获得的所述多段曝光图像组中的曝光时间段最短的图像和曝光时间段比基准值短的图像中的至少一个所获取的评价值，来评价所述被摄体。
[0021]在本发明的第十二方面，提供一种非瞬态计算机可读存储介质，其存储用于使计算机执行摄像设备的控制方法的控制程序，所述摄像设备具有正常运动图像拍摄模式和用于拍摄具有不同曝光时间段的多段曝光图像组的高动态范围运动图像拍摄模式，其中，所述控制方法包括:从拍摄被摄体的图像的摄像单元输出的图像，获取评价值；根据用于拍摄被摄体的图像的摄像单元输出的图像来计算评价值，并且通过在多个图像的评价值之间进行比较来对所述被摄体进行评价；以及对所述多段曝光图像组进行合成，从而生成具有宽动态范围的高动态范围图像，其中，在所述摄像设备设置为所述高动态范围运动图像拍摄模式时，通过利用获取各评价值的图像的明亮度而对该评价值进行标准化，来进行用于对所述被摄体进行评价的所述比较。
[0022]根据本发明，当通过改变曝光条件来拍摄运动图像时，能够进行适当的图像评价。
[0023]从以下参考附图对实施例的描述，本发明的其它特征将变得明显。
【专利附图】
【附图说明】
[0024]图1是作为根据本发明的第一实施例的摄像设备的数字照相机的框图。
[0025]图2A至2G是用于说明由数字照相机进行的HDR处理和曝光控制的示例的图。
[0026]图3是用于说明多段曝光图像组的摄像和针对多段曝光图像组的曝光期间的运动量的检测的示例的时序图。
[0027]图4是示出针对图3所示的第一至第六帧的拍摄图像所发现的、曝光时间段和曝光期间的照相机抖动量之间的关系的图。
[0028]图5是控制电路针对每一帧拍摄所执行的自动调焦控制处理的流程图。
[0029]图6是示出由作为根据本发明的第二实施例的摄像设备的数字照相机执行的、用于对摄像装置要拍摄的每个图像进行曝光的处理和用于从摄像装置获取拍摄图像的处理的定时的时序图。
[0030]图7是用于说明基于对比度检测调焦控制中的爬山法进行调焦控制的图，其中，作为根据本发明的第三实施例的摄像设备的数字照相机基于这种调焦控制进行拍摄。
[0031]图8是示出紧挨在对帧进行处理之前的焦点评价值和曝光期间检测到的照相机抖动量之间的关系的图。
【具体实施方式】
[0032]现在，下面参考示出本发明的实施例的附图，详细描述本发明。首先，对根据本发明的第一实施例的摄像设备进行描述，该摄像设备在通过改变曝光条件来拍摄多个图像以根据如此拍摄的图像生成HDR运动图像时，获取图像评价值。
[0033]为了拍摄曝光不同的图像组，需要改变曝光时间段、光圈、ND(中性密度(neutraldensity))滤波器和对图像信号施加的增益中的至少一个。然而，很难以与运动图像的帧速率(例如30fps或60fps)匹配的高速来对光圈和ND滤波器进行精确的控制。
[0034]此外，随着对图像信号施加的增益的增大，图像信号的S/N比降低，这导致在图像上叠加噪声。根据上述，对于针对运动图像的HDR处理，有力的选择是通过改变曝光时间段来拍摄曝光不同的图像组。然而，如果允许上述图像质量等的劣化，则可以进行通过改变曝光时间段(电荷累积时间段)、F值(光圈和ND滤波器)以及对图像信号施加的增益(ISO感光度)中的一个来周期性地改变曝光条件的摄像。
[0035]长曝光时间段拍摄的帧受照相机抖动和被摄体运动模糊很大影响，这有时使得不能精确地进行图像评价。可以考虑如上述日本特开2009-141538中所公开的，仅使用短曝光时间段拍摄的帧来进行图像评价。然而，在这种情况下，不使用长曝光时间段拍摄的帧来进行图像评价，因此图像评价的采样率降低，并且例如在获取焦点评价值时，调焦操作延迟。
[0036]在仅使用短曝光时间段拍摄的帧来进行图像评价的情况下，可以考虑通过将传感器驱动方法切换为像素相加或者像素间隔剔除，由此以降低图像质量为代价在短时间段内读取图像信号，来防止采样率降低。然而，还使用短曝光时间段拍摄的帧来进行HDR处理，因此由于像素相加或者像素间隔剔除导致的低图像质量使得对用来进行显示和记录的图像的图像质量产生有害影响。因此，优选避免改变传感器驱动方法。
[0037]为了防止上述问题，在本实施例中，根据拍摄条件来选择要进行图像评价的图像。
[0038]图1是作为根据第一实施例的摄像设备的数字照相机的框图。
[0039]如图1所示，根据本实施例的数字照相机设置有布置在照相机主单元100前侧的镜头筒101。镜头筒101包括变焦透镜组、变焦机构、光圈、ND滤波器、调焦透镜102、用于在光轴方向上移动调焦透镜102的透镜驱动单元120等。透镜驱动单元120在光轴方向上移动调焦透镜102，由此调节要拍摄图像的被摄体的聚焦状态。
[0040]照相机主单元100包括摄像单元103、信号处理器104、显示和记录部108、显示部113、操作部112、存储介质109、运动检测部110、控制电路111等。此外，信号处理器104包括亮度获取部105、焦点评价值获取部106和图像合成部107。
[0041]摄像单元103包括摄像装置、采样和保持电路(S/H电路)和预处理电路，其根据指定的曝光时间段来拍摄被摄体的图像。存储介质109例如由闪速存储器来实现，运动检测部110例如由陀螺仪传感器来实现，操作部112例如由触摸面板来实现，并且显示部113例如由LCD(液晶显示器)来实现。控制电路111对数字照相机的总体操作进行控制。
[0042]通过镜头筒101的光学系统接收到的被摄体光具有由光圈和ND滤波器调节的光量。在摄像单元103中，被摄体光在摄像装置的光接收表面上形成图像，并且通过光电转换被转换为视频信号电荷。根据指定的曝光时间段来累积视频信号电荷。
[0043]由采样和保持电路对从摄像装置输出的视频信号进行采样和保持处理，之后将其供给至预处理电路，其中，在预处理电路中，在根据AGC(自动增益控制)处理施加增益之后，将视频信号从模拟转换为数字。将获得的数字视频信号供给信号处理器104。信号处理器104基于来自控制电路111的指令来对视频信号进行评价、校正、处理等，并且将校正并处理后的视频信号输出到显示和记录部108。
[0044]显示和记录部108基于来自控制电路111的指令，在显示部113上显示所输入的视频信号，并且在对视频信号执行帧内编码或者帧间编码之后，将其记录在存储介质109中。此外，显示和记录部108可以将视频信号转换为预定信号格式，然后将获得的视频信号输出到外部装置。
[0045]运动检测部110检测照相机主单元100的运动量，并且将检测到的运动量发送到控制电路111。
[0046]操作部112向控制电路111发送用户作出的指令。控制电路111根据从操作部112发送的由用户作出的指令，对数字照相机的总体操作进行控制。在本实施例中，使用操作部112，可以从至少以下两个拍摄模式中进行选择:用于拍摄并记录正常运动图像的正常运动图像拍摄模式、以及用于通过周期性地使曝光不同来拍摄HDR图像的运动图像的HDR运动图像拍摄模式。
[0047]亮度获取部105获取视频信号的亮度评价值。在本实施例中，亮度获取部105获取亮度分布作为亮度评价值。这是通过按照亮度对视频信号的所有像素进行计数而生成的直方图，并且控制电路111基于亮度分布来评价当前曝光是否合适。
[0048]此外，基于评价的结果，控制电路111计算诸如摄像单元103的曝光时间段、光圈值、增益和ND滤波器等的曝光参数(曝光条件)，并且指示根据计算的曝光参数配置摄像单元103和镜头筒101，由此获得针对要拍摄图像的被摄体的合适曝光。
[0049]焦点评价值获取部106获取对视频信号的对比度进行评价的评价值。进行根据对比度检测方法的焦点调节，使得通过根据预定函数对视频信号进行评价，来确定由镜头筒101形成的被摄体图像的锐度，并且调节调焦透镜102在光轴上的位置，使得锐度取极值。作为用于评价的预定函数，可以使用在焦点检测区域内将相邻像素之间的亮度信号的各个差的绝对值相加的函数、以及在焦点检测区域内将相邻像素之间的亮度信号的各个差的平方相加的函数。
[0050]焦点评价值获取部106向控制电路111发送使用这种检测方法进行的聚焦状态的评价的结果作为焦点评价值。控制电路111基于从焦点评价值获取部106接收到的焦点评价值计算调焦透镜102的驱动量，并且指示镜头筒101的透镜驱动单元120以所计算的驱动量驱动调焦透镜102。
[0051]图像合成部107针对通过以N阶段改变曝光而依次拍摄的N段曝光图像组进行位置调节，从而以包含在图像组中的一个帧为基准，对由于照相机抖动或者被摄体的运动而导致的另一帧相对于该一个帧的偏移进行校正。
[0052]此外，图像合成部107对N个帧的图像组进行合成，由此获得动态范围增大的HDR图像的一个帧。此外，图像合成部107进行用于将灰度压缩到显示并记录图像的显示和记录部108可以输出的窄动态范围的处理，并且将获得的图像输出到显示和记录部108。
[0053]注意，在本实施例中，通过N个帧的图像组的加权相加来生成HDR图像。然而，用于生成HDR图像的合成处理不限于此，应当理解，合成处理包括通过单纯基于来自一个图像的每个区域的信号而选择性地输出要使用的图像来生成HDR图像的处理。
[0054]此外，虽然可以将摄像和输出(显示和记录)之间的帧速率设置为N: 1，但是在本实施例中，每次将在合成中使用的获取了各个拍摄图像的N个帧的范围偏移一个帧，以合成N段曝光图像组，由此将帧速率设置为1:1。
[0055]接下来，参考图2A至2G，对HDR运动图像拍摄模式下的曝光控制的示例进行描述。[0056]在该示例中，假设根据通过相对于基准曝光以两个阶段改变曝光而拍摄的图2A所不的売图像201和图2B所不的暗图像202的两个巾贞，获得了图2C所不的一巾贞合成图像203。
[0057]图2D是亮度获取部105通过对亮图像201进行评价而获得的直方图，图2E是亮度获取部105通过对暗图像202进行评价而获得的直方图，并且图2F是合成图像203的直方图。图2G是示出拍摄的两个帧的曝光时间段的图，其中，相对于用作基准的曝光时间段Tmid,以Thigh来表示亮图像201的曝光时间段，以Tlow来表示暗图像202的曝光时间段。
[0058]如果在图2D所示的亮图像201的直方图中，亮度不高于预定亮度值Llow的区域207的面积的积分值不低于预定值，则控制电路111判断为在对该图像进行HDR处理时，产生暗部缺失。在这种情况下，控制电路111设置接下来要拍摄的亮图像的曝光时间段，使得使其变长一个步长。
[0059]这里，术语“一个步长”是与曝光时间段的增加/减少相对应的预定时间段，其小于与图2G中的标记之间的间隔相对应的一个Tv(时间值)。
[0060]另一方面，当确定为不产生暗部缺失时，如果亮度不低于预定亮度值Lhigh的区域208的面积的积分值不低于预定值，则控制电路111判断为曝光时间段比需要的长，并且设置接下来要拍摄的亮图像的曝光时间段，使得其更靠近基准曝光时间段一个步长。注意，当与基准曝光时间段不存在差时，控制电路111保持该曝光时间段。
[0061]类似地，当在图2E所示的暗图像202的直方图中，亮度不低于预定亮度值Lhigh的区域210的面积的积分值不低于预定值时，控制电路111判断为在对该图像进行HDR处理时，产生高光溢出。在这种情况下，控制电路111设置接下来要拍摄的暗图像的曝光时间段，使得其变短一个步长。
[0062]另一方面，当判断为不产生高光溢出时，如果亮度不高于预定亮度值Llow的区域209的面积的积分值不低于预定值，则控制电路111判断为曝光时间段比需要的短，并且设置接下来要拍摄的暗图像的曝光时间段，使得其更靠近基准曝光时间段一个步长。注意，当与基准曝光时间段不存在差时，控制电路111保持该曝光时间段。
[0063]接下来，参考图3所示的时序图，对多段曝光图像组的摄像以及针对多段曝光图像组的曝光期间的运动量的检测的示例进行描述。
[0064]在图3中，拍摄脉冲信号301是用作摄像单元103开始获取来自摄像装置的图像的触发信号的信号。此外，快门脉冲信号302是用于确定摄像装置的曝光时间段的信号。
[0065]例如，在快门脉冲SI和拍摄脉冲Cl之间的时间段How期间对第一帧进行曝光，并且获取暗图像。在快门脉冲S2和拍摄脉冲C2之间的时间段Thigh期间对第二帧进行曝光，并且获取亮图像。类似地，第三、第四、第五和第六帧依次分别获取暗图像、亮图像、暗图像和売图像。
[0066]在图3中，照相机抖动量303是运动检测部110与上述拍摄并行地连续检测到的照相机主单元100的运动量。
[0067]针对60Hz的拍摄帧速率，以例如1.2kHz的采样率检测照相机主单元100的运动量，并且控制电路111对检测到的运动量进行插值，由此使用其作为连续运动的改变量。如图3所示，在针对第一帧的暗图像的曝光期间检测到了照相机抖动量M1，并且在针对第二帧的亮图像的曝光期间检测到了照相机抖动量M2。类似地，分别在针对第三至第六帧的曝光期间检测到了照相机抖动量M3至M6。
[0068]在图3中，对于曝光期间检测到的照相机抖动量，虚线304表示暗图像的照相机抖动量的改变，并且虚线305表示亮图像的照相机抖动量的改变。由于亮图像的曝光时间段比暗图像长，因此在针对亮图像的曝光期间检测到的照相机抖动量趋于较大。
[0069]接下来，参考图4，对用于判断对于调焦控制是否要使用从拍摄的帧获取的焦点评价值的标准进行描述。
[0070]图4是示出针对图3所示的第一至第六帧的拍摄图像而发现的曝光时间段和曝光期间的照相机抖动量之间的关系的图。如图4所示，对于第一、第三和第五帧的暗图像，示出了在曝光时间段How进行曝光期间检测到的照相机抖动量Ml、M3和M5。此外，对于第二、第四和第六帧的亮图像，示出了在曝光时间段Thigh进行曝光期间检测到的照相机抖动量M2、M4和M6。
[0071]在图4中，曲线400表示在判断控制电路111是否要使用焦点评价值获取部106从拍摄图像获得的焦点评价值以进行调焦控制时使用的基准值的改变。
[0072]由针对曝光时间段T的函数Mlimit⑴表示基准值，并且控制电路111仅使用从基准值以下所示的帧获得的焦点评价值以进行调焦控制。然而，总是使用从用于图像合成的多段曝光图像组中的曝光时间段最短的帧所获取的焦点评价值来进行调焦控制(在所示出的示例中，第一、第三和第五帧全部都在基准值以下)。
[0073]以如下的方式，设置基准值函数Mlimit (T):在曝光时间段T充分短的情况下，与在曝光期间检测到的照相机抖动量无关地，使用焦点评价值以进行调焦控制，而在曝光时间段T长的情况下，仅当曝光期间检测到的照相机抖动量小时，才使用焦点评价值以进行焦点评价。这是因为:当曝光时间段长时，拍摄的被摄体图像的锐度由于照相机抖动的影响而降低，因此不能精确地进行调焦控制。例如，通过将曝光时间段T划分为三个区域等，可以针对每个区域将基准值函数设置为曝光时间段T的二次函数。
[0074]通过使用如上所述的用于进行判断的标准，在可以期待焦点评价值的精度至少到特定程度的范围内，使用许多帧来进行焦点评价，由此提高采样率，这使得能够提高使照相机对被摄体进行聚焦的操作的速度。此外，当照相机主单元100正在移动时，调焦操作的速度由于用于焦点评价的帧的数量的减少而降低。然而，当照相机主单元100停止时，能够快速地使照相机对被摄体进行聚焦。
[0075]接下来，参考图5，对每当拍摄一个帧时，由控制电路111执行的自动调焦控制处理进行描述。图5中的自动调焦控制处理例如由控制电路111的CPU通过将例如存储在ROM中的程序加载到RAM中来执行。
[0076]在步骤S501中，控制电路111从亮度获取部105获取拍摄的帧的亮度的直方图，进行曝光评价，然后进行到步骤S502。
[0077]在步骤S502中，控制电路111计算在使曝光更接近合适曝光时使用的曝光参数，例如曝光时间段、光圈、增益和ND滤波器。此外，如参考图2A至2G所描述的，控制电路111调节多段曝光的曝光时间段，以防止在执行HDR处理之后产生暗部缺失和高光溢出，并且向摄像单元103发送针对接下来要曝光的帧的快门脉冲的生成定时的指示。此外，控制电路111向镜头筒101和摄像单元103发送针对诸如光圈、增益和ND滤波器等的其它参数的指示，然后进行到步骤S503。[0078]在步骤S503中，控制电路111从运动检测部110获取针对一个帧的所检测到的照相机主单元100的运动量，并且如参考图3所描述的，计算拍摄的帧的曝光时间段T期间的运动量M，然后进行到步骤S504。
[0079]在步骤S504中，控制电路111从焦点评价值获取部106获取对拍摄的帧的焦点评价值F，然后进行到步骤S505。
[0080]在步骤S505中，如参考图4所描述的，控制电路111基于获取的曝光时间段T和运动量M，判断是否使用焦点评价值来进行调焦控制，如果要使用焦点评价值来进行调焦控制，则控制电路111进行到步骤S506，而如果不使用焦点评价值来进行调焦控制，则控制电路111进行到步骤S507。
[0081]在步骤S506中，控制电路111基于紧接在前的被判断为要使用的焦点评价值和当前的被判断为要使用的焦点评价值之间的比较，来更新调焦透镜102的驱动方向，然后进行到步骤S507。
[0082]在HDR运动图像拍摄模式下，预期在曝光时间段不同的图像之间对焦点评价值进行比较，因此根据明亮度将每个焦点评价值标准化，由此进行比较。在标准化中考虑的明亮度可以是曝光时间段或者可以是实际获得的图像的亮度。另一方面，在正常运动图像拍摄模式下，在大多数情况下，对依次拍摄并且获得的图像的明亮度进行平滑改变，因此基本能够在不进行标准化的情况下进行比较。
[0083]在步骤S507中，控制电路111指示镜头筒101的透镜驱动单元120驱动调焦透镜102，并且终止本处理。
[0084]如上所述，在本实施例中，当通过周期性地改变曝光时间段来拍摄运动图像时，能够根据被摄体的状况来进行合适的AF控制。
[0085]虽然在本实施例中，作为示例描述了通过以两个阶段改变曝光时间段来拍摄图像的情况，但是可以通过以三个或更多个阶段改变曝光时间段来拍摄图像。此外，虽然在本实施例中，基于曝光时间段和照相机主单元100的运动量来判断是否使用焦点评价值来进行调焦控制，但是通过基于曝光时间段或者照相机主单元100的运动量来判断是否使用焦点评价值，也能够获得相同的有利效果。
[0086]此外，虽然在本实施例中，使用焦点评价值作为图像的评价值，但是这不是限制性的，而可以使用用于AE控制的图像的亮度评价值、用于跟踪被摄体的评价值等。
[0087]接下来，参考图6，对作为根据本发明的第二实施例的摄像设备的数字照相机进行描述。本实施例与第一实施例的不同之处，仅在于用于判断是否使用从图像获取的焦点评价值来进行调焦控制的标准。因此，用相同的附图标记表示与第一实施例相同的组件要素，并且仅描述不同点。
[0088]在上述第一实施例中，总是使用根据多段曝光图像组中的曝光时间段最短的帧所获取的焦点评价值进行调焦控制，而不管曝光时间段的曝光期间检测到的照相机抖动量。相反，在本实施例中，使用从多段曝光图像组中的曝光时间段所检测到的运动量最小的帧所获取的焦点评价值来进行调焦控制。
[0089]图6是示出用于对摄像装置要拍摄的每个图像进行曝光的处理和用于从摄像装置获取拍摄图像的处理的定时的时序图。将描述控制电路111获取要拍摄的每个帧的曝光期间所检测到的运动量并且获取焦点评价值的定时。注意，如上面所描述的，控制电路111分别从运动检测部Iio和焦点评价值获取部106，获取每个帧的曝光期间所检测到的运动量和相关联的焦点评价值。
[0090]在图6中，在快门脉冲SI和拍摄脉冲CI (严格来说在其稍前)之间的时间段期间，对第一帧进行曝光，并且在曝光终止之前获取曝光期间的运动量Ml。此外，在拍摄脉冲Cl和C2之间的时间段期间获取第一帧，并且在获取完成之前获取焦点评价值Fl。注意，在本实施例中，与第一实施例不同，曝光期间的运动量(包括Ml至M6)均是在曝光终止之前由运动检测部110检测到的。
[0091]类似地，在快门脉冲S2和拍摄脉冲C2(严格来说在其稍前)之间的时间段期间，对第二帧进行曝光，并且在曝光终止之前获取曝光期间的运动量M2。
[0092]也就是说，在获取第一帧的焦点评价值Fl之前，不仅可以检测到第一帧的运动量M1，还可以检测到接下来要获取的第二帧的运动量M2。因此，当通过以两个阶段进行曝光而获得了多段曝光图像组时，控制电路111可以在检测到两者的照相机抖动量之后，在获取先前拍摄的第一帧期间，判断要使用哪个焦点评价值。
[0093]通过使用如上所述用于判断的标准，当通过周期性地改变曝光时间段来进行拍摄时，即使出现曝光时间段较长的帧的照相机抖动量相对较小的情形，也能够精确地进行调焦控制。除此之外的配置与根据第一实施例的配置相同。
[0094]接下来，参考图7和8，对作为根据本发明的第三实施例的摄像设备的数字照相机进行描述。本实施例与上述第一实施例的不同之处，仅在于用来判断是否使用从图像获取的焦点评价值进行调焦控制的基准值函数。因此，用相同的附图标记表示与第一实施例相同的组件要素，并且仅描述不同点。
[0095]首先，参考图7，描述基于对比度检测调焦控制中的爬山法的调焦控制，其中，在第三实施例中，基于这种调焦控制进行拍摄。
[0096]在图7中，特征曲线600表示与调焦透镜102在光轴上的各个位置相关联的焦点评价值。控制电路111指示镜头筒101的透镜驱动单元120对调焦透镜102进行微小的驱动。
[0097]然后，控制电路111从焦点评价值获取部106获取焦点评价值，由此判断被摄体是聚焦还是离焦，如果被摄体离焦，则控制电路111判断调焦透镜102的聚焦位置存在于当前位置的哪一侧。
[0098]当焦点评价值低时，控制电路111使透镜驱动单元120以尽可能高的速度沿焦点评价值变高的方向驱动调焦透镜102，随着焦点评价值变高而降低速度，最后使调焦透镜102精确地停止在与焦点评价值的曲线的顶点(表示聚焦状态的值)相对应的位置。
[0099]例如，当拍摄静止被摄体时，如果与调焦透镜102的位置A相关联的焦点评价值处于由附图标记601表示的被摄体极大地离焦的状态，则控制电路111通过微小驱动判断为聚焦位置存在于如在图7中看到的当前位置(A)的右侧。
[0100]然后，控制电路111以高速驱动调焦透镜102，由此通过与由附图标记602表示的状态相对应的位置B，并且随着调焦位置接近与由附图标记603表示的状态相对应的聚焦位置C而降低速度，由此最终使被摄体聚焦。
[0101]附带地，当照相机主单元100正在移动时，即使被摄体保持静止，也发生依赖于曝光时间段的图像模糊，使得被摄体图像的边缘模糊，这使焦点评价值降低。相反，即使当照相机主单元100保持静止时，如果被摄体正在移动，则焦点评价值也类似地降低。
[0102]根据本实施例的数字照相机针对HDR处理通过周期性地改变曝光时间段来进行拍摄，因此焦点评价值以依赖于曝光时间段的方式而变化。为了与此相符合，当调焦透镜102位于要求其位置精度的聚焦位置附近时，仅使用从曝光时间段短并且曝光期间检测到的照相机抖动量小的巾贞所获取的焦点评价值来进行调焦控制。
[0103]另一方面，在要求对调焦透镜102的高速驱动而不是其位置精度的离焦状态下，容许曝光时间段和曝光期间检测到的照相机抖动量的改变，并且设置基准值函数，使得可以使用来自尽可能多的帧的焦点评价值来进行调焦控制。
[0104]参考图8，描述在本实施例中使用的基准值函数。图8是示出紧挨在对帧进行处理之前的焦点评价值和在曝光期间检测到的照相机抖动量之间的关系的图。在图8中，与图3所示的第一至第六帧的拍摄图像中的、各自具有亮图像的第二、第四和第六帧的曝光期间的照相机抖动量M2、M4和M6相关联地，用附图标记701、702和703来表示在由于紧接在前的焦点评价值低而被摄体极大地离焦时获得的照相机抖动量。
[0105]另一方面，曲线700表示控制电路111用来参考以判断是否要使用焦点评价值来进行调焦控制的基准值的改变。该基准值用针对曝光时间段T和紧接在前的焦点评价值F’的函数Mlimit(T，F’)来表示，并且控制电路111仅使用曲线700以下所示的从帧获得的焦点评价值来进行调焦控制。
[0106]在该示例中，用T=Thigh来表示各自具有亮图像的第二、第四和第六帧的曝光时间段，因此用函数Mlimit (Thigh，F’)来表示曲线700。也就是说，当紧接在前的焦点评价值处于大的离焦的状态时，使用第二、第四和第六帧的全部焦点评价值来进行调焦控制。
[0107]注意，图3所示的各自具有暗图像的第一、第三和第五帧是图像合成所使用的多段曝光图像组中的曝光时间段最短的帧，在本实施例中，总是使用这些评价值来进行调焦控制，因此不进行基于这些帧的照相机抖动量的判断。
[0108]与紧接在前的焦点评价值处于大的离焦的状态的情况类似，当紧接在前的焦点评价值处于中间水平时，由附图标记704、705和706表示第二、第四和第六帧的照相机抖动量M2、M4和M6。在这种情况下，仅使用曲线700下面的从第六帧获取的焦点评价值进行调焦控制。
[0109]类似地，当紧接在前的焦点评价值高，因此处于聚焦状态附近时，由附图标记707、708和709表示第二、第四和第六帧的照相机抖动量M2、M4和M6，并且没有照相机抖动量在曲线700下面。因此，不使用焦点评价值中的任何一个来进行调焦控制。
[0110]使用如上所述用于判断的标准，当通过周期性地改变曝光时间段来进行拍摄时，能够从离焦状态开始以高速进行调焦操作，并且在聚焦位置附近精确地进行调焦操作。除此之外的配置与根据第一实施例的配置相同。
[0111]此外，虽然在本实施例中，对摄像单元103通过周期性地改变曝光时间段来连续进行拍摄、由此获得多段曝光图像组的示例进行了描述，但是这不是限制性的，而本实施例也可以应用于摄像单元103针对一个摄像装置的每个预定线改变曝光时间段、由此通过一个拍摄操作获得多段曝光图像组的情况。
[0112]虽然参考实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变形、等同结构及功能。[0113]本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。
[0114]本申请要求2012年9月6日提交的日本专利申请2012-196076的优先权，其全部内容通过引用包含于此。
【权利要求】
1.一种摄像设备，其包括: 摄像单元，用于拍摄被摄体的图像； 驱动单元，用于在光轴的方向上驱动调焦透镜； 控制单元，用于通过使所述驱动单元在所述光轴的方向上移动所述调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及 评价值获取单元，用于从所述摄像单元输出的图像，获取焦点评价值， 其中，所述控制单元使所述摄像单元通过改变曝光时间段来拍摄多段曝光图像组的图像，基于所述多段曝光图像组的图像的各曝光时间段而从所述多段曝光图像组中选择图像，使用从所选择的图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后 的驱动方向上移动所述调焦透镜。
2.根据权利要求1所述的摄像设备，其中，所述控制单元通过选择所述多段曝光图像组中的曝光时间段最短的图像和曝光时间段比基准值短的图像中的至少一个，来计算所述焦点评价值。
3.根据权利要求1所述的摄像设备，其中，所述控制单元改变基准值，使得所述基准值随着所述焦点评价值越接近表示聚焦状态的值而变得越小。
4.根据权利要求1所述的摄像设备，其中，还包括合成单元，所述合成单元用于对所述多段曝光图像组进行合成，从而生成具有宽动态范围的闻动态范围图像。
5.一种摄像设备，其包括: 摄像单元，用于拍摄被摄体的图像； 运动检测单元，用于检测所述摄像单元的运动量； 驱动单元，用于在光轴的方向上驱动调焦透镜； 控制单元，用于通过使所述驱动单元在所述光轴的方向上移动所述调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及 评价值获取单元，用于从所述摄像单元输出的图像，获取焦点评价值， 其中，所述控制单元使所述摄像单元通过周期性地改变曝光时间段来拍摄多段曝光图像组的图像，使用从所述多段曝光图像组中的如下图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后的驱动方向上移动所述调焦透镜，其中，所述运动检测单元在曝光期间针对上述的如下图像所获取的运动量比所述运动检测单元针对所述多段曝光图像组的其它图像所获取的运动量小。
6.根据权利要求5所述的摄像设备，其中，还包括合成单元，所述合成单元用于对所述多段曝光图像组进行合成，从而生成具有宽动态范围的闻动态范围图像。
7.一种摄像设备，用于通过改变曝光时间段来拍摄多段曝光图像组的图像，所述摄像设备包括: 摄像单元，用于拍摄被摄体的图像； 评价值获取单元，用于从所述摄像单元输出的图像，获取评价值；以及评价单元，用于使用从所述摄像单元所获得的所述多段曝光图像组中的曝光时间段最短的图像和曝光时间段比基准值短的图像中的至少一个所获取的评价值，来评价所述被摄体。
8.一种摄像设备，其具有正常运动图像拍摄模式和用于拍摄曝光时间段不同的多段曝光图像组的高动态范围运动图像拍摄模式，所述摄像设备包括: 摄像单元，用于拍摄被摄体的图像； 评价单元，用于根据所述摄像单元输出的图像来计算评价值，并且通过在多个图像的评价值之间进行比较来对所述被摄体进行评价；以及 合成单元，用于对所述多段曝光图像组进行合成，从而生成具有宽动态范围的高动态范围图像， 其中，在所述摄像设备设置为所述高动态范围运动图像拍摄模式时，所述评价单元通过利用获取各评价值的图像的明亮度而对该评价值进行标准化，来进行所述比较。
9.一种摄像设备的控制方法，所述摄像设备包括:摄像单元，用于拍摄被摄体的图像；以及驱动单元，用于在光轴的方向上驱动调焦透镜，所述控制方法包括: 控制步骤，用于通过使所述驱动单元在所述光轴的方向上移动所述调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及 从所述摄像单元输出的图像，获取焦点评价值， 其中，所述控制步骤包括:使所述摄像单元通过改变曝光时间段来拍摄多段曝光图像组的图像，基于所述多段曝光图像组的图像的各曝光时间段而从所述多段曝光图像组中选择图像，使用从所选择的图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后的驱动方向上移动所述调焦透镜。
10.一种摄像设备的控制方法，所述摄像设备包括:摄像单元，用于拍摄被摄体的图像；以及驱动单元，用于在光轴的方向上驱动调焦透镜，所述控制方法包括:` 运动检测步骤，用于检测所述摄像单元的运动量； 控制步骤，用于通过使所述驱动单元在所述光轴的方向上移动所述调焦透镜，来控制要拍摄图像的被摄体的聚焦状态；以及 从所述摄像单元输出的图像，获取焦点评价值， 其中，所述控制步骤包括:使所述摄像单元通过周期性地改变曝光时间段来拍摄多段曝光图像组的图像，使用从所述多段曝光图像组中的如下图像所获取的焦点评价值来更新所述调焦透镜的驱动方向，并且使所述驱动单元在更新后的驱动方向上移动所述调焦透镜，其中，所述运动检测步骤在上述的如下图像的曝光期间针对该图像所获取的运动量比所述运动检测步骤针对所述多段曝光图像组的其它图像所获取的运动量小。
11.一种摄像设备的控制方法，所述摄像设备通过改变曝光时间段来拍摄多段曝光图像组的图像，所述控制方法包括: 从用于拍摄被摄体的图像的摄像单元输出的图像，获取评价值；以及使用从所述摄像单元所获得的所述多段曝光图像组中的曝光时间段最短的图像和曝光时间段比基准值短的图像中的至少一个所获取的评价值，来评价所述被摄体。
12.—种摄像设备的控制方法，所述摄像设备具有正常运动图像拍摄模式和用于拍摄曝光时间段不同的多段曝光图像组的高动态范围运动图像拍摄模式，所述控制方法包括: 根据用于拍摄被摄体的图像的摄像单元输出的图像来计算评价值，并且通过在多个图像的评价值之间进行比较来对所述被摄体进行评价；以及 对所述多段曝光图像组进行合成，从而生成具有宽动态范围的高动态范围图像， 其中，在所述摄像设备设置为所述高动态范围运动图像拍摄模式时，通过利用获取各评价值的图像的明亮度而对该评价值进行标准化，来进行用于对所述被摄体进行评价的所述比较 。
【文档编号】H04N5/232GK103685913SQ201310404117
【公开日】2014年3月26日 申请日期:2013年9月6日 优先权日:2012年9月6日
【发明者】松山一郎 申请人:佳能株式会社