图像捕获设备和方法

专利名称：：图像捕获设备和方法
技术领域：
：本发明涉及一种图像捕获设备和方法，更具体地，涉及一种具有所谓的“摇摆(wobbling)”功能的图像捕获设备和图像捕获方法，该“摇摆”功能通过在光轴方向上改变摄影镜头和图像传感器之间的距离，从而使摄影镜头相对于图像传感器的焦点位置以预定幅度往复运动，来检测摄影镜头的焦点状态。
背景技术：
：传统上，如在日本特开2006-146062号公报中所公开的，已知在基于捕获的图像的对比度(contrast)检测焦点状态的对比度AF中使用的摇摆方法，作为用于提供自动聚焦功能(AF系统)的检测焦点状态的方法。这种通过摇摆方法来控制聚焦的AF系统通常如下工作。首先，通过对比度AF(登山(hill-climbing)检测方法)获得焦准(in-focus，焦点对准)状态，然后，在以焦准位置为中心的窄幅度范围内往复驱动(摇摆)聚焦透镜的情况下，以规则的间隔捕获图像，并且基于捕获的图像信号的对比度，来确定焦准位置。然后，在焦准位置改变的情况下，如果改变小，则在将往复驱动的幅度的中心改变为改变后的焦准位置之后，继续往复运动，而如果改变大，则通过登山检测方法来控制聚焦。在对比度AF中，比较在至少两个聚焦透镜位置处捕获的图像的对比度，以确定到焦准位置的方向。因此，在进行摇摆时，一旦达到焦准状态，则比较通过微小地驱动聚焦透镜而在不同的透镜位置获得的图像的对比度，以维持焦准状态。然而，使用在日本特开2006-146062号公报中公开的摇摆方法存在如下问题在摇摆期间，聚焦透镜的聚焦面从图像传感器的光接收表面大幅偏移的情况下，摄影者能注意到散焦(defocus)。由于该原因，通常的作法是设置聚焦透镜在摇摆期间的改变量，使得出现的散焦的量小于容许模糊圈(acceptablecircleofconfusion)，由此防止摄影者能注意到的图像的散焦。然而，在以下条件下，摇摆期间的散焦或者散焦的改变仍有可能是摄影者能注意到的(1)在可互换镜头照相机上安装了没有高精度微小驱动能力的摄影镜头的情况；(2)由于图像传感器的小型化，容许模糊圈的大小显著减小的情况；(3)检测运动被摄体的焦点的情况。
发明内容考虑到上述情况作出了本发明，在具有使摄影镜头相对于图像传感器的焦点位置以预定幅度往复运动的功能的图像捕获设备中，本发明的目的在于，使往复运动期间的图像的散焦或者散焦的改变对于摄影者更不明显。本发明在其第一方面提供一种图像捕获设备，所述图像捕获设备包括移动单元，用于通过在光轴方向上改变摄影镜头和图像传感器之间的距离，使所述摄影镜头相对于所述图像传感器的焦点位置以预定幅度运动；检测单元，用于检测由所述图像传感器获得的各个图像的焦点状态；以及散焦校正单元，用于基于所述检测单元检测到的各个图像的所述焦点状态，对在所述移动单元进行所述运动期间、由所述图像传感器获得的各个图像进行散焦校正，使得用于在显示装置上显示的各个图像的所述焦点状态，至少接近焦准图像的焦点状态。本发明在其第二方面提供一种图像捕获方法，所述图像捕获方法包括拍摄步骤，在运动期间由图像传感器捕获图像，在所述运动中，通过在光轴方向上改变摄影镜头和所述图像传感器之间的距离，来使所述摄影镜头相对于所述图像传感器的焦点位置以预定幅度运动；检测步骤，检测在所述拍摄步骤中由所述图像传感器获得的各个图像的焦点状态；以及散焦校正步骤，基于在所述检测步骤中检测到的各个图像的所述焦点状态，对在所述拍摄步骤中由所述图像传感器获得的图像进行散焦校正，使得用于在显示装置上显示的各个图像的所述焦点状态，至少接近焦准图像的焦点状态。从下面参考附图对示例性实施例的描述，本发明的其它特征将变得清楚。图1是示出根据本发明的第一实施例的图像捕获设备的配置的框图。图2是示出根据本发明的第一实施例的在进行摇摆时，焦准位置在摇摆的幅度范围内的情况下的散焦校正量的说明图。图3A至3C示出了在图2的情况下如何进行散焦校正。图4是示出根据本发明的第一实施例的在进行摇摆时，焦准位置从摇摆的幅度范围偏移的情况下的散焦校正量的说明图。图5A至5C示出了在图4的情况下如何进行散焦校正。图6A和6B是示出根据本发明的第一实施例的散焦校正处理的流程图。图7是示出根据本发明的第二实施例的包含散焦校正处理的捕获静止图像的过程的流程图。图8是示出根据本发明的变型例的图像捕获设备的配置的框图。具体实施例方式根据附图详细描述本发明的优选实施例。第一实施例图1是示出根据第一实施例的图像捕获设备的配置的框图，其中，图像捕获设备由包括图像传感器的数字照相机体138和可从照相机体138上拆下的摄影镜头137构成。首先对摄影镜头137的配置进行描述。附图标记101表示第一透镜组，其被布置为与图像捕获(摄像)光学系统中的被摄体最靠近，并且被保持为能够在光轴方向上前后移动。附图标记102表示光圈，其通过对光圈大小的控制来对拍摄时的光量进行控制。附图标记103表示第二透镜组。光圈102和第二透镜组103作为一个单元在光轴方向上前后移动，并且与第一透镜组101的前后移动组合来实现缩放操作(变焦功能)。附图标记105表示第三透镜组，其通过在光轴方向上前后移动来进行聚焦。附图标记111表示变焦致动器，其通过旋转地驱动未示出的凸轮柱，在光轴方向上前后驱动第一透镜组101、光圈102和第二透镜组103，由此使得能够进行缩放操作。附图标记112表示光圈致动器，其控制光圈102的光圈大小，以调节入射光量。附图标记114表示聚焦致动器，其在光轴方向上前后驱动第三透镜组105，以进行聚焦。附图标记136表示照相机通信电路，其向照相机体138发送关于摄影镜头137的信息，并从照相机体138接收关于照相机体138的信息。注意，关于摄影镜头137的信息是指例如变焦状态、光圈状态、聚焦状态和镜头框信息，照相机通信电路136将该信息发送到设置在照相机体138侧的镜头通信电路135。接下来，对照相机体138进行描述。附图标记106表示光学低通滤波器，其是用于减少捕获的图像中的伪色(falsecolor)和波纹(moir6)的光学元件。附图标记107表示图像传感器，其由包括以CCD或者CMOS传感器为代表的光电转换元件的传感器和周围的外围电路构成。图像传感器107可以是二维单板彩色传感器，其中，在水平方向上具有m个像素和垂直方向上具有η个像素的光接收像素阵列上，形成有片上型拜尔排列原色马赛克滤波器(on-chipBayer-arrayedprimarycolormosaicfilter)。附图标记139表示快门单元，其在进行静止图像拍摄时通过打开和关闭来控制曝光时间，并且在进行运动图像拍摄时保持打开。附图标记140表示快门致动器，其对快门单元139进行致动。附图标记115表示用于在进行图像捕获时照亮被摄体的电子闪光灯，其优选是使用氙管的闪光灯照明器，作为另选方案，其可以是安装有连续发光LED的照明器。附图标记116表示AF辅助光(filllight)投影仪，其通过透射透镜向被摄域(field)投射具有预定开口图案的掩模(mask)图像，由此改善检测对暗的被摄体或者低对比度的被摄体聚焦的能力。附图标记121表示照相机内的CPU，其以各种方式控制照相机，CPU121例如包括操作单元、ROM、RAM、A/D转换器、D/A转换器和通信接口电路。CPU基于存储在ROM中的预定程序，驱动照相机体138中的各种电路，并且进行诸如AF、图像捕获以及图像处理和记录的一系列操作。附图标记122表示电子闪光控制电路，其控制与图像捕获操作同步的电子闪光灯115的发光。附图标记123表示辅助光驱动电路，其控制与焦点检测操作同步的AF辅助光投影仪116的发光。附图标记124表示图像传感器驱动电路，其驱动图像传感器107，并且将捕获的图像信号从模拟转换为数字，并将转换后的信号发送到CPU121。附图标记125表示图像处理电路，其对从图像传感器107获取的图像进行诸如γ转换、颜色插值和JPEG压缩的处理。附图标记126表示聚焦驱动电路，其基于焦点检测结果来控制对聚焦致动器114的驱动，并在光轴方向上前后驱动第三透镜组105(聚焦透镜)，以进行聚焦。附图标记128表示光圈驱动电路，其控制对光圈致动器112的驱动，以控制光圈102的打开。附图标记129表示变焦驱动电路，其响应于摄影者进行的变焦操作来驱动变焦致动器111。附图标记135表示镜头通信电路，其与摄影镜头137中的照相机通信电路136进行通信。附图标记145表示快门驱动电路，其驱动快门致动器140。附图标记131表示诸如IXD的显示装置，其显示例如关于照相机的拍摄模式的信息、拍摄之前的预览图像和图像捕获之后的确认图像以及焦点检测时的焦准状态显示图像。附图标记132表示操作开关组，其包括例如电源开关、释放(拍摄触发)开关、变焦操作开关和拍摄模式选择开关。附图标记133表示记录捕获的图像的可移动闪存。附图标记144表示照相机内的存储器，其存储CPU121进行计算所需的各种数据。在如上构成的图像捕获设备中，进行对比度自动聚焦(对比度AF)控制，作为AF控制，其中，通过根据从图像传感器107获得的信号的高频分量确定聚焦的程度，来控制聚焦。注意，对比度AF是已知技术，因此这里不进行描述。在第一实施例中，一旦在进行运动图像拍摄时，达到了焦准状态，则开始使用摇摆方法的聚焦控制。在一般情况下，将摇摆时的透镜的幅度设置为使得不产生明显的散焦。通常，将幅度设置为低于或等于FS，其中，F是图像捕获光学系统的F值，δ是容许模糊圈的直径，使得散焦不明显。然而，当采用如图1所示的安装有可移动摄影镜头137的图像捕获设备时，如果在该设备上安装了没有用于高精度微小驱动能力的摄影镜头，则摇摆幅度可能高于Fδ。此外，在容许模糊圈δ由于图像传感器的小型化而显著变小的情况下，Fδ显著变低，而难以使摇摆幅度减小到低于或等于FS。此外，在对运动被摄体检测焦点的情况下，需要将摇摆幅度设置得稍高，来捕获被摄体，因此可能需要将摇摆幅度设置得稍微高于FS。在这种情况下，如果通过摇摆方法进行聚焦控制，则可以使由于摇摆而产生的图像的散焦或者散焦的改变，对于摄影者不明显。因此，在第一实施例中，进行下面描述的处理，以使摇摆期间的图像的散焦或者散焦的改变对于摄影者更不明显。图2是摇摆(往复运动期间)的图示，其中，通过在光轴方向上改变摄影镜头137和图像传感器107之间的距离，使摄影镜头137相对于图像传感器107的焦点位置以预定幅度往复运动。水平轴表示时间，垂直轴表示摄影镜头137的摄像面相对于图像传感器107的预设位置，即焦点位置。在图2中，附图标记Lll、L12、L13和L14表示进行图像捕获时的焦点位置，其显示诸如以Lll和L12的平均值为中心的往复运动的运动。附图标记LC表示焦准位置，其近似是焦点位置的往复运动的中心。注意，如图2所示，在焦点位置的周期性改变中，在最远离幅度的中心的焦点位置处获取图像。使用在最远焦点位置处获得的这些图像来得出多个AF评价值，根据AF评价值，可以检测摄影镜头137的聚焦状态。附图标记FlUF12、F13和F14分别表示焦点位置LlUL12、L13和L14处的散焦量。也就是说，在焦点位置L11、L12、L13和L14处获得的图像分别是从焦准位置LC散焦了散焦量Fll、F12、F13和F14的低质量的离焦(out-of-focus)图像。因此，在第一实施例中，校正在摇摆期间获得的图像的这种散焦，并输出。图3A至3C示出如何校正如图2所示的在摇摆期间散焦的图像。图3A示出了在图2中的焦点位置Lll处获得的图像，其中，由于从焦准位置LC散焦了散焦量F11，因此被摄体显示散焦。因此，对在焦点位置Lll处获得的图像进行将焦点位置移位Fll的散焦校正。图3B示出了在图2中的焦点位置L12处获得的图像，其中，由于从焦准位置LC散焦了散焦量F12，因此被摄体显示散焦。因此，对在焦点位置L12处获得的图像进行将焦点位置移位F12的散焦校正。图3C示出了对分别在图2中的焦点位置Lll和L12处获得的图3A和3B中的图像进行散焦校正之后的图像。在散焦校正之后，在焦点位置Lll和L12处获得的图3A和3B中的图像两者，在其焦点位置与焦准位置LC匹配的情况下焦准。注意，稍后将描述散焦校正方法。图4示出了例如在摇摆期间，由于被摄体的移动，焦准位置LC从摇摆幅度的范围偏移的情况下的焦点位置。附图标记L21、L22、L23和L24表示焦点位置，其显示诸如以L21和L22的平均值为中心的往复运动的运动。附图标记LC表示焦准位置，其在如上所述的摇摆幅度的范围外。附图标记F21、F22、F23和F24分别表示焦点位置L21、L22、L23和L24处的散焦量。在焦点位置L21、L22、L23和L24处获得的图像分别离焦了散焦量F21、F22、F23和F24。在这种情况下，理想地，进行散焦校正，以生成将焦点位置移位散焦量F21、F22、F23和F24的图像，并记录/显示校正后的图像。然而，虽然到焦准位置的方向可能从根据在焦点位置L21、L22、L23和L24处处获得的图像计算的AF评价值得到，但是可能无法得出散焦量。因此，无法确定焦准位置LC的精确位置。因此，在第一实施例中，取焦点位置L21和L23作为焦点位置LD，基于从焦点位置LD的移位量，也就是说，基于焦点位置L21、L22、L23和L24处的散焦量，进行散焦校正。因此，不对在焦点位置L21和L23处获得的捕获的图像进行移位焦点位置的散焦校正。对在焦点位置L22和L24处获得的捕获的图像分别进行将其焦点位置移位G22和G24的散焦校正。这使得即使焦准位置LC在摇摆期间的焦点位置的往复运动的幅度范围外，也能够尽量按照希望地进行散焦校正。图5A至5C示出了如何校正如图4所示的在摇摆期间散焦的图像。图5A示出了在图4中的焦点位置L21处获得的图像，其中，由于从焦准位置LC散焦了散焦量F21，因此被摄体显示散焦。然而，由于散焦量F21小，因此该图像中的被摄体仅仅散焦了一点。图5B示出了在图4中的焦点位置L22处获得的图像，其从焦准位置LC散焦了F22。由于散焦量F22大于散焦量F21，因此被摄体的散焦大于在焦点位置L21处获得图像中的被摄体，如图5B所示。图5C示出了散焦校正之后的图像。在第一实施例中，由于如上所述，不对在焦点位置L21处获得的图像进行散焦校正，因此图5C所示的图像是对在图4中的焦点位置L22处获得的图5B中的图像进行了等同于G22的量的散焦校正之后的图像。因为该图像在散焦校正之后的焦点位置接近焦准位置LC，因此该图像仅仅离了一点焦。如以上参考图2至图5C所描述的，尽可能通过校正由于摇摆而出现的散焦来生成图像，使得由于摇摆产生的散焦或者散焦的改变对于摄影者更不明显。这也提高了记录图像和预览图像的图像质量。接下来，参考图6A和6B，描述根据第一实施例的在摇摆期间进行的散焦校正处理的过程。图6A是示出散焦校正处理的流程图，图6B是示出生成在散焦校正中使用的散焦函数的过程的流程图，其中，由CPU121进行各个系列的操作。在步骤Sll中，获取转换信息，其指示在图像数据获取时进行的转换处理的内容。在步骤S12中，确定在校正处理之前对图像数据进行转换的方法。CPU121基于在步骤Sll中获取的转换信息，并且按照需要，基于关于照相机体138的特征信息和关于摄影镜头137的特征信息，确定用于对从图像处理电路125提供的图像信息进行转换的转换方法。这里确定的转换方法是，转换图像信息，使得在曝光值和像素值之间成正比关系，以确保作为图像恢复处理的算法的前提条件的直线性(linearity)的方法。例如，在图像处理电路125进行伽玛校正的情况下，在步骤S12中进行伽玛校正转换的逆转换。这使得能够再现转换之前的图像，并且使得能够以直线性获取图像。类似地，在图像处理电路125进行颜色转换的情况下，在步骤S12中进行颜色校正转换的逆转换。这使得能够以直线性获取图像。如上所述，在步骤S12中确定与图像处理电路125进行的转换处理的逆转换相对应的转换方法。在步骤S13中，获取经过了散焦校正的捕获的图像数据。然后，在步骤S14中，根据在步骤S12中确定的转换方法，对获取的图像数据进行转换。在步骤S14中转换处理完成之后，处理进行到步骤S15，生成散焦函数。注意，稍后将参考图6B描述生成散焦函数的处理。在步骤S16中，基于在步骤S15中生成的散焦函数进行逆转换，以对在步骤S14中转换的图像数据进行散焦校正处理。这里，由通常称为去卷积(deconvolution)处理的图像恢复算法进行散焦校正处理。这使得能够获取校正了预定被摄体的散焦的散焦校正后的图像。注意，例如在日本特开2000-20691号公报中公开了这种基于散焦函数进行逆转换处理的散焦校正方法，因此这里不进行描述。在步骤S16中的散焦校正处理完成之后，散焦校正处理结束。图6B是示出散焦函数生成子例程的流程图。在步骤S21中，CPU121获取指示在进行图像捕获时图像处理电路125进行的转换处理的内容的转换信息，以及在进行图像捕获时记录在照相机内的存储器144中的关于照相机体138的特征信息和关于摄影镜头137的特征信息。这里，关于照相机体138的特征信息例如包括指示图像传感器107中的进行拍摄的像素的光接收灵敏度的分布的信息、渐晕(vignetting)信息、指示从照相机体138和摄影镜头137之间的安装表面到图像传感器107的距离的信息和制造误差信息。关于摄影镜头137的特征信息例如包括出射光瞳(exitpupil)信息、框信息、图像捕获时的F值信息、像差信息和制造误差信息。在步骤S22中，获取关于摇摆的信息。摇摆信息例如包括摇摆幅度、周期、焦准确定结果和到焦准位置的方向。该信息能够影响图像捕获时的焦点位置，因此作为指定散焦校正使用的散焦量的指示器。已经参考图2和4描述了确定在摇摆期间获得的图像的散焦量的方法，因此这里不进行描述。在步骤S23中，获取用来定义散焦函数的参数(散焦参数)。通过摄影镜头137和图像传感器107之间的光传输特性来确定散焦函数。光传输特性根据诸如关于照相机体138的特征信息、关于摄影镜头137的特征信息、摇摆信息、被摄体区域在捕获的图像中的位置和被摄体距离的因素而改变。因此，在照相机内的存储器144中存储了将这些因素与用来定义散焦函数的参数相关联的表数据。然后，基于这些因素，在步骤S23中，CPU121从照相机内的存储器144中获取用来定义散焦函数的参数。在步骤S24中，基于在步骤S23中获取的散焦参数来定义散焦函数。将散焦函数视为摄影镜头137和图像传感器107之间的光传输函数特性。散焦函数的示例是高斯分布，其中，散焦现象被视为与正态分布定律相对应。由下面的等式(1)给出散焦函数h(r)权利要求1.一种图像捕获设备，所述图像捕获设备包括移动单元，用于通过在光轴方向上改变摄影镜头和图像传感器之间的距离，使所述摄影镜头相对于所述图像传感器的焦点位置以预定幅度运动；检测单元，用于检测由所述图像传感器获得的各个图像的焦点状态；以及散焦校正单元，用于基于所述检测单元检测到的各个图像的所述焦点状态，对在所述移动单元进行所述运动期间、由所述图像传感器获得的各个图像进行散焦校正，使得用于在显示装置上显示的各个图像的所述焦点状态，至少接近焦准图像的焦点状态。2.根据权利要求1所述的图像捕获设备，其中，所述散焦校正单元通过基于所述摄影镜头和所述图像传感器之间的光传输函数特性的图像处理，来进行散焦校正。3.根据权利要求1所述的图像捕获设备，其中，在所述检测单元检测到的所述焦点状态指示焦准图像的焦点位置在所述运动的幅度范围内的情况下，所述散焦校正单元基于焦准图像的焦点位置与在所述运动期间捕获到图像的焦点位置之间的差，来进行散焦校正。4.根据权利要求1所述的图像捕获设备，其中，在所述检测单元检测到的所述焦点状态指示焦准图像的焦点位置在所述运动的幅度范围外的情况下，所述散焦校正单元基于在所述幅度范围内靠近焦准图像的所述焦点位置一侧的焦点位置，与在所述运动期间捕获到图像的焦点位置之间的差，来进行散焦校正。5.根据权利要求1所述的图像捕获设备，其中，所述移动单元使所述摄影镜头在所述光轴方向上、相对于所述图像传感器移动。6.根据权利要求1所述的图像捕获设备，其中，所述移动单元使所述图像传感器在所述光轴方向上、相对于所述摄影镜头移动。7.一种图像捕获方法，所述图像捕获方法包括拍摄步骤，在运动期间由图像传感器捕获图像，在所述运动中，通过在光轴方向上改变摄影镜头和所述图像传感器之间的距离，来使所述摄影镜头相对于所述图像传感器的焦点位置以预定幅度运动；检测步骤，检测在所述拍摄步骤中由所述图像传感器获得的各个图像的焦点状态；以及散焦校正步骤，基于在所述检测步骤中检测到的各个图像的所述焦点状态，对在所述拍摄步骤中由所述图像传感器获得的图像进行散焦校正，使得用于在显示装置上显示的各个图像的所述焦点状态，至少接近焦准图像的焦点状态。全文摘要本发明涉及一种图像捕获设备和方法。所述图像捕获设备包括移动单元，用于通过在光轴方向上改变摄影镜头和图像传感器之间的距离，使所述摄影镜头相对于所述图像传感器的焦点位置以预定幅度运动；检测单元，用于检测由所述图像传感器获得的各个图像的焦点状态；以及散焦校正单元，用于基于所述检测单元检测到的各个图像的所述焦点状态，对在所述移动单元进行所述运动期间、由所述图像传感器获得的各个图像进行散焦校正，使得用于在显示装置上显示的各个图像的所述焦点状态，至少接近焦准图像的焦点状态。文档编号G03B13/36GK101998055SQ20101025839公开日2011年3月30日申请日期2010年8月17日优先权日2009年8月20日发明者追川真申请人:佳能株式会社