焦点控制设备、图像感测设备及其控制方法

专利名称：焦点控制设备、图像感测设备及其控制方法
技术领域：
本发明涉及一种具有焦点控制功能的焦点控制设备、 一种包括焦 点控制设备的图像感测设备及其控制方法。
背景技术：
在对视频相机等的自动聚焦(AF )控制中，所谓TV-AF系统是 最常见的一种方式，其用于产生AF评估值(其指示由图像传感器产 生的视频信号的锐度(对比度状态))并搜索AF评估值处于其最大 值的聚焦透镜的位置。然而，在拍摄人物的情况下，例如，存在以下 问题无法聚焦到作为主要对象的人物，并且在背景包括高的特定频 率的对象的情况下，反而聚焦到背景上。
为了解决所述问题，公知的是具有面部识别功能的图像感测设 备。例如，提出了一种图像感测设备(例如，日本专利特开第 2006-227080号)，其中，在包括识别的面部区域的区域中设置用于 检测焦点状态的焦点检测区域以在设置的焦点检测区域中执行焦点检 测，并且，提出了一种图像感测设备(例如，日本专利特开第 2001-215403号)，其中，检测人的眼睛以执行对于眼睛的焦点检观'J。
然而，在上述利用面部识别功能的焦点检测中，例如，取决于在 人物把脸转过去、人物将他/她的眼睛闭上等情况下面部特征变化的影 响或相机抖动的影响，可能无法稳定地识别面部。因此，聚焦的稳定 性可能会降低。此外，在对象图像的大小变化或对象图像的大小小的 情况下，聚焦的稳定性可能会降低。具体说来，在运动图像的情况下， 由于人很可能总在运动，所以发现上述影响相当显著。如果总是识别 人的面部，则当在人的面部区域被指定为焦点检测的区域的情况下执 行聚焦时，对人的聚焦更加稳定。然而，在面部可能会或者可能不被识别的状况下，用于焦点检测的区域将根据面部是否被识别而改变，
AF评估值将变化，由此稳定的聚焦无法被实现。此外，当从中取得 AF评估值的区域根据对象图像的大小变化而变化时，或者，当从中 取得AF评估值的区域在小的对象图像的情况下过小时，无法稳定地 获得AF评估值信号，并且可能由此难以实现聚焦。
此外，在主要对象不是人的情况下，在基于检测对象的结果来设 置焦点检测区域以执行焦点检测的情况下，也会出现类似的问题。

发明内容
考虑到上述状况提出了本发明，其目的在于提供一种焦点控制设 备、 一种图像感测设备及其控制方法，其即使在利用对象检测功能在 运动图像中聚焦到将被聚焦的对象上的情况下，也能够维持稳定的对 焦状态。
根据本发明，通过提供一种焦点控制设备来达到上述目的，所述 焦点控制设备包括检测装置，用于从感测图像检测将被聚焦的对象 图像；设置装置，用于在感测图像中设置AF评估值检测区域；以及 焦点检测装置，用于基于来自AF评估值检测区域的信号输出来获取 用于调整拍摄光学系统的焦点状态的AF评估值，其中，设置装置设 置第一 AF评估值检测区域和第二 AF评估值检测区域，其中，第一 AF评估值检测区域对应于由检测装置检测的对象图像，第二 AF评估 值检测区域包含第一 AF评估值检测区域并大于第一 AF评估值检测 区域，其中，焦点检测装置使用在第一 AF评估值检测区域和第二 AF 评估值检测区域中的信号输出来执行计算，以获取用于调整拍摄光学 系统的焦点状态的AF评估值。
根据本发明，还通过提供一种焦点控制设备来达到上述目的，所 述焦点控制设备包括检测装置，用于从感测图像检测将被聚焦的对 象图像；设置装置，用于在感测图像中设置AF评估值检测区域；以 及焦点检测装置，用于基于来自AF评估值检测区域的信号输出来获 取用于调整拍摄光学系统的焦点状态的AF评估值，其中，设置装置设置跟踪由检测装置检测的对象图像的第一 AF评估值检测区域以及 不跟踪由检测装置检测的对象图像的第二AF评估值检测区域，其中， 焦点检测装置使用在第一 AF评估值检测区域和第二 AF评估值检测 区域中的信号输出来执行计算，以获取用于调整拍摄光学系统的焦点 状态的AF评估值。
此外，还通过提供一种图像感测设备来达到上述目的，所述图像 感测设备包括图像感测装置，用于光电转换由拍摄光学系统形成的 对象图像，以输出感测图像；记录装置，用于实行控制，以使得通过 使用图像感测装置获得的感测图像被记录在记录介质上；以及上述焦 点控制设备中的一个。
此外，还通过提供一种用于焦点控制设备的控制方法来达到上述 目的，其中，当获取指示拍摄光学系统的对焦状态的AF评估值时， 设置第一 AF评估值检测区域以及第二 AF评估值检测区域，其中， 所述第一 AF评估值检测区域对应于从感测图像检测的、将被聚焦的 对象图像，所述第二 AF评估值检测区域包含第一 AF评估值检测区 域并大于第一 AF评估值检测区域，以及通过使用在第一 AF评估值 检测区域和第二 AF评估值检测区域中的信号输出执行计算来获取用 于调整拍摄光学系统的焦点状态的AF评估值。
此外，根据本发明，还通过提供一种用于焦点控制设备的控制方 法来达到上述目的，其中，当获取指示拍摄光学系统的对焦状态的AF 评估值时，设置跟踪从感测图像检测的、将被聚焦的对象图像的第一 AF评估值检测区域以及不跟踪检测的对象图像的第二AF评估值检测 区域，以及通过使用在第一 AF评估值检测区域和第二 AF评估值检 测区域中的信号输出执行计算来获取用于调整拍摄光学系统的焦点状 态的AF评估值。
此外，通过以下(参照附图)对示例性实施例的描述，本发明的 特征将变得清楚。


图l是示出根据本发明实施例的视频相机的配置的框图； 图2是示出根据本发明实施例的由相机AF微计算机进行的处理 的流程图3A到图3D是示出根据本发明实施例的设置AF框的控制的示 图；以及
图4是示出具有可交换式透镜的视频相机的配置的框图。
具体实施例方式
将参照附图来详细描述本发明的优选实施例。 <《殳备的描述>
图1示出作为本发明实施例的视频相机的配置。应注意尽管在 本实施例中描述的是视频相机，但是本发明可应用于其它设备，诸如 数字静止相机或显微镜。
在图l中，标号101、 102和103分别指示第一固定透镜、沿 着光轴移动并执行变焦的变焦透镜以及光圏。此外，标号104和105 指示第二固定透镜和聚焦补偿器透镜(以下，称为聚焦透镜)，其具 有随着变焦来校正焦面位移的功能以及聚焦(焦点控制)功能。第一 固定透镜101、变焦透镜102、光圏103、第二固定透镜104和聚焦透 镜105构成拍摄光学系统。
标号106表示包括CCD传感器或CMOS传感器的作为光电转换 元件的图像传感器。由图像传感器106对由拍摄光学系统形成的对象 图像进行光电转换。标号107指示CDS/AGC电路，其对来自图像传 感器106的信号输出进行采样，并对所述信号输出进行增益调整。
标号108指示相机信号处理电路，其对来自CDS/AGC电路107 的信号输出进行各种图像处理以产生视频信号。标号109表示包括 LCD等的监视器，其显示来自相机信号处理电路108的视频信号。标 号115指示记录设备，其将来自相机信号处理电路108的视频信号记 录在记录介质上，所述记录介质诸如磁带、光盘或半导体存储器。标号110指示用于移动变焦透镜102的变焦驱动源。标号111指 示用于移动聚焦透镜105的调焦驱动源。变焦驱动源IIO和调焦驱动 源111均包括致动器，诸如，步进马达、DC马达、振动马达和音圈 马达。
标号112指示AF门，在来自CDS/AGC电路107的用于所有像 素的信号输出中，所述AF门仅允许将被用于焦点检测的区域的信号 通过。
AF信号处理电路113从已经通过AF门112的信号提取高频分 量、亮度差分量(已经通过AF门112的信号的亮度电平的最大值与 最小值之间的差)等，以产生AF评估值。AF评估值被输出到相机/AF 微计算机114。 AF评估值指示基于来自图像传感器106的信号输出产 生的视频的锐度(对比度状态)，但是其结果产生指示拍摄光学系统 的焦点状态的信号，这是因为锐度根据拍摄光学系统的焦点状态而变 化。
相机/AF微计算机114控制整个视频相机的操作，并还基于AF 评估值，执行AF控制，其中，调焦驱动源111被控制以移动聚焦透 镜115并执行焦点控制。
面部检测单元116对感测图像进行已知的面部识别处理，并在感 测图像屏幕中检测人的面部信息。检测结果被发送到相机/AF微计算 机114。相机/AF微计算机114基于检测结果将信息发送到AF门112， 从而将被用于焦点检测的区域被添加到感测图像屏幕中包括面部区域 的位置。
此外，作为面部识别处理，例如，存在这样一种方法，其中，从 由图像数据表示的每个像素的灰度级颜色提取肤色区域，以根据肤色 与预先准备好的面部轮廓图版的匹配程度来检测面部。此外，还公开 了几种方法，诸如，通过使用公知的模式识别技术提取面部特征(诸 如眼睛、鼻子、嘴等)来执行面部检测的方法。在多个面部被检测到 的情况下，与其它面部相比在面部检测中具有较大的大小、位于更加 靠近屏幕中心的位置、且以较高的可靠性被检测到的面部被确定为主要对象(主要面部)。
<AF控制流程>
接下来，将参照图2来描述由相机/AF微计算机114执行的AF 控制。根据存储在相机/AF微计算机114中的计算机程序来执行该AF 控制。
步骤S201表示处理的开始。在步骤S202，从面部检测单元116 提取面部信息(面部的位置、面部的大小和面部检测的可靠性)。在 步骤S203确定面部检测单元116成功进^f亍面部检测的情况下，处理进 行到步骤S204;否则，处理进行到步骤S208。
在步骤S204，与由面部检测单元116检测的面部信息相应的面 部AF框以及中心被固定而大小被放大的普通AF框被设置为AF框 (AF评估值检测区域)，其中，图像中的面部AF框的中心可以是作 为检测的主要对象的主要面部的中心或眼睛的中心，并且基于检测的 主要面部的大小来确定面部AF框的垂直和水平尺寸WID。响应于面 部信息，基于需要来更新面部AF框，并设置面部AF框来跟踪面部， 而将普通AF框的大小放大以包含面部AF框，并设置普通AF框。在 步骤S205，获取用于面部AF框和普通AF框的AF评估值。在步骤 S206,以预定的比率对每个AF评估值进行相加(计算)以产生AF 评估值。在步骤S207，在步骤S206产生的AF评估值被用于执行AF 控制(即，控制移动聚焦透镜，以便在AF框中总是保持对焦状态)。
另一方面，在步骤S208，确定在无法识别面部之后是否过去了 特定时间段，在特定时间段尚未过去的情况下，处理进行到步骤S209， 或者，在特定时间段已经过去的情况下，处理进行到步骤S211。在步 骤S209，将普通AF框维持为与用于先前成功进行面部检测的情况的 大小和位置相匹配，在步骤S210，获取用于普通AF框的AF评估值。 然后，在步骤S207,在步骤S210获取的AF评估值用于执行AF控制。
另一方面，在步骤S211，将普通AF框设置为初始大小。在步骤 S212，获取用于普通AF框的AF评估值。然后，在步骤S207，在步 骤S212获取的AF评估值用于执行AF控制。
10〈AF框的设置〉
接下来，将参照图3A到图3D来描述AF框的设置。在初始状态 下，靠近图3A所示的屏幕的中心来设置普通AF框。确定这一设置， 因为拍摄者通常倾向于将对象定位于屏幕的中心。如图3B所示，当 将面部AF框设置在感测图像屏幕中由面部识别处理检测的面部位置 时，普通AF框在其中心位置被固定的情况下被放大，直到它包含面 部AF框。按照将面部AF框包括在普通AF框中的方式来重叠所述框， 从而当面部识别的失败促使面部AF框消失而只留下普通AF框时， 减少AF评估值的变化。应注意在多个面部被检测的情况下，设置 用于各个面部的面部AF框。或者，设置如上所述的用于主要对象(主 要面部)的面部框。
接下来，在如图3C所示的那样不再检测面部的情况下，停止使 用面部AF框。在按照原样维持普通AF框直到特定时间段过去的情 况下，使用的AF评估值不大可能很突然地变化，这是因为曾经作为 面部AF框的区域被包含在普通AF框中。接下来，如图3D所示，当 没有检测到面部的状态持续特定时间段时，将普通AF框复位到面部 检测之前的初始大小，从而允许实现中心优先AF。
在如上设置框的情况下，通常将优先性给予运动图像中处于中心 的对象。然后，在面部被识别的情况下，设置普通AF框的大小，并 且以预定的比率将用于设置的普通AF框和面部AF框的AF评估值相 加，以基于结果产生的AF评估值来执行AF控制。这允许聚焦在面 部被识别的人上，并且即使在没有面部被识别的情况下也能够维持稳 定的对焦状态。具体说来，设置普通AF框和面部AF框，并将用于 这两个框的AF评估值相加以使用结果产生的AF评估值，这允许即 使在用于面部AF框的AF评估值显示出不同于用于面部的焦点的结 果(诸如无穷远)时也聚焦在普通AF框中捕获的对象上。
<其它实施例>
在上述实施例中，将普通AF框设置为包含面部AF框并在没有 改变中心位置的情况下进行放大。然而，本发明并不受限于此，因此，例如，如设置AF框的以下示例(1)到(3)中那样，也可通过设置 普通AF框和面部AF框并基于用于两个框的AF评估值来执行AF控 制，而在运动图像中维持稳定的对焦状态。
(1) 将普通AF框设置为包含可从中检测面部的整个区域。该 普通AF框是独立于面部检测结果设置的固定区域。另一方面，将面 部AF框设置在感测图像屏幕中通过先前所述的面部识别处理检测的 面部的位置。更具体地说，^没置跟踪面部的不断改变的面部AF框以 及不跟踪面部的普通AF框。因此，面部AF框相对于普通AF框的大 小根据拍摄的场景而变化。在主要对象的面部大小较小的情况下，面 部AF框相对于普通AF框的大小的比率较小。因此，在将用于普通 AF框的AF评估值与用于面部AF框的AF评估值相加的情况下，用 于面部AF框的AF评估值具有较小的影响。换言之，面部AF框较慢 地反应于主要对象的运动。另一方面，在主要对象的面部大小较大的 情况下，面部AF框相对于普通AF框的大小的比率较大。因此，在 将用于普通AF框的AF评估值和用于面部AF框的AF评估值相加的 情况下，用于面部AF框的AF评估值具有较大的影响。换言之，面 部AF框较快地反应于主要对象的运动。
(2) 假设普通AF框将在多个阶段产生大小上的变化(例如， 较大的框和较小的框)。普通AF框的大小根据面部检测结果(诸如 面部的位置和大小)而切换，从而包含检测的面部。此外，将面部AF 框设置在感测图像屏幕中通过先前所述的面部识别处理检测的面部的 位置。该设置在面部AF框中捕获拍摄者期望的主要对象的面部，同 时，该设置减少了诸如由于差错而聚焦在背景上的失误，这是因为， 即使在无法在面部AF框中获取指示用于面部的对焦状态的信息的情 况下，也会在普通AF框中捕获到主要对象。
(3) 将面部AF框设置在感测图像屏幕中通过先前所述的面部 识别处理检测的面部的位置。假设面部AF框在跟踪检测的面部的同 时，基于需要在位置和大小方面被更新。此外，普通AF框大于面部 AF框，并被设置为包含面部AF框。该设置在面部AF框中捕获拍摄者期望的主要对象的面部，并减少了诸如由于差错而聚焦在背景上的
失误，这是因为，即使在无法在面部AF框中获取指示用于面部的对 焦状态的信息的情况下，也会在普通AF框中捕获到主要对象。
如上所述，可在以下情况下维持对焦状态面部识别用于在运动 图像中聚焦在作为对象的人上的情况、以及面部识别不稳定、面部区 域变化或面部区域小的情况。
应注意尽管在上述实施例中，检测的面部被完全地包含在普通 AF框中，但本发明并不限于这种配置。例如，当面部的一部分,皮包 含在普通AF框中时，可获取面部中的锐度(对比度状态)，从而允 许聚焦在拍摄者期望的面部上。
此外，在该实施例中，将该实施例的运动AF评估值产生区域定 位在感测图像屏幕中的所检测的面部的位置。然而，可通过其它图像 检测来检测具体对象。例如，还考虑从背景捕获和检测对象图像。此 外，可从外部输入装置输入感测图像屏幕中的位置，或者，可检测通 过取景器进行查看的拍摄者的视线以确定感测图像屏幕中的所述位 置。
此外，如图4所示，拍摄光学系统可以是可交换式透镜。在图4 的示例中，将由AF信号处理电路113产生的AF评估值输出到透镜/AF 微计算机401。透镜/AF微计算机401基于AF评估值执行AF控制， 在AF控制中，控制调焦驱动源111以移动聚焦透镜115并执行焦点 控制。此外，相机微计算机402从面部检测单元116接收感测图像屏 幕中人的面部信息，并且基于检测结果，将信息发送到AF门112, 从而，将被用于焦点检测的区域添加到感测图像屏幕中包括面部区域 的位置。在这种情况下，AF控制的流程如下。
以下将描述由透镜/AF微计算器401和相机微计算机402执行的 AF控制。根据存储在透镜/AF微计算机401和相机微计算机402中的 计算机程序来执行所述AF控制。
首先，相机微计算机402从面部检测单元116取入面部信息(面 部的位置、面部的大小、面部的可靠性)。
13在面部检测单元116成功进行面部检测的情况下，将与由面部检 测单元116检测的面部信息相应的面部AF框和中心被固定而大小被 放大的普通AF框设置为AF框(焦点检测区域)。然后，AF信号处 理电路113获取用于面部AF框和普通AF框的AF评估值。然后，以 预定比率将每个AF评估值相加以产生AF评估值。然后，将该AF评 估值发送到透镜/AF微计算机401。透镜/AF微计算机401使用接收的 AF评估值来执行AF控制。
另一方面，在面部检测单元116无法检测面部的情况下，确定在 无法识别面部之后是否已经过去特定时间段。在特定时间段尚未过去 的情况下，将普通AF框维持为与用于先前成功进行面部检测的情况 的大小和位置相匹配，并在AF信号处理电路113中获取用于普通AF 框的AF评估值。在特定时间段已经过去的情况下，将普通AF框设 置到初始大小，并获取用于普通AF框的AF评估值。然后，将所述 AF评估值发送到透镜/AF微计算机401。透镜/AF微计算机401使用 接收的AF评估值来实行AF控制。
应注意在图4中，与图l相同的元件由相同的标号来指示，省 略对所述元件的描述。
尽管参照示例性实施例描述了本发明，但是应理解本发明并不 受限于公开的示例性实施例。所附权利要求的范围与最宽泛的解释一 致，从而包括所有的这种修改和等同的结构与功能。
本申请要求于2007年7月10日提交的日本专利申请第 2007-181116号的权益，其全部在此引入作为参考。
权利要求
1、一种焦点控制设备，包括检测装置，用于从感测图像检测将被聚焦的对象图像；设置装置，用于在感测图像中设置AF评估值检测区域；以及焦点检测装置，用于基于来自AF评估值检测区域的信号输出来获取用于调整拍摄光学系统的焦点状态的AF评估值，其中，设置装置设置第一AF评估值检测区域和第二AF评估值检测区域，其中，第一AF评估值检测区域对应于由检测装置检测的对象图像，第二AF评估值检测区域包含第一AF评估值检测区域并大于第一AF评估值检测区域，其中，焦点检测装置使用在第一AF评估值检测区域和第二AF评估值检测区域中的信号输出来执行计算，以获取用于调整拍摄光学系统的焦点状态的AF评估值。
2、 一种焦点控制设备，包括检测装置，用于从感测图像检测将被聚焦的对象图像； 设置装置，用于在感测图像中设置AF评估值检测区域；以及 焦点检测装置，用于基于来自AF评估值检测区域的信号输出来获取用于调整拍摄光学系统的焦点状态的AF评估值，其中，设置装置设置跟踪由检测装置检测的对象图像的第一 AF评估值检测区域以及不跟踪由检测装置检测的对象图像的第二 AF评估值检测区域，其中，焦点检测装置使用在第一 AF评估值检测区域和第二 AF 评估值检测区域中的信号输出来执行计算，以获取用于调整拍摄光学 系统的焦点状态的AF评估值。
3、 如权利要求1或2所述的焦点控制设备，其中，在检测装置 没有检测到将被聚焦的对象图像的情况下，在第二 AF评估值检测区 域中的信号输出被单独用于获取用于调整拍摄光学系统的焦点状态的 AF评估值，或者，在检测装置没有检测到将被聚焦的对象图像的状态转移到由检测装置检测到将被聚焦的对象图像的状态的情况下，使用在第一 AF评估值检测区域和第二 AF评估值检测区域中的信号输 出来执行计算，以获取用于调整拍摄光学系统的焦点状态的AF评估 值。
4、 如权利要求1到3中的任何一个所述的焦点控制设备，其中， 第二 AF评估值检测区域的中心位置是固定的。
5、 如权利要求1到4中的任何一个所述的焦点控制设备，其中， 焦点检测装置以预定的比率将基于在第一 AF评估值检测区域中的信 号输出产生的AF评估值和基于在第二 AF评估值检测区域中的信号 输出产生的AF评估值相加，以获取用于调整拍摄光学系统的焦点状 态的AF评估值。
6、 如权利要求1到5中的任何一个所述的焦点控制设备，其中， 检测装置从感测图像检测面部信息，作为将被聚焦的对象图像。
7、 如权利要求1到6中的任何一个所述的焦点控制设备，还包括拍摄光学系统；以及控制装置，用于基于用于调整拍摄光学系统的焦点状态的AF评 估值来控制拍摄光学系统的运动。
8、 一种图像感测设备，包括图像感测装置，用于光电转换由拍摄光学系统形成的对象图像， 以输出感测图像；记录装置，用于实行控制，以使得通过使用图像感测装置获得的 感测图像被记录在记录介质上；以及如权利要求1到7中的任何一个所述的焦点控制设备。
9、 一种用于焦点控制设备的控制方法，其中，当获取指示拍摄光学系统的对焦状态的AF评估值时，设 置第一 AF评估值检测区域以及第二 AF评估值检测区域，其中，所 述第一 AF评估值检测区域对应于从感测图像检测的、将被聚焦的对 象图像，所述第二 AF评估值检测区域包含第一 AF评估值检测区域并大于第一 AF评估值检测区域，以及通过使用在第一 AF评估值检测区域和第二 AF评估值检测区域 中的信号输出执行计算来获取用于调整拍摄光学系统的焦点状态的 AF评估值。
10、 一种用于焦点控制设备的控制方法，其中，当获取指示拍摄光学系统的对焦状态的AF评估值时，设 置跟踪从感测图像检测的、将被聚焦的对象图像的第一 AF评估值检 测区域以及不跟踪所检测的对象图像的第二AF评估值检测区域，通过使用在第一 AF评估值检测区域和第二 AF评估值检测区域 中的信号输出执行计算来获取用于调整拍摄光学系统的焦点状态的 AF评估值。
全文摘要
一种控制方法，用于从感测图像检测将被聚焦的对象图像，在检测拍摄光学系统的对焦状态时设置焦点检测区域，并实行控制，以使得基于在焦点检测区域中的信号输出来移动拍摄光学系统，以执行焦点控制，其中，在设置焦点检测区域时，设置第一焦点检测区域和第二焦点检测区域，其中，第一焦点检测区域对应于从感测图像检测的、将被聚焦的对象，第二焦点检测区域大于第一焦点检测区域，在焦点控制中，实行控制，从而基于在设置的第一和第二焦点检测区域中的输出信号来移动拍摄光学系统。
文档编号G03B13/36GK101583902SQ20088000226
公开日2009年11月18日 申请日期2008年7月9日 优先权日2007年7月10日
发明者保田仁志 申请人:佳能株式会社