专利名称：成像装置、成像装置控制方法和计算机程序的制作方法
技术领域：
本发明涉及成像装置、成像装置控制方法和计算机程序，并且更具体
而言涉及能够实现对目标对象(target subject)的快速且准确的自聚焦处理 的成像装置、成像装置控制方法和计算机程序。
背景技术：
近年来，对于大量的成像装置，例如静止相机、摄像机等等，实现了 用于自动聚焦在对象上的自聚焦(AF)机构。
关于自聚焦控制技术，已知一种确定通过透镜获得的成像数据的对比 度水平的技术。具体而言，该技术是这样一种技术，其中成像图像的特定 区域被设置为用于聚焦控制的信号获得区域(空间频率提取区域)，判定 该特定区域的对比度越高，成像图像就越处于对焦状态，而对比度越低， 成像图像就越处于失焦状态，并且驱动透镜以移动位置来增强对比度，从 而调节聚焦。这种聚焦控制处理布置例如在日本未实审专利申请公布No. 10-21373中有所描述。
具体而言，应用了这样一种方法，其中提取出特定区域的高频分量， 生成所提取出的高频分量的积分数据，并且基于所生成的高频分量积分数 据确定对比度水平。也就是说，在将聚焦透镜移动到多个位置的同时获得 多个图像，并且对每个图像的亮度信号进行由高通滤波器表示的滤波处 理，从而获得指示每个图像的对比度强度的AF评估值。此时，当在某一 聚焦位置处存在处于对焦状态的对象的情况下，相对于聚焦位置的AF评 估值绘出了诸如图1中所示的曲线。该曲线的峰值位置P1，图像的对比度 值变为最大的位置是图像处于对焦状态的焦点位置。该方法是用于检测对 比度强度的峰值的，并且也被称为爬升方法(climbing method)。
利用该方法，可以执行聚焦操作，该操作是利用反映到成像器的图像
的信息的聚焦控制，除了成像光学系统以外不需要提供测距光学系统，因 此，该方法己被广泛地用于近年来的数字相机。
因此，利用自聚焦控制，计算出特定区域的高频分量积分值以确定对 比度水平，从而将其用作评估值(AF评估值)。驱动聚焦透镜以使得评 估值变为最大，从而实现自聚焦。为了执行自聚焦，需要利用上述评估值 作为指示符来驱动透镜。至于透镜驱动机构，例如采用了音圈马达等等。
但是注意，采用对比度提取方法(用于利用这种对比度作为指标值来
选择聚焦位置)的自聚焦(下文中简写为"AF")设备倾向于聚焦在包括 大量高频分量的背景上。例如，如图2所示，位于中心框架20 (它是等同 于在成像装置处拍摄的拍摄图像的总体区域的屏幕总体框架10的中心部 位)等处的期望对象处于失焦状态，因此，在某些情况下发生被称为背景 聚焦的现象，其中背景被错误地聚焦。
尤其是，在对象是面部等的情况下这种背景聚焦明显地发生。这是因 为面部相比于背景部分来说对比度较低，并且因此，具有高对比度的背景 部分被取作屏幕总体框架10的最佳聚焦位置。
如果可以识别出正确的对象，则可以聚焦在正确对象上。也就是说， 在对于诸如图2中所示的设置正确的对象被取作人物面部的情况下，通过 识别出该面部、设置检测对比度以执行面部框架30的聚焦控制的测距区 域(检测框架)、并通过受限于测距区域(检测框架)的对比度提取来执 行聚焦控制，可以执行对目标对象的正确聚焦控制，
对于通常的照相机拍摄，存在大量的这种情况，其中人物是主要对 象，但是人物在要拍摄的图像内取各种位置，并且因此，有各种类型的图 示组成。为了处理这种问题，已提出了这样一种布置，其中在成像装置处 从图像识别面部，并且测距区域被设置到所识别面部的位置，从而无论组 成如何都可以执行在面部上的聚焦。例如，基于这种面部识别的聚焦控制 布置己在日本未实审专利申请公布No. 2003-107335中得到公开。这种基 于面部识别的聚焦控制能够在拍摄各种类型组成时实现合适的聚焦控制 (聚焦)。
具有这种面部识别功能的某些数字静止相机已得到采用，其中该功能
被用在拍摄包括面部的图像的情况下。但是注意，这种摄像机还没有商业 化。摄像机是用于拍摄运动图像的，其中发生了面部区域自身的移动，因 此在摄取运动图像时将面部识别应用于自聚焦经常是失败的，从而当前状 态是实际实现起来是困难的。
关于将来自图像数据的人物提取技术应用于照相机的布置，例如有日
本未实审专利申请公布No. 2004-317699，其中公开了一种用于基于面部尺 寸高速确定聚焦位置的布置。另外，用于基于三角测量原理执行到对象的 距离测量的距离估计技术己在日本未实审专利申请公布No. 2001-215403 中得到描述。
另外，用于执行切换对比度提取区域(例如，在图2所示的中心框架 20和面部框架30之间)的处理已在上述日本未实审专利申请公布No. 2004-317699、日本未实审专利申请公布No. 2006-33440等中得到公开。
另外，日本未实审专利申请公布No. 2006-227080公开了一种技术， 其中考虑到面部对比度较低的情况，通过将人体部位加到面部来设置测距 区域(检测框架)。另外，在日本未实审专利申请公布No. 2005-86682中 公开了一种在包括多个面部的情况下与面部框架的优先顺序的规范有关的 技术。
但是注意，这些现有技术是与数字静止相机相对应的应用，并且如上 所述，在将面部框架应用于由摄像机摄取的运动图像作为这种测距区域 (检测框架)的情况下，需要针对摄像机的每个框架检测面部框架。另 外，当增大框架尺寸的情况下，发生了背景聚焦问题，并且当减小框架尺 寸时，很容易发生由于在框架外面或者框架的低对比度而导致没有正确执 行聚焦的问题，因此，聚焦位置发生波动。这些各种问题阻止了实际的实 现。
注意，在面部区域被用作测距区域(检测框架)的情况下，存在一个 问题，来自被设置到面部区域的检测框架的检测信号变得不稳定，但是例 如，日本未实审专利申请公布No. 2006-162215已公开了这样一种布置作 为针对该问题的解决方案之一，其中在没有执行来自检测框架的检测的情 况下，检测框架保持在面部检测区域处。 注意，除了基于上述对比度判定的聚焦位置设置以外，还公开了一种 技术，其中基于从照相机获得的图像的面部尺寸来测量到面部的距离以估 计聚焦位置。但是注意，面部尺寸在成年人和小孩之间是不同的。因此， 对于基于面部尺寸的距离估计，希望执行基于面部类型分类(例如成年人 的面部、小孩的面部等等)的估计。例如在日本未实审专利申请公布No.
2003-242486、 11-175724、 8-106519、 2001-167110和2001-331799等中公
开了一种技术，其中通过对面部的特征量等分类来进行对面部属性(成年 人、小孩等)的判定，并且该判定结果被用于根据从照相机获得的图像的 面部尺寸来估计到面部的距离。
发明内容
如上所述，数字相机经常采用这样一种布置，其中在成像装置处从图 像中识别出面部，并且测距区域被设置到所识别面部的位置以便可以聚焦 在面部上，但是对于摄像机来说，发生了面部区域自身的移动，因此在摄 取运动图像时将面部识别应用于自聚焦经常失败，从而当前状态是该布置 还未投入实用。
已经认识到，需要提供一种可以供摄像机利用面部识别技术执行稳定 的聚焦控制的成像装置、成像装置控制方法和计算机程序。
另外，已经认识到，需要提供一种抑制了背景聚焦的发生、正确地跟 踪了主要对象并且执行了稳定的聚焦控制的成像装置、成像装置控制方法 和计算机程序。
根据本发明实施例的数据处理设备包括面部检测单元，被配置为检 测来自从成像单元输入的输入图像的面部区域，所述成像单元被配置为对 包括面部的对象成像；设置单元，被配置为基于由面部检测单元检测到的
面部的面部尺寸来计算对象距离，并且在计算出的对象距离作为焦距的聚
焦透镜位置之前和之后设置用作聚焦透镜工作范围的限度；检测单元，被 配置为在由设置单元设置的限度内移动聚焦透镜，并且检测其中与从包括 由面部检测单元检测到的面部的面部框架获得的对比度强度相对应的检测 值等于或大于预定阈值的焦点；以及控制单元，被配置为在预定设置时间
内已检测到焦点的情况下确定其焦点作为聚焦位置。
控制单元在预定设置时间内未检测到焦点的情况下可以取消由设置单 元设置的限度。
控制单元可以基于预定的规定面部尺寸的上限数据和下限数据来设置 以下限度
近端限度[Fc—near—new]，禾口 远端工作限度[Fc—far—new]， 作为用作聚焦透镜工作范围的限度。
控制单元可以根据检测定时，在由设置单元设置的限度内移动聚焦透 镜时对执行摆动处理的执行定时进行控制来确定焦点位置，其中所述检测 定时是根据包括由面部检测单元检测到的面部的面部框架而确定的。
数据处理设备还可以包括计算单元，被配置为计算采用由面部检测 单元检测到的面部的以下(a)至(c)中的任何一项的分数
(a) 面部尺寸，
(b) 距面部图像中心的距离，以及
(c) 上一次面部是否被检测为主要对象； 其中控制单元选择具有由计算单元计算出的高分数的面部作为用作聚
焦对象的主要面部。
控制单元可以跟踪已由控制单元设置的主要面部，并且在跟踪失败的 情况下选择下一主要面部。
利用设置限度内的聚焦控制运行时间段，控制单元可以基于采用由面 部检测单元检测到的面部计算出的对象距离，在检测到屏幕或面部框架的 移动等于或大于预定阈值的情况下，或者在输入变焦、摇摄和倾斜操作信 息中的任何一种的情况下，消除所述限度。
控制单元可以基于由面部检测单元检测到的面部特征来确定人物的属 性，基于所述属性执行对面部尺寸的估计，并且采用所估计的面部尺寸计 算对象距离。
数据处理设备还可以包括成像单元，被配置为对包括面部的对象成像。
根据本发明实施例的数据处理方法包括以下步骤检测来自从成像单 元输入的输入图像的面部区域，所述成像单元被配置为对包括面部的对象 成像；基于在检测步骤中检测到的面部的面部尺寸来计算对象距离，并且 在计算出的对象距离作为焦距的聚焦透镜位置之前和之后设置用作聚焦透 镜工作范围的限度；在设置步骤中设置的限度内移动聚焦透镜，并且检测 其中与从包括在检测步骤中检测到的面部的面部框架获得的对比度强度相 对应的检测值等于或大于预定阈值的焦点；以及在预定设置时间内已检测 到焦点的情况下确定其焦点作为聚焦位置。
注意，根据本发明实施例的计算机程序是可以例如通过计算机可读形 式的记录介质或通信介质提供给能够执行各种类型的程序代码的通用计算 机系统的计算机程序。以计算机可读格式提供这种程序实现了与计算机系 统上的程序相对应的处理。
本发明的另外目的、特征和优点将从基于本发明的后述实施例和附图 的更详细的描述中变清楚。注意，本说明书中所用的系统是多个设备的逻 辑组配置，而并不限于每个组成设备在同一外壳内的情形。
对于本发明实施例的布置，利用成像装置的自聚焦处理，从输入图像 中检测出面部区域，基于检测到的面部的尺寸计算对象距离，并且基于计 算出的对象距离信息估计聚焦位置。另外，基于所估计的聚焦位置设置短 于聚焦透镜的总体工作范围的聚焦透镜工作范围，并且在所设置的聚焦透 镜工作范围内移动聚焦透镜以确定聚焦透镜设置位置。根据这一布置，在 聚焦控制下要移动的透镜的距离可以设置得更短，从而实现了高速聚焦控 制。
图1是用于描述具有聚焦控制的透镜驱动示例的示图； 图2是用于描述利用成像装置的检测框架的设置的示图； 图3是用于描述成像装置的硬件配置示例的示图； 图4是用于描述面部检测单元的配置的示图5A是图示根据现有技术的聚焦控制的聚焦透镜工作范围的示图，
图5B是图示根据已应用了根据本发明实施例的基于面部检测的估计距离 信息的聚焦控制的聚焦透镜工作范围的示图6是用于描述用于根据由成像装置在一次图像拍摄中包括的面部尺 寸来获得直到面部的距离的处理的示图7是用于描述基于面部尺寸计算出的聚焦透镜工作范围和对象距离 信息的设置示例的示图8是用于描述聚焦控制配置的示图9是用于描述用于执行AF评估值的计算的评估值计算单元的处理 的示图IO是用于描述摆动处理的示图11是用于描述利用成像装置的各种类型的框架设置的示图； 图12是用于描述利用成像装置的用户接口的显示示例的示图； 图13是用于描述基于面部尺寸的距离估计处理的示图14是用于描述采用基于面部尺寸的距离估计信息的近端工作限度 [Fc—mear—new]到远端工作限度[Fc—far—new]的设置处理的示图15是用于描述利用成像装置的各种类型的框架设置的示图16图示了用于描述在包括要聚焦的对象的面部框架(即，要被设
置为测距区域的面部框架)的初始设置时运行的处理序列的流程图17图示了用于描述基于到对象的距离信息(该信息是基于面部尺
寸计算出的)的聚焦限度的设置和取消，以及基于聚焦限度设置的聚焦控
制处理的序列的流程图18图示了用于描述要根据基于面部尺寸的距离估计信息设置的聚 焦限度，即聚焦透镜的移动限度(近端限度FcNear和远端限度FcFar)状 态更新处理的流程图；以及
图19图示了用于描述要根据基于面部尺寸的距离估计信息设置的聚 焦限度，即聚焦透镜的移动限度(近端限度FcNear和远端限度FcFar)状 态更新处理的流程图。
具体实施例方式
下面将参考附图描述根据本发明实施例的成像装置、成像装置控制方 法和计算机程序的细节。对于本发明的实施例，在利用能够快速对目标对 象进行正确的自聚焦的成像装置(尤其是利用用作用于摄取运动图像的摄 像机的成像装置)拍摄时，从拍摄的图像框架中检测人的面部以对检测的 面部执行聚焦控制。
图3是示出作为根据本发明实施例的数据处理装置的成像装置100的
功能配置示例的框图。成像透镜101在内部包括用于连续改变焦距的变焦
透镜、用于调节聚焦的聚焦透镜、用于改变光圈的孔径光阑、用于插入调
节ND (中性)滤光片(该滤光片用于调节亮度，同时减少根据光圈的衍 射效应)的ND机构、用于校正拍摄时的抖动的防振动抖动校正透镜，等 等。
利用成像透镜101，在成像器件102上形成了对象图像。至于成像器 件，采用了被广泛用作固态成像器件的CCD或CMOS型成像器件。
成像装置100包括用于在成像器件102上会聚图片的成像透镜101、 用于设置成像器件的图像捕捉定时的定时发生器(TG) 109、用于驱动透 镜上的变焦透镜的致动器111、用于驱动透镜上的聚焦透镜的致动器 112、用于驱动它们的马达驱动器110、以及用于控制聚焦或变焦透镜的透 镜位置的控制单元120.
在小型摄像机的情况下，经常采用一种被称为内聚焦型的透镜来作为 聚焦透镜，这种透镜根据被称为跟踪曲线的曲线、在微计算机的控制下与 变焦透镜的移动衔接，并且聚焦和变焦透镜通过微计算机接口，并且通过 前置驱动器和驱动器IC由透镜马达控制。
成像器件102的捕捉信号经过模拟信号处理单元103、 A/D转换单元 104和数字信号处理单元105的信号处理。每个处理单元的处理由控制单 元120控制。
从成像器件102输出的光电转换数据被输入到模拟信号处理单元 103，并且在模拟信号处理单元103处经过诸如噪声去除等处理，并且在 A/D转换单元104处被转换为数字信号。在A/D转换单元104处转换的数 字数据被输入到数字信号处理单元105，并且在数字信号处理单元105处
经过各种类型的图像处理，例如轮廓增强、伽马校正、闪光去除等。数字 信号处理单元105至控制单元120至少包括自动聚焦机构、自动曝光机 构、自动白平衡调节机构等，以及控制信号和包括在透镜单元中的马达， 以实现最佳聚焦位置、最佳亮度和最佳颜色再现。
在数字信号处理单元105处处理后的图片信号被输出或存储到由液晶 面板等配置而成的监视器106、取景器107或记录设备108。
成像装置100还包括用于检测用户输入的操作单元114、作为用于存 储设置的存储器的诸如EEPROM或闪存之类的非易失性存储器115、存储 由控制单元120运行的程序等的存储器(ROM) 116、用作由控制单元 120运行的程序的工作区域的RAM117、以及面部检测单元200。
面部检测单元200接收来自数字信号处理单元105的拍摄图像，并且 执行用于检测拍摄框架内的面部区域的处理。关于面部检测单元200的面 部识别和跟踪技术，已公开了各种技术，并且该技术可以应用于面部检测 单元200。例如，如在日本未审査专利申请公布No. 2004-133637中所示出 的，该技术可以通过匹配某一模板来实现，在该模板中，利用实际图像记 录有面部的亮度分布信息。具体而言，首先，准备通过对实际图像进行压 縮处理而获得的多种类型的图像。另外，准备在倾斜面部时获得的面部亮 度分布信息模板组，并且对压縮的实际图像和模板顺序进行匹配。模板相 对于面部三维正交坐标系统的X、 Y和Z轴中的每一个轴进行倾斜，并且 通过与模板的匹配来确定面部的实际倾斜。
当在两维平面上移动图像的同时在压縮图像和模板之间进行顺序匹配 时，如果图像的某一区域与模板匹配，则其区域是面部所存在的位置，并 且从实际图像的压縮比可以获得面部的尺寸。另外，从这时采用的模板可 以获得旋转角、斜度、围绕正交的三个轴的滚动角。通过利用这样获得的 面部尺寸、位置和旋转角执行对到面部的距离的估计来执行自聚焦控制。 采用到面部的距离的估计信息使得聚焦透镜的工作范围(Rf)能够被设置 得很小。
将参考图4描述面部检测单元200的配置。如图4所示，面部检测单 元200包括预处理单元201、尺寸调整处理单元202、分类和图像匹配处
理单元203、特征量分析和人物属性分析单元204、尺寸和位置稳定化处 理单元205和同步处理单元206。
预处理单元201从输入自数字信号处理单元105的拍摄图像框架中提 取皮肤区域或去除不必要的频率分量。尺寸调整处理单元202是用于执行 图像框架内各种面部尺寸的调节的处理单元，并且将这些尺寸转换为适合 于面部检测单元200的匹配处理的定义尺寸。
分类和图像匹配处理单元203执行分类以对每个面部方向或属性执行 不同的检测处理，并且利用预先注册的面部特征信息来执行匹配处理。特 征量分析和人物属性分析单元204提取面部特征点的位置，并且基于提取 出的特征量来确定人物的属性。注意，属性包括如果是静止的则是照片、 性别判定、年龄估计等，在性别判定中，对在特征点布局是更接近于女性 图案的布局情况下作出该人物是女性的判定，在年龄估计中，从面部的眼 睛和嘴巴的位置来估计年龄。控制单元120基于由特征量分析和人物属性 分析单元204确定的属性来执行面部尺寸的估计，并且执行应用估计的面 部尺寸的对象距离计算。
尺寸和位置稳定化处理单元205执行用于防止从图像框架检测到的面 部波动或消失的稳定化处理。同步处理单元206执行用于屏幕信息检测定 时和面部信息检测定时之间的同步的处理。
注意，面部检测单元200将从拍摄图像框架获得的诸如面部的形状、 位置、尺寸之类的特征点记录在设置在面部检测单元200内的存储器中， 或者记录在图3所示的存储器115至117之一中，并且特征量分析和人物 属性分析单元204基于所记录的特征点信息来确定人物属性。
控制单元120输入包括面部尺寸的检测信息作为来自面部检测单元 200的面部检测信息，执行对从成像装置100到检测的面部的距离的估 计，设置特定面部作为用作聚焦对象的目标对象，跟踪设置的目标对象， 并且执行用于聚焦在其目标对象上的聚焦控制。
根据本发明实施例的成像装置从要拍摄的图像数据确定用作目标对象 的人物的面部，并且根据其面部执行距离估计。如上所述，面部检测单元 200从由成像装置获得的图像数据确定人物的面部。控制单元120利用通
过面部检测处理获得的面部尺寸等来执行到面部的距离的估计，以执行自 聚焦控制。采用到面部的距离的估计信息使得聚焦透镜的工作范围(Rf) 能够被设置得很小。
图5A图示了根据现有技术的聚焦控制的聚焦透镜工作范围，图5B图 示了根据应用了根据本发明实施例的基于面部检测的估计距离信息的聚焦 控制的聚焦透镜工作范围。如图5A所示，在执行通常自聚焦控制的情况 下，聚焦透镜251的工作范围被设置为从近端限度到无限远端限度的整个 范围，聚焦透镜251在该范围内移动，并且确定通过透镜获得的成像数据 的特定区域的对比度水平。也就是说，特定区域的高频分量积分值被计算 以确定对比度水平，这被取作评估值(AF评估值)，并且AF评估值变为 最大的位置被取作聚焦位置。执行这种处理导致一个问题，即聚焦透镜 251的工作范围很大，并且聚焦控制的运行持续时间延长。
另一方面，利用根据图5B所示的应用了本发明实施例的基于面部检 测的估计距离信息的聚焦控制，用作目标对象的人物的面部尺寸被确定， 并且基于该尺寸估计对象距离，该估计信息被应用来使聚焦控制范围縮 小，从而执行快速聚焦控制。也就是说，如图5B所示，基于用作目标对 象的人物的面部尺寸估计出对象距离，并且包括误差范围的预定区域被设 置为以该距离(DF)为中心的聚焦透镜251的工作范围(Rf)，聚焦透镜 251只在工作范围(Rf)内移动，并且确定对比度水平来确定聚焦位置。 利用该处理，聚焦透镜251的工作范围被縮小，从而可以使用于确定聚焦 位置所必需的持续时间縮短。
将描述用于计算到面部的距离的特定方法和用于设置聚焦透镜工作范 围(Rf)的特定方法。利用基于面部尺寸的距离计算方法，进行了这样的 布置，其中聚焦透镜工作范围(Rf)被设置为使得所获得的距离(图5中 所示的(Df))包括距离误差信息。
通过根据本发明实施例的成像装置，利用包括在由成像装置拍摄的图 像中的面部的尺寸来获得到面部的距离。该处理将参考图6描述。在图6 中，图示了对象位置301、聚焦透镜302和成像器件303。在对象位置301 处有人物的面部。面部尺寸(面部宽度)为Wf。
如果实际面部尺寸(Wf)已知，则利用下面的表达式(1.1)、根据 关于透镜的基本物理规则可以获得到面部的距离，即对象距离(Df)，也
就是从聚焦透镜302到对象位置301的对象距离(Df)。 Df = Wref x (f / Wi) x (Ww / Wf) ... (1.1)
下面将描述上述表达式内的每个符号。 Wref:人面部尺寸参考值 Wi:成像器件宽度
f:焦距
Wf:在成像图像内具有人面部尺寸的像素数(成像器件检测值) Ww:具有用于人面部检测的图像尺寸的像素数(成像器件检测值)
预定的固定值可以用作人面部尺寸参考值(Wref)。注意，可以执行 用于将该面部尺寸参考值(Wrcf)设置为考虑到个体差异、人种差异、年 龄差异、性别差异等的值的处理，并且根据该处理，可以实现进一步的精 确距离估计。
成像装置通过基于拍摄图像(透过图像)应用上述表达式(1.1)来计 算对象距离(Df)，并且该距离包括以计算出的对象距离(Df)为中心的 预定误差范围，以设置聚焦透镜工作范围(Rf)。
如果假设一个模型，其中从面部尺寸获得的误差为零，则在将聚焦透 镜移动到该位置时失焦的原因受限于各种类型器件的个体差异，以及制造 时的误差。换句话说，如果这些误差通过调节被去除，则仅利用面部尺寸 而不采用爬升AF或特定范围搜索AF就可以获得良好聚焦的图像。
但是注意，实际上，很难完全去除这些误差。具体而言，在焦距方向 上的非线性焦点移动、由于器件的温度属性引起的焦点位置的移动、以及 各种类型器件之间存在的滞后对该问题有影响。如果认为对于每个变焦位 置和每个焦点位置这些尺寸被保存在数据表中，并且误差范围在近端被设 置为cm而在无限远端被设置为af，从而使表之间的数据经线性插值，则当 到面部的距离为Df时，聚焦透镜工作范围(Rf)被设置如下。
Rf=Df-cm~Df+cjf ...(1.2)
具体而言，聚焦透镜302的工作范围(Rf)被设置为如图7所示。
因此，例如，需要搜索对比度信号的最大值的范围可以利用爬升方法 而被设置为工作范围(Rf)，爬升方法是一种基于对比度判定的聚焦控制 方法，在快门被按下时要搜索的范围的最大值也可以被设置为上述范围， 并且因此，相比于现有技术设置了短距离透镜移动范围，以在短时间内实 现聚焦控制。
将参考图8描述控制单元120执行的聚焦控制布置。控制单元120执
行用于将焦点对准从运动图像框架检测到的特定面部的处理。该处理是根
据记录在存储器(ROM) 116中的程序执行的。图8是以分割块的形式图 示在该聚焦控制处理下运行的处理的框图。
聚焦控制处理被运行为采用下述单元的处理检测框架设置单元 351、评估值计算单元352、自聚焦(AF)模式判定单元353、距离估计单 元354、聚焦方向判定单元355以及减速和加速条件判定单元356，如图8 所示。注意，图8所示的组件是分开示出的以描述在控制单元120处执行 的处理，并且这些组件不需要以硬件形式存在以运行处理。根据程序可运 行这些处理的配置就足够了。
检测框架设置单元351将用作测距区域的检测框架，设置为从图像框 架检测到并且被选为聚焦对象的面部区域。评估值计算单元352计算在由 检测框架设置单元351设置的检测框架内获得的AF评估值，即与先前参 考图1等所描述的图像对比度强度相对应的AF评估值。
自聚焦(AF)模式判定单元353基于由评估值计算单元352计算出的 评估值来确定由成像装置执行的自聚焦模式。该处理将在后面描述。
距离估计单元354执行应用了被选为聚焦对象的面部区域中包括的面 部尺寸的距离估计处理。该处理等同于参考图6所述的处理。聚焦方向判 定单元355采用由距离估计单元354计算出的估计距离信息来确定聚焦方 向。减速和加速条件判定单元356类似地采用由距离估计单元354计算出 的估计距离信息来调节AF时的控制速度，例如聚焦透镜的移动速度，等 等。
将参考图9描述关于评估值计算单元352的用于执行要在由检测框架 设置单元351设置的检测框架内获得的AF评估值的计算的处理。如上所
述，参考图9所描述的爬升方法可用作自聚焦控制的基本处理。关于用户
摄像机的自聚焦(AF)控制，通常采用一种被称为被动型对比度提取AF 的方法，该方法用于基于从成像器件获得的图片的对比度信息来适配聚 焦。关于对比度提取AF，通过基于用于提取成像图片的高频的数字滤波 器(高通滤波器)的输出，计算透镜的操作方向来获得使对比度最大化的 方向，从而控制聚焦位置。
换句话说，在将聚焦透镜移动到多个位置的同时获得多个图像，并且 每个图像的亮度信号经过由高通滤波器表示的滤波处理，从而获得指示每 个图像的对比度强度的AF评估值。利用滤波器，基于设在成像区域中的 焦点检测区域内的成像信号，提取出与图像的锐点(acimiination)相同的 预定频带的多个高频分量。具体而言，滤波器包括可以在离开模糊状态 (或者甚至在模糊状态下)的AF速度提取出的第一高频分量Fa和只有在 更接近于聚焦状态的状态下才从其获得一个值的第二高频分量Fh。
执行用于最大化每个值(Fa和Fh)自身以及其比率(Fh/Fa)的大小 的控制，但是用于减小由于噪声引起的误差操作的简单易行的方法是，从 通过相加(积分)整个屏幕的高频分量获得的所有积分值中减去作为成比 例地计算出的噪声量的核心值(coring value)，并且其结果被最大化，从 而最大化了对比度，同时消除了噪声和除主要对象之外的对象，从而以安 全的方式实现聚焦。
关于根据现有技术用作摄像机的AF评估值的F检测值的计算，共同 的是使用作为所有积分值的屏幕的几乎所有区域的数据以根据以下表达式 执行计算。
F检测值=Fh (或Fa) - oc x所有积分值
但是，对于根据本发明实施例的成像装置，确定用作要聚焦的聚焦对 象的面部，区分包括所确定的面部的面部区域的高频分量的积分值，并且 根据以下表达式计算用作与作为聚焦目标的面部相对应的AF评估值的[F 检测值—面部]。
F检测值_面部=Fh (或Fa) - od x所有积分值(整个屏幕的平均值)-a2x所有积分值(只有包括面部的区域)
上述表达式中包括的al和a2是用作噪声分量的核心值，并且在检测 面部时被平滑地切换。
将参考图9描述聚焦控制处理。在图9中，以与先前参考图1所述相 同的方式，水平轴等同于聚焦透镜位置，垂直轴等同于与对比度强度相对 应的检测值(AF评估值)。如图9所示，利用聚焦控制处理，执行以下 模式中的每一种的切换控制。
(a) 爬升模式400，其中聚焦透镜被从极大模糊状态开始控制，直到 检测到作为高频检测值的最大点的峰值为止，以及
(b) 搜寻模式(hunting mode) 402，其中通过搜寻围绕作为对比度 量的指标的检测值焦点的检测值，来高精度地向检测值的斜坡重复往复运 动。
另外，还应用了以下模式
(c) 摆动模式401，其中通过在搜寻且到达聚焦峰值附近时前后摇摆 透镜，而使AF向焦点检测方向前进。
.在摆动模式401的运行期间峰值保持在某一范围内的情况下，聚焦透 镜进入空闲状态，并且AF进入待命状态，直到检测值变化为至。当从待 命状态恢复时，需要重启成像装置，从而进入评估模式。
图8中所示的AF模式判定单元353基于由评估值计算单元352这样 计算出的评估值来确定由成像装置运行的自聚焦模式，并且执行适当的模 式切换。
注意，用于确定已检测到焦点的判定条件在上面曾描述过的下述情况 中被满足
(1) 可以在离开模糊状态(或者甚至在模糊状态下)的AF速度提取 出的第一高频分量Fa，以及
(2) 只有在更接近于聚焦状态的状态下才从其获得一个值的第二高 频分量Fh中，
作为这两个高频分量之间的比率的Fh/Fa足够大，并且检测值相比于 噪声量具有足够大的对比度值，噪声量依赖于照度而有所不同(Fh足够 大)。
注意，聚焦位置有效地以易于使用的方式表示如下。
新的聚焦位置[fc一new]可以利用下面的表达式表示，该表达式采用当 前聚焦位置[fcjos]、聚焦前进方向[fc一dir]、聚焦速度[fc一spd]、以及由于 摆动引起的透镜振动[fc—wob]来表示，聚焦前进方向[fLdir]被控制以便容 易地以稳定方式向一个方向前进以防止其波动，聚焦速度[fc—spd]由向该方 向前进的概率和聚焦的工作模式、以及检测值的增大量控制。 fc一new = fc_pos + fc—spd x fc—dir (= 1 or -1) ± fc—wob 当由检测值的增大量控制的聚焦速度[fc—spd]较小(或者零)，并且由 于摆动引起的透镜振动[fc—wob]较大时，摆动变为用于确定聚焦的方向和 速度的主要触发因素，另一方面，当[fc—spd]较大，而[fc—wob]较小时，爬
升变为用于确定聚焦的方向和速度的主要触发因素。
注意，如图IOA和IOB所示，由于摆动引起的透镜振动[fc—wob]的增 加和减少是与屏幕的曝光周期同步地重复的。图10A图示了在时间轴 (t)作为水平轴的情况下，在成像装置处获得的图像框架tl、 411-tl至 t3、 413-t3。对每个图像框架设置了包括用作由面部检测单元检测的聚焦对 象的面部区域的面部框架412。
图10B图示了摆动处理序列，水平轴是与图IOA相同的时间轴 (t)。由于摆动引起的透镜振动[fc—wob]被运行为用于在近端和远端振动 聚焦透镜的处理，并且关于图中所示的示例，透镜的振动是在[+fc—wob]和 [-fc—wob]之间循环执行的，并且面部框架412的中心位置的曝光定时被应 用于摆动的同步处理。换句话说，对于每个框架，执行摆动控制以使得面 部框架412的中心位置的曝光定时变为在摆动处理时正侧设置部分的中心 和负侧设置部分的中心。
图8中所示的AF模式判定单元353执行以下模式的切换控制，如参
考图9至10B所描述的。
(a) 爬升模式，其中聚焦透镜被从极大模糊状态开始控制，直到检 测到作为高频检测值的最大点的峰值为止，
(b) 搜寻模式，其中通过搜寻围绕作为对比度量的指标的检测值焦 点的检测值，来高精度地向检测值的斜坡重复往复运动。以及
(C)摆动模式，其中通过在搜寻且到达焦点附近时前后摇摆透镜，
而使AF向焦点检测方向前进。
换句话说，AF模式判定单元353基于由评估值计算单元352计算出的 评估值来确定成像装置运行的自聚焦模式，并且执行适当的模式切换。
注意，例如，利用诸如图11中所示的图像框架411，关于面部框架 412和聚焦评估量，即
(1) 可以在离开模糊状态(或者甚至在模糊状态下)的AF速度提取 出的第一高频分量Fa，以及
(2) 只有在更接近于聚焦状态的状态下才从其获得一个值的第二高 频分量Fh，
在匹配这两个Fh和Fa的检测框架的情况下，利用用于设置面部框架 412并执行检测的检测处理，在采用全局快门型(global shutter type) CCD 的情况下，可以通过将聚焦透镜的实际位置与检测定时相同步来正确地执 行AF处理，但是在采用诸如CMOS之类的巻帘式快门型成像器件的情况 下，面部的检测框架的中心位置被读出的定时变为面部的中心位置的检测 定时，从而需要执行与检测定时和检测位置有关的校正。
具体而言，对于用于设置等同于图10B中所示的摆动的中心位置421 的聚焦位置的定时，需要使摆动相位受到曝光定时的校正，这是利用作为 Lface的面部框架412的中心位置、作为Ltop的屏幕顶部、作为Lbottom 的屏幕底部(但是Lbottom > Ltop)、以及作为[shut—cycle]415的快门周期 实现的，例如如图10A所示。也就是说，这可以用以下表达式表示。
Wob一center一new = Wob—center + {Lface - (Ltop + Lbottom) / 2} / (Ltop -Lbottom) x shut_cycle
因此，希望控制摆动的定时。
注意，对于设置为测距区域的检测框架，如图11所示，有至少两个 框架，用于计算核心值的整个屏幕的屏幕总体框架431和用于提取中心对 象的中心框架435。每个框架的检测值被恒定地计算，并且对于作为包括 面部的框架的面部框架412，这可以用作用于提取对比度量的框架，也可 以不用作该框架。
注意，如参考图1所描述的，照相机包括取景器(EVF) 107和用于 采用液晶面板显示视频屏幕的监视器106，并且希望照相机具有这样一种 布置，其中不仅可以在拍摄期间确认照相机的成像结果，而且可以选择是 采用对面部施加高优先级的AF还是采用根据现有技术的对屏幕中心部位 的对象施加高优先级的AF。
例如，诸如图12所示的用户界面被输出到监视器106，并且在用户选 择面部识别开启(包括框架)选择部分471的情况下，面部识别功能被激 活为以在面部识别区域上显示面部框架。在用户选择面部识别开启(排除 框架)选择部分472的情况下，面部识别功能被激活但不显示面部识别区 域。在用户选择面部识别关闭选择部分473的情况下，在控制单元120的 控制下执行诸如采用根据现有技术的中心优先方法而不采用面部识别AF 之类的控制。
注意，对于运动图像拍摄，通常采用用于优先拍摄屏幕的中心部位的 对象的中心优先AF，而对于专业拍摄，需要有意识地选择对象，因此通 常采用手动聚焦(MF)。 一般而言，经常执行的是对面部优先的拍摄， 这取决于照相人的意图而决定需要增强对象的哪一部分。因此，并不总是 需要对面部优先，因此希望使得面部优先功能能够被开启/关闭。
接下来，将描述图8中所示的距离估计单元354的处理。利用根据本 发明实施例的成像装置，距离估计单元354采用由检测单元从被拍摄图像 面部检测到的面部的尺寸(面部尺寸)来获得到面部的距离。该处理的基 本布置先前已参考图6描述。
现在，将进一步详细描述基于面部尺寸对到对象的距离的估计处理。 基于面部尺寸对到对象的距离的估计处理的基本概念在于
在包括在图像框架中的面部较小的情况下，其到面部的距离较远，
在包括在图像框架中的面部较大的情况下，其到面部的距离较近。
如先前参考图6所描述的，如果面部的实际尺寸(Wf)是已知的，则 图6中所示的对象距离(Df)，即从聚焦透镜302到对象位置301的对象 距离(Df)可以利用下面的表达式根据与透镜有关的基本物理规则获得。
<formula>formula see original document page 22</formula>
Wref:人面部尺寸参考值
Wi:成像器件宽度 f:焦距
Wf:成像图像内具有人面部尺寸的像素数(成像器件检测值) WW:具有用于人面部检测的图像尺寸的像素数(成像器件检测值) 如果假设一个模型，其中从面部尺寸获得的误差为零，则在将聚焦透 镜移动到该位置时该位置处于对焦状态。但是注意，如先前参考图7所描
述的，当考虑到各种误差起因时，误差范围在近端被设置为an，而在无限 远端被设置为af，并且到面部的距离为Df，则执行如下的用于设置聚焦透 镜工作范围(Rf)的处理。
Rf=Df-cm~Df+af …(1.2)
如上所述，用于确定聚焦透镜工作范围(Rf)的误差起因的示例包括 由于器件的温度属性引起的焦点位置的移动，以及各种类型器件之间存在 的滞后，等等，但是利用基于面部尺寸(Wref)的距离(Df)计算表达 式，即
Df = Wref x (f / Wi) x (Ww / Wf)
需要通过将面部尺寸(Wref)设置为一个参考值来将误差考虑在内。 关于上述表达式，预定的固定值被用作人面部尺寸参考值(Wref)，但是 面部的尺寸取决于个人而变化，因此希望作出这样一种布置，其中通过将 某一面部尺寸量考虑在内来确定聚焦透镜工作范围(Rf)。下面将描述该 处理。
例如，假设包括在图像中的面部的实际面部尺寸(横向宽度L)是 [Lreal]。
但是，该实际面部尺寸(横向宽度L) ， g卩[Lreal]是无法获得的，因 此假设作为人物的面部尺寸的范围 小面部宽度为[Lsmall]，并且 大面部宽度为[Lbig]。
注意，对于本示例，示出了采用面部横向宽度[L]作为面部尺寸的示 例，但是也可以采用横向高度。
如图13所示，如果假设要由成像装置拍摄的图像在成像器件上的面 部宽度为a，则实际距离S、实际面部宽度L、成像器件上图像的面部宽度
a以及透镜焦距f之间的关系利用以下表达式表示。
L (面部宽度)/ s (距离)=a (成像器件上的距离)/ f (透镜焦距) 也就是说，到对象的距离[s]由以下表达式表示。 s = f x L / a
到对象的距离[s]利用上述表达式来计算。
该表达式是等同于先前参考图6所描述的表达式(1.1)的表达式。 但是注意，现在，如果考虑到作为人物的面部尺寸的范围 小面部宽度为[Lsmall]，并且 大面部宽度为[Lbig]，
则在小面部人物的情况下到对象的距离[s—small]为 s—small = f x Lsmall / a
并且在大面部人物的情况下到对象的距离[s—big]为 s—big = f x Lbig / a
因此，下面的范围需要被考虑在内作为到对象的距离。 [s—small]至[s—big]
与实际拍摄人物的面部[Lreal]相对应的实际距离[s一real]如下。 s—small S s—real S s—big
因此，希望通过如下设置来确定聚焦透镜工作范围， 将距离[s—small]设置为远端聚焦预测位置，并且 将距离[s一big]设置为近端聚焦预测位置。
如果假设作为在移动聚焦透镜以执行聚焦控制的情况下的聚焦透镜工 作范围，近端为[Fc—near],远端为[Fc—far],则下面的关系成立 Fc—near 〉 Fc—far,
并且如果假设用于从距离获得焦点位置的函数为Fc(s)，则下面的关系 成立。
Fc—near 2 Fc(s—big) > Fc(s—small) 2 Fc—far
现在，要被设置为聚焦透镜工作范围的新部分的设置数据，即以下两
个点近端限度[Fc—near—new]， 以及 远端工作限度[Fc一far—new]
可以利用下面的表达式来计算。
Fc—near—new = MAX(MIN(Fc—near, Fc(s一big)), Fc一far)，并且
Fc—far—new = MIN(MAX(Fc一far, Fc(s—small)), Fc—near)。
从而，从近端限度[Fc—near_new]至远端工作限度[Fc一far一new]的范围
被再次设置为聚焦透镜工作范围，从而实现了对被选为聚焦对象的面部的 距离估计运动图像AF。因此，从近端限度[Fc—near一new]至远端工作限度 [Fc一far一new]的范围被设置，例如如图14所示。也就是说，在控制下执行 了自聚焦处理，以使得远端限度[Fc一far—new]被设置为小面部(临时设置 为大约10 cm)的估计距离，而近端限度[Fc一near—new]被设置为大面部 (临时设置为大约30 cm)的估计距离，以限制聚焦透镜的移动范围，在 这些限度范围内移动聚焦透镜，并且在这些限度附近放慢AF的工作速 度。
注意，如果获得了更加正确的面部尺寸数据，则获得了正确的距离信 息，并且因此，希望采用这样一种布置，其中采用基于所检测面部的特征 信息估计的面部属性，例如诸如该人物是成年人还是小孩、年龄、性别等 之类的面部属性来进一步限制面部尺寸范围。
另外，在到对象的距离被估计以确定聚焦透镜工作范围的情况下，希 望根据其他误差起因来执行设置。例如，希望根据景深来确定聚焦透镜工 作范围。在这种情况下，执行这样的处理，其中当聚焦在具有任意距离的 对象上时，景深包括前沿和尾沿，聚焦限度位置被设置为更接近按照焦深 利用大面部Lbig估计的距离的位置(近端)，并且聚焦限度位置被设置为 远离按照焦深利用小面部Lsmall估计的距离的位置(远端)。
一般而言，景深取决于焦距、光圈和可允许混淆圆，并且具体而言计 算如下。这里，距离(下文中称为"超焦距")被计算为使得在聚焦在对 象上时焦深的尾沿刚好包括无限距离。
如果假设
超焦距为H， 透镜焦距为f， 透镜光圈值为N，并且 可允许混淆圆的直径为C， 则其关系为
H = f2/Nc。
接下来，计算在聚焦在具有任意距离的对象上时景深的前沿和尾沿。
如果假设对象距离为s，作为更接近按照焦深利用大面部Lbig估计的 距离的位置(近端)的聚焦限度位置为Dn(s)，并且作为远离按照焦深利 用小面部Lsmall估计的距离的位置(远端)的聚焦限度位置为Df(s)，则 Dn(s)和Df(s)可以利用以下表达式获得。
Dn(s) = s(H - f) / (H + s -2f)
Df(s) = s(H - f) / (H - s)
如果假设对象面部的横向长度为L，并且该长度自身的误差为AL，则 希望将min Dn(s)至max Df(s)设置为聚焦限度范围，并且为其添加容限以 确定聚焦工作范围。例如，可以进行这样的布置，其中需要基于在成长之 后成年人的面部来执行距离估计，在小面部一侧提供距离误差容限，并且 在该状态下估计距离。
图8中所示的距离估计单元354利用这种方法来设置聚焦透镜工作范 围，并且利用该设置的范围，基于由聚焦方向判定单元355以及减速和加 速条件判定单元356确定的各种类型条件来执行聚焦透镜的控制，从而执 行用于维持对特定对象的面部的聚焦的聚焦控制。
注意，在多个面部被包括在由成像装置拍摄的图像中的情况下，需要 选择要聚焦的面部(主要对象)。
主要对象例如是基于诸如面部尺寸、距离面部中心的远近度、这是否 是要检测的对象等等之类的信息来选择的。与静止图像不同，小面部成为 主要对象的机会极小，但是较大的面部成为主要对象的机会则非常大，因 此，只有具有足够大的尺寸的面部才会被选为主要对象的面部，并且作为 利用中心优先AF的检测目标。
将描述面部优先顺序的特定设置处理示例。 面部优先顺序设置分数[P]是基于以下表达式计算的。
P =[面部尺寸]X [Wi] + [距面部图像中心的距离]X + [取决于上一
次面部是否被检测为主要对象的附加点S]
每个面部的优先顺序设置分数[P]是根据上述表达式计算的。 Wi和Wj是关于[面部尺寸]和[距面部图像中心的距离]的权重参数。 具有根据上述表达式计算出的高分数的面部被选为用作聚焦对象的对 象面部。注意，在移动图像的情况下，需要对于每个框架或者对于具有预 定间隔的每个框架执行分数计算，并且根据计算出的分数切换优先对象。 在这种情况下，与[取决于上一次面部是否被检测为主要对象的附加点S] 和[面部尺寸]相对应的加权参数[Wi]充分增大，从而可以执行稳定的处 理。
注意，控制单元120基于面部估计距离管理对象的重要性、出现时间
等等。要管理的示例是面部ID、面部宽度、面部估计距离、对象的重要 性(分数)、作为主要面部的出现时间、出现时间和出现频率。
聚焦方向判定单元355、减速和加速条件判定单元356执行在由距离 估计单元354设置的聚焦透镜工作范围内的聚焦透镜的控制，并且生成用 于执行用于维持对特定对象的聚焦(即，用于跟踪主要对象)的聚焦控制 的数据。下面将描述主要对象跟踪算法的多个算法示例。 第一算法
第一算法是将重点放在主要面部的连续性上的主要对象跟踪算法。 在上述具有最高面部优先顺序设置分数[P]的面部已被选为主要对象， 并且获得了例如图15中所示的图像框架500的情况下，只有包括设置在 图像总体框架501的中心处的中心框架502的面部框架511被用作面部区 域。不包括中心框架502的面部框架512不被采用。
注意，即使面部框架的一部分偏离了中心框架502，或者面部尺寸被 压縮，面部也会被跟踪。在面部框架完全偏离中心框架502时，对面部的 搜索再次开始，包括与中心框架502的重叠区域的面部框架的最大面部作 为对象被跟踪。在丢失面部的情况下，常用的中心框架502被用作要聚焦
的区域。 第二算法
第二算法是将重点放在作为主要面部的出现时间上的主要对象跟踪算法。
利用图15中所示的示例，最大面部(其中面部框架的一部分被包括
在中心框架502中)被选为主要对象。面部被跟踪，直到面部框架的一部 分偏离了中心框架502，或者作为主要面部的出现持续时间很长的面部出 现在中心框架中为止。具有作为主要对象的最常出现持续时间的面部被跟
踪o
第三算法
第三算法是以易于使用的方式与中心优先相结合地执行主要面部的跟 踪的主要对象跟踪算法。
简单而言，利用该算法，执行具有中心优先的自聚焦(AF)，并且当 具有某一尺寸或更大的面部出现在中心框架502内时，面部被跟踪，并且 在更大面部出现在中心框架中的情况下，后一面部被识别为要跟踪的对 象。
图8中所示的聚焦方向判定单元355以及减速和加速条件判定单元 356例如根据上述算法中的任何一个生成用于跟踪主要对象的控制数据。 注意，在用于跟踪主要对象的该控制数据的生成处理时，执行了数据生 成，其遵循这样一个条件，即在由距离估计单元354设置的聚焦透镜工作 范围内执行聚焦透镜控制。
将参考图16至19所示的流程图描述与由根据本发明实施例的成像装 置执行的聚焦控制有关的处理序列。
首先，在描述该流程图之前，将整体描述由根据本发明实施例的成像 装置执行的聚焦控制的特征。对于根据本发明实施例的成像装置，从运动 图像拍摄框架中检测出特定对象的面部，并且执行聚焦控制以便将聚焦维 持在其面部上。利用这一处理，基于对比度强度测量执行对焦点的搜索， 应用基于所检测的面部的面部尺寸对从照相机到面部的距离的估计，并且 对聚焦透镜的移动范围设置限度，从而能够进行高速焦点判定。
对于基于面部尺寸的距离估计，为了执行正确的距离估计，理想情况 下是获得对象面部的实际的精确尺寸信息，但是在实际的拍摄过程中很难 得知实际的面部尺寸。因此，希望采用这样一种布置，其中基于在面部检 测时从面部图像获得的特征信息，对于对象的面部是成年人还是小孩，或 玩偶、照片、小孩、婴儿等进行估计，或者估计年龄，从而采用在成像装 置中注册的与其估计信息相对应的面部尺寸信息。在采用摄像机的普通用 户的情况下，经常执行婴儿或小孩的拍摄，并且在采用婴儿作为对象的情 况下，希望基于所检测面部的特征信息确定对象是婴儿，并且通过应用小 面部尺寸信息来执行对面部的距离估计。
注意，作为一种从对象的移动不仅确定对象的年龄还确定了对象是否 是人物的布置，可以进行这样的布置，其中对实际人物的面部信息和其他 面部信息进行区分，并且只有实际面部被选为聚焦对象。作为关于对象的 面部是否是人物的面部的判定处理，例如，可以进行这样的布置，其中检 测面部一部分的移动，并且在该部分停留给定长时间的情况下，判定对象 的面部是人物的面部。
注意，对于根据本发明实施例的成像装置，进行这样一种布置，其中 基于对比度强度测量来执行焦点的搜索，应用基于所检测面部的面部尺寸 对从照相机到面部的距离的估计，并且对于聚焦透镜的移动范围设置限 度，从而能够进行高速焦点判定，但是例如，对于根据检测框架的对比度 测量，存在无法立即找到峰值的可能性，并且在这种情况下，聚焦处理失 败。
在聚焦在用作聚焦对象的主要面部以解决该问题的情况下，对于被设 置为聚焦透镜移动范围的聚焦限度范围内的峰值检测时间设置了上限，所 述聚焦透镜移动范围是根据基于面部尺寸估计的距离而设置的。另外，可 以进行这样的布置，其中在从峰值丢失时起的某一时间段之后执行聚焦限 度的取消。
另外，可以进行这样的布置，其中采用聚焦限度的控制被设置为仅在 用作聚焦对象的面部处于已经在前一框架内检测到的对象距离的附近的情 况下才有效，并且在面部远离所检测的对象距离旁边的情况下，执行用于
取消采用聚焦限度的控制的处理。类似地，可以进行这样的布置，其中多 次重复地执行基于对比度强度的评估值的峰值检测，同时反转限度内的远 端边沿和近端边沿，并且在即使利用该处理也没有检测到峰值的情况下， 取消已经设置的聚焦限度。或者，可以进行这样的布置，其中聚焦限度的 范围被逐渐延伸。
在某一时间段内无法充分获得峰值的情况下(具体而言，在没有满足 这样的条件的情况下，其中高频检测值和较低高频检测值之间的比率等于 或大于某一值，该值是通过从在面部的检测设置区域处的检测值减去核心 值而获得的值)，聚焦限度被取消。
注意，被设置为聚焦透镜移动范围(该范围是根据基于面部尺寸估计 的距离而设置的)的聚焦限度被取消的机会的示例包括
面部丢失的情况，
另一对象插入面部前方的情况，以及
面部自身不被设置为要识别的对象的情况，在这些情况下限度被取消。
在这种情况下，当随着峰值进入面部距离的估计距离内对象的聚焦透 镜位置停止时，聚焦限度被再次设置。
特别地，在用作聚焦对象的对象移动的情况下，需要多加小心。用于 提取面部的检测周期不足使得难以执行面部的跟踪。另外，即使在面部被 充分跟踪的情况下，当用户操作照相机以执行例如摇摄、倾斜、变焦等之 类的处理时，可能很容易发生跟踪延迟。另外，如果面部框架偏离了屏幕 中心部位，则在某些情况下其面部在变焦期间移到框外，因此希望在变 焦、摇摄和倾斜操作期间取消基于面部尺寸设置的聚焦限度范围。
例如，控制单元输入用于抖动校正的加速度(gyro)传感器信息、面 部检测框架的移动自身、变焦杆的操作信息等等，并且根据这些输入，执 行用于取消基于面部尺寸设置的聚焦限度范围或者消除限度的处理。
将描述在以下情况下的聚焦限度取消处理示例其中控制单元输入面
部检测框架，即被设置为与面部区域相对应的检测值(AF评估值)的获
取区域的面部框架的移动信息，并且该移动等于或大于指定值(阈值)。
控制单元120例如计算与输入框架有关的在预先设置的给定长时间内 的面部框架(检测框架)的移动量平均值、对面部框架尺寸的比率[面部框 架移动量平均值/面部框架尺寸]，并且将该计算结果与预先设置的阈值或更长时间内是否已成功，并且在跟踪未成功的情况下，控制 单元120进行到步骤S104，并且在对所检测面部的面部框架已设置的情况 下，维持面部框架，并且基于采用中心框架的检测值(AF评估值)的对 比度强度来执行自聚焦处理。
另一方面，在步骤S103中判定对面部的跟踪在预定的规定持续时间 [Tdicovery]或更长内已成功的情况下，控制单元120进行到步骤S105，设 置对于所检测面部的面部框架，并且将其当作检测框架(用于AF评估值 计算的框架)。另外，控制单元120基于面部尺寸执行距离估计，并且基 于所估计的距离设置用于縮窄聚焦移动范围的上限和下限的聚焦限度。
也就是说，控制单元120基于距离估计信息来设置到一般以估计的距 离为中心的之前和之后的某一范围的聚焦透镜工作范围，该聚焦透镜工作 范围是基于通常的对比度强度的。具体而言，如先前参考图5B所描述 的，控制单元120基于用作目标对象的人物面部的尺寸来设置包括以对象 距离估计信息(DF)为中心的预定误差范围的区域，作为聚焦透镜工作范 围(Rf)，仅在该工作范围(Rf)内移动聚焦透镜，并且开始用于确定对 比度水平以确定聚焦位置的处理。
在步骤S106中，控制单元120通过固定被设置为聚焦对象的主要面 部来执行跟踪处理。注意，上述第一至第三算法中的任何一个被应用于主 要面部的选择。也就是说，控制单元120执行以下算法中的任何一个来选 择主要面部。
第一算法，用于选择具有最大优先顺序设置分数[P]并且包括中心框架 的面部作为主要面部，
第二算法，用于优先选择这样一个面部作为主要面部，该面部具有作 为主要面部的长注册持续时间，并且遵循包括中心框架的面部被选为主要 面部的原则，以及
第三算法，用于选择在执行中心优先自聚焦(AF)时表现为具有某一 尺寸或更大的面部作为主要面部。
控制单元120这样执行对一次设置的主要面部的跟踪，并且在跟踪成
功的情况下，继续利用其主要面部作为聚焦对象的处理，但是在跟踪失败 的情况下，执行用于选择下一主要面部的处理。
在步骤S107中正执行上述算法期间发生主要面部改变条件从而使对
主要面部的跟踪失败的情况下，控制单元120进行到步骤S108，改变用作 聚焦对象的主要面部，返回步骤S106，并且执行利用改变后的主要面部作 为聚焦对象的处理。
注意，在发生主要面部改变条件从而使对主要面部的跟踪失败的情况 下，控制单元120执行用于改变用作聚焦对象的主要面部的处理，但是特 定的主要面部改变条件的示例包括检测到屏幕或面部框架的移动等于或大 于预定阈值，以及输入变焦、摇摄和倾斜操作信息中的一项。
具体而言，对于设置限度(该设置限度基于利用由面部检测单元200 检测到的面部计算出的对象距离)内的聚焦控制的运行时间段，在检测到 屏幕或面部框架的移动等于或大于预定阈值的情况下，或者在检测到变 焦、摇摄和倾斜操作信息中的一项的输入的情况下，控制单元120执行用 于取消或消除上述限度的处理。
接下来，将参考图17中所示的流程图描述基于聚焦限度的设置和取 消的聚焦控制处理的序列，聚焦限度是基于到基于面部尺寸计算出的对象 的距离信息的。注意，图17中所示的流程是在控制单元120的控制下执 行的。
首先，在步骤S201中，控制单元120确定面部框架是否已被设置为 主要面部。在未设置面部框架的情况下，控制单元120进行到步骤S202， 并且执行通常的自聚焦处理，B卩，例如采用在屏幕的中心部位处设置的中 心框架的检测值(AF评估值)进行的基于对比度强度的自聚焦处理。
在步骤S201中判定面部框架已被设置为主要面部的情况下，控制单 元120进行到步骤S203。在步骤S203中，控制单元120根据面部尺寸执 行到其面部的距离的估计，并且对聚焦范围应用限度(近端限度FcNear和 远端限度FcFar)。
接下来，在步骤S204中，在基于聚焦限度的设置开始聚焦控制的同 时，控制单元120设置或修改核心值和减速条件以使得AF与面部匹配。例如，如参考图14所描述的，控制单元120执行自聚焦处理，例如远端
限度被设置为小面部(临时设置约10 cm)的估计距离，近端限度被设置 为大面部(临时设置约30 cm)的估计距离的控制，从而聚焦透镜移动范 围受限，聚焦透镜仅在该限度范围内移动，并且在限度附近AF工作速度 放慢。
也就是说，如先前参考图5B所描述的，该处理是这样的处理，其中 利用基于用作作为中心的目标对象的人物的面部尺寸的对象距离估计信息 (DF)，包括预定误差范围的范围被设置为聚焦透镜工作范围(Rf)，聚 焦透镜仅在该工作范围(Rf)内移动，确定对比度水平，从而确定聚焦位置。
接下来，在步骤S205中，控制单元120在基于聚焦限度设置开始聚 焦控制的同时启动定时器，在预定的规定持续时间[TimeTh]内维持聚焦限 度，并且监视在该持续时间[TimeTh]内是否发生从面部框架获得的检测值 (AF评估值)变为阈值(Ft)或更大的状态。
在步骤S206中，控制单元120确定检测值是否变为阈值(Ft)或更 大，并且所检测的位置被确定为接近焦点，并且在检测值没有变为阈值 (Ft)或更大并且所检测的位置不被确定为接近焦点的情况下，控制单元 120进行到步骤S208，并且在经过预定的规定持续时间[TimeTh]之后，取 消根据距离估计信息设置的聚焦范围限度(近端限度FcNear，远端限度 FcFar)，其中距离估计信息是基于在步骤S202中设置的面部尺寸的。
在步骤S206中判定检测值变为阈值(Ft)或更大并且所检测的位置被 确定为接近焦点的情况下，控制单元120维持根据基于面部尺寸的距离估 计信息设置的聚焦范围限度(近端限度FcNear，远端限度FcFar)以执行 聚焦控制，执行对主要面部的跟踪，并且继续聚焦控制。在步骤S207中 判定己执行诸如变焦、摇摄或倾斜之类的操作的情况下，控制单元120进 行到步骤S208，并且取消聚焦限度。
因此，当面部框架被设置为主要面部时，控制单元120根据面部尺寸 将聚焦工作范围限度应用到远端和近端两者，从限度的开始启动定时器 Th，并且设置聚焦限度，直到不满足作为取消条件的焦点条件(1)变
焦，(2)摇摄、倾斜，以及(3)某一持续时间。当限度条件被取消时，
控制单元120进入对面部的重锁定操作，只要面部被连续检测到即可。
接下来，将参考图18中所示的流程图描述要根据基于面部尺寸的距 离估计信息设置的聚焦限度(即，聚焦透镜移动限度(近端限度FcNear， 远端限度FcFar))的状态更新处理。注意，图18中所示的流程图是在控 制单元120的控制下执行的。
首先，在步骤S301中，控制单元120确定当前状态是否是聚焦限度 取消状态，g卩，要根据基于面部尺寸的距离估计信息设置的聚焦限度还未 被设置的状态。在聚焦限度已被设置的状态的情况下，控制单元120进行 到步骤S302，并且响应于检测到新的面部，将其面部当作用作聚焦对象的 主要面部以执行基于面部尺寸的距离估计，并且根据距离估计信息设置聚 焦限度，艮卩，聚焦透镜移动限度(近端限度FcNear，远端限度FcFar)。
另一方面，在步骤S301中判定当前状态是聚焦限度取消状态，即要 根据基于面部尺寸的距离估计信息设置的聚焦限度还未被设置的状态的情 况下，控制单元120进行到步骤S303，确定利用焦距估计位置处的面部框 架是否满足聚焦条件。该处理是用于确定从与用作目标对象的人物面部相 对应设置的面部框架中获得的检测值(AF评估值)是否变为阈值(Ft)或 更大的处理，并且聚焦状态得以确认。
在聚焦状态被确认的情况下，控制单元120进行到步骤S305，执行基 于面部尺寸的距离估计，并且根据距离估计信息设置聚焦限度，S卩，聚焦 透镜移动限度(近端限度FcNear，远端限度FcFar)。
另一方面，在步骤S303中的判定未确认聚焦状态的情况下，控制单 元120进行到步骤S304，并且继续通常的聚焦控制，其中根据基于面部尺 寸的距离估计信息的聚焦限度还未被设置。
因此，作为通常的对比度AF的运行结果，当在当前聚焦位置处满足 聚焦条件时，在从面部尺寸估计的距离范围包括面部的情况下，控制单元 120执行聚焦控制，其中根据基于面部尺寸的距离估计信息的聚焦限度已 被设置。注意，在使用聚焦限度开始的同时，控制单元120控制并减小等 同于上述噪声抑制量的核心值，縮紧AF减速条件，抑制AF的波动，并
且执行控制以便很容易地聚焦。注意，在不能容易地执行利用面部尺寸的 距离估计的情况下，可以进行这样的布置，其中当聚焦位置到达距离估计 区域并且在中心部位处存在主要对象时，控制单元120执行用于减小核心 值以放慢聚焦控制的处理速度的处理。
与图18类似，图19是用于描述要根据基于面部尺寸的距离估计信息
设置的聚焦限度(即，聚焦透镜移动限度(近端限度FcNear，远端限度 FcFar))的状态更新处理的流程图。
与图18中所示的流程图的差别在于步骤S401,步骤S402至步骤 S405的处理与图18所示的流程图中的步骤S302至S305相同。对于本处 理的示例，在步骤S401中，控制单元120确定当前状态是否是聚焦限度 取消状态，即要根据基于面部尺寸的距离估计信息设置的聚焦限度还未被 设置的状态，并且还确定是否正在执行对面部的跟踪。也就是说，在步骤 S401中，控制单元120跟踪利用预先获得的面部标识符(ID)区分的特定 面部，并且确定其跟踪面部是否是用于在取消聚焦限度之前设置聚焦限度 并受到距离估计的面部。
在步骤S401中的判定结果为"否"的情况下，S卩，在聚焦限度已被 设置的情况下，或者在没有执行对面部的跟踪的情况下，控制单元120进 行到步骤S402，并且响应于检测到新的面部，将其面部当作用作聚焦对象 的主要面部，以执行基于面部尺寸的距离估计，并且根据距离估计信息设 置聚焦限度，即，聚焦透镜移动限度(近端限度FcNear，远端限度 FcFar)。
另一方面，在步骤S401中的判定结果为"是"的情况下，控制单元 120进行到步骤S403，并且确定关于焦距估计位置处的面部框架是否满足 聚焦条件。这是用于确定从与用作目标对象的人物面部相对应设置的面部 框架中获得的检测值(AF评估值)是否变为阈值(Ft)或更大的处理，并 且聚焦状态得以确认。
在聚焦状态被确认的情况下，控制单元120进行到步骤S405，执行基 于面部尺寸的距离估计，并且根据距离估计信息设置聚焦限度，即，聚焦 透镜移动限度(近端限度FcNear，远端限度FcFar)。
另一方面，在步骤S403中的判定未确认聚焦状态的情况下，控制单 元120进行到步骤S404，并且继续通常的聚焦控制，其中根据基于面部尺 寸的距离估计信息的聚焦限度还未被设置。
本说明书中描述的处理系列可以由硬件、软件或其组合来执行。在通 过软件执行处理的情况下，记录有处理序列的程序可以被安装以在嵌入在 专用硬件中的计算机内的存储器中运行，或者该程序可以被安装以在可以 运行各种类型处理的通用计算机中运行。例如，程序可以预先记录在记录 介质中。程序可以从记录介质安装到计算机中，并且也可以通过诸如LAN (局域网)或因特网之类的网络接收，并安装在诸如内置硬盘等的记录介 质中。
注意，本说明书中描述的各种类型处理不仅可以按遵循给出的顺序的 时间顺序执行，而且可以根据用于运行处理的设备的处理能力或者按照需 要并行地或个别执行。另外，对于本说明书，术语"系统"表示多个设备 的逻辑组布置，它并不限于各自具有不同配置的设备被容纳在同一机壳内 的布置。
已参考特定实施例详细描述了本发明。但是注意，很明显本领域技术 人员可以执行对实施例的各种修改和替换，而不脱离本发明的实质。也就 是说，本发明是以示例性方式公开的，而不应当限制性地加以解释。在确 定本发明的实质时应当参考权利要求。本领域技术人员应当理解，取决于 设计需求和其他因素可能发生各种修改、组合、子组合和变更，只要它们 在权利要求或其等同物的范围内。
本发明包含与2007年9月14日向日本专利局递交的日本专利申请JP 2007-238694有关的主题，该申请的全部内容通过引用结合于此。
权利要求
1. 一种数据处理设备，包括面部检测单元，被配置为检测来自从成像装置输入的输入图像的面部区域，所述成像装置被配置为对包括面部的对象成像；设置单元，被配置为基于由所述面部检测单元检测到的面部的面部尺寸来计算对象距离，以及在计算出的对象距离作为焦距的聚焦透镜位置之前和之后设置用作聚焦透镜工作范围的限度；检测单元，被配置为在由所述设置单元设置的限度内移动聚焦透镜，以及检测焦点，其中在所述焦点处与从包括由所述面部检测单元检测到的面部的面部框架获得的对比度强度相对应的检测值等于或大于预定阈值；以及控制单元，被配置为在预定设置时间内已检测到焦点的情况下将其焦点确定为聚焦位置。
2. 如权利要求1所述的数据处理设备，其中所述控制单元在预定设置 时间内未检测到焦点的情况下取消由所述设置单元设置的限度。
3. 如权利要求1所述的数据处理设备，其中所述控制单元基于预定的 规定面部尺寸的上限数据和下限数据来设置以下限度近端限度[Fcjear—new]，和远端工作限度[Fc—far—new]，作为用作所述聚焦透镜工作范围的限度。
4. 如权利要求1所述的数据处理设备，其中所述控制单元根据检测定 时在由所述设置单元设置的限度内移动聚焦透镜时对用于运行摆动处理的 运行定时进行控制来确定聚焦位置，所述检测定时是根据包括由所述面部 检测单元检测到的面部的面部框架的。
5. 如权利要求1所述的数据处理设备，还包括 计算单元，被配置为计算采用由所述面部检测单元检测到的面部的以 下(a)至(C)中的任何一项的分数(a) 面部尺寸，(b) 距面部图像中心的距离，以及(C)上一次面部是否被检测为主要对象； 其中所述控制单元选择具有由所述计算单元计算出的高分数的面部作 为用作聚焦对象的主要面部。
6. 如权利要求5所述的数据处理设备，其中所述控制单元跟踪已由所述控制单元设置的主要面部，并且在跟踪失败的情况下选择下一主要面 部。
7. 如权利要求1所述的数据处理设备，其中，利用设置限度内的聚焦控制运行时间段，基于采用由所述面部检测单元检测到的面部计算出的对 象距离，所述控制单元在检测到屏幕或面部框架的移动等于或大于预定阈 值的情况下，或者在输入变焦、摇摄和倾斜任何一种的操作信息的情况 下，消除所述限度。
8. 如权利要求1所述的数据处理设备，其中所述控制单元 基于由所述面部检测单元检测到的面部特征来确定人物的属性， 基于所述属性执行对面部尺寸的估计，以及 采用所估计的面部尺寸计算对象距离。
9. 如权利要求1所述的数据处理设备，还包括成像装置，被配置为对包括面部的对象成像。
10. —种数据处理方法，包括以下步骤检测来自从成像装置输入的输入图像的面部区域，所述成像装置被配 置为对包括面部的对象成像；基于在所述检测中检测到的面部的面部尺寸来计算对象距离，并且在 计算出的对象距离作为焦距的聚焦透镜位置之前和之后设置用作聚焦透镜工作范围的限度；在所述设置中设置的限度内移动聚焦透镜，并且检测焦点，其中在所 述焦点处与从包括在所述检测中检测到的面部的面部框架获得的对比度强度相对应的检测值等于或大于预定阈值；以及在预定设置时间内已检测到焦点的情况下将其焦点确定为聚焦位置。
11. 一种数据处理设备，包括面部检测单元，被配置为检测来自从成像单元输入的输入图像的面部 区域，所述成像单元被配置为对包括面部的对象成像； 设置单元，被配置为基于由所述面部检测单元检测到的面部的面部尺寸来计算对象距 离，以及在计算出的对象距离作为焦距的聚焦透镜位置之前和之后设置用作聚焦透镜工作范围的限度；检测单元，被配置为在由所述设置单元设置的限度内移动聚焦透镜，以及检测焦点，其中在所述焦点处与从包括由所述面部检测单元检测到的面部的面部框架获得的对比度强度相对应的检测值等于或大于预 定阈值；以及控制单元，被配置为在预定设置时间内已检测到焦点的情况下将其焦 点确定为聚焦位置。
12. —种数据处理方法，包括以下步骤检测来自从成像单元输入的输入图像的面部区域，所述成像单元被配 置为对包括面部的对象成像；基于在所述检测中检测到的面部的面部尺寸来计算对象距离，并且在 计算出的对象距离作为焦距的聚焦透镜位置之前和之后设置用作聚焦透镜 工作范围的限度；在所述设置中设置的限度内移动聚焦透镜，并且检测焦点，其中在所 述焦点处与从包括在所述检测中检测到的面部的面部框架获得的对比度强度相对应的检测值等于或大于预定阈值；以及在预定设置时间内已检测到焦点的情况下将其焦点确定为聚焦位置。
全文摘要
本发明公开了一种成像装置、成像装置控制方法和计算机程序。数据处理设备包括面部检测单元，被配置为检测来自从成像单元输入的输入图像的面部区域，所述成像单元被配置为对包括面部的对象成像；设置单元，被配置为基于由面部检测单元检测到的面部的面部尺寸来计算对象距离，并且利用计算出的对象距离作为焦距来设置用作聚焦透镜位置之前和之后的聚焦透镜工作范围的限度；检测单元，被配置为在由设置单元设置的限度内移动聚焦透镜，并且检测焦点，在焦点处与从包括由面部检测单元检测到的面部的面部框架获得的对比度强度相对应的检测值等于或大于预定阈值；以及控制单元，被配置为在预定设置时间内已检测到焦点的情况下确定其焦点作为聚焦位置。
文档编号G02B7/28GK101387732SQ200810149678
公开日2009年3月18日 申请日期2008年9月16日 优先权日2007年9月14日
发明者川井崇史, 熊谷史裕, 索罗吉·特里特亚帕拉赛尔特 申请人:索尼株式会社