专利名称：成像装置、成像装置的控制方法、和计算机程序的制作方法
技术领域：
本发明涉及成像装置、成像装置的控制方法、和计算机程序。更具体地说，本发明涉及允许目标对象的快速、精确自动聚焦处理的成像装置、成像装置的控制方法、和计算机程序。
背景技术：
现在，许多成像装置，例如静态照相机和摄影机都具有安装在其上的自动聚焦(AF)机构，用于将对象自动聚焦。另外，近年来，在具有自动聚焦(AF)功能的照相机中，广泛采用了所谓的“多AF”、或“多点范围AF”的功能，它测量到屏幕内多个区域的距离，选择从各种优先级中得出的最佳区域(例如离摄影师最近的区域、和离屏幕中心更近的区域)，并驱动镜头将此区域聚焦。此功能用于允许对主要对象进行正确聚焦而不用摄影师进行特殊操作，即使主要对象不总在屏幕中心。而且，对于自动聚焦控制的配置，例如，在专利文献1(参见JP-A-4-000421)中进行了描述。
然而，此多AF或多点范围AF功能并不能服务于所有目的，这些功能只对具体组成有效。在通常的照相机拍摄中，在大多数情况下人是主要对象，而人在获取的图像中处于许多地方，并且具有各种组成。首先，在有些情况下，目标对象处在要测量距离的区域在成像装置中没有设定的位置。在此情况下，即使应用了多AF或多点范围AF功能，也不能正确地将人聚焦。
为了解决这些问题，提出了这样的配置，其中从成像装置的图像中识别面部，并将要测量距离的区域设定在识别的面部的位置处，由此可以在任何组成中将面部聚焦。例如，专利文献2公开了基于此面部识别的聚焦控制的配置(参见JP-A-2003-107335)。通过基于此面部识别的聚焦控制，在拍摄各种组成时就允许正确的聚焦控制(聚焦)。
然而，为了不丧失拍照的机会，耗时的处理是不合适的。换句话说，仅在要测量距离的区域内将面部聚焦的AF功能是不够的，需要发明用于加速AF功能的方案。例如，对于从快速完成聚焦控制而不丧失拍照机会的观点出发提出聚焦控制处理的配置，有专利文献3(参见JP-A-60-254207)。在专利文献3中，提出了一种装置，其中在跟踪特定对象的同时识别此对象以测量距离，并且迅速实施聚焦控制以允许不会丧失拍照机会的拍摄。
然而，在此跟踪主要对象的AF功能中，问题是什么是摄影师的主要对象？对于一个解决此问题的方案，可以认为具有从图像中识别面部以确定此面部是否为主要对象的方案。然而，在此方案中，在有很多人的场景中，存在哪个人应该被设定为主要对象的问题。
如上所述，自动聚焦(AF)功能具有各种有待解决的问题，但是对于要求实施理想自动聚焦(AF)的基本功能，可以认为以下三个问题最关键。
1.要确保将主要对象聚焦。
2.要短时间获得聚焦。
3.要确保将要聚焦的对象是从多个可能的主要对象中迅速选择的。
此外，另一个基本要求是要降低成本。增加实现该功能的成本不是优选的。例如，需要这样的配置，该配置可靠地实施快速聚焦控制而不使用例如昂贵的范围传感器的外部距离测量装置。
发明内容
在这种情况下，需要提供允许目标对象的快速、精确自动聚焦处理的成像装置、成像装置的控制方法、和计算机程序。
本发明的一个实施例是一种成像装置，包括面部检测部件，被配置用于从由所述成像装置输入的输入图像检测面部区域；对象距离计算部件，被配置用于基于在所述面部检测部件中检测的面部的尺寸计算对象距离；透镜操作范围计算部件，被配置用于基于关于在所述对象距离计算部件中计算的所述对象距离的信息估计聚焦位置，并设置短于聚焦透镜的整个操作范围的聚焦透镜操作范围；以及聚焦控制部件，被配置用于在所述透镜操作范围计算部件中设置的所述透镜操作范围内移动所述聚焦透镜，并决定设置所述聚焦透镜的位置。
另外，在根据本发明的实施例的成像装置中，所述对象距离计算部件被配置用于在基于所述面部检测部件中检测的所述面部尺寸的所述对象距离计算处理中实施对象距离计算处理，其中输入用于种族、性别、年龄、和身体构造的对象信息的至少任何一条，并基于输入的对象信息，施加与对象一致的所述面部尺寸的参考值。
另外，在根据本发明的实施例的成像装置中，所述用于种族、性别、年龄、和身体构造的对象信息的至少任何一条是输入到所述对象距离计算部件作为来自对象分析部件的分析结果的信息，所述结果得自所述成像装置中输入的输入图像。
另外，在根据本发明的实施例的成像装置中，所述用于种族、性别、年龄、和身体构造的对象信息的至少任何一条是通过所述成像装置的用户输入部件输入到所述对象距离计算部件的信息。
另外，在根据本发明的实施例的成像装置中，所述对象距离计算部件被配置用于实施对其施加与对象一致的所述面部尺寸的参考值的对象距离计算处理，并被配置用于实施这样的处理，其中计算所述面部尺寸的参考值作为带有某些值范围的参考值而非单个值，并施加带有所述范围的参考值以计算带有范围的对象距离。
另外，在根据本发明的实施例的成像装置中，所述对象距离计算部件被配置用于实施这样的处理，其中考虑在面部模板匹配处理中出现的误差计算对象距离从Dfn到Dff的范围。
另外，在根据本发明的实施例的成像装置中，所述透镜操作范围计算部件被配置用于实施这样的处理，其中考虑由所述成像装置中的设备引起的误差基于关于在所述对象距离计算部件中计算的所述对象距离的信息设置聚焦透镜操作范围。
另外，在根据本发明的实施例的成像装置中，所述成像装置还包括优先级分析部件，其被配置用于设置在所述面部检测部件中检测的多个面部的优先级，其中所述优先级分析部件被配置用于使用所述面部尺寸，或面部离所述中心有多近，或用于种族、性别、年龄、和身体构造的对象信息的至少任何一条作为指示符实施面部优先级决定处理，以及所述透镜操作范围计算部件被配置用于实施这样的处理，其中基于所述优先级分析部件中决定的面部优先级信息设置聚焦透镜操作范围。
另外，在根据本发明的实施例的成像装置中，所述透镜操作范围计算部件被配置用于实施这样的处理，其中基于关于对应于具有所述优先级分析部件中决定的最高优先级的面部的所述对象距离的信息设置聚焦透镜操作范围。
另外，在根据本发明的实施例的成像装置中，所述透镜操作范围计算部件被配置用于实施这样的处理，其中设置包括基于关于对应于所述优先级分析部件中决定的优先级次序中的多个面部的所述对象距离的信息计算的多个聚焦透镜操作范围的范围作为最终聚焦透镜操作范围。
另外，在根据本发明的实施例的成像装置中，所述图像处理装置还包括显示控制部件，其被配置用于将对焦标记置于监视器输出图像中的面部区域上，所述对焦标记显示聚焦成功，而监视器输出图像基于所述聚焦控制部件中设置所述聚焦透镜的位置的所述决定被确定成聚焦成功。
另外，本发明的一个实施例是一种成像装置的控制方法，用于实施所述成像装置中的自动聚焦控制，所述方法包括以下步骤在面部检测部件中从所述成像装置输入的输入图像检测面部区域；在对象距离计算部件中基于所述面部检测部件中检测的面部的尺寸计算对象距离；在透镜操作范围计算部件中基于关于所述对象距离计算部件中计算的所述对象距离的信息估计聚焦位置，并设置短于聚焦透镜的整个操作范围的聚焦操作范围；以及在聚焦控制部件中在所述透镜操作范围计算部件中设置的所述透镜操作范围内移动聚焦透镜，并决定设置所述聚焦透镜的位置。
另外，在根据本发明的实施例的成像装置的控制方法中，所述计算对象距离的步骤是在基于所述面部检测部件中检测的所述面部尺寸的所述对象距离计算处理中实施对象距离计算处理的步骤，其中输入用于种族、性别、年龄、和身体构造的对象信息的至少任何一条，并基于输入的对象信息，施加与对象一致的所述面部尺寸的参考值。
另外，在根据本发明的实施例的成像装置的控制方法中，所述用于种族、性别、年龄、和身体构造的对象信息的至少任何一条是输入到所述对象距离计算部件作为来自对象分析部件的分析结果的信息，所述结果得自所述成像装置中输入的输入图像。
另外，在根据本发明的实施例的成像装置的控制方法中，所述用于种族、性别、年龄、和身体构造的对象信息的至少任何一条是通过所述成像装置的用户输入部件输入到所述对象距离计算部件的信息。
另外，在根据本发明的实施例的成像装置的控制方法中，所述计算对象距离的步骤是实施对其施加与对象一致的所述面部尺寸的参考值的对象距离计算处理，并是实施这样的处理的步骤，其中计算所述面部尺寸的参考值作为带有某些值范围的参考值而非单个值，并施加带有所述范围的参考值以计算带有范围的对象距离。
另外，在根据本发明的实施例的成像装置的控制方法中，所述计算对象距离的步骤是实施这样的处理的步骤，其中考虑在面部模板匹配处理中出现的误差计算对象距离从Dfn到Dff的范围。
另外，在根据本发明的实施例的成像装置的控制方法中，所述计算透镜操作范围的步骤是实施这样的处理的步骤，其中考虑由所述成像装置中的设备引起的误差基于关于在所述对象距离计算部件中计算的所述对象距离的信息设置聚焦透镜操作范围。
另外，在根据本发明的实施例的成像装置的控制方法中，所述成像装置的控制方法还包括在优先级分析部件中分析优先级的步骤，所述优先级分析部件被配置用于设置所述面部检测部件中检测的多个面部的优先级，其中所述分析优先级的步骤是使用所述面部尺寸，或面部离所述中心有多近，或用于种族、性别、年龄、和身体构造的对象信息的至少任何一条作为指示符实施面部优先级决定处理的步骤，以及所述计算透镜操作范围的步骤是实施这样的处理的步骤，其中基于所述优先级分析部件中决定的面部优先级信息设置聚焦透镜操作范围。
另外，在根据本发明的实施例的成像装置的控制方法中，所述计算透镜操作范围的步骤是实施这样的处理的步骤，其中基于关于对应于具有所述优先级分析部件中决定的最高优先级的面部的所述对象距离的信息设置聚焦透镜操作范围。
另外，在根据本发明的实施例的成像装置的控制方法中，所述计算透镜操作范围的步骤是实施这样的处理的步骤，其中设置包括基于关于对应于所述优先级分析部件中决定的优先级次序中的多个面部的所述对象距离的信息计算的多个聚焦透镜操作范围的范围作为最终聚焦透镜操作范围。
另外，在根据本发明的实施例的成像装置的控制方法中，所述成像装置的控制方法还包括在显示控制部件中显示控制的步骤，其中对焦标记置于监视器输出图像中的面部区域上，所述对焦标记显示聚焦成功，而监视器输出图像基于所述聚焦控制部件中设置所述聚焦透镜的位置的所述决定被确定成聚焦成功。
另外，本发明的一个实施例是一种用于在成像装置中实施自动聚焦控制的计算机程序，所述程序包括以下步骤在面部检测部件中从所述成像装置输入的输入图像检测面部区域；在对象距离计算部件中基于所述面部检测部件中检测的面部的尺寸计算对象距离；在透镜操作范围计算部件中基于关于所述对象距离计算部件中计算的所述对象距离的信息估计聚焦位置，并设置短于聚焦透镜的整个操作范围的聚焦操作范围；以及在聚焦控制部件中在所述透镜操作范围计算部件中设置的所述透镜操作范围内移动聚焦透镜，并决定设置所述聚焦透镜的位置。
而且，根据本发明的实施例的计算机程序是可以以计算机可读格式为多用途计算机系统提供的计算机程序，所述多用途计算机系统能够在例如CD、FD、或MO的记录介质中，或通过例如网络的通信介质执行各种程序代码。此程序以计算机可读格式提供，由此可以在计算机系统上根据所述程序实施处理。
根据本发明的实施例的其它目的、特征和优点将参考后面所述的本发明的实施例的实现和附图从更加详细的描述中变得明显。而且，说明书中的系统是由多个设备形成的逻辑组装的配置，所述系统并不局限于具有相同外壳内的单独配置的设备的系统。
在根据本发明的实施例的配置中，在成像装置的自动聚焦处理中，从输入图像检测面部区域，基于所述检测的面部的尺寸计算对象距离，并基于关于所述计算的对象距离的信息估计聚焦位置。另外，基于估计的聚焦位置，设置短于聚焦透镜的整个操作范围的聚焦操作范围，而且在设置的透镜操作范围内移动聚焦透镜，以决定设置所述聚焦透镜的位置。根据所述配置，可以在聚焦控制中设置要移动的透镜的距离，并且可以实施加速的聚焦控制。
另外，根据基于本发明的实施例的配置，在对象距离计算处理中，它被配置用于实施对象距离计算处理，其中输入用于种族、性别、年龄、和身体构造的对象信息的至少任何一条，并基于输入的对象信息，施加与对象一致的所述面部尺寸的参考值。因此，可以计算适应于对象的更加精确的对象距离，并且可以实施精确的聚焦控制。
另外，根据基于本发明的实施例的配置，所述优先级分析部件被配置用于实施这样的处理，其中使用诸如所述面部尺寸，或面部离所述中心有多近，或种族、性别、年龄、和身体构造的对象信息作为指示符决定所述面部检测部件中检测的多个面部的优先级，并基于决定的面部优先级信息设置聚焦透镜操作范围。因此，即使检测了多个面部，也可以对具有更高优先级的面部有效地实施聚焦控制。
图1A、1B、和1C示出了根据本发明的实施例的成像装置的外观的示例性配置；图2示出了根据本发明的实施例的成像装置的示例性硬件配置；图3A和3B示出了在聚焦控制中驱动透镜的实例；图4示出了根据本发明的实施例的成像装置的自动聚焦控制过程的流程图；图5示出了基于面部尺寸的对象距离计算处理；图6示出了关于基于面部尺寸计算的对象距离的信息和用于聚焦透镜的操作范围的示例性设置；图7示出了面部尺寸参考值计算部件的配置和处理；图8A和8B示出了施加给面部尺寸参考值计算部件的示例性参考值计算表；图9示出了施加给面部尺寸参考值计算部件的示例性参考值计算表；图10示出了施加给面部尺寸参考值计算部件的示例性参考值计算表；图11示出了关于基于面部尺寸计算的对象距离的信息和用于聚焦透镜的操作范围的示例性设置；图12示出了用于对象的示例性优先级设置处理序列的流程图；图13示出了用于对象的示例性优先级设置处理序列的流程图；图14示出了用于对象的示例性优先级设置处理序列的流程图；图15示出了示例性对焦标记；图16示出了用于一定优先级的对象的示例性聚焦控制处理；图17示出了用于一定优先级的对象的示例性聚焦控制处理；以及图18示出了根据本发明的实施例的成像装置的处理和功能的方框图。
具体实施例方式
下面，将描述根据本发明的实施例的成像装置、成像装置的控制方法、和计算机程序。
本发明的实施例公开了允许快速、精确自动聚焦目标对象的配置。在根据本发明的实施例的成像装置中，对于聚焦控制的方案，使用此方案作为确定通过透镜获得的成像数据的对比度是高还是低的基础。它是调节方案，其中设定在获取的图像中的特定区域作为用于聚焦控制的信号获取区域(该区域是用于提取空间频率的区域)，确定当特定区域的对比度较高时它在焦距内，而当对比度较低时它在焦距之外，而且将透镜向使对比度更高的位置驱动。
更加具体地，采用此方案，其中提取特定区域中的高频成分，产生提取的高频成分的积分数据，并基于产生的高频成分的积分数据确定对比度是高还是低。换句话说，为了确定对比度的高低，计算特定区域内的高频成分的积分值并用作评估值(AF评估值)。驱动聚焦透镜以使评估值最大，由此实施自动聚焦。为了实施自动聚焦，需要把评估值当作向导驱动透镜。例如，对于透镜驱动机构，可以使用音圈马达。
在本发明的实施例中，在使用此对比度确定处理的聚焦控制中，将人的面部尺寸确定为目标对象，基于此尺寸估计到对象的距离，并施加估计的信息以窄化聚焦控制的范围，以允许快速聚焦控制。另外，本发明的实施例允许考虑个人、种族、年龄、性别等的面部尺寸中的差别基于面部尺寸更加精确地实施到对象的距离的估计。
首先，将参考附图描述根据本发明的实施例的成像装置的配置。图1A、1B、和1C示出了根据本发明的实施例的成像装置10的外观。图1A示出了成像装置的顶视图，图1B是正面视图，而图1C是背面视图。在图1A的顶视图中，将透镜部分示为横截面。成像装置10具有电源开关11、设置捕获图像定时的触发装置(即，用作快门按钮的释放开关12)、用于显示成像装置获取的图像(连贯(through)图像)和操作信息的监视器13、作为成像设备(CCD)的成像器14、用于缩放控制的缩放按钮15、进入各种操作的信息的操作按钮16、用于确认成像装置获取的图像(连贯图像)的电子取景器17、在聚焦调节中驱动的聚焦透镜18、在缩放调节中驱动的缩放透镜19、设置拍摄模式的模式拨盘20、驱动聚焦透镜18的聚焦透镜马达(M1)21、和驱动缩放透镜19的缩放透镜马达(M2)22。
在电子取景器17和监视器13上显示对象图像。电子取景器17和监视器13由LCD配置，例如，该LCD上对象图像通过透镜显示为运动的图像。运动的图像称之为连贯图片。用户确认认可目标对象，以通过电子取景器17或监视器13拍摄，并接着按下作为快门按钮的释放开关12，由此实施图像的记录处理。
将参考图2描述根据本发明的实施例的成像装置100的内部配置。根据本发明的实施例的成像装置是具有自动聚焦功能的成像装置。通过聚焦透镜101和缩放透镜102的入射光进入例如CCD(电荷耦合设备)的成像设备103，并在成像设备103中经过光电转换。光电转换数据输入模拟信号处理部件104，在模拟信号处理部件104中经过噪声滤波，并在A/D转换部件105中转换为数字信号。在由例如闪存配置的记录设备115上记录A/D转换部件105中数字转换后的数据。另外，在监视器117和电子取景器(EVF)116上显示出来。在监视器117和电子取景器(EVF)116上，通过透镜的图像显示为与是否拍摄无关的连贯图片。
操作(manipulating)部件118是包括参考图1A、1B和1C描述的照相机主体中的释放开关12、缩放按钮15、输入各种操作的信息的操作按钮16、设置拍摄模式的模式拨盘20等的操作部件。控制部件110具有CPU，其用于根据例如存储器(ROM)120中预先存储的程序实施成像设备完成的各种处理的控制。存储器(EEPROM)119是非易失性存储器，其中存储了图像数据、各条子信息、程序等。存储器(ROM)120在其中存储了控制部件(CPU)110使用的程序和计算参数。存储器(RAM)121在其中存储了控制部件(CPU)110使用的在执行中适当改变的程序和参数。例如，陀螺仪111检测成像装置的倾角和震动(vibration)。例如，检测的信息输入控制部件(CPU)101，对该信息施加稳定图像的处理。
马达驱动器112驱动对应于聚焦透镜101配置的聚焦透镜驱动马达113和对应于缩放透镜102配置的缩放透镜驱动马达114。垂直驱动器107驱动成像设备(CCD)103。定时产生器106产生用于成像设备103和模拟信号处理部件104的处理的定时，和用于处理单个处理部件的定时的控制信号。
面部检测部件130分析通过透镜输入的图像数据，并检测图像数据中的人的面部。将面部检测信息发送到控制部件110，而在控制部件110中，基于检测的面部信息确定作为目标对象的人的面部的尺寸，并基于此尺寸估计到对象的距离。另外，施加此估计的信息以窄化聚焦控制的范围，用于快速聚焦控制。另外，在基于面部尺寸的对象距离估计处理中，考虑个人、种族、年龄、性别等的尺寸中的差别实施此处理，由此实施精确的距离估计。
在根据本发明的实施例的成像装置中，如上所述，在聚焦控制中，基本上使用这样的方案，其确定通过透镜捕获的成像数据的对比度是高还是低，但是在使用此对比度确定处理的聚焦控制中，确定作为目标对象的人的面部的尺寸，基于此尺寸估计到对象的距离，施加估计的信息以窄化聚焦控制的范围，以允许快速聚焦控制。
在基于对比度的聚焦位置确定处理中，计算特定区域内高频成分的积分值，并将此值用作评估值(AF评估值)。驱动聚焦透镜，以使此评估值最大，由此实施自动聚焦。作为具体的自动聚焦控制处理，有多种方法，包括其中伺服聚焦透镜以使AF评估值保持在峰值的方法(登山法)，和其中在某个区域中的某些间隔获取评估值数据并在从评估值中获取最大值处的聚焦位置处移动聚焦透镜的方法(可能区域搜索)。
在登山法中(其中伺服聚焦透镜以使AF评估值保持峰值)，虽然它总是提供最佳的聚焦，但是它去要花费时间去聚焦。而且，在可能区域搜索中(其中在某个区域中的某些间隔获取评估值数据并在从评估值中获取最大值处的聚焦位置处移动聚焦透镜)，透镜花较短时间来几乎全景聚焦，但是它具有透镜只在某个时刻聚焦和对象移动时透镜在焦距外的问题。
在根据本发明的实施例的成像装置中，在面部检测部件130的图像数据中检测人的面部。在控制部件110中，基于检测的面部信息确定作为目标对象的人的面部的尺寸，并基于此尺寸估计到对象的距离。操作范围被窄化并基于登出AF法或点对点搜索AF法被设置用于聚焦位置搜索处理，并基于用于快速聚焦控制的登出AF法或点对点搜索AF法中的任何一种实施聚焦位置搜索处理。另外，在基于面部尺寸的到对象距离的估计中，考虑个人、种族、年龄、性别等的面部尺寸中的差别实施到对象距离的估计，以便实施精确的距离估计。
图3A示出了相关领域内聚焦控制中的聚焦透镜操作范围，而图3B示出了基于根据本发明的实施例的面部检测施加了估计的距离信息的聚焦控制中的聚焦透镜操作范围。当实施典型自动聚焦控制时，如图3A所示，聚焦透镜201的操作范围设置为从透镜到对象侧界限到无限侧界限的整个范围，在此范围内移动聚焦透镜201并确定通过透镜捕获的成像数据中特定区域内的对比度是高还是低。换句话说，为了确定对比度的高低，计算特定区域内的高频成分的积分值，将此设置为评估值(AF评估值)，认为AF评估值最大处的位置就是聚焦位置。当实施此处理时，出现了聚焦透镜201的操作范围过大，而且用于聚焦控制的执行时间延长的问题。
另一方面，在基于根据图3B中所示的本发明的实施例的面部检测施加了估计的距离信息的聚焦控制中，确定作为目标对象的人的面部的尺寸，基于此尺寸估计到对象的距离，而且施加此估计的信息以窄化聚焦控制的范围，用于快速聚焦控制。换句话说，如图3B中所示，基于作为目标对象的人的面部尺寸估计到对象的距离，设定包括预先设定的误差范围的区域作为聚焦透镜201在此距离(DF)周围的操作范围(Rf)，仅在此操作范围(Rf)内移动聚焦透镜201，确定对比度是高还是低并接着决定聚焦位置。在此处理中，聚焦透镜201的操作范围被窄化以缩短确定聚焦位置所需的时间。
下面是更加具体的处理过程。而且，要确定成像设备的对比度信号中的差别的区域，即，设置为确定对比度是高还是低的特定区域是包括从连贯图片中检测的面部区域的区域。基于从此区域获得的对比度信号，实施下面的操作以实施自动聚焦的加速。
1.在按下释放按钮之前，在对比度信号最大的位置处伺服聚焦透镜。此时聚焦控制中的透镜操作范围局限于Rf。
2.在按下释放按钮时，当对比度信号保持在最大值附近时，即，当对比度等于或大于预先设定的阈值并处在其中对比度中的波动很难由于聚焦位置的改变而变化的区域中时，原样捕获图像，而当在中途按下释放按钮时，图像锁定。
3.当在按下释放按钮的时候对比度信号不在最大值附近时，按照“可能区域搜索”在透镜操作范围Rf内检测对比度最大的位置，聚焦位置移向此位置，并接着原样捕获图像，而当在中途按下释放按钮时，图像锁定。
4.每次当面部的检测结果改变时透镜的操作范围Rf都会被更新。
将参考图4中所示流程图描述对应于如上所述的具体聚焦控制处理序列。首先，在步骤S101，从成像装置捕获的对象图像(连贯图片)检测目标对象的面部区域，确定作为目标对象的人的面部的检测尺寸，并基于此尺寸估计到对象的距离。
在步骤S102，如图3B中所示，当基于作为目标对象的人的面部尺寸估计的距离(DF)位于中心时，设置包括预先设置的误差范围的区域作为聚焦透镜的操作范围，即，AF操作范围。在步骤S103，实施用于移动图像的自动聚焦处理，即，自动聚焦控制，以显示在监视器上显示的图像，作为作为目标对象的人的面部聚焦的图像。只要没有在步骤S104检测到按下了释放按钮，就连续实施从步骤S101到S103的处理步骤。
在步骤S104，当检测到按下了释放按钮时，处理进行到步骤S105。确定对比度信号是否保持在最大值附近，即，对比度是否等于或大于预先设置的阈值。
在步骤S105，当确定对比度等于或大于预先设置的阈值时，确定正确的聚焦控制已完成，而处理进行到步骤S107已完成聚焦控制。在步骤S108，实施处理以拍摄(捕获)图像。另一方面，在步骤S105，当确定对比度不等于或不大于预先设置的阈值时，确定正确的聚焦控制还未完成，而处理进行到步骤S106以实施聚焦控制，用于拍摄静止的图像。当估计的距离(Df)基于上面参考图3B描述的作为目标对象的人的面部的尺寸而位于中心时，在这种情况下聚焦透镜移动的区域是包括预先设置的误差范围的操作范围(Rf)。在此处理中，基于包括面部区域的特定区域的对比度是高还是低确定聚焦位置，并接着处理进行到步骤S108以完成聚焦控制。在步骤S108，实施处理以拍摄(捕获)图像。
本发明的实施例中最基本的点是这样一种方法，其中在基于面部尺寸确定到面部的距离的情况下，使用距离的误差信息来决定尽可能窄的AF范围。因此，可以在短时间内实施自动聚焦。
从根据本发明的实施例的成像装置捕获的图像数据确定目标对象的人的面部，并估计到此面部的距离。下文中，将描述此处理的更具体的处理配置。将按以下几条的顺序进行描述。
1.面部识别处理。
2.计算到面部的距离和设置聚焦透镜的操作范围(Rf)的方案。
3.在有多个面部时的自动聚焦处理。
1.面部识别处理首先，将描述从成像装置捕获的图像数据确定人的面部的方案。对于面部识别和跟踪技术，已经公开了各种技术，且可以应用现有技术。例如，如JP-A-2004-133637中所述，实施了这样一种技术，即对真实图像实施与其上记录了面部亮度分布信息的模板的匹配。首先，预备多种类型的图像，其中处理真实图像以按比例缩小。预备一组面部亮度分布信息的模板，此信息在面部倾斜时获得。接着将它们一个一个相互匹配。此模板是与面部的三维垂直坐标系统的各个X、Y、和Z轴相倾斜的模板，并通过与模板的匹配确定实际面部的倾斜。
在二维平面偏移时，又向按比例缩小的图像实施匹配。当某个区域与模板匹配时，此区域是面部存在的位置，可以从真实图像的按比例缩小的因子确定尺寸。另外，可以从此时使用的模板确定关于三个正交轴的旋转角度、左右偏移(yaw)、间距、和滚动角度。由此确定的面部的尺寸、位置、和旋转角度用于估计到面部的距离用于自动聚焦控制，由此可以设置聚焦透镜的操作范围(Rf)更小，如上面参考图3B描述的那样。
2.计算到面部的距离和设置聚焦透镜的操作范围(Rf)的方案下文中，将描述计算到面部的距离和设置聚焦透镜的操作范围(Rf)的更加具体的方案。在根据本发明的实施例提出的基于面部的尺寸计算距离的方案中，进行了如此配置，其中确定的距离(如3B中所示的(Df))包括距离误差信息以设置聚焦透镜的操作范围(Rf)。
在根据本发明的实施例的图像装置中，基于成像装置获取的图像中包括的面部的尺寸确定到面部的距离。将参考图5描述此处理。图5示出了对象位置301、聚焦透镜302、和成像设备303。在对象位置301存在人的面部。面部尺寸(面部宽度)为Wf。
当发现面部的实际尺寸(Wf)时，可以从透镜的基本物理原理确定到面部的距离，即，对象距离(Df)。换句话说，可以通过下面的公式确定从聚焦透镜302到对象位置301的对象距离(Df)。
Df＝Wref×(f/Wi)×(Ww/Wf)(等式1.1)下面是上述等式中符号的描述。
人面部尺寸参考值Wref
成像设备宽度Wi焦距f获取的图像中人面部尺寸的像素数(成像设备检测的值)Wf用于在人的面部检测中使用的图像尺寸的像素数(成像设备检测的值)Ww对于人面部尺寸参考值(Wref)，可以使用预定的固定值。而且，可以将面部尺寸参考值(Wref)设置为考虑用于处理的个人、种族、年龄、性别等中的差别的值。利用此处理，可以实施更精确的距离估计。后面将描述处理配置。
在成像装置中，基于要获取的图像(连贯图片)应用上述等式(等式1.1)以计算对象距离(Df)，并在计算的对象距离(Df)位于中心时，设置包括预先设置的误差范围的聚焦透镜的操作范围(Rf)。
假设采用这样的一种模型从面部尺寸确定的误差为零。当将聚焦透镜移向此位置时没有完成聚焦的因素受限于各种设备中的个别差异和制造引起的误差。更加具体地，假设可以通过调节除去这些误差，原理上，可以只使用面部尺寸而不用登山AF法或可能区域搜索提供极佳聚焦的图片。
然而，实际上，不可能完全除去这些误差。更加具体地，这是由于焦距方向上的非线性聚焦移动、设备温度特性引起的设备的聚焦位置的移动、以及各种设备之间的滞后。在每个缩放位置和聚焦位置处的数据表中列出这些量而表之间的数据是线性互补的的形式中，则可设置误差范围，其中σn是在透镜到对象侧上而σf是在无限侧上。如下设置聚焦透镜的操作范围(Rf)，其中到面部的距离是Df。
Rf＝Df-σn到Df+σf(等式1.2)换句话说，如图6中所示设置聚焦透镜302的操作范围(Rf)。
因此，例如，可以根据其作为基于对比度确定的聚焦控制的方案的一种的登山法，将要搜索对比度信号的最大值的区域设置为操作范围(Rf)。也可以将当按下释放按钮时要搜索的区域的最大值设置为上面的范围。与相关领域内的方案相比，设置具有更短距离的透镜移动范围以允许短时间聚焦控制。
然而，基于面部尺寸的此距离估计处理具有下面的问题。
问题1有种族、性别、年龄、和身体构造的差别引起的面部尺寸的变化。
问题2模板匹配能力的限制(真实图像按比例缩小因子的分辨率)。
解决问题1的方法第一个问题的解决方法是将面部尺寸参考值Wref设置为与对应于对象的种族、性别、年龄、和身体构造一致的适当值。为此，配置成计算和使用对应于种族、性别、年龄、和身体构造的各项的参考值Wref。例如，配置成这样保存用于计算对应于种族、性别、年龄、和身体构造的各项的参考值Wref的表数据；基于图像分析结果或用户输入信息获取对应于对象的种族、性别、年龄、和身体构造信息的各项；并基于获取的信息从表格中确定与对象一致的面部尺寸参考值Wref。
分析成像装置获取的图像中包括的面部图像，以估计此面部的人的种族、性别、年龄、和身体构造。换句话说，识别面部的各部分，与预先登记的对应于种族、性别、年龄、和身体构造的各部分的信息进行匹配，并估计对象的种族、性别、年龄、和身体构造。作为选择，可以进行这样的配置例如摄影师的用户输入与种族、性别、年龄、和身体构造相关的对象信息作为对象信息，并施加输入的信息。
如上所述，获取对象的种族、性别、年龄、和身体构造的各项作为图像分析或用户输入信息，并确定与对象一致的足够的面部尺寸参考值Wref。将参考图7描述其示例性处理。
如图7中所示，成像装置具有面部尺寸参考值(Wref)计算部件310。面部尺寸参考值(Wref)计算部件310具有种族参考值计算表311、性别参考值计算表312、年龄参考值计算表313、身体构造参考值计算表314、和数据处理部件320。
图像分析`部件331分析成像装置获取的图像包括的面部图像以估计此面部的人的种族、性别、年龄、和身体构造。换句话说，识别面部的各部分，与预先登记的对应于种族、性别、年龄、和身体构造的各部分的信息实施匹配，估计对象的种族、性别、年龄、和身体构造，并将估计的信息输入面部尺寸参考值(Wref)计算部件310。作为选择，例如摄影师的用户通过用户输入部件332输入与种族、性别、年龄、和身体构造相关的对象信息作为对象信息，并将输入信息输入到面部尺寸参考值(Wref)计算部件310。
面部尺寸参考值(Wref)计算部件310基于通过图像分析部件331施加的、或通过用户输入部件332输入的对象信息，通过使用每个表格，计算与对象一致的最佳参考值(Wref)。对于实际输出，考虑到某些范围的变化，计算参考值的范围Wref＝(Wref+ΔWrefb)到(Wref-ΔWrefs)。考虑到估计的较大侧的偏移是ΔWrefb而到较小侧的偏移是ΔWrefs来输出结果。
将参考图8A至10描述表格的示例性数据配置。图8A示出了种族参考值计算表，图8B示出了种族和性别参考值计算表，图9示出了种族、性别、和年龄参考值计算表，而图10示出了种族、性别、年龄、和身体构造参考值计算表。在图7中所示的示例性配置中，描述了其中预备用于种族、性别、年龄、和身体构造的个人表格的实例，而对于除了个人表格的如图8A至10中所示的表格配置，也可以进行各种设置。
例如，当基于通过图像分析部件331或用户输入部件332输入的对象信息只能估计/确定种族时，使用图8A中所示的种族参考值计算表。假设当不能确定种族时，要使用“普通”数据。
当基于通过图像分析部件331或用户输入部件332输入的对象信息可以估计/确定种族和性别时，使用图8A中所示的种族和性别参考值计算表。假设此人为亚洲男性，要使用图8B中行A中的数据。另一方面，例如，当估计/确定不能确定种族而性别为女性时，使用图8B中行B中的数据，显示出种族为普通而性别为女性。
类似地，当可以估计/确定年龄时，使用图9中所示的种族、性别、和年龄参考值计算表。假设当发现此人为12岁以上的亚洲男性时，使用图9中行C中的数据。当由于某些原因不能估计时，使用图9中行D中的数据。类似地，当项可以估计/确定为身体构造时，使用10中所示的种族、性别、年龄、和身体构造参考值计算表，以计算最佳参考值Wref＝(Wref+ΔWrefb)到(Wref-ΔWrefs)。
如上所述，获取对象的种族、性别、年龄、和身体构造信息的各项作为图像分析或用户输入信息，并可以根据对象确定足够的面部尺寸参考值Wref。施加计算的参考值Wref，以更加精确地计算到对象的距离(Df)。而且，在施加参考值Wref的处理和计算到对象的距离(Df)的处理中，可以进行这样的配置施加面部宽度和面部垂直长度的任何一个，以及组合两者。另外，可以进行这样的处理配置考虑了倾斜。
解决问题2的方法接下来，将描述解决上面所述问题2的方法，即，解决模板匹配能力的限制(例如，真实图像按比例缩小因子的分辨率)的方法。如上所述，实施模板匹配以从获取的图像确定面部区域。换句话说，其是预备了一组对应于面部的各种倾斜的面部亮度分布信息的模板的处理，获取的图像经过按比例缩小的处理，以和按比例缩小的图像匹配。当在二维平面上偏移时，又实施与按比例缩小的图像的匹配，并接着将某个区域与模板匹配，这意味着此区域是面部存在的位置，而可以从真实图像的按比例缩小的因子确定尺寸。
然而，有模板匹配能力的限制的问题(例如，真实图像按比例缩小因子的分辨率)。对于解决此问题的措施，一个有效措施是实施预先考虑这些误差的处理。检测误差是一个与种族、性别、年龄等中的差别分开的可能产生的问题。可以期望通过记录面部模板上的各项面部数据，并通过增加进行匹配的位置数量来提高精度，但总会有局限性。例如，当获取的图像中的面部较暗时，误差较大，而当面部倾斜时，误差很大。因为例如性能的固有限制、用于检测的不利亮度、和面部的倾斜的这些环境，可能出现检测误差，而要考虑与这些环境有关的误差来实施处理。
将描述更加具体的示例性处理。对于从获取的图像检测的面部尺寸Wf，例如，来自亮度检测单元的亮度信息，用于确定在模板匹配中被确定为最小的面部尺寸Ws，和被确定为最大的面部尺寸Wb。这些是考虑引起检测误差的因素，即，例如检测处理性能的限制、用于检测的不利亮度、和面部的倾斜的这些环境引起的误差因素，而决定的。
下面，通过如参考图7到10描述的对其施加种族、性别、年龄、和身体构造参考值计算表的处理，计算面部尺寸参考值Wref＝(Wref+ΔWrefb)到(Wref-ΔWrefs)。这是将到对象的距离设置在其中假设的更大方向上的偏移为ΔWrefb而更小方向上的偏移为ΔWrefs的某个范围内的实例。
此时，对于面部尺寸参考值(Wref)，和获取的图像中人面部尺寸的像素数(成像设备检测的值)(Wf)，进行如下设置Wref＝Wref+ΔWrefb，Wr＝Ws然后，将等式Wref＝Wref+ΔWrefb、和Wr＝Ws带入上述用于计算对象距离(Df)的等式，即，Df＝Wref×(f/Wi)×(Ww/Wf)(等式1.1)。结果(Dff)是误差延伸最远的情况。
另一方面，对于Wref和Wf，进行如下设置。
Wref＝Wref-ΔWrefs、Wr＝Wb然后，将等式Wref＝Wref-ΔWrefs、和Wr＝Wb带入上述用于计算对象距离(Df)的等式，即，Df＝Wref×(f/W i)×(Ww/Wf)(等式1.1)。结果(Dff)是其中误差延伸最近的情况。
换句话说，如图11中所示，从对象图像的面部尺寸计算的对象距离(Df)不是单个点，它被设置为考虑例如模板匹配和人的误差的图像分析中的误差的范围。更加具体地，如图11中所示，它被设置为从Dfn到Dff的距离。
对于对象距离(Dfn到Dff)，设置包括预先计算的误差范围的聚焦透镜(Rf)的操作范围。如上所述，在考虑焦距方向上的非线性聚焦移动、由设备温度特性引起的设备的聚焦位置的移动、和各种器件之间的时滞的情况下，设置误差范围以使σn在透镜到对象侧上而σf是在无限侧上。然后根据下面的等式(等式1.3)计算聚焦透镜的操作范围(Rf)。
Rf＝(Dfn-σn)到(Dff+σf)(等式1.3)如上所述，在根据本发明的实施例的配置中，从对象图像的面部尺寸计算的对象距离(Df)不是单个点，它可以理解为其中考虑了例如模板匹配的图像分析中的误差和人为误差的某个“从Dfn到Dff的范围”，并考虑误差进行设置。这是根据本发明的实施例的一个重要特征。
3.存在多个面部时的自动聚焦处理接下来，将描述图像中存在多个面部时自动聚焦处理的细节。当图像中存在多个面部时，要对所有面部实施如上所述的相同处理，以确定对应于各个面部的聚焦透镜的操作范围(Rf)。
在这里，选择面部的方法很重要。一个指示符是面部尺寸，即，面部离照相机有多近。另一个指示符是面部离中心多近。需要自适应地改变它们。
然后，当面部尺寸大于预定的阈值(Flim)时，面部是最优先的，而当有多个面部超过阈值(Flim)时，依递减的次序为面部排出优先级。当有相同尺寸的面部时，依接近中心的次序给出更高的优先级。当所有面部的尺寸等于或小于阈值(Flim)时，更高的优先级给予最接近中心的面部。当面部在离中心相同的距离处时，依递减的次序为面部排出优先级。利用此处理步骤，选择具有最高优先级的单个面部。将参考图12和13中所示流程图描述这些处理步骤。
在由图2中所示的成像装置的控制部件110实施的控制下实施图12和13中所示的处理步骤。首先，在步骤S201，确定是否存在对象指定信息(种族、年龄、性别、和身体构造信息)。对象指定信息从作为用户输入部件的操作部件输入。
当没有对象指定信息(种族、年龄、性别、和身体构造信息)时，处理进行到步骤S204。当存在对象指定信息(种族、年龄、性别、和身体构造信息)时，处理进行到步骤S202。只选择与对象指定信息匹配的面部，而且处理进行到步骤S203，以实施用于选择的面部的对象优先级设置处理。后面将参考图13中所示的流程描述对象优先级设置处理的细节。
在步骤S203，在用于与对象指定信息匹配的面部的优先级设置处理完成之后，处理进行到步骤S204，以只选择没有优先级的面部。处理进行到步骤S205，以实施用于选择的面部的对象优先级设置处理。下面将参考图13中所示的流程描述对象优先级设置处理的细节。
最后，处理进行到步骤S206，将在步骤S203中决定的并与对象指定信息匹配的面部的优先级与步骤S205中决定的优先级组合起来，以实施综合优先级设置处理。实施优先级设置处理，其中与对象指定信息匹配的面部的优先级比不与对象指定信息匹配的面部的优先级更加优先。
接下来，将参考图13中所示的流程图描述步骤S203和S205中实施的优先级设置处理的详细处理步骤。首先，在步骤S301，确定在获取的用于处理目标的图像(连贯图片)中是否存在多个面部。当没有多个面部时，处理结束，这是因为没有必要设置优先级了。
当在获取的用于处理目标的图像(连贯图片)中存在多个面部时，处理进行到步骤S302，以从多个面部中选择作为处理目标的单个面部。然后，在步骤S303，确定选择的面部的尺寸是否大于预先设置的阈值(FLim)。当大于时，处理进行到步骤S304，以将面部分入具有更高优先级的组A。当小于时，处理进行到步骤S305，以将面部分入具有较低优先级的组B。
接下来，在步骤S306，确定所有面部的分组是否已完成。当还有面部未分组时，处理返回步骤S302以重复类似的处理步骤。在步骤S306，当确定所有面部的分组已完成时，处理进行到步骤S307，以按递减的次序排出具有更高优先级的组A中的面部的优先级。当它们尺寸相同时，按接近中心的次序为它们排出优先级。接下来，处理进行到步骤S308，按接近中心的次序排出具有较低优先级的组B中的面部的优先级。当它们在相等距离处时，以按递减的次序为它们排出优先级。利用这些处理步骤，设置图像中包括的面部的优先级。
而且，设置优先级的方案并非局限于此方案，而可以采取各种方案。例如，可以实施方案作为与图14中所示流程图一致的处理。图14中所示流程图是这样的一种方法，其中只选择与种族、年龄、性别指定信息的每条匹配的面部，以分别为选择的面部排出优先级，并基于优先级信息的各条最终设置综合优先级。
将描述图14中所示流程图。首先，在步骤S401，确定是否存在作为对象指定信息的种族指定信息。当没有种族指定信息时，处理进行到步骤S404。当有种族指定信息时，处理进行到步骤S402。只选择与指定信息匹配的面部，并在步骤S403中对选择的面部实施对象优先级设置处理。对象优先级设置处理是上面参考图13中所示流程图描述的处理。
另外，在步骤S404，确定是否存在作为对象指定信息的年龄指定信息。当没有年龄指定信息时，处理进行到步骤S407。当有年龄指定信息时，步骤进行到处理步骤S405。只选择与指定信息匹配的面部，并在步骤S406中对选择的面部实施对象优先级设置处理。对象优先级设置处理是上面参考图13中所示流程图描述的处理。
另外，在步骤S407，确定是否存在作为对象指定信息的性别指定信息。当没有性别指定信息时，处理进行到步骤S410。当有性别指定信息时，处理进行到步骤S408。只选择与指定信息匹配的面部，并在步骤S409中对选择的面部实施对象优先级设置处理。对象优先级设置处理也是上面参考图13中所示流程图描述的处理。接下来，在步骤S410，只选择没有优先级的面部，而处理进行到步骤S411，以实施对选择的面部实施的对象优先级设置处理。此处理也是与图13中所示流程图一致的处理。
最后，处理进行到步骤S412，而且在步骤S403、S406、S409、和S411中决定的优先级被组合起来，以实施综合的优先级设置处理。对于此设置优先级的规则，用户配置可以采用各种规则。
将参考图15和16在这样的情况下描述自动聚焦处理通过此优先级设置处理，设置优先级，从而将具有最高优先级的面部设置为面部1，并将其它面部设置为面部2、3、4等。在获取了包括多个面部的图像的情况下的自动聚焦控制中，控制方案取决于什么是重要的而有所不同。换句话说，A.重要性放在快速聚焦。
B.重要性放在对于许多面部的对焦确定。
C.重要性放在快速聚焦尽可能多的面部。
用户选择哪个都有道理，而下面是用于实施的具体方法。
A.重要性放在快速聚焦当重要性放在快速聚焦上时，在自动聚焦中将透镜操作范围(Rf)设置为对应于最高优先级的面部1。换句话说，计算用于最高优先级面部1的对象距离(Dfn到Dff)，以设置聚焦透镜的操作范围(Rf)。更加具体地，如上所述，施加用于最高优先级的面部1的对象距离(Dfn到Dff)，以如下设置聚焦透镜的操作范围(Rf)。
Rf＝(Dfn-σn)至(Dff+σf)只在此范围内实施自动聚焦。因此，当确定其它面部2、3等在在预置的允许的焦距深度内时，接着将对焦标记置于那些面部上。对焦标记是识别信息，此信息表明完成了在监视器或电子取景器上显示的图像中表示焦距。例如，显示面部1周围的框作为对焦框。用户确认此对焦标记以按下释放按钮，由此允许可靠的拍摄。
图15示出了示例性对焦标记。图15中所示的实例是对焦标记放置在了成像装置的照相机的监视器上显示的图像上。通过如上所述的自动聚焦处理，根据最高优先级的面部1设置透镜的操作范围(Rf)，并驱动透镜以决定焦点。在此情况下，自然，在面部1(421)上设置和显示对焦框431。另外，在焦点处，对于面部2(422)、和面部3(423)，当确定面部在预置的允许的焦距深度内时，在面部上显示对焦框432和433。用户确认这些对焦标记以按下释放按钮，由此允许可靠的拍摄。
B.重要性放在对于许多面部的对焦确定当重要性放在对于许多面部的对焦确定上时，为了抓住对象以聚焦，设置各面部的AF范围的逻辑和作为用于自动聚焦范围的透镜操作范围(Rf)。在此透镜操作范围(Rf)内，基于对比度确定搜索聚焦位置，以将对焦标记置于主要对象的深度内的面部上。
将参考图16描述此自动聚焦控制处理。图16示出了聚焦透镜450的操作范围(Rf)，它们是通过施加用于面部1、2、和3的对象距离(Dfn到Dff)计算的。换句话说，分别设置面部1、2、和3的操作范围(Rf)Df＝(Dfn-σn)至(Dff+σf)当重要性放在对于这些面部1、2、和3的对焦确定上时，为了抓住对象以聚焦，设置为面部1、2、和3确定的操作范围(Rf)的范围(逻辑和)，即，图中P1到Q1之间的范围到透镜操作范围(Rf)作为用于自动聚焦的范围，基于对比度确定在P1到Q1之间的透镜操作范围(Rf)内实施用于聚焦位置的搜索，并将对焦标记置于主要对象的深度内的面部上。
C.重要性放在快速聚焦尽可能多的面部当重要性放在快速聚焦尽可能多的面部时，对于具有优先级的对象面部1、2、3等的每个，施加对象距离(Dfn到Dff)，以计算AF操作范围(透镜操作范围(Rf))Rf＝(Dfn-σn)至(Dff+σf)
接下来，确定为对象面部2、3等设置的AF操作范围(透镜操作范围(Rf))是否具有与作为最重要的对象的面部1的对象距离(Dfn到Dff)重叠的区域。对于具有与面部1的对象距离(Dfn到Dff)重叠的AF操作范围(透镜操作范围(Rf))的面部2、3等，认为这些范围是AF操作范围(透镜操作范围(Rf))的延伸的区域，而将作为和的范围被设置为AF操作范围(透镜操作范围(Rf))。另一方面，当有不具有与面部1的对象距离(Dfn到Dff)重叠的任何AF操作范围(透镜操作范围(Rf))的面部4、5等时，AF范围不会为这些面部延伸。另外，当确定各个面部是否在面部1的场深度内时，和当确认它们在场深度内时，在这些面部上显示对焦框。因此，这样的聚焦控制处理是可行的该处理可以确保用于可能不能通过方法A抓住的面部的聚焦。
将参考图17描述此自动聚焦控制处理。图17示出了聚焦透镜450的操作范围(Rf)，其是通过施加用于面部1、2、和3的对象距离(Dfn到Dff)计算的。换句话说，分别设置用于面部1、2、和3的操作范围(Rf)Rf＝(Dfn-σn)至(Dff+σf)当重要性放在快速聚焦尽可能多的面部时，给具有优先级的对象面部1、2、3施加对象距离(Dfn到Dff)，以计算AF操作范围(透镜操作范围(Rf))Rf＝(Dfn-σn)至(Dff+σf)接下来，确定为对象面部2、和3设置的AF操作范围(透镜操作范围(Rf))是否具有与作为最重要的对象的面部1的对象距离(Dfn到Dff)重叠的区域。对应于面部2的AF操作范围(透镜操作范围(Rf))具有与面部1的对象距离(Dfn到Dff)重叠的AF操作范围(透镜操作范围(Rf))。由此，对于面部2，认为此范围是AF操作范围(透镜操作范围(Rf))的延伸的区域，而将作为和的范围设置为AF操作范围(透镜操作范围(Rf))。
另一方面，对应于面部3的AF操作范围(透镜操作范围(Rf))没有与面部1的对象距离(Dfn到Dff)重叠的AF操作范围(透镜操作范围(Rf))。因此，对于面部3，其没有设置到AF操作范围(透镜操作范围(Rf))的延伸的区域。在图17中所示的配置的情况下，将设置作为面部1和面部2的AF操作范围(透镜操作范围(Rf))的逻辑和的图中P2到Q2之间的范围设置为用于自动聚焦范围的透镜操作范围(Rf)。基于对比度确定在P2和Q2之间的透镜操作范围(Rf)中实施用于聚焦位置的搜索，并将对焦标记置于主要对象深度内的面部上。换句话说，确定各个面部是否在面部1的场深度内。当确认它们在场深度内时，也在这些面部上显示对焦框。
实施如上所述的自动聚焦控制处理，以在相应于最重要的面部的场深度内的面部上放置对焦标记，并可以获得用户容易使用的图片。这在有多个对象需要对焦的场景中尤其有效，例如朋友聚会的照片、和妈妈与孩子的照片。而且，当希望聚焦尽可能多的面部而不是自动聚焦的速度时，可以使用这样的方案在焦距深度转换中给AF操作范围添加单个深度并在此范围内的所有面部上放置对焦框。
最后，将参考图18描述用于实施在根据本发明的实施例的成像装置中的进行的处理的功能配置。通过施加上面参考图2描述的硬件配置，按照在由控制部件110主要进行的控制下运行的程序执行上述处理。图18示出了以被施加以便实施处理的功能为中心的用于说明的框图。
将成像装置中捕获的图像信息500通过参考图2描述的成像设备、数字信号处理部件等输入到面部检测部件502。例如，如上所述，在面部检测部件502中，实施真实图像与记录有面部亮度分布信息的模板的匹配处理，以从图像信息500中确定和检测面部区域。
将包括面部检测部件502检测的面部检测信息的图像信息输出到图像分析部件503、对象距离计算部件520的面部尺寸参考值[Wref]计算部件504和估计的到面部的距离[Df]计算部件505、和优先级分析部件508。图像分析部件503实施上面参考图7所述的图像分析处理。换句话说，图像分析部件503分析成像装置获取的图像中包括的面部图像，以估计面部的人的种族、性别、年龄、和身体构造。换句话说，识别面部的各部分，与预先登记的对应于种族、性别、年龄、和身体构造的各部分的信息实施匹配，估计对象的种族、性别、年龄、和身体构造，并将估计的信息输入到面部尺寸参考值[Wref]计算部件504。而且，可以配置成用户通过用户输入部件501输入对象信息。
基于通过图像分析部件503或用户输入部件501输入的对象信息，对象距离计算部件520的面部尺寸参考值[Wref]计算部件504通过施加每个表格计算与对象一致的最佳参考值(Wref)。对于计算处理，如上面参考图7至10所述，考虑一些范围的变化，参考表格计算参考值Wref＝(Wref+ΔWrefb)到(Wref-ΔWrefs)的范围。换句话说，考虑假定的较大侧上的偏移为ΔWrefb，而假定的较小侧上的偏移为ΔWrefs，来输入结果。
在对象距离计算部件520的估计的到面部的距离[Df]计算部件505中，考虑面部模板匹配处理中出现的误差，即，基于误差检测性能、亮度、面部倾斜等的误差，计算对象距离的对Dfn到Dff的范围。计算对象距离的基础等式是如上所述的等式，即如下所示。
Df＝Wref×(f/Wi)×(Ww/Wf)(等式1.1)下面是上述等式中符号的描述。
人面部尺寸参考值Wref成像设备宽度Wi焦距f获取的图像中人面部尺寸的像素数(成像设备检测的值)Wf用于在人的面部检测中的图像尺寸的像素数(成像设备检测的值)Ww在等式中，在模板匹配中计算下面的内容面部尺寸Ws，当确定它最小时，以及面部尺寸Wb，当确定它最大时。
施加等式(等式1.1)，以计算考虑面部尺寸参考值的对象距离的从Dfn到Dff的范围Wref＝(Wref+ΔWrefb)到(Wref-ΔWrefs)。
换句话说，设置下面的内容Wref＝Wref+ΔWrefb，Wr＝Ws计算等式Df＝Wref(f/Wi)(Ww/Wf)，以在误差延伸最远时产生结果(Dff)。
另外，设置如下内容Wref＝Wref-ΔWrefs，Wr＝Wb计算等式Df＝Wref(f/Wi)(Ww/Wf)，以在误差延伸最近时产生结果(Dfn)。然后，计算对象距离的从Dfn到Dff的范围。
将关于对象距离Dfn到Dff的各项信息输入到AF操作范围(透镜操作范围(Rf))计算部件507。AF操作范围(透镜操作范围(Rf))计算部件507设置包括由设备引起的误差计算部件506计算的对于对象距离(Dfn到Dff)来说的误差范围的聚焦透镜的操作范围(Rf)。由设备引起的误差计算部件506考虑焦距方向上的非线性聚焦移动、设备温度特性引起的设备的聚焦位置的移动、和各种设备之间的时滞计算误差范围。设置此误差，以使n在透镜到对象侧上，而f在无限侧上。
AF操作范围(透镜操作范围(Rf))计算部件507在透镜到对象侧上增加了误差n，而在无限侧上增加了误差f，并如下设置聚焦透镜的操作范围(Rf)Df＝(Dfn-n)到(Dff+f)输入用于聚焦透镜的操作范围(Rf)的信息到聚焦控制部件509，以输出用于聚焦透镜驱动部件511的驱动命令。在聚焦透镜的操作范围(Rf)内移动聚焦透镜，从对比度信号产生部件510产生的对比度信息中，在每个被移动以实施确定具有较高AF评估值的位置处的聚焦位置的处理的点处计算AF评估值。显示控制部件512通过聚焦控制实施用于聚焦对象的处理，以如参考图15所述的那样在其上显示对焦框。
另外，当在图像信息500中包括多个面部时，优先级分析部件508确定各个面部的优先级。如上所述，作为优先级设置处理，实施这样的处理指示符为面部的尺寸和面部离中心有多近。此外，基于通过用户输入部件501输入的指定信息，例如种族、年龄、性别、和身体构造指定信息，设置优先级。此处理为上面参考图12至14所述的处理。
将优先级分析部件508中决定的优先级信息输入到AF操作范围(透镜操作范围(Rf))计算部件507。在此情况下，AF操作范围(透镜操作范围(Rf))计算部件507基于优先级信息计算AF操作范围(透镜操作范围(Rf))。更加具体地，如上所述，根据如下情况实施不同的处理A.重要性放在快速聚焦，B.重要性放在对于许多面部的对焦确定(图16)，以及C.重要性放在快速聚焦尽可能多的面部。
通过这些处理，决定聚焦透镜的操作范围(Rf)，并将决定的信息输入到聚焦控制部件509，将驱动命令输出到聚焦透镜驱动部件511，然后基于对比度在透镜的操作范围(Rf)内设置聚焦位置。显示控制部件512通过聚焦控制实施用于聚焦对象的处理，以如参考图15所述的那样在其上显示对焦框。
如上所述，参考具体实施详细描述了本发明的实施例。然而，很明显，本领域内的技术人员可以在根据本发明的实施例的教义的范围内对实施例进行修改和置换。换句话说，以示例性的形式公开了本发明的实施例，不应该以限制的方式解释其。为了理解本发明的实施例的教义，应该考虑所附权利要求。
此外，可以通过硬件、或软件、或组合两者的配置实施说明书中描述的一系列处理步骤。当通过由软件实施这些处理步骤时，在专用硬件中并入的计算机内部的存储器中安装具有记录的处理序列的程序用于实施，或在可用于运行各种处理步骤的多用途计算机中安装程序用于实施。
例如，可以预先在作为记录介质的硬盘或ROM(只读存储器)上记录程序。作为选择，可以将程序临时或永久存储(记录)在例如软盘、CD-ROM(光盘只读存储器)、MO(磁性光)盘、DVD(数字化视频光盘)、磁盘、半导体存储器等的可移动记录介质上。可以提供此可移动的记录介质作为所谓的打包软件。
而且，除了通过上述可移动的记录介质在计算机内安装程序外，可以以这样的方式安装程序，那就是将程序通过无线下载站点传输到计算机，或通过例如LAN(局域网)、和有线方式的互联网的网络传输到计算机，然后计算机接收由此传输的程序，以将其安装在例如其中并入的硬盘的记录介质中。
而且，可以按与说明书一致的时间顺序实施说明书中所述的各种处理步骤，也可以以平行方式进行或分别进行所述步骤，这取决于执行处理步骤的装置的处理性能或按需求进行。此外，说明书中的系统是多个单元的逻辑组装的配置，它并不局限于各个配置中的单元在同一外壳内的此种形式。
如上所述，在根据本发明的实施例的配置中，在成像装置中的自动聚焦处理中，从输入的图像检测面部区域，基于面部的尺寸计算对象距离，并基于计算的关于对象距离的信息估计聚焦位置。另外，基于估计的聚焦位置，设置短于聚焦透镜的整个操作范围的聚焦透镜操作范围，并在设置的聚焦透镜操作范围内移动聚焦透镜，以决定设置聚焦透镜处的位置。根据此配置，可以设置要在聚焦控制中移动的透镜的距离，并可以实施加速的聚焦控制。
另外，根据基于本发明的实施例的配置，在对象距离计算处理中，配置成输入用于种族、性别、年龄、和身体构造的对象信息的至少任何一条，并实施对象距离计算处理，基于输入的对象信息根据对象对该处理施加面部尺寸的参考值。因此，可以计算适合于对象的更加精确的对象距离，并可以实施精确的聚焦控制。
另外，根据基于本发明的实施例的配置，配置成在优先级分析部件中，使用例如面部尺寸、面部离中心多近、或用于种族、性别、年龄、和身体构造的对象信息的指示符决定面部检测部件中检测的多个面部的优先级，基于决定的面部信息的优先级实施设置聚焦透镜操作范围的处理。即使检测了多个面部，仍可以对具有更高优先级的面部实施聚焦控制。
本领域内的技术人员应该理解，可以根据设计需求和其它因素作出各种修改、组合、子组合和改变，只要它们落入所附权利要求或其等价物的范围内。
权利要求
1.一种成像装置，包括面部检测部件，被配置用于从由所述成像装置输入的输入图像检测面部区域；对象距离计算部件，被配置用于基于在所述面部检测部件中检测的面部的尺寸计算对象距离；透镜操作范围计算部件，被配置用于基于关于在所述对象距离计算部件中计算的所述对象距离的信息估计聚焦位置，并设置短于聚焦透镜的整个操作范围的聚焦透镜操作范围；以及聚焦控制部件，被配置用于在所述透镜操作范围计算部件中设置的所述透镜操作范围内移动所述聚焦透镜，并决定设置所述聚焦透镜的位置。
2.根据权利要求1的成像装置，其中所述对象距离计算部件被配置用于在基于所述面部检测部件中检测到的面部尺寸的对象距离计算处理中实施对象距离计算处理，在所述对象距离计算处理中输入用于种族、性别、年龄、和身体构造的对象信息的至少任何一条，并基于输入的对象信息，施加与对象一致的所述面部尺寸的参考值。
3.根据权利要求2的成像装置，其中所述用于种族、性别、年龄、和身体构造信息的对象信息的至少任何一条是输入到所述对象距离计算部件作为来自图像分析部件的分析结果的信息，所述结果得自所述成像装置中输入的输入图像。
4.根据权利要求2的成像装置，其中所述用于种族、性别、年龄、和身体构造的对象信息的至少任何一条是通过所述成像装置的用户输入部件输入到所述对象距离计算部件的信息。
5.根据权利要求1的成像装置，其中所述对象距离计算部件被配置用于实施对其施加与对象一致的面部尺寸的参考值的对象距离计算处理，并被配置用于实施这样的处理，其中计算所述面部尺寸的参考值作为带有某些值范围的参考值而非单个值，并施加带有所述范围的参考值以计算带有范围的对象距离。
6.根据权利要求1的成像装置，其中所述对象距离计算部件被配置用于实施这样的处理，其中考虑在面部模板匹配处理中出现的误差计算对象距离从Dfn到Dff的范围。
7.根据权利要求1的成像装置，其中所述透镜操作范围计算部件被配置用于实施这样的处理，其中考虑由所述成像装置中的设备引起的误差基于关于在所述对象距离计算部件中计算的所述对象距离的信息设置聚焦透镜操作范围。
8.根据权利要求1的成像装置，其中所述成像装置还包括优先级分析部件，其被配置用于设置在所述面部检测部件中检测到的多个面部的优先级，其中所述优先级分析部件被配置用于使用所述面部尺寸，或面部离所述中心有多近，或用于种族、性别、年龄、和身体构造的对象信息的至少任何一条作为指示符实施面部优先级决定处理，以及所述透镜操作范围计算部件被配置用于实施这样的处理，其中基于所述优先级分析部件中决定的面部优先级信息设置聚焦透镜操作范围。
9.根据权利要求8的成像装置，其中所述透镜操作范围计算部件被配置用于实施这样的处理，其中基于关于对应于具有所述优先级分析部件中决定的最高优先级的面部的所述对象距离的信息设置聚焦透镜操作范围。
10.根据权利要求8的成像装置，其中所述透镜操作范围计算部件被配置用于实施这样的处理，其中设置包括基于关于对应于所述优先级分析部件中决定的优先级次序中的多个面部的所述对象距离的信息计算的多个聚焦透镜操作范围的范围作为最终聚焦透镜操作范围。
11.根据权利要求1的成像装置，其中所述成像装置还包括显示控制部件，该显示控制部件被配置用于将对焦标记置于监视器输出图像中的面部区域上，所述对焦标记显示聚焦成功，而所述监视器输出图像基于所述聚焦控制部件中设置所述聚焦透镜的位置的所述决定而被确定成聚焦成功。
12.一种成像装置的控制方法，用于实施所述成像装置中的自动聚焦控制，所述方法包括以下步骤在面部检测部件中从所述成像装置输入的输入图像检测面部区域；基于所述面部检测部件中检测的面部的尺寸在对象距离计算部件中计算对象距离；在透镜操作范围计算部件中基于关于所述对象距离计算部件中计算的所述对象距离的信息估计聚焦位置，并设置短于聚焦透镜的整个操作范围的聚焦透镜操作范围；以及在聚焦控制部件中在所述透镜操作范围计算部件中设置的所述透镜操作范围内移动聚焦透镜，并决定设置所述聚焦透镜的位置。
13.根据权利要求12的成像装置的控制方法，其中所述计算对象距离的步骤是在基于所述面部检测部件中检测的所述面部尺寸的所述对象距离计算处理中实施对象距离计算处理的步骤，在所述实施对象距离计算处理的步骤中，输入用于种族、性别、年龄、和身体构造的对象信息的至少任何一条，并基于输入的对象信息，施加与对象一致的所述面部尺寸的参考值。
14.根据权利要求13的成像装置的控制方法，其中所述用于种族、性别、年龄、和身体构造的对象信息的至少任何一条是输入到所述对象距离计算部件作为来自对象分析部件的分析结果的信息，所述结果得自所述成像装置中输入的输入图像。
15.根据权利要求13的成像装置的控制方法，其中所述用于种族、性别、年龄、和身体构造的对象信息的至少任何一条是通过所述成像装置的用户输入部件输入到所述对象距离计算部件的信息。
16.根据权利要求12的成像装置的控制方法，其中所述计算对象距离的步骤是实施对其施加与对象一致的所述面部尺寸的参考值的对象距离计算处理的步骤，并且是实施这样的处理的步骤，在所述处理中计算所述面部尺寸的参考值作为带有某些值范围的参考值而非单个值，并施加带有所述范围的参考值以计算带有范围的对象距离。
17.根据权利要求12的成像装置的控制方法，其中所述计算对象距离的步骤是实施这样的处理的步骤，在所述处理中考虑在面部模板匹配处理中出现的误差计算对象距离从Dfn到Dff的范围。
18.根据权利要求12的成像装置的控制方法，其中所述计算透镜操作范围的步骤是实施这样的处理的步骤，在所述处理中考虑由所述成像装置中的设备引起的误差基于关于在所述对象距离计算部件中计算的所述对象距离的信息设置聚焦透镜操作范围。
19.根据权利要求12的成像装置的控制方法，其中所述成像装置的控制方法还包括在优先级分析部件中分析优先级的步骤，所述优先级分析部件被配置用于设置所述面部检测部件中检测的多个面部的优先级，其中所述分析优先级的步骤是使用所述面部尺寸，或面部离所述中心有多近，或用于种族、性别、年龄、和身体构造的对象信息的至少任何一条作为指示符实施面部优先级决定处理的步骤，以及所述计算透镜操作范围的步骤是实施这样的处理的步骤，在所述处理中基于所述优先级分析部件中决定的面部优先级信息设置聚焦透镜操作范围。
20.根据权利要求19的成像装置的控制方法，其中所述计算透镜操作范围的步骤是实施这样的处理的步骤，在所述处理中基于关于对应于具有所述优先级分析部件中决定的最高优先级的面部的所述对象距离的信息设置聚焦透镜操作范围。
21.根据权利要求19的成像装置的控制方法，其中所述计算透镜操作范围的步骤是实施这样的处理的步骤，在所述处理中设置包括基于关于对应于所述优先级分析部件中决定的优先级次序中的多个面部的所述对象距离的信息计算的多个聚焦透镜操作范围的范围作为最终聚焦透镜操作范围。
22.根据权利要求12的成像装置的控制方法，其中所述成像装置的控制方法还包括在显示控制部件中显示控制的步骤，其中对焦标记被置于监视器输出图像中的面部区域上，所述对焦标记显示聚焦成功，而所述监视器输出图像基于所述聚焦控制部件中设置所述聚焦透镜的位置的所述决定被确定成聚焦成功。
23.一种用于在成像装置中实施自动聚焦控制的计算机程序，所述程序包括以下步骤在面部检测部件中从所述成像装置输入的输入图像检测面部区域；在对象距离计算部件中基于所述面部检测部件中检测的面部的尺寸计算对象距离；在透镜操作范围计算部件中基于关于所述对象距离计算部件中计算的所述对象距离的信息估计聚焦位置，并设置短于聚焦透镜的整个操作范围的聚焦透镜操作范围；以及在聚焦控制部件中在所述透镜操作范围计算部件中设置的所述透镜操作范围内移动聚焦透镜，并决定设置所述聚焦透镜的位置。
全文摘要
一种成像装置，包括面部检测部件，被配置用于从由所述成像装置输入的输入图像中检测面部区域；对象距离计算部件，被配置用于基于在所述面部检测部件中检测的面部的尺寸计算对象距离；透镜操作范围计算部件，被配置用于基于关于在所述对象距离计算部件中计算的所述对象距离的信息估计聚焦位置，并用于设置比聚焦透镜的整个操作范围短的聚焦透镜操作范围；以及聚焦控制部件，被配置用于在所述透镜操作范围计算部件中设置的所述透镜操作范围内移动所述聚焦透镜，并用于决定设置所述聚焦透镜处的位置。
文档编号H04N5/232GK101086598SQ200710110230
公开日2007年12月12日 申请日期2007年6月8日 优先权日2006年6月9日
发明者寺岛义人 申请人:索尼株式会社