面部重要度确定装置和方法、及图像摄取装置的制作方法

专利名称：面部重要度确定装置和方法、及图像摄取装置的制作方法
技术领域：
本发明涉及一种用于确定对于拍摄者来说关于图像中出现的人物的面部的重要度的面部重要度确定装置和方法，以及一种具有面部重要度确定功能的图像摄取装置。
背景技术：
已经有越来越多使用固态图像摄取器件的图像摄取装置(诸如数码照相机和数码摄像机)具有被称作“场景模式”的功能，能够在拍摄处理期间根据各种场景提供诸如自动曝光控制的最佳控制。例如，适用于拍摄人物面部的“肖像模式”是一种将曝光控制目标设置得比普通模式高、从而以最佳亮度来拍摄人物面部图像的模式。因此，能够获得具有漂亮肤色的拍摄图像。
近年来，已经开发了用于从所捕获的图像中检测面部并自动聚焦在检测到的面部上或根据该面部自动校正图像质量的技术。
一项已知的用于从所拍摄的图像信号中检测面部的技术是使用平均面部图像作为模板来执行与所输入的图像信号的匹配(例如，参见日本未审查专利申请公开第2003-271933号(段号 ～ 和图6))。如果所拍摄图像中出现的面部倾斜一定角度，则很难正确地确定这样的面部。因此，已经提出了一些技术，例如确定面部的角度并在执行匹配前根据所确定的角度旋转面部图像。在一项已知的技术中，检测面部的中心线，根据面部对称性来确定与中心线的相似度，并将具有高相似度的中心线的角度输出作为面部角度(例如，参见日本未审查专利申请公开第9-171560号(段号 ～ 和图4)。

发明内容
如果面部检测精度很高，则用于自动聚焦在从所捕获的图像中检测出的面部图像上或根据所检测的面部来自动校正图像质量的功能对用户是用户友好并有效的。但是，在实际使用中，所检测的面部不一定是拍摄者希望聚焦或校正图像质量的目标，并且，可能会聚焦在不期望的面部上或对其校正图像质量。因此，用于确定所检测的面部对拍摄者来说是否重要的功能确保了能够对期望的面部进行聚焦或校正图像质量。
因此，期望提供一种用于精确确定关于图像中出现的面部对于拍摄者的重要度的面部重要度确定装置和方法。
进一步期望提供一种具有用于精确确定关于图像中出现的面部对于拍摄者的重要度的功能的图像摄取装置。
根据本发明的实施例，一种用于确定图像中出现的人物的面部对于拍摄者而言的面部重要度的面部重要度确定装置包括下述部件。面部信息获取装置获取从所输入的图像信号中检测出的面部尺寸信息和位置信息。第一计算装置根据尺寸信息计算第一重要度因子。第二计算装置根据位置信息计算第二重要度因子。第三计算装置根据第一重要度因子和第二重要度因子计算重要度。
因此，在根据本发明实施例的面部重要度确定装置中，根据基于从所输入的图像信号中检测出的面部尺寸信息的第一重要度因子和基于从所输入的图像信号中检测出的面部位置信息的第二重要度因子来计算面部的最终重要度。因此，能够实现考虑到面部尺寸和位置的重要度确定。
例如，可以根据面部位置和倾斜信息计算第二重要度因子。因此，能够实现考虑到面部倾斜以及面部尺寸和位置的重要度确定。


图1是示出根据本发明实施例的图像摄取装置的主体部分的结构的方框图；图2是示出曝光控制和闪光发射控制的整个流程的流程图；图3是示出计算面部重要度的程序的流程图；图4是示出面部比例和面部尺寸重要度因子之间的对应性的曲线图；图5是示出计算屏幕中心区域与面部之间的距离的方法的示图；图6是示出计算夹角的方法的示图；图7A和图7B是分别示出计算面部位置重要度因子的方法和计算位置姿势重要度因子的方法的图表；图8A和图8B是示出根据面部检测结果来设置检测框的方法的示图；
图9是示出用于确定直方图数据峰值的处理的流程的流程图；图10是示出面部和背景的亮度直方图数据的检测的第一实例的曲线图；图11是示出面部和背景的亮度直方图数据的检测的第二实例的曲线图；图12是示出面部和背景的亮度直方图数据的检测的第三实例的曲线图；图13是示出用于设置目标亮度范围的处理的流程的流程图；图14是示出外部光量与目标亮度范围偏移量之间的关系的图表；图15是示出面部重要度与目标亮度范围宽度的调节比率之间的关系的图表；图16是示出用于再计算曝光控制量和闪光控制信息的处理的流程的第一部分的流程图；图17是示出用于再计算曝光控制量和闪光控制信息的处理的流程的第二部分的流程图；图18是示出当在图12所示的状态下在步骤S511中应用调节量时得到的直方图数据的示图；图19是将在图17所示的步骤S513中使用的校正曲线；
图20是示出当执行等级校正(gradation correction)后在图12所示的状态下应用调节量时得到的直方图数据的示图；图21是示出当在图10所示的状态下应用调节量时得到的直方图数据的示图；图22是示出当在图10所示的状态下应用低于预定调节量的调节量时得到的直方图数据的示图；图23是在图17所示的步骤S520中使用的校正曲线；图24是示出当在图10所示的状态下使用经过校正的调节量并执行等级校正时得到的直方图数据的示图；以及图25是示出眼部检测区域的设置的实例的示图。
具体实施例方式
下面将参照附图详细描述本发明的实施例。
图1是示出根据本发明实施例的图像摄取装置的主要部分的结构的方框图。
图1所示的图像摄取装置包括光学块11、驱动器11a、图像摄取器件12、定时发生器(TG)12a、模拟前端(AFE)电路13、像机信号处理电路14、微型计算机15、图形接口电路16、显示器17、输入单元18、和闪光发射器19。
光学块11包括透镜，用于将来自物体的光线聚焦在图像摄取器件12上；驱动机构，用于移动透镜，进行聚焦或缩放；快门机构；及光圈机构。驱动器11a根据来自微型计算机15的控制信号来控制光学块11中这些机构的驱动。
图像摄取设备12为诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像摄取器件的固态图像摄取器件，并通过从TG 12a输出的定时信号驱动，将来自物体的入射光转换为电信号。TG 12a在微型计算机15的控制下输出定时信号。在本实施例中，从图像摄取器件12得到的模拟图像信号为RGB各种颜色的原色信号。例如，模拟图像信号可以为诸如补色信号的任何其他色彩信号。
AFE电路13由例如单个集成电路(IC)构成，用于对从图像摄取器件12输出的图像信号执行相关双采样(CDS)，采样并保存图像信号，使得能够保持高信噪(S/N)比，AFE电路13进一步执行自动增益控制(AGC)以控制增益，并执行模拟数字(A/D)转换，输出数字图像信号。
像机信号处理电路14由例如单个IC构成，用于对从AFE电路13输出的图像信号执行诸如各种类型的信号校正、自动聚焦(AF)、及自动曝光(AE)的像机信号处理，或执行一部分处理。在本实施例中，像机信号处理电路14包括图像预处理器21、图像处理器22、直方图检测器23、色彩检测器24、及面部检测器25。
图像预处理器21对从AFE电路13输出的图像信号执行诸如缺陷像素校正、数字钳位、及数字增益控制的预处理。图像处理器22执行诸如白平衡调节及清晰度、色彩饱和度、和对比度调节的各种图像质量校正。图像预处理器21和图像处理器22的操作通过微型计算机15控制。
直方图检测器23根据从图像预处理器21输出的图像信号检测亮度信息，从而确定各个预定范围的直方图，并将直方图提供给微型计算机15。色彩检测器24根据从图像预处理器21输出的信号检测各个预定范围的色彩信息，并将色彩信息提供给微型计算机15。
面部检测器25根据从图像处理器22输出的图像信号来检测人的面部，并将包括检测到的面部数目、及每个面部的尺寸、位置、和倾斜的信息提供给微型计算机15。面部检测法可以是在所输入图像和代表平均面部图像的预定模板之间执行匹配。
微型计算机15包括例如中央处理单元(CPU)、只读存储器(ROM)、和随机存取存储器(RAM)，并执行存储在ROM等中的程序，总体控制图像摄取装置的各个部件。微型计算机15进一步与像机信号处理电路14进行通信，执行用于上述各种类型的像机信号处理的一部分计算。在本实施例中，微型计算机15根据外部光量，并使用直方图检测器23、色彩检测器24、及面部检测器25，执行诸如计算曝光控制量和用于曝光控制的等级校正量的处理，以及确定是否需要闪光。
图形接口电路16将从像机信号处理电路14输出的图像数据转换为将在显示器17上显示的信号，并将该信号提供给显示器17。图形接口电路16根据来自微型计算机15的请求，进一步在图像上叠加菜单屏幕、各种设置屏幕、及各种警告等。显示器17由例如液晶显示器(LCD)构成，用于显示基于来自图形接口电路16的图像信号的图像。
输入单元18包括例如快门释放按钮和用于执行诸如打开或关闭闪光灯的各种设置的键和拨盘，并将相应于按钮、键、和拨盘的用户操作的控制信息提供给微型计算机15。
闪光发射器19根据来自微型计算机15的闪光控制信息来发射闪光。
在该图像摄取装置中，图像摄取器件12接收光线，并将光线光电转换成信号。随后将该信号提供给AFE电路13，用于CDS处理或AGC处理，然后将其转换成数字信号。像机信号处理电路14对从AFE电路13提供的数字图像信号执行图像质量校正，并将结果转换成亮度信号(Y)和色差信号(R-Y和B-Y)，最后将其输出。
从像机信号处理电路14输出的图像数据被提供给图形接口电路16，转换成用于显示的图像信号，从而在显示器17上显示像机拍摄图像(camera-through image)。当用户操作输入单元18向微型计算机15发布记录图像的命令时，将从像机信号处理电路14输出的图像数据提供给编码器(未示出)，进行预定的压缩编码，然后将经过编码的数据记录在记录介质上(未示出)。当记录静止图像时，从像机信号处理电路14提供一帧一帧的图像数据至编码器。当记录运动图像时，将经过处理的图像数据连续地提供给编码器。
下面将描述图像摄取装置中用于曝光控制和闪光发射控制的程序。
曝光控制处理的概述图2是示出曝光控制和闪光发射控制的整个流程的流程图。下面将参照图2描述使用面部检测结果进行曝光控制和闪光发射控制的概述。
在步骤S101中，微型计算机15根据来自像机信号处理电路14的图像信号的检测值，使用标准AE控制方法来计算曝光控制量和闪光控制信息。
标准AE控制方法是不使用诸如在下述的步骤S102～S110中得到的那些结果的面部检测结果、而是使用常规处理来计算曝光控制量和闪光控制信息的处理。基本上，曝光控制量和闪光控制信息是根据从整个屏幕的拍摄图像信号中检测的亮度信息计算的。曝光控制量是用于控制与曝光有关的参数的数值，诸如光学块11中光圈的打开、光学块11中的机械快门和图像摄取器件12中的电子快门(或这些快门中的一个)的快门速度、及AFE电路13中的AGC增益量。闪光控制信息是用于控制闪光发射器19的发射操作的信息。
在步骤S102中，像机信号处理电路14的面部检测器25从图像处理器22输出的图像中检测人的面部。
在步骤S103中，微型计算机15确定面部检测器25是否已经检测到了面部。如果检测到面部，则处理进行至步骤S104。如果没有检测到面部，则将在步骤S101中计算的曝光控制量和闪光控制信息确定为最终值，并结束处理。
在步骤S104中，微型计算机15从面部检测器25获取面部的检测信息，并根据该检测信息计算检测出的各个面部的重要度。
在步骤S105中，微型计算机15确定是否发现了具有高于预定值的重要度的面部。如果发现了这样的面部，则处理前进至步骤S106。如果没有发现这样的面部，则将在步骤S101中计算的曝光控制量和闪光控制信息确定为最终值，并结束处理。
在步骤S106中，针对在步骤S105中发现的具有较高重要度的各个面部，微型计算机15为直方图检测器23和色彩检测器24分别设置用于亮度检测和色彩检测的检测框。
在步骤S107中，微型计算机15使用在步骤S106中设置的检测框，分别从直方图检测器23和色彩检测器24获取每个面部的直方图数据和色彩检测值。如果在步骤S105中发现了多个具有较高重要度的面部，则根据各个面部重要度，针对整个面部区域将各个面部的亮度直方图数据归一化(normalize)。
在步骤S108中，微型计算机15确定面部的直方图数据的峰值。如下所述，微型计算机15进一步根据峰值处的频率值和亮度值，检索用于定义峰值区域的界限亮度值Yf_l和Yf_h。
在步骤S109中，微型计算机15根据面部的重要度和色彩及外部光线信息来设置面部的目标亮度范围。
在步骤S110中，微型计算机15根据面部直方图数据(在分割检测方法的情况下，为步骤S107中经过归一化的直方图数据)、在步骤S109中设置的目标亮度范围、和在步骤S101中计算的曝光控制量和闪光控制信息，计算最终的曝光控制量和闪光控制信息。
因此，能够在实现面部和背景之间的期望的亮度平衡的同时以适当的亮度拍摄面部图像(特别是对于拍摄者来说重要的面部图像)的情况下执行曝光控制。此外，一旦检测到了面部，拍摄者可以不用执行设置操作，就能在常规自动拍摄模式下自动执行考虑到面部和背景之间的亮度平衡的这种曝光控制。
即，一旦从所拍摄的图像中检测到面部(步骤S103)，则仅当从所检测到的面部中发现具有高于预定值的重要度的面部时，才会执行考虑到面部和背景之间的亮度平衡的曝光控制(步骤S106～S110)；否则，就执行自动拍摄模式下的常规曝光控制。
上述处理将更加详细地进行描述。
使用标准AE控制方法的控制值计算首先，在步骤S101中，使用标准AE控制方法计算曝光控制量和闪光控制信息。如上所述，该AE控制方法是自动拍摄模式下的常规控制方法。例如，该控制方法根据下面的式(1)执行Ev＝log2(Fno2)+log2(1/T)+log2(100/ISO)...式(1)其中，Ev表示总曝光控制量，Fno表示用于表明光圈孔径量的控制量，T表示使用机械快门和电子快门中的至少一个的曝光时间，以及，ISO表示曝光灵敏度。
根据式(1)，快门速度越高，曝光控制量Ev越大，结果使得曝光量越小。如果从对象反射的光量不变，则所拍摄图像的亮度变低。如果曝光灵敏度降低，则曝光控制量Ev增加，结果，曝光量降低。如果光圈孔径量增加，则曝光控制量Ev增加，结果，曝光量降低。在相同外部光量(对象的亮度)的情况下，曝光控制量Ev越大，曝光量越小，结果，所拍摄的图像越暗。相反，曝光控制量Ev越小，曝光量越大，结果，所拍摄的图像越亮。
面部重要度的确定接下来，面部检测器25从所拍摄的图像信号中检测面部(图2所示的步骤S102)，微型计算机15根据下面参照图3描述的程序，以通过面部检测器25获得的检测结果为基础，计算所检测到的面部的重要度(图2所示的步骤S104)。
图3是示出用于计算面部重要度的程序的流程图，该程序与步骤S104的处理对应。
在步骤S201中，微型计算机15获取作为通过面部检测器25检测的每个面部的检测信息的面部尺寸、位置、及倾斜信息。
在步骤S202中，微型计算机15计算表示面部尺寸与整个屏幕尺寸比率的面部比例r_size，并将结果存储在RAM(未示出)等中。
在步骤S203中，微型计算机15根据在步骤S202中获得的计算结果，计算面部的面部尺寸重要度因子Wsize。面部尺寸重要度因子Wsize代表将由面部尺寸对整个屏幕尺寸的比率而估计的重要度。面部尺寸重要度因子Wsize使用如下的式(2)～(4)根据面部比例r_size来计算对于r_size＞Rfb2，Wsize＝100[％] ...式(2)对于Rfb1≤r_size≤Rfb2，Wsize＝(r_size-Rfb1)/(Rfb2-Rfb1)...式(3)对于r_size＜Rfb1，Wsize＝0...式(4)其中，Rfb1和Rfb2为满足Rfb2＜Rfb1的阈值。
图4是示出面部比例r_size与面部尺寸重要度因子Wsize之间的对应关系的图表。
根据上面给出的式(2)～式(4)和图4，如果相对于屏幕的面部比例r_size超过预定的阈值Rfb2，则确定拍摄者有意选择该面部作为目标，并将面部尺寸重要度因子Wsize设置为最大值100％。相反，如果面部比例r_size小于预定阈值Rfb1，则确定不是该面部而是另一个面部或背景作为目标，并将面部尺寸重要度因子Wsize设置为0。如果面部比例r_size在某一范围内(阈值Rfb1和Rfb2之间)，则很难明确地确定该面部是否为目标，并且面部尺寸重要度因子Wsize根据比例连续地改变。具体来说，面部比例r_size越大，则由于成为目标的可能性更高，所以重要度也越高。
重新参照图3，在步骤S204中，微型计算机15确定面部尺寸重要度因子Wsize是否为0。如果面部尺寸重要度因子Wsize不为0，则执行步骤S205的处理。如果面部尺寸重要度因子Wsize为0，则执行步骤S210的处理。
在步骤S205中，微型计算机15计算预定屏幕中心区域与面部之间的距离L。
在步骤S206中，微型计算机15计算表示将根据面部在屏幕中的位置而估计的重要度的面部位置重要度因子PosW。在这种情况下，微型计算机15根据在步骤S205中确定的距离L，计算最大面部位置重要度因子PosWh和最小面部位置重要度因子PosW1。
在步骤S207中，微型计算机15计算夹角ang。根据面部位置和倾斜信息，定义从面部指向脚部的预测重心射线LineA与从面部指向屏幕中心的射线LineB之间的角为夹角ang。
在步骤S208中，微型计算机15根据在步骤S206和S207中获得的计算结果，计算面部位置姿势重要度因子Wpos。面部位置姿势重要度因子Wpos代表根据面部在屏幕中的位置和倾斜来估计的重要度。如下所述，面部位置姿势重要度因子Wpos的有效范围根据在步骤S205中确定的屏幕中心区域与面部之间的距离L来限定。
在步骤S209中，微型计算机15使用如下的式(5)来计算最终的面部重要度WfWf＝Wsize×Wpos...式(5)通过使用上面给出的式(5)，能够根据三个参数(即，屏幕内面部的尺寸、位置、和倾斜)来确定面部的重要度Wf。因此，能够适当地确定所检测的面部是否被用户有意选择作为目标。
如果在步骤S204中确定面部尺寸重要度因子Wsize为0，则随后在步骤S210中，微型计算机15将最终面部重要度Wf设置为0。
在执行步骤S209或S210的处理后，在步骤S211中，微型计算机15确定是否已经对通过面部检测器25检测的所有面部都完成了重要度Wf的计算。如果没有完成计算，则处理返回步骤S203，计算另一个面部的重要度Wf。如果已经完成了对所有面部的计算，则该子程序结束。
下面将更加详细地描述步骤S205～S208的处理。
图5是示出用于计算屏幕中心区域与面部之间的距离L的方法的示图，该方法与步骤S205的处理对应。
如图5所示，在本实施例中，在屏幕中心周围定义具有预定面积的区域101，并计算区域101的边界与屏幕中的面部102(通常为面部102的中心)的位置之间的距离L。如下所述，距离L越小，由于面部102越接近屏幕中心，所以重要度(位置重要度因子PosW)越高。在这个实例中，可以确定，位于屏幕中心周围的区域101中的面部成为目标的可能性同等较高。可以定义距离L为屏幕中心与面部之间的距离。此外，用户可以灵活地设置区域101的尺寸。
图6是示出用于计算夹角ang的方法的示图，该方法与步骤S207的处理对应。在图6中，为易于理解，面部图像被示出为偏离图像的中心节点。但是，实际上，中心节点位于面部中心(例如，鼻子附近)。
如果给定面部的倾斜通过相对于面部垂直中心线的角度来表示，则从面部指向脚部的预测重心射线LineA是从面部沿其中心线相对于作为起点的面部中心(相应于面部位置信息的位置)向下画出的射线。预测重心射线LineA与从面部中心指向屏幕中心C0的射线LineB之间的角被称作夹角ang，其中，0≤ang≤180。例如，在图6中，检测到位于相对于屏幕中心C0左上方位置的面部111，具有中心节点C1。如果面部111倾斜0°角，则在屏幕中向下画出面部111的预测重心射线LineA，并且向屏幕右下方画出指向屏幕中心C0的射线LineB。定义预测重心射线LineA和射线LineB之间的夹角ang。
在本实施例中，如下所述，夹角ang越小，重要度(位置姿势重要度因子Wpos)越高。例如，如果面部111和112分别位于相对于屏幕中心C0的左上方位置和左下方位置，并且倾斜0°角，则面部112的夹角ang大于面部111的夹角，从而确定面部112的重要度较低。该确定是根据这样的确定规则进行的面部111的中心节点C1与屏幕边缘之间在预测重心射线LineA方向上的距离较大，使得相应于面部111的人物整体很可能出现在屏幕中，因此，那个人作为目标的可能性也较高。
根据类似确定规则，当面部113和114分别位于屏幕中心C0的上方和下方，并且倾斜0°角时，面部113和114的夹角分别为0°和180°。因此，面部113的重要度较高。此外，对于倾斜角大于0°的面部115和116，预测重心射线LineA和指向屏幕中心C0的射线LineB指向相同的方向，并且两个面部的夹角ang都为0°。因此，面部115和116的重要度高。在面部115和116的情况下，例如，当利用关于透镜光轴倾斜的图像摄取装置执行拍摄操作时，可应用相同的确定规则来确定重要度。即，不管面部的倾斜，在屏幕中从面部向下(向脚部)延伸的空间越大，由于相应于该面部的人物整体出现在屏幕中的可能性越高，所以那个人物成为目标的可能性也越高。
上述确定规则仅为举例，也可以根据面部的位置和倾斜来使用不同于上述规则的确定规则(或者将其他条件加入上述确定规则中的确定规则)计算重要度。可选的是，可以提供多个确定规则，使得用户可以通过设置操作改变确定规则。
下面将详细描述用于计算面部位置重要度因子PosW和位置姿势重要度因子Wpos的方法。
首先，在图3所示的步骤S206中，使用下面的式(6)～式(8)来计算面部位置重要度因子PosWPosWh＝{(PosW2-PosW1)/L2}×L+PosW1...式(6)对于0≤L≤L1，PosW1＝{(PosW3-PosW1)/L1}×L+PosW1...式(7)对于L1＜L≤L2，PosW1＝PosW3 ...式(8)其中，L1表示预定的阈值，L2表示面部与屏幕中心区域之间的距离L的最大值，PosW1、PosW2、和PosW3表示预定的阈值，其中，0≤PosW3≤PosW2≤PsW1。
在图3所示的步骤S208中，使用如下的式(9)和式(10)计算面部位置姿势重要度因子Wpos对于0≤ang≤Ang1，Wpos＝PosWh ...式(9)对于Ang1＜ang≤180，Wpos＝-{(PosWh-PosW1)/(180-Ang1)}×(ang-Ang1)+PosWh...式(10)其中Ang1表示满足0≤Ang1≤180的预定阈值。
图7A和图7B是分别示出用于计算面部位置重要度因子PosW的方法和用于计算位置姿势重要度因子Wpos的方法的图表。
图7A示出了根据上述给出的式(6)～式(8)的、面部和屏幕中心区域之间的距离L与面部位置重要度因子PosWh和PosW1之间的关系。从图7A可以看出，基本上，面部和屏幕中心区域之间的距离L越大，面部位置重要度因子PosWh和PosW1越小。
图7B示出了根据上述给出的式(9)和式(10)的、夹角ang和面部位置姿势重要度因子Wpos之间的关系。从图7B可以看出，基本上，夹角ang越大，面部位置姿势重要度因子Wpos越小。从图7A和图7B还可以看出，面部位置重要度因子PosWh和PosW1分别限定了面部位置姿势重要度因子Wpos的上限和下限。
根据图7A和图7B以及式(2)～式(5)，如果检测到的面部的尺寸很大或者该面部的位置接近于屏幕中心区域，并且如果在屏幕中从面部向下延伸的空间很大，则面部重要度高。因此，能够高精度地确定用户有意选择所检测的面部作为目标的可能程度。
在图7B中，当夹角ang等于或小于Ang1时，面部位置姿势重要度因子Wpos设置为恒定的上限。从而，即使面部相对于从面部向脚部画出的射线倾斜一定程度，也能够确定重要度为高。
在图7A中，通过将面部位置重要度因子PosWh设置成大于0，面部位置姿势重要度因子Wpos的下限可大于0，从而防止最终的面部重要度Wf等于0。因此，例如，当用户拍摄图像使得面部被有意位于屏幕边缘时，也能够适当地调节面部的亮度。
亮度直方图数据和色彩检测下面将详细描述图2所示的步骤S106和S107的处理。亮度直方图数据和色彩信息的检测依赖于在屏幕上设置面部检测框的方法而不同。以下的描述将以常规框方法和分割检测方法为背景进行。在常规框方法中，根据被检测面部的位置和尺寸来灵活地设置检测框。分割检测方法则使用预先将屏幕划分成的多个检测框。
图8A和图8B是示出用于根据面部检测结果设置检测框的方法的示图，该方法对应于步骤S106的处理。图8A示出的是常规框方法，图8B示出的是分割检测方法。
如图8A所示，在常规框方法中，微型计算机15为直方图检测器23和色彩检测器24设置面部检测框121，从而根据从面部检测器25获得的面部位置和尺寸信息来画出面部轮廓。从检测框121内的图像信号检测所检测面部的亮度信息和色彩信息，而除面部之外的背景的亮度信息和色彩信息从检测框121外部的图像信号检测。
另一方面，在分割检测方法中，通常以设置在屏幕中的多个分割框为单位检测亮度信息和色彩信息。在图8B所示的实例中，屏幕在水平方向上被划分成9个检测框，在垂直方向上被划分成8个检测框。在步骤S106中，微型计算机15根据从面部检测器25获得的面部位置和尺寸信息，选择被面部占据最多的检测框，并将所选择的检测框设置给直方图检测器23和色彩检测器24，作为面部检测框。在图8B所示的实例中，将来自四个检测框(即，X6Y5、X7Y5、X6Y6、和X7Y6)的亮度信息和色彩信息指定为面部检测值，将来自其余检测框的亮度信息和色彩信息指定为背景检测值。
无论是在常规框方法中或者在分割检测方法中，如果检测到多个面部，则将不包括在所有面部检测框中的区域指定为背景检测区域。
在以上述方式为直方图检测器23和色彩检测器24设置了面部检测框后，微型计算机15以检测框为基础，从直方图检测器23和色彩检测器24获取每个被检测的面部的亮度直方图数据和色彩信息(步骤S107)。在步骤S107中，如果需要，也获取除面部之外的背景区域的亮度直方图数据和色彩信息或整个屏幕的亮度直方图数据和色彩信息。
在检测到多个面部的情况下，根据在步骤S104中确定的每个面部的重要度来设置系数(加权)。将该系数乘以每个面部区域的亮度直方图数据，并将结果相加，相对于所有面部区域将亮度直方图数据归一化。经过归一化的直方图数据存储在RAM(未示出)等中，并在步骤S107的处理后，被用作面部的亮度直方图数据。在从多个面部区域检测的色彩信息中，具有最高重要度的面部的色彩信息存储在RAM等中，并在步骤S107的处理后，被用作面部的色彩信息。
直方图数据的峰值的确定下面将详细描述图2所示的步骤S108中用于确定直方图数据的峰值的处理。
图9是示出峰值确定处理的流程的流程图。
在步骤S301中，微型计算机15从例如RAM等中读取在图2所示的步骤S107中确定的面部的亮度直方图数据。所获取的直方图数据是相应于N个亮度值(或N级亮度范围)的一系列频率信息。
在步骤S302中，微型计算机15从所读取的面部亮度直方图数据中提取出最大频率和相应的亮度信息。
在步骤S303中，微型计算机15计算表示在所提取的面部最大频率处(频率峰值处)的频率下限和上限的阈值。
在步骤S304中，微型计算机15检测位于频率峰值处并基于峰值的界限亮度值，用于调节后续处理中的曝光控制量。
图10～图12是示出面部和背景的亮度直方图数据的检测实例的示图。图10示出的是背景比面部相对较亮的情况，相反，图11示出的是面部比背景亮的情况，图12示出的是面部显著亮于背景的情况。下面将参照图10～图12具体描述上述处理。
在图10～图12所示的举例中，在步骤S302中所提取出的面部直方图数据的峰值处的亮度值用Yf表示，在亮度值Yf处的频率的峰值用Ff表示。在步骤S303中，计算面部的峰值处频率的上限阈值Ff_max和下限阈值Ff_lmt。上限阈值Ff_max被指定为频率的峰值，下限阈值Ff_lmt使用下面的式(11)确定
Ff_lmt＝Ff_max×Rf_lmt ...式(11)其中，Rf_lmt表示系数，其中，0≤Rf_lmt≤11。在图10～图12中，作为举例，该系数为1/2。
在步骤S304中，根据在步骤S303中提取出的下限阈值Ff_lmt，查找用于确定后续处理中控制目标范围的界限亮度值。界限亮度值确定包括峰值的亮度区域(峰值区域)。从亮度值Yf处的峰值向低亮度侧和高亮度侧扫描面部的直方图数据，在频率的下限阈值Ff_lmt(在这个实例中，为Ff/2)处获得的亮度值分别指定为下限和上限亮度值Yf_l和Yf_h。界限亮度值Yf_l和Yf_h存储在RAM等中。
面部的目标亮度范围的设置下面将详细描述在图2所示的步骤S109中的设置目标亮度范围的处理。
图13是示出目标亮度范围设置处理的流程的流程图。
在步骤S401中，微型计算机15临时设置用于调节面部亮度的目标亮度范围(下限值Ya_l和上限值Ya_h)。在步骤S401中，预先确定用于定义某一目标亮度范围的初始值，使得可以以最佳亮度拍摄面部图像。例如，对于最大亮度值255(8位数据的亮度值)，设置Ya_l＝140和Ya_h＝200。在图10～图12中，也示出了目标亮度范围设置的实例，用于参考。
然后，微型计算机15执行步骤S402～S406的处理，从而根据诸如外部光量、亮度直方图数据、及重要度的各种参数来精细地调节在步骤S401中临时设置的面部的目标亮度范围，使得可以实现面部和背景之间的期望的亮度平衡。
在步骤S402中，微型计算机15根据从面部区域检测的色彩信息(在图2所示的步骤S107中存储在RAM等中的、具有最高重要度的面部的色彩信息)来移动目标亮度范围。
例如，如果面部的色彩饱和度高，则将目标亮度范围移向低亮度侧。如果面部的色彩饱和度低，则确定面部的反射率。如果反射率高，则将目标亮度范围移向高亮度侧。如果反射率低，则将目标亮度范围移向低亮度侧。因此，能够根据面部肤色改变控制目标值。
在步骤S403中，微型计算机15根据下面的式(12)计算外部光量LvLv＝log2(Fno2)+log2(1/T)+log2(100/ISO)+log2(Yave/Y_N)...式(12)其中，Y_N表示相对于整个屏幕的预定的亮度控制目标值，Yave表示所检测亮度值的平均值。
在步骤S404中，微型计算机15根据所确定的外部光量Lv，进一步移动面部的目标亮度范围。
目标亮度范围被移动的偏移量Yshift利用下面的式(13)～式(17)来确定，并将偏移量Yshift加入目标亮度范围的当前下限值Ya_l和上限值Ya_h中对于Lv＜LV1，Yshift＝SHIFT2 ...式(13)
对于LV1≤Lv＜LV2，Yshift＝{SHIFT2*(LV2-Lv)}/(LV2-LV1) ...式(14)对于LV2≤Lv＜LV3，Yshift＝0...式(15)对于LV3≤Lv＜LV4，Yshift＝{SHIFT1*(Lv-LV3)}/(LV4-LV3) ...式(16)对于LV4≤Lv，Yshft＝SHIFT1...式(17)其中，LV1、LV2、LV3、和LV4表示满足0≤LV1＜LV2＜LV3＜LV4的外部光量的阈值，SHIFT1和SHIFT2为分别表示偏移量Yshift的上限和下限的常数，满足SHIFT2＜0＜SHIFT1。
图14是示出根据上面给出的式(13)～式(17)的、外部光量Lv和目标亮度范围的偏移量Yshift之间的关系的图表。
如式(13)～式(17)和图14所示，基本上，目标亮度范围随着外部光量的减小而移向低亮度侧，并且目标亮度范围随着外部光量的增加而移向高亮度侧。因此，可控制亮度，从而强烈地反应拍摄风格，使得面部和背景呈现更自然的平衡。为了防止不自然的图像(其中，面部亮度被过度调节，以至于与拍摄环境不相称)，偏移量Yshift的可能范围被控制在SHIFT1和SHIFT2之间。
重新参照图13，在步骤S405中，微型计算机15通过整个屏幕的直方图数据来计算曝光过度量和曝光不足量，并根据所获得的曝光过度量和曝光不足量进一步移动目标亮度范围。
曝光过度量表示曝光过度的亮区出现的程度。例如，通过确定在预定的高亮度区域中曝光过度的亮区出现的频率高于阈值多少来计算曝光过度量。曝光不足量表示曝光不足的暗区出现的程度。例如，通过确定在预定的低亮度区域中曝光不足的暗区出现的频率高于预定值多少来计算曝光不足量。当过度曝光面积的量很大时，目标亮度范围大幅度移向低亮度侧；反之，当曝光不足面积的量很大时，目标亮度范围大幅度移向高亮度侧。因此，可以防止在整个屏幕上的曝光过度的亮区或曝光不足的暗区的出现。
例如，在图2所示的步骤S107中，可以从直方图检测器23获取整个屏幕的直方图数据。除了整个屏幕，除面部之外的背景的直方图数据也可以被用于计算曝光不足量和曝光过度量。
在步骤S406中，微型计算机15根据在图2所示的步骤S104中确定的面部的重要度Wf(例如，如果存在多个面部，则为这些面部的最大重要度值Wf)来调节目标亮度范围的宽度。在这种情况下，确定目标亮度范围宽度的调节比率(scale)，并根据该调节比率(scale)改变目标亮度范围的宽度，从而计算目标亮度范围的下限值Ya_l和上限值Ya_h。可以使用下面的式(18)～式(20)来确定目标亮度范围宽度的调节比率(scale)对于Wf≤WL，scale＝SCALE_MAX...式(18)对于WL＜Wf≤WH，
scale＝{(SCALE_MAX-1)×(WH-Wf)}/(WH-WL)+1...式(19)对于WH＜Wf，scale＝1 ...式(20)其中，WL和WH表示面部重要度Wf的阈值，满足0≤WL＜WH，SCALE_MAX表示调节比率(scale)的上限阈值，满足SCALE_MAX＞1。
图15是示出根据上面给出的式(18)～式(20)的、面部重要度Wf和目标亮度范围宽度的调节比率(scale)之间的关系的图表。
如上面给出的式(18)～式(20)和图15所示，基本上，面部重要度Wf越低，则将目标亮度范围调节得越大。通过这种控制，如果面部重要度Wf高，则优先对该面部执行曝光调节；反之，如果重要度Wf低，则将目标亮度范围调大，使得能够降低根据面部检测值进行的曝光控制调节的效果，从而以很平衡的方式对面部和背景都执行曝光调节。
例如，可以在步骤S401中设置小的目标亮度范围。在步骤S406中，如果面部的重要度Wf高，则可以增加目标亮度范围，使得调节比率(scale)能够等于或大于1。
图13所示的处理允许调节目标亮度范围，使得能够实现面部和背景之间的期望的亮度平衡以及适当的面部亮度。
曝光控制量和闪光控制信息的再计算下面将详细描述用于再计算曝光控制量和闪光控制信息的处理，该处理相应于图2所示的步骤S110的处理。在这个处理中，根据在步骤S101中使用标准AE控制方法确定的曝光控制量和闪光控制信息、诸如在步骤S108中确定的直方图数据峰值的信息、及在步骤S109中确定的目标亮度范围来计算最终的曝光控制量和闪光控制信息。因此，能够执行曝光控制，使得在能够实现面部和背景之间的期望的亮度平衡的同时，能够适当地调节面部的亮度，而不会在背景等中出现曝光不足的暗区或曝光过度的亮区。
图16和图17是示出用于再计算曝光控制量和闪光控制信息的处理流程的流程图。
在步骤S501中，微型计算机15使用在图9所示的步骤S304中确定的基于峰值的界限亮度值Yf_l和Yf_h和在图13所示的处理中确定的目标亮度范围的下限值Ya_l和上限值Ya_h，来将面部的直方图数据的峰值区域宽度(Yf_h-Yf_l)与目标亮度范围的宽度(Ya_h-Ya_l)进行比较。如果峰值区域的宽度大于目标亮度范围的宽度，则执行步骤S502的处理。如果峰值区域的宽度等于或小于目标亮度范围的宽度，则执行步骤S506的处理。
在执行比较处理后，微型计算机15调节曝光控制量，使得峰值或峰值区域被包括在目标亮度范围内。在本实施例中，如果峰值区域的宽度大于目标亮度范围的宽度，则调节曝光控制量，使得峰值被包括在目标亮度范围中；反之，如果峰值区域的宽度小于目标亮度范围的宽度，则调节曝光控制量，使得峰值区域自身被包括在目标亮度范围中。
在步骤S502中，微型计算机15将位于面部的直方图数据的峰值处的亮度值Yf与目标亮度范围的上限值Ya_h进行比较。如果峰值处的亮度值Yf较高，则执行步骤S503的处理。如果峰值处的亮度值Yf等于或低于上限值Ya_h，则执行步骤S504的处理。
在步骤S503中，由于在位于面部的直方图数据的峰值处的亮度值Yf高于目标亮度范围的上限值Ya_h，所以微型计算机15使用下面的式(21)计算曝光控制量将被调节的调节量ΔEv，使得能够将峰值移向低亮度侧，即，入射光量能够降低。因此，可以确定调节量ΔEv，使得峰值被包括在目标亮度范围中。
ΔEv＝-log2(Yf/Ya_h)...式(21)在步骤S504中，微型计算机15将位于面部的直方图数据的峰值处的亮度值Yf与目标亮度范围的下限值Ya_l进行比较。
如果峰值处的亮度值Yf等于或高于下限值Ya_l，则可以认为峰值被包括在目标亮度范围中，结果得到能够适当地调节面部和背景之间平衡的曝光控制状态。因此，处理结束，并使用在图2的步骤S101中确定的曝光控制量和闪光控制信息来控制曝光机构和闪光发射操作。如果峰值处的亮度值Yf低于下限值Ya_l，则执行步骤S505的处理。
在步骤S505中，由于位于面部的直方图数据的峰值处的亮度值Yf低于目标亮度范围的下限值Ya_l，所以微型计算机15使用下面的式(22)来计算曝光控制量将被调节的调节量ΔEv，使得能够将峰值移向高亮度侧，即，入射光量可以提高。因此，可以确定调节量ΔEv，使得峰值能够被包括在目标亮度范围中。
ΔEv＝-log2(Yf/Ya_l)...式(22)
在步骤S506中，微型计算机15将基于面部的直方图数据的峰值的界限亮度值Yf_l与目标亮度范围的下限值Ya_l进行比较。如果界限亮度值Yf_l较低，则执行步骤S507的处理。如果界限亮度值Yf_l等于或高于下限值Ya_l，则执行步骤S508的处理。
在步骤S507中，由于至少面部的直方图数据的低亮度侧的峰值区域在目标亮度范围之外，所以确定其处于诸如图10所示状态的曝光不足状态。因此，微型计算机15使用下面的式(23)来计算曝光控制量将被调节的调节量ΔEv，使得能够将峰值移向高亮度侧，即，入射光量可以提高。因此，可以确定调节量ΔEv，使得峰值能够被包括在目标亮度范围中。
ΔEv＝-log2(Yf_l/Ya_l)...式(23)在步骤S508中，微型计算机15比较基于峰值的界限亮度值Yf_h和目标亮度范围的上限值Ya_h。
如果像在图11中所示的状态中一样，界限亮度值Yf_h等于或低于上限值Ya_h，则整个峰值区域位于目标亮度范围内。然后，处理结束，使用在图2所示的步骤S101中确定的曝光控制量和闪光控制信息来控制曝光机构和闪光发射操作。如果界限亮度值Yf_h高于上限值Ya_h，则执行步骤S509的处理。
在步骤S509中，由于至少面部的直方图数据的高亮度侧的峰值区域位于目标亮度范围外，所以确定其处于诸如在图12中所示状态的曝光过度状态。因此，微型计算机15使用下面的式(24)来计算曝光控制量将被调节的调节量ΔEv，使得能够将峰值移向低亮度侧，即，入射光量能够降低。因此，能够确定调节量ΔEv，使得峰值区域能够被包括在目标亮度范围中。
ΔEv＝-log2(Yf_h/Ya_h) ...式(24)在步骤S510中，微型计算机15确定在步骤S503、S505、S507、或S509中确定的调节量ΔEv是否大于0。
如果调节量ΔEv小于0，则在图2所示的步骤S101中确定的曝光控制量Ev小于理想值，结果，如果使用当前的曝光控制量Ev执行控制，则曝光过度。如果将调节量ΔEv应用于曝光控制量Ev(在这种情况下，从曝光控制量Ev中减去调节量ΔEv)，则曝光量将下降，结果有出现曝光不足的暗区的可能性。因此，如果调节量ΔEv小于0(在这种情况下，包括ΔEv＝0的情况)，则执行步骤S511～S513的处理，校正亮度等级，从而不出现曝光不足的暗区。
如果调节量ΔEv大于0，则在图2所示的步骤S101中确定的曝光控制量Ev高于理想值，结果如果使用当前的曝光控制量Ev执行控制，则曝光不足。如果将调节量ΔEv应用于曝光控制量Ev，则曝光量将升高，结果有出现曝光过度的亮区的可能性。因此，如果调节量ΔEv大于0，则执行步骤S515～S521的处理，执行诸如校正亮度等级、校正调节量ΔEv、及确定是否允许闪光发射的处理，从而不引起曝光过度的亮区。
在步骤S511中，微型计算机15根据整个屏幕的亮度直方图数据来计算预测曝光不足率Ri。预测曝光不足率Ri代表具有当应用调节量ΔEv时、由于曝光量不足而引起的出现曝光不足的暗区的可能性的屏幕的比例。具体来说，例如，如图12的图表所示，定义亮度值低于预定阈值的低亮度区域VL1，并根据整个屏幕的直方图数据确定包括在低亮度区域VL1中的像素数目。将低亮度区域VL1中的像素数目与整个屏幕的像素数目的比率定义为预测曝光不足率Ri。
在步骤S512中，微型计算机15比较所确定的预测曝光不足率Ri和阈值Ri_thr。如果预测曝光不足率Ri高于阈值Ri_thr，则执行步骤S513的处理。如果预测曝光不足率Ri等于或低于阈值Ri_thr，则执行步骤S514的处理。
在步骤S513中，由于确定了相应于低亮度区域VL1的对象具有很高的出现曝光不足的暗区的可能性，所以微型计算机15使用伽马曲线等来转换所输入的图像信号的亮度，并控制像机信号处理电路14，使得能够提高低亮度侧的等级。因此，应用了调节量ΔEv的所拍摄图像信号经受等级校正，提高了低亮度区域的图像质量。随后，执行步骤S514的处理。
在步骤S513中使用的等级校正功能包含在像机信号处理电路14的图像预处理器21或图像处理器22中。但是，直方图检测器23根据还没有经历等级校正的图像信号来检测亮度信息。
在步骤S514中，微型计算机15通过将当前调节量ΔEv应用于曝光控制量Ev来更新曝光控制量Ev。在这种情况下，从曝光控制量Ev中减去调节量ΔEv。曝光机构使用经过更新的曝光控制量Ev来进行控制。
下面将参照实例进一步描述步骤S512～S514的处理。
图18是示出当在图12所示的状态下在步骤S511中应用调节量ΔEv时获得的直方图数据的示图。
在图12所示的状态下，面部的曝光量非常高，如果应用了调节量ΔEv，则如图18所示，获得整体亮度低的拍摄图像。曝光校正前包含在图12所示的低亮度区域VL1中的像素包含在图18所示的低亮度区域VL2中。低亮度区域VL2的上限低于曝光校正前的低亮度区域VL1的上限。因此，当应用调节量ΔEv时，包括在低亮度区域VL2中的像素具有不充足的曝光量，结果有很高的出现曝光不足的暗区的可能性。
因此，在图17所示的步骤S512中，如果曝光校正前包括在低亮度区域VL1中的屏幕区域的比例高，则确定在那个区域中出现曝光不足的暗区的可能性高，并执行步骤S513的处理，来提高低亮度侧的亮度等级。
图19示出了将在图17所示的步骤S513中使用的校正曲线的实例。
如图19所示，在步骤S513中的等级校正中，例如，能够使用提高所输入的亮度信号中的低亮度成分的伽马曲线。该校正曲线基于通过改变预测曝光不足率Ri、面部的直方图数据的峰值等获得的试验结果预先确定。
图20示出了当执行了等级校正后在图12所示的状态中应用调节量ΔEv时获得的直方图数据。
具有图20所示的直方图的拍摄图像通过例如对相应于图12的图的图像执行等级校正并随后使用调节量ΔEv执行曝光调节来获得。所获得的图像基于来自像机信号处理电路14的输出图像信号。
图12所示的低亮度区域VL1中包含的像素包含在图20所示的低亮度区域VL3中；但是，低亮度区域VL3的上限与低亮度区域VL1的上限没有实质上的不同。因此，即使在执行曝光调节后，低亮度成分也能够具有等级，减少了曝光不足的暗区的出现。
回到图17，在步骤S515中，微型计算机15根据整个屏幕的亮度直方图数据来计算预测曝光过度率Ro。预测曝光过度率Ro代表具有当应用调节量ΔEv时、由于过高的曝光量引起的出现曝光过度的亮区的可能性的屏幕区域的比例。具体来说，例如，如图10的图表所示，定义亮度值高于预定阈值的高亮度区域VH1，并根据整个屏幕的直方图数据来确定包含在高亮度区域VH1中的像素数目。将高亮度区域VH1中的像素数目与整个屏幕的像素数目的比率定义为预测曝光过度率Ro。
在步骤S516中，微型计算机15将所确定的预测曝光过度率Ro与阈值Ro_thr进行比较。
如果预测曝光过度率Ro等于或低于阈值Ro_thr，则确定出现曝光过度的亮区的可能性低。然后，处理进行至步骤S514，并应用当前的调节量ΔEv来执行曝光控制。如果预测曝光过度率Ro大于阈值Ro_thr，则执行步骤S517的处理。
在步骤S517中，微型计算机15确定闪光是否到达对象。如果确定闪光到达对象，则执行步骤S518的处理。如果确定闪光没有到达，则执行步骤S520的处理。举例来说，微型计算机15能够根据对透镜聚焦位置的控制量来预测与对象的距离，并且当预测的距离等于或低于预定的阈值时，能够确定闪光到达。
在步骤S518中，微型计算机15确定用户当前是否设置了闪光发射禁止模式。如果设置了闪光发射禁止模式，则执行步骤S519的处理。如果没有设置闪光发射禁止模式，则执行步骤S521的处理。
在步骤S519中，微型计算机15执行控制，从而向用户发布警告，执行发射闪光的操作。例如，将用于在显示器17上显示警告信息的控制信息输出给图形接口电路16。
在步骤S520中，微型计算机15使用伽马(γ)曲线等来转换所输入的图像信号的亮度，并控制像机信号处理电路14，使得能够提高面部亮度成分附近的等级。微型计算机15进一步更新调节量ΔEv，减小其值。因此，应用了更新后的调节量ΔEv的被拍摄图像信号经受等级校正，并校正了面部的亮度。然后，处理前进至步骤S514，通过应用更新后的调节量ΔEv来执行曝光控制。
在步骤S521中，微型计算机15输出用于请求闪光发射器19发射闪光的控制信息。然后，使用通过标准AE控制方法确定的曝光控制量Ev来执行曝光控制。此时，如果按下快门释放按钮，则使用通过标准AE控制方法确定的曝光控制量Ev来执行曝光控制，并发射闪光。
下面将参照实例进一步描述上述的步骤S515～S521的处理。
图21示出了当在图10所示的状态中应用调节量ΔEv时获得的直方图数据。
在图10所示的状态下，面部的曝光量非常低，如果应用了调节量ΔEv，则如图21所示，获得了整体亮度很高的被拍摄图像。曝光校正前包含在图10所示的高亮度区域VH1中的像素包含在图21所示的高亮度区域VH2中。高亮度区域VH2的下限高于曝光校正前的高亮度区域VH1的下限。因此，当应用了调节量ΔEv时，包括在高亮度区域VH2中的像素具有过高的曝光量，结果有很高的出现曝光过度的亮区的可能性。
但是，如果闪光到达对象(即，面部)，则能够以更高的亮度拍摄面部图像，即使没有应用调节量ΔEv，也能够防止在背景等中出现曝光过度的亮区。因此，如果面部处于闪光的范围内(步骤S517)并且如果允许闪光发射(步骤S518)，则通过发射闪光和使用以标准AE控制方法确定的曝光控制量Ev来执行曝光校正，能够拍摄具有面部和背景之间的期望的亮度平衡并且不出现曝光过度的亮区的图像。(步骤S521)另一方面，如果闪光没有到达面部或者如果设置了闪光发射禁止模式，则执行步骤S520的处理。即，校正调节量ΔEv，并且如下所述地执行亮度等级校正，从而在防止出现曝光过度的亮区的同时，以适当的亮度拍摄面部图像。
图22示出了当在图10所示的状态下应用低于调节量ΔEv的值(下文中称作“调节量ΔEv′”)时获得的直方图数据。
如果对图10所示的被拍摄图像应用低于所确定的调节量ΔEv的调节量ΔEv′，则曝光校正前包含在图10所示的高亮度区域VH1中的像素被包含在图22所示的高亮度区域VH3中。如果确定调节量ΔEv′使得高亮度区域VH3的下限与曝光校正前的高亮度区域VH1的下限没有实质上的不同，则能够保留高亮度区域的等级，防止了曝光过度的亮区的出现。
但是，在这种情况下，面部的曝光量小于理想值。如果在图22的图表中的面部的直方图数据的峰值处的亮度值用Yf′表示，并且基于峰值的界限亮度值用Yf_l′表示，则控制目标值会以值(Ya_l-Yf_l′)偏离。因此，在步骤S520中，通过调节量ΔEv′来防止曝光过度的亮区的出现，并且通过对面部亮度成分附近的等级的校正，能够消除面部控制目标值的偏离。
调节量ΔEv′通过下面的式(25)来确定ΔEv′＝ΔEv+log2(Yf_l′/Ya_l) ...式(25)
图23示出了在图17所示的步骤S520中使用的校正曲线的实例。
如图23所示，在步骤S520中的等级校正中，例如，可以使用提高在面部亮度成分附近的亮度输出的伽马曲线。具体而言，如图23所示，增加在目标亮度区的下限值Ya_l和界限亮度值Yf_l′之间的区域中的伽马曲线的斜率。以这个方式校正图像信号，从而提高了面部的亮度。
在步骤S520中，使用上面给出的式(25)和校正曲线来计算调节量ΔEv′，并通过所确定的调节量ΔEv′来更新当前调节量ΔEv。此外，请求像机信号处理电路14根据校正曲线来执行等级校正。具体来说，例如，预先提供多条具有不同斜率的校正曲线(伽马曲线)，并将调节量ΔEv应用于各个校正曲线，从而确定界限亮度值Yf_l′。选择具有最佳界限亮度值Yf_l′的校正曲线，将其用于像机信号处理电路14，并在式(25)中使用该最佳界限亮度值Yf_l′，确定调节量ΔEv′，从而更新调节量ΔEv。
图24示出了当在图10所示的状态中应用调节量ΔEv′并执行等级校正时获得的直方图数据。
如上所述，根据调节量ΔEv′来执行曝光校正，并执行等级校正。从而，如图24所示，面部的直方图数据的峰值包含在目标亮度范围中，而不会减小相应于曝光校正前的高亮度区域VH1的高亮度区域VH4。因此，在防止在背景等中出现曝光过度的亮区的同时，能够适当地调节面部的亮度，并且能够获得面部和背景之间的期望的亮度平衡。
已经在通过图16的流程图中的步骤S507的处理确定调节量ΔEv的情况下描述了步骤S515～S521的处理。如果通过步骤S505的处理确定了调节量ΔEv，则在步骤S520中，使用下面的式(26)来计算调节量ΔEv′ΔEv′＝ΔEv+log2(Yf/Ya_l) ...式(26)其中，Yf′表示当应用了调节量ΔEv′时的面部的直方图数据的峰值处的亮度值。以与上面给出的式(25)中的界限亮度值Yf_l′类似的方式能够确定亮度值Yf′。
在步骤S520中的等级校正中，例如，代替图23所示的界限亮度值Yf_l′，可以使用峰值处的亮度值Yf′。即，为了提高亮度输出，可以增加在目标亮度区域的下限值Ya_l和峰值之间的区域中的伽马曲线的斜率。
通常，像机信号处理电路14具有使用伽马曲线等对图像信号执行等级校正的功能。直方图检测器23根据还未经受等级校正的图像信号来检测亮度，因此根据上述处理，允许更适当的曝光控制。在直方图检测器23根据已经经受等级校正的图像信号来检测亮度的情况下，考虑等级校正的特性来设置面部的目标亮度范围的下限值Ya_l和上限值Ya_h。
实施例的优势因此，根据本实施例的图像摄取装置，当在所捕获的图像中检测到面部时，不用设置诸如肖像模式的用于适当调节面部亮度的操作模式，就能在自动拍摄模式下自动执行用于适当调节面部亮度的曝光控制。因此，即使是不熟悉设置操作的初学用户也能拍摄面部图像质量得到改进的图像。
此外，能够确定是否要执行根据所检测的面部的重要度来执行调节的曝光控制。此外，通过改变目标亮度范围的偏移量，能够估计用户想要的目标，并且能够自动选择和执行各种曝光控制，例如，更注重面部亮度的曝光控制、更注重背景的亮度的曝光控制、或更注重面部和背景之间的亮度平衡的曝光控制。因此，能够在各种条件下拍摄亮度得到调节的图像。
此外，根据面部的直方图数据的峰值或峰值区域来执行曝光调节，从而允许面部亮度的高精度调节。例如，在相关技术中，使用面部区域的平均亮度值作为表征面部区域的亮度值来执行曝光控制。但是，如果在面部检测处理期间发生错误，则面部区域的平均亮度值会发生很大的改变，导致有很高的出现不正确曝光控制的可能性。与之相反，即使在面部图像检测处理期间发生错误(特别是如果由于错误而没有检测到具有低重要度的面部)，面部直方图数据的峰值或峰值区域也不会发生很大改变，能够实现高精度的曝光控制。
此外，根据需要，不仅根据面部直方图数据的峰值而且根据直方图数据的峰值区域来执行曝光控制，并设置目标亮度范围。因此，能够获得一定范围的亮度控制目标，并且不用仅注重于面部亮度的极端曝光控制，就能够拍摄考虑到面部和背景之间的亮度平衡的自然图像。此外，能够根据所检测的亮度值来预测出现曝光不足的暗区或曝光过度的亮区的可能性，并能够被用于曝光控制，从而达到面部和背景之间的适当的亮度平衡。
用于移动目标亮度范围的其他处理在图13所示的步骤S402中，根据从面部区域检测的色彩信息来移动目标亮度范围。例如，如上所述，可以通过根据面部的色彩饱和度确定面部的反射率来移动目标亮度范围。但是，特别地，当面部色彩饱和度低时，不能精确地确定反射率。通过检测眼部区域的亮度并比较面部的平均亮度和所检测的亮度，能够使用比较结果更精确地确定面部的反射率。
图25是示出眼部检测区域的设置的实例的示图。在该实例中，作为举例，使用常规框方法来设置用于色彩检测的检测框。
微型计算机15根据从面部检测器25获取的面部检测结果(例如根据预定的面部轮廓图案)，为色彩检测器24设置面部区域检测框131和眼部检测框132和133。从检测框131～133获取色彩检测信息，并确定眼部区域的平均亮度。然后，计算平均亮度与面部区域平均亮度的比率。如果所计算的比率小，则确定面部反射率高，并将目标亮度范围移向高亮度侧。如果面部区域的平均亮度大大小于眼部区域的平均亮度，则确定脸部反射率低，并将目标亮度范围移向低亮度侧。该处理不考虑对象的肤色，能够更精确地调节脸部亮度。
其他变形例因此，在上述实施例中，设置目标亮度范围，从而提供一定范围的亮度控制目标，并实现考虑到面部和背景之间的亮度平衡的曝光控制。通过缩小目标亮度范围，能够实现更注重面部亮度的曝光控制。因此，用户可以可变地设置目标亮度范围。例如，如果设置了肖像模式，则能够将目标亮度限制于一点；反之，如果设置的是适于风景拍摄的摄像模式，则能够扩大目标亮度范围。
此外，当设置了肖像模式时，可以将面部重要度设置为较高。因此，可以移动目标亮度范围，从而更注重面部亮度。
在上述的曝光不足和曝光过度的确定处理中，使用整个屏幕的亮度或亮度直方图数据的检测值。可替换地，作为实例，可以使用来自除面部之外的背景的检测值。此外，可以使用来自面部和背景的检测值单独地确定曝光不足的暗区或曝光过度的亮区的出现。在为直方图检测器23设置面部检测框的情况下，微型计算机15计算面部和整个屏幕的检测值中的背景检测值。如果根据背景的检测值来执行确定处理，则尤其是当面部区域很大时，存在能够精确地确定背景中曝光不足的暗区和曝光过度的亮区的优势。
上述参照图3的用于确定面部重要度的处理也可以被用于下面的应用，以及在上述实施例中的曝光控制。例如，控制聚焦透镜，使其聚焦在具有高重要度的面部上。此外，在存在具有高重要度的面部的情况下，使用用于调节人物色彩的特殊的伽马曲线来执行色彩等级校正，或将适于肖像拍摄的参数用于孔径控制器。进而，剪裁或剪修具有高重要度的面部及周围区，并合成图片框等。此外，不仅可以通过从图像拍摄设备获得的图像信号，也可以通过在记录介质上记录的图像信号或通过网络接收的图像信号来执行那些操作。
诸如数码摄像机和数码照相机的使用固态图像摄取器件的各种图像摄取装置以及诸如移动电话和私人数字助理(PDA)的具有图像摄取功能的装置都可落入本发明的范围内。诸如用于连接至个人计算机(PC)的视频电话应用的控制器和用于游戏软件的小型像机的控制器的各种控制器也可落入本发明的范围内。
被配置为响应图像信号的输入来执行图像质量校正的图像处理装置也可落入本发明的范围内。在这种情况下，在通过上述处理设置了目标亮度范围后，代替根据目标亮度范围和诸如直方图数据的峰值或峰值区的信息来控制曝光机构，调节所输入图像信号的亮度，从而校正面部和背景的亮度。
可以通过计算机实现上述处理功能。在这种情况下，提供了用于描述将通过装置实现的功能(诸如上述曝光控制功能、用于调节所输入的图像信号的亮度的功能、及用于确定面部重要度的功能)的处理的程序。该程序通过计算机执行，从而在计算机上实现上述处理功能。描述处理的程序可以记录在计算机可读记录介质上。计算机可读记录介质的例子包括磁记录设备、光盘、磁光盘、及半导体存储器。
该程序可通过例如出售诸如光盘和半导体存储器的、其上记录了该程序的便携式记录介质来配售。该程序可以存储在服务器计算机的存储设备中，使得可以通过网络将程序从服务器计算机传输至其他计算机。
例如，执行程序的计算机将记录在便携式记录介质上的程序或从服务器计算机传输的程序存储到计算机的存储设备中。计算机从存储设备读取程序，并根据程序执行处理。计算机可以从便携式记录介质直接读取程序，并且可以根据程序执行处理。可替换地，每次从服务器计算机传输程序时，计算机可以根据所接收的程序执行处理。
本领域技术人员应该明白，在所附权利要求或等价物的范围以内，根据设计要求合其他因素，可以对本发明进行各种修改、组合、再组合和变化。
权利要求
1.一种面部重要度确定装置，用于确定对于拍摄者来说关于图像中出现的人物的面部的重要度，所述面部重要度确定装置包括面部信息获取装置，用于获取由所输入的图像信号检测的面部尺寸信息和位置信息；第一计算装置，用于根据所述尺寸信息计算第一重要度因子；第二计算装置，用于根据所述位置信息计算第二重要度因子；以及第三计算装置，用于根据所述第一重要度因子和所述第二重要度因子计算所述重要度。
2.根据权利要求1所述的面部重要度确定装置，其中，所述第一计算装置根据所述尺寸信息确定所述面部的面积与整个屏幕面积的面积比，并随着所述面积比的增加而增加所述第一重要度因子。
3.根据权利要求2所述的面部重要度确定装置，其中，当所述面积比等于或大于预定的上限阈值时，所述第一计算装置将所述第一重要度因子设置为恒定最大值。
4.根据权利要求2所述的面部重要度确定装置，其中，当通过所述第一计算装置确定的所述面积比等于或小于预定的下限阈值时，所述第三计算装置将所述重要度设置为恒定最小值。
5.根据权利要求1所述的面部重要度确定装置，其中，所述第二计算装置根据所述位置信息确定屏幕中所述面部的中心位置与所述屏幕中心或包括所述屏幕中心的预定区域之间的距离，并随着所述距离的增加而减小所述第二重要度因子。
6.根据权利要求1所述的面部重要度确定装置，其中，所述面部信息获取装置进一步获取由所输入的图像信号检测的面部倾斜信息，以及所述第二计算装置根据所述位置信息和所述倾斜信息计算所述第二重要度因子。
7.根据权利要求1所述的面部重要度确定装置，其中所述第二计算装置包括距离确定装置，用于根据所述位置信息确定屏幕中所述面部的中心位置与所述屏幕的中心或包括所述屏幕中心的预定区域之间的距离；以及夹角确定装置，用于根据所述位置信息和所述倾斜信息确定第一射线和第二射线之间的夹角，所述第一射线沿着所述面部的垂直中心线从所述面部中心指向所述人物的脚部，所述第二射线从所述面部的中心指向所述屏幕中心，以及所述第二计算装置根据所述距离和所述夹角确定所述第二重要度因子。
8.根据权利要求7所述的面部重要度确定装置，其中，当所述夹角在0°～180°的范围内时，所述第二计算装置随着所述距离的增加而减小所述第二重要度因子，并随着所述夹角的增加而减小所述第二重要度因子。
9.根据权利要求8所述的面部重要度确定装置，其中，所述第二计算装置随着所述距离的增加而增加所述第二重要度因子的最大值和最小值之间的差值。
10.根据权利要求7所述的面部重要度确定装置，其中，当所述距离等于或小于预定的阈值时，不考虑所述夹角，所述第二计算装置将所述第二重要度因子设置成最大值。
11.根据权利要求6所述的面部重要度确定装置，其中，所述第二计算装置根据所述位置信息和所述倾斜信息，随着到屏幕边缘的射线的长度的增加而增加所述第二重要度因子，所述射线沿着所述面部的垂直中心线从所述面部中心指向所述人物的脚部。
12.根据权利要求6所述的面部重要度确定装置，其中，所述第三计算装置通过根据所述第二重要度因子校正所述第一重要度因子，使得所述第一重要度因子被设置为所述重要度的最大值，从而确定所述重要度。
13.根据权利要求1所述的面部重要度确定装置，其中，所述第三计算装置通过将所述第一重要度因子乘以所述第二重要度因子确定所述重要度。
14.根据权利要求1所述的面部重要度确定装置，其中，所述第三计算装置通过根据所述第二重要度因子校正所述第一重要度因子，使得所述第一重要度因子被设置为所述重要度的最大值，从而确定所述重要度。
15.一种图像摄取装置，用于使用固态图像摄取器件拍摄图像，所述图像摄取装置包括面部检测装置，用于根据通过所述固态图像摄取器件拍摄的图像信号检测所拍摄图像中出现的人物的面部，并输出所检测面部的尺寸信息和位置信息；第一计算装置，用于根据所述尺寸信息计算第一重要度因子；第二计算装置，用于根据所述位置信息计算第二重要度因子；以及第三计算装置，用于根据所述第一重要度因子和所述第二重要度因子计算对于拍摄者来说所述面部的重要度。
16.一种面部重要度确定方法，用于确定对于拍摄者来说关于图像中出现的人物的面部的重要度，所述面部重要度确定方法包括以下步骤根据所输入的图像信号检测图像中出现的人物的面部，并输出所检测面部的尺寸信息和位置信息；根据所述尺寸信息计算第一重要度因子；根据所述位置信息计算第二重要度因子；以及根据所述第一重要度因子和所述第二重要度因子计算所述重要度。
17.一种面部重要度确定装置，用于确定对于拍摄者来说关于图像中出现的人物的面部的重要度，所述面部重要度确定装置包括面部信息获取单元，被配置为获取由所输入的图像信号检测的面部尺寸信息和位置信息；第一计算单元，被配置为根据所述尺寸信息计算第一重要度因子；第二计算单元，被配置为根据所述位置信息计算第二重要度因子；以及第三计算单元，被配置为根据所述第一重要度因子和所述第二重要度因子计算所述重要度。
18.一种图像摄取装置，用于使用固态图像摄取器件拍摄图像，所述图像摄取装置包括面部检测单元，被配置为根据通过所述固态图像摄取器件拍摄的图像信号检测所拍摄图像中出现的人物的面部，并输出所检测面部的尺寸信息和位置信息；第一计算单元，被配置为根据所述尺寸信息计算第一重要度因子；第二计算单元，被配置为根据所述位置信息计算第二重要度因子；以及第三计算单元，被配置为根据所述第一重要度因子和所述第二重要度因子计算对于拍摄者来说所述面部的重要度。
全文摘要
一种用于确定对于拍摄者来说关于图像中出现的人物面部的重要度的面部重要度确定装置包括以下部件。面部信息获取单元获取从所输入的图像信号中检测的面部尺寸信息和位置信息。第一计算单元根据尺寸信息计算第一重要度因子。第二计算单元根据位置信息计算第二重要度因子。第三计算单元根据第一重要度因子和第二重要度因子计算重要度。
文档编号G06K9/00GK101013470SQ20071000276
公开日2007年8月8日 申请日期2007年1月30日 优先权日2006年1月30日
发明者肖瑞华, 志贺朗 申请人:索尼株式会社