摄像装置和脸检测方法

专利名称：摄像装置和脸检测方法
技术领域：
本发明涉及具有检测图像内的人物的脸的脸检测功能的数字照相机 等的摄像装置和脸检测方法。
背景技术：
近年，采用CCD、 MOS型的固体摄像元件对被摄体进行摄像的数字 照相机和数字摄像机等，具有在静止图像或运动图像的摄影时自动检测作 为被摄体的人物的脸的脸检测功能。具有这样的脸检测功能的数字照相机 等一般根据检测出的脸部分的区域(脸区域)的图像信息来进行聚焦控制、 曝光控制。
另外，例如，公知有下述技术，如在日本专利申请2000-48184A中公 开的那样，以将任意的图像作为处理对象的脸检测(脸区域的检测)的处 理的高速化和消除无用的检测处理为目的，由使用者预先设定脸检测时的 处理时间、检测人数和脸面积率(处理对象的图像的面积和检测完的脸区 域的总面积的比率)的各个最大值，在任一个值达到最大值的时刻，结束 检测处理。
但是，在数字照相机等中，为了进行采用了上述技术的有效的脸检测， 使用者(摄影者)在摄影时被强制设定处理时间、检测人数、脸面积率等 规定脸检测动作的多个参数的复杂作业。

发明内容
本发明是针对上述实际情况而提出的，本发明的目的在于提供一种无 需使用者进行复杂的设定就能够进行与被摄体相对应的有效的脸检测的 摄像装置和脸检测方法。
为了实现上述目的，本发明的第1方面的摄像装置的特征在于包括 摄像单元，其对被摄体进行摄像；和脸检测单元，其按照预设的多个脸检
测模式分别对应的、确定脸区域的检测条件的至少1个参数的值，从由所 述摄像单元拍摄的被摄体图像中检测脸区域。
另外，本发明的第2方面的脸检测方法，从对被摄体进行摄像的摄像 单元所拍摄的被摄体图像中检测脸区域，其特征在于，该脸检测方法包括: 选择预设的多个脸检测模式中的任一个来作为脸区域的检测时的动作模 式的步骤；和按照所述选择的任一个脸检测模式所对应的、确定脸区域的 检测条件的第1参数和第2参数的值，从由所述摄像单元拍摄的被摄体图 像中检测脸区域的步骤。
另外，本发明的第3方面的脸检测方法，从对被摄体进行摄像的摄像
单元所拍摄的被摄体图像中检测脸区域，其特征在于，该脸检测方法包括-通过第1脸检测模式反复进行从所述被摄体图像中检测脸区域的检测动
作，并且在此期间，取得与第2脸检测模式的检测条件相关的规定的检测 信息的步骤，所述第2脸检测模式的脸区域的检测条件与所述第1脸检测 模式不同；和在所述取得的规定的检测信息的内容是满足所述第2脸检测 模式的检测条件的内容的情况下，将从所述被摄体图像中检测脸区域的检 测动作模式改变为所述第2脸检测模式的步骤。
按照本发明，无需使用者进行复杂的设定就能够进行与被摄体相对应 的有效的脸检测。


阅读下面的具体的描述和附图，会更加容易得出本发明的这些目的， 其它的目的和优点。
图1为表示本发明的各实施方式共同的数字照相机的结构的方框图； 图2为优先设定表格的概念图3为表示第1实施方式的脸检测所相关的动作内容的流程图； 图4为紧接图3的流程图5为表示帧图像中的脸检索区域和与脸检测动作所采用的参数的说 明图6A为表示显示了脸检测框的状态的直通图像的实例的图； 图6B为表示显示了脸检测框的状态的直通图像的实例的图7为表示模式选择画面的图8A为表示1次的脸检测周期所需要的处理速度与所检测的脸尺寸 之间的关系的处理速度的特性图8B为表示1次的脸检测周期所需要的处理速度与要检测的脸的数 量(人数)之间的关系的处理速度的特性图9为表示第2实施方式的脸检测所相关的控制部的处理内容的流程
图10为紧接图9的流程图。
具体实施例方式
下面参照附图，对本发明的实施方式进行具体说明。在本实施方式中， 对由数字照相机来构成本发明的摄像装置的情况进行说明。 (实施方式1)
首先，对本发明的第1实施方式进行说明。图1为表示本实施方式的 数字照相机的基本结构的方框图。该数字照相机具有AE (自动曝光)、 AF (自动聚焦)、脸检测的各功能，主要由下面的各部分构成。
艮P，数字照相机包括CCD2，该CCD2对通过光学系统1成像的被摄 体的光学像进行光电变换，将其作为摄像信号而输出。该CCD2基于根据 定时发生器(TG) 3所产生的定时信号，由CCD驱动部4所产生的驱动 信号而被驱动。CCD2的输出信号通过A/D变换器5变换为数字信号，然 后，传送给图像处理部6。
上述光学系统1包括聚焦镜头和用于使其在光轴上移动的镜头马达。 镜头马达按照控制部7的指令由镜头驱动部8所产生的驱动信号而被驱 动。由此，控制聚焦镜头在光轴上的位置。
上述图像处理部6对A/D变换后的摄像信号，进行下述处理，即生 成按每个像素的R、 G、 B的色成分数据(RGB数据)的RGB内插处理; 按每个像素，根据RGB数据生成由亮度信号(Y)和色差信号(U， V) 构成的YUV数据的YUV变换处理；自动白色平衡和轮廓强调等用于提高 画质的数字信号处理。由图像变换部6变换后的YUV数据依次存储于 SDRAM9中。
另外，数字照相机包括由液晶监视器和其驱动电路构成的显示部10。
在摄影用的记录模式下，存储于SDRAM9中的YUY数据，每当在 SDRAM9中累积了 1帧的量时在图像处理部6中变换为视频信号。然后， 经变换的视频信号作为直通(through)图像，显示于显示部10 (液晶监 视器)的画面中。接着，在记录模式的摄影时，临时存储于SDRAM9中 的图像数据在JPEG变换部11中，按照JPEG方式进行压缩编码处理后， 经由外部存储器I/F12,例如，作为静止图像文件而记录于由例如各种存 储卡构成的外部存储器13中。
记录于上述外部存储器13中的静止图像文件，在再生模式下根据使 用者的选择操作而被适当地读出。另外，已读出的静止图像文件在JPEG 变换部ll中解压，作为YUV数据在SDRAM9中展开。然后，在显示部 IO上作为静止图像而显示。
操作部14包括电源键、进行作为数字照相机的基本的动作模式的上 述记录模式和再生模式的切换的模式切换键、MENU键、快门键等多个键。 各键通过控制部7随时扫描操作状态。另外，快门键具有由使用者进行摄 影预告用的半按压位置、指示实际的摄影动作用的全按压位置的2阶段的 操作的所谓的半快门功能。
脸检测处理部15针对由图像处理部6生成的1帧量的图像数据(在 下面称为"帧图像")进行脸检测，即，对特征和与预先准备(存储)的人 物的脸相关的轮廓和颜色等的模型图案接近的脸部分。另外，脸检测处理 部15生成与检测出的脸部分相对应的区域(在下面称为脸区域)的坐标 信息，将其发送给控制部7。更具体地说，脸检测处理部15由帧存储器、 图像处理电路和多个寄存器等构成，该帧存储器临时存储上述帧图像，该 图像处理电路用于进行脸检测动作所必需的各种图像处理，该多个寄存器 存储在脸检测动作时使用的参数。
另外，在本实施方式中，作为脸检测处理部15中的脸区域的检测时 的动作模式(脸检测模式)，设定了脸区域的检测条件不同的速度优先模 式和人数优先模式。脸检测处理部15根据该脸检测模式进行脸检测处理。 另外，使用者可适当切换脸检测模式的种类。
控制部7由CPU和其周边电路等构成，进行数字照相机的各部分的 控制、基于摄像信号中包括的亮度信息的AE控制、基于对比度检测方式
的AF控制、脸检测控制等。用于使控制部7进行这些控制用的各种程序、 各种控制所必需的各种数据存储于可改写存储数据的作为非易失性存储 器的闪存16中。
另外，在本实施方式中，闪存16除了存储控制部7中运行用的程序 之外，还存储为了实现本发明所必需的各种数据。此外，在闪存16中， 还存储由使用者设定的与数字照相机的各种功能有关的设定信息等。图2 是表示闪存16所存储的优先设定表格T的概念图。优先设定表格T表示 与上述的脸检测模式(速度优先模式和人数优先模式)相对应的设定参数。 在优先设定表格T中给出的设定参数是在脸检测时能够检测的最小的脸 尺寸，即成为脸尺寸的下限值的横向的像素尺寸Xmin和纵向的像素尺寸 Ymin;与应检测的最大的脸的数量，即作为脸检测数量的上限值的脸Max。 控制部7将在优先设定表格T中给出的设定参数作为初始值，设定在脸检 测处理部15的寄存器中。
在脸检测模式中，速度优选模式是以脸检测时的处理速度为优先(重 视)的模式，人数优先模式是以脸检测数量即具体的脸检测为优先(重视) 的模式。与双方的模式相对应的设定参数的值成为与各个模式的优先内容 (脸区域的检测条件)相对应的值。即，作为脸检测数量的上限值的脸Max 在速度优先模式下为"5人"，在人数优先模式下为"IO人"。另外，作为脸 尺寸的下限值的脸尺寸(Xmin， Ymin)，在以帧图像的纵向的尺寸为100% 时的百分比(N%)(参照图6A)，在速度优先模式下为"16%"，同样在 人数优先模式下为"10。/o"的尺寸。另外，图2所示的像素尺寸(36pix，22pix) 为与后述的脸检测有关的具体的动作内容的说明相对应的方便的值。
另外，在本实施方式中，上述设定参数的值鉴于下述方面而确定。艮口， 通常，在脸检测中，成为检测对象的图像(在下面称为"帧图像")中的人 物的数量、人物的脸的大小是不确定的。因此， 一边将应检测的脸的尺寸 从较小尺寸慢慢地变为较大的尺寸， 一边检测位于帧图像内的脸(脸区 域)。此时，对于l次的脸检测周期(cycle)所要求的处理速度，与从中 要检测的脸的数量(脸检测数量)和脸的大小(脸尺寸)之间具有密切的 关系。
图8A是表示在帧图像中有5个人物且每个人物的脸尺寸相同的情况
下脸尺寸的处理速度(时间)的图。对于1次的脸检测周期所需要的处理 速度，检测越小的脸，该速度越慢，另外，在想要检测某程度以上的较大
的脸的情况下，脸的尺寸的不同几乎不对处理速度造成影响。另外，图8B 是表示位于帧图像中的全部的脸的尺寸为10%的情况下，处理速度相对于 脸检测数量的图。对于1次的脸检测尺寸所要求的处理速度，要检测的脸 的数量越少，速度越快。另外，图示的处理速度是方便取得的。
1次的脸检测周期所需要的处理速度与从中要检测的脸的尺寸和数 量，即作为图案对照的对象的区域的尺寸和该区域的数量有关。目卩，可检 测的脸的尺寸越大，成为图案对照的对象的区域越大，其区域的数量越小。 另外，随着能够检测的脸的尺寸的减小，构成图案对照的对象的区域变小， 其区域的数量变多。因此，用于对对象区域的图像是否为脸进行检测的对 照次数增加，处理速度显著降低。
如上所述，1次的脸检测周期所需要的处理速度与从中要检测的脸的 大小(脸尺寸)和脸的数量(脸检测数量)有关。另外，不同于此，位于 帧图像内的脸的尺寸和人数也具有密切关系。即，在位于帧图像内的脸大 的情况下，即使在脸密集的情况下，可位于帧图像内的脸的数量页有限。
因此，如果检测更小的脸，则能够检测的脸的数量必然增加，但是， 另一方面，如果仅仅检测较大的脸，则可检测的脸的数量也縮小。鉴于这 一点，在本实施方式中，作为与速度优选模式相对应的设定参数的值，脸 Max (脸检测数的上限值)设定为"5人"，脸尺寸(检测尺寸的下限值) 设定为"16%"。另外，作为与人数优先模式相对应的设定参数的值，脸Max设定为"10人"，脸尺寸设定为"10%"。
下面对以上构成的数字照相机的脸检测所相关的动作进行说明。首 先，对基本的动作进行说明。在上述数字照相机中，控制部7在记录模式 的摄影待机状态下，脸检测功能被设定为启动时，将通过规定的帧速率的 摄影动作取得的被摄体的图像数据(帧图像)作为对象，使脸检测处理部 15执行脸检测。控制部7每当脸检测处理部15的脸检测动作完成时，将 之后刚刚取得的新的帧图像发送给脸检测处理部15。脸检测处理部15若 从控制部7接收到新的帧图像，则与帧速率非同步地随时进行脸检测处理。
在该情况下，脸检测处理部15将上述帧图像中的除了外周部以外的几乎 全部区域作为脸检索区域，针对该脸检索区域进行脸检测处理。另外，在
以下的说明中，为了方便起见，该脸检索区域的尺寸为290像素x220像素 (参照图5)。
下面根据图3和图4的流程图，对具体的动作内容进行说明。如图3 所示，在数字照相机中，如果在记录模式下脸检测功能被设定为启动，或 在脸检测功能被设定为启动的状态下设定记录模式，则控制部7从闪存16 中取得针对此时刻设定的(例如，上次的脸检测功能的使用时设定的)脸 检测模式种类的设定信息(步骤SA1)。
接着，控制部7判断作为脸检测模式设定了速度优先模式和人数优先 模式中的哪一个(步骤SA2)。接着，控制部7从上述优先设定表格T(图 2)中，读出与所设定的模式相对应的设定参数，将其作为用于脸检测动 作的初始值，设定在脸检测处理部15中。即，在判定为设定了"速度优先 模式"的情况下，控制部7设定"36， 36"作为脸尺寸(Xmin， Ymin)， 并且脸检测数的上限值(脸Max)设定为"5"(步骤SA3)。另一方面， 在判定为设定了"人数优先模式"的情况下，控制部7设定"22， 22"作为脸 尺寸(Xmin， Ymin)，并且脸检测数量的上限值(脸Max)设定为"10" (步骤SA4)。
然后，如果没有使用者进行的脸检测模式的切换操作或快门键的半按 压操作(步骤SA5、 SA7均为"否")，则每当通过控制部7将帧图像传送 给脸检测处理部15时，在脸检测处理部15中反复地进行基于图4的步骤 SA10 SA23的处理的脸检测动作。图5是表示帧图像100的脸检索区域 101和脸检测动作中采用的参数的说明图。
如图4所示，脸检测处理部15首先将应进行图案对照的脸检测区域 102的尺寸Xf， Yf作为由控制部7设定的初始值(Xmin， Ymin)(步骤 SA10)。另外，脸检测处理部15使检测计数器的值为"O"(步骤SAll)。 另外，脸检测处理部15使脸检测区域102的起点Xs、 Ys的值为"0"，并 且使脸检测区域102的终点Xe、 Ye为与起点Xs、 Ys和尺寸Xf、 Yf相对 应的值(步骤SA12)。这样，脸检测处理部15进行参数的初始化处理。 另外，上述起点Xs、 Ys和终点Xe、 Ye为帧图像100的脸检索区域101
内的坐标位置。然后，脸检测处理部15以上述尺寸Xf、 Yf的脸检测区域
102为对象，进行基于图案对照的脸检测处理(步骤SA13)。接着，脸检 测处理部15 —边按照下述的顺序更新脸检测区域102的位置和尺寸，一 边反复地进行同样的脸检测处理。
首先，脸检测处理部15设定此时刻的脸检测区域尺寸Xf、 Yf的20%， 作为脸检测区域102的X方向和Y方向的位移单位AX、AY(步骤SA17)。 然后，脸检测处理部15更新使脸检测区域102沿X方向移动上述位移单 位AX的起点Xs和终点Xe (步骤SA18)。然后，脸检测处理部15在X 方向的终点Xe超过脸检索区域101的右端的坐标位置(在这里为290) 之前(在步骤SA19中为"否")，每当通过同样的处理使脸检测区域102 沿X方向移动时，进行脸检测处理。
另外，脸检测处理部15每当脸检测区域102的X方向的终点Xe超 过脸检索区域101的右端的坐标位置(290)时(在步骤SA19中为"是")， 使脸检测区域102沿Y方向移动上述位移单位AY，并且对应该将X方向 的位置移动到左端的起点Xs、 Ys和终点Xe、 Ye进行更新(步骤SA20)。 接着，脸检测处理部15在Y方向的新的位置， 一边反复进行X方向的移 动， 一边在每次移动时进行脸检测处理。这样，脸检测处理部15在新的Y 方向的终点Ye超过脸检索区域101的下端的坐标位置(在这里为220) 之前，反复地进行脸检测区域102的移动(在步骤SA21，为"否")。艮口， 脸检测处理部15 —边使脸检测区域102每次少量(每次按照位移单位AX、 AY)地从脸检索单位区域101的左方朝右方，并且从上方朝下方移动， 一边反复进行脸检测处理。
此外，脸检测处理部15每当脸检测区域102的Y方向的终点Ye超 过脸检索区域101的下端的坐标位置时(在步骤SA21,为"是")，将此 时刻的脸检测区域102的X方向和Y方向的尺寸Xf、 Yf分别放大到1.2 倍的尺寸(步骤SA22)。然后，脸检测处理部15将新的尺寸(Xf、 Yf) 的脸检测区域102如上述那样，一边从脸检索单位区域101的左方朝右方， 并且从上方朝下方移动， 一边反复进行脸检测处理(步骤SA23，为"否")。
另外，脸检测处理部15在反复进行上述脸检测处理的期间，每当检 测出脸时(在步骤SA14，为"是")，使检测计数器的值递增(步骤SA15)。
接着，脸检测处理部15，在上述检测计数器的值即脸检测数量到达上限值
(脸Max)(在步骤SA16中为"是")，或在步骤SA22中设定的脸检测区 域102的尺寸(Xf， Yf)超过预定的最大尺寸(XmaX、 Ymax)(在步骤 SA23，为"是")的情况下，结束对帧图像100的脸检测动作。然后，处理 返回到图3的步骤SA5。
如果没有脸检测模式的切换操作和快门键的半按压操作(步骤SA5， SA7均为"否")，则对新的帧图像反复进行上述图4的步骤SA10 SA23 的脸检测动作。
此外，虽然在流程图中未给出，但脸检测处理部15在上述脸检测动 作的步骤SA15中使检测计数器的值递增时，将此时刻的脸检测区域102 的坐标信息(起点Xs， Ys和终点Xe， Ye)发送给控制部7。控制部7根 据发送来的坐标信息，逐次重叠地在直通图像上显示表示脸区域的脸检测 框。图6A、图6B是表示显示了在针对帧图像的脸检测动作即1个周期的 脸检测处理结束的时刻的脸检测框A的状态的直通图像110的实例的图。
另外，上述脸检测框A的显示，通过控制部7对脸检测框A的OSD (On Screen Display)数据与存储于SDRAM9中的直通图像用的YUV数据 进行合成来进行。另外，通过脸检测处理部15检测到的脸区域，例如， 用作通过控制部7进行AE控制时的测光区域，或用作进行AF控制时的 对比度值的取得区域(AF评价区域)。
此外，如图3所示，在由使用者进行了脸检测模式的切换的情况下(在 步骤SA5，为"是")，控制部7将在脸检测处理部15中设定的设定值， 即脸尺寸(Xmin， Ymin)和脸检测数量的上限值(脸Max)的值改变为 与新的模式(速度优先模式或人数优先模式)相对应的值(步骤SA6)。 然后，脸检测处理部15根据变更后的设定值，进行上述脸检测动作。
另外，在由使用者进行了模式设定(变更)用的规定的键操作的情况 下，控制部7响应于其操作，在显示部10上显示如图7所示的模式选择 画面200。在模式选择画面200中，如果使用者通过光标移动的操作等选 择脸检测模式(速度优先模式，或人数优先模式)，则控制部7将使用者 所选择的模式设定为新的脸检测模式。
还有，在由使用者半按压快门键的情况下(在步骤SA7，为"是")，
控制部7判断在此时刻设定的脸检测模式是否为速度优先模式(步骤
SA8)。接着，在判断为速度优先模式的情况下(在步骤SA8，为"是")， 控制部7使脸检测处理部15中止此时刻的脸检测动作，将在此时刻设定 的脸尺寸(Xmin， Ymin)和脸检测数量的上限值(脸Max)的值临时地 改变为与人数优先模式相对应的值(步骤SA9)。然后，在半按压快门键 的期间，控制部7根据人数优先模式，进行针对帧图像的脸检测动作。另 外，虽然在流程图中未示出，但在步骤SA9中将上述设定值临时改变为与 人数优先模式相对应的值的情况下，控制部7在快门键的半按压状态被解 除的时刻，将上述设定值恢复到速度优先模式的设定值。然后，在摄影待 机状态下，在脸检测功能被设定为启动的期间，反复进行步骤SA5 SA23 的动作。
这里，在以上说明的本实施方式中，在设定速度优先模式作为脸检测 模式时，脸检测数量的上限值(脸Max)为"5"，并且脸检测区域102的 尺寸的初始值设定在"36， 36"(脸尺寸为16%)。另外，在设定人数优先 模式时，脸检测数量的上限值(脸Max)为"10"，并且脸检测区域102的 尺寸的初始值设定为"22， 22"(脸尺寸为10%)。
由此，在设定速度优先模式时，如果与人数优先模式相比较，虽然能 检测的脸的数量(脸检测数量)和脸尺寸等脸检测性能差，但是，1次的 脸检测周期所需要的处理速度提高，因此，在脸检测动作中能确保较高的 反应性。即，在视角改变，或视角内的人物运动时，能够立即使上述脸检 测框A随之移动(图6A，图6B)。另一方面，在设定人数优先模式时， 如果与速度优先模式相比较，虽然反应性能差，但是仍可检测到远而小的 脸，另外，还可检测多个人的脸。g卩，可进行详细的脸的检测。
如上所述，在本实施方式的数字照相机中，使用者(摄影者)仅仅通 过选择脸检测模式的种类，就能够使数字照相机进行与视角内的人数、脸 的尺寸等被摄体的具体的内容相对应的有效的脸检测。
另外，在使用者分别设定了能检测的脸尺寸、能检测的脸检测数量这 样的参数的情况下，使用者需要熟悉这些设定(参数之间的值的组合)。 例如，在仅仅想要快速地检测较大的脸时，减小能检测的脸检测数量(上 限人数)为好。在使用者不熟悉上述参数的设定而较多地设定了上限人数
的情况下，其结果是，无法取得想要的反应性能。相对该情况，在本实施 方式的数字照相机中，由于仅仅选择脸检测模式的种类即可，故任何人都 能可靠地使数字照相机进行与被摄体的具体内容相对应的有效的脸检测。
此外，在从半按压快门键到该状态被解除的期间，与到此之前的脸检 测模式无关(强制地)将脸检测模式设定为人数优先模式。由此，在摄影
时，始终通过具体的脸检测动作进行适合的AF控制和AE控制。
还有，伴随上述快门键的半按压的向人数优先模式的变更也可仅仅在 半按压快门键时临时地进行。即使在该情况下，仍可取得上述效果。
再有，在本实施方式中，对脸检测模式仅仅为以脸检测时的处理速度 为优先的速度优先模式和以脸检测数量(详细的脸检测)为优先的人数优 先模式这2种优先模式的情况进行了说明，但是，预先设定的多个脸检测 模式也可为3种以上。另外，在各个脸检测模式中，根据2个以上的参数 的值的组合而脸检测的检测条件不同即可。即，可以是以脸检测时的处理 速度或能检测的脸的数量以外的动作内容为优先(重视)这样的模式。
另外，作为脸检测模式，在例如除了速度优先模式和人数优先模式之 外还设置其它模式的情况下，也与本实施方式相同，仅在从半按压快门键 到该状态被解除的期间，从多个脸检测模式中，设定脸检测区域的检测精 度最高的模式，从而在摄影时能进行更适合的AF控制、AE控制。
(实施方式2)
下面对本发明的第2实施方式进行说明。本实施方式是自动地进行上 述脸检测模式的设定(切换)的数字照相机。基本构成与第1实施方式相 同，在上述闪存16中存储使控制部7执行下述的处理用的程序。
下面，按照图9和图10的流程图，说明对控制部7的脸检测有关的 处理内容。如图9所示，如果控制部7在记录模式中将脸检测功能设定为 启动，或在脸检测功能被设定为启动的状态下设定记录模式，则首先进行 将人数优先标记设定为OFF状态的初始化处理(步骤SB1)。接着，控制 部7设定人数优先模式作为脸检测模式。即，控制部7从上述预先设定表 格T (图2)中读出与人数优先模式相对应的设定参数，将其作为用于脸 检测动作的初始值，设定在脸检测处理部15中(步骤SB2)。接着，控 制部7在脸检测处理部15中，进行与第1实施方式相同的脸检测动作(步
骤SB3)。
然后，控制部7在脸检测处理部15针对帧图像的1个周期的脸检测 处理结束为止的期间(在步骤SB8，为"否")，每当脸检测处理部15检 测到脸时(在步骤SB4，为"是")，根据从脸检测处理部15接收的上述 脸检测区域102 (参照图5)的坐标信息(起点Xs、 Ys和终点Xe、 Ye)， 分别判断所检测的脸的尺寸是否小于16%，以及检测出的脸的数量(脸检 测数量)是否达到了上限即人数优先模式的上限值(脸Max)的IO人(步 骤SB5， SB7)。
在判定已检测的脸的尺寸小于16%，在帧图像内检测到了较小的脸的 情况下(步骤SB5，为"是")，控制部7将人数优先标记设定在ON状态 (步骤SB6)。
然后，在脸检测数量达到上限的时刻(在步骤SB7，为"是")，或在 脸检测数量未到达上限但1个周期的脸检测处理结束的时刻(在步骤SB8， 为"是")，控制部7根据到此为止的期间内从脸检测处理部15发送来的 全部的坐标信息，在直通图像中显示1个或多个脸检测框(步骤SB9)。
接着，如果人数优先标记为ON状态(在步骤SBIO，为"是")，则控 制部7将其重新暂时设定在OFF状态(步骤SBll)。然后，控制部7返 回到步骤SB3，在人数优先模式的状态下，在脸检测处理部15中，进行 相对下一帧图像的脸检测处理(步骤SB3)。即，在可针对最接近的帧图 像而检测的1个或多个脸中，其尺寸小于16%的脸包括1个的情况下的， 可检测的脸的尺寸为不满足速度优先模式的脸区域的检测条件的内容的 情况下，控制部7在脸检测处理部15中，继续人数优先模式的脸检测处 理。于是，可进行与被摄体的具体的内容相对应的有效的脸检测。
相对该情况，在人数优先标记不是ON状态(在步骤SBIO，为"否") 的情况下，如图10所示，控制部7将脸检测模式从人数优先模式切换到 速度优先模式(步骤SB12)。即，在人数优先模式下，在从最接近的帧 图像中检测出的脸的尺寸全部在16%以上的情况下，控制部7将脸检测模 式从人数优先模式切换到速度优先模式。控制部7从上述优先设定表格T (图2)中读出与速度优先模式相对应的设定参数，将其作为脸检测动作用 的初始值，在脸检测处理部15中设定。同时，控制部7开始进行用于取
得在此后的每规定时间(3秒)进行1次动作的定时的定时计数动作(步
骤SB13)。接着，控制部7使脸检测处理部15进行基于速度优先模式的 脸检测动作(步骤SB14)。
然后，控制部7在脸检测处理部15中，在针对帧图像的1个周期的 脸检测处理结束之前的期间(在步骤SB17，为"否")，每当在脸检测处 理部15中检测到脸时(在步骤SB15，为"是")，随时判断到此时刻为止 脸检测出的脸的数量(脸检测数量)是否到达上限，即速度优先模式的上 限值(脸Max)的5人(步骤SB16)。
然后，在脸检测数量达到上限值的时刻(在步骤SB16，为"是")， 或在脸检测数量未到达上限但1个周期的脸检测处理结束的时刻(在步骤 SB17，为"是")，控制部7根据到此为止的期间内从脸检测处理部15发 送来的全部的坐标信息，在直通图像中显示1个或多个脸检测框(步骤 SB18)。
接着，如果不是上述的每3秒1次的动作定时(在步骤SB19，为"否")， 则控制部7返回到步骤SB14。即，控制部7在速度优先模式的状态下， 使脸检测处理部15进行针对下一帧图像的脸检测处理。由此，可进行与 被摄体相对应的有效的脸检测。
另一方面，在反复进行上述处理的期间，在每3秒1次的动作定时到 来时(在步骤SB19，为"是")，控制部7返回到上述图9的步骤S2，将 脸检测模式从速度优先模式切换到人数优先模式。然后，控制部7进行到 上述步骤SB10为止的处理。接着，在上次人数优先模式下进行了脸检测 之后，例如，因视角内的某人物远离照相机或新的人物进入视角内这样的 被摄体的状态变化，而检测到小于16%的较小尺寸的脸的情况下(在步骤 SB5，为"是")，控制部7将人数优先标记设定在ON状态(步骤SB6)。 控制部7通过将人数优先标记设定在ON状态，可在人数优先模式的状态 下，使脸检测处理部15反复进行详细的脸检测处理。
另外，在上述每3秒1次的人数优先模式下，在脸检测处理中完全未 检测到小于16%的较小尺寸的脸的情况下(步骤SB5 SB10)，控制部7 将脸检测模式返回到速度优先模式(步骤SB12)。然后，控制部7再使 脸检测处理部15反复地进行高速的脸检测处理。
如上所述，在本实施方式中，自动地设定脸检测模式的种类，由此， 完全不会给使用者(摄影者)造成负担，可迸行与视角内的人数、脸的大 小等被摄体的具体内容相对应的有效的脸检测。
而且，通过使脸检测处理从速度优先模式暂时变为人数优先模式，由 此，根据人数优先模式的脸检测结果，随时判断是否需要改变为人数优先 模式。因此，在判定需要改变为人数优先模式的情况下，自动地改变为人 数优先模式，因此，即使在任意的时刻，被摄体的具体的内容发生变化， 都能立即应对该变化。
此外，在本实施方式中，本发明的规定的检测信息是在人数优先模式 下的脸检测动作中检测到的脸的尺寸。在该规定的检测信息满足速度优先 模式的检测条件的情况下，将脸检测模式变为速度优先模式，但是，也可 按下述方式执行。
例如，可以当在人数优先模式下的脸检测动作中检测到的人数满足速 度优先模式的脸区域的检测条件时，将脸检测模式改变为速度优先模式。 另外，也可以是在人数优先模式下的脸检测动作中检测到的脸的尺寸或 脸检测数量中的任意一个满足速度优先模式的脸区域的检测条件的情况 下，或在人数优先模式下的脸检测动作中检测的脸的尺寸和脸检测数量的 双方都满足速度优先模式的脸区域的检测条件的情况下，将脸检测模式改 变为速度优先模式。特别是在后者的情况下，可将脸检测模式更进一步可 靠地控制为适合于被摄体的具体的内容的模式。
另外，在本实施方式中，说明了如下情况脸检测模式为速度优先模 式和人数优先模式，各模式的脸区域的检测条件为基于能检测的最小的脸 尺寸(脸尺寸的下限值)和能检测的最大的脸的数量(脸检测数量的上限 值)等多个参数的值的检测条件。但是，脸检测模式各自的脸区域的检测 条件也可以不是基于单一参数的值。
例如，各个脸检测模式，只要脸区域的检测条件不同，则也可以是检 测条件仅基于能检测的最小的脸尺寸的模式，或检测条件仅基于应检测的 最大的脸的数量的模式。
此外，各个脸检测模式的脸区域的检测条件并不限于基于单一或2个 参数的值，也可以基于3种以上的参数。但是，该情况下，脸检测模式的
种类越多，用于自动地判断是否需要变更脸检测模式并仅在需要的情况下 改变脸检测模式的具体动作越复杂。
还有，作为脸检测模式，具有不同于上述速度优先模式和人数优先模 式的模式的情况下，就确定各模式的脸区域的检测条件的参数而言各模式 也是不同的，但是，还可如下述这样进行处理。即，在将脸检测模式从其 中一方模式改变为另一方模式之后，不将脸检测模式暂时改变为一方模 式，而是在反复进行基于另一方模式的脸检测期间，根据在脸检测处理时 取得的规定的检测信息，随时判断是否需要改变为一方模式。这里，在判 定为需要改变模式的情况下，自动地将脸检测模式从另一方模式改变为一 方模式。
另一方面，在第1和第2实施方式中，说明了具备对帧图像进行脸检
测并取得脸区域的坐标信息的脸检测处理部15的数字照相机，但是，并 不限于这样的数字照相机。例如，本发明也可适合于不具有脸检测处理部 15，而由控制部7执行对帧图像进行脸检测并取得脸区域的坐标信息的处 理这样的构成的数字照相机。另外，针对将本发明用于具有一般结构的数 字照相机的情况进行了说明，但是，并不限于此，只要是具有脸检测功能， 则本发明也可适用于内置于便携电话终端等的其它的信息装置中的数字 照相机、数字摄像机等其它摄像装置，以及具有脸检测功能的图像处理装 置等其它装置中。
在不脱离本发明的较宽的实质的范围的情况下可进行各种实施方式 的变更。上述实施方式用于说明本发明，并不构成对本发明的范围的限定。 本发明的范围由权利要求而不是实施方式给出。在本发明的权利要求及等 同方式的含义范围内作出的各种实施方式可视为在本发明的范围内。
本申请基于2007年5月18日申请的日文专利申请2007-133353，包
括说明书、权利要求、附图和摘要。上述日本发明专利申请的内容在这里 进行引用。
权利要求
1、一种摄像装置，其特征在于，包括摄像单元，其对被摄体进行摄像；和脸检测单元，其按照预设的多个脸检测模式分别对应的、确定脸区域的检测条件的至少1个参数的值，从由所述摄像单元拍摄的被摄体图像中检测脸区域。
2、 根据权利要求1所述的摄像装置，其特征在于， 还包括选择控制单元，其选择预设的多个脸检测模式中的任一个来作为脸区域的检测时的动作模式， '所述脸检测单元，按照由所述选择控制单元选择的任一个脸检测模式 所对应的、确定脸区域的检测条件的第1参数和第2参数的值，从由所述 摄像单元拍摄的被摄体图像中检测脸区域。
3、 根据权利要求2所述的摄像装置，其特征在于， 所述选择控制单元根据使用者的选择操作，选择预设的多个脸检测模式中的任一个来作为脸区域的检测时的动作模式。
4、 根据权利要求2所述的摄像装置，其特征在于， 还包括参数设定单元，其设定由所述选择控制单元选择的任一个脸检测模式所对应的、确定脸区域的检测条件的第1参数和第2参数的值，所述脸检测单元按照所述参数设定单元所设定的第1参数和第2参数 的值，从由所述摄像单元拍摄的被摄体图像中检测脸区域。
5、 根据权利要求2所述的摄像装置，其特征在于， 还包括参数存储单元，其与各脸检测模式相对应地存储所述第1参数和第2 参数的值；和参数读出单元，其从所述参数存储单元中，读出所述选择控制单元让 使用者选择的任一个脸检测模式所对应的所述第1参数和第2参数的值；所述脸检测单元按照由所述参数读出单元读出的第1参数和第2参数 的值，从由所述摄像单元拍摄的被摄体图像中检测脸区域。
6、 根据权利要求2所述的摄像装置，其特征在于， 所述第1参数是从所述被摄体图像检测出的脸区域的检测数量， 所述第2参数是能够从所述被摄体图像中检测的脸区域的最小尺寸。
7、 根据权利要求2所述的摄像装置，其特征在于，还包括 图像记录单元，其记录由所述摄像单元拍摄的被摄体图像；操作单元，其由使用者操作来进行摄影指示和在该摄影指示之前的摄影准备，该摄影指示对所述被摄体图像向图像记录单元的记录进行指示；禾口模式控制单元，其响应于使用者通过对所述操作单元的操作进行了摄 影准备这一情况，与进行了所述摄影准备的时刻的脸检测模式无关地进行 控制，使所述脸检测单元的脸检测模式始终为多个脸检测模式中脸区域的 检测精度相对最高的脸检测模式。
8、 根据权利要求1所述的摄像装置，其特征在于， 所述脸检测单元从由所述摄像单元拍摄的被摄体图像中检测脸区域，并且，作为动作模式具有脸区域的检测条件不同的第1脸检测模式和第2 脸检测模式，该摄像装置还包括模式控制单元，其在所述脸检测单元通过第1脸检 测模式反复进行脸区域的检测动作的期间，取得与所述第2脸检测模式的 检测条件相关的规定的检测信息，并且在所取得的规定的检测信息的内容 是满足所述第2脸检测模式的检测条件的内容的情况下，将所述脸检测单 元的动作模式改变为第2脸检测模式。
9、 根据权利要求8所述的摄像装置，其特征在于， 所述模式控制单元，在所述脸检测单元通过第2脸检测模式反复进行脸区域的检测动作的期间，取得与所述第1脸检测模式的检测条件相关的 规定的检测信息，并且在所取得的规定的检测信息的内容是满足所述第1 脸检测模式的检测条件的内容的情况下，将脸检测单元的动作模式设定为 第1脸检测模式。
10、 根据权利要求8所述的摄像装置，其特征在于， 所述模式控制单元，在所述脸检测单元以第2脸检测模式反复进行脸区域的检测动作的期间，每隔一定期间，使所述脸检测单元进行基于第1 脸检测模式的脸区域的检测动作，在进行基于第1脸检测模式的所述脸检 测单元的脸区域的检测动作时，取得与所述第2脸检测模式的检测条件相 关的规定的检测信息，并且在所取得的规定的检测信息的内容不是满足所 述第2脸检测模式的检测条件的内容的情况下，将脸检测单元的动作模式 设定为第l脸检测模式。
11、 根据权利要求8所述的摄像装置，其特征在于， 所述脸检测单元在第1脸检测模式和第2脸检测模式下，进行以多个尺寸的脸区域作为检测对象的检测动作，在由所述模式控制单元取得的与所述第2脸检测模式的检测条件相关 的规定的检测信息中，包括由所述脸检测单元检测出的脸区域的尺寸。
12、 根据权利要求l所述的摄像装置，其特征在于， 还包括显示单元，其将由所述摄像单元拍摄的被摄体图像，与表示由所述脸检测单元检测出的脸区域的图像一起显示。
13、 一种脸检测方法，从对被摄体进行摄像的摄像单元所拍摄的被摄 体图像中检测脸区域，其特征在于，该脸检测方法包括选择预设的多个脸检测模式中的任一个来作为脸区域的检测时的动 作模式的步骤；和按照所述选择的任一个脸检测模式所对应的、确定脸区域的检测条件 的第1参数和第2参数的值，从由所述摄像单元拍摄的被摄体图像中检测 脸区域的步骤。
14、 一种脸检测方法，从对被摄体进行摄像的摄像单元所拍摄的被摄 体图像中检测脸区域，其特征在于，该脸检测方法包括通过第1脸检测模式反复进行从所述被摄体图像中检测脸区域的检测 动作，并且在此期间，取得与第2脸检测模式的检测条件相关的规定的检 测信息的步骤，所述第2脸检测模式的脸区域的检测条件与所述第1脸检 测模式不同；和在所述取得的规定的检测信息的内容是满足所述第2脸检测模式的检 测条件的内容的情况下，将从所述被摄体图像中检测脸区域的检测动作模 式改变为所述第2脸检测模式的步骤。
全文摘要
本发明提供一种摄像装置和脸检测方法，不让使用者进行复杂的设定，可进行与被摄体相对应的有效的脸检测。作为脸检测模式，预先配备脸区域的检测条件不同的速度优先模式和人数优先模式。由使用者选择所希望的脸检测模式，将在脸检测时可检测的脸尺寸的下限值和脸区域的检测数量的上限值设定为与使用者所选择的脸检测模式相对应的值。另外，在通过快门键的半按压进行了摄影预告时，在脸检测模式为速度优先模式的情况下，强制地将其变为人数优先模式。
文档编号G03B13/36GK101383905SQ20081017370
公开日2009年3月11日 申请日期2008年5月16日 优先权日2007年5月18日
发明者今村圭一 申请人:卡西欧计算机株式会社