摄像装置及程序存储介质的制作方法

专利名称：摄像装置及程序存储介质的制作方法
技术领域：
本发明涉及摄像装置及程序存储介质。
背景技术：
现已知有具有顺次检测出移动被摄体位置功能的摄像装置(如特开
JP2001-76156)，在该文献中，通过从现帧图像的寻找范围中，寻找与从 前帧图像中截出的模板(含要被跟踪的被摄体的图像区)相类似的小图像 区，从而检测出类似度最高的小图像区，以判断该检测出的小图像区内该 被摄体是否移动。通过重复该处理，可顺次检测(追踪)任何位置上被摄 体的移动。
但是，根据上述专利文献的技术，不能预测被摄体移动的方向。

发明内容
因此，本发明目的在于提供一种摄像装置和程序存储介质，其能够由 被摄体的朝向预测被摄体的移动方向，基于预测的移动方向，进行摄像控 制。
发明概要
在一个形态中，其特征在于，包括用于摄取被摄体图像的摄像机构、 用于检测位于上述摄像机构摄取的图像数据内的被摄体的被摄体检测机 构、用于识别上述被摄体检测机构检测出的被摄体的朝向的识别机构、基 于上述识别机构识别的被摄体的朝向对该装置进行规定控制的控制机构。
在另一个形态中，提供一种用于存储摄像装置的计算机所执行的程序 的计算机可读取的信息存储介质，其特征在于，存储用于使计算机执行下
述功能的程序，即检测位于上述摄像装置摄取的图像数据内的被摄体的 功能、识别上述检测出的被摄体的朝向的功能、基于上述识别的被摄体的朝向，对摄像装置进行规定控制的功能。


图1为本发明摄像装置的一实施形态的数码相机模块图。
图2为示出图1数码相机1的操作的流程图。
图3A为示出基于位于检测出的帧图像数据内的脸部、以及检测出的 脸部的朝向("检测出的脸部"的朝向。下同)而形成脸部检测处理目 标的一定区域、基于检测出的脸部的朝向而指定的预测区域的样子的一个 例子的图。
图3B为示出在步骤S6的AE处理之后在步骤S2中摄取的帧图像的 样子以及作为步骤S6的AE处理的测光区的目标的预测区域33的样子的 一个例子的图。
图4A为示出聚焦透镜2A的移动的样子的图。 图4B、图4C为示出检测出的脸部的朝向的样子的一个例子的图。 图5为示出第2实施形态的数码相机1的操作的流程图。 图6A、图6B、图6C为用于说明第2实施形态中的曝光控制的图。 图7为示出第3实施形态的数码相机1的操作的流程图。 图8为示出基于检测出的脸部的朝向而检测关注区域44的样子的一 个例子的图。
具体实施例方式
下面参照附图对本发明摄像装置的实施形态进行详细的说明。
A.数码相机的结构
图1为示出本发明摄像装置作为实施形态的数码相机1的电路概略结 构模块图。
数码相机l具有摄像透镜2、透镜驱动模块3、光圈4、 CCD5、垂 直驱动器6、 TG (timing generator:定时发生器)7、单元电路8、 DMA (Direct Memory Access:直接存储器存取)控制器(以下称为DMA) 9、 CPUIO、键输入部ll、存储器12、 DRAM13、 DMA14、图像生成部15、DMA16、 DMA17、显示部18、 DMA19、压縮扩展部20、 DMA21、闪存 22、脸部检测部23、总线(bus) 24。
摄像透镜2由未图示的多个透镜组构成，至少具有聚焦透镜2A。聚 焦透镜2A连接透镜驱动模块3。'透镜驱动模块3由沿着光轴方向驱动聚 焦透镜2A的聚焦马达(未图示)、以及根据CPU10送来的控制信号驱动 聚焦马达的聚焦马达驱动器(未图示)构成。
配置于摄像透镜2和CCD5之间的光圈4含未图示的驱动电路，驱动 电路根据CPU10送来的控制信号驱动光圈4。
光圈4即所谓的控制入射至CCD5之上的光量的机构。 曝光量由光圈4的口径(光圈值)和快门速度决定。 CCD5通过垂直驱动器6而扫描驱动，按一定周期对构成被摄体像的 各像素的RGB值的各色的光强度进行光电转换，并作为摄像信号而输出 至单元电路8中。垂直驱动器6、单元电路8的动作定时通过TG7而由 CPU10迸行控制。CCD5具有作为电子快门的功能，该电子快门通过垂直 驱动器6、 TG7而由CPU10进行fe制。
单元电路8连接TG7，由将CCD5输出的摄像信号进行相关二重取样 并存储的CDS (Correlated Double Sampling:相关双采样)电路、对该取 样后的摄像信号进行自动增益调整的AGC (Automatic Gain Control:自动 增益控制)电路、以及将该自动增益调整后的模拟信号转换成数字信号的 A/D转换器构成，由CCD5得到的摄像信号经由单元电路8之后，通过 DMA9以偏置数据(Bayer data)的形态存储于缓沖存储器(DRAM13)中。
CPU10为不但具有AF处理、记录处理、显示处理等功能，而且能够 控制数码相机1的各部的单片机。
CPU10具有对基于脸部检测部23识别出的脸部朝向，通过脸部检测 部23进行下次脸部检测的区域进行限制的控制部101、和基于图像数据进 行AE处理的AE处理部102。
键输入部11包含可半压操作、'全压操作的快门键、模式切换键、录 象键、十字键、设置键等多个操作键，将根据用户的键操作的操作信号输 出至CPUIO。在存储器12中，存储CPU10为控制数码相机1的各部而所需的控制 程序、以及必要的数据，CPU10依程序而运行。
DRAM13不但可以作为临时存储CCD5摄取的图像数据的缓冲存储 器使用，而且可以作为CPU10的工作存储器而使用。
DMA14读入存储于缓冲存储器中的偏置数据的图像数据并输出至图 像生成部15。
图像生成部15对由DMA14送来的图像数据，进行像素插入处理、Y 校正处理、白平衡处理等处理，并同时生成辉度色差信号(YUV数据)。 即，是进行图像处理的部分。
DMA16将图像生成部15进行图像处理之后的辉度色差信号的图像数 据(YUV数据)存储于缓冲存储器中。
DMA17将存储于缓冲存储器中的YUV数据的图像数据输出至显示 部18。
显示部18含彩色LCD及其驱动电路，显示由DMA17输出的图像数
据的图像。 '
DMA19将存储于缓冲存储器中的YUV数据的图像数据及压縮后的 图像数据输出至压縮扩展部20，将压缩扩展部20压縮过的图像数据及扩 展后的图像数据存储于缓冲存储器中。
压縮扩展部20是对图像数据进行压縮/扩展(例如JPEG或MPEG格 式的压縮/扩展)的部分。
DMA21读取缓冲存储器中存储的压縮图像数据并记录于闪存22中， 将记录于闪存22中的压縮图像数据存储于缓冲存储器中。
脸部检测部23进行用于检测位于摄取的图像数据内的脸部的脸部检 测处理。该脸部检测处理检测脸部区域并且识别所检测出的脸部的朝向。 该脸部检测处理由于属于周知技术所以未作出详细的说明，例如，通过比 较对照预先存储的从各个方向观察普通人的脸部时的特征数据(所有方向 观看时的眼睛、眉毛、鼻子、嘴巴、耳朵、脸部整体轮廓等的特征数据) 和图像数据，从而将与脸部特征数据一致的程度在规定值以上的区域检测 为脸部，并且将规定值以上一致的脸部特征数据的朝向识别为检测出的脸 部的朝向。另外，还可以具有眼睛、鼻子、嘴巴的特征数据，检测出眼睛、鼻子、 嘴巴，由检测出的眼睛、鼻子、嘴巴的位置关系而识别脸部的朝向D B.数码相机l的操作
下面根据图2的流程图对数码相机1进行移动图像摄影记录的操作进 行说明。
在摄像模式的实时观察(live view)显示中，如果用户全压下键输入 部11的录象键(对应录象键的压下操作而从键输入部11送来操作信号)， 则判断为开始移动摄像记录处理，CPU10判断摄像定时是否到来(步骤 Sl)。其中，因为以的帧速对被摄体进行摄像，因此成为以1/30s (秒)间隔摄像时间到来。
在步骤S1中，如果判断为摄像时间没有到来，则留在步骤S1，直至 摄像时间的到来。如果摄像时间到来，则CPU10进行摄像处理(步骤S2)。 该摄像处理基于步骤S6的AE处理(后述)设定的快门速度、光圈值、 增益值而进行。即，CCD5以设定的快门速度、光圈值进行曝光动作，并 读取存储于CCD5中的图像数据。单元电路8的AGC根据设定的增益值 对读取的帧图像数据进行自动增益调整。由图像生成部15生成的自动增 益调整后的辉度色差信号的帧图像数据存储于缓冲存储器中。
从移动摄像记录处理开始起，最初的摄像(步骤S2)没有在步骤S6 进行AE处理，所以作为移动摄像记录处理前的实时观察显示用根据刚刚 摄取的帧图像数据进行AE处理，根据由此而设定的快门速度、光圈值、 增益值等进行摄像处理。
然后，CPU10从缓冲存储器中读取步骤S2中摄取的帧图像数据并输 出至脸部检测部23，对脸部检测部23进行脸部检测处理(步骤S3)。表 示由该脸部检测处理检测出的脸部的区域的信息，以及表示脸部的朝向的 信息送至CPUIO。此时，脸部检测处理通过后述的步骤S4的CPU10的控 制部101的控制而进行脸部检测处理。另外，移动摄像处理开始起，最初 的脸部检测因为没有在后述的步骤S4中进行脸部检测的控制，所以对帧 图像数据的整个区域或者规定区域或者任意指定的区域进行脸部检测。
接着，CPU10的控制部101控制脸部检测部23，以进行重点关注检 测出的脸部的朝向的方向的脸部检测处理(步骤S4)。重点关注该脸部的朝向的方向的脸部检测处理指的是基于脸部朝向的方向而仅对规定区域 进行的脸部检测处理。通常，脸部朝向的方向往往是人移动的方向，通过 对沿着脸部朝向的方向而扩展脸部区域的规定区域进行脸部检测，从而减 轻脸部检测处理的处理负担，而且能够迅速检测出脸部。S卩，通过该控制 能够迅速对检测出的脸部进行跟踪，能够减轻追踪的处理负担。
然后，CPU10的AE处理部102基于检测出的脸部的朝向指定预测区 域(步骤S5)。基于该脸部的朝向的预测区域指的是所检测出的脸部区域 错开所识别的脸部朝向的方向的规定区域。通常，脸部朝向的方向为人移 动的方向。重点关注该指定的预测区域而进行AE处理。
图3A为示出基于位于所检测出的帧图像数据内的脸部、及检测出的 脸部的朝向而成为脸部检测处理的目标的规定区域以及基于检测出的脸 部的朝向指定的预测区域的样子的一个例子的图。
参照图3A可见，在帧图像数据30中存在脸部31，脸部31的朝向为 向右方向，所以，成为脸部检测处理目标的规定区域32为脸部31朝向的 方向延长的区域。通过将成为该脸部检测处理目标的区域设为规定区域 32，从而能够减轻下次的脸部检测、追踪的处理负担。
另外，参照图3A可见，预测区域33是从脸部31存在的区域在脸部 3]朝向的方向错开了的规定区域。该预测区域33的大小还可以与所检测 出的脸部的大小相同，或者为规定^J大小。
返回图2的流程图，如果经过步骤S5的操作，CPU10的AE处理部 102进行重点关注所指定的预测区域33的AE处理(步骤S6)。
艮口，存储于缓冲存储器中的刚刚在步骤S2中摄取的帧图像数据中， 将指定的预测区域33作为测光区域，基于测光区域的图像数据的辉度信 号而进行AE处理。通过该AE处理，设定快门速度、光圈值、增益值。
接着，CPU10基于所检测出的脸部的朝向，对脸部进行AF处理(步 骤S7)。基于该检测出的脸部进行AF处理指的是，基于所检测出的脸部 的朝向，改变聚焦透镜2A的寻找移动方向的意思。
图4A为示出聚焦透镜2A的移动的样子的图。
如图4A所示，聚焦透镜2A可从最远透镜端36移动到最近透镜端38， AF处理为了检测对焦透镜位置而使象焦透镜在透镜端36和透镜端38之间检索移动，基于各透镜位置中的图像数据的高频成分而检测出对焦透镜
位置，使聚焦透镜2A移动至所检测出的对焦透镜位置。其中， 一个透镜
端38侧是对近被摄体对焦的透镜位置，而另一个透镜端36侧是对远被摄
体对焦的透镜位置。
此时，对应检测出的脸部的朝向，改变聚焦透镜2A的检索移动方向。 图4B为示出检测出的脸部的朝向的样子的一个例子的图。 如图4B所示，在检测出的脸部的朝向为朝向右前侧的情况下，因为
可以预想为脸部向着数码相机l而接近，所以使聚焦透镜2A向对近的被
摄体对焦的透镜端侧检索移动，检测出对焦透镜位置。
如图4C所示，在检测出的脸部的朝向为朝向右内侧的情况下，因为
可以预想为脸部远离数码相机1，所以使聚焦透镜2A向对远的被摄体对
焦的透镜端侧检索移动，检测出对焦透镜位置。
也就是说，在检测出的脸部的朝向为接近数码相机1的方向的情况下，
使聚焦透镜2A从现在的透镜位置向对近的被摄体对焦的透镜端38侧那边
检索移动，在检测出的脸部的朝向为远离数码相机l的方向的情况下，使
聚焦透镜2A从现在的透镜位置向对远的被摄体对焦的透镜端36侧那本检
索移动。
在检测出的脸部的朝向既不是远离数码相机1的方向，也不是靠近数 码相机l的方向的情况下(例如脸部朝向正旁边的情况下)，既可以不使 聚焦透镜2A移动(可以不进行AF处理)，也可以使聚焦透镜2A从现在 的透镜位置向前后(对近的被摄体对焦的透镜端38侧的方向和对远的被 摄体对焦的透镜端36侧的方向)以狭小的范围移动而检测出对焦透镜位 置。从数码相机1到被摄体的距离没有改变的情况，是因为焦距没有跑偏 或者偏离焦点甚微。
这样，通过对应所检测出的脸部的朝向来改变聚焦透镜2A的检索移 动方向，从而能够迅速进行AF处理。
返回图2的流程图的说明，如果基于所检测出的脸部的朝向，对脸部 进行AF处理，则CPU10将存储于缓冲存储器中的刚刚在步骤S2中摄取 的帧图像数据在压縮扩展部20中进行压缩，将压縮了的帧图像数据通过 DMA21而记录于闪存22中(步骤S8)。
ii接着，CPU10判断移动摄像记录处理是否结束(步骤S9)。该判断
是通过判断对应快门键的全压操作的操作信号是否从键输入部11再次送 来而进行判断的。
在步骤S9中，当判断为移动图像记录处理结束时，基于记录的帧图 像数据而生成动画文件(步骤S10)，在步骤S9中，当判断为移动图像 记录处理没有结束时，返回步骤S1，重复进行上述的操作。艮卩，如果判断 为在步骤Sl中摄像时间到来，则在步骤S2中，通过以步骤S6的AE处 理而设定的快门速度、光圈值在CCD5.中进行曝光，读取存储于CCD5中 的帧图像数据，单元电路8的AGC根据设定的增益值对从CCD5读取的 帧图像数据进行自动增益调整，由图像生成部15生成的自动增益调整后 的辉度色差信号的帧图像存储于缓冲存储器中。
图3B为示出步骤S6的AE处理后在步骤S2中摄取的帧图像的样子、 以及成为步骤S6的AE处理的测光区域的目标的预测区域33的样子的一 个例子的图。
如图3B所示可见，位于帧图像数据30上的脸部31位于成为AE处 理的对象的预测区域33上。即，如图3A所示，检测出脸部的区域不为测 光区域，脸部朝向的方向偏离测光区域，所以下一个摄像时间中脸部朝向 的位置的区域作为测光区域之前进行AE处理的话，则能够适当地以在摄 像时位置上的脸部进行正确曝光量的图像数据进行摄像。SP，在现有技术 中，如图3A所示，检测出的脸部区域31作为测光区域进行AE处理从而 进行摄像处理，所以实际上，摄取的脸部(图3B的脸部区域31)和AE 处理的目标的区域(图3A的脸部区域31)将会不同，实际上，能够避免 摄取的脸部不能合适的曝光这样的情况的发生。
如上所述，在第l实施形态中，能够基于检测出的脸部的朝向，正确 地进行用于摄像的规定的控制。例如，因为进行重点关注所检测出的脸部 的朝向的方向的脸部检测处理，所以能够减轻追踪的处理负担，能够迅速 追踪脸部。另外，因为指定重点关注所检测出的脸部的朝向的测光区域而 进行AE处理，所以，即使被摄体发生移动，也能够以合适的曝光量摄取 脸部区域的图像数据。另外，因为进行重点关注所检测出的脸部的朝向的 聚焦透镜的检索移动，所以能够迅速地进行追踪脸部的AF处理。[第2实施形态]
下面对第2实施形态进行说明。 D.数码相机1的操作
第2实施形态中也采用具有和图1所示的相同的结构的数码相机1来 实现本发明的摄像装置。
下面参照图5的流程图对第2实施形态中的数码相机1的操作进行说明。
在摄像模式的实时观察显示中，如果用户全压下键输入部11的录象 键(对应录象键的压下操作而从键输入部11送来操作信号)，则CPU10 判断摄像定时是否到来(步骤S21)。其中，因为以30fys的帧速对被摄 体进行摄像，因此成为以l/30s (秒)间隔摄像时间到来。
在步骤S21中，如果判断为摄像时间没有到来，则留在步骤S21，直 至摄像时间的到来。如果摄像时间到来，则CPU10进行摄像处理(步骤 S22)。该摄像处理基于后述的步骤S28或者步骤S30中刚刚设定的曝光 条件(快门速度、光圈值、增益值)而进行。即，CCD5以设定的快门速 度、光圈值进行曝光动作，并读取存储于CCD5中的图像数据。单元电路 8的AGC根据设定的增益值对读取的帧图像数据进行自动增益调整。图 像生成部15生成的自动增益调整后的辉度色差信号的帧图像数据存储于 缓冲存储器中。
从移动摄像记录处理开始起，最初的摄像(步骤S22)没有在后述的 步骤S28或者步骤S30中设定曝光条件，所以根据移动摄像记录处理前的 实时观察显示用刚刚摄取的帧图像数据进行AE处理，根据由此设定的快 门速度、光圈值、增益值等进行摄像处理。
然后，CPU10将在缓冲存储器中存储的刚刚在步骤S22中摄取的帧图 像数据输出至脸部检测部23，在脸部检测部23对刚刚摄取的帧图像数据 进行脸部检测处理(步骤S23)。表示由该脸部检测处理检测出的脸部的 区域的信息，以及表示脸部的朝向的信息送至CPUIO。此时，脸部检测处 理通过后述的步骤S24的CPU10的控制部101的控制而进行脸部检测处 理。另外，移动摄像记录处理开始起，最初的脸部检测因为没有在后述的 步骤S24中进行脸部检测的控制，所以对帧图像数据的整个区域或者规定区域或者任意指定的区域进行脸部检测。
接着，CPU10的控制部101控制脸部检测部23，以进行重点关注检 测出的脸部的朝向的方向的脸部检测处理(步骤S24)。该控制和上述第 1实施形态中说明的图2的步骤S4 —样。
然后，CPU10基于检测出的脸部的朝向对脸部进行AF处理(步骤 S25)。和上述第1实施形态的图2的步骤S7—样，基于该检测出的脸部 朝向进行AF处理指的是，基于所检测出的脸部的朝向，改变聚焦透镜2A 的检索移动方向的意思。
然后，CPU10将存储于缓冲存储器中的刚刚在步骤S22中摄取的帧图 像数据在压縮扩展部20中进行压縮，将压縮了的帧图像数据通过DMA21 而记录于闪存22中(步骤S26)。
接着，CPU10判断检测出的脸部是否进入后述步骤S31中刚刚指定的 预测区域33中(步骤S27)。下面对脸部是否进入指定预测区域33的判 断基准进行说明。在本实施形态中，可以将检测出的脸部的1/2进入预测 区域33中的情况，判断为脸部进入了指定的预测区域33。另外，不限于 此，即使检测出的脸部进入预测区域33中很少一部分，也可以判断为脸 部进入了指定的预测区域33。也可以将检测出的脸部全部进入预测区域 33中的情况，判断为脸部进入了指定的预测区域33。
在未进行后述的步骤S32的预测区域的指定时，在步骤S27分支为N 个流向。例如，在移动摄像记录处理开始起，在最初的步骤S22中的摄像 之后，预测区域33尚未指定，所以在步骤S27中分成N支。
在步骤S27中，在刚刚指定的预测区域33中，如果判断为检测出的 脸部进入，则CPU10的AE处理部102设定将在后述的步骤S33中刚刚计 算出的预测区域作为测光区域的曝光条件(步骤S28)，进入步骤S32。 据此，在下一个步骤S22的操作中，以基于设定的预测区域33的曝光条 件进行摄像。
另一方面，在步骤S27中，在刚刚指定的预测区域33中，如果判断 为检测出的脸部没有进入，则CPU10判断上次步骤S30的操作是否结束 (步骤S29)。
在步骤S29中，如果判断为上次的步骤S30的操作没有结束，则进入步骤S31，如果判断为上次的步骤S30的操作结束，则CPU10的AE处理 部102将检测出的脸部区域作为测光区域而计算并设定曝光条件(步骤 S30) 。 g卩，基于刚刚摄取的帧图像数据的检测出的脸部区域的图像数据 的辉度信号而计算并设定曝光条件(光圈值、快门速度、增益值)。据此， 在下一个步骤S22的操作中，以基于设定的脸部区域的曝光条件进行摄像。 然后，如果曝光条件被设定则进入步骤S31。
如果进入步骤S31，则CPU10判断检测出的脸部的朝向是否改变。该 判断通过判断刚刚识别的脸部的朝向和之前识别的脸部的朝向是否在规 定值以上一致，如果在规定值以上一致，则判断为脸部的朝向没有变化。
但是，和开始识别脸部的朝向的情况等一样，在刚刚进行的脸部的朝 向的识别之前，没有识别脸部的朝向的情况下，判断为检测出的脸部的朝 向发生了变化。
在步骤S31中，如果判断为脸部的朝向没有发生改变，则原样进入步 骤S34，在步骤S31中，如果判断为脸部的朝向发生了变化，则不能够保 持已经指定的预测区域33。即，可以认为脸部不向设定的预测区域33的 方向移动，因此进入步骤S32。另外，在刚刚进行的脸部朝向的识别之前， 不识别脸部的朝向而判断为脸部的朝向存在变化的情况下，也因为预测区 域没有指定，所以进入步骤S32。
在进入步骤S32时，CPU10的AE处理部102基于步骤S23中刚刚识 别的脸部朝向而指定预测区域。基于该脸部朝向的预测区域指的是，预测 区域、所检测出的脸部区域错开脸部朝向的方向的规定区域。通常，脸部 朝向的方向为人移动的方向。重点关注该指定的预测区域而计算出曝光条 件。
接着，CPU10的AE处理部102重点关注指定的预测区域33而计算 出曝光条件(步骤S33)，进入^骤S34。即，将刚刚摄取的帧图像数据 的指定的预测区域33作为测光区域，基于测光区域的图像数据的辉度信 号而计算曝光条件(光圈值、快门速度、增益值)。
在进入步骤S34时，CPU10判断移动摄像记录处理是否结束。该判断 是通过判断对应快门键的全压操作的操作信号是否从键输入部11再次送 来而进行判断的。在步骤S34中，如果判断为移动摄像记录处理结束，则基于记录的帧 图像数据而生成动画文件(步骤卩35),在步骤S34中，如果判断为移动 摄像记录处理没有结束，则返回步骤S21，重复进行上述的操作。即，如 果判断为在步骤S21中摄像时间到来，则在步骤S22中，通过以步骤S28 或步骤S30中设定的快门速度、光圈值在CCD5中进行曝光，读取存储于 CCD5中的帧图像数据。单元电路8的AGC根据设定的增益值对从CCD5 读取的帧图像数据进行自动增益调整。由图像生成部15生成的自动增益 调整后的辉度色差信号的帧图像存储于缓冲存储器中。
图6A、 6B、 6C为用于说明第2实施形态中的曝光控制的图。 图6A为移动摄像记录处理开始后，开始进行摄像的帧图像数据30。 图6A的脸部31表示脸部检测出的脸部，区域34为检测出的脸部的 区域、区域33为基于检测出的脸部的朝向而指定的预测区域。
首先，在移动摄像记录处理开始后，如果开始摄取帧图像数据，则在 步骤S27分成N支，基于检测出的脸部区域34 (图6A所示的脸部区域 34)计算并设定曝光条件(步骤S纟0)。然后，判断步骤S31中脸部的朝 向是否改变。然后，基于检测出的脸部31的朝向指定如图6A所示的预测 区域33 (步骤S32)，计算出指定的预测区域作为测光区域的曝光条件(步 骤S33)。
然后，如果在步骤S34中判断为移动摄像记录处理没有结束，则在步 骤S22中，以基于图6A的脸部区域计算出的曝光条件进行摄像。
图6B为示出此时摄取的帧图像数据的样子的一个例子的图。图6B 的预测区域33为刚刚指定的预测区域，即与图6A所示的预测区域33相 同的区域。
参见图6B可知，因为检测出的脸部31 —半以上进入预测区域33， 所以，在步骤S27中，判断为脸部进入了预测区域33，基于已经计算出的 预测区域设定曝光条件，即基于图的预测区域33的图像数据设定计算 出的曝光条件(步骤S28)。
以基于设定的预测区域33的曝光条件摄取下面的帧图像数据。 图6C为示出此时摄取的帧图像数据的样子的一个例子的图。 参照图6C可知，位于帧图像数据30上的脸部31位于预测区域33上。
16即，如果判断为脸部31进入预测区域33，则以基于预先计算出的预测区 域33的曝光条件进行摄像，能够对位于适当摄像时的脸部以正确的曝光 量摄取图像数据。 ，
这样，如果脸部31进入指定的预测区域33，则以基于特定的预测区 域33事先计算出的曝光条件进行摄像，所以能够更迅速地进行合适的曝 光追踪。但是，如图6A所示，将检测出的脸部区域作为测光区域而进行 AE处理从而进行摄像处理的话，则AE处理需要花费时间，在下一次的 摄影时，脸部已经移动所以实际上摄取的脸部不能正确的曝光。在本实施 形态中，能够防止这样的问题的产生。
另外，由于以被摄体进入预测区域33而事先计算出的曝光条件进行 摄影，所以即使被摄体的脸部朝向旁边而没有移动时也能够进行合适的摄 像处理。除此之外，即使被摄体从静止状态开始移动，由于能够根据被摄 体的脸部的朝向预测移动的方向，所以对被摄体的脸部能够进行迅速而正 确的曝光跟踪。
如上所述，在第2实施形态中，能够基于检测出的脸部的朝向，适当 进行摄像用规定控制。即，基于检测出的脸部的朝向而指定预测区域33， 将指定的预测区域33作为测光区域而计算出曝光条件，直到脸部进入指 定的预测区域33，基于检测出的脸部区域而进行曝光控制。另外，如果脸 部进入指定的预测区域，则以基于计算出的预测区域33的曝光条件进行 摄像。这样，能够以脸部区域形成适当曝光量的图像数据进行摄像，无论 被摄体静止抑或运动都能够进行合适的摄像处理。另外，在被摄体从静止 的状态开始移动时，也能够到达迅速追踪被摄体并且进行合适地摄像处理 这样的效果。
另外，因为进行重点关注检测出的脸部的朝向的聚焦透镜的检索移 动，所以能够进行迅速地追踪脸部的AF处理。 [变形例1]
上述第l、第2实施形态中，；还可以存在如下之变形例。 (l)在上述第l、第2实施形态中，基于检测出的脸部的朝向指定预 测区域33，将指定的预测区域33作为测光区域进行AE处理及进行曝光 条件的计算，但是，无论检测出的脸部的朝向如何，将测光区域作为图像数据的整个区域，基于检测出的脸部的朝向的方向重点关注预测区域33，
从而进行AE处理及曝光条件的计算也可以。g卩，与检测出的脸部的朝向 的方向存在偏差的区域的图像数据的辉度成分加权而进行AE处理及曝光 条件的计算也可以。
若利用图3A来进行说明，则图像数据30的整个区域作为测光区域， 并且加权规定区域33而进行AE处理。另外，若利用图6A来进行说明， 则是将图像数据30的整个区域作为测光区域，并且将规定区域33重叠而 计算出曝光条件。
总之，最好基于检测出的脸部的朝向重点关注规定区域进行AE处理 及曝光条件的计算。
(2)在上述第l、第2实施形态中，检测所检测出的脸部的移动量， 基于检测出的移动量，将成为脸部检测处理目标的规定区域32的脸部朝 向的方向的长度及规定区域32的大小进行改变也可以。
此时，如果参照图3A说明，对应检测出的脸部31的移动量，改变规 定区域32的检测出的脸部的朝向的方向的长度。
在脸部31的移动量很小的场合，成为脸部检测处理对象的规定区域 32的检测出的脸部的朝向的方尚拉^:，或者规定区域32变长，将导致处 理上的浪费。相反，在脸部31的移动量很大的场合，如果縮短脸部检测 处理对象的区域32的检测出的脸部的朝向的方向，或者，减小规定区域 32，则存在脸部31将不能被检测到的问题。因此，考虑到脸部31的移动 量，通过改变规定区域32的长度及大小，从而能够迅速检测出脸部，而 且能够减小脸部检测处理的负担。
该脸部移动量的检测还可以基于脸部检测所检测出的脸部的位置而 检测出移动量，还可以通过采用块匹配(blockmatching)法等检测出脸部 的移动矢量从而检测出移动量。
另外，也可以考虑到检测出的脸部31的朝向和移动量两者，来改变 规定区域32的检测出的脸部的朝向的方向的长度、规定区域的大小。
如预测区域33那样，也可以在检测出规定区域32的脸部的朝向的方 向上错开脸部区域。此时，基于检测出的移动量，从规定区域32的检测 出的脸部区域在脸部的朝向的方向上改变错开量。(3) 在上述第1、第2实施形态中，也可以检测检测出的脸部的移动
量，基于检测出的移动量，从指定的预测区域33的检测出的脸部区域向
脸部朝向的方向改变错开量。
参照图3A进行说明，对应检测出的脸部31的移动量，指定的测光区 域33的错开量将变化。即，在移动量很大的场合，与之对应而错开量变 大，在移动量很小的场合，与之对应而错开量变小。
因此，基于检测出的脸部31.的移动量，在摄像时间中，可以将脸部 31位于的区域作为预测区域33而指定，可以适当地在摄像时位置上的脸 部区摄取合适曝光量的图像数据。
该脸部移动量的检测还可以基于通过脸部检测而曾经检测出的脸部 的位置而检测出移动量，还可以采用块匹配法等检测出脸部的移动矢量从 而检测出移动量。
基于检测出的移动量改变指定的预测区域33的大小也可以。这样做， 基于检测出的脸部31的移动量，在摄像时间中，可以将脸部31位于的区 域作为预测区域33而指定，可以适当地在摄像时位置上的脸部区摄取合 适曝光量的图像数据。
(4) 上述第l、第2实施形态中的脸部检测部23的控制中，尽管是 对拉长检测出的脸部的朝向的方向的规定区域32，与规定的被摄体的特征 数据，在规定值以上一致的区域作'为被摄体而检测出来进行脸部检测处 理，但是，还可以是，对于所有的区域进行脸部检测的同时，将伸长检测 出的脸部的朝向的方向的规定区域32以外的区域中的脸部检测的规定值 设定得比规定区域32中的规定值高。
另外，还可以是，在规定区域中，检索的规定被摄体的特征数据的数 量比规定区域以外的区域中的数量多。
另外，也可以先在规定区域中进行特征数据的检索，没有检测出在规 定区域中与特征数据在规定值以上一致的区域的情况下，在规定区域以外 的区域中进行特征数据的检索。
这样，对于位于拉长检测出的脸部的朝向的方向的规定范围的区域内 的脸部的检测要变得容易些。
(5) 在上述第1、第2实施形态中，尽管针对动画摄像记录处理的情况进行的说明，但是，在动画摄像模式及静止图像摄像模式中的实时观察 显示时也适用。
艮P，在第1实施形态的情况下，经过图2的步骤S7的操作时，不进
行步骤S8的操作，直接进入步骤S9，在步骤S9中判断动画摄像记录处 理或者静止图像摄像记录处理是否进行，如果判断为没有进行则返回步骤 Sl。然后，在步骤S9，如果判断为进行了动画摄像记录处理、静止图像 摄像记录处理，则转移至摄像记录处理。另外，在第2实施形态的情况下， 经过图5的步骤S25的操作时，不进行步骤S26的操作，直接进入步骤 S27，在步骤S34，如果判断动画摄像记录处理或者静止图像摄像记录处 理是否进行，在判断为没有进行时，返回步骤S21。
此时，在进行静止图像摄像记录处理时，基于图2的步骤S5、或者图 5的步骤S28中刚刚指定的预测区域33或者图5的步骤S30中检测出的 脸部区域而计算出的曝光条件置换为静止图像摄像用曝光条件也可以。
另外，对于进行静止图像摄像之前刚刚检测出的脸部可以进行自动聚焦。
(6)在上述第1、第2实施形态中，对应检测出的脸部的朝向，成为 脸部检测处理目标的规定区域32的脸部朝向的方向的长度及规定区域32 的大小改变也可以。
另外，对应检测出的脸部的朝向，指定的预测区域33的检测出的脸 部区域向脸部的朝向的方向的错开量改变也可以。
艮口，在脸部朝向正旁边的情况下，摄像的图像数据中间朝上脸部的移 动距离变得最长，脸部的朝向在斜向上方向、斜向后方向时，与正旁边相 比摄像的图像数据中间向上的脸部的移动距离变短，脸部的朝向为正面、 正后方向时图像数据.中间朝上移动距离变得最短。
因此，能够对合适的摄像时位置上的脸部区域摄取适当曝光量的图像 数据，另外，能够迅速检测出脸部，而且能够减小脸部检测处理的负担。
另外，如预测区域33，在检测出规定区域32的脸部的朝向的方向上， 可以从脸部区域错开一些。此时，基于检测出的脸部的朝向，从规定区域 32的检测出的脸部区域向脸部朝向的方向错开量变化。另外，基于检测出 的移动量，改变指定的预测区域33的大小也可以。即便这样也能够得到上述效果。
(7) 另外，在被摄体的移动速度比规定速度慢的场合，如果如上述第2实施形态那样进行曝光控制，被摄体的移动速度为规定速度以上的速度，则可以如上述第1实施形态那样进行曝光控制以自动进行切换。该被摄体的移动速度基于脸部检测曾经检测出的脸部的位置而检测出移动速度也可以。通过采用块匹配法等检测脸部的移动矢量而检测出移动速度也可以。
(8) 在上述第l、第2实施形态中，尽管脸部检测部23进行脸部检测从而跟踪脸部，但是，通过块匹配法等在脸部检测部23中跟踪检测出的脸部也可以。即，通过检测出的脸部区域的图像数据在后摄取的帧图像数据的每一个均采用块匹配法检测进行检测出的脸部的跟踪。
此时，同样重点关注通过脸部检测部23检测出的脸部的朝向以进行脸部跟踪。即，基于检测出的脸部的朝向，改变检测出的脸部的检索范围。
例如，在摄取图3A所示的帧图像数据的场合，检测出的脸部为脸部31，所以将检索范围定在了预测区域33，而不是帧图像数据30的整个区域。S口，检测出的脸部31的区域的图像数据，通过检测在之后摄取的帧图像数据30的预测区域33内的每一个而对检测出的脸部进行跟踪。这样，能够迅速追踪脸部。
此时，尽管能够对脸部进行跟踪，但是追踪的脸部的朝向不是很明确，所以脸部检测部31对跟踪的脸部区域进行脸部检测，从而检测出跟踪的脸部的朝向。此时，对跟踪的脸部区域进行脸部检测，所以能够减轻脸部检测的处理负担，能够迅速检测出脸部。
(9) 在上述第2实施形态中，尽管是，指定假想被摄体移动的预测区域，在被摄体进入指定的预测区域时，事先计算出的预测区域内的适当的条件下进行摄像控制，但是，也可以是，判断被摄体是否移动，在被摄体在预测的方向上移动的场合事先计算出的条件下进行摄像控制也可以。即，由脸部的朝向进行移动方向的预测和移动的预测区域的指定，在判断为脸部在预测的方向上移动时，预先计算出的预测区域内的适当条件下进行摄像控制。
此时，检测被摄体的移动的下一次的摄像中指定的预测区域中的适当
21的条件下进行摄像控制，所以由于被摄体的移动速度很快，所以即使检测到被摄体进入指定的预测区域中，也能够防止导致下一次摄像时被摄体没有进入预测区域这样的问题发生。
(10) 在上述第l、第2实施形态中，尽管检测出人的脸部，但是除了人的脸部之外，也可以检测猫、犬等动物的脸部或人的整体(头、身体、手臂、脚等整个身躯)等的规定被摄体。此时也可以检测出规定被摄体的朝向。
(11) 在上述第l、第2实施形态中，尽管是将成为脸部检测目标的
区域作为规定区域32、将成为曝光控制目标的区域作为预测区域33，但是也可以使得脸部检测目标的区域及曝光控制目标的区域相同。SP，对于上述的规定区域32可以进行脸部检测及曝光控制，对预测区域33可以进行脸部检测及曝光控制。
(12) 另外，还可以是将上述变形例(1)到(11)在不矛盾的范围下进行任意组合的形态。
下面对第3实施形态进行说明。E.数码相机l的操作
第3实施形态也采用具有和图1所示的同样结构的数码相机1实现本发明的摄像装置。CPU10具有基于检测出的各脸部的朝向检测关注区域的关注区域检测部。
下面根据图7的流程图对第3实施形态中的数码相机1的操作进行说明。 '
如果用户通过键输入部11的模式切换键的操作设定为静止图像摄像模式，则CPU10以规定的帧速通过CCD5开始对被摄体进行摄像，将通过图像生成部15顺次生成并存储在缓冲存储器(DRAM13)中的辉度色差信号的帧图像数据显示于显示部18,开始所谓的实时观察显示(步骤S51)。
接下来，CPU10判断用户是否半压下快门键(步骤S52)。该判断通过对应快门键的半压下操作的操作信号是否从键输入部11送来，进行判
断。 '在步骤S52中，如果判断为快门键没有半压下，则留在步骤S52直到判断为半压下，如果判断为快门键被半压下，则CPUIO将存储于缓冲存储器中的刚刚摄取的帧图像数据输出至脸部检测部23，使脸部检测部23对刚刚摄取的帧图像数据进行脸部检测处理(步骤S53)。表示通过该脸部检测处理检测出的脸部区域的信息以及表示脸部的朝向的信息送至CPUIO。
然后，CPU10判断是否通过脸部检测处理检测到多个脸部(步骤S54)。
在步骤S54中，如果判断为检测出多个脸部，则CPU10的关注区域检测部基于检测出的各脸部的朝向而对关注区域进行检测(步骤S55)。该关注区域指的是检测出的脸部的人观察(关注)的区域。
该关注区域的检测中，将检测出的各脸部的朝向的方向的延长线交差的区域作为关注区域来检测。
图8为示出基于检测出的脸部的朝向而检测出的关注区域的样子的一个例子的图。
参照图8可见，脸部41和脸部42观察被摄体43,关注的被摄体(关注被摄体)指的是被摄体43。
其中，脸部41和脸部42被检测出，检测出的各脸部的朝向的方向的延长线交差的点作为中心的规定区域为关注区域44。
返回图8的流程图，如果进行关注区域的检测，则CPU10判断关注区域检测部是否检测出关注区域44 (步骤S56)。
在步骤S56，如果判断为检测出关注区域44，则CPU10的AE处理部102将检测出的关注区域44作为测光区域，基于测光区域的图像数据的辉度成分进行静止图像用的AE处理，同时，CPU10对关注区域进行AF处理(步骤S57)，向步骤S59推进。该AF处理使聚焦透镜2A移动，基于关注区域的图像数据的高频成分使聚焦透镜2A移动至对焦透镜位置。此时，表示关注区域的信息(例如关注框)可以显示于实时观察上。
另一方面，在步骤S54中，在判断为没有检测出多个脸部的情况下，在步骤S56中，在判断不能检测出关注区域44的场合，CPU10的AE处理部102将检测出的脸部区域作为测光区域，基于测光区域的图像数据的辉度成分进行静止图像用的AE处理，同时，CPU10的AF处理部对检测出的脸部进行AF处理(步骤S58)，向步骤S59推进。该AF处理使聚焦透镜2A移动，基于检测出的脸部区域的图像数据的高频成分使聚焦透镜2A移动至对焦透镜位置。
此时，在检测出的脸部为多个的场合，可以基于全部的脸部的区域进行AE处理，也可以基于任何一个脸部区域进行AE处理。另外，在检测出的脸部为多个的场合，可以进行AF处理以使全部检测出的脸部对焦，也可以对任何一个脸部进行AF处理。
如果推进到步骤S59，则CPU10判断用户是否全压下快门键。
在步骤S59中，如果判断为快门键未被全压下，则留在步骤S59中直到被全压下，如果判断为快门键被全压下，则CPU10在通过步骤S57或步骤S58的AE处理而设定的曝光条件下进行静止图像摄像处理，将由图像生成部15生成的由压縮扩展部20压縮的辉度色差信号的图像数据通过DMA21而记录于闪存22中(^趣S60)。
如上所述，在第3实施形态中，基于检测出的脸部朝向，能够适当地进行用于摄像的规定控制。例如，在检测出多个脸部的场合，将检测出的各脸部的朝向方向的延长线交差的区域作为摄像的人关注的关注区域44而检测出来，对检测出的关注区域44进行AE处理、AF处理，所以能够适当控制被摄体关注的被摄体曝光，同时能够进行对焦。
上述第3实施形态可以是如下的变形例。(3-1)在上述第3实施形态中，在图7的步骤S59中，尽管在判断为快门键没有全压下时留在步骤S59直到全压下，但是，在步骤S59中，也可以在判断快门键没有全压下时返回步骤S53。即，快门键全压下之前跟踪关注区域，进行跟踪脸部的ii续(continuous) AF处理也可以。
另外，尽管说明的是静止图像摄像的场合，但是也同样适用于动画摄像的场合。
(3-2)在上述第3实施形态中，尽管将检测出的各脸部的朝向的方向的延长线交差的区域作为关注区域而检测出来，但是，在检测出的各脸部的一部分(例如2个以上)的脸部的朝向中，在朝向的方向的延长线在某区域中交差时，将该区域作为关注区域而检测出来也可以。(3-3)在上述第3实施形态中，尽管检测出的关注区域或者检测出的脸部区域作为测光区域进行AE处理，但是将摄取的图像数据的全区域作为测光区域，至少对检测出的关注区域加权来进行AE处理也可以。
(3-4)在上述第3实施形态中，尽管检测出的是人的脸部，但是，除了人的脸部之外，也可以检测猫、犬等动物的脸部或人的整体(头、身体、手臂、脚等整个身躯)等的规定被摄体。此时也可以检测出规定被摄体的朝向。
(3-5)在上述第3实施形态中，尽管说明的是静止图像摄像的场合，但是动画摄像的场合中也适用。即，也可以在动画的摄像中，周期地进行检测出的关注区域44中的AE处理、AF处理。
(3画6)另外，还可以是将上述变形例(3-1)至U (3-5)在不矛盾的范围中进行任意组合的形态。
另外，在上述各实施形态中，脸部检测部23不但检测脸部，而且检测出所检测的脸部的朝向，但是，也可以是，脸部检测部23检测出脸部，另外单独设置用于检测检测出的脸部的朝向的机构。
另外，在实施形态中，尽管针对将本发明的摄像装置适用于数码相机的情形进行的说明，但是，本发明并非仅限于上述实施形态中，总之，只要是能够对被摄体进行摄像的设备就可以适用。
相关申请的交叉参考
本申请基于并声明享有于2008年1月31日提交的在先日本专利申请No.2008-022156的优先权，其全文通过参考结合于此文。
2权利要求
1.一种摄像装置，包括摄像机构，用于摄取被摄体图像；被摄体检测机构，用于检测位于上述摄像机构摄取的图像数据内的被摄体；识别机构，用于识别上述被摄体检测机构检测出的被摄体的朝向；和控制机构，基于上述识别机构识别的被摄体的朝向对该摄像装置进行规定控制。
2. 如权利要求1所述摄像装置，其特征在于，上述规定控制包含曝光控制或上述被摄体检测机构的控制中的至少 一种控制。
3. 如权利要求1所述摄像装置，其特征在于，上述控制机构进行重点关注基于上述识别机构所识别的被摄体的朝 向的规定区域的规定控制。
4. 如权利要求3所述摄像装置，其特征在于，上述规定区域是在上述识别机构所识别的被摄体的朝向上偏离上述 被摄体的区域。
5. 如权利要求3所述摄像装置，其特征在于，上述规定区域是在上述识别机构所识别的被摄体的朝向上偏离上述 被摄体的区域，且该偏离的量与上述识别机构所识别的被摄体的朝向相对 应。
6. 如权利要求4所述摄像装置，其特征在于， 进一步具有移动量检测机构，用于检测被摄体的移动量； 上述规定区域是在上述识别机构所识别的被摄体的朝向上偏离上述被摄体的区域，且该偏离的量与上述移动量检测机构所检测出的移动量相 对应。
7. 如权利要求3所述摄像装置，其特征在于，上述规定区域的大小根据上述识别机构所检测出的被摄体的朝向而 变化。
8. 如权利要求3所述摄像装置，其特征在于， 进一步具有移动量检测机构，用于检测被摄体的移动量； 上述规定区域的大小根据上述移动量检测机构所检测出的移动量而变化。
9. 如权利要求3所述摄像装置，其特征在于，上述控制机构将上述规定区域作为测光区域来计算出曝光条件，基于 该计算出的曝光条件进行曝光控制。
10. 如权利要求3所述摄像装置，其特征在于，上述控制机构将上述摄像机构所摄取的图像数据的整个区域作为测 光区域来计算出曝光条件，并且加权上述规定区域以进行曝光控制。
11. 如权利要求9所述摄像装置，其特征在于，上述控制机构在上述被摄体位于上述规定区域内的情况下，基于上述 计算出的曝光条件进行曝光控制。
12. 如权利要求3所述摄像装置，其特征在于，上述控制机构重点关注上述规定区域，对上述被摄体检测机构进行的 下次的规定被摄体的检测进行控制。
13. 如权利要求12所述摄像装置，其特征在于， 上述控制机构控制上述被摄体检测机构，以检测位于上述规定区域内的该规定被摄体。
14. 如权利要求12所述摄像装置，其特征在于，上述被摄体检测机构检测出与i定被摄体的特征数据在规定值以上 一致的区域作为规定被摄体，上述控制机构基于上述识别机构所识别的被摄体的朝向的方向进行 控制，以使在上述被摄体检测机构的下次检测时，上述规定区域外的区域 中的被摄体检测的规定值比该规定区域中的被摄体检测的规定值高。
15. 如权利要求l所述摄像装置，其特征在于，上述控制机构对应上述识别机构所检测出的被摄体的朝向，改变聚焦 透镜的检索移动范围或移动方向，进行聚焦控制以检测出与被摄体对焦的 对焦透镜位置。
16. 如权利要求3所述摄像装置，其特征在于，上述控制机构基于上述识别机构所识别的多个规定被摄体的各朝向 来指定上述规定区域，进行重点关注该指定的规定区域的规定控制。
17. 如权利要求16所述摄像装置，其特征在于，上述规定控制包含曝光控制或聚焦控制中的至少一种控制。
18. 如权利要求1所述摄像装置，其特征在于， 上述检测机构检测出位于上述摄像机构所摄取的图像数据内的脸部， 上述识别机构识别由上述检测机构检测出的脸部的朝向。
19. 一种存储摄像装置的计算机所执行的程序的计算机可读取的信息存储介质，其特征在于，上述程序执行下述功能，艮P:检测位于上述摄像装置摄取的图像数据内的被摄体的功能；识别上述 检测出的被摄体的朝向的功能；以及基于上述识别的被摄体的朝向，对摄 像装置进行规定控制的功能。
全文摘要
本发明提供一种摄像装置及程序存储介质，该摄像装置包括用于摄取被摄体图像的摄像机构、用于检测位于上述摄像机构摄取的图像数据内的被摄体的被摄体检测机构、用于识别上述被摄体检测机构检测出的被摄体的朝向的识别机构、基于上述识别机构识别的被摄体的朝向对该装置进行规定控制的控制机构。
文档编号G06K9/00GK101582987SQ20091013878
公开日2009年11月18日 申请日期2009年1月23日 优先权日2008年1月31日
发明者岩本健士 申请人:卡西欧计算机株式会社