摄像装置和图像显示控制方法

专利名称：摄像装置和图像显示控制方法
技术领域：
本发明涉及摄像装置和图像显示控制方法，更具体地涉及用于检 测被摄人物面部的技术。
背景技术：
现已提出了多种用于从摄取图像检测被摄人物面部并以放大状态
对其显示的技术。例如，日本公开专利申请No.2005-311888公开了一 种放大显示的装置，其从在屏幕上所显示的图像检测诸如人物面部等 要被注意的被摄物，并基于要被注意的所检测到的被摄物的位置、尺 寸等确定用于以放大状态显示要被注意的被摄物的显示屏或放大率， 并根据所确定的显示屏和放大率呈现放大的显示。日本公开专利申请 No.2005-318515公开了一种数字静态相机，如果图像中包括了面部图 像，其能放大面部图像部分。

发明内容
传统的技术并不适于在连续摄像时确认面部图像拍摄得怎样，这 是因为，从摄取图像检测面部、为了确认而以放大状态对其进行显示、 以及接着再次进行摄像的操作都很复杂。在诸如电子相机和移动电话 等的终端未提供类似鼠标等的定点设备的情况下，当从图像检测到多 个面部时，在检测到的多个面部选择特定面部的操作很复杂。例如， 在用十字按钮选择面部的情况下，存在如下问题，如果在图像中的面 部是不规则排列地，则很难确定应当按压在十字按钮上的哪个按钮以 将光标移动到所期望的面部。
考虑到了上述情况而做出本发明，其目的是提供一种摄像装置和 图像显示控制方法，在其中能很容易地进行从摄取图像检测面部以进
行确认的操作。
为了解决上述问题，根据本发明第一方面的摄像装置包括摄像 设备，其拍摄被摄物图像；显示设备，其显示由摄像设备所摄取的图 像；面部检测设备，其从摄取图像检测作为被摄物的人物的面部；用 于面部检测控制的操作组件，其发出指令以设置由面部检测设备所执 行的面部检测处理的打开/关闭；和显示控制设备，其当面部检测处理 被设置为打开时，控制面部检测设备以执行对摄取图像的面部检测处 理，并使得显示设备显示包括了从摄取图像检测到的面部区域的面部 图像。
根据本发明的第一方面，通过提供专用于切换面部检测处理的打 开/关闭的操作组件，可以简化有关面部检测处理的操作。
根据本发明第二方面的摄像装置包括摄像设备，其拍摄被摄物 图像；显示设备，其显示由摄像设备所摄取的图像；面部检测设备， 其从摄取图像检测作为被摄物的人物的面部；摄像模式设置设备，其 设置摄像设备拍摄图像的摄像模式；用于面部检测控制的操作组件， 其发出指令以设置由面部检测设备所执行的面部检测处理的打开/关 闭；和显示控制设备，当设置为能进行面部检测处理的摄像模式并且 面部检测处理被设置为打开时，其控制面部检测设备以对摄取图像执 行面部检测处理，并使得显示设备显示包括了从摄取图像检测到的面 部区域的面部图像。
根据本发明的第二方面，通过提供专用于切换面部检测处理的打 开/关闭的操作组件，可以简化有关面部检测处理的操作。此外，通过 仅在能进行面部检测处理的摄像模式下而不必在不能进行面部检测处 理的摄像模式下执行面部检测处理，从而简化了面部检测处理的操作。
本发明的第三方面是根据本发明第一或第二方面的摄像装置，其
中当摄像后显示摄取图像的预览显示时，显示控制设备使得显示设备 显示面部图像；该摄像装置还包括显示切换设备，其响应从用于面部 检测控制的操作组件来的指令而结束预览显示。
根据本发明的第三方面，通过使用用于面部检测控制的操作组件 作为用于结束面部图像显示的操作组件，进一步简化了操作。
本发明的第四方面是根据本发明第一至第三方面的任意一个的摄 像装置，还包括面部图像切换设备，如果从摄取图像检测到了多个面 部区域，则其响应从用于面部检测控制的操作组件来的指令将面部图 像切换到不同的面部图像。
根据本发明的第四方面，由于还通过用于面部检测控制的操作组 件来执行面部图像切换操作，因此进一步简化了面部检测操作。
本发明的第五方面是根据本发明的第一至第四方面中的任意一个 的摄像装置，其中显示控制设备同时在显示设备上显示面部图像和摄 取图像。
根据本发明的第五方面，通过同时显示摄取图像和面部图像，能 简化在确认对焦和曝光条件以及被摄人物的面部表情后进行下一个图 像拍摄的操作。
本发明的第六方面是根据本发明第一至第五方面中的任意一个的 摄像装置，其中用于面部检测控制的操作组件还用作在显示面部图像 时不被使用的不同操作组件。
根据本发明的第六方面，通过将用于面部检测控制的操作组件还 用作不同操作组件，可以降低构成摄像装置的操作组件的数量并简化 操作组件的构造，从而进一步便利面部检测的操作。
本发明的第七方面是根据本发明第一至第六方面中的任意一个的 摄像装置，其中面部检测设备调整面部图像的高度和宽度，以便面部 图像的垂直像素数和水平像素数分别等于或大于用于显示面部图像的 显示设备的区域的垂直像素数和水平像素数。
根据本发明的第七方面，通过使面部像素的垂直像素数和水平像 素数分别等于或大于用于显示面部图像的显示设备的区域的垂直像素 数和水平像素数，从而能使显示设备的分辨率最大化。例如，在面部 区域相对于显示设备较小的情况下，如果通过执行像素插值等而以放 大状态显示面部区域，则放大显示可能不清楚并且焦点等的确认也很 困难。但，这可以避免。这样，能更容易地执行所检测到的图像的确 认。
本发明的第八方面是根据本发明第一至第七方面中的任意一个的 摄像装置，其中显示控制设备裁剪出包括了由面部检测设备从摄取图 像所检测的被摄物面部区域的预定尺寸区域，以在显示设备上显示所 裁剪的区域，并且如果包括了面部区域的裁剪区域与摄取图像的边缘 重叠，则减少包括面部区域的裁剪区域以便其不与边缘重叠。
根据本发明的第八方面，由于能够自动进行用于根据摄取图像的 尺寸调整要裁剪的面部图像尺寸的处理，因此能更容易地执行检测到 的图像的确认。
根据本发明第九方面的图像显示控制方法包括拍摄被摄物图像 的摄像步骤；通过用于面部检测控制的操作组件设置面部检测处理的 打开/关闭的步骤，其中所述用于面部检测控制的操作组件发出指令来
设置所述面部检测处理的打开/关闭；和显示控制步骤，当面部检测处
理被设置为打开时，其对摄取图像执行用于检测被摄物面部区域的面 部检测处理，并在显示设备上显示包括了从摄取图像所检测到的面部区域的面部图像。
根据本发明第十方面的图像显示控制方法，包括拍摄被摄物图 像的摄像步骤；设置用于拍摄图像的摄像模式的摄像模式设置步骤； 通过用于面部检测控制的操作组件设置面部检测处理的打开/关闭的步 骤，其中所述用于面部检测控制的操作组件发出指令以设置面部检测
处理的打开/关闭；和显示控制步骤，当设置为能进行面部检测处理的
摄像模式并且面部检测处理被设置为打开时，其对摄取图像执行用于 检测被摄物面部区域的面部检测处理，并在显示设备上显示包括了从 摄取图像所检测到的面部区域的面部图像。
本发明的第十一方面是根据本发明第九或第十方面的图像显示控 制方法，其中在显示控制步骤，当在拍摄图像后显示摄取图像的预览
显示时显示面部图像；该方法还包括显示切换步骤，其响应从用于面 部检测控制的操作组件来的指令而结束预览显示。
本发明的第十二方面是根据本发明第九至第十一方面中的任何一 个的图像显示控制方法，其还包括面部图像切换步骤，如果从摄取图 像检测到了多个面部区域，则响应从用于面部检测控制的操作组件来 的指令将面部图像切换到不同的面部图像。
本发明的第十三方面是根据本发明第九至第十二方面中的任何一 个的图像显示控制方法，其中，在显示控制步骤，在显示设备上同时 显示面部图像和摄取图像。
本发明的第十四方面是根据本发明第九至第十三方面中的任何一 个的图像显示控制方法，其中，显示控制步骤包括步骤调整面部图 像的高度和宽度，以便面部图像的垂直像素数和水平像素数分别等于 或大于用于显示面部图像的显示设备的区域的垂直像素数和水平像素 数。
本发明的第十五方面是根据本发明第九至第十四方面中的任何一 个的图像显示控制方法，其中显示控制步骤包括步骤裁剪包括了由 面部检测处理从摄取图像所检测的被摄物面部区域的预定尺寸区域， 以在显示设备上显示所裁剪的区域，并且如果包括了面部区域的裁剪 区域与摄取图像的边缘重叠，则减少包括面部区域的裁剪区域以便其 不与边缘重叠。
根据本发明，通过提供专用于切换面部检测处理的打开/关闭操作 的操作组件，能简化面部图像切换操作、拍摄下一个图像的处理以及 有关面部检测处理的操作。此外，通过同时显示摄取图像和面部图像， 在确认焦点和曝光条件以及被摄人物的面部表情后，能很容易地执行
到下一次图像拍摄的操作处理。


图1A和1B显示了根据本发明第一实施例的摄像装置的外观； 图2是显示根据本发明第一实施例的摄像装置的内部构造的框
图3是显示用于从摄取图像检测面部并执行预览显示的处理的流
程图4显示了面部预览屏的构造实例；
图5A至5C显示了面部预览屏的其他的构造实例；
图6是显示面部检测处理和面部预览显示处理的另一实施例的流
程图7A和7B显示了面部预览屏的构造实例；
图8A和SB显示了用于从摄取图像PIC裁剪面部区域的方法；
图9A至9C-2显示了用于从摄取图像PIC裁剪面部区域的方法；
图10显示了用于从摄取图像PIC裁剪面部区域的方法；
图11显示了用于从摄取图像PIC裁剪面部区域的方法；
图12是显示以放大状态显示面部区域处理的流程图13A和13B显示了根据本发明第二实施例的摄像装置后部的外
观；
图14是显示了根据本发明第二实施例的摄像装置的内部构造的
框图15是显示当改变摄像模式时用于设置面部检测的打开/关闭处 理的流程图16A和16B显示了面部图标的构造实例。
具体实施例方式
以下将参考附图描述根据本发明的摄像装置和图像显示控制方法 的优选实施例。图1A显示了根据本发明第一实施例的摄像装置的前部 外观，图1B显示了其后部外观。摄像装置10是提供静态图像/影片记 录和再现功能的电子相机。摄像装置10的相机体12为平面矩形箱体 形状。如图1A所示，摄像镜头14、闪光灯16、 AF辅助灯18、自拍 指示灯(self timer lamp) 20和扬声器22设置在相机体12的前侧，而 释放按钮24、模式盘26和电源按钮28设置在上表面。如图1B所示， 液晶监视器30、变焦杆32、指示器灯34、再现按钮36、功能按钮38、 OK/MENU按钮40、十字按钮42、 DISP/BACK按钮44和面部检测控 制按钮46设置在相机体12的后侧。
电源按钮28用来打开/关闭拍摄装置10的电源。
拍摄镜头14由伸縮变焦镜头构成，并且通过打开拍摄装置10的电 源而从相机体12的前侧被推出。它可以通过关闭拍摄装置10的电源 而縮入相机体12。
释放按钮24由能够进行所谓的"半压"和"全压"的两级冲程式 按钮(stroke type button)构成。"半压"执行AF (自动对焦)功能和 AE (自动曝光)功能，而"全压"执行拍摄图像。
提供在相机体12后侧的液晶监视器30用作再现摄取图像的监视
器，并在图像拍摄中用作电子取景器。DISP/BACK按钮44用作切换 这个电子取景器的打开/关闭的按钮。液晶监视器30还用作用户界面的 显示屏，如果需要，显示诸如菜单信息、选择项和设定内容等的信息。 代替液晶监视器30，还可以使用诸如有机EL (电致发光)等其他类型 的显示装置。
拍摄装置IO具有两种操作模式用于摄像的摄像模式和用于再现 图像的再现模式。再现按钮36用作从摄像模式切换到再现模式的按钮。 在摄像模式中通过压下再现按钮36，将操作模式从摄像模式切换到再 现模式。在再现模式中，通过半压释放按钮24将再现模式切换到摄像 模式。
指示器灯34是用作指示相机操作状态(例如，AF锁定状态、图 像记录的状态、充电状态)的灯。
模式盘26用作在摄像装置10的摄像模式中切换的开关。根据模 式盘26设置的位置，模式被切换到通过根据场景位置优化焦点和曝光 而执行摄像的场景位置模式(是想要进行例如自然照片、人物、风景、 运动、夜景、水下拍摄、近景(花等)或文本词句的图像拍摄)；用 于自动设置焦点和曝光的自动摄像模式；能手动设置焦点和曝光的手 动摄像模式；或影片拍摄模式。
变焦杆32由其中心被支撑以便能向右或向左压下的杠杆式按钮 (seesaw button)构成，它用作执行变焦操作的操作按钮。也就是说， 在摄像模式下，向右压下操作变焦杆32，则执行远距离方向上的变焦 操作，而向左压下，则执行宽度方向上的变焦操作。此外，在再现模 式下，通过向右压下变焦杆32，则以放大状态显示再现图像；向左压 下，则以縮小状态显示再现图像。
OK/MENU按钮40用作指示菜单屏显示的按钮。通过压下 OK/MENU按钮40，则在液晶监视器30中显示菜单屏。OK/MENU按 钮40还用作指示从菜单屏所选择的项的决定或操作执行的按钮。 DISP/BACK按钮44用作指示从菜单屏所选择的项的删除或返回到先 前状态的按钮。
如图1B中所示，十字按钮42是其中心被支撑以便能在上、下、 左、右方向被压下的杠杆式按钮，它围绕着OK/MENU按钮40形成。 十字按钮42由上部按钮42U、下部按钮42B、左侧按钮42L和右侧按 钮42R构成，并用作在再现模式中选择再现的全景影片图像(through movie image)或移动在菜单屏中指示项目选择的光标的光标移动键。 也就是说，在再现模式下，左侧按钮42L用作帧返回按钮(指示显示 前一帧图像的按钮)，右侧按钮42R用作帧前进按钮(指示显示后一 帧图像的按钮)。
在静态图像拍摄模式或影片拍摄模式下，左侧按钮42L用作切换 微距功能(近景摄像功能)的打开/关闭的微距模式按钮。通过按压左 侧按钮42L，则打开或关闭微距功能。
在静态图像拍摄模式或影片拍摄模式下，右侧按钮42R用作切换 闪光模式的按钮。通过按压右侧按钮42R，则闪光模式就被设置为闪光 灯开模式/闪光灯关模式。
在再现模式下，上部按钮42U用作删除一帧图像的删除按钮。
下部按钮42B用作设置自拍摄像的条件的按钮。在摄像模式下， 每次按压下部按钮42B，就能让自拍指示灯在打开和关闭间切换。
在摄像模式下，功能按钮38用作设置记录像素数、摄像的灵敏度、
和色调的按钮；在再现模式下，用作设置打印预留(print reservation) 的按钮。
在摄像模式下，面部检测控制按钮46用作设置面部检测的打开/ 关闭的按钮，在摄取图像的预览显示期间以及在再现模式下，其用作 选择图像中的面部的按钮。此外，面部检测控制按钮46用作结束所摄 图像或从摄取图像检测到的面部图像的预览的按钮。在摄像模式下， 在液晶监视器30上可以显示指示面部检测的打开/关闭的图标等。
接下来，将描述摄像装置10的摄像功能。在摄像模式下，给包括 光学系统64、光学系统驱动部分64A和彩色CCD图像传感器(以下 称之为CCD74)的摄像信号处理部分66供电，从而能够进行摄像。
光学系统64是光学单元，其包括有包括了变焦镜头68和对焦镜 头(focus lens) 70的摄像镜头以及用作光圈的机械快门72。摄像镜头 的变焦通过使变焦镜头68移动的变焦控制部分68A来执行，而对焦通 过使对焦镜头70移动的对焦控制部分70A来执行。CPU 50将控制信 号输出给变焦控制部分68A和对焦控制部分70A以执行控制。
光圈72由所谓的转盘式(turret-type)光圈构成，光圈值(F值)
通过旋转形成范围在F2.8至F8的光圈孔(diaphragm hole)的转盘板 而改变。光圈72由光圈控制部分72A驱动。CPU 50将控制信号输出 给光圈控制部分72A以执行控制。
光学系统驱动部分64A具有驱动光学系统64或CCD 74以执行相 机抖动补偿的设备。
光透过光学系统64，在摄像信号处理部分66的CCD 74的光接收 表面上形成图像。在CCD74的光接收表面上，二维排列有很多光电二 极管(光接收元件)。对于每个光电二极管，以预定阵列结构安排有 红(R)、绿(G)和蓝(B)原色滤色片。CCD74具有控制每个光电 二极管的电荷积累时间(快门速度)的电子快门功能。CPU50通过定 时产生器(TG)(未示出)控制CCD74的电荷累积时间。此外，CPU 50控制CCD 74的OFD (Overflow Drain，溢漏)电势，以调整在构成 CCD 74的光电二极管中所累积的信号电荷的上限。
形成在CCD 74的光接收表面上的被摄物图像由每个光电二极管 转换成相应于入射光量的信号电荷量。积累在每个光电二极管中的信 号电荷根据CPU50的指令基于由TG驱动的驱动脉冲(诸如读脉冲、 纵向传送时钟、横向传送时钟)按序读出，作为相应于信号电荷的电 压信号(图像信号)。
从CCD 74输出的信号被传送到模拟信号处理部分(CDS/AMP) 76。对于每个像素的R、 G、 B信号，为了放大它们，由模拟信号处理 部分76执行取样/保持处理(相关双重取样处理)，然后加入到A/D 转换器(ADC) 78。由A/D转换器78转换成数字信号的点序(dot sequential) R、 G、 B信号被加入到数字信号处理部分80。
数字信号处理部分80用作图像处理设备，其包括同步电路(用来 在由单片CCD的滤色片阵列所产生的彩色信号中插入空间间隙以将彩
色信号转换成同步信号的处理电路)、白平衡调整电路、伽马校正电 路、轮廓校正电路、亮度/色差信号产生电路等。它根据从CPU 50来
的命令使用RAM 56执行预定的信号处理。也就是说，输入到数字信 号处理部分80的RGB图像数据被转换成亮度信号(Y信号)和色差 信号(Cr、 Cb信号)，并对信号执行诸如伽马校正等的预定处理。由 数字信号处理部分80所处理的图像数据存储在RAM 56中。
在将摄取图像输出到液晶监视器30的情况下，图像数据从RAM 56中读出并通过总线52传送到视频编码器82。视频编码器82以预定 的显示方式(例如，NTSC制式的彩色复合图像信号)将输入的图像数 据转换成视频信号，并将它输出给液晶监视器30。
相应于一帧图像的图像数据通过从CCD 74输出的图像信号交替 重写在RAM 56的A和B区域。从不在重写图像数据的RAM 56的区 域A或B，读取写入的图像数据。通过以这样的方式在RAM 56中周 期性重写图像数据，并将从图像数据所产生的图像信号提供给液晶监 视器30，拍摄的影片实时显示在液晶监视器30中。摄影师可以从在液 晶监视器30上所显示的影片(全景影片图像)确认取景的摄像角度。
当半压摄像开关并打开Sl时，摄像装置10开始AE和AF处理。 也就是说，从CCD 74输出的图像信号进行A/D转换，接着它们通过 总线52输入到AF检测电路84和AE/AWB检测电路86。
AE/AWB检测电路86包括将一个屏幕分成多个分区(例如，8X8 或16X16个区域)并为每个分区积分RGB信号，并且将积分值提供 给CPU 50的电路。CPU 50基于从AE/AWB检测电路86获取的积分 值检测被摄物的亮度(被摄物亮度)，并计算适于摄像的曝光值(摄 像EV值)。CPU 50基于所得的曝光值和预定的程序线图确定光圈值 和快门速度。它还基于该光圈值和快门速度控制电子快门和CCD 74的 光圈以获得适当的曝光量。
此外，必要时CPU50给闪光灯控制电路88发送命令。闪光灯控 制电路88执行主电容(未示出)的充电控制、闪光灯发光部分(氙气 灯管、发光二极管等)16的电子放电(发光)定时控制。
当执行自动白平衡调整时，AE/AWB检测电路86为每个分区计算 用于RGB信号的每种色彩的平均积分值，并且它将计算结果提供给 CPU 50。 一旦获取R、 B和G的积分值，CPU 50就为每个分区确定 R/G比率和B/G比率，并基于在具有R/G和B/G坐标轴的彩色空间中 这些R/G和B/G值的分布确定光源的种类。接着，它根据所确定的光 源种类控制在白平衡调整电路中用于R、 G和B信号的增益值(白平 衡增益)，以校正每个色彩通道的信号。
作为在摄像装置10中的AF控制，使用了例如对比度AF(contrast AF)，其中移动对焦镜头70以便在图像信号中的G信号的高频分量 变得最大。AF检测电路84由如下部分构成仅让G信号的高频分量 通过的高通滤波器；绝对值转换(conversion-to-absolute-value)处理部 分；用来从屏幕内预设的作为对焦目标的区域(例如，屏幕的中心) 中剪切信号的AF区域抽取部分；和对在AF区域内的绝对值数据积分 的积分部分。
由AF检测电路84确定的积分值的数据被告知给CPU 50。在控制 对焦控制部分70A以移动对角镜头70的同时，CPU 50在多个AF检测 点计算焦点估算值(AF估算值)，并确定估算值最大的镜头位置为对 焦位置。接着，CPU 50控制对焦控制部分70A移动对焦镜头70到所 确定的对焦位置。AF估算值的计算并不限于使用G信号的方面。也可 以使用亮度信号(Y信号)。
在执行AF控制的同时，由CCD74执行测光。在测光值等于或低 于预定值的情况中，AF辅助灯18点亮。 、」
当半压摄像开关时，S1打开并执行AE/AF处理。当全压摄像开关 时，S2打开并开始用于记录的摄像操作。响应打开S2而获取的图像数 据由数字信号处理部分80转换成亮度/色差信号(Y/C信号)，接着在 进行了诸如伽马校正等的预定处理后存储在RAM 56中。
存储在RAM 56中的Y/C信号由压縮/解压处理电路90根据预定 的格式压缩，并通过介质控制电路62记录在记录介质60中。例如， 静态图像记录为JPEG (联合图像专家组)格式的图像文件。
当执行自拍时，自拍指示灯控制电路94通过点亮、闪烁或熄灭自 拍指示灯20告知摄影师的执行和摄像的结束等。
面部检测电路92从摄取图像检测被摄人物的面部。作为用于面部 检测处理方法的实例，存在如下的方法，其中具有接近被指定为肤色 的色彩的像素被从原始图像中取出，而从其中取出像素的区域被检测 为面部区域。例如，通过如下执行该面部检测处理，在用于区分肤色 与其他色彩的色彩空间中，基于有关预先取样的肤色信息指定在色彩 空间中的肤色范围，并确定每个像素的颜色是否包括在该指定的范围 内。也就是说，面部检测电路92为从图像所检测到的每个肤色区域计 算成为面部的概率的估算值(面部概率得分)，并将该面部概率得分 输出到CPU 50。这里，面部概率得分是指示由面部检测电路92所检测 的区域是否是面部区域的参数，并基于肤色的程度对其计算。当打开 面部检测时，CPU 50确定具有面部概率得分等于或大于预定值的肤色 区域是面部区域，并且它控制液晶监视器30显示图像的面部区域。以 下将描述显示面部区域的方法。
在再现模式下，读出在记录介质60中所记录的最新的图像文件 (最新记录的图像文件)的压縮数据。如果最新记录的图像文件是靜
态图像文件，则所读出的压縮图像数据通过压縮/解压处理电路90解压
成非压縮的YC信号，并通过数字信号处理部分80和视频编码器82 转换成用于显示的信号，接着被输出到液晶监视器30。因此，图像文 件的图像内容显示在液晶监视器30的屏幕上。
在一帧静态图像的再现期间(包括电影开始帧的再现)，通过操 作十字按钮42的右侧或左侧按钮，可以执行要被再现的图像文件的切 换(前向/后向帧进)。由帧进指定位置的图像文件从记录介质60中读 出，并与上述相同地将静态图像或影片再现并显示在液晶监视器30上。
在再现模式下，如果诸如个人计算机或TV等的外部显示器通过 外部连接接口部分连接到了摄像装置10，则记录在记录介质60中的图 像文件由视频编码器82处理，再现并显示在这样的外部显示器上。
当再现声音文件或伴有声音的图像时，声音处理电路96将声音信 号输出到扬声器22。
接下来，将参考图6中的流程图描述面部检测处理和面部预览显 示处理的另一个实施例。首先，当通过面部检测控制按钮46打开面部 检测并摄像时，在摄像模式下，为摄取图像执行面部检测处理(步骤 S30)。也就是说，由面部检测电路92从摄取图像检测肤色区域，并 基于肤色程度等检测面部概率得分并输出到CPU 50。CPU 50基于面部 概率得分确定这个肤色区域是否是面部区域。
接着，如果从摄取图像没有检测到面部区域(步骤S32:否)， 那么以预定的时间周期(例如， 一至几秒)显示摄取图像的预览(正 常预览；步骤S34)。接着，液晶监视器30的显示转换成全景影片图 像显示，以能进行下一个图像的图像拍摄。
另一方面，如果从摄取图像检测到面部区域(步骤S32:是)， 则执行面部分级处理，并且有关面部区域的信息项以分级递减的顺序 存储在RAM56中(步骤S36)。在以下的描述中，面部区域以分级递 减的顺序依次指定为face(l)， face(2)，…，face(k)。面部区域分级处理 按以下程序执行。首先，面部区域以尺寸递减的顺序分级。接着，如 果存在多个具有几乎相同尺寸的面部区域，则按照距离摄取图像中心 递减的顺序排序。接着，如果存在多个具有几乎相同尺寸并与摄取图 像中心距离几乎相同的面部区域，则以面部概率得分递减的顺序对面 部区域分级。
接着，指定要以放大状态显示的面部区域的参数i被设定为1，并
选择第一级的面部区域face(l)(步骤S38)。接着，在液晶监视器30 上显示面部预览屏，并将包括所选择的面部区域face(l)的面部图像从 摄取图像PIC中裁出并以放大状态显示(步骤S40)。
图7A和7B显示了根据本实施例的面部预览屏的构造实例。如图 7A所示，在面部预览屏上，在摄取图像显示屏A10上显示摄取图像， 包括面部区域face(l)的面部图像从摄取图像PIC中裁出并以放大状态 显示在放大面部显示屏A12上。用于裁剪面部图像的程序将在以后描 述。在摄取图像显示屏A10上的面部区域face(l)至face(3)用框包围， 而放大面部显示屏A12用与在摄取图像显示屏A10上的面部区域 face(l)相同色彩的框包围。没有以放大状态显示的面部区域face(2)和 face(3)例如用白色、细的、实或虚线框包围。
接着，如果压下面部检测控制按钮46 (步骤S42:是)，则对参 数i加l，得到i二2 (步骤S44)。如果参数i (=2)等于或小于检测 到的面部的数量k (步骤S46:否)，则选择面部区域face(2)并在放大 面部显示屏A12上以放大状态显示，如图7B所示(步骤S40)。
通过重复步骤S40至S46的处理，连续地执行面部区域face(i)的 放大显示。如果参数i大于k (步骤S46:是)，则将参数i设置为1 (步 骤S38)，并在放大面部显示屏A12上以放大状态显示面部区域face(l) (步骤S40)。
如果在显示面部预览屏(步骤S40)的同时，压下OK/MENU按 钮40 (步骤S42:否；步骤S48:是)，则将摄取图像存储在记录介质 60中，并且液晶监视器30的显示转换为全景影片图像的显示，以能进 行下一个图像的图像拍摄。
根据本实施例，在摄像模式下，通过提供专用于切换面部检测处 理的打开/关闭以及将面部预览屏切换到全景影片图像的操作组件，可 以简化有关面部检测处理的操作。此外，通过同时在面部预览屏上显 示摄取图像和面部区域的放大显示，在确认焦点和曝光条件以及被摄 人物的表情后可以很容易地执行下一个图像拍摄的操作。
在本实施例中，在步骤S40，在面部预览屏上分别显示摄取图像 和面部图像。也就是说，首先显示摄取图像PIC的预览；当按压面部
检测控制按钮46时，在液晶监视器30上以放大状态显示面部图像face(i) (i=l)。在这种情况下，当以放大状态显示摄取图像PIC时，面部图 像face(l)…由与图7A和7B中类似的框包围。接着，每当压下面部检 测控制按钮46时，就对参数i加l，并以放大状态连续显示面部区域 face(2)，face(3)，...。当在显示最后的面部图像face(k)的同时按压面部检 测控制按钮46时，控制液晶监视器30转换成全景影片图像的显示， 以能进行下一个图像的图像拍摄。因此，在整个液晶监视器30上可以 以放大状态显示面部图像。面部图像还可以叠加地显示在面部预览屏 上。
接着，将描述以放大状态显示面部区域的过程。图8至11是显示 用于从摄取图像PIC裁剪面部区域的方法。如图8A和8B中所示，假 定
kH:面部区域"face"的高度(像素数)； kW:面部区域"face"的宽度(像素数)；
cH:要从摄取图像PIC裁剪并以放大状态显示的矩形区域P10的 高度的计算值(CH=kHXmag; "mag"为指示要以放大状态显示的区 域范围的参数；在本实施例中mag-3);
cW:要从摄取图像PIC裁剪并以放大状态显示的矩形区域P10的 宽度的计算值(CW=kWXmag;在本实施例中mag-3);
rh:放大面部显示屏A12的高度(像素数)；
rw:放大面部显示屏A12的宽度(像素数)； (X，y):面部区域中心C的坐标(像素数)； 液晶监视器30的水平方向像素数dw; 液晶监视器30的垂直方向像素数dh; 摄取图像PIC的水平方向像素数pW;和 摄取图像PIC的垂直方向像素数pH。
如图8A中所示，如果以下所示的条件1 (表达式(l-l)和(1-2)) 和条件2 (表达式(2-1)和(2-2))都满足，也就是说，如果具有作 为中心的点C (x，y)和高度cH和宽度cW的矩形区域P10在摄取图像 PIC内，并且矩形P10的高度cH和宽度cW (像素数)分别等于或大 于放大面部显示屏A12的高度rh和宽度rw，则从摄取图像PIC中裁剪 矩形区域P10作为要显示在放大面部显示屏A12上的面部图像，并以 放大状态在面部预览屏的放大面部显示屏A12上显示，如图8B所示。
rh"H<pH …(l-l) rw"W〈pW…(l隱2) [条件2]
0.5XcW<x<pW-0.5XcW…(2-l) 0.5XcH<y<pH-0.5XcH …(2-2)
如果不满足上述的条件2但满足cH〉pH和cW〉pW中的任何一个， 则如图9A所示，矩形区域P10超出摄取图像PIC。因此，调整要裁剪 的区域。首先，矩形区域P10根据作为中心的点C(x，y)縮减以便它被包 括在摄取图像PIC内。接着，如果縮减后的矩形区域P10'的高度cH' 和宽度cW'分别满足cH'2rh和cW》rw，如图9B-2所示，缩减后的矩 形区域P10，从摄取图像PIC裁剪作为要在放大面部显示屏A12上显示 的面部图像，并以放大状态显示在面部预览屏的放大面部显示屏A12 上。 ；
另一方面，在cH' <rh和cW， <rw的情况下，如图9C-1所示，放 大矩形区域P10'，以便它被包括在摄取图像PIC中并满足cH'&h和 cW'&w。接着，如图9C-2所示，该放大的矩形区域P10"从摄取图像 PIC中裁剪作为要在放大面部显示屏A12上显示的面部图像，并以放 大状态显示在面部预览屏的放大面部显示屏A12上。在图9C-1和9C-2 所示的实例中，该放大的矩形区域P10"的中心Cl并不一定要对应于 面部区域"face"的中心。
如在图10中所示，在cH〉pH和cW〉pW的情况下，也就是，如 果面部区域"face"相对于摄取图像PIC非常大，则从摄取图像PIC裁 剪面部区域"face"作为要在放大面部显示屏A12上显示的面部图像， 并以放大状态显示在面部预览屏的放大面部显示屏A12上。
如图ll所示，在cH々h和cW々w的情况下，也就是说，如果矩 形区域P10的尺寸(像素数)相对于放大面部显示屏A12较小，则矩 形区域PIO向面部区域"face"的下方扩大，以便满足cH〉rh和cW'&w， 并且从摄取图像PIC裁剪面部区域"face"作为要在放大面部显示屏 A12上显示的面部图像，并以放大状态显示在面部预览屏的放大面部 显示屏A12上。例如从面部区域"face"内的眼睛(黑色)、眉毛、鼻 子和嘴巴的位置确定面部的上部是向上还是向下。如果当扩大矩形区 域P10时矩形区域P10达到了摄取图像PIC的边缘，则沿该边缘相反 的方向扩大矩形区域PIO。
也就是说，如果面部区域"face"足够大，则裁剪相应于面部中心 部分的面部区域"face";如果面部区域"face"很小，则裁剪包括面 部下部(例如，半身像(包括胸部和胸部以上的人物像))或大半身 像(包括膝盖和膝盖以上部分的人物像)的区域。接着，在面部预览 屏的放大面部显示屏A12上以放大状态显示裁剪的区域。
图12是显示以放大状态显示面部区域的处理的流程图。首先，获
取有关被选择来以放大状态显示的面部区域"face"的面部信息(中心 C (x,y)的坐标；kH; kW)，并将参数mag设定为默认值3.0 (步骤 S62)。接着，计算CH (=kHXmag)禾卩CW (=kWXmag)值(步骤 S64)。
接着，如果不仅满足条件2 (步骤S66:是)，还满足条件l (步 骤S70:是)，也就是说，如果，如图8A和8B中所示，具有高度cH 和宽度cW以及作为中心的点C (x,y)的矩形区域P10在摄取图像PIC 内，并且矩形区域P10的高度cH和宽度cW (像素数)分别等于或大 于放大面部显示屏A12的高度rh和宽度rw，则将具有高度cH和宽度 cW以及作为中心的点C (x，y)的矩形区域P10从摄取图像PIC中裁剪 出，并以放大状态显示在面部预览屏的放大面部显示屏A12上(步骤 S74)。
如果不满足条件2 (步骤S66:否)，也就是说，如果矩形区域 P10不包括在摄取图像PIC内，则通过减少参数mag值，矩形区域PIO 根据作为中心的点C (x，y)缩减以便它被包括在摄取图像PIC内(步 骤S68)。如果没有满足条件2 (步骤S66:否)但满足条件1 (步骤 S70:是)，那么从摄取图像PIC中裁剪縮减后的矩形区域P10'，并以 放大状态显示在面部预览屏的放大面部显示屏A12上(步骤S74;参 见图9B-1和9B-2)。
如果既不满足条件2也不满足条件l(步骤S66:否;步骤S70:否)， 则改变mag值以便矩形区域P10'的高度cH'和宽度cW'分别满足 cH，^i和cW，^w，并扩大矩形区域PIO，(步骤S72)。接着，从摄取 图像中裁剪该扩大的矩形区域P10"，并以放大状态显示在面部预览 屏的放大面部显示屏A12上(步骤S74;参见图9C-1和9C-2或图10)。 在这种情况下，扩大的矩形区域P10"的中心Cl并不一定要相应于面 部区域"face"的中心C。 ^
另一方面，如果满足条件2 (步骤S66:是)但不满足条件l (步
骤S70:否)，则改变参数mag以便满足条件1，并改变矩形区域PIO 的尺寸和中心坐标(步骤S72)。接着，从摄取图像PIC裁剪改变的矩 形区域P10'，并以放大状态显示在面部预览屏的放大面部显示屏A12 上(步骤S74;例如，参见图11)。
根据本实施例，通过将要以放大状态显示的区域的垂直像素数和 水平像素数分别设定为等于或大于放大面部显示屏A12的垂直像素数 和水平像素数(条件l)，当在放大的面部区域显示中确认焦点和曝光 条件以及被摄物面部表情时，可以使用液晶监视器30的最大分辨率。 例如，在摄取图像PIC中的面部区域"face"相对于放大面部显示屏 A12小的情况下，如果面部区域"face"通过执行像素插值等以放大状 态显示，则放大显示可能变得不清楚并且可能难以确认焦点等。根据 本实施例，这可以避免。
还可以根据放大面部显示屏A12的尺寸设置变焦放大的上限值， 以在通过变焦杆32以放大状态显示矩形区域时避免面部图像像素的插 值。
此外，在本实施例中，当例如通过设置条件1为rh/i^cH<pH、 rw/n^cW<pW，而根据放大面部显示屏A12的尺寸以放大状态显示面 部区域时，还能够设置像素插值的许可范围。
接下来，将描述本发明的第二实施例。图13A和13B显示了根据 本发明的第二实施例的摄像装置的背部的外观，图"是显示其内部构 造的框图。在以下的描述中，与在第一实施例中类似的元件给定相同 的参考数字，并省略对其的描述。
如在图13和14中所示，本实施例的摄像装置10设有曝光校生/
面部检测控制按钮100，而不是面部检测控制按钮46。曝光校正/面部 检测控制按钮100不仅用作在摄像模式下校正曝光的按钮，还用作设 置面部检测的打开/关闭的按钮。也就是说，在摄像模式下通过按压曝
光校正/面部检测控制按钮100，在液晶监视器30上显示曝光校正的比 例，并且通过左侧按钮42L和右侧按钮42R可以校正曝光。此外，在 摄像模式下通过多次按压曝光校正/面部检测控制按钮100，可以设置 面部检测的打开/关闭。当在摄像模式下将面部检测设置为打开时，指 示面部检测设置为打开的图标(以下称之为面部图标)显示在液晶监 视器30上。优选地，该面部图标放置在不会千扰观察角度确认的位置， 诸如液晶监视器30的左上侧。在拍摄图像后即刻显示的预览显示中或 在再现模式中，曝光校正/面部检测控制按钮IOO用作选择图像中的面 部或结束面部预览显示以进行到下一个图像拍摄的按钮。在预览显示 中禁止曝光校正功能。
[用于改变摄像模式的处理〗
接下来，将参考图15中的流程图，描述当改变本实施例的摄像装 置中的摄像模式时用来设置面部检测的打开/关闭的处理。首先，当在 摄像模式下操作模式盘26来改变摄像模式时，模式盘26的设置位置 由CPU50检测，并确定该模式是否是能够进行面部检测的模式(步骤 S80)。在步骤S80，如果通过模式盘26设置为场景位置模式，并设置 为诸如水下摄像模式、用来拍摄花等近景图片的近景模式、或用来由 OCR识别文本的文本词句摄像模式等的很难在其下进行面部检测的摄 像模式，则确定该模式为不能进行面部检测的摄像模式(步骤S80:否)。 无论面部检测的打开/关闭的设置如何，在图像拍摄后都不能执行面部 检测处理和面部预览屏的显示，并且删除在液晶监视器30上的面部图 标(步骤S82)。
如果在步骤SSO确定摄像模式是可以进行面部检测的模式(例如， 自动摄像模式、手动摄像模式或影片拍摄模式)(步骤S80:是),则 确定面部检测是被设置为打开还是关闭(步骤S84)。如果面部检测通
过曝光校正/面部检测控制按钮100被设置为打开(步骤S84:是)， 则指示面部检测被设置为打开的图标M。n显示在液晶监视器30上，如
图16所示(步骤S86)。与第一实施例类似，当在显示面部图标M。n 的同时拍摄图像时，从摄取图像检测被摄人物的面部，显示面部预览 屏，并可以浏览面部的放大显示。
另一方面，如果面部检测设置为关闭(步骤S84:否)，在液晶 监视器30上显示指示面部检测被设置为关闭的面部图标M。ff，如图16B 所示(步骤S88)。当在显示面部图标M。ff的同时拍摄图像时则执行正 常的预览显示。
虽然在本实施例中将同一按钮既用作曝光校正按钮又用作面部检 测控制按钮，但诸如用来调整ISO灵敏度的灵敏度调整按钮和用来转 换到相机降抖模式的相机降抖模式转换按钮以及面部检测控制按钮等 不同的按钮也可以是同一个按钮。此外，可以将同一按钮既用作在能 进行面部检测的摄像模式期间或在预览显示期间禁止的按钮也作为面 部检测控制按钮。
根据本实施例，在摄像模式下，通过将专用于切换面部检测处理 的打开/关闭并从面部预览屏切换到全景影片图像的操作组件也作为其 他操作组件，可以降低构成摄像装置10的操作组件的数量并简化操作 组件的构造，从而便于面部检测的操作。
此外，根据本实施例，可以仅在能进行面部检测处理的摄像模式 下执行面部检测处理。此外，根据本实施例，通过提供指示面部检测 打开/关闭的面部图标，并在不能进行面部检测的摄像模式下阻止面部 图标显示在液晶监视器30上，可以确认摄像模式是否是能进行面邻检 测的模式。这使得能很容易地确认面部检测处理。
本发明的摄像装置可应用到具有拍摄图像并对其再现和显示的功
能的装置，诸如移动电话、个人数字助理(PDA)、便携式图片播放 器和个人计算机。
权利要求
1.一种摄像装置，包括摄像设备，其拍摄被摄物图像；显示设备，其显示由所述摄像设备所摄取的图像；面部检测设备，其从所摄取图像检测作为被摄物的人物的面部；用于面部检测控制的操作组件，其发出指令来设置由所述面部检测设备执行的面部检测处理的打开/关闭；和显示控制设备，其当所述面部检测处理被设置为打开时，控制所述面部检测设备以执行对所摄取图像的面部检测处理，并使得所述显示设备显示包括了从所述摄取图像检测到的面部区域的面部图像。
2. —种摄像装置，包括-摄像设备，其拍摄被摄物图像；显示设备，其显示由所述摄像设备所摄取的图像；面部检测设备，其从所摄取图像检测作为被摄物的人物的面部；摄像模式设置设备，其设置所述摄像设备拍摄图像的摄像模式；用于面部检测控制的操作组件，其发出指令来设置由所述面部检测设备执行的面部检测处理的打开/关闭；和显示控制设备，当设置为能进行所述面部检测处理的摄像模式并且面部检测处理被设置为打开时，其控制所述面部检测设备以对所摄取图像执行所述面部检测处理，并使得所述显示设备显示包括了从所述摄取图像检测到的面部区域的面部图像。噚
3.根据权利要求1或2的摄像装置，其中当摄像后显示所摄取图像的预览显示时，所述显示控制设备使f』 所述显示设备显示所述面部图像；和所述摄像装置还包括显示切换设备，其响应从用于面部检测控制 的操作组件来的指令而结束预览显示。
4. 根据权利要求1至3中的任何一个的摄像装置，还包括面部图 像切换设备，如果从所述摄取图像检测到了多个面部区域，则该面部 图像切换设备响应从用于面部检测控制的操作组件来的指令将面部图 像切换到不同的面部图像。
5. 根据权利要求1至4中的任何一个的摄像装置，其中所述显示控制设备同时在所述显示设备上显示所述面部图像和所述摄取图像。
6. 根据权利要求1至5中的任何一个的摄像装置，其中所述用于 面部检测控制的操作组件还用作在显示面部图像时不被使用的不同操 作组件。
7. 根据权利要求1至6中的任何一个的摄像装置，其中所述面部 检测设备调整所述面部图像的高度和宽度，以便所述面部图像的垂直 像素数和水平像素数分别等于或大于用于显示面部图像的所述显示设 备的区域的垂直像素数和水平像素数。
8. 根据权利要求1至7中的任何一个的摄像装置，其中所述显示 控制设备从所述摄取图像裁剪出包括了由所述面部检测设备所检测的 被摄物面部区域的预定尺寸区域，以在所述显示设备上显示所裁剪的 区域，并且如果包括了面部区域的裁剪区域与所述摄取图像的边缘重 叠，则减少包括面部区域的裁剪区域以便其不与边缘重叠。
9. 一种图像显示控制方法，包括 拍摄被摄物图像的摄像步骤；通过用于面部检测控制的操作组件设置面部检测处理的打开/关 闭的步骤，其中所述用于面部检测控制的操作组件发出指令来设置所述面部检测处理的打开/关闭；和显示控制步骤，当所述面部检测处理被设置为打开时，其对所摄 取图像执行用于检测被摄物面部区域的面部检测处理，并在显示设备 上显示包括了从摄取图像所检测到的面部区域的面部图像。
10. —种图像显示控制方法，包括 拍摄被摄物图像的摄像步骤；设置用于拍摄图像的摄像模式的摄像模式设置步骤；通过用于面部检测控制的操作组件设置面部检测处理的打开/关 闭的步骤，其中所述用于面部检测控制的操作组件发出指令来设置面部检测处理的打开/关闭；和显示控制步骤，当设置为能进行所述面部检测处理的摄像模式并 且所述面部检测处理被设置为打开时，其对所摄取图像执行用于检测 被摄物面部区域的所述面部检测处理，并在显示设备上显示包括了从 摄取图像所检测到的面部区域的面部图像。
11. 根据权利要求9或10的图像显示控制方法，其中 在所述显示控制步骤，当在拍摄图像后显示所摄取图像的预览显示时显示所述面部图像；和所述方法还包括显示切换步骤，其响应从用于面部检测控制的操 作组件来的指令而结束预览显示。
12. 根据权利要求9至11中的任何一个的图像显示控制方法，还 包括面部图像切换步骤，如果从所述摄取图像检测到了多个面部区域， 则响应从所述用于面部检测控制的操作组件来的指令将面部图像切换 到不同的面部图像。
13. 根据权利要求9至12中的任何一个的图像显示控制方法，其 中，在所述显示控制步骤，同时在显示设备上显示所述面部图像和所 述摄取图像。
14. 根据权利要求9至13中的任何一个的图像显示控制方法，其 中所述显示控制步骤包括步骤调整所述面部图像的高度和宽度，以便面部图像的垂直像素数和水平像素数分别等于或大于用于显示面部 图像的所述显示设备的区域的垂直像素数和水平像素数。
15.根据权利要求9至14中的任何一个的图像显示控制方法，其中所述显示控制步骤包括步骤从所述摄取图像裁剪出包括了由所述面部检测处理检测的被摄物 面部区域的预定尺寸的区域，以在显示设备上显示所裁剪的区域；和如果包括了面部区域的裁剪区域与所述摄取图像的边缘重叠，则 减少包括面部区域的裁剪区域以便其不与边缘重叠。
全文摘要
根据本发明，通过提供专用于切换面部检测处理的打开/关闭操作的操作组件，能简化面部图像切换操作、拍摄下一个图像的处理以及有关面部检测处理的操作。此外，通过同时显示摄取图像和面部图像，在确认焦点和曝光条件以及被摄人物的面部表情后，能很容易地执行到下一次图像拍摄的操作处理。
文档编号G06T3/40GK101115148SQ200710136740
公开日2008年1月30日 申请日期2007年7月25日 优先权日2006年7月25日
发明者加藤保则 申请人:富士胶片株式会社