图像处理装置、以及图像处理方法与流程

技术领域

本发明涉及图像处理装置、以及图像处理方法。

背景技术：

在数字静态摄像机或视频摄像机等摄像装置中，有具备如被称作美肌或美白那样能将脸拍得漂亮的美颜处理功能的装置。由于若该美颜处理功能在未拍到人物的场景中动作，则接近于肤色的颜色的部位会变得模糊，或变得发白，因此以拍摄时在摄像图像(实时取景图像)内拍到人物的脸为条件进行动作。例如，过去，作为美颜处理功能，如专利第5239126号公报那样提出一种摄像装置，在人物拍摄时检测被摄体(例如拍摄者)的脸，对该摄像图像实施曝光补正、软对焦补正、美肌补正。另外，如特开2009-65269号公报那样公开一种技术，检测是否在摄像图像内拍到人物的脸，在拍到脸的情况下，进一步检测其唇区域并实施鲜艳处理。

于是，在对自己进行拍摄的自拍等中，有时每当进行快门操作时一边改变自身的脸的朝向或摄像机的位置一边多张连续地进行拍摄的情况，在这样的拍摄方法中，例如，若在连续拍摄的中途，人物的脸相对于摄像机成为侧脸而变为不面向大致正面的状态，由于不再能检测到脸，因此有时不对侧脸的摄像图像实施美颜处理。其结果，多张连续地拍摄的图像中，实施了美颜处理的图像、和未实施美颜处理的图像混合存在。

技术实现要素：

本发明的课题在于，在将人物作为被摄体进行拍摄的情况下，对其摄像图像确实地实施给定的处理。

本发明的图像处理装置，其特征在于，具备处理器，所述处理器取得摄像图像，从取得的摄像图像内检测人物的脸，在能检测到人物的脸的情况下对该摄像图像实施给定的处理，在不能检测到人物的脸的情况下判别是否需要对该摄像图像实施所述给定的处理，在判别为需要对不能检测到人物的脸的摄像图像也实施所述给定的处理的情况下，对该摄像图像实施所述给定的处理。

本发明的图像处理方法，其特征在于，包含：取得摄像图像的处理；从取得的摄像图像内检测人物的脸的处理；

在能检测到人物的脸的情况下对该摄像图像实施给定处理的处理；在不能检测到人物的脸的情况下判别是否需要对该摄像图像实施所述给定处理的处理；和在对不能检测到人物的脸的摄像图像也判别为需要实施所述给定处理的情况下，对该摄像图像实施所述给定处理的处理。

通过和附图一起理解以下的详细说明，以上的以及进一步的目的、和本发明的特征性的技术特征将得到更全面的呈示。需要明确的是，附图的目的始终只用于例示，并不意图作为发明的限制的解释。

附图说明

若配合以下的附图考虑以下的详细的记述，则能得到本申请的更深的理解。

图1例示作为图像处理装置运用在摄像装置中的情况，图1是表示摄像装置的基本的构成要素的框图。

图2A是表示将摄像装置的框架闭合的状态的外观图，该摄像装置是能进行一边看着实时取景图像一边对拍摄者自身进行拍摄的所谓自拍的构成。

图2B是表示将摄像装置的框架打开的状态的外观图，该摄像装置是能进行一边看着实时取景图像一边对拍摄者自身进行拍摄的所谓自拍的构成。

图3是用于说明在指定美颜拍摄模式的情况下开始执行的摄像装置的动作(第1实施方式的特征性动作)的流程图。

图4是紧接图3的动作的流程图。

图5是用于说明在指定美颜拍摄模式的情况下开始执行的摄像装置的动作(第2实施方式的特征性动作)的流程图。

图6A是用于具体说明图5的步骤B6的图。

图6B是用于具体说明步骤B10的图。

图7是用于说明在指定美颜拍摄模式的情况下开始执行的摄像装置的动作(第3实施方式的特征性动作)的流程图。

图8A是具体说明图7的步骤C6的图。

图8B是用于具体说明步骤C12的图。

图9是用于说明在指定美颜拍摄模式的情况下开始执行的摄像装置的动作(第4实施方式的特征性动作)的流程图。

具体实施方式

以下，参考附图来详细说明本发明的实施方式。

(第1实施方式)

首先参考图1～图4来说明本发明的第1实施方式。

第1实施方式例示了作为图像处理装置运用在摄像装置中的情况，之后详细说明，其特征在于，在通过取得对应于拍摄指示操作(快门操作)而摄像的摄像图像(静止图像)来进行拍摄处理从而生成拍摄图像的情况下，在对摄像图像进行拍摄处理时，在能从该摄像图像内检测到人物的脸的情况下，对该摄像图像实施给定的图像处理作为给定的处理，但在不能检测到人物的脸的情况下，判别是否需要对该摄像图像实施给定的图像处理，在判别为需要实施给定的图像处理的情况下，指示要对该摄像图像实施给定的图像处理。

图1是表示摄像装置100的基本的构成要素的框图。

该摄像装置100是数码相机，除了具备能高精细拍摄被摄体的摄像功能、将记录保存的拍摄完毕图像(记录图像)任意读出并重放的图像重放功能等基本的功能以外，还具备一边解析摄像图像(实时取景图像)一边检测人物的脸的脸检测功能、和对摄像图像(实时取景图像)实施被称作美肌或美白的处理的美颜处理功能。

上述的脸检测功能是综合判断人物的脸的轮廓或形成该脸的组成部分(眼、口、鼻、额等)的形状或位置关系等来认识人物的脸的功能，若相对于该摄像装置100(数码相机)而人物的脸朝向大致正面，能判断为在该摄像图像(静止图像：实时取景图像)内拍到人物的脸，但若相对于该摄像装置100(数码相机)而人物的脸为侧脸(正侧脸)，则有不能判断为在该摄像图像(实时取景图像)内拍到人物的脸的情况。另外，这样的脸检测功能是数码相机中一般使用的技术，由于本实施方式中利用该周知技术，因此省略其具体的说明。另外，上述的美颜处理功能是对摄像图像(实时取景图像)进行美颜处理的功能，即，是不仅将摄像图像内的人物的脸作为对象、还将脖子、手臂等的肤色的部分也作为对象来对该部分进行被称作美肌或美白的加工处理的功能。

并且在本实施方式中，例如在对自己进行拍摄的自拍时，在每当拍摄指示操作(快门操作)就一边改变自身的脸的朝向或数码相机的位置一边多张连续地进行拍摄的连续拍摄中，在对各摄像图像进行脸检测的结果是能从摄像图像内检测到人物的脸的情况下，对该摄像图像实施给定的图像处理(美颜处理)，在由于相对于数码相机自身的脸的朝向或位置发生改变而不再能检测到人物的脸的情况下，判别是否需要对该摄像图像实施给定的图像处理(美颜处理)，在判别为需要实施该处理的情况下，对该摄像图像实施美颜处理。

控制部1通过来自电源部(二次电池)2的电力提供而动作，按照容纳于存储部3内的各种程序来控制该摄像装置100(数码相机)的整体动作，在该控制部1中设有未图示的CPU(中央运算处理装置)、存储器等。存储部3例如是具有ROM、闪速存储器等的构成，具有容纳用于按照后述的图3以及图4所示的动作次序来实现本实施方式的程序和各种应用等的程序存储器3a、和暂时存储标记等数据的工作内存3b等。另外，存储部3例如可以是包含能存储拍摄完毕图像的SD卡、IC卡等拆装自由的可移动型存储器(记录介质)的构成，虽未图示，但也可以在经由通信功能与网络连接的状态下包含给定的服务器装置侧的存储区。另外，SD卡等可移动型存储器是存储多个高画质的拍摄完毕图像(记录图像)的存储器。

操作部4虽然省略图示，但具备进行电源接通/断开电源键、指示拍摄的快门键、指定各种动作模式的模式指定键等各种键，控制部1对应于该键的操作，执行例如电源接通/断开、拍摄处理、模式指定处理等。另外，模式指定键切换指定能拍摄的模式(REC模式)和将拍摄完毕图像(记录图像)重放的模式(PLAY模式)，作为基本的动作模式，此外，能在REC模式内指定使美颜处理功能动作的美颜拍摄模式等。控制部1对应于在该操作部4上的键的操作来执行模式变更处理、拍摄处理等。显示部5是显示图像的高精细液晶、有机EL(Electro Luminescence，电致发光)等，或成为实时显示所摄像的图像(实时取景图像)的监视器画面(实时取景画面)，或成为将拍摄完毕图像(记录图像)重放的重放画面。

摄像部6通过使来自摄像镜头6a的被摄体像成像在未图示的摄像元件(CCD、CMOS等)而能对被摄体高精细地进行摄像，进而具有各种传感器、模拟处理部、数字处理部。控制部1通过对应于拍摄指示操作(快门操作)从摄像部6取得摄像图像来进行拍摄处理，而生成拍摄图像。即，控制部1取得由摄像部6摄像的图像作为RAW(Bayer图案)图像，对该RAW图像进行显影处理，例如数据插补(去马赛克)、颜色变换、调整白平衡或锐度，并进一步地在该显影处理时通过一并进行美颜处理作为给定图像处理，生成拍摄图像。然后，控制部1在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质。另外，在使美颜处理功能动作的美颜拍摄模式下检测到人物的脸的情况下，如上述那样并不限于RAW图像，还对实时取景图像也进行美颜处理。

图2是表示能进行一边看着实时取景图像一边对拍摄者自身进行拍摄的所谓自拍的构成的摄像装置100的外观图的图。

构成摄像装置100的筐体11是具有薄型矩形的显示组件11a、包围该显示组件11a的周围的矩形框状的框架组件11b、将显示组件11a和框架组件11b连结的镜头组件11c的构成，显示组件11a的一端中央部(图示的示例中为上端中央部)和镜头组件11c的一端中央部(图示的示例中为下端中央部)安装成能经由横旋转用的铰链部(图示省略)在横向旋转。另外，框架组件11b的两端部内侧(图2A的示例中为左右侧上部内侧)和镜头组件11c的两端部(图示的示例中为左右侧部)安装成能经由纵旋转用的铰链部(图示省略)纵向旋转。

在显示组件11a中，在其中央部分配设显示部5，在镜头组件11c的中央部配设构成摄像部6的摄像镜头6a，通过经由上述的横旋转用的铰链部使显示组件11a相对于镜头组件11c旋转180°，能使显示部5以及摄像镜头6a朝向相同方向，或朝向相反方向。另外，也可以将显示组件11a和镜头组件11c一体化作为主体组件，框架组件11b的两端部内侧(图2A的示例中为左右侧上部内侧)和主体组件的两端部(图示的示例中为左右侧部)安装成能经由纵旋转用的铰链部(图示省略)在纵向上旋转。图2A表示为了通常的拍摄而在使显示部5以及摄像镜头6a朝向180°相反方向的状态下使框架组件11b相对于显示组件11a闭合的状态，图2B表示为了能自拍而在使显示部5以及摄像镜头6a朝向相同方向的状态下使框架组件11b相对于显示组件11a打开的状态。

接下来，参考图3以及图4所示的流程图来说明第1实施方式中的摄像装置100(数码相机)的动作概念。在此，这些流程图中所记述的各功能以可读的程序代码的形态容纳，遵循该程序代码的动作被逐次执行。另外，还能逐次执行经由网络等传输介质传输来的上述的程序代码的动作。这在后述的其他实施方式中也同样，除了记录介质以外，还能利用经由传输介质而外部提供的程序/数据来执行本实施方式特有的动作。另外，图3以及图4是表示摄像装置100的整体动作当中本实施方式的特征部分的动作概要的流程图，在从该图3以及图4的流程脱离时，返回整体动作的主流程(图示省略)。

图3以及图4是用于说明在指定美颜拍摄模式的情况下开始执行的摄像装置100的动作(第1实施方式的特征性动作)的流程图。以下，以如下情况为例来说明第1实施方式的特征性动作，即在美颜拍摄模式下每当快门操作时一边改变自身的脸的朝向或数码相机的位置一边进行对自己多张连续地进行拍摄的连续拍摄。

首先，控制部1调查是否进行了快门操作(图3的步骤A1)，或调查是否进行了解除美颜拍摄模式的操作(步骤A2)。当前，在进行了解除美颜拍摄模式的操作的情况下(步骤A2“是”)，从图3以及图4的流程脱离，但在进行了快门操作的情况下(步骤A1“是”)，从摄像部6取得摄像图像(实时取景图像)(步骤A3)。

然后，通过解析取得的摄像图像(实时取景图像)来进行检测人物的脸的处理(步骤A4)，调查是否能从摄像图像内检测到人物的脸(是否拍到脸)(步骤A5)。即，综合判断人物的眼、口、鼻、额等的形状和位置关系等，来检测在摄像图像内是否拍到人物的脸。

当前，在不能检测到摄像图像内的人物的脸的情况下，例如在未拍到人物的脸的情况下，或即使拍到，但人物的脸未朝向大致正面(例如相对于正面的约45°以内)的情况下(步骤A5“否”)，实施不含美颜处理的显影处理来生成拍摄图像(步骤A6)。即，对由摄像部6摄像的图像实施显影处理，进行例如数据插补(去马赛克)，或进行颜色变换，或调整自动白平衡或锐度等，来生成拍摄图像。然后，控制部1在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤A7)。之后返回上述的步骤A1。

另一方面，在检测到摄像图像内的人物的脸的情况下(步骤A5“是”)，移转到接下来的步骤A8，实施包含美颜处理的显影处理来生成拍摄图像。即，和上述的显影处理一并对摄像图像实施作为给定的图像处理的美颜处理，但作为美颜处理，例如并不限于人物的脸，也可以将脖子、手臂等的肤色的部分作为对象来实施图像处理，通过补正图像的曝光、或进行补正彩度、明度的处理来使皮肤显白，或者通过进行软对焦等来实施使皱纹、皮肤粗糙、斑点不太显眼的图像处理，但也可以仅对检测到的脸的区域内实施美颜处理。然后，控制部1在对该生成图像(拍摄图像)实施图像压缩处理将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤A9)。若如此检测人物的脸来实施美颜处理作为给定的图像处理，则进行处理，将作为表示是否需要执行给定的图像处理(美颜处理)的信息的美颜标记(图示省略)设定为需要(有效)(步骤A10)。

然后移转到图4的步骤A11，调查上述的美颜标记是否被设为有效，由于当前美颜标记被设为有效(步骤A11“是”)，因此调查该摄像装置100(数码相机)的状态是否变化到给定的状态(步骤A12)。在此，该摄像装置100(数码相机)变化到给定的状态是指拍摄环境发生较大变化、或该摄像装置100(数码相机)与被摄体(人物)的位置关系、相对于被摄体(人物)的视角发生较大变化的情况，调查是否变化到判别为不打算继续需要实施美颜处理的拍摄状态。

即，作为其一例，有在设定AWB(自动白平衡)调整的状态下切换白平衡的光源判定的情况。另外，作为其他示例，有在设定AF(自动曝光)调整的状态下曝光值(LV值)急剧变化的情况(例如摄像图像的每个像素的亮度值的合计在3帧的期间变化30％以上的情况)。进而，作为其他示例，有镜头部进行了旋转(摄像镜头6a与显示部5的位置关系(朝向)发送变化)的情况、或在设定AF(自动对焦)的状态下基于AF的对焦距离急剧变化(100％以上变化)的情况。

若当前该摄像装置100(数码相机)未变化到给定的状态(步骤A12“否”)，则调查是否进行了快门操作(步骤A13)，或调查是否进行了解除美颜拍摄模式的操作(步骤A14)。在当前进行了解除美颜拍摄模式的操作的情况下(步骤A14“是”)，从图3以及图4的流程脱离，但在进行了快门操作的情况下(步骤A13“是”)，从摄像部6取得摄像图像(实时取景图像)(步骤A15)，对该摄像图像实施包含上述的美颜处理的显影处理来生成拍摄图像(步骤A16)。然后，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤A17)。之后，为了调查美颜标记是否被设为有效而返回步骤A11。

如此在自拍时的连续拍摄中，在作为表示是否需要执行给定的图像处理(美颜处理)的信息(美颜标记)而设定表示需要的信息(有效)的状态下(步骤A11“是”)，以该摄像装置100(数码相机)未变化到给定的状态为条件(步骤A12“否”)，不进行检测人物的脸的处理就判别为需要实施美颜处理，从而对摄像图像实施美颜处理。换言之，即使在人物的脸朝向正侧面等而不能检测到人物的脸的情况下，只要该摄像装置100(数码相机)的状态不变化到给定的状态，若保持美颜标记的有效，则在该保持的期间对依次摄像的各摄像图像实施美颜处理。另一方面，在该摄像装置100(数码相机)变化到给定的状态的情况下(步骤A12“是”)，在进行将美颜标记设为无效的处理(步骤A18)后，返回上述的步骤A1，重复上述的处理。

如以上那样，在第1实施方式中，控制部1在能从由摄像部6摄像的摄像图像内检测到人物的脸的情况下对该摄像图像实施给定的图像处理，但在不能检测到人物的脸的情况下，判别是否需要对该摄像图像实施给定的图像处理，在判别为需要实施给定的图像处理的情况下，指示要对该摄像图像实施给定的图像处理，因此在将人物作为被摄体来拍摄的情况下，即使该人物的脸的朝向或位置发生变化，也能对该摄像图像确实地实施给定的图像处理。

控制部1在每当进行拍摄指示操作(快门操作)就从摄像部6取得摄像图像来进行拍摄处理、由此生成多张的拍摄图像的连续拍摄中，对每当进行快门操作而取得的各摄像图像进行检测人物的脸的动作，因此在例如自拍时，在每当拍摄指示操作(快门操作)而一边改变自身的脸的朝向或数码相机的位置一边多张连续地进行拍摄的情况下，也能对各摄像图像确实地实施给定的图像处理。

在对能检测到人物的脸的摄像图像，作为表示是否需要执行给定的图像处理的信息(美颜标记)而设定了表示需要的信息(有效)的情况下，对不能检测到人物的脸的摄像图像也判别为需要实施给定的图像处理，因此，不仅取代检测人物的脸的处理的执行仅将美颜标记设为有效即可，能减轻处理的负担，而且脸检测处理仅进行1次即可，能实现省电力化。

在对检测到该摄像装置100(数码相机)的状态变化到给定的状态的摄像图像，作为表示是否需要执行给定的图像处理的信息(美颜标记)而设定了表示不需要的信息(无效)的情况下，判别为不需要实施给定的图像处理，因此，能基于该摄像装置100(数码相机)的状态是否变化到给定的状态来决定是否需要执行给定的图像处理。

该摄像装置100(数码相机)的状态变化到给定的状态是指检测到白平衡的光源判定的切换、曝光值的急剧变化、摄像镜头部的旋转、对焦距离急剧变化的情况的任意一者，能将拍摄环境发生较大变化、或该摄像装置100(数码相机)与被摄体(人物)的位置关系、相对于被摄体的视角发生较大变化的情况，检测作为该摄像装置100(数码相机)的状态变化到给定的状态的情况。

对摄像图像实施的给定的图像处理是对该摄像图像内的肤色部分实施美颜处理的处理，因此并不限于人物的脸，能将脖子、手臂等也包括在内来实施同样的美颜处理。

另外，在上述的第1实施方式中，作为该摄像装置100(数码相机)的状态变化到给定的状态的情况，示出了白平衡的光源判定的切换、曝光值的急剧变化、摄像镜头部的旋转、对焦距离急剧的情况的任意一者，但也可以是它们的组合，当然也并不限于它们。

另外，虽然在美颜标记为有效的状态下，不进行脸检测处理，但可以在美颜标记为有效的状态，也进行脸检测处理。

(第2实施方式)

以下参考图5以及图6来说明本发明的第2实施方式。

另外，在上述的第1实施方式中，基于该摄像装置100(数码相机)的状态是否变化到给定的状态来判别是否需要执行给定的图像处理(美颜处理)，但在本第2实施方式中，在不能检测到人物的脸的情况下，进行不同于该检测处理的其他检测处理，基于该其他检测处理的检测结果来判别是否需要实施给定的图像处理。即，在能检测到人物的脸的情况下，将该脸的肤色暂时存储，基于与暂时存储的肤色同等的肤色的区域是否为给定的面积以上来判别不能检测到人物的脸的情况下是否需要执行给定的图像处理(美颜处理)。在此，两实施方式中基本的或名称上相同的构成标注同一标号示出，省略其说明，并且以下以第2实施方式的特征部分为中心来进行说明。

图5是用于说明指定美颜拍摄模式的情况下开始执行的摄像装置100的动作(第2实施方式的特征性动作)的流程图。

首先，控制部1在指定了美颜拍摄模式的状态下，调查是否进行了快门操作(步骤B1)，或调查是否进行了解除美颜拍摄模式的操作(步骤B2)。在当前进行了解除美颜拍摄模式的操作的情况下(步骤B2“是”)，从图5的流程脱离，在进行了快门操作的情况下(步骤B1“是”)，从摄像部6取得摄像图像(实时取景图像)(步骤B3)。

然后，通过解析取得的摄像图像(实时取景图像)来进行检测人物的脸的处理(步骤B4)，来调查在摄像图像内是否拍到人物的脸(步骤B5)。若当前检测到在摄像图像内拍到人物的脸(步骤B5“是”)，则如图6A所示那样确定脸检测区域(图中以虚线包围的矩形区域)，从该脸检测区域取得肤颜色信息，并暂时存储在工作内存3b(步骤B6)。在该情况下，为了将斑点、黑痣等的一部分除去，在脸检测区域内取得同等的颜色(同一色或近似色)连续的各区域当中有最大面积的区域内的颜色，作为肤颜色信息。另外，该暂时存储的肤颜色信息既可以设为一种颜色的信息，也可以设为表示颜色的范围的信息。

接下来对摄像图像实施包含美颜处理的显影处理，来生成拍摄图像(步骤B7)。另外，该情况下的美颜处理也与第1实施方式同样，并不限于人物的脸，将脖子、手臂等的肤色的部分也作为对象来实施图像处理，补正图像的曝光，或通过进行补正彩度、明度的处理来使皮肤显白，或通过进行软对焦等来使皱纹、皮肤粗糙、斑点不太显眼，也可以仅在检测到的脸的区域内实施美颜处理。接下来，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换为标准的文件格式后，记录保存在存储部3的记录介质(步骤B8)。之后返回上述的步骤B1，以下重复上述的动作。

在此，接下来取得通过快门操作(步骤B1“是”)而摄像的图像(步骤B3)，在对该摄像图像进行脸检测处理(步骤B4)的结果为不能检测到人物的脸的情况下(步骤B5“否”)，移转到步骤B9，调查是否暂时存储了皮肤的颜色信息。即，调查是否在本次的快门操作前进行了脸检测并将皮肤的颜色信息暂时存储在工作内存3b。在暂时存储了皮肤的颜色信息的情况下(步骤B9“是”)，移转到步骤B10。在该步骤B10，读出在上述的脸检测时暂时存储的肤颜色信息，进行检测与该肤颜色信息同等的颜色(同一色或近似色)且给定的面积以上的区域(例如相对于摄像图像整体为5％以上的区域)作为皮肤区域的处理，调查该检测处理的结果是否能从摄像图像内检测到与上述的条件相符的皮肤区域(步骤B11)。

图6B是例示在由于摄像图像内的人物的脸朝向侧方而不能检测到脸的情况下检测到与脸检测时暂时存储的肤颜色信息(脸的肤色)同等的颜色连续的、且给定的面积以上的区域来作为皮肤区域的情况的图，图中打斜线的区域(脸和头的区域)表示检测到的皮肤区域。若当前不能检测到相符的皮肤区域(步骤B11“否”)，则实施不包含美颜处理的显影处理来生成拍摄图像(步骤B12)，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤B8)。之后返回上述的步骤B1。

另外，在未暂时存储皮肤的颜色信息的情况下(步骤B9“否”)，也同样实施不包含美颜处理的显影处理来生成拍摄图像(步骤B12)，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤B8)。之后返回上述的步骤B1，以下重复上述的动作。

另一方面，在上述那样脸检测时暂时存储该肤颜色信息(脸的肤色)的状态下不能检测到人物的脸的情况下，也进行检测有与该暂时存储的肤颜色信息同等的颜色信息且给定的面积以上的区域来作为人物的皮肤区域的处理(步骤B10)，其结果，在能检测到皮肤区域的情况下(步骤B11“是”)，判别为需要实施美颜处理，移转到步骤B7，对摄像图像实施包含美颜处理的显影处理来生成拍摄图像。另外，在该情况下，例如在存在多个给定的面积以上的皮肤区域的情况下，若将最大的区域检测为脸区域，则还能仅在脸的区域实施美颜处理。接下来，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换为标准的文件格式后，记录保存在存储部3的记录介质(步骤B8)。之后返回上述的步骤B1，以下重复上述的动作。

如以上那样，在第2实施方式中，控制部1在不能检测到人物的脸的情况下进行不同于该检测处理的其他检测处理，基于该其他检测处理的检测结果来判别是否需要实施给定的图像处理，不局限于脸检测处理这样唯一的检测，能进行多方面的检测。

在脸检测时暂时存储该肤颜色信息(脸的肤色)的状态，作为上述的其他检测处理，进行检测该暂时存储的与肤色同等的肤色的区域是否为给定的面积以上的处理，基于其检测结果来判别是否需要执行美颜处理，因此在不能检测到脸的情况下，也能对该摄像图像准确地确认皮肤的部分来实施美颜处理。

(第3实施方式)

以下参考图7以及图8来说明本发明的第3实施方式。

该第3实施方式与上述的第2实施方式同样地，在不能检测到人物的脸的情况下进行不同于该检测处理的其他检测处理，基于该其他检测处理的检测结果来判别是否需要实施给定的图像处理。进而，在第3实施方式中，作为不能检测到人物的脸的情况下的其他检测处理，进行如下处理：在成功检测到人物的脸时暂时存储其头发的颜色，检测与该暂时存储的头发的颜色同等的肤色的区域是否为给定的面积以上，并且基于该检测结果来判别是否需要执行给定的图像处理(美颜处理)。在此，在第1、第3实施方式中基本的或名称上相同的构成标注同一标号示出，省略其说明，并在以下以第3实施方式的特征部分为中心来进行说明。

图7是用于说明指定美颜拍摄模式的情况下开始执行的摄像装置100的动作(第3实施方式的特征性动作)的流程图。另外，图7由于与第2实施方式的图5基本同样，因此对基本同样的部分简单进行说明。

首先，控制部1在指定了美颜拍摄模式的状态下调查是否进行了快门操作(步骤C1)，或调查是否进行了解除美颜拍摄模式的操作(步骤C2)。在当前进行了解除美颜拍摄模式的操作的情况下(步骤C2“是”)，从图7的流程脱离，在进行了快门操作的情况下(步骤C1“是”)，从摄像部6取得摄像图像(实时取景图像)(步骤C3)。然后，通过解析取得的摄像图像(实时取景图像)来进行检测人物的脸的处理(步骤C4)，调查在摄像图像内是否拍到人物的脸(步骤C5)。

若当前检测到在摄像图像内拍到人物的脸(步骤C5“是”)，则如图8A所示那样确定脸检测区域(图中以细的虚线包围的矩形区域)，并以该脸检测区域为基础来确定其周边的区域作为头发区域，从该头发区域取得头发的颜色信息并暂时存储在工作内存3b(步骤C6)。即，头发区域是除了脸检测区域以外的矩形区域(图中以粗的虚线包围的矩形区域)，是将其X方向的长度(宽度)设为脸检测区域的宽度的1.5倍、将其Y方向的长度(高度)设为脸检测区域的高度的1.5倍的大小的区域，将该区域的下端配置在与脸检测区域的下端一致的位置，将这样的区域检测为头发区域。

在如此检测到的头发区域内中取得同等的颜色(同一色或近似色)连续的各区域当中有最大的面积的区域内的颜色，作为头发的颜色信息，并暂时存储。另外，该暂时存储的头发的颜色信息可以是一种颜色的信息，但也可以是表示颜色的范围的信息。然后对摄像图像实施包含美颜处理的显影处理来生成拍摄图像，但也可以仅在检测到的脸的区域内实施美颜处理(步骤C7)。在对该生成图像(拍摄图像)实施图像压缩处理将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤C8)。之后返回上述的步骤C1。

在此，接下来取得通过快门操作(步骤C1“是”)而摄像的图像(步骤C3)，在对该摄像图像进行脸检测处理(步骤C4)的结果是不能检测到人物的脸的情况下(步骤C5“否”)，移转到步骤C9，调查是否暂时存储了头发的颜色信息。即，调查是否在本次的快门操作前进行了脸检测并将头发的颜色信息暂时存储在工作内存3b。在暂时存储了头发的颜色信息的情况下(步骤C9“是”)，移转到步骤C10，进行如图8B所示那样检测摄像图像内的脸可能性区域(图中以细的虚线包围的矩形区域)的处理。在该情况下，检测与通常的脸检测时使用的肤色(一般的肤色)同等的颜色(同一色或近似色)连续的区域，作为脸可能性区域。在此，若不能检测到脸可能性区域(步骤C11“否”)，则实施不包含美颜处理的显影处理来生成拍摄图像(步骤C14)，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤C8)。之后返回上述的步骤C1，以下重复上述的动作。

在能检测到脸可能性区域的情况下(步骤C11“是”)，读出上述的脸检测时暂时存储的头发的颜色信息，进行检测有与该头发的颜色信息同等的颜色信息且给定的面积以上的区域作为人物的头发区域的处理(步骤S12)。即，将如下那样的区域检测为头发区域：是与头发的颜色信息同等的颜色(同一色或近似色)且如图8B所示那样将脸检测区域除外的矩形区域(图中以粗的虚线包围的矩形区域)，是将其X方向的长度(宽度)设为脸检测区域的宽度的2.0倍、将其Y方向的长度(高度)设为脸检测区域的高度的1.5倍的大小区域，将该区域的下端配置在与脸可能性区域的下端一致的位置。

然后，调查是否能从摄像图像内检测到与上述的条件相符的头发区域，即，调查是否能检测到占据脸检测时暂时存储的头发的颜色到可以视作是头发的程度(例如30％程度)的区域，作为头发区域(步骤C13)。在此，若不能检测到头发区域(步骤C13“否”)，则实施不包含美颜处理的显影处理来生成拍摄图像(步骤C14)，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤C8)。之后返回上述的步骤C1。

另外，在未暂时存储头发的颜色信息的状态下(步骤C9“否”)，也同样地实施不包含美颜处理的显影处理来生成拍摄图像(步骤C14)，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤C8)。之后返回上述的步骤C1，以下重复上述的动作。

另一方面，在脸检测时暂时存储了该头发的颜色信息的状态不能检测到人物的脸的情况下，也进行检测具有与该头发的颜色信息同等的颜色信息且给定的面积以上的区域作为人物的头发区域的处理(步骤C12)，其结果，在能检测到头发区域的情况下(步骤C13“是”)，判别为需要实施美颜处理，移转到步骤C7，对摄像图像内的脸可能性区域实施包含美颜处理的显影处理来生成拍摄图像。即，在脸可能性区域的周边存在头发区域的情况下，判断为该脸可能性区域是脸区域，对该脸可能性区域实施美颜处理。然后，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤C8)。之后返回上述的步骤C1，以下重复上述的动作。

如以上那样，在第3实施方式中，控制部1在能检测到人物的脸的情况下将其头发的颜色暂时存储，在不能检测到人物的脸的情况下，对该摄像图像进行处理：确定脸可能性区域，若其周边存在与暂时存储的肤色同等且给定的面积以上的区域，则将该区域检测为头发区域，并且基于其检测结果来判别是否需要执行美颜处理，在脸可能性区域的周边存在头发区域的情况下，能判断为该脸可能性区域是脸区域并实施美颜处理，能从人物的头发的颜色准确地确定摄像图像内的人物的脸部分来实施美颜处理。

另外，在上述的第3实施方式中，在不能检测到人物的脸的情况下检测脸可能性区域，若在该脸可能性区域的周边存在头发区域，则将该脸可能性区域判断为是脸区域，并实施美颜处理，但也可以基于暂时存储的头发的颜色来检测头发区域，并基于该头发区域来检测其周边的脸区域，从而实施美颜处理。

(第4实施方式)

以下参考图9来说明本发明的第4实施方式。

本第4实施方式与上述的第2以及第3实施方式同样，在未检测到人物的脸的情况下进行不同于该检测处理的其他检测处理，基于该其他检测处理的检测结果来判别是否需要实施给定的图像处理。进而在第4实施方式中，作为不能检测到人物的脸的情况下的其他检测处理，基于对构成摄像部6的摄像镜头6a的像差进行补正的信息来像差补正处理，并从该补正过的摄像图像内进行检测人物的脸的处理，基于该检测结果来判别是否需要执行给定的图像处理(美颜处理)。另外，在此，作为像差补正处理，使用公知的技术来补正畸变像差。在此，在第1、第4实施方式中基本的或名称上相同的构成标注同一标号示出，省略其说明，并在以下以第4实施方式的特征部分为中心来进行说明。

图9是用于说明指定美颜拍摄模式的情况下开始执行的摄像装置100的动作(第4实施方式的特征性动作)的流程图。另外，图9由于与第2实施方式的图5基本同样，因此对基本同样的部分简单进行说明。

首先，控制部1在指定了美颜拍摄模式的状态下，调查是否进行了快门操作(步骤D1)，或调查是否进行了解除美颜拍摄模式的操作(步骤D2)。在当前进行了解除美颜拍摄模式的操作的情况下(步骤D2“是”)，从图9的流程脱离，在进行了快门操作的情况下(步骤D1“是”)，从摄像部6取得摄像图像(实时取景图像)(步骤D3)。

然后，通过解析取得的摄像图像(实时取景图像)来进行检测人物的脸的处理(步骤D4)，调查在摄像图像内是否拍到人物的脸(步骤D5)。若当前检测到在摄像图像内拍到人物的脸(步骤D5“是”)，则对摄像图像实施包含美颜处理的显影处理来生成拍摄图像，但也可以仅在检测到的脸的区域内实施美颜处理(步骤D7)。在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤D7)。之后返回上述的步骤D1。

在此，接下来取得通过快门操作(步骤D1“是”)而摄像的图像(步骤D3)，在对该摄像图像进行脸检测处理(步骤D4)的结果是不能检测到人物的脸的情况下，例如在人物的脸从摄像镜头6a的中心部移动到其周缘部那样的情况下(步骤D5“否”)，移转到步骤D8，对摄像图像进行畸变像差补正处理(步骤D9)。即，基于补正摄像镜头6a的像差的信息来进行畸变像差补正，对该补正过的摄像图像再度进行检测人物的脸的处理(步骤D9)。在该情况下，若即使进行畸变像差补正也不能检测到人物的脸(步骤D10“否”)，则实施不包含美颜处理的显影处理来生成拍摄图像(步“是”骤D11)，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换成标准的文件格式后，记录保存在存储部3的记录介质(步骤D7)。

另一方面，在进行畸变像差补正(步骤D8)的结果是能检测到人物的脸的情况下(步骤D10“是”)，判别为需要实施美颜处理，移转到步骤D6，对摄像图像实施包含美颜处理的显影处理，并生成拍摄图像。另外，美颜处理与第1实施方式同样，并不限于人物的脸，也可以将脖子、手臂等的肤色的部分作为对象，但也可以仅在脸的区域实施美颜处理。接下来，在对该生成图像(拍摄图像)实施图像压缩处理而将其变换为标准的文件格式后，记录保存在存储部3的记录介质(步骤D7)。之后回到上述的步骤D1，以下重复上述的动作。

如以上那样，在第4实施方式中，控制部1在不能检测到人物的脸的情况下，基于补正构成摄像部6的摄像镜头6a的像差的信息来进行像差补正处理，并进行从该补正过的摄像图像内进行检测人物的脸的处理，基于其检测结果来判别是否需要执行美颜处理，因此即使人物的脸移动到摄像镜头6a的像差大的位置，也能在进行像差补正处理后再度进行脸检测处理，能使脸检测更加确实。

另外，在即使进行上述的第2实施方式的检测处理即检测人物的皮肤区域的处理仍然不能检测到脸的情况下，也可以进一步作为上述的第3实施方式的处理而进行检测人物的头发区域的处理。该情况下，在最初检测脸时还取得头发的颜色即可。

另外，在即使进行上述的第4实施方式的检测处理即像差补正仍然不能检测到人物的脸的情况下，也可以进一步作为上述的第2实施方式的处理而进行检测人物的皮肤区域的处理、或作为上述的第3实施方式的处理而进行检测人物的头发区域的处理。该情况下，在最初检测脸时还取得皮肤的颜色、或头发的颜色即可。

在上述的各实施方式中，例示了作为图像处理装置而运用在具备摄像单元的摄像装置100中的情况，但并不限于此，也可以在图像处理装置中不具备摄像单元而另外具备通信单元，经由通信单元取得具备摄像单元的外部装置所摄像的摄像图像。

在上述的各实施方式中，例示了生成实施过给定的处理的记录保存用的图像的情况，但并不限于此，也可以生成用于显示在显示部5的图像。

在上述的各实施方式中，作为给定的图像处理，作为美颜处理而例示了美肌、美白，但并不限于此，也可以是对脸的形状、睫毛、眉毛、嘴角等进行加工的脸加工处理，进而，图像加工的对象并不限于脸，也可以实施对应于脸的肤色来补正脸的背景的处理。

在上述的各实施方式中，在能检测到人物的脸的情况下以及不能检测到人物的脸的情况下，都是在判别为需要实施给定的处理时，作为给定的处理而实施给定的图像处理(美颜处理)，但作为给定的处理，也可以进行对生成的记录保存用的拍摄图像附加表示包含人物的脸的信息的处理。由此，在再利用记录保存的拍摄图像时，不用重新进行检测人物的脸的处理就能容易地判别包含人物的脸，能进行与人物的脸相应的处理。

在上述的各实施方式中，示出了每当拍摄指示操作(快门操作)时一边改变自身的脸的朝向、数码相机的位置一边多张连续地进行拍摄的情况下，但在对应于拍摄指示操作来使连拍功能动作的情况也同样能运用。例如也可以在1次的快门操作下连续多张(例如在3秒间隔3张或5张)高速拍摄静止图像的情况下，对各摄像图像检测人物的脸，进而，也可以在动态图象拍摄中检测人物的脸。

另外，在上述的各实施方式中，例示了作为图像处理装置而运用在摄像装置100的情况，但并不限于此，例如可以是带摄像机功能的个人计算机、PDA(面向个人的便携型信息通信设备)、平板终端装置、智能手机等便携电话机、电子游戏机、音乐播放器等。

另外，上述的各实施方式中示出的“装置”、“部”也可以按功能分离成多个筐体，并不限于单一的筐体。另外，上述的流程图中记述的各步骤并不限于时间序列上的处理，也可以并行处理多个步骤，或分开独立进行处理。

以上说明了本发明的实施方式，但本发明并不限定于此，还包含记载于权利要求的范围的发明和其等同的范围。