图像处理装置、图像处理方法及记录介质与流程

本发明涉及图像处理装置、图像处理方法及记录介质。

背景技术：

以外，对图像内所包含的人物的脸部进行校正的处理被利用。例如，在日本特开2007-193729号公报中公开了如下技术：对人物的脸部进行印刷时，为了强调脸部的立体感，使脸部的鼻梁一带的像素变亮并使内眼角到鼻翼一带的像素变暗地进行校正。

但是，该公报所记载的技术中，每次打印都需要仔细地设定校正区域。

技术实现要素：

本发明是鉴于这样的状况而完成的，其目的在于使带有立体感的脸部图像的生成变得容易。

本发明的一方式涉及图像处理装置，其特征在于，具备：取得部，取得脸部图像；以及控制部，所述控制部构成为，调整由所述取得部取得的脸部图像的亮度，使用基于脸部的立体形状将该脸部的规定区域设为透明区域的图片数据，对由所述取得部取得的脸部图像和所述调整后的图像进行合成。

本发明的一方式涉及图像处理方法，其特征在于，包括：取得处理，取得脸部图像；调整处理，调整通过所述取得处理取得的脸部图像的亮度；以及合成处理，使用基于脸部的立体形状将该脸部的规定区域设为透明区域的图片数据，对通过所述取得处理取得的脸部图像和通过所述调整处理调整后的图像进行合成。

本发明的一方式涉及记录介质，可由计算机读取，记录有使该计算机作为如下单元发挥功能的程序：取得单元，取得脸部图像；调整单元，调整由所述取得单元取得的脸部图像的亮度；以及合成单元，使用基于脸部的立体形状将该脸部的规定区域设为透明区域的图片数据，对由所述取得单元取得的脸部图像和由所述调整单元调整后的图像进行合成。

附图说明

图1是表示本发明的图像处理装置的一个实施方式的摄像装置的硬件结构的框图。

图2是用于说明本实施方式中的美颜图像的生成的示意图。

图3a是用于说明固定图片的制作的示意图。

图3b是用于说明固定图片的制作的示意图。

图4是表示鼻梁用以及鼻侧部用的固定图片的形状的例子与应用了固定图片的脸部的部位之间的关系的示意图。

图5是表示面部线条用的固定图片的形状的例子与应用了固定图片的脸部的部位之间的关系的示意图。

图6是表示眼鼻周边用的固定图片的形状的例子与应用了固定图片的脸部的部位之间的关系的示意图。

图7是表示在图1的摄像装置的功能性结构中用于执行美颜图像生成处理的功能性结构的功能框图。

图8a是表示美肤处理的强度与伽马校正特性之间的关系的示意图，是表示高亮加工用的伽马校正特性的示意图。

图8b是表示美肤处理的强度与伽马校正特性之间的关系的示意图，是表示阴影强调用的伽马校正特性的示意图。

图9是说明美颜图像生成处理的流程的流程图。

图10是表示针对固定图片的校正特性的示例的示意图。

具体实施方式

以下，使用附图对本发明的实施方式进行说明。

图1是表示本发明的图像处理装置的一个实施方式的摄像装置1的硬件结构的框图。

摄像装置1例如构成为数码照相机。

如图1所示，摄像装置1具备cpu(centralprocessingunit)11、rom(readonlymemory)12、ram(randomaccessmemory)13、总线14、输入输出接口15、摄像部16、输入部17、输出部18、存储部19、通信部20、驱动器21及照明部22。

cpu11根据rom12中记录的程序、或者从存储部19加载到ram13中的程序来执行各种处理。

ram13中还适当存储cpu11执行各种处理所需的数据等。

cpu11、rom12以及ram13经由总线14相互连接。输入输出接口15也连接到总线14。在输入输出接口15上连接有摄像部16、输入部17、输出部18、存储部19、通信部20、驱动器21以及照明部22。

虽未图示，但摄像部16具备光学透镜部和图像传感器。

光学透镜部为了拍摄被摄体而由将光会聚的透镜、例如聚焦透镜、变焦透镜等构成。

聚焦透镜是使被摄体像成像于图像传感器的受光面上的透镜。

变焦透镜是使焦点距离在一定范围内自由变化的透镜。

根据需要，在光学透镜部中还设置有对焦点、曝光、白平衡等的设定参数进行调整的外围电路。

图像传感器由光电转换元件、afe(模拟前端，analogfrontend)等构成。

光电转换元件例如由cmos(互补金属氧化物半导体，complementarymetaloxidesemiconductor)型的光电转换元件等构成。被摄体像从光学透镜部入射到光电转换元件。

光电转换元件对被摄体像进行光电转换(摄像)并将图像信号蓄积一定时间，将所蓄积的图像信号作为模拟信号向afe依次供给。

afe对该模拟的图像信号执行a/d(analog/digital)转换处理等各种信号处理。通过各种信号处理，生成数字信号，作为摄像部16的输出信号而输出。

将这样的摄像部16的输出信号作为摄像图像的数据而适当地供给至cpu11、未图示的图像处理部等。

输入部17由各种按钮等构成，根据用户的指示操作来输入各种信息。

输出部18由显示器、扬声器等构成，输出图像或语音。

存储部19由硬盘或dram(dynamicrandomaccessmemory)等构成，存储各种图像的数据。

通信部20控制经由包含因特网的网络而与其他装置(未图示)之间进行的通信。

在驱动器21中适当安装有由磁盘、光盘、磁光盘或半导体存储器等构成的可移动媒介31。

由驱动器21从可移动媒介31读出的程序根据需要被安装在存储部19中。

另外，可移动媒介31能够与存储部19同样地也存储存储部19所存储的图像的数据等各种数据。

照明部22包括在摄像部16的周围以描绘圆的方式设置的8个led(发光部件)、和在该摄像装置1中在远离该8个led的位置设置的1个led。

这些led在实时取景拍摄时、图像记录时根据用户的操作而选择性地发光。

通过这样变更照明用的光线的到来方向地拍摄脸部，能够获取人为地控制了阴影的脸部图像。

在这样构成的摄像装置1中具有能够生成如下的图像(以下，称为“美颜图像”。)的功能，该美颜图像是对拍摄脸部而得的图像实施美白处理以及美肤处理、并且对通过美肤处理而降低了对比度的脸部图像适当地校正了脸部的立体感而得到的。

即，在对脸部整体单纯地应用了伽马校正的情况下，局部的阴影的校正及对比度低的图像的校正未适当地得以进行，但在摄像装置1中，通过选择适当的区域来应用局部伽马校正(在此为对亮度成分的伽马校正)，能够容易地生成带有立体感的脸部图像。

在本实施方式中，美颜图像是通过首先对脸部整体实施美白处理以及美肤处理、然后选择包含脸部的特定部位的区域来进行局部伽马校正而生成的。

图2是用于说明本实施方式中的美颜图像的生成的示意图。

在图2中示出了选择包含作为脸部的特定部位的鼻梁的区域来进行局部伽马校正的例子。

本实施方式的美颜图像如图2所示那样，首先从对图像整体实施美白处理及美肤处理后的图像2a(以下，称为“原图像2a”。)截取包含脸部的特定部位(在此为鼻梁)的区域2b。

然后，对区域2b实施局部伽马校正处理而制作图像2c(以下，称为“伽马校正图像2c”。)。伽马校正图像2c中，对包括脸部的特定部位以外的截取图像整体进行了伽马校正。

因此，为了仅对脸部的特定部位表现伽马校正的效果，使用表示脸部的特定部位的特点的固定图片2d来对原图像2a和伽马校正图像2c进行基于α混合的图像合成，制作仅对脸部的特定部位进行了伽马校正的图像2e(以下，称为“特定部位伽马校正图像2e”。)。

固定图片2d的各像素值是基于α混合的图像合成时对应的各像素的α值。

然后，将制作出的特定部位伽马校正图像2e合成到原图像2a的截取位置，生成美颜图像。

[固定图片的制作]

图3a、3b是用于说明固定图片的制作的示意图。

固定图片是在一般的脸部中对拟脸部的特定部位(鼻梁等)的形状进行模拟而得的图片，是在进行伽马校正时预先制作出的图片。

固定图片如图3a所示，从存储的数据展开缩小尺寸的图片3a-1。

然后，如图3b所示，根据图像中的脸部的特定部位的轮廓信息(唇的轮廓两端p1、p2)计算脸部的特定部位的倾斜的角度，生成与该角度对应地使固定图片进行了旋转的图片3a-2。

最后，图片3a-2被转换为尺寸被重新调整成缩小前的原图像的尺寸的图片3a-3，该图片3a-3用于在伽马校正图像2e向原图像2a的α混合处理中抑制合成到原图像2a中的脸部的特定部位以外的部分。

[固定图片的应用例]

如上所述，固定图片是在一般的脸部中对脸部的特定部位的形状进行模拟而得的图。

在本实施方式的美颜图像的生成中，为了对脸部的特定部位进行伽马校正，准备与脸部的各种部位对应的固定图片。

图4～图6是表示固定图片的形状的例子与应用了固定图片的脸部的部位之间的关系的示意图，图4一并图示了鼻梁用的固定图片nc以及鼻侧部用的固定图片nr、nl，图5图示了面部线条用的固定图片fl，图6图示了眼鼻周边用的固定图片fc。另外，在图4～图6中，固定图片表示为虚线的闭区域。

如图4所示，鼻梁用的固定图片nc用于对鼻梁进行高亮加工(局部明亮)，应用于鼻子的中央。

另外，鼻侧部用的固定图片nr、nl用于强调鼻侧部(从内眼角到鼻翼的区域)的阴影，应用于从内眼角至鼻子的旁边。另外，鼻侧部用的固定图片nr、nl左右分别准备，成为相对于脸部的中心线对称的形状。

利用鼻梁用的固定图片nc对鼻梁进行高亮加工，利用鼻侧部用的固定图片强调鼻侧的阴影nr、nl，从而能够得到加强鼻子的立体感的效果。

另外，如图5所示，面部线条用的固定图片fl用于强调面部线条的阴影，应用于左右的脸颊(特别是腮部分)的面部线条。

另外，面部线条用的固定图片fl左右分别准备，成为相对于脸部的中心线左右对称的形状。通过面部线条用的固定图片fl强调左右脸颊的面部线条的阴影，可以获得小脸效果。

另外，如图6所示，眼鼻周边用的固定图片fc用于强调眼鼻周边的阴影，应用于包含两眼以及鼻子的t字型的区域。通过利用眼鼻周边用的固定图片fc强调眼鼻周边的阴影，能够得到给人五官轮廓分明的印象的效果。

图7是表示在图1的摄像装置1的功能性结构中用于执行美颜图像生成处理的功能结构的功能框图。

美颜图像生成处理是指下述的一系列的处理：对拍摄到的包含人的脸部的原图像实施美白处理以及美肤处理，并且生成仅对脸部的特定部位进行了伽马校正的特定部位伽马校正图像并将其合成到原图像，从而生成美颜图像。

在执行美颜图像生成处理的情况下，如图7所示，在cpu11中，图像取得部51、脸部检测部52、图像处理部53、固定图片制作处理部54、伽马校正图像制作处理部55发挥功能。

另外，在存储部19的一区域中设定有图像存储部71和固定图片存储部72。

在图像存储部71中存储从摄像部16输出的图像的数据。

在固定图片存储部72中存储有与脸部的各种部位对应的形状的多个固定图片(2d、图3a、nc、nr、nl、fl、fc)的数据。

另外，为了削减数据量，固定图片可以是，对具有对称形状的固定图片进行分割保持，在使用时展开而形成整体。

图像取得部51取得对由摄像部16拍摄到的图像进行显影处理而得的摄像图像的数据、或者从图像存储部71取得成为处理对象的图像的数据。

脸部检测部52从图像中检测脸部，并且检测在检测到的脸部中构成脸部的各器官。

另外，脸部检测部52根据脸部的各部位的轮廓信息，检测成为应用局部伽马校正的对象的、脸部的特定部位。

在检测脸部以及各器官的情况下，能够使用现有的脸部检测技术以及器官检测技术。

图像处理部53对原图像执行各种图像处理。

具体而言，图像处理部53执行主要进行彩度降低、明度提升、向蓝色方向的色相旋转这3点要素的校正的美白处理。

另外，图像处理部53执行进行通过双边滤波器(或者其他平滑化滤波器)使皮肤平滑的校正的美肤处理。

另外，如图2所示，图像处理部53从原图像中截取包含唇的区域。

另外，图像处理部53基于制作出的固定图片，对截取图像和制作出的伽马校正图像进行α混合而进行图像合成。

结果，制作出特定部位伽马校正图像。

另外，图像处理部53在原本的截取位置粘贴特定部位伽马校正图像。

结果，生成美颜图像。

固定图片制作处理部54以仅对脸部的特定部位的区域实施了伽马校正的方式生成用于α混合的固定图片(图3a)。

伽马校正图像制作处理部55对截取图像执行伽马校正处理。

具体而言，伽马校正图像制作处理部55按照与美肤处理的强度相应地选择的伽马校正的校正量，执行对截取图像的伽马校正处理。

图8a、图8b是表示美肤处理的强度与伽马校正特性之间的关系的示意图，图8a是表示高亮加工用的伽马校正特性的示意图，图8b是表示阴影强调用的伽马校正特性的示意图。

另外，图8a和图8b中的虚线表示不进行校正时的伽马校正特性。

在本实施方式中，美肤处理能够以等级0～6的7个阶段来应用，如图8a、图8b所示，在美肤处理的强度强的等级4～6的情况下，与美肤处理的强度弱的等级0～3的情况相比，以使伽马校正的校正量变大的方式设定了伽马校正特性。

由此，在应用了强的美肤处理的情况下，能够抑制成为脸部图像的对比度降低且五官轮廓分明度降低的图像，能够生成带有立体感的脸部图像。

另外，也可以与美肤等级分别对应地分别独立地设定伽马校正特性。

图9是说明具有图7的功能性结构的图1的摄像装置1所执行的美颜图像生成处理的流程的流程图。

美颜图像生成处理通过检测用户对输入部17的美颜图像生成处理开始的操作而开始。

美颜图像生成处理以与摄影指示操作的检测相应地拍摄到的图像为对象，在该图像的显影处理之后进行。

另外，也可以是，选择图像存储部71中存储的摄像图像的数据，对该选择出的摄像图像的数据进行美颜图像生成处理。

图像取得部51取得进行摄像并进行了显影处理而得的摄像图像的数据、或者从图像存储部71取得已存储的摄像图像的数据(步骤s11)。

脸部检测部52判定针对与所取得的摄像图像的数据对应的图像是否检测到了脸部(步骤s12)。

在判定为未检测到脸部的情况下(步骤s12：否)，美颜图像生成处理结束。

在判定为检测到脸部的情况下(步骤s12：是)，处理进入步骤s13。

图像处理部53对处理对象的图像执行美白处理以及美颜处理(步骤s13)。

脸部检测部52对构成脸部的各器官进行检测，根据脸部的各部位的轮廓信息，检测成为应用局部伽马校正的对象的、脸部的特定部位(鼻梁等)(步骤s14)。

图像处理部53截取包含检测出的特定部位的区域(步骤s15)。

固定图片制作处理部54制作与特定部位对应的固定图片(步骤s16)。

伽马校正图像制作处理部55对截取图像执行伽马校正处理，制作伽马校正图像(步骤s17)。

图像处理部53基于固定图片对截取图像和制作出的伽马校正图像进行α混合而进行图像合成。结果，制作出仅对脸部的特定部位实施了伽马校正的特定部位伽马校正图像(步骤s18)。

图像处理部53将特定部位伽马校正图像粘贴到原图像的截取位置(步骤s19)。

结果，对皮肤实施美白处理和美肤处理，并且对脸部的特定部位局部地实施伽马校正，生成了作为带有立体感的脸部图像的美颜图像。

然后，美颜图像生成处理结束。

[变形例1]

在上述实施方式中，在将固定图片用作α值而将伽马校正图像向截取图像进行α混合的情况下，也可以是根据拍摄时的lv(lightvalue)值来校正固定图片的α值。

即，在通过使照明部22的全部led点亮而产生的lv值大的(明亮的)环境下拍摄的图像具有原图像的对比度整体高的倾向。

因此，在lv值大的区域中，与lv值小的区域相比使固定图片的α值较小，能够抑制成为阴影被过度强调的状态。

图10是示出针对固定图片的校正特性的示例的示意图。

如图10所示，若是在lv值小(暗)的环境下拍摄到的图像，则如上述实施方式那样应用固定图片来生成特定部位伽马校正图像。

另一方面，若是在lv值较大(明亮)的环境下拍摄到的图像，则将上述实施方式中的固定图片的α值全部设为零。

由此，能够使伽马校正图像不与截取图像合成。

另外，对于lv值小的区域与lv值大的区域之间的中间区域，例如能够设为校正值线性地减少的特性。

以上那样构成的摄像装置1具备图像取得部51和图像处理部53。

图像取得部51取得脸部图像。

图像处理部53调整由图像取得部51取得的脸部图像的亮度。

图像处理部53使用基于脸部的立体形状将该脸部的规定区域设为透明区域的图片数据(固定图片)，合成由图像取得部51取得的脸部图像和调整后的图像。

由此，在摄像装置1中，能够生成适当地校正了脸部的立体感的美颜图像。

因此，能够容易地生成带有立体感的脸部图像。

另外，摄像装置1具备固定图片制作处理部54。

固定图片制作处理部54根据由图像取得部51取得的脸部图像中的脸部区域的尺寸或形状，以使图片数据变形的方式进行控制。

由此，在对调整了明亮度的图像进行合成时，能够适当地抑制合成到目标部分以外的部分中。

脸部的立体形状包括鼻子的形状。

由此，能够适当地校正鼻梁或鼻侧部的立体感。

图像处理部53在提高脸部图像的亮度的方向上进行调整。

图像处理部53对鼻子的形状中的与鼻梁相当的区域以使调整后的图像成为不透明的方式进行调整、合成。

由此，能够将校正了脸部的立体感的部分合成到脸部图像中。

图像处理部53在降低脸部图像的亮度的方向上进行调整。

图像处理部53对鼻子的形状中的与内眼角或鼻翼相当的区域以使调整后的图像成为不透明的方式进行调整、合成。

由此，能够降低鼻侧部的明亮度，合成给人五官轮廓分明的印象的脸部图像。

脸部的立体形状包括脸部的轮廓形状。

图像处理部53在降低脸部图像的亮度的方向上进行调整。

图像处理部53对轮廓形状中的与腮相当的区域以使调整后的图像成为不透明的方式进行调整、合成。

由此，能够抑制脸部的轮廓形状中的与腮相当的部分的亮度，对脸部图像赋予小脸效果。

另外，本发明并不限定于上述的实施方式，可达成本发明的目的的范围内的变形、改良等也包含在本发明中。

例如，除了在上述实施方式中例示的固定图片的形状以及脸部中的应用部位之外，还能够准备与能够适当地校正脸部的立体感的形状以及应用部位对应的各种固定图片，用于美颜图像的生成。

另外，在上述实施方式中，应用本发明的摄像装置1以数码相机为例进行了说明，但并不特别限定于此。

例如，本发明能够普遍应用于具有图像处理功能的电子设备。具体而言，例如，本发明能够应用于笔记本型的个人计算机、打印机、电视接收机、摄像机、便携式导航装置、便携式电话机、智能手机、便携式游戏机等。

上述一系列的处理既可以通过硬件来执行，也可以通过软件来执行。

换言之，图7的功能性结构只不过是例示，没有特别限定。

即，摄像装置1具备能够整体执行上述一系列处理的功能即可，为了实现该功能而使用怎样的功能模块不特别限定于图7的例子。

另外，1个功能模块可以由硬件单体构成，也可以由软件单体构成，也可以由它们的组合构成。

本实施方式中的功能性结构通过执行运算处理的处理器来实现，本实施方式中能够使用的处理器除了由单处理器、多处理器以及多核处理器等各种处理装置单体构成以外，还包括这些各种处理装置与asic(applicationspecificintegratedcircuit)、fpga(field-programmablegatearray)等处理电路组合而成的处理器。

在通过软件执行一系列处理的情况下，构成该软件的程序从网络或记录介质安装到计算机等。

计算机也可以是组装在专用的硬件中的计算机。另外，计算机也可以是能够通过安装各种程序来执行各种功能的计算机、例如通用的个人计算机。

包括这样的程序的记录介质不限于由为了向用户提供程序而与装置主体另行发布的图1的可移动媒介31构成，还由在预先组装于装置主体的状态下向用户提供的记录介质等构成。可移动媒介31例如由磁盘(包括软盘)、光盘或光磁盘等构成。光盘例如由cd-rom(compactdisk-readonlymemory)、dvd(digitalversatiledisk)、blu-ray(注册商标)disc(蓝光盘)等构成。光磁盘由md(mini-disk)等构成。另外，在预先组装于装置主体的状态下向用户提供的记录介质例如由记录有程序的图1的rom12、存储部19所包含的硬盘等构成。

另外，在本说明书中，对在记录介质中记录的程序进行记述的步骤当然包括按照该顺序按时间序列进行的处理，但也不必一定按时间序列进行处理，也包括并行或单独地执行的处理。

以上，对本发明的几个实施方式进行了说明，但这些实施方式只不过是例示，并不限定本发明的技术范围。本发明能够采取其他各种实施方式，并且，在不脱离本发明的主旨的范围内，能够进行省略、置换等各种变更。这些实施方式及其变形包含于本说明书等所记载的发明的范围、主旨中，并且包含于权利要求书所记载的发明及其等同的范围内。