图像生成装置及图像生成方法

图像生成装置及图像生成方法
【专利摘要】本发明提供一种图像生成装置及图像生成方法。图像生成装置具备：提取单元(6c)，将图像内的脸部的特征部分提取多个；生成单元(6e)，基于由所述提取单元提取出的特征部分，生成所述脸部的肖像画图像；确定单元(6d)，在由所述生成单元生成的肖像画图像的用途、所述脸部的特性及所述脸部的主人与用户之间的关系性中，至少基于任一方，在由所述提取单元提取出的所述多个特征部分之中确定被用作所述肖像画图像的特征的特征部分；和生成控制单元(6f)，基于由所述确定单元所确定的所述特征部分，控制所述生成单元的所述肖像画图像的生成。
【专利说明】图像生成装置及图像生成方法
【技术领域】
[0001]本发明涉及图像生成装置及图像生成方法。
【背景技术】
[0002]现有技术中，公知有使用眼睛、鼻子、口、耳、脸部的轮廓等的脸部构成部的特征点来生成肖像画的肖像画生成装置(例如，日本国特开2004-145625号公报)。
[0003]但是，在上述专利文献I等中，有时会生成眼、鼻、口等脸部的构成部分中的作为肖像画的模板的对象者不具备很好的印象的构成部分被夸大的肖像画。此外，还有可能生成无法充分表达肖像画的对象者特征的肖像画等，无法提高肖像画的确认者的满足度。

【发明内容】

[0004]因此，本发明的课题是提供一种能够从用户满足度的观点出发适当地进行脸部的肖像画图像的生成的图像生成装置及图像生成方法。
[0005]本发明的图像生成装置具备:提取单元，将图像内的脸部的特征部分提取多个；生成单元，基于由所述提取单元提取出的特征部分，生成所述脸部的肖像画图像；确定单元，在由所述生成单元生成的肖像画图像的用途、所述脸部的特性及所述脸部的主人与用户之间的关系性中，至少基于任一方，在由所述提取单元提取出的所述多个特征部分之中确定被用作所述肖像画图像的特征的特征部分；和生成控制单元，基于由所述确定单元所确定的所述特征部分，控制所述生成单元的所述肖像画图像的生成。
[0006]本发明的图像生成方法使用了生成示意性表示脸部的肖像画图像的图像生成装置，该图像生成方法包括:将图像内的脸部的特征部分提取多个的提取步骤；基于在所述提取步骤中提取出的特征部分生成所述脸部的肖像画图像的生成步骤；在通过所述生成步骤生成的肖像画图像的用途、所述脸部的特性及所述脸部的主人与用户之间的关系性中，至少基于任一方，在通过所述提取步骤提取出的所述多个特征部分之中确定被用作所述肖像画图像的特征的特征部分的特定步骤；和基于通过所述特定步骤确定出的所述特征部分控制所述生成步骤的所述肖像画图像的生成的生成控制步骤。
【专利附图】

【附图说明】
[0007]图1是表示应用了本发明的一实施方式的摄像装置的示意结构的框图。
[0008]图2是表示图1的摄像装置的肖像画图像生成处理所涉及的动作的一例的流程图。
[0009]图3是示意性表示图2的肖像画图像生成处理所涉及的图像的一例的图。
[0010]图4是示意性表示图2的肖像画图像生成处理所涉及的图像的一例的图。
【具体实施方式】
[0011]以下，利用附图来说明本发明的具体方式。但是，发明的范围并不限于图示例。[0012]图1是表示应用了本发明的一实施方式的摄像装置100的示意结构的框图。
[0013]如图1所示，具体而言，本实施方式的摄像装置100具备:摄像部1、摄像控制部2、图像数据生成部3、存储器4、图像记录部5、图像处理部6、显示控制部7、显示部8、操作输入部9及中央控制部10。
[0014]此外，摄像部1、摄像控制部2、图像数据生成部3、存储器4、图像记录部5、图像处理部6、显示控制部7及中央控制部10经由总线11而被连接。
[0015]摄像部I作为摄像单元而拍摄规定的被摄体来生成帧图像。
[0016]具体而言，摄像部I具备镜头部la、电子摄像部Ib及镜头驱动部lc。
[0017]镜头部Ia例如由变焦透镜、聚焦透镜等多个透镜构成。
[0018]电子摄像部Ib 例如由 CCD (Charge Coupled Device)、CMOS (ComplementaryMetal-oxide Semiconductor)等图像传感器(摄像元件)构成。并且，电子摄像部Ib将经过了镜头部Ia的各种透镜的光学像变换为二维图像信号。
[0019]虽然未图示，但是镜头驱动部Ic例如具备使变焦透镜在光轴方向上移动的变焦驱动部、使聚焦透镜在光轴方向上移动的对焦驱动部等。
[0020]另外，摄像部I除了镜头部la、电子摄像部Ib及镜头驱动部Ic外，还可具备调整经过镜头部Ia的光量的光圈(省略图示)。
[0021]摄像控制部2控制摄像部I进行的被摄体的摄像。即，虽然未图示，但是摄像控制部2具备定时产生器、驱动器等。并且，摄像控制部2通过定时产生器、驱动器对电子摄像部Ib进行扫描驱动，每隔规定周期将经过了镜头部Ia的光学像通过电子摄像部Ib而变换为二维的图像信号，从该电子摄像部Ib的摄像区域每次以I个画面读出帧图像后输出给图像数据生成部3。
[0022]另外，摄像控制部2也可以代替镜头部Ia的聚焦透镜，使电子摄像部Ib在光轴方向上移动来调整镜头部Ia的对焦位置。
[0023]此外，摄像控制部2也可以进行AF (自动对焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等拍摄被摄体时的条件的调整控制。
[0024]图像数据生成部3对从电子摄像部Ib传送的帧图像的模拟值的信号按RGB各颜色分量进行适当增益调整之后，在样本保持电路(省略图示)中保持样本，在A/D变换器(省略图示)中变换为数字数据，在彩色处理电路(省略图示)中进行包括像素补偿处理及Y补偿处理在内的彩色处理之后，生成数字值的亮度信号Y及色差信号Cb、Cr (YUV数据)。
[0025]从彩色处理电路输出的亮度信号Y及色差信号Cb、Cr经由未图示的DMA控制器被DMA传送至用作缓存器的存储器4。
[0026]存储器4例如由DRAM (Dynamic Random Access Memory)等构成，暂时保存由图像处理部6、中央控制部10等处理的数据等。
[0027]图像记录部5例如由非易失性存储器(闪存)等构成，记录由图像处理部6的编码部(省略图示)以规定的压缩形式(例如JPEG形式等)进行了编码的记录用图像数据。
[0028]另外，图像记录部5也可以例如构成为可自如地拆装记录介质(省略图示)，控制来自被安装的记录介质的数据的读出或向记录介质的数据的写入。
[0029]图像处理部6具备:图像获取部6a、脸部检测部6b、构成部图像提取部6c、构成部图像确定部6d、肖像画图像生成部6e及生成控制部6f。[0030]另外，图像处理部6的各部分例如由规定的逻辑电路构成，该构成只是一例，并不限于此。
[0031]图像获取部6a获取成为肖像画图像生成处理的处理对象的图像。
[0032]S卩，图像获取部(获取单元)6a获取原图像(例如，照片图像等)P1的图像数据。具体而言，图像获取部6a从存储器4获取通过摄像部I及摄像控制部2对被摄体的摄像而由图像数据生成部3生成的原图像Pl的图像数据(RGB数据或YUV数据)的复制，或者获取记录在图像记录部5中的原图像Pl的图像数据的复制(参照图3A)。
[0033]另外，后述的图像处理部6的各处理可对原图像Pl的图像数据本身进行，也可以根据需要对以规定的比率缩小了原图像Pl的图像数据而得到的规定尺寸(例如，VGA尺寸等)的缩小图像数据进行。
[0034]脸部检测部6b从成为处理对象的原图像Pl检测脸部区域F(参照图3A)。
[0035]S卩，脸部检测部6b从由图像获取部6a获取到的原图像Pl中检测包含脸部的脸部区域F。具体而言，脸部检测部6b获取由图像获取部6a作为肖像画图像生成处理的处理对象的图像而取得的原图像Pl的图像数据，对该图像数据进行规定的脸部检测处理，由此检测脸部区域F。并且，脸部检测部6b切出包围脸部区域F的规定大小的区域A(参照图3A)，作为脸部区域图像。
[0036]另外，脸部检测处理是公知的技术，因此在此省略详细的说明。
[0037]构成部图像提取部6c提取多个原图像Pl内的脸部构成部。
[0038]S卩，构成部图像提取部(提取单元)6c提取由图像获取部6a获取到的原图像Pl(参照图3A)内的脸部的主要的脸部构成部，生成脸部构成部图像P3。具体而言，构成部图像提取部6c对包含原图像Pl的脸部区域F的脸部区域图像A实施微细部分提取处理，生成例如用线表示了眼、鼻、口、眉、头发、脸部轮廓等脸部构成部的脸部微细部分图像P2(参照图3B)。例如，作为微细部分提取处理，构成部图像提取部6c通过利用了 AAM的处理，生成脸部微细部分图像P2。此外，构成部图像提取部6c对由脸部检测部6b从原图像Pl的图像数据中检测出的脸部区域F实施微细部分提取处理。
[0039]在此，AAM是视觉现象模板化的一种方法，是进行任意脸部区域F的图像模板化的处理。例如，构成部图像提取部6c在规定的登录单元中预先登录多个样本脸部图像中规定的特征部位(例如，眼角、鼻头、面部线条等)的位置和像素值(例如亮度值)的统计分析结果。然后，构成部图像提取部6c以上述的特征部位的位置作为基准，设定表示脸部形状的形状模板、或表示平均形状的“Appearance”的肌理模板，利用这些模板使脸部区域F的图像(脸部区域图像A)进行模板化。由此，构成部图像提取部6c生成提取原图像Pl内的主要构成后用线表示的脸部微细部分图像P2。
[0040]此外，构成部图像提取部6c通过微细部分提取处理生成脸部区域F的脸部轮廓内存在的脸部构成部及用线表示了与该脸部轮廓相连的脸部构成部的脸部构成部图像P3(参照图3C)。
[0041]具体而言，构成部图像提取部6c确定在脸部微细部分图像P2内与脸部轮廓相连的像素，在与该像素连续的像素之中，删除比脸部轮廓更靠外侧的像素。也就是说，构成部图像提取部6c在脸部微细部分图像P2中删除比脸部轮廓更靠外侧存在的部分，并且留下比脸部轮廓更靠内侧且与该脸部轮廓相连的部分，例如分别生成包括眼、鼻、口、眉、脸部轮廓等主要脸部构成部的部分图像M的脸部构成部图像P3。
[0042]由此，构成部图像提取部6c提取多个作为原图像Pl内的对象的脸部的特征部分、即脸部构成部。
[0043]在此，构成部图像提取部6c也可以提取并取得各脸部构成部的部分图像M在XY平面空间内的相对位置关系的信息、坐标位置的信息。
[0044]另外，作为微细部分提取处理，例示了利用AAM的处理，但是这只是一例，并不限于此，可任意地进行适当的变更。
[0045]例如，作为微细部分提取处理，也可以进行边缘提取处理或各向异性扩散处理(anisotropic diffusion process),生成包含脸部构成部的部分图像M的脸部构成部图像P3。具体而言，构成部图像提取部6c也可以例如利用规定的微分滤波器(例如，高通滤波器等)对原图像Pl的图像数据进行微分运算，将亮度值、颜色或浓度存在急剧变化的部位检测为边缘的边缘检测处理。此外，构成部图像提取部6c也可以例如对原图像Pl的图像数据使用规定的非等方位扩散滤波器，来进行在线状的边缘的切线方向和边缘的垂直方向上使权重不同并进行平滑化的各向异性扩散处理
[0046]构成部图像确定部6d在多个脸部构成部中确定用于肖像画图像P4的生成中的规定数量的脸部构成部。
[0047]S卩，构成部图像确定部(确定单元)6d以在肖像画图像P4的用途、作为对象的脸部特性及对象与用户之间的关系性之中的至少任一方作为基准，在由构成部图像提取部6c提取出的多个脸部构成部之中确定用于肖像画图像P4的生成中的规定数量的脸部构成部。
[0048]具体而言，构成部图像确定部6d根据肖像画图像P4的用途，在由构成部图像提取部6c提取出的多个脸部构成部之中，通过该肖像画图像P4确定与其他脸部构成部相比相对夸大了特征的规定数量的脸部构成部。
[0049]在此，作为肖像画图像P4的用途，例如，可列举自娱自乐的用途、作为赠给熟人的礼物的用途、展示给不确定的人的公开用途等。
[0050]并且，例如，若基于用户对操作输入部9进行的规定操作指定任一个用途，则构成部图像确定部6d参照构成部特定用表格T (后述)，确定与所指定的肖像画图像P4的用途相应的脸部构成部，将该脸部构成部确定为与其他脸部构成部相比相对夸大了特征的脸部构成部。
[0051]此外，构成部图像确定部6d根据原图像Pl内的脸部相关的人特性，在由构成部图像提取部6c提取出的多个脸部构成部之中，通过该肖像画图像P4确定与其他脸部构成部相比被相对夸大的规定数量的脸部构成部。
[0052]在此，作为脸部所涉及的人的特性，例如可列举该人的年龄、性别等。
[0053]并且，构成部图像确定部6d例如对原图像Pl内的脸部的多个脸部构成部实施规定的特征分析处理，确定该脸部所涉及的人的年龄或性别等特性。之后，构成部图像确定部6d参照构成部特定用表格T (后述)，确定与特定的特性对应关联的脸部构成部，将该脸部构成部确定为与其他脸部构成部相比相对夸大了特征的脸部构成部。另外，原图像Pl内的脸部所涉及的人的特性、即年龄或性别等也可以基于用户对操作输入部9进行的规定操作来输入并指定。[0054]此外，构成部图像确定部6d根据原图像Pl内的脸部所涉及的人与用户之间的关系性，在由构成部图像提取部6c提取出的多个脸部构成部之中，通过该肖像画图像P4确定与其他脸部构成部相比相对夸大的规定数量的脸部构成部。
[0055]在此，用户例如包括生成肖像画图像P4的人、视觉辨识所生成的肖像画图像P4的人。此外，作为原图像Pi内的脸部所涉及的人与用户之间的关系性，例如可列举本人、友人、熟人、他人等。
[0056]并且，例如，若基于用户对操作输入部9进行的规定操作指定了任一个关系性，则构成部图像确定部6d参照构成部特定用表格T (后述)，确定与所指定的关系性对应关联的脸部构成部，将该脸部构成部确定为与其他脸部构成部相比相对夸大了特征的脸部构成部。
[0057]另外，构成部特定用表格T是在构成部图像确定部6d进行的脸部构成部的确定中所使用的表格，例如，分别使肖像画图像P4的用途、原图像Pl内的脸部所涉及的人的特性及该人与用户之间的关系性、与眼、鼻、口、脸部轮廓等脸部构成部对应关联。
[0058]肖像画图像生成部6e生成示意性表示了脸部的肖像画图像P4。
[0059]即，肖像画图像生成部(生成单元)6e基于由构成部图像提取部6c提取出的特征部分、即脸部构成部，生成示意性表示了作为对象的脸部的肖像画图像P4。具体而言，肖像画图像生成部6e在比规定发型图像的脸部的轮廓更靠内侧的位置，确定例如重叠了眼、鼻、口、眉等各脸部构成部的部分图像M的位置，在该位置上重叠各脸部构成部的部分图像M，生成用肖像画表示了原图像Pl的肖像画图像P4的图像数据。此时，肖像画图像生成部6e在生成控制部6f的控制下,基于由构成部图像确定部6d确定出的规定数量的脸部构成部，生成肖像画图像P4(后述)。
[0060]另外，肖像画图像生成部6e也可以通过艺术变换处理而生成具有规定的视觉效果的肖像画图像P4。
[0061]作为艺术变换处理，例如，可列举加工成具有仿佛用彩色蜡笔描绘的视觉效果的图像的“蜡笔画风格”、加工成具有仿佛进行了丝网印刷的视觉效果的图像的“丝网印刷风格”、加工成具有仿佛用油彩画风描绘的视觉效果的图像的“油彩画风格”等，但这只是一例，并不限于此，可进行任意适当的变更。
[0062]另外，加工成具有各种视觉效果的图像的技术例如通过与使用了公知的图像处理关联的软件的处理大致相同的处理来实现，通过变更HSV颜色空间的色调、彩度、明亮度等或者使用各种滤波器来进行，但由于是公知的技术，因此省略详细的说明。此外，“〇〇风格”是指实施了可通过公知的图像处理关联的软件实现的艺术变换处理的视觉效果。
[0063]此外，肖像画图像生成部6e也可以生成向肖像画图像P4的规定部分(例如，眼、口、眉等脸部构成部等)赋予规定的颜色而表示的图像。
[0064]生成控制部6f通过肖像画图像生成部6e而生成肖像画图像P4。
[0065]即，生成控制部(生成控制单元)6f基于由构成部图像确定部6d确定的规定数量的脸部构成部，通过肖像画图像生成部6e生成肖像画图像P4。具体而言，生成控制部6f相对于该规定数量的脸部构 成部以外的其他脸部构成部相对地提高所确定的规定数量的脸部构成部的重要度，通过肖像画图像生成部6e生成肖像画图像P4。例如，生成控制部6f为了使所确定的规定数量的脸部构成部相对于其他脸部构成部更夸大特征，通过肖像画图像生成部6e生成肖像画图像P4。
[0066]在此，脸部构成部的夸大是指，为了加强视觉辨识者从该脸部构成部得到的印象，与其他脸部构成部相比增强(或者抑制)该脸部构成部的特征。此外，作为脸部构成部的夸大的一例，例如，可列举以相对增大(或者减小)眼、鼻、口等脸部构成部的大小等相对增强该脸部构成部自身的形状特征的方式进行变形、以相对增强该脸部构成部的色彩特征的方式改变颜色、以相对增强该脸部构成部的模样特征的方式进行变形或改变颜色等。此外，脸部构成部的夸大程度例如可以连续地改变，也可以阶段性地改变。
[0067]此外，生成控制部6f也可以根据构成部图像确定部6d对多个脸部构成部进行的规定的特征分析处理的结果，改变规定数量的脸部构成部相对于其他脸部构成部的相对特征的夸大程度，由此通过肖像画图像生成部6e生成肖像画图像P4。
[0068]例如,在通过构成部图像确定部6d确定为原图像Pl内的脸部在规定年龄(例如5岁等)以下(是幼儿)且该脸部的多个脸部构成部的特征与成为幼儿标准的基准的特征之间的类似度高的情况下，生成控制部6f相对增大规定数量的脸部构成部相对于其他脸部构成部的特征的夸大程度，通过肖像画图像生成部6e生成肖像画图像P4。另一方面，在该脸部的多个脸部构成部的特征与成为幼儿标准的基准的特征之间的类似度低的情况下，生成控制部6f相对减小规定数量的脸部构成部相对于其他脸部构成部的特征的夸大程度，通过肖像画图像生成部6e生成肖像画图像P4。
[0069]此外，例如，在肖像画图像P4的用途是礼物或公开用物，且通过构成部图像确定部6d确定为原图像Pl内的脸部是规定岁数(例如，10-19岁或20-29岁等)(怀春期到青年时期)的情况下，当该脸部的多个脸部构成部的特征与成为规定性别基准的特征之间的类似度高时(例如，女性时轮廓更圆，男性时轮廓更有棱角等)，生成控制部6f相对增大规定数量的脸部构成部相对于其他脸部构成部的特征的夸大程度，通过肖像画图像生成部6e生成肖像画图像P4。另一方面，在该脸部的多个脸部构成部的特征与成为规定性别基准的特征之间的类似度低的情况下(例如，女性时轮廓更有棱角，男性时轮廓圆等)，生成控制部6f相对减小规定数量的脸部构成部相对于其他脸部构成部的特征的夸大程度，通过肖像画图像生成部6e生成肖像画图像P4。
[0070]此外，例如，在肖像画图像P4的用途是礼物或公开用物，且通过构成部图像确定部6d确定为原图像Pl内的脸部是规定岁数(例如，30?59等)(中年期到中老年期)的情况下，当该脸部的多个脸部构成部的特征与成为年龄基准的特征之间的类似度高时(例如，法令纹或额头的皱纹深等)，生成控制部6f相对减小规定数量的脸部构成部相对于其他脸部构成部的特征的夸大程度(即，不会清楚地表示年龄)，通过肖像画图像生成部6e生成肖像画图像P4。另外，例如，用途是孙儿送给祖父母的礼物的情况下，生成控制部6f也可以相对增大规定数量的脸部构成部相对于其他脸部构成部的特征的夸大程度(即，清楚地表示年龄)，通过肖像画图像生成部6e生成肖像画图像P4。
[0071]此外，例如，在通过构成部图像确定部6d确定为原图像Pl内的脸部在规定岁数(例如，60-69岁等)以上(老年期)且该脸部的多个脸部构成部的特征与成为年龄基准的特征之间的类似度高的情况下(例如，法令纹或额头的皱纹深等)，生成控制部6f相对增大规定数量的脸部构成部相对于其他脸部构成部的特征的夸大程度(即，清楚地表示年龄)，通过肖像画图像生成部6e生成肖像画图像P4。另一方面，在该脸部的多个脸部构成部的特征与成为年龄基准的特征之间的类似度低的情况下(例如，法令纹或额头的皱纹浅等)，生成控制部6f相对减小规定数量的脸部构成部相对于其他脸部构成部的特征的夸大程度(即，不清楚地表示年龄)，通过肖像画图像生成部6e生成肖像画图像P4。
[0072]此外，生成肖像画图像P4之后，基于用户对操作输入部9进行的规定操作输入了脸部构成部的指定指示的情况下，生成控制部6f基于与指定指示对应的脸部构成部，通过肖像画图像生成部6e再次生成肖像画图像P4。
[0073]即，生成肖像画图像P4之后，在显示于显示部8的相对夸大的脸部构成部所涉及的第I目录(后述)及未被夸大的脸部构成部所涉及的第2目录(后述)之中，若基于用户对操作输入部(输入单元)9进行的规定操作，输入了在肖像画图像P4的再次生成中所使用的脸部构成部的指定指示，则生成控制部6f与其他脸部构成部相比相对提高与指定指示相对应的脸部构成部的重要度，通过肖像画图像生成部6e生成肖像画图像P4。
[0074]显示控制部7进行读出暂时保存在存储器4中的显示用图像数据并将其显示于显示部8的控制。
[0075]具体而言，显不控制部7 具备 VRAM (Video Random Access Memory)、VRAM 控制器、数字视频编码器等。并且，数字视频编码器经由VRAM控制器从VRAM定期读出在中央控制部10的控制下从存储器4读出并保存在VRAM (省略图示)中的亮度信号Y及色差信号Cb、Cr，基于这些数据产生视频信号后输出给显示部8。
[0076]显示部8例如是液晶显示面板,在显示画面上显示基于来自显示控制部7的视频信号而由摄像部I拍摄的图像等。具体而言，显示部8在静止图像摄像模式或动态图像摄像模式下，以规定的巾贞速率对通过摄像部I及摄像控制部2对被摄体进行的拍摄而生成的多个帧图像进行逐次更新的同时显示实时图像。此外，显示部8显示作为静止图像而记录的图像(记录浏览(rec view)图像)，或者作为动态图像而显示记录中的图像。
[0077]此外，显示部(报告单元)8在生成肖像画图像P4之后报告在该肖像画图像P4的生成中所使用的脸部构成部。
[0078]具体而言，显示控制部7生成在肖像画图像P4的生成中所使用的脸部构成部之中，与其他脸部构成部相比相对夸大的规定数量的脸部构成部的目录显示所涉及的第I画面数据，并且生成与其他脸部构成部相比并未相对夸大的脸部构成部的目录显示所涉及的第2画面数据。然后，显示控制部7向显示部8输出所生成的第I画面数据及第2画面数据，在显示部8上显示相对夸大的脸部构成部所涉及的第I目录及并不夸大的脸部构成部所涉及的第2目录。
[0079]在此，例如，在肖像画图像P4的用途是礼物或公开用物的情况下，显示部8可以显示被夸大。可以公开吗？”等确认画面。
[0080]另外，作为对象的特征部分、即脸部构成部的报告方式，例示了显示部8的脸部构成部的目录显示，但是这只是一例，并不限于此，可进行任意适当的变更。即，只要是可通过人的感官、尤其是视觉、听觉、触觉等来掌握并识别该脸部构成部的方法，脸部构成部的报告方式可以是任意的方式，例如，可以通过声音或振动等来报告特定的脸部构成部。
[0081]操作输入部9用于进行该摄像装置100的规定操作。具体而言，操作输入部9具备被摄体的拍摄指示所涉及的快门按钮、拍摄模式或功能等的选择指示所涉及的选择决定按钮、变焦量的调整指示所涉及的变焦按钮等(都省略了图示)的操作部，根据该操作部的各按钮的操作，向中央控制部10输出规定的操作信号。
[0082]中央控制部10控制摄像装置100的各部分。具体而言，虽然省略了图示，但是中央控制部10具备CPU (Central Processing Unit)等,利用摄像装置100用的各种处理程序(省略图示)进行各种控制动作。
[0083]接着，参照、图2?图4，说明摄像装置100的肖像画图像生成处理。
[0084]图2是表示肖像画图像生成处理所涉及的动作的一例的流程图。
[0085]肖像画图像生成处理是如下处理:在基于用户对操作输入部9进行的选择决定按钮的规定操作，从菜单画面所显示的多个动作模式之中选择并指示了肖像画图像生成模式的情况下，在中央控制部10的控制下通过该摄像装置100的各部分尤其是图像处理部6执行的。
[0086]此外，成为肖像画图像生成处理的处理对象的原图像Pl的图像数据预先被记录在图像记录部5中。
[0087]如图2所示，首先，显示控制部7使显示部8显示肖像画图像P4的多个用途的选择画面，构成部图像确定部6d在这些用途中指定基于用户对操作输入部9进行的规定操作而选择的任一个用途(步骤SI)。
[0088]接着，图像记录部5在被记录的图像数据中读出基于用户对操作输入部9进行的规定操作指定的原图像Pl (参照图3A)的图像数据，图像处理部6的图像获取部6a将读出的图像数据作为该肖像画图像生成处理的处理对象来获取(步骤S2)。
[0089]然后，构成部图像确定部6d指定所获取的原图像Pl内的人的特性以及与用户之间的关系性(步骤S3)。具体而言，例如，构成部图像确定部6d判定所获取的原图像Pl的图像数据上是否附加有原图像Pl内的人的特性以及与用户之间的关系性等附带信息。然后，在附加有附带信息的情况下，构成部图像确定部6d获取所附加的原图像Pl内的人的特性和与用户之间的关系性。另一方面，在没有附加附带信息的情况下，显示控制部7也可以使显示部8显示原图像Pl内的人的特性和与用户之间的关系性的输入画面，构成部图像确定部6d指定基于用户对操作输入部9的规定操作输入的原图像Pl内的人的特性和与用户之间的关系性，在原图像Pl的图像数据上附加表示原图像Pl内的人的特性以及与用户之间的关系性等的信息作为附带信息。
[0090]接着，脸部检测部6b对由图像获取部6a获取的原图像Pl的图像数据进行规定的脸部检测处理来检测脸部区域F (步骤S4)。
[0091]接着，构成部图像提取部6c提取脸部区域F内的脸部的主要脸部构成部来生成脸部构成部图像P3(步骤S5)。具体而言，构成部图像提取部6c对包含检测出的脸部区域F的脸部区域图像A进行微细部分提取处理(例如利用了 AAM的处理等)，例如，生成用线表示了眼、鼻、口、眉、头发、脸部轮廓等脸部构成部的脸部微细部分图像P2(参照图3B)。然后，构成部图像提取部6c通过微细部分提取处理生成包括存在于脸部区域F的脸部轮廓内的脸部构成部、及与该轮廓相连的脸部构成部、即例如眼、鼻、口、眉、脸部轮廓等主要的脸部构成部的部分图像M在内的脸部构成部图像P3(参照图3C)。
[0092]接着，构成部图像确定部6d基于指定完的肖像画图像P4的用途、原图像Pl内的人的特性和与用户之间的关系性，在由构成部图像提取部6c提取出的多个脸部构成部之中，通过该肖像画图像P4确定与其他脸部构成部相比相对夸大了特征的规定数量的脸部构成部(步骤S6)。具体而言，例如，构成部图像确定部6d参照构成部特定用表格T，确定与指定完的肖像画图像Ρ4的用途相对应关联的脸部构成部、与指定完的人的特性相对应关联的脸部构成部、与指定完的用户之间的关系性相对应关联的脸部构成部等，将该脸部构成部确定为与其他脸部构成部相比相对夸大了特征的脸部构成部。
[0093]接着，生成控制部6f通过肖像画图像生成部6e生成肖像画图像P4a (参照图4A)，以使在由构成部图像确定部6d确定的脸部构成部中与其他脸部构成部相比相对夸大特征(步骤S7)。具体而言，肖像画图像生成部6e在生成控制部6f的控制下，生成将由构成部图像确定部6d确定的脸部构成部自身的形状特征变形成相对地加以增强、或者改变颜色使得相对增强该脸部构成部的色彩特征、或者变形或改变颜色使得相对增强该脸部构成部的模样特征的部分图像M的图像数据。然后，肖像画图像生成部6e在比规定的发型图像的脸部轮廓更靠近内侧的位置处，确定使被相对夸大了的脸部构成部或未被夸大的脸部构成部的各部分图像M重叠的位置，在该位置上重叠各脸部构成部的部分图像M来生成肖像画图像P4a的图像数据。
[0094]之后，显示控制部7获取由肖像画图像生成部6e生成的肖像画图像P4a的图像数据，使显示部8显示该肖像画图像P4a，并且使显示部8显示用于输入肖像画图像P4的生成的结束指示或肖像画图像P4的修正指示的确认画面(省略图示)(步骤S8)。
[0095]另外，在肖像画图像P4的用途为公开用物的情况下，也可以通过上述的确认画面受理是否可公开的选择。
[0096]若用户判断为不满足肖像画图像P4a的完成而输入了肖像画图像P4a的修正指示(步骤S9:修正)，则显示控制部7使显示部8显示被相对夸大的脸部构成部所涉及的第I目录、和未被夸大的脸部构成部所涉及的第2目录(步骤S10)。具体而言，显示控制部7生成与其他脸部构成部相比相对夸大了的脸部构成部的目录显示所涉及的第I画面数据，并且生成与其他脸部构成部相比没有相对夸大的脸部构成部的目录显示所涉及的第2画面数据。然后，显示控制部7向显示部8输出所生成的第I画面数据及第2画面数据，使显示部8显示第I目录及第2目录。
[0097]然后，在第I目录及第2目录所涉及的多个脸部构成部之中，若基于用户对操作输入部9的规定操作而指定在肖像画图像P4a的再次生成中所使用的脸部构成部(步骤Sll)，则生成控制部6f将处理转移至步骤S7，通过肖像画图像生成部6e生成肖像画图像P4b(参照图4B)以使与其他脸部构成部相比使与指定指示相对应的脸部构成部得以夸大(步骤S7)。
[0098]另外，图4A表示与其他脸部构成部相比相对夸大了 “眼”、“眉”、“ 口 ”的肖像画图像P4a，图4B表示了与其他脸部构成部相比相对夸大了“眼”、“眉”的肖像画图像P4b，但这些只是一例，并不限于此，可任意地进行适当的变更。
[0099]之后，在步骤S8中，与上述大致相同地，显示控制部7使显示部8显示用于输入由肖像画图像生成部6e生成的肖像画图像P4b以及肖像画图像P4的生成的结束指示或肖像画图像P4的修正指示的确认画面(步骤S8)。
[0100]另一方面，若用户判定为满足肖像画图像P4a(或者肖像画图像P4b)完成而输入肖像画图像P4的生成的结束指示(步骤S9结束)，则结束该肖像画图像生成处理。
[0101]另外，在进行上述的肖像画图像生成处理时，也可以进行通过艺术变换处理将肖像画图像P4加工成具有各种视觉效果的图像的处理。
[0102]如以上所述，根据本实施方式的摄像装置100，以在肖像画图像P4的用途、原图像Pl内的脸部所涉及的人的特性及该人与用户之间的关系性之中的至少一项作为基准，在从原图像Pl内提取出的多个脸部构成部中确定用于肖像画图像P4的生成的规定数量的脸部构成部，并基于所确定的规定数量的脸部构成部来生成肖像画图像P4，因此能够考虑肖像画图像P4的用途、原图像Pl内的脸部所涉及的人的特性及该人与用户之间的关系性等来生成特征性的肖像画图像P4，能够从用户满足度的观点出发适当地生成肖像画图像P4。
[0103]具体而言，使所确定的规定数量的脸部构成部的重要度相对高于其他脸部构成部，即与其他脸部构成部相比相对夸大规定数量的脸部构成部，由此生成肖像画图像P4，因此能够使用根据肖像画图像P4的用途、原图像Pl内的脸部所涉及的人的特性及该人与用户之间的关系性等而确定的规定数量的脸部构成部，生成特征性的肖像画图像P4。由此，例如，能够抑制生成成为肖像画图像P4的模板的对象者不具备良好的印象的脸部构成部被夸大的肖像画图像P4、或没有充分表示肖像画图像P4的对象者特征的肖像画图像P4，能够减轻给成为肖像画图像P4的模板的对象者或肖像画图像P4的确认者所带来的不愉快感，即能够提高成为肖像画图像P4的模板的对象者或肖像画图像P4的确认者的满足度。
[0104]此外，根据肖像画图像P4的用途、原图像Pl内的脸部所涉及的人的特性及该人与用户之间的关系性等，在多个脸部构成部之中，通过肖像画图像P4确定与其他脸部构成部相比被相对夸大的规定数量的脸部构成部，因此能够适当地确定在肖像画图像P4的生成中所使用的脸部构成部。
[0105]另外，在生成肖像画图像P4之后，报告在该肖像画图像P4的生成中所使用的脸部构成部，基于用户对操作输入部9的规定操作，根据与所输入的指定指示对应的脸部构成部，通过肖像画图像生成部6e再次生成肖像画图像P4，因此即使假设例如生成了成为肖像画图像P4的模板的对象者不具备良好的印象的脸部构成部被夸大的肖像画图像P4、或没有充分表示肖像画图像P4的对象者特征的肖像画图像P4的情况下，也能够通过肖像画图像P4生成者的判断来重新指定脸部构成部，从而再次生成肖像画图像P4。
[0106]另外，本发明并不限于上述实施方式，在未脱离本发明的主旨的范围内，可进行各种改良以及设计的变更。
[0107]例如，在上述实施方式中，构成部图像确定部6d使用构成部特定用表格T确定了在肖像画图像P4的生成中所使用的脸部构成部，但是这只是构成部图像确定部6d进行的脸部构成部特定方法的一例，并不限于此，可任意地进行适当的变更。
[0108]另外，在上述实施方式中，作为肖像画图像而例示了肖像画图像P4，但是也可以是示意性表示了原图像Pl内的对象的图像，例如，所谓的头像(avatar image)等任意的图像。
[0109]此外，成为肖像画图像P4的生成源的图像不需要是表示正面脸的图像的情况下，例如，是脸部以规定轴为中心朝向斜向而倾斜的原图像PI时，也可以生成变形为该原图像Pl的脸部朝向正面的图像来加以利用。
[0110]另外，摄像装置100的构成中上述实施方式例示的只是一例，并不限于此。此外，作为图像生成装置，例示了摄像装置100，但是并不限于此，只要是能够执行本发明的图像生成处理就可以是任意的构成。[0111]除此之外，在上述实施方式中，在中央控制部10的CPU的控制下驱动图像获取部6a、构成部图像提取部6c、构成部图像确定部6d、生成控制部6f来实现了作为获取单元、提取单元、确定单元、生成控制单元的功能，但是并不限于此，也可以是由中央控制部10的CPU执行规定的程序等来实现的构成。
[0112]S卩，在存储程序的程序存储器(省略图示)中预先存储包括获取处理子程序、提取处理子程序、特定处理子程序、生成控制处理子程序的程序。然后，可以通过获取处理子程序使中央控制部10的CPU起到获取图像的单元的功能。此外，可以通过提取处理子程序使中央控制部10的CPU起到提取多个所获取的图像内的对象的特征部分的单元的功能。此夕卜，可以通过确定处理子程序使中央控制部10的CPU起到以在肖像画图像的用途、对象特性及对象与用户之间的关系性中的任一方作为基准来在所提取的多个特征部分之中确定肖像画图像的生成所使用的规定数量的特征部分的单元的功能。此外，可以通过生成控制处理子程序使中央控制部10的CPU起到基于所确定的规定数量的特征部分生成肖像画图像的单元的功能。
[0113]同样地，报告单元、输入单元也可以是通过由中央控制部10的CPU执行规定的程序等来实现的构成。
[0114]另外，作为保存了用于执行上述各处理的程序的计算机可读取介质，除了 ROM、硬盘等之外，还可以应用闪存等非易失性存储器、⑶-ROM等可移动型记录介质。此外，作为经由规定的通信线路提高提供程序数据的介质，还可以应用载波(carrier wave)。
[0115]说明了本发明的几个实施方式，但是本发明的范围并不限于上述的实施方式，包括与权利要求书记载的发明范围等同的范围。
[0116]以下，附记有在本申请的申请书中最初所添付的专利请求范围中所记载的发明。在附记中所记载的权利要求书的序号如在本申请的申请书中最初所添付的专利请求的范围中所记载那样。
[0117]附记
[0118]1、一种图像生成装置，其特征在于，具备:
[0119]提取单元(6c)，将图像内的脸部的特征部分提取多个；
[0120]生成单元(6e)，基于由所述提取单元提取出的特征部分，生成所述脸部的肖像画图像；
[0121]确定单元(6d)，将由所述生成单元生成的肖像画图像的用途、所述脸部的特性及所述脸部的主人与用户之间的关系性中的至少任一方作为基准，在由所述提取单元提取出的所述多个特征部分之中确定被用作所述肖像画图像的特征的特征部分；和
[0122]生成控制单元(6f)，基于由所述确定单元所确定的所述特征部分，控制所述生成单元的所述肖像画图像的生成。
[0123]2、根据权利要求1所述的图像生成装置，其特征在于，
[0124]所述生成控制单元与其他特征部分相比相对地提高所述特征部分的重要度，通过所述生成单元生成所述肖像画图像。
[0125]3、根据权利要求2所述的图像生成装置，其特征在于，
[0126]所述生成控制单元按照变更由所述确定单元确定出的所述特征部分相对于其他特征部分的相对夸大程度的方式，通过所述生成单元生成所述肖像画图像。[0127]4、根据权利要求3所述的图像生成装置，其特征在于，
[0128]所述确定单元根据所述肖像画图像的用途，在所述特征部分之中确定所述肖像画图像中与其他特征部分相比变更相对夸大程度的所述规定数量的特征部分。
[0129]5、根据权利要求3所述的图像生成装置，其特征在于，
[0130]所述确定单元根据所述脸部的特性，在所述特征部分之中确定所述肖像画图像中与其他特征部分相比变更相对夸大程度的所述规定数量的特征部分。
[0131]6、根据权利要求1所述的图像生成装置，其特征在于，
[0132]所述确定单元根据所述脸部与用户之间的关系性，在所述多个特征部分之中确定所述肖像画图像中与其他特征部分相比变更相对夸大程度的所述特征部分。
[0133]7、根据权利要求1所述的图像生成装置，其特征在于，
[0134]所述图像生成装置还具备:
[0135]报告单元⑶，在生成所述肖像画图像之后报告用于该肖像画图像的生成中的特征部分；和
[0136]输入单元(9)，基于用户对操作部进行的规定操作，输入用于所述肖像画图像的生成中的特征部分的指定指示，
[0137]所述生成控制单元基于与通过所述输入单元输入的指定指示对应的特征部分，通过所述生成单元再次生成所述肖像画图像。
[0138]8、根据权利要求1所述的图像生成装置，其特征在于，
[0139]所述生成控制单元与其他特征部分的大小相比相对地增大或减小由所述确定单元确定出的特征部分的大小。
[0140]9、根据权利要求1所述的图像生成装置，其特征在于，
[0141]所述生成控制单元将由所述确定单元确定的特征部分自身的形状特征变形为被相对增强。
[0142]10、根据权利要求1所述的图像生成装置，其特征在于，
[0143]所述生成控制单元进行颜色改变以使由所述确定单元确定的特征部分的色彩特征被相对增强。
[0144]11、根据权利要求1所述的图像生成装置，其特征在于，
[0145]所述生成控制单元进行变形或颜色改变以使由所述确定单元确定的特征部分的模样特征被相对增强。
[0146]12、一种图像生成方法，使用了生成示意性表示脸部的肖像画图像的图像生成装置，该图像生成方法的特征在于，包括:
[0147]将图像内的脸部的特征部分提取多个的提取步骤；
[0148]基于在所述提取步骤中提取出的特征部分生成所述脸部的肖像画图像的生成步骤；
[0149]以在通过所述生成步骤生成的肖像画图像的用途、所述脸部的特性及所述脸部的主人与用户之间的关系性中的至少任一方作为基准，在通过所述提取步骤提取出的所述多个特征部分之中确定被用作所述肖像画图像的特征的特征部分的特定步骤；和
[0150]基于通过所述特定步骤确定出的所述特征部分控制所述生成步骤的所述肖像画图像的生成的生成控制步骤。
【权利要求】
1.一种图像生成装置，其特征在于，具备: 提取单元(6C)，将图像内的脸部的特征部分提取多个； 生成单元^e)，基于由所述提取单元提取出的特征部分，生成所述脸部的肖像画图像； 确定单元(6d)，将由所述生成单元生成的肖像画图像的用途、所述脸部的特性及所述脸部的主人与用户之间的关系性中的至少任一方作为基准，在由所述提取单元提取出的所述多个特征部分之中确定被用作所述肖像画图像的特征的特征部分；和 生成控制单元(6f)，基于由所述确定单元所确定的所述特征部分，控制所述生成单元的所述肖像画图像的生成。
2.根据权利要求1所述的图像生成装置，其特征在于， 所述生成控制单元与其他特征部分相比相对地提高所述特征部分的重要度，通过所述生成单元生成所述肖像画图像。
3.根据权利要求2所述的图像生成装置，其特征在于， 所述生成控制单元按照变更由所述确定单元确定出的所述特征部分相对于其他特征部分的相对夸大程度的方式，通过所述生成单元生成所述肖像画图像。
4.根据权利要 求3所述的图像生成装置，其特征在于， 所述确定单元根据所述肖像画图像的用途，在所述特征部分之中确定所述肖像画图像中与其他特征部分相比变更相对夸大程度的所述规定数量的特征部分。
5.根据权利要求3所述的图像生成装置，其特征在于， 所述确定单元根据所述脸部的特性，在所述特征部分之中确定所述肖像画图像中与其他特征部分相比变更相对夸大程度的所述规定数量的特征部分。
6.根据权利要求1所述的图像生成装置，其特征在于， 所述确定单元根据所述脸部与用户之间的关系性，在所述多个特征部分之中确定所述肖像画图像中与其他特征部分相比变更相对夸大程度的所述特征部分。
7.根据权利要求1所述的图像生成装置，其特征在于， 所述图像生成装置还具备: 报告单元(8)，在生成所述肖像画图像之后报告用于该肖像画图像的生成中的特征部分；和 输入单元(9)，基于用户对操作部进行的规定操作，输入用于所述肖像画图像的生成中的特征部分的指定指示， 所述生成控制单元基于与通过所述输入单元输入的指定指示对应的特征部分，通过所述生成单元再次生成所述肖像画图像。
8.根据权利要求1所述的图像生成装置，其特征在于， 所述生成控制单元与其他特征部分的大小相比相对地增大或减小由所述确定单元确定出的特征部分的大小。
9.根据权利要求1所述的图像生成装置，其特征在于， 所述生成控制单元将由所述确定单元确定的特征部分自身的形状特征变形为被相对增强。
10.根据权利要求1所述的图像生成装置，其特征在于，所述生成控制单元进行颜色改变以使由所述确定单元确定的特征部分的色彩特征被相对增强。
11.根据权利要求1所述的图像生成装置，其特征在于， 所述生成控制单元进行变形或颜色改变以使由所述确定单元确定的特征部分的模样特征被相对增强。
12.—种图像生成方法，使用了生成示意性表示脸部的肖像画图像的图像生成装置，该图像生成方法的特征在于，包括: 将图像内的脸部的特征部分提取多个的提取步骤； 基于在所述提取步骤中提取出的特征部分生成所述脸部的肖像画图像的生成步骤； 以在通过所述生成步骤生成的肖像画图像的用途、所述脸部的特性及所述脸部的主人与用户之间的关系性中的至少任一方作为基准，在通过所述提取步骤提取出的所述多个特征部分之中确定被用作所述肖像画图像的特征的特征部分的特定步骤；和 基于通过所述特定步骤确定出的所述特征部分控制所述生成步骤的所述肖像画图像的生成的生成控 制步骤。
【文档编号】G06T1/00GK103997593SQ201410054315
【公开日】2014年8月20日 申请日期:2014年2月18日 优先权日:2013年2月18日
【发明者】山本量平, 加福滋, 岛田敬辅, 笠原大圣, 佐佐木雅昭 申请人:卡西欧计算机株式会社