图像生成装置以及图像生成方法
【专利说明】图像生成装置以及图像生成方法
[0001 ] 本申请基于并主张于2014年12月22日提交的在先日本专利申请N0.2014-259355的优先权，其全文通过参考结合于此文。
技术领域
[0002]本发明涉及图像生成装置以及图像生成方法。
【背景技术】
[0003]过去以来，存在从照片自动地制作肖像画的技术。如JP特开2003—85576号公报所记载的技术那样，存在将照片的图像2值化或改变成绘画风格，忠实地再现原图像的技术。
[0004]但是，在上述的专利文献I所记载的技术中，仅是忠实地再现原图像，不能从原图像新生成表现丰富的角色(character)图像。
【发明内容】
[0005]本发明鉴于这样的状沉而作，其目的在于从原图像生成表现丰富的角色图像。
[0006]图像生成装置具备运算电路，并将所述运算电路设定为进行如下处理:根据从原图像数据中导出的被摄体的脸部的图像来确定所述被摄体的感情，基于所述脸部的图像来生成第I图像，从多个对应图像中选择表现了所述确定的感情的对应图像，将所述第I图像和所述选择的对应图像进行合成来生成第2图像。
【附图说明】
[0007]图1是表示本发明的一个实施方式所涉及的摄像装置的硬件构成的框图。
[0008]图2是用于说明本实施方式中的角色图像的制作流程的示例的示意图。
[0009]图3-A是用于说明本实施方式中的角色图像的制作方法的示意图。
[0010]图3-B是用于说明本实施方式中的角色图像的制作方法的示意图。
[0011]图3-C是用于说明本实施方式中的角色图像的制作方法的示意图。
[0012]图4是表示图1的摄像装置的功能构成当中用于执行角色图像生成处理的功能构成的功能框图。
[0013]图5是说明具有图4的功能构成的图1的摄像装置所执行的角色图像生成处理的流程的流程图。
【具体实施方式】
[0014]以下使用附图来说明本发明的实施方式。
[0015]图1是表示本发明的一个实施方式所涉及的摄像装置的硬件构成的框图。
[0016]摄像装置I例如构成为数字摄像机。
[0017]摄像装置I具备:作为运算电路的CPU(Central Processing Unit，中央处理器)11N ROM (Read Only Memory，只读存储器)12、RAM(Random Access Memory，随机存取存储器)13、总线14、输入输出接口 15、摄像部16、输入部17、输出部18、存储部19、通信部20、和驱动器21。
[0018]CPUll按照记录于R0M12的程序、或从存储部19载入到RAM13的程序来执行各种处理。
[0019]在RAM13中还适当存储CPUll执行各种处理所需要的数据等。
[0020]CPUll、R0M12以及RAM13经由总线14相互连接。在该总线14还连接有输入输出接口15ο在输入输出接口 15连接有摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动器21。
[0021]虽未图示，但摄像部16具备光学透镜部和图像传感器。
[0022]光学透镜部由为了对被摄体进行拍摄而使光会聚的透镜、例如聚焦透镜、变焦透镜等构成。
[0023]聚焦透镜是使被摄体像成像在图像传感器的受光面的透镜。变焦透镜是使焦距在一定的范围内自由变化的透镜。
[0024]在光学透镜部还根据需要设置调整焦点、曝光、白平衡等设定参数的外围电路。
[0025]图像传感器由光电变换元件、AFE(AnalogFront End，模拟前端)等构成。
[0026]光电变换元件例如由CMOS(ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体)型的光电变换元件等构成。被摄体像从光学透镜部入射到光电变换元件。因此，光电变换元件对被摄体像进行光电变换(摄像)，将图像信号积蓄一定时间，并将积蓄后的图像信号作为模拟信号依次提供给AFE。
[0027]AFE对该模拟的图像信号执行A/D(Analog/Digital，模拟/数字)变换处理等各种信号处理。通过各种信号处理而生成数字信号，并将其作为摄像部16的输出信号而输出。
[0028]以下将这样的摄像部16的输出信号称作“摄像图像的数据”。将摄像图像的数据适当提供给CPU11、未图示的图像处理部等。
[0029]输入部17由各种按钮等构成，根据用户的指示操作来输入各种信息。
[0030]输出部18由显示器、扬声器等构成，输出图像、声音。
[0031]存储部19由硬盘或DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成，存储各种图像的数据。
[0032]通信部20控制经由包括因特网在内的网络在与其它装置(未图示)之间进行的通
?目O
[0033]在驱动器21适当安装由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。将通过驱动器21从可移动介质31读出的程序根据需要安装在存储部19中。另外，可移动介质31也能够与存储部19同样地存储在存储部19中存储的图像的数据等各种数据。
[0034]如此构成的摄像装置I具有从包含所拍摄的人(被摄体)的脸部的图像制作包含人的脸部并进行了角色化的角色图像的功能。另外，摄像装置I基于人的脸部的表情来制作脸部以外的部分的角色图像。
[0035]图2是用于说明本实施方式中的角色图像的制作流程的示例的示意图。
[0036]如图2的示例所示，角色图像每次使用由摄像部16进行拍摄的图像数据。或进行摄像机拍摄或选择存储在存储部19中的图像数据，来指定用于脸部图像的制作的图像数据(以下称作“原图像数据”)。原图像数据构成包含被摄体的脸部的图像(以下称作被摄体图像)。
[0037]然后针对原图像数据进行脸部识别的解析。结果，从被摄体图像中检测被摄体(例如人物的脸部)的脸部部位和脸部的表情。
[0038]另外，基于所检测出的脸部部位，进行肖像画变换(角色变换)，来进行将人的实拍的图像进行了二维化的图像即第I图像(以下称作“脸部图像”)的自动制作。
[0039]基于脸部识别的解析结果当中所检测出的脸部的表情，来进行对人的脸部以外的躯体、上半身进行了修改的图像即对象图像(以下称作“姿态图像”)的自动选择。姿态图像是包含用户(被摄体)的姿势或行动、动作的图像。例如在所检测出的表情是笑脸的情况下，作为表现喜悦的感情而包含举起双手(欢呼)的姿态、跳跃的姿态等。
[0040]之后，将所制作成的第I图像即脸部图像和所选择的姿态图像进行合成，来制作将人物角色化的图像即第2图像(以下称作“角色图像”)。
[0041]这时，在角色图像中追加字符的情况下，进行字符的输入和字符的大小、角度调整，来制作角色图像。
[0042]最终制作出的角色图像作为在聊天、即时消息、邮件等中代替文本消息而直观地传递感情等的消息工具来使用。
[0043]图3是用于说明本实施方式中的角色图像的制作方法的示意图。
[0044]如图3-A所示，基于从被摄体图像OI检测出的脸部部位Pl到P4来自动地制作脸部图像FI。从实拍的图像提取构成图像的特征部分(本实施方式中为脸部部位)来制作动画图像(二维的图像)的技术使用现有的脸部图像制作技术。
[0045]另外，关于姿态图像PI，如图3-B所示，在本实施方式中，基于从被摄体图像OI检测出的脸部的表情(例如笑脸的表情)，从按笑脸、哭脸等表情所表现的每个感情来管理的姿态图像群PI (s) 1、PI (s) 2、PI (s) η中自动地选择与所检测出的表情所表现的感情相对应的姿态图像群PI(s)。
[0046]另外，如图3-C所示，将所制作成的脸部图像FI和所选择的姿态图像PI进行合成来制作角色图像Cl。最终，对于角色图像而言，按照所选择的每个姿态图像群PI(S)而自动制作角色图像群CI(s)。
[0047]因此，在本实施方式中，由于将与脸部的表情所表现的感情相应的姿态图像与基于脸部而制作成的脸部图像进行合成来制作角色图像，因此所制作成的角色图像从脸部和姿态这两方面来反映脸部的表情所表现的感情，作为角色图像整体来表现感情等，成为多种多样、更直观地表现了感情等的图像。
[0048]图4是表示这样的摄像装置I的功能构成当中用于执行角色图像生成处理的功能构成的功能框图。
[0049]所谓角色图像生成处理，是指基于根据从原图像数据确定的脸部部位而制作成的第I图像、和根据从原图像数据确定的脸部的表