图像处理装置以及图像显示装置的制造方法
【技术领域】
[0001]本发明涉及一种图像处理装置以及具备该图像处理装置的图像显示装置，在摄像部的摄像方向与显示部的显示方向一致的所谓的自拍摄影的情况下，生成适当的自拍图像。
【背景技术】
[0002]在便携式电话、平板电脑、笔记本电脑、电视机等的各种显示器中，存在将摄像部的摄像方向与显示部的显示方向朝向同一方向配置并且以自己的脸部为被摄体来进行摄像的所谓的自拍摄影。
[0003]自拍摄影的代表性的应用有以下2个。一个是通过在远程地点的对象所保有的显示器中显示摄像图像从而能够进行与远程地点的对象的对话的视频聊天或者TV会议功能。另一个是通过使所摄像的图像左右反转来进行镜像显示从而能够进行需要确认自己的脸部的化妆等操作的镜子功能。
[0004]由于在视频聊天中对象的脸部显示于显示部，在镜子功能中自己的脸部显示于显示部，因此使用者会注视显示部而并非摄像部。由于所摄像的被摄体的视线方向与摄像部的摄像方向并不一致，因此所摄像的被摄体并不朝向正面，位于远程地点的对象、或者被摄体本人即使观察摄像图像，也成为视线与被摄体不一致的状态。作为校正该被摄体的脸部方向的方法，例如在下述专利文献I中公开了一种方法，在图像显示部的显示画面的外侧部，分散配置多个摄像单元，根据由各摄像单元得到的多个摄像数据对被摄体的图像进行处理来得到三维图像，由此生成与摄像部正对的被摄体的图像。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1:JP特开2004-159061号公报
【发明内容】
[0008]发明要解决的课题
[0009]但是，在上述方法中，会修正为所摄像到的被摄体总是与显示画面正对的图像。例如，即使在想要拍摄被摄体的侧脸时也被修正为正对的图像，难以生成适当的自拍图像。
[0010]本发明鉴于上述课题而发明，其目的在于提供一种图像处理装置，在摄像部的摄像方向与显示部的显示方向一致的所谓自拍摄影的情况下，生成适当的自拍图像。
[0011]用于解决课题的手段
[0012]根据本发明的一观点，本发明的图像处理装置具备:脸部信息检测部，其从图像数据检测被摄体的脸部位置信息、脸部大小信息和脸部成分信息；脸部方向计算部，其根据所述脸部位置信息、所述脸部大小信息和所述脸部成分信息，来计算出所述被摄体的脸部方向信息；图像平行移动部，其使所述图像数据进行平行移动以使所述脸部位置信息成为所述图像数据的中心；脸部模型生成部，其基于所述脸部位置信息、所述脸部大小信息、所述脸部成分信息和所述脸部方向信息，使表示脸部的立体形状的脸部立体形状模板信息进行变形来生成所述被摄体的脸部模型；和图像生成部，其基于所述脸部方向信息和所述脸部模型，来生成按照所述被摄体的脸部成为正面脸部的方式进行了变换的图像，所述图像处理装置根据所述脸部方向信息，对输出由所述图像平行移动部进行了平行移动的图像数据的处理、和输出由所述图像生成部生成的图像数据的处理进行切换。
[0013]此外，根据本发明的其他观点，提供一种图像显示装置，其具备:摄像部，其对被摄体进行摄像；所述图像处理装置，其对由所述摄像部摄像到的所述被摄体的图像数据进行处理；和发送部，其发送在所述图像处理装置中生成的图像。
[0014]此外，根据本发明的其他观点，提供一种图像显示装置，其具备:摄像部，其对被摄体进行摄像；所述图像处理装置，其对由所述摄像部摄像到的所述被摄体的图像数据进行处理；和接收部，其接收由其他带摄像部的图像显示装置生成的图像数据。
[0015]发明效果
[0016]根据本发明，在摄像部的摄像方向与显示部的显示方向一致的所谓自拍摄影的情况下，能够根据被摄体的脸部方向进行适当的图像处理，并能够生成适当的自拍摄像图像。
【附图说明】
[0017]图1是表示具备本发明的图像处理装置的图像显示装置的第I实施例的系统构成的图。
[0018]图2是说明由脸部信息检测部检测出的脸部成分信息、脸部的大小信息和脸部的位置信息的图。
[0019]图3是说明被摄体的脸部方向信息与眼睛的配置的关系的图。
[0020]图4是说明被摄体的脸部的朝向与摄像部的摄像方向所成的角度的图。
[0021]图5是说明图像平行移动部的动作的图。
[0022]图6是说明图像平行移动部的动作的图。
[0023]图7是说明在脸部模型生成中使用的脸部立体形状模板信息的图。
[0024]图8是说明所生成的脸部模型的图。
[0025]图9是说明图像生成部的动作的图。
[0026]图10是本发明的第I实施例中的动作的流程图。
[0027]图11是表示具备本发明的图像处理装置的图像显示装置的第2实施例的系统构成的图。
【具体实施方式】
[0028]以下，参照附图来说明本发明的实施例。另外，附图示出了依据本发明的原理的具体的实施例和实现例，但它们是用于理解本发明，决不是用于限制性地解释本发明。此外，各图中的构成，为了容易理解而夸张地进行了记载，与实际的间隔、大小不同。
[0029]<第I实施例>
[0030]图1是表示具备本发明的图像处理装置101的图像显示装置100的实施例的图，表示由图像显示装置100对被摄体进行自拍，根据所摄像到的自己的图像来生成适当的自拍图像，将生成图像显示于显示部104的情况下的示例。
[0031]以下，使用图1来详细说明本发明的第I实施例的系统构成以及动作的详细情况。本实施例所涉及的图像显示装置100例如是带照相机的便携式电话、平板电脑等的通信终端，能够进行图像的摄像、摄像到的图像的保存和传输等。
[0032]图像显示装置100具备摄像部103、显示部104、存储部105、图像处理装置101、收发部106和输入输出部107。此外，图像显示装置100通过收发部106与外部网络113连接，与其他的通信设备等连接。
[0033]摄像部103具备摄像透镜以及CCD (Charge Coupled Device:电荷親合器件)、CMOS (Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等摄像元件，能够对被摄体的静止图像、动态图像进行摄像。
[0034]显不部104 是 LCD (Liquid Crystal Display:液晶显不器)、有机 EL (ElectroLuminescence:电致发光)显示器等的显示画面，对图像、文字等的信息、被摄体的图像等进行显示。
[0035]图像处理装置101例如能够由CPU (Central Processing Unit:中央处理装置)、GPU (Graphic Processing Unit:图像处理用处理装置)等构成，从摄像部103、存储部105、输入输出部107、收发部106等取得图像、文本、声音等信息进行处理，向显示部104、存储部105等输出处理后的信息。
[0036]此外，图像处理装置101具备脸部信息检测部108、脸部方向计算部109、图像平行移动部110、脸部模型生成部111和图像生成部112。脸部信息检测部108从输入到图像处理装置101的图像数据中，提取脸部信息(被摄体的脸部的位置信息、脸部的大小信息、以及脸部成分信息即眼睛、鼻、口等脸部的特征)。
[0037]脸部方向计算部109基于由脸部信息检测部108检测出的脸部信息，来计算出被摄体的脸部方向信息。此外，图像平行移动部110对图像数据的脸部区域进行平行移动以使所检测出的被摄体的脸部位置信息成为图像中心。
[0038]脸部模型生成部111基于由脸部信息检测部108检测出的脸部信息、由脸部方向计算部109计算出的脸部方向信息和脸部立体形状模板信息，来生成与被摄体相应的脸部模型。关于脸部立