图像处理装置、图像处理方法及图像处理程序的制作方法

专利名称：图像处理装置、图像处理方法及图像处理程序的制作方法
技术领域：
本发明涉及能够放大包含在图像中的脸部图像的图像处理装置、图像处理方法及图像处理程序。
背景技术：
在绘画或者雕刻等美术领域中，作为施加使主题的特征夸张或强调主题的特征的形变的表现方法之一有变形(deformation)(以下称作“形变处理”)。形变处理还经常用于漫画、动画片或者游戏等娱乐领域中，通过放大描绘登场人物的脸部、将其他身体部分描绘得较小，从而以头部为身长的二分之一或三分之一的比例表现登场人物。从放大后的脸部可以得到关于个人特定的信息、感情信息、基于读唇的信息等各种有用的信息。专利文献I记载了如下的游戏装置通过对实际的人物的脸部图像进行形变处理 来生成大致头部为身长二分之一的登场人物图像，从而容易知道脸部的表情。在先技术文献专利文献专利文献I JP特开2004-313225号公报

发明内容
(发明想要解决的课题)利用具有小型显示器的移动电话或者便携式数字音乐播放器等便携终端来视听电视节目、新闻节目或者英语节目等影像内容的用户正在增加。但是，利用便携终端的小型显示器显示了面向家庭内设置的大型显示器而制作的影像内容的情况下，或者将以高像素数表现的影像内容下采样为低像素数来缩小图像从而进行显示的情况下，脸部图像的总像素数变少。因此，与大型显示器相比，从显示器上显示的脸部图像获得的各种信息、即确定个人的信息、感情信息、基于读唇的信息的量大幅减少。在专利文献I记载的装置中，是如游戏装置那样对预先准备的形变处理成头部为身长的二分之一比例的动画图像粘贴实际人物的脸部图像，而不是对电视节目、电影等中放映出的实际人物图像实施形变处理。此外，并没有根据便携终端的显示器的画面尺寸、显示图像尺寸或者像素数，将脸部图像放大为合适的大小。本发明鉴于上述情况而完成，其目的在于提供一种图像处理装置、图像处理方法及图像处理程序，通过放大在显示器上显示的人物的脸部图像，从而即使在例如利用小型显示器视听节目时也能够从脸部图像中获得上述的有用信息。(用于解决课题的手段)本发明的图像处理装置进行图像处理，具备获取图像的图像获取单元；提取该图像获取单元获取到的图像中包含的脸部图像的提取单元；根据所述图像获取单元获取到的图像及所述提取单元提取出的脸部图像各自的尺寸来放大该脸部图像的放大单元；和将该放大单元放大后的脸部图像与所述图像获取单元获取到的图像进行合成的单元。
在本发明中，从图像中提取脸部图像，并对提取出的脸部图像进行放大处理，因此能够从放大脸部图像中获得关于个人特定的信息、感情信息、基于读唇的信息等各种有用的信息。更详细而言，在本发明中，由于基于图像的尺寸及从图像中提取出的脸部图像的尺寸来放大脸部图像，因此能够以与包括脸部图像的图像的尺寸相应的适当尺寸放大脸部图像。本发明的图像处理装置进行图像处理，具备获取图像的图像获取单元；提取该图像获取单元获取到的图像中包含的脸部图像的提取单元；缩小所述图像获取单元获取到的图像的单元；获取图像的缩小所涉及的信息的获取单元；根据所述图像获取单元获取到的图像及所述提取单元提取出的脸部图像各自的尺寸、以及所述获取单元获取到的信息，放大该脸部图像的放大单元；和将该放大单元放大后的脸部图像与所述图像获取单元获取到的图像进行合成的单元。在本发明中，按照图像的缩小所涉及的信息来缩小图像，并放大缩小后的图像中所包含的脸部图像，因此即使在缩小了图像的情况下，也能够从脸部图像获得有用的信息。本发明的图像处理装置进行图像处理，具备获取图像的图像获取单元；提取该图像获取单元获取到的图像中包含的脸部图像的提取单元；测量与外部物体之间的距离的距离测量单元；根据所述图像获取单元获取到的图像及所述提取单元提取出的脸部图像各自的尺寸、以及由所述距离测量单元测量出的距离，放大该脸部图像的放大单元；和将该放大单元放大后的脸部图像与所述图像获取单元获取到的图像进行合成的单元。在本发明中，由于根据图像显示装置与视听者等外部物体之间的距离来放大脸部图像，因此即使因视听距离变长而导致显示画面看上去较小的情况下，也能够从脸部图像中获得有用的信息。在本发明的图像处理装置中，所述放大单元具备基于所述图像的像素数及所述脸部图像的像素数来计算放大率的放大率计算部；和按照由该放大率计算部计算出的放大率来放大所述脸部图像的放大部。在本发明中，按照基于图像的像素数及脸部图像的像素数计算出的放大率来放大脸部图像，因此能够从脸部图像中获得有用的信息。在本发明的图像处理装置中，所述放大率计算部根据所述图像及所述脸部图像的像素数的比率来计算出放大率。在本发明中，根据图像的像素数及脸部图像的像素数的比率来计算出放大率，并按照该放大率来放大脸部图像，因此能够从脸部图像中获得有用的信息。本发明的图像处理装置还具备在按照由所述放大率计算部计算出的放大率放大后的脸部图像超过特定尺寸时减小该放大率的单元，所述放大部以由所述放大率计算部减小后的放大率来放大所述脸部图像。在本发明中，在以按照图像的像素数及脸部图像的像素数的比率计算出的放大率 放大后的脸部图像的尺寸比特定的尺寸大的情况下，减小该放大率，以减小后的放大率放大脸部图像。因此，能够按照脸部图像收敛于显示画面内的方式放大脸部图像。本发明的图像处理装置进行图像处理，具备获取图像的图像获取单元；缩小该图像获取单元获取到的图像的图像缩小单元；从所述图像获取单元获取到的图像中提取脸部图像的提取单元；以比所述图像缩小单元中的图像的缩小率小的缩小率缩小该提取单元提取出的脸部图像的脸部图像缩小单元；和合成由所述图像缩小单元缩小后的图像及由所述脸部图像缩小单元缩小后的脸部图像的单元。在本发明中，缩小图像并从该图像中提取脸部图像，缩小提取出的脸部图像，合成该缩小后的脸部图像及该缩小后 的图像，因此即使在利用了缩小后的脸部图像的情况下也能够放大在显示画面上显示的脸部图像。本发明的图像处理方法进行图像处理，包括获取图像的图像获取步骤；提取在该图像获取步骤中获取到的图像中包含的脸部图像的提取步骤；根据所述图像获取步骤中获取到的图像及所述提取步骤中提取出的脸部图像各自的尺寸来放大该脸部图像的放大步骤；和合成该放大步骤中放大后的脸部图像及所述图像获取步骤中获取到的图像的步骤。在本发明中，对从图像中提取出的脸部图像进行放大处理，因此能够从脸部图像中获得关于个人特定的信息、感情信息、基于读唇的信息等各种有用的信息。更详细而言，在本发明中，由于基于图像的尺寸及从图像提取出的脸部图像的尺寸来放大脸部图像，因此能够以基于包括脸部图像在内的图像的尺寸的适当尺寸放大脸部图像。本发明的图像处理方法进行图像处理，包括获取图像的图像获取步骤；提取该图像获取步骤中获取到的图像中包含的脸部图像的提取步骤；缩小所述图像获取步骤中获取到的图像的图像缩小步骤；获取图像的缩小所涉及的信息的获取步骤；根据所述图像获取步骤中获取到的图像及所述提取步骤中提取出的脸部图像各自的尺寸、以及所述获取步骤中获取到的信息，来放大该脸部图像的放大步骤；和合成该放大步骤中放大后的脸部图像及所述图像获取步骤中获取到的图像的步骤。在本发明中，根据图像的缩小所涉及的信息来缩小图像，并放大缩小后的图像中包含的脸部图像，因此即使在缩小了图像的情况下，也能够从脸部图像中获得有用的信息。本发明的图像处理方法进行图像处理，包括获取图像的图像获取步骤；提取该图像获取步骤中获取到的图像中包含的脸部图像的提取步骤；测量与外部物体之间的距离的距离测量步骤；根据所述图像获取步骤中获取到的图像及所述提取步骤中提取出的脸部图像各自的尺寸、以及所述距离测量步骤中测量出的距离来放大该脸部图像的放大步骤；和合成该放大步骤中放大的脸部图像及所述图像获取步骤中获取到的图像的步骤。在本发明中，根据图像显示装置与视听者等外部物体之间的距离来放大脸部图像，因此即使视听条件不好，也能从脸部图像中获得有用的信息。本发明的图像处理程序使计算机执行图像处理，该图像处理程序使计算机起到如下功能从包括脸部图像的图像中提取该脸部图像的提取单元；根据该图像及该提取单元提取出的脸部图像各自的尺寸来放大该脸部图像的放大单元；和合成该放大单元放大后的脸部图像及所述图像的单元。在本发明中，对从图像中提取出的脸部图像进行放大处理，因此能够从脸部图像中获得有用的信息。更详细而言，在本发明中，由于基于图像的尺寸及从图像中提取出的脸部图像的尺寸来放大脸部图像，因此能够根据包括脸部图像在内的图像的尺寸来以适当尺寸放大脸部图像。本发明的图像处理程序使计算机执行图像处理，该图像处理程序使计算机起到如下功能从包括脸部图像的图像中提取该脸部图像的提取单元；缩小图像的缩小单元；根据图像及所述提取单元提取出的脸部图像各自的尺寸、以及所述图像的缩小所涉及的信息来放大该脸部图像的放大单元；和合成该放大单元放大的脸部图像及所述图像的单元。在本发明中，根据图像的缩小所涉及的信息来缩小图像，并放大包含在缩小后的图像中的脸部图像，因此即使缩小图像，也能够从脸部图像获得有用的信息。本发明的图像处理程序使计算机执行图像处理，该图像处理程序使计算机起到如下功能从包括脸部图像的图像中提取该脸部图像的提取单元；根据图像及所述提取单元提取出的脸部图像各自的尺寸、以及与外部物体之间的距离来放大该脸部图像的放大单元；和合成该放大单元放大的脸部图像及所述图像的单元。在本发明中，基于图像显示装置与视听者等外部物体之间的距离来放大脸部图像，因此即使视听距离较长而导致视听条件不好的情况下，也能够从脸部图像中获得有用的信息。 (发明效果)根据本发明的图像处理装置、图像处理方法及图像处理程序，由于对图像所包含的脸部图像实施放大处理，因此即使在显示图像的显示画面较小的情况下，视听者也能够从脸部图像中获得有用的信息。


图I是表示实施方式I的图像处理装置的结构例的框图。图2是表示放大处理脸部图像之前的显示图像的一例的说明图。图3是为了放大在显示图像中描绘的人物的脸部图像而应用的参数的一例的说明图。图4是表示显示图像中所描绘的图像、即通过合成放大脸部图像及显示图像而得到的合成图像的一例的说明图。图5是表示实施方式I的图像处理装置中的图像处理的流程的流程图。图6是表示实施方式2中的图像显示装置的显示画面及显示图像的关系例的说明图。图7是表示实施方式2的图像处理装置的结构例的框图。图8是表示实施方式2的图像处理装置的图像处理的流程的流程图。图9是表示实施方式3的图像处理装置的结构例的框图。图10是表示实施方式3的图像处理装置的图像处理的流程的流程图。图11是表示显示放大处理的对象的画面例的说明图。图12是表示在图11所示的显示画面的上部显示着第I菜单画面的状态的画面例的说明图。图13是表示在图12所示的第I菜单画面中选择了 “功能设定”时重新显示的第2菜单画面的画面例的说明图。图14是在图13所示的第2菜单画面中选择了 “脸部变形模式”时重新显示的第3菜单画面的画面例的说明图。图15是表示在图14所示的第3菜单画面中选择了详细设定时重新显示的第4菜单画面的画面例的说明图。
图16是说明实施方式4的脸部图像放大处理的说明图。图17是表示实施方式4的图像处理的流程的流程图。图18是表示在实施方式5的图像处理装置中关于程序的执行的结构例的框图。
具体实施例方式以下，参照附图详细说明本发明的实施方式。实施方式I实施方式I的图像处理装置的结构是根据图像数据的像素数及图像数据中所包含的脸部图像的像素数，对脸部图像实施形变处理。图I是表示实施方式I的图像处理装置I的结构例的框图。图像处理装置I具备控制部10、非易失性存储器11、易失性存储器12、操作部13、输入部14、数据提取部15、脸部图像提取部16、放大率计算部17、图像生成部18及输出部19，经由总线31连接各结构部。并且，图像处理装置I经由输出部19与图像显示装置2连接。控制部10 例如由 CPU (Central Processing Unit)或者 MPU (Micro ProcessorUnit)等构成,并经由总线31控制各结构部的动作。操作部13是例如鼠标、键盘、触摸面板、按钮及开关等数据输入用设备。操作部13也可以是利用红外线或者电波等以远程操作向图像处理装置I发送控制信号的遥控器。输入部14例如从数字广播调谐器、HD (Hard Disk)驱动器、DVD (DigitalVersatile Disc)驱动器、个人计算机、数码相机等图像设备中获取图像数据。图像数据例如是以 MPEG (Moving Picture Experts Group) -2 方式压缩编码后的 TS (TransportStream)中所包含的压缩图像数据。输入部14向数据提取部15输出从图像设备获取到的压缩图像数据。TS是复用信号形式之一，用作数字广播的复用信号。TS是TS数据包连续的信号列，TS数据包中带有首部信息。数据提取部15对从输入部14获取到的压缩图像数据进行解码，并且分析首部信息，求出图像整体(以下称作“显示图像”)的总像素数、纵像素数及横像素数，并输出给控制部10。此外，数据提取部15向脸部图像提取部16及图像生成部18或输出部19输出解码后的图像数据。脸部图像提取部16从数据提取部15获取图像数据，并从对应于该图像数据的图像之中提取脸部图像，求出提取出的脸部图像的总像素数。脸部图像的提取处理能够利用公知的脸部识别技术或者对象提取技术。脸部图像提取部16向控制部10输出提取出的脸部图像的总像素数、提取出的脸部图像的基准点坐标、及以脸部图像收敛于矩形的方式切取时的纵像素数及横像素数。此外，脸部图像提取部16向图像生成部18输出对应于脸部图像的脸部图像数据。另外，基准点坐标是在放大脸部图像时作为基准的坐标，将在后面进行详细叙述。
控制部10按以下方式判定是否对脸部图像实施放大处理。控制部10从数据提取部15获取显示图像的总像素数。此外，控制部10从脸部图像提取部16获取脸部图像的总像素数。并且，控制部10从非易失性存储器11读出阈值(THp)。控制部10参照从非易失性存储器11读出的阈值，判定是否对脸部图像实施放大处理。具体而言，控制部10比较显示图像的总像素数和脸部图像的总像素数的比率(显示图像的总像素数/脸部图像的总像素数)与阈值，在显示图像的总像素数和脸部图像的总像素数的比率为阈值以上的情况下，判定为对脸部图像实施放大处理。相对于此，在显示图像的总像素数和脸部图像的总像素数的比率小于阈值的情况下，控制部10判定为对脸部图像不实施放大处理。另外，在上述的结构中，阈值是从非易失性存储器11读出的值，但也可以是在图像显示装置2所显示的菜单画面内显示⑶I (Graphical User Interface)的滑动条，通过用户操作该滑动条而设定的值。根据该结构，用户可以利用操作部13来轻易变更阈值。在控制部10判定为对脸部图像实施放大处理时，向放大率计算部17输出显示图像的总像素数、纵像素数及横像素数、脸部图像的总像素数、纵像素数及横像素数、以及脸部图像的基准点坐标。此外，在控制部10判定为对脸部图像实施放大处理的情况下，数据提取部15向图像生成部18输出脸部图像数据。相对于此，在控制部10判定为对脸部图像 不实施放大处理的情况下，数据提取部15直接向输出部19输出图像数据。并且，控制部10向输出部19输出是否实施脸部图像的放大处理的判定结果。放大率计算部17基于从控制部10获取到的脸部图像的总像素数及显示图像的总像素数，计算出脸部图像的放大率(AR_Face)。根据(式I)计算出脸部图像的放大率(AR_Face)。AR_Face = a X (T_pix/P_pix)(I)其中，a :任意常数T_pix :显示图像的总像素数P_pix :脸部图像的总像素数。a的初始设定值例如是0.01，但并不限于该值。a的初始设定值预先存储在非易失性存储器11中，放大率计算部17在计算放大率时从非易失性存储器11读出a。其中，例如构成为在图像显示装置2所显示的菜单画面内显示GUI的滑动条，通过用户操作该滑动条来适当变更a。并且，通过操作滑动条而变更后的a被存储在非易失性存储器11中。接着，放大率计算部17判定是否需要修正根据式(I)计算出的脸部图像的放大率(AR_Face)。例如，若根据式(I)计算出的脸部图像的放大率(AR_Face)过大，则有时放大后的脸部图像不能收敛在显示画面内。此时，放大率计算部17修正根据式(I)计算出的脸部图像的放大率(AR_Face)，使放大后的脸部图像收敛于显示画面内。具体而言，放大率计算部17例如通过以下的式⑵及(3)，降低脸部的放大率。当AR_Face > (Y_all_Y_base)/Y_face 时，修正后的AR_Face= (Y_all_Y_base)/Y_face (2)当AR_Face > (X_all_X_base)/X_face 时，修正后的AR_Face= (X_all_X_base)/X_face (3)其中，Y_all :显示图像的纵像素数Y_face :脸部图像的纵像素数
X_all :显示图像的横像素数X_face :脸部图像的横像素数(X_base, Y_base):基准点坐标(0、0):原点坐标。在此，参照附图来说明上述的式中所使用的各种参数、即像素数、基准点坐标的内容。图2是表示对脸部图像进行放大处理之前的显示图像的一例的说明图。 在图2中，在显示图像22的中心部描绘了人物的脸部。脸部的下方是躯体部位。此外，作为人物的背景，在画面的左上方描绘了云，在朝向人物的右侧描绘了山，在画面的右上方描绘了太阳。图3是表示为了放大在显示图像22中描绘的人物的脸部图像而应用的参数的一例的说明图。在图3中，在显示图像22中描绘了图2所示的人物、背景。此外，为了便于说明，在人物、背景及显示图像22中标记了表示它们的大小的上述各种参数。并且，为了区分脸部图像和背景图像，在脸部图像上画出了斜线。在图3中，基准点坐标(X_baSe，Y_baSe)配置在脸部的下颌的正下方。另外，基准点坐标也可以位于脸部的重心位置(例如鼻子的位置)等其他位置。不过，在决定基准点坐标的位置时，优选设为不会因放大脸部图像而使脸部和其他身体部分产生重叠或者破坏脸部与身体部位的位置关系导致观察图像者产生不协调感的位置。原点坐标(0、0)是成为基准点坐标的位置的基准的坐标，在本图中，位于显示图像22的左下方。基准点坐标是放大脸部时的基准点的位置，在实施方式I中，以基准点作为起点，朝向显示图像22的上方放大脸部图像。由此，若放大脸部图像，则脸部图像不会与脸部以外的身体部分(例如躯体部分)重叠。放大率计算部17在没有根据式(2)或者(3)修正放大率的情况下，直接向图像生成部18输出根据式(I)计算出的放大率(AR_Face)，而在根据式(2)或者(3)修正了放大率(AR_Face)的情况下，向图像生成部18输出修正后的放大率(AR_Face)。图像生成部18根据从放大率计算部17获取到的放大率(AR_Face)来对脸部图像进行放大处理，生成放大脸部图像。具体而言，图像生成部18以基准点为起点，朝向鼻子的方向放大脸部图像。若是显示图像22，则由于描绘的人物是站立的，因此图像生成部18朝向显示图像22的上方放大脸部图像。例如，在人物横躺在床上等脸部的朝向是横向的情况下也是同样地，图像生成部18以基准点为起点，朝向鼻子的方向放大脸部图像。鼻子的位置的检测处理能够利用公知的脸部识别技术。图像生成部18对所生成的放大脸部图像、及从数据提取部15获取的显示图像进行合成来生成合成图像数据，并输出给输出部19。图4是表示在显示图像22中所描绘的图像、即通过合成放大脸部图像23及显示图像而得到的合成图像的一例的说明图。根据图4可知，图像生成部18生成仅对图2所示的脸部图像进行了放大处理后的图像。输出部19从控制部10获取是否实施脸部图像的放大处理的判定结果。输出部19在进行了脸部图像的放大处理的情况下，向图像显示装置2输出从图像生成部18获取到的合成图像数据，在没有进行脸部图像的放大处理的情况下，向图像显示装置2输出从数据提取部15获取到的图像数据。图像显示装置2例如具备液晶面板、有机EL(Electro-Luminescence)显示器、等离子显示器等显示画面，基于从输出部19获取的图像数据，在显示画面上显示图像。接着，说明实施方式I的图像处理装置I中的图像处理的流程。图5是表示实施方式I的图像处理装置I中的图像处理的流程的流程图。输入部14从外部获取压缩图像数据(S51)。 数据提取部15对从输入部14获取的压缩图像数据进行解码，并且分析首部信息，获取显示图像的总像素数(T_pix)，并输出给控制部10(S52)。此外，数据提取部15向脸部图像提取部16输出图像数据。脸部图像提取部16从对应于从数据提取部15获取的图像数据的图像中提取脸部图像，并求出脸部图像的总像素数(P_pix)，输出给控制部10(S53)。控制部10从非易失性存储器11读出阈值(THp)，比较显示图像的总像素数(T_Pix)及脸部图像的总像素数(P_pix)的比率(T_pix/P_pix)与阈值，判定是否对脸部图像实施放大处理(S54)。具体而言，在显示图像的总像素数(T_pix)及脸部图像的总像素数(P_pix)的比率(T_pix/P_pix)为阈值以上的情况下(S54 :是)，控制部10判定为对脸部图像实施放大处理。接受该判定之后，放大率计算部17计算出脸部图像的放大率(AR_Face)(S55)。接着，放大率计算部17判定是否需要进行计算出的脸部图像的放大率(AR_Face)的修正(S56)，在需要修正的情况下(S56 :是)，修正放大率(S57)，在不需要修正的情况下(S56 :否)，进入步骤S58的处理。图像生成部18根据从放大率计算部17获取到的放大率(AR_Face)来对脸部图像进行放大处理，从而生成放大图像(S58)，并对放大脸部图像及显示图像(S59)进行合成来生成合成图像数据，输出给输出部19(S60)后结束处理。在显示图像的总像素数(T_pix)及脸部图像的总像素数(P_pix)的比率(T_pix/P_pix)小于阈值的情况下(S54:否)，控制部10判定为不对脸部图像实施放大处理。输出部19在没有对脸部图像实施放大处理的情况下，向图像显示装置2输出从数据提取部15获取到的图像数据，结束处理。通过以上说明，在实施方式I中，基于显示图像22的总像素数、脸部图像的总像素数及脸部图像的基准点坐标，计算脸部图像的放大率。并且，在实施方式I中，在以该放大率放大脸部图像时脸部图像不收敛于显示画面内的情况下，修正该放大率。即，降低放大率，使得放大后的脸部图像收敛于显示画面内。根据实施方式1，由于能够对在显示器上显示的人物的脸部图像进行放大处理，因此即便是在便携式设备的显示器那样尺寸小的显示器中放映的脸部图像，也能够通过放大该脸部图像，从放大脸部图像中获得各种有用的信息、即关于个人特定的信息、感情信息、基于读唇的彳目息等。实施方式2图6是表示实施方式2中的图像显示装置的显示画面及显示图像的关系例的说明图。在图6中，例如，表示双调谐器搭载型电视中的显示图像22及显示画面24。在此，将电视的显示器整体的画面称作显示画面24，将显示画面24的大小称作画面尺寸。另一方面，将在显示画面24内的一部分中作为影像显示的图像称作显示图像，将显示图像的大小称作显示图像尺寸。在图6所示的例中，在图像显示装置2的显示画面24中并排显示了 2张相同的显示图像尺寸的显示图像22。根据图6可知，2张显示图像22的总尺寸是图像显示装置2的画面尺寸的一半。也就是说，I张显示图像22的纵像素数及横像素数分别是显示画面24的纵像素数及的横像素数的一半。实施方式2的图像处理装置的结构是根据在显示画面24内显示的显示图像22的显示图像尺寸，修正放大率。实施方式2可与实施方式I组合在一起来实施。图7是表示实施方式2的图像处理装置的结构例的框图。实施方式2的图像处理装置70具备控制部10、非易失性存储器11、易失性存储器12、操作部13、输入部14、数据提取部15、脸部图像提取部216、放大率计算部217、图像生成 部18、输出部19及显示图像尺寸检测部20，经由总线31连接各结构部。输入部14从例如数字广播调谐器、HD驱动器、DVD驱动器、个人计算机、数码相机等图像设备中获取图像数据。图像数据例如是以MPEG-2方式被压缩编码的TS中所包含的压缩图像数据。输入部14向数据提取部15输出从图像设备获取到的压缩图像数据。数据提取部15对从输入部14获取到的压缩图像数据进行解码，并且从TS获取BML(Broadcast Markup Language)文件,并将该BML文件输出给显示图像尺寸检测部20。BML是面向基于XML(Extensible Markup Language)的数据广播的页面描述语言，BML文件是以BML记载的文件。在BML文件中，记载了在图像显示装置2的显示画面24上显示的显示图像22的显示图像尺寸、即显示图像的总像素数、纵像素数及横像素数。在此，显示图像尺寸是关于图像的缩小的信息。脸部图像提取部216从数据提取部15获取图像数据，并从对应于该图像数据的图像之中提取脸部图像，求出提取出的脸部图像的总像素数。脸部图像的提取处理可利用公知的脸部识别技术或者对象提取技术。脸部图像提取部216向控制部10输出提取出的脸部图像的总像素数、提取出的脸部图像的基准点坐标及按照脸部图像收敛于矩形的方式切取时的纵像素数及横像素数。控制部10按照如下方式判定是否对脸部图像实施放大处理。控制部10从数据提取部15获取显示图像的总像素数。此外，控制部10从脸部图像提取部216获取脸部图像的总像素数。并且，控制部10从非易失性存储器11读出阈值(THp)。控制部10参照从非易失性存储器11读出的阈值，判定是否对脸部图像实施放大处理。具体而言，控制部10比较显示图像的总像素数和脸部图像的总像素数的比率(显示图像的总像素数/脸部图像的总像素数)与阈值，在显示图像的总像素数和脸部图像的总像素数的比率为阈值以上的情况下，判定为对脸部图像实施放大处理。相对于此，在显示图像的总像素数和脸部图像的总像素数的比率小于阈值(THp)的情况下，控制部10判定为不对脸部图像实施放大处理。在控制部10判定为对脸部图像实施放大处理的情况下，向放大率计算部217输出显示图像的总像素数、纵像素数及横像素数、脸部图像的总像素数、纵像素数及横像素数、以及脸部图像的基准点坐标。此外，在控制部10判定为对脸部图像实施放大处理的情况下，数据提取部15向图像生成部18输出脸部图像数据。相对于此，在控制部10判定为不对脸部图像实施放大处理的情况下，数据提取部15直接向输出部19输出图像数据。并且，控制部10向输出部19输出是否实施脸部图像的放大处理的判定结果。放大率计算部217基于从控制部10获取到的脸部图像的总像素数及从显示图像尺寸检测部20获取到的显示图像的总像素数，计算出脸部图像的放大率(AR_Face)。脸部图像的放大率(AR_Face)是根据式(4)计算出的。AR_Face = a X (T_pix/P_pix)(4)其中，a :任意常数T_pix :显示图像的总像素数(在BML文件中记载的像素数) P_pix :脸部图像的总像素数。显示图像尺寸检测部20从非易失性存储器11读出图像显示装置2的显示画面的画面尺寸、即显示画面的纵像素数及横像素数。图像显示装置2的画面尺寸预先被存储在非易失性存储器11中。在此，图像显示装置2的画面尺寸例如如下在操作部13中设置以⑶I表示的滑动条，从而适当变更为通过滑动条设定的值。由此变更的画面尺寸被存储在非易失性存储器11中。接着，显示图像尺寸检测部20从BML文件读出显示图像尺寸、即显示图像的纵像素数及横像素数。显示图像尺寸检测部20基于图像显示装置2的画面尺寸及显示图像尺寸，计算出尺寸修正比率(S_ratio)。根据式(5)计算出尺寸修正比率(S_ratio)。S_ratio = {(Px_max2+Py_max2) / (Px2+Py2)} 0. 5 (5)其中，Px :显示图像的横像素数；Py :显示图像的纵像素数；Px_max :图像显示装置2的显示画面的横像素数；Pyjnax :图像显示装置2的显示画面的纵像素数。 例如，在显示图像尺寸为960X540(像素)、图像显示装置2的画面尺寸为1920X1080(像素)的情况下，尺寸修正比率(S_ratio) =2。显示图像尺寸检测部20向放大率计算部217输出计算出的尺寸修正比率(S_ratio)。放大率计算部217从显示图像尺寸检测部20获取尺寸修正比率(S_ratio)，修正所述的放大率(AR_Face)。例如，放大率计算部217在根据式(4)计算出的放大率上乘以尺寸修正比率(S_ratio)。即，根据式⑷计算出的放大率如式(6)那样变更。AR_Face = S_ratio X a X (T_pix/P_pix)(6)a的初始设定值例如是0.01，但是并不限于该值。在此，在BML文件中记载的显示图像尺寸(T_pix)为960X540(像素)的情况下，显示图像22的总像素数为518400。此夕卜，脸部图像的总像素数(P_pix)是显示图像尺寸(T_pix)为960X540(像素)时的脸部图像的像素数。在实施方式2中，为了修正根据式(4)计算出的放大率(AR_Face)而利用了尺寸修正比率(S_ratio)，但是也可以直接将尺寸修正比率(S_ratio)利用为放大率。即，
AR_face = S_ratio(7)。此外，与实施方式I相同，也可以进一步利用式(2)及式(3)来修正根据式(6)或者式(7)计算出的放大率(AR_face)。放大率计算部217向图像生成部18输出根据式(6)或者式(7)计算出的放大率。图像生成部18根据从放大率计算部217获取到的放大率(AR_Face)来对脸部图像进行放大处理，生成放大脸部图像。接着，图像生成部18合成从放大脸部图像及数据提取部15获取到的显示图像22来生成合成图像数据，并输出给输出部19。放大处理的方法与实施方式I相同。输出部19从控制部10获取是否实施脸部图像的放大处理的判定结果。输出部19在进行了脸部图像的放大处理的情况下，向图像显示装置2输出从图像生成部18获取到的 合成图像数据，在没有进行脸部图像的放大处理的情况下，向图像显示装置2输出从数据提取部15获取到的图像数据。图像显示装置2例如具备液晶面板、有机EL显示器、等离子显示器等显示画面，基于从输出部19获取到的图像数据，在显示画面上显示图像。接着，说明实施方式2的图像处理装置70中的图像处理的流程。图8是表示实施方式2的图像处理装置70的图像处理的流程的流程图。输入部14从外部获取压缩图像数据(S81)。数据提取部15对从输入部14获取到的压缩图像数据进行解码，并且获取在BML文件中记载的显示图像22的总像素数(T_pix)，输出给控制部10及显示图像尺寸检测部20(S82)。此外，数据提取部15向脸部图像提取部216输出图像数据。脸部图像提取部216从对应于从数据提取部15获取到的图像数据的图像中提取脸部图像，求出脸部图像的总像素数(P_pix)，并输出给控制部10 (S83)。控制部10从非易失性存储器11读出阈值(THp)，并比较显示图像的总像素数(T_Pix)及脸部图像的总像素数(P_pix)的比率(T_pix/P_pix)与阈值，判定是否对脸部图像实施放大处理(S84)。具体而言，在显示图像的总像素数(T_pix)及脸部图像的总像素数(P_pix)的比率(T_pix/P_pix)为阈值以上的情况下(S84 :是)，控制部10判定为对脸部图像实施放大处理。接受该判定之后，放大率计算部217计算出脸部图像的放大率(AR_Face)(S85)。接着，显示图像尺寸检测部20计算出尺寸修正比率(S_ratio) (S87)。具体而言，显示图像尺寸检测部20从非易失性存储器11读出图像显示装置2的显示画面24的画面尺寸，并且从BML文件读出显示图像尺寸。显示图像尺寸检测部20利用图像显示装置2的显示画面24的画面尺寸及显示图像尺寸，根据式(5)来计算出尺寸修正比率(S_ratio)。放大率计算部217将步骤S87中计算出的尺寸修正比率相乘在步骤S85中计算出的脸部图像的放大率上，从而修正在步骤S85中计算出的放大率(S88)，放大脸部图像(S89)。图像生成部18根据从放大率计算部217获取到的修正后的放大率(AR_Face)来对脸部图像进行放大处理，生成放大脸部图像，并合成放大脸部图像及显示图像(S90)，来生成合成图像数据，输出给输出部19(S91)，结束处理。在显示图像22的总像素数(T_pix)及脸部图像的总像素数(P_pix)的比率(T_pix/P_pix)小于阈值(THp)的情况下(S84 :否)，控制部10判定为不对脸部图像实施放大处理。输出部19在没有对脸部图像实施放大处理的情况下，向图像显示装置2输出从数据提取部15获取到的图像数据，结束处理。根据实施方式2的图像处理装置70，即使在图像显示装置2的显示画面24中的显示图像22的显示图像尺寸小的情况下，也能够根据图像显示装置2的画面尺寸及显示图像尺寸来修正放大率，从而输出放大了脸部图像的图像。在实施方式2中，显示图像尺寸检测部20从非易失性存储器11读出图像显示装置2的画面尺寸。但是，显示图像尺寸检测部20也可以例如经由HDMI标准的DDC (Display Data Channel)信号，从存储在图像显不装置 2 中的 EDID (Extended DisplayIdentification Data)获取图像显示装置2的画面尺寸。EDID例如是图像显示装置2固
有的频率、画面尺寸、製造商名称及型号等。在实施方式2中，在尺寸修正比率计算处理的过程中，显示图像尺寸检测部20从BML文件读入了显示图像尺寸。但是，显示图像尺寸检测部20也可以基于预先存储在非易失性存储器11中的模板文件来生成记载了显示图像尺寸的BML、XML、HTML (Hyper TextMarkup Language)等文件。并且，也可以在尺寸修正比率计算处理中利用所生成的BML文件等中记载的显示图像尺寸。该BML文件等从显示图像尺寸检测部20经由输出部19被输出到图像显示装置2。在此，BML文件等中记载的显示图像尺寸，可以通过在操作部13中设置画面及键盘，根据该设置的画面及键盘编辑模板文件来进行改写。另外，显示图像尺寸的改写单元并不限于画面及键盘，可以是任何单元。或者，可以利用摄像头等传感器监视在图像显示装置2的画面中显示的图像，从而检测显示图像尺寸。并且，也可以在向PC等计算机输出图像数据的情况下，从计算机的OS获取窗口、应用程序画面等显示图像尺寸。实施方式3实施方式3的图像处理装置的结构是基于视听者与显示画面之间的距离来修正放大率。以下，将视听者与图像显示装置的显示画面之间的距离称作“视听距离”。在实施方式2中，根据显示图像尺寸及画面尺寸修正了脸部图像的放大率。另一方面，即使图像显示装置2的画面尺寸及显示图像尺寸恒定，随着视听距离，从视听者一方可看到的显示图像尺寸也会变化。例如，在距显示画面24的距离为2m的地点视听1920 X 1080(横像素数X纵像素数)的影像时、和在距同一显示画面24的距离为Im的地点视听960X540 (横像素数X纵像素数)的影像时，显示图像尺寸看上去相同。因此，在实施方式3中，根据视听距离修正脸部图像的放大率。另外，实施方式3也可以与实施方式I及实施方式2的方式组合在一起来实施。图9是表示实施方式3的图像处理装置的结构例的框图。实施方式3的图像处理装置90具备控制部10、非易失性存储器11、易失性存储器12、操作部13、输入部14、数据提取部15、脸部图像提取部316、放大率计算部317、图像生成部18、输出部19及视听距离测量部21，经由总线31连接各结构部。输入部14例如从数字广播调谐器、HD驱动器、DVD驱动器、个人计算机、数码相机等图像设备获取图像数据。图像数据例如是以MPEG-2方式被压缩编码的TS所包含的压缩图像数据。输入部14向数据提取部15输出从图像设备获取到的压缩图像数据。
数据提取部15对从输入部14获取到的压缩图像数据进行解码，并且分析首部信息，求出图像整体(以下称作“显示图像”)的总像素数、纵像素数及横像素数，并输出给控制部10。此外，数据提取部15向脸部图像提取部316及图像生成部18、或者输出部19输出解码后的图像数据。脸部图像提取部316从数据提取部15获取图像数据，从对应于该图像数据的图像之中提取脸部图像，求出提取出的脸部图像的总像素数。脸部图像的提取处理可利用公知的脸部识别技术或者对象提取技术。脸部图像提取部316向控制部10输出提取出的脸部图像的总像素数、提取出的脸部图像的基准点坐标、及按照脸部图像收敛于矩形的方式切取时的纵像素数及横像素数。此外，脸部图像提取部 316向图像生成部18输出对应于脸部图像的脸部图像数据。控制部10按照如下方式判定是否对脸部图像实施放大处理。控制部10从数据提取部15获取显示图像的总像素数。此外，控制部10从脸部图像提取部316获取脸部图像的总像素数。并且，控制部10从非易失性存储器11读出阈值(THp)。控制部10参照从非易失性存储器11读出的阈值，判定是否对脸部图像实施放大处理。具体而言，控制部10比较显示图像的总像素数和脸部图像的总像素数的比率(显示图像的总像素数/脸部图像的总像素数)与阈值，在显示图像的总像素数和脸部图像的总像素数的比率为阈值以上的情况下，判定为对脸部图像实施放大处理。相对于此，在显示图像的总像素数和脸部图像的总像素数的比率小于阈值的情况下，控制部10判定为不对脸部图像实施放大处理。在控制部10判定为对脸部图像实施放大处理的情况下，向放大率计算部317输出显示图像的总像素数、纵像素数及横像素数、脸部图像的总像素数、纵像素数及横像素数、以及脸部图像的基准点坐标。此外，在控制部10判定为对脸部图像实施放大处理的情况下，数据提取部15向图像生成部18输出脸部图像数据。相对于此，在控制部10判定为不对脸部图像实施放大处理的情况下，数据提取部15直接向输出部19输出图像数据。并且，控制部10向输出部19输出是否实施脸部图像的放大处理的判定结果。放大率计算部317基于从控制部10获取到的脸部图像的总像素数及从显示图像尺寸检测部20获取到的显示图像的总像素数，计算出脸部图像的放大率(AR_Face)。根据式(8)来计算出脸部图像的放大率(AR_Face)。AR_Face = a X (T_pix/P_pix)(8)其中，a :任意常数T_pix :显示图像的像素数P_pix :脸部图像的像素数。视听距离测量部21测量视听距离(D_CUrr)，并基于测量出的视听距离，向放大率计算部317输出相对于根据式(8)计算出的放大率的修正比率。作为视听距离的测量方法，例如具有如下的方法设置向图像显示装置2发送超声波的发射机和接收超声波的接收机，基于超声波到达视听者并反射回来为止的时间来测量视听距离的方法；基于三角测量的原理测量视听距离的方法；或者利用红外线来测量视听距离的方法等，但是也可以是其他的测量方法。视听距离测量部21根据式(9)计算出基准视听距离(D_base)及通过上述方法测量出的视听距离(D_curr)的距离比率(D_ratio)。D_ratio = D_curr/D_base(9)在此，作为初始设定值，将基准视听距离(D_base)设定为根据包括画面两端的视角为30度而决定的高清广播的标准观看距离即3H。H是图像显示装置2的显示画面24的纵尺寸。若是屏幕长宽比为16 9的高清广播，则标准视听距离是画面的纵尺寸的3倍(3H)。另外，基准视听距离(D_base)的初始设定值只不过是例示，并不限于3H。基准视听距离(D_base)预先被存储在非易失性存储器11中。其中，基准视听距离(D_base)如下 例如在操作部13中设置以GUI表示的滑动条，从而适当变更为利用滑动条设定的值。这样变更后的基准视听距离(D_base)被存储在非易失性存储器11中。视听距离测量部21向放大率计算部317输出计算出的距离比率(D_ratio)。放大率计算部317从视听距离测量部21获取距离比率(D_ratio)，修正在实施方式I至实施方式3的任一方式中计算出的放大率(AR_face)。例如，放大率计算部317在根据式(8)计算出的放大率上乘以距离比率(D_ratio)。即，根据式(8)计算出的放大率变更为式(10)。AR_face = D_ratio X a X (T_pix/P_pix)(10)此外，实施方式2中的式(6)及式(7)变更为式(11)及式(12)。AR_face = S_rat io X D_rat io X a X (T_pix/P_pix) (11)AR_face = S_r at i o X D_r at i o(12)放大率计算部317向图像生成部18输出根据式(10)至式(12)的任一式修正的放大率(AR_face)。接着，说明实施方式3的图像处理装置90中的图像处理的流程。图10是表示实施方式3的图像处理装置90的图像处理的流程的流程图。输入部14从外部获取压缩图像数据(SlOl)。数据提取部15对从输入部14获取到的压缩图像数据进行解码，并且分析首部信息，提取显示图像22的总像素数(T_pix)，输出给控制部10(S102)。此外，数据提取部15向脸部图像提取部316输出图像数据。脸部图像提取部316从对应于从数据提取部15获取到的图像数据的图像中提取脸部图像，求出脸部图像的总像素数(P_pix)，输出给控制部10(S103)。控制部10从非易失性存储器11读出阈值(THp)，并比较显示图像的总像素数(T_Pix)及脸部图像的总像素数(P_pix)的比率(T_pix/P_pix)与阈值，判定是否对脸部图像实施放大处理(S104)。具体而言，在显示图像的总像素数(T_pix)及脸部图像的总像素数(P_pix)的比率(T_pix/P_pix)为阈值以上的情况下(S104 :是)，控制部10判定为对脸部图像实施放大处理。接受该判定之后，放大率计算部317计算出脸部图像的放大率(AR_Face) (S105)。接着，放大率计算部317计算出距离比率(D_ratio) (S107)。放大率计算部317将在步骤S107中计算出的距离比率相乘在由步骤S105计算出的脸部图像的放大率上，从而修正在步骤S105中计算出的放大率(S108)，放大脸部图像(S109)。
图像生成部18根据从放大率计算部317获取到的修正后的放大率(AR_Face)对脸部图像进行放大处理，生成放大脸部图像，合成放大脸部图像及显示图像(SllO)，从而生成合成图像数据，输出给输出部19 (Slll)，结束处理。在显示图像22的总像素数(T_pix)及脸部图像的总像素数(P_pix)的比率(T_pix/P_pix)小于阈值(THp)的情况下(S104:否)，控制部10判定为不对脸部图像实施放大处理。在没有对脸部图像实施放大处理的情况下，输出部19向图像显示装置2输出从数据提取部15获取到的图像数据，结束处理。图像显示装置2例如具备液晶面板、有机EL显示器、等离子显示器等显示画面24，基于从输出部19获取到的图像数据，在显示画面24上显示图像。在实施方式3中，视听距离测量部21从非易失性存储器11读出基准视听距离(D_base)。但是，视听距离测量部21也可以根据显示画面24的纵像素数I，通过式(13)计算出基准视听距离(D_base)。 D_base = 3240XH/I(13)显示画面24的纵像素数I例如可经由HDMI标准的DDC信号从存储在图像显示装置2中的EDID获取。实施方式3具有如上的结构，其他结构及作用与实施方式I相同，因此对于相应的部分附加同一参考符号并省略详细的说明。根据实施方式3的图像处理装置90，即使在因视听距离长而显示图像尺寸看上去较小的情况下，也可以根据视听距离来修正放大率，从而生成放大了脸部图像的图像。根据组合了实施方式2及实施方式3的结构的图像处理装置，根据显示图像尺寸及视听距离来修正放大率，从而即使在视听条件不好的情况下，也能够对脸部图像自动实施放大处理，因此能够从放大脸部图像中获得用于确定个人的信息、感情信息、基于读唇的信息等有用的信息。也可以采用组合了实施方式I至3所示的3个方式的形态。由此，能够提供实施了更多样的放大处理的图像。在实施方式I至3中，说明了图像处理装置作为单体来实施的情况。但是，实施方式I至3的图像处理装置也可以被实施为与图像显示装置2组合在一起的方式。此时的图像显示装置2是例如电视、移动电话机、游戏机、多媒体播放器、个人计算机、PDA (PersonalDigital Assistant)、投影仪及车载导航系统等具有画面的设备。在实施方式I至3中，通过在操作部13中设置的基于⑶I的滑动条，可适当变更或者设定阈值(THp)、a、画面尺寸及基准视听距离(D_base)。但是，变更或者设定上述设定值的单元并不限于基于GUI的滑动条。并且，用户在利用图像显示装置鉴赏影像时，需要预先进行是否使对于脸部图像的放大处理有效、使放大处理有效时是根据什么基准放大脸部图像等设定。以下，说明用于进行该设定的菜单画面的一例。该菜单画面例如被显示在图像显示装置2的显示器上，该设定例如由用户操作遥控器来进行。图11至图15是表示在图像显示装置的显示器上显示的菜单画面的显示的流程的说明图。通过对该菜单画面进行设定，从而进行是否使对于脸部图像的放大处理有效、是根据什么基准放大脸部图像等设定。
图11是表示显示放大处理的对象的画面例的说明图。在该阶段中，不显示菜单画面。之后，通过用户依次按下遥控器的菜单按钮及其他切换按钮，相应地逐渐切换菜单画面。图12是表示在图11所示的显示画面24的上部显示第I菜单画面的状态的画面例的说明图。第I菜单画面包括“主体设定”、“功能设定”、“节能设定”、“其他”的项目。在此，假设选择了能够进行关于脸部图像的放大处理功能的设定的“功能设定”的项目。图13是表示在图12所示的第I菜单画面中选择了“功能设定”时重新显示的第2菜单画面的画面例的说明图。第2菜单画面包括“振动效果模式”、“手抖修正模式”、“脸部变形模式”、“其他设定”的项目。在此，用户为了使脸部图像的放大处理有效，选择“脸部变形模式”。图14是表示在图13所示的第2菜单画面中选择了“脸部变形模式”时重新显示的第3菜单画面的画面例的说明图。第3菜单画面显示了脸部变形模式的“打开/关闭”项 目、选择了打开时催促用户进行“详细设定”的项目。图15是表示在图14所示的第3菜单画面中选择了详细设定时重新显示的第4菜单画面的画面例的说明图。第4菜单画面包括“放大率参数”、“画面尺寸参数”、“视听距离参数”。其中，“放大率参数”、“画面尺寸参数”及“视听距离参数”的大小是0至100的值，可利用滑动条调整这些值。放大率参数相当于式(I)中的a，画面尺寸参数相当于图像显示装置2的画面尺寸，视听距离参数相当于基准视听距离。实施方式4图16是说明实施方式4的脸部图像放大处理的说明图。在实施方式4中，不同于上述的实施方式，缩小从图像提取出的脸部图像来输出缩小脸部图像，另一方面在缩小了该图像的图像上合成该缩小图像，从而最终放大脸部图像。以下，表示例如小型移动电话的控制部执行的处理。例如，控制部获得将输入图像400缩小为50% (缩小率0.5)后的图像401，另一方面从输入图像400提取脸部图像403。在此，图像401对应于在移动电话的显示画面上显示的图像。控制部将脸部图像403缩小为90% (缩小率0.9)来获得缩小脸部图像405。控制部将图像401及缩小脸部图像405合成来获得输出图像402。一般化该情况时，当从输入图像400到图像401的缩小率设为f时，从输入图像400提取出的脸部图像的缩小率设为放大率(AR_face) Xf即可。例如，f为0. 5时，假设放大率(AR_face)为I. 2，则脸部图像403的缩小率是0. 6，结果，脸部图像被放大。图17是表示实施方式4的图像处理的流程的流程图。控制部获取图像(S501)。控制部获取显示图像尺寸/像素数(S502)。控制部从图像中提取脸部图像(S503)。控制部计算出图像缩小率(S504)。控制部根据上述的式
(I)计算出脸部图像的相对放大率(假想的放大率)(S505)。控制部判定是否需要进行相对放大率的修正(S506)，在需要的情况下(S506 :是)，进入步骤S507的处理，在不需要的情况下(S506 :否)，进入步骤S508的处理。控制部根据上述的式(2)及(3)修正相对放大率(S507)。控制部在相对放大率上乘以图像缩小率来计算出脸部图像的缩小率(S508)。控制部根据图像缩小率来缩小图像(S509)。控制部根据脸部图像缩小率来缩小脸部图像(S510)。控制部合成缩小图像和缩小脸部图像(S511)。控制部输出合成图像(S512)。
实施方式5图18是表示在实施方式5的图像处理装置中关于程序的执行的结构例的框图。在实施方式5中，例如，图像处理装置I具备非易失性存储器101、内部存储装置103及记录介质读取部104。CPU100从插入到记录介质读取部104中的⑶-ROM或者DVD-ROM等记录介质230读出实施方式I至4的程序231，存储到非易失性存储器101或者内部存储装置103中。CPU100是将存储在非易失性存储器101或者内部存储装置103中的程序231读到易失性存储器102中来执行的结构。图像处理装置70、90也是同样的结构。本发明的程序231并不限于从记录介质230读出并存储到非易失性存储器101或者内部存储装置103时的程序，也可以存储在存储卡等外部存储器中。此时，从与CPU100连接的外部存储器(未图示)读出程序231并将其存储到非易失性存储器101或者内部存 储装置103中。并且，也可以在与CPU100连接的通信部(未图示)和外部计算机之间建立通信，下载到非易失性存储器101或者内部存储装置103中。(变形例I)在上述的实施方式中，例示了在画面上显示I个脸部图像时的例子，同时在画面上显示多个人物时，例如执行如下所述的放大处理。(I)与人数无关地对所有人物的脸部图像进行放大处理。(2)对多个人物的脸部图像分别设定优先度，根据优先度来改变对脸部图像的放大率。即，对优先度更高的脸部图像设定更大的放大率。例如，可以将优先度最高的人物的脸部图像的放大率设为2倍，将优先度次高的人物的脸部图像的放大率设为I. 5倍。上述(I)的方法是简单的处理，但是在脸部彼此靠近的情况下，有时放大了脸部图像时脸部图像会重叠，会给观赏者带来不协调感。相对于此，根据上述(2)的方法，由于仅对优先度高的较少人数的脸部图像实施放大处理，因此能够在某种程度上避免(I)的方法中有可能成为问题的放大脸部图像的重叠。特别是，在仅将优先度最高的I个脸部图像进行放大时，可消除重叠的问题。此外，也可以不利用优先度，而是例如控制成一律放大在画面的中央放映的人物的脸部图像。这是因为一般在画面的中央放映的人物说话的可能性较高。此外，也可以是通过如上述实施方式那样的⑶I等设定要放大的脸部图像的个数(2个以上)或者优先度的阈值的结构。但是，即使将要放大的脸部图像的个数限制在某种程度，“放大脸部图像”和“未放大脸部图像”也有可能会重叠。对此，可以进行如下控制进一步执行脸部图像的重叠判定处理，分别调整重叠的脸部图像的放大率，使得脸部图像不重叠。脸部图像的重叠判定处理对上述(I)、(2)都有效。此外，在允许脸部图像的重叠的情况下，可以在优先度低的脸部图像上重叠优先度高的图像来进行显示。在设定优先度时，例如，关注通过脸部识别获得的信息(个人识别、感情理解、读唇等)中的读唇来进行。即，关注脸部图像的口区域，对该口区域正在动的人物的脸部图像优先进行脸部图像的放大。这是因为，在口区域正在动的情况下，该人物说话的可能性较闻。此外，作为优先度的其他设定方法，具有利用声音的位置信息(基于声音数据的说话者的位置信息)来设定优先度的方法。这是关注在声音传来的方向上放映的人物并优先放大该人物的脸部图像的方法，与上述方法相同，是检测正在说话的人物并放大该人物的脸部图像的方法。例如，在由音响输出声音的情况下，基于左右通道的声压差(声音的大小之差)，声音被提示的位置听起来不同。在左右的大小相等的情况下，声音从正中间传来。在右通道的声音大的情况下，偏右传来。基于该位置信息和脸部图像的位置数据来设定优先度。关于声音的提示位置，上述说明了被称为2ch音响中的声压平移(panning)的方法的例子，但关于通道数或者声源位置提示方法并不限于此。另外，此时需要在数据提取部中追加提取声音数据的步骤。(变形例2)与上述变形例I也有关联，可以具有与是否正在说话无关地根据用户的兴趣来仅放大特定人物的脸部图像的功能。例如，可以在用户喜欢的演员出演了节目时，仅放大该演员的脸部图像。例如，访问与因特网连接的脸部图像数据库，将该演员的脸部的特征量取入 到便携终端中，利用该特征量来进行脸部识别，从而提取该演员的脸部图像。(变形例3)在利用个人计算机视听影像内容时，有时不是在个人计算机的显示器的整个画面上显示影像，而是在显示器内设置多个小尺寸的显示画面框，在其中的I个显示画面框中显示影像来鉴赏，同时利用其他显示画面框来进行其他作业。根据上述实施方式，即使在这种情况下，也能够放大在小尺寸的显示画面内放映的人物的脸部图像。在上述实施方式I至5及变形例I至3中，都是利用脸部图像识别技术来确定脸部图像并放大该脸部图像，但是显然也可以利用其他图像识别技术来确定脸部以外的部位，并对该确定出的部位实施放大或者缩小等变更来使该部位形变。上述的实施方式I至5及变形例I至3都仅是用于实施本发明的具体化的一例，并不由此来限定性地解释本发明的技术范围。即，本发明在不超出其精神或者其主要特征的情况下，能够以各种形式实施。符号说明I图像处理装置2图像显示装置10控制部11非易失性存储器12易失性存储器13操作部14输入部15数据提取部16脸部图像提取部17放大率计算部18图像生成部19输出部20图像显示尺寸检测部21视听距离测量部
31 总线
权利要求
1.一种图像处理装置，其进行图像处理，具备 获取图像的图像获取单元； 提取该图像获取单元获取到的图像中包含的脸部图像的提取单元； 根据所述图像获取单元获取到的图像及所述提取单元提取出的脸部图像各自的尺寸来放大该脸部图像的放大单元；和 将该放大单元放大后的脸部图像与所述图像获取单元获取到的图像进行合成的单元。
2.一种图像处理装置，其进行图像处理，具备 获取图像的图像获取单元； 提取该图像获取单元获取到的图像中包含的脸部图像的提取单元； 缩小所述图像获取单元获取到的图像的单元； 获取图像的缩小所涉及的信息的获取单元； 根据所述图像获取单元获取到的图像及所述提取单元提取出的脸部图像各自的尺寸、以及所述获取单元获取到的信息，放大该脸部图像的放大单元；和 将该放大单元放大后的脸部图像与所述图像获取单元获取到的图像进行合成的单元。
3.一种图像处理装置，其进行图像处理，具备 获取图像的图像获取单元； 提取该图像获取单元获取到的图像中包含的脸部图像的提取单元； 测量与外部物体之间的距离的距离测量单元； 根据所述图像获取单元获取到的图像及所述提取单元提取出的脸部图像各自的尺寸、以及由所述距离测量单元测量出的距离，放大该脸部图像的放大单元；和 将该放大单元放大后的脸部图像与所述图像获取单元获取到的图像进行合成的单元。
4.根据权利要求I至3的任一项所述的图像处理装置，其中， 所述放大单元具备 基于所述图像的像素数及所述脸部图像的像素数来计算放大率的放大率计算部；和 按照由该放大率计算部计算出的放大率来放大所述脸部图像的放大部。
5.根据权利要求4所述的图像处理装置，其中， 所述放大率计算部根据所述图像及所述脸部图像的像素数之间的比率来计算放大率。
6.根据权利要求4或5所述的图像处理装置，其中， 所述图像处理装置还具备在按照由所述放大率计算部计算出的放大率放大后的脸部图像超过特定尺寸时减小该放大率的单元， 所述放大部以由所述放大率计算部减小后的放大率来放大所述脸部图像。
7.一种图像处理装置，其进行图像处理，具备 获取图像的图像获取单元； 缩小该图像获取单元获取到的图像的图像缩小单元； 从所述图像获取单元获取到的图像中提取脸部图像的提取单元； 将该提取单元提取出的脸部图像以比所述图像缩小单元中的图像的缩小率小的缩小率进行缩小的脸部图像缩小单元；和 将由所述图像缩小单元缩小后的图像与由所述脸部图像缩小单元缩小后的脸部图像进行合成的单元。
8.一种图像处理方法，进行图像处理，包括 获取图像的图像获取步骤； 提取该图像获取步骤中获取到的图像中包含的脸部图像的提取步骤； 根据所述图像获取步骤中获取到的图像及所述提取步骤中提取出的脸部图像各自的尺寸来放大该脸部图像的放大步骤；和 将该放大步骤中放大后的脸部图像与所述图像获取步骤中获取到的图像进行合成的步骤。
9.一种图像处理方法，进行图像处理，包括 获取图像的图像获取步骤； 提取该图像获取步骤中获取到的图像中包含的脸部图像的提取步骤； 缩小所述图像获取步骤中获取到的图像的图像缩小步骤； 获取图像的缩小所涉及的信息的获取步骤； 根据所述图像获取步骤中获取到的图像及所述提取步骤中提取出的脸部图像各自的尺寸、以及所述获取步骤中获取到的信息，来放大该脸部图像的放大步骤；和 将该放大步骤中放大后的脸部图像与所述图像获取步骤中获取到的图像进行合成的步骤。
10.一种图像处理方法，进行图像处理，包括 获取图像的图像获取步骤； 提取该图像获取步骤中获取到的图像中包含的脸部图像的提取步骤； 测量与外部物体之间的距离的距离测量步骤； 根据所述图像获取步骤中获取到的图像及所述提取步骤中提取出的脸部图像各自的尺寸、以及所述距离测量步骤中测量出的距离，来放大该脸部图像的放大步骤；和 将该放大步骤中放大后的脸部图像与所述图像获取步骤中获取到的图像进行合成的步骤。
11.一种图像处理程序，使计算机执行图像处理，该图像处理程序使计算机起到如下功倉泛 从包括脸部图像的图像中提取该脸部图像的提取单元； 根据该图像及该提取单元提取出的脸部图像各自的尺寸来放大该脸部图像的放大单元；和 将该放大单元放大后的脸部图像与所述图像进行合成的单元。
12.—种图像处理程序，使计算机执行图像处理，该图像处理程序使计算机起到如下功倉泛 从包括脸部图像的图像中提取该脸部图像的提取单元； 缩小图像的缩小单元； 根据图像及所述提取单元提取出的脸部图像各自的尺寸、以及所述图像的缩小所涉及的信息来放大该脸部图像的放大单元；和 将该放大单元放大后的脸部图像与所述图像进行合成的单元。
13.一种图像处理程序，使计算机执行图像处理，该图像处理程序使计算机起到如下功倉泛从包括脸部图像的图像中提取该脸部图像的提取单元； 根据图像及所述提取单元提取出的脸部图像各自的尺寸、以及与外部物体之间的距离来放大该脸部图像的放大单元；和 将该放大单元放大后的脸部图像与所述图像进行合成 的单元。
全文摘要
本发明提供一种图像处理装置、图像处理方法及图像处理程序，通过放大在显示器上显示的人物的脸部图像，从而即使在例如使用小型显示器视听节目的情况下也能够从脸部图像中获得有用的信息。具备输入包括脸部图像在内的图像的输入部(14)、从图像中提取脸部图像的脸部图像提取部(16)、和根据图像的尺寸及脸部图像的尺寸来放大该脸部图像的图像生成部(18)。脸部图像的放大，例如是根据基于图像的像素数及脸部图像的像素数计算出的放大率来放大该脸部图像而进行的。
文档编号H04N21/44GK102714761SQ20108005981
公开日2012年10月3日 申请日期2010年12月17日 优先权日2009年12月29日
发明者大津诚, 山本健一郎, 末永健明, 濑户干生, 盐井正宏, 筑波健史 申请人:夏普株式会社