图像处理装置、图像处理方法及图像处理程序的制作方法

专利名称：图像处理装置、图像处理方法及图像处理程序的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法及图像处理程序。
背景技术：
已知有用于将数字图像作为对象，使图像变形的图像处理技术(参
照专利文献l)。在专利文献l中公开了如下的图像处理将脸部图像上 的一部分区域(表示脸颊图像的区域)设定为修正区域，根据规定的图 形将修正区域分割成多个小区域，按照设定的倍率在每个小区域扩大或 者缩小图像，由此使脸部形状变形。
专利文献1:日本特开2004-318204号4S报
迄今，在这种图像处理中， 一直假定以关于朝向正面的脸部图像为 对象。因此，在作为变形对象的脸部朝向不是朝向正面、而是呈脸部偏 转的状态的情况(例如，脸部呈偏左或偏右的状态的情况)下，变形后 的脸部图像可能会变得不自然。特别是脸部偏转时，在上述变形后的图 像中，有时颌部等特定的线条会变成不自然的线条。

发明内容
本发明是鉴于上述问题而做的，其目的是提供一种图像处理装置、 图像处理方法及图像处理程序，其对于含有脸部图像的图像，即使在脸 部图像中的脸部朝向正面以外的情况下，也能够进行最合适的处理来得 到漂亮的脸部图像的变形结果。
为了达成上述目的，本发明的图像处理装置具有脸部朝向推定部， 在含有脸部图像的对象图像中，推定该脸部图像中所包含的以脸部的正
面朝向为基准的脸部朝向和偏转程度；区域设定部，在以上述脸部图像 的含有规定的脸部器官的第一区域为基准，将含有该第一区域的区域设 定为修正对象区域时，根据上述脸部朝向和偏转程度对该第一区域进行 变更，以该变更后的第一区域为基准，设定修正对象区域。根据本发明，区域设定部在以上述第 一 区域为基准设定修正对象区域时，因为才艮据上 述推定出的脸部朝向及脸部偏转程度来对第一区域的位置及大小进行 变更，所以可以根据脸部朝向及脸部偏转程度来设定位置及大小最合适 的修正对象区域。如果将这样设定的修正对象区域作为对象进行图像的 变形，则即使是未朝向正面的脸部图像，也能够得到良好的变形结果。
上述区域设定部，在上述脸部偏转程度较大时，使上述第一区域向 上述脸部朝向相反侧扩大得较大。更具体地说，上述脸部朝向推定部根 据上述脸部器官间的距离推定上述脸部偏转程度，上述区域设定部根据 上述脸部器官间的距离决定上述第一区域的扩大程度。根据该构成，可 以在对象图像内设定修正对象区域，所述修正对象区域完全含有与呈偏 左或偏右的脸部朝向相反的一侧的颌部、脸颊等，因此能够得到关于颌 部、脸颊等的线条及区域没有不协调感的修正(变形)结果。
上述区域设定部按照事先确定的扩大倍数扩大作为基准的上述第 一区域，由此可以设定修正对象区域。根据该构成，不论成为修正对象 区域设定基准的第一区域的位置及大小，都只是按照一定的扩大倍数扩 大作为基准的第一区域而设定修正对象区域，因此修正对象区域的设定
非常容易。
上述区域设定部将由检测部检测出的含有上述脸部器官的区域作 为第一区域，当上述脸部偏转程度比规定值大时，根据上述脸部朝向和 偏转程度对上述取得的第一区域进行变更，当上述脸部偏程度在上述规 定值以下时，以上述取得的第一区域为基准设定修正对象区域，该检测 部可以从上述对象图像中取得含有上述脸部器官的区域。根据该构成， 只有当脸部偏转程度比规定值大时，才会在设定修正对象区域前对第一 区域进行变更。
图像处理装置还具有图像修正部，该图像修正部在上述设定的修正 对象区域中配置多个分割点，用将分割点彼此之间连接的直线将修正对 象区域分割成多个小区域，移动至少一个分割点的位置使小区域变形， 由此对修正对象区域内的图像进行变形。根据该构成，在最终设定的修 正对象区域内配置分割点，只要移动所配置的分割点就可以进行图像变 形，所以可以容易并高效地实现与多种变形方式对应的图像变形处理。到此，通过图像处理装置对本发明的技术思想进行说明，但是，还 可以掌握具备与上述图像处理装置所具有的各单元对应的各步骤的图 像处理方法的发明、及使计算机实现与上述图像处理装置所具有的各单 元对应的各功能的图像处理程序的发明。此外，上述图像处理装置、图 像处理方法及图像处理程序具体地说，既可以通过计算机、服务器等的 硬件来实现，也可以通过作为图像输入装置的数码照相机、扫描仪或者 作为图像输出装置的打印机(打印装置)、投影仪、图片浏览器等各种 产品来实现。


图l是简要示出打印机构成的说明图。
图2是表示脸部形状修正处理的顺序的流程图。
图3是示出UI的一例的说明图。
图4是示出脸部区域的检测结果的一例的说明图。
图5是示出器官区域的检测结果的一例的说明图。
图6是示意性地示出推定脸部朝向和脸部偏转程度的方法的说明图。
图7是示出人物和摄像装置的位置关系的说明图。
图8是示出在脸部朝向推定中推定为朝向正面的结果的一例及推定 为偏右的结果的一例的说明图。
图9示出了对应脸部朝向和脸部偏转程度扩大脸部区域的样子的一 例的图。
图10示出了对应脸部朝向和脸部偏转程度扩大脸部区域的情形的 一例的图。
图11是示出变形区域的设定方法的一例的说明图。
图12示出了以与脸部朝向和脸部偏转程度对应的未进行扩大的脸
6部区域为基准，设定变形区域的情形的图。
图13是示出变形处理的详细顺序的流程图。
图14是示出针对变形区域的小区域的分割方法一例的说明图。
图15是示出分割点移动表的例子的说明图。
图16是示出与朝向正面的脸部图像相关的变形区域的具体变形方 式的说明图。
图17是示出与偏右的脸部图像相关的变形区域的具体变形方式的 说明图。
图18是示出以与脸部朝向和脸部偏转程度对应的未扩大的脸部区 域为基准设定的、涉及偏右的脸部图像的变形区域的具体变形方式的说 明图。
图19是示意性地示出小区域图像的变形处理的说明图。
图20是示意性地示出三角形区域中图像的变形处理方法的说明图。
图中符号说明
IOO...打印机;110…CPU; 120…内部存储器；140…操作部；150… 显示部；160…打印引擎;170…卡接口; 172…卡槽；200…脸部形状修 正处理部；210…脸部区域检测部；220…器官区域检测部；230…脸部 朝向推定部；240…区域设定部；250…图像修正部；310…显示处理部； 320…打印处理部；410…分割点配置图形表；420分割点移动表。
具体实施例方式
根据下述的顺序，对本发明的实施方式进行说明。
1. 图像处理装置的简要构成
2. 脸部形状修正处理
3. 总结1. 图像处理装置的简要构成
图1是简要示出作为本发明的图像处理装置的一例的打印机100的 构成的说明图。打印机100是根据从存储卡MC等存储介质中取得的图 像数据来打印图像的、与所谓直接打印(Direct Printing)对应的彩色 喷墨打印机。打印机100具有内部存储器120、 CPU110、操作部140、 显示部150、打印引擎160、卡接口 (卡I/F) 170及卡槽172。
内部存储器120由ROM及RAM构成，其具有脸部形状修正处理 部200、显示处理部310、打印处理部320、分割点配置图形表410及分 割点移动表420。脸部形状修正处理部200是在规定的操作系统下，用 于实行后述的脸部形状修正处理的计算机程序。脸部形状修正处理部 200作为程序模块，其具有脸部区域检测部210、器官区域检测部220、 脸部朝向推定部230、区域设定部240及图像修正部250。显示处理部 310是控制显示部150,使显示部150上显示处理菜单、信息、图像等 的显示驱动器。打印处理部320是一个计算机应用程序，其通过对图像 数据实施规定的颜色转换处理、灰度处理来生成规定了每个像素的墨水 量的打印数据，控制打印引擎160并根据该打印数据执行图像打印。这 里所说的图像数据相当于例如，表示通过脸部形状修正处理部200进行 脸部形状修正处理后的图像的图像数据。CPU110通过从内部存储器120 读取上述这些应用程序并进行实施，分别实现这些各部分的功能。
操作部140具有按键和触摸屏，受理由用户发出的指令等输入。显 示部150例如，由液晶显示器构成。打印引擎160是根据从打印处理部 320发出的打印数据进行打印的打印机构。卡I/F170是用于与插到卡槽 172的存储卡MC之间进行数据交换的接口 。打印机100还可以构成为 除卡I/F170以外，还具有用于与其他设备(例如数码照相机、计算机) 进行数据通信的接口。以上各构成要素通过总线相互连接。
打印机100通过对含有脸部图像的图像进行脸部形状修正处理，可 以使含有脸部图像的一部分的区域变形，变得较小(以下称为小脸化或 细瘦化(slim))。这时构成为即使在脸部图像所包含的脸部朝向不是 正面朝向的情况下，也变形为比较漂亮。
2. 脸部形状修正处理
8图2是示出打印机100所执行的脸部形状修正处理的流程图。存储 卡MC插在卡槽172中，进行由用户通过操作部140做出的规定的操作， 则开始进行脸部形状修正处理。
在步骤S (以下，省略步骤的标记)100中，脸部形状修正处理部 200设定成为处理对象的对象图像。具体地说，脸部形状修正处理部200 指示显示处理部310，使得用于设定对象图像的规定的用户界面(UI) 显示在显示部150上。并且，脸部形状修正处理部200纟艮据来自该UI 的输入设定对象图像。
图3示出了在S100的过程中显示在显示部150上的UI500的一例。 例如，UI500具有图像显示栏IA、两个图像切换用按键B1和B2、确定 用按键BIO、及取消用按键Bll。用户边看UI500边操作图像切换用按 键Bl和B2选择对象图像，可以通过按下确定用按键B10来设定对象 图像。在图3的例子中，选择了拍摄有两个人物P1和P2的图像TI作 为对象图像，在这种状态下，用户通过按下确定用按键BIO，使得脸部 形状修正处理部200将图像TI设定为对象图像。此外，在UI500中还 可以构成为使存储卡MC内的多个图像在一起预览显示。
在S200中，脸部区域检测部210检测对象图像中的脸部区域。所 谓脸部区域是对象图像中的图像区域，是假定至少含有规定的脸部器官 (眼、鼻、口)的区域。脸部区域检测部210解析对象图像，检测出假 定含有该脸部器官的矩形区域作为脸部区域。脸部区域的检测是使用例 如利用了模板的图形匹配法这一公知的检测方法(参照日本特开 2006-279460 )来进行的。关于脸部区域检测部210，只要是在上述图形 匹配中能够检测脸部区域的手法均可以采用。例如，脸部区域检测部210 采用一种预学习的神经网络，其以对象图像内设定的矩形区域(检测对 象区域)为单位，输入图像的各种信息(例如，亮度信息、边缘量及对 比度等)，输出表示了检测对象区域是否与脸部区域相当的信息，由此 可以检测出脸部区域，还可以利用支持向量机(SVM)判断每个检测对 象区域是否是脸部区域。
图4是示出S200中的脸部区域的检测结果的一例的说明图。在图4 的例子中，因为对象图像TI中含有人物Pl和人物P2两个人的脸部图 像，所以检测出与人物Pl的脸部图像对应的脸部区域Fdl和与人物P2
9的脸部图像对应的脸部区域Fd2。脸部区域Fdl和Fd2是完全含有各个 人物的双眼、鼻及嘴的各图像的矩形区域。所检测出的脸部区域Fdl 和Fd2的大小因人物Pl和P2的脸部而不同。脸部区域检测部210通 过各个脸部区域的4个顶点的坐标确定上述2个脸部区域Fdl和Fd2。
在S200中，当脸部区域的检测不成功时(在S300中否)，该检测 不成功的信息通过显示部150通知给用户。这种情况下，为了使用户选 择其他图像作为对象图像，UI500再次显示在显示部150上，进行对象 图像的再设定(SIOO)。此外，还可以构成为在通知上述检测不成功 的信息之后终止脸部形状修正处理，以此替代S100的再执行。
另一方面，在S200中，在至少检测成功一个脸部区域时(在S300 中是)，器官区域检测部220检测出对象图像TI中的器官区域(S400)。 所谓器官区域是指上述检测出的脸部区域内的图像区域，其至少含有脸 部器官的一部分图像。在本实施方式中，设定被拍摄体的人物的右眼、 左眼及口部作为脸部器官，作为器官区域，"含有右眼的图像的右眼区 域""含有左眼的图像的左眼区域"及"含有口部图像的口部区域"为 检测对象。器官区域检测部220对在S200中检测出的每个脸部区域Fdl 和Fd2进行解析，检测出假定含有右眼的矩形区域作为"右眼区域"。 同样地，器官区域检测部220对每个脸部区域Fdl和Fd2进行解析， 分别检测出假定含有左眼的矩形区域作为"左眼区域"、假定含有口部 的矩形区域作为"口部区域"。上述器官区域的检测与脸部区域的检测 一样，可以使用例如利用了模板的图形匹配法这一公知的检测方法来进 行。
图5是示出S400中的器官区域的检测结果的一例的说明图。在图5 的例子中，在人物Pl的脸部区域Fdl中，检测出右眼区域Erl、左眼 区域E12及口部区域Mal。同样地，在人物P2的脸部区域Fd2中，检 测出右眼区域Er2、左眼区域E12及口部区域Ma2。器官区域检测部220 可以根据各个区域的4个顶点的坐标确定检测出的各器官区域Erl、 E12、 Mal、 Er2、 E12及Ma2。此外，器官区域检测部220可以对上述 检测出的各器官区域进一步地设定可靠性指标。所谓可靠性指标是表示 检测出的器官区域确实是含有脸部器官的图像的区域的可靠程度的指 标。在本实施方式中，使用在变更模板并多次进行图形匹配时的匹配次数作为可靠性指标。
在S400中，在器官区域检测成功的情况下(在S500中是)，进行 S600的处理。所谓器官区域检测成功的情况的意思是以脸部区域为 单元完全检测出"右眼区域"、"左眼区域"及"口部区域"3个器官区 域。或者，器官区域检测部220在脸部区域内完全检测出"右眼区域"、 "左眼区域"及"口部区域，，3个器官区域，并且，对于全部的器官区 域，当表示可靠性指标的可靠程度比规定的阈值大时，可以判断出器官 区域的检测成功。
在S600中，脸部朝向推定部230推定对象图像TI所包含的脸部朝 向及脸部偏转程度，存储到内部存储器120中。在本实施方式中所说的
"脸部朝向"的意思是以脸部的正面朝向(从对象图像TI的观察者 朝向作为被拍摄体的人物的脸的方向)为基准的脸部朝向。此外，所谓
"脸部偏转程度"的意思是以脸部的正面朝向为基准(0° )时的脸 部朝向的角度(或间接表示角度的信息)。
图6是示意性地示出推定S600中的脸部朝向和脸部偏转程度的方 法的说明图。在图6中，将连接右眼区域Er的中心点Ce (r)和左眼 区域El的中心点Ce (1)的线段CL的长度称为参照宽度Wr，将口部 区域Ma的中心点Cm与线段CL的距离称为参照高度Hr。由图6可 以明确参照宽度Wr是与脸部的宽度相关的指标，参照高度Hr是与 脸部的高度相关的指标。脸部朝向推定部230计算出参照高度Hr与参 照宽度Wr并算出参照高度Hr与参照宽度Wr的比(Hr/Wr)作为判 定指标DI，根据判定指标DI推定脸部朝向。例如，如图6所示，当判 定指标DI的值在阈值Tl以上且小于阈值T2 (其中，阈值Tl〈阈值 T2)时，推定脸部朝向是朝向正面。此外，在判断指标DI的值小于阈 值Tl时，推定脸部的朝向为偏上或偏下，当判定指标DI的值为阈值 T2以上时，推定脸部朝向是偏右或偏左。
所谓"偏左"的意思是由对象图像TI的观察者来观察，作为被 拍摄体的人物的脸部朝向左侧(即，被拍摄体的人物实际朝向右侧)时 的脸部朝向；所谓"偏右"的意思是由图像的观察者来观察，人物的 脸部朝向右侧(即，人物实际朝向左侧)时的脸部朝向。所谓"偏上" 的意思是由图像的观察者来观察，作为被拍摄体的人物的脸部朝向上侧时的脸部朝向；所谓"偏下，，的意思是由图像的观察者来观察，人 物的脸部朝向下侧时的脸部朝向。当脸部朝向偏右或偏左时，与朝向正 面时相比，可以认为参照高度Hr基本不变，但是参照宽度Wr变小。 因此，当脸部朝向偏右或偏左时，与朝向正面时相比，判定指标DI (=Hr/Wr)的值变大。当脸部朝向偏上或偏下时，与朝向正面时相比， 参照宽度Wr基本不变，但是参照高度Hr变小。因此，当脸部朝向偏 上或偏下时，与朝向正面时相比，判定指标DI (=Hr/Wr)的值变小。 阈值Tl及阈值T2是统计多个脸部的样品图像的判定指标DI而确定的。 事先确定的阈值Tl及阈值T2存储在例如内部存储器120内的规定的 区域，脸部朝向推定部230使用对象图像的判定指标DI以及阈值Tl 和阈值T2来推定脸部朝向。
此外，由图6还可以明确判定指标DI是表示以脸部的正面朝向 为基准的脸部偏转程度(角度)的值。例如，在推定为偏右或偏左的2 个脸部图像中，可以推定判定指标DI的值更大的一方的脸部与另一方 的脸部相比，偏离了正面朝向的程度(角度)更大(更接近于侧脸)。 此外，阈值Tl及阈值T2的决定与下述的设定相当，该设定用于推定 将脸部朝向从严格意义上的正面(被拍摄体的脸部与摄像装置(观察者) 呈正对着的状态)偏转到何种程度的脸部图像作为"正面朝向"。
图7 (A)是示出在得出图5所示的对象图像TI时的人物Pl和摄 像装置的位置关系的说明图。在图7(A)的例子中，示出了俯视状况 下拍摄时的两个人物Pl、 P2与摄像装置(数码照相机)800的位置关 系。两个人物P1、 P2位于相互距数码照相机800大约相同的距离。这 时，人物Pl正对数码照相机800。因此，如图5所示，人物P1的脸部 朝向呈正面朝向。
图7 (B)是示出在得出图5所示的对象图像TI时的人物P2和摄 像机的位置关系的说明图。图7 (B)也与图7 (A)同样地，示出了俯 视状况下在拍摄时的两个人物Pl、 P2与数码照相机800的位置关系。 人物P2朝向以与数码照相机800正对的方向(脸部的正面朝向)为基 准，向右侧(由观察者看的右侧)偏离了 30° (+30° )的方向。在这 种位置关系下拍摄得到的对象图像TI中，脸部朝向推定部230使用上 述的判定指标DI，例如，可以推定如下所述的各个脸部朝向及脸部偏
12转程度。
图8(A)是示出在脸部朝向的推定中，推定为正面朝向的结果的一 例的说明图。在图8(A)的例子中，关于人物P1的脸部图像的脸部朝 向的推定结果因为判定指标DI (=Hrl/Wrl)的值在阈值Tl以上且小 于阈值T2，所以推定为是"正面朝向"。这种情况下，作为表示脸部朝 向的值的"正面朝向"和作为表示脸部偏转程度(角度)的值的"0° " 与表示脸部区域Fdl的值(脸部区域的矩形的各顶点的坐标等)对应起 来，存储在内部存储器120。此外，脸部偏转角度可以使用将判定指标 DI与角度对应起来的角度表(图中省略)来决定。该角度表(图中省 略)事先通过实验来求出每个判定指标DI的偏转角度并进行设定，存 储到内部存储器120等中。
图8(B)是示出在脸部朝向的推定中，推定为偏右的结果的一例的 说明图。在图8(B)中，关于人物P2的脸部图像的脸部朝向的推定结 果因为判定指标DI (=Hr2/Wr2)的值在阈值T2以上，所以推定为是
"偏右"或"偏左"。此外，脸部朝向推定部230推定是偏右和偏左中 的任意一种。这种推定可以通过例如比较右眼区域Er的宽度Wer和左 眼区域El的宽度Wel来实现。即，如果右眼区域Er的宽度Wer大， 则推定为偏右，如果左眼区域El的宽度Wel大则推定为偏左。在图8
(B)的例子中，因为右眼区域Er2的宽度Wer2比左眼区域E12的宽 度Wel2大，所以推定为"偏右"。此外，脸部朝向推定部230根据所得 到的判定指标DI,参照上述的角度表(图中省略)可以求出关于人物 P2的脸部图像的偏转角度(+30。)。并且，脸部朝向推定部230分别 将作为表示脸部朝向的值的"偏右"和作为表示脸部偏转程度(角度) 的值的"+30° "与表示脸部区域Fd2的值对应起来，存储在内部存储 器120中。当然，脸部朝向推定部230除"偏右"及"+30° "这些信 息以外，还可以将关于人物P2的脸部图像的判定指标DI ( =Hr2/Wr2 ) 也对应地存储在内部存储器120。此外，脸部朝向推定部230还可以不 根据判定指标DI来决定脸部偏转程度(角度)，而是使用事先将上述右 眼区域Er的宽度Wer和左眼区域El的宽度Wel之比、及将上述的比 和脸部偏转角度对应起来的角度表(图中省略)来决定。
在S700中，区域设定部240通过参照关于收纳在内部存储器120
13的各脸部区域Fdl、 Fd2的信息，判断存在于对象图像TI内的脸部图 像是否是"偏右"或"偏左"。该判断在上述检测出的每个区域进行。 即，在S700中，当将判断对象作为脸部区域Fdl时，由于该脸部区域 Fdl的脸部"朝向正面"，所以区域设定部240判断为"否"，跳过S800 而进入S卯O。另一方面，在S700中，当将判断对象作为脸部区域Fd2 时，由于该脸部区域Fd2的脸部"偏右"，所以区域设定部240判断为 "是"，并进入S800。
在S900中，区域设定部240以对象图像TI内的各脸部区域为基准 设定修正对象区域(以下称为变形区域)。所谓变形区域的意思是如上 所述可以成为由图傳_修正部250进行变形处理的对象的区域。
在本实施方式中，在这样以脸部区域为基准设定变形区域前，根据 脸部偏转程度，有时插入S800的处理有时不插入。具体地说，在本实 施方式中，当存在于对象图像TI内的某脸部图像"偏右"或"偏左" 时(在S700中是)，换言之，当上述判定指标DI为阈值T2以上时， 在S800中，根据其脸部朝向和偏转的程度对脸部区域的位置及大小进 行变更(S800)。这就意味着本实施方式中的脸部区域与权利要求书 所说的第一区域相当。
以上述脸部区域Fd2为例，对S800的处理进行说明。
图9例示了 S800处理前的脸部区域Fd2 (虚线)和S800处理后的 脸部区域Fd2'(实线)。在图9中示出了如下的情况区域设定部240 根据表示了与脸部区域Fd2对应地存储在内部存储器120内的脸部朝向 及脸部偏转程度的信息，使脸部区域Fd2分别向上下左右扩大，将扩大 后的区域设定为脸部区域Fd2'。这种情况下，区域设定部240扩大脸 部区域Fd2 ，使得对应于脸部区域Fd2的脸部向右或向左偏的程度(角 度)越大，则向与脸部区域Fd2对应的脸部朝向(偏右)相反侧(左侧) 的扩大量越大。
更具体地说，区域设定部240扩大脸部区域Fd2，使得当在脸部的 宽度方向(脸部大概的方向)的外侧移动朝向脸部的高度方向(脸部大 概的上下方向)的左右边而扩大脸部区域Fd2时，脸部所朝向的一侧(图 9情况下的右侧)中的扩大量和脸部所朝向的一侧的相反侧(左侧)中的扩大量之比为脸部区域Fd2的参照宽度Wr2和参照高度Hr2之比。 此外，区域设定部240通过以相同的量向脸部的高度方向的外侧分别移 动朝向脸部的宽度方向上下边，来扩大脸部区域Fd2。在图9中示出的 例子是在脸部的宽度方向，向脸部所朝向的一侧(右侧)延长oc 'Wr2， 向脸部所朝向的一侧的相反侧(左侧)延长ot .Hr2，在脸部的高度方 向，分别向上下侧延长a (Hr2+Wr2)/2，由此设定脸部区域Fd2'。 此外，oc是用于将Hr2、 Wr2归一化为脸部区域Fd2的扩大量的系数， 其数值根据脸部区域Fd2的大小、Hr2及Wr2来确定。
图10例示了在S800处理前的脸部区域Fd2 (虚线)和S800处理 后的脸部区域Fd2'(实线)中，通过与图9中说明的方法不同的方法 扩大脸部区域的情况。在图10中，区域设定部240根据表示了与脸部 区域Fd2对应地存储在内部存储器120内的脸部朝向及脸部偏转程度的 信息，扩大脸部区域Fd2，将扩大后的区域设定为脸部区域Fd2'。这 种情况下，区域设定部240扩大脸部区域Fd2，也会使得对应于脸部区 域Fd2的脸部向右或向左偏的程度(角度)越大，则向与脸部区域Fd2 对应的脸部朝向(偏右)相反侧(左侧)的扩大量越大。但是，在图10 的例子中，与图9不同的是在脸部区域Fd2的上下左右边中，脸部所朝 向的一侧(右侧)的边的位置是固定的。
具体地说，在图10的例子中，区域设定部240在向脸部的宽度方 向扩大脸部区域Fd2时，向脸部所朝向的一侧(右侧)的相反侧延长 P (Hr2/Wr2)，在向高度方向扩大时，分别向上下侧延长P ( Hr2/Wr2 ) /2，由此设定脸部区域Fd2'。此外，P是用于将Hr2/Wr2归一化为脸 部区域Fd2的扩大量的系数，其数值根据脸部区域Fd2的大小等来确 定。
这样，区域设定部240在S800中，当用图9或图10中说明的任意 一种方法设定脸部区域Fd2'时，以该设定的脸部区域Fd2'为基准进 行S900处理。区域设定部240对于未进行S800处理的脸部区域，同样 以脸部区域为基准，进行S900处理。
在S卯O中，区域设定部240在每个作为基准的脸部区域上，通过 以事先确定的扩大倍数扩大其脸部区域来设定变形区域。即，变形区域 的位置及大小根据作为基准的脸部区域的位置及大小来确定。
15图ll是示出了 s卯o中的变形区域的设定方法的一例的说明图。在 图ll的例子中示出了以图9所示的脸部区域Fd2'为基准设定变形区 域TA2 (粗实线)的情况。基准线RL是在定义脸部区域Fd2'的高度 方向的同时，示出脸部区域Fd2'的宽度方向的中心的线。即，基准线 RL是通过矩形的脸部区域Fd2'的重心，且平行于沿着脸部区域Fd2 '的高度方向的边界线的直线。如图11所示，在本实施方式中，变形 区域TA2设定为向与基准线RL平行的方向(高度方向)及垂直于基准 线RL的方向(宽度方向)扩大脸部区域Fd2'的区域。
具体地说，设脸部区域Fd2'的高度方向的长度为H2、宽度方向的 长度为W2，则脸部区域Fd2'向上延长kl 'H2、向下延长k2 'H2时， 且分别向左右延长k3 W2后的区域被设定为变形区域TA2。 kl、 k2、 k3是为了扩大脸部区域设定变形区域而事先确定的系数。即使成为设 定S900中的变形区域的基准的脸部区域是上述脸部区域Fdl等，用于 扩大区域的系数kl、 k2、 k3也不变。这样， 一旦"^殳定变形区域TA2， 则基准线RL就成为还平行于变形区域TA2的高度方向的轮廓线的直 线。此外，基准线RL成为将变形区域TA2的宽度一分为二的直线。区 域设定部240设定变形区域时，在S1000中，图像修正部250进行以所 设定的各变形区域为对象的变形处理。
图12作为与图11对应的比较例，示出了如下情况对于人物P2 的脸部区域Fd2,在未经S800处理而成为S卯O的处理对象的情况下， 即，以脸部区域Fd2为基准，进行由上述系数kl、 k2、 k3的扩大并设 定变形区域VA (粗实线)的情况。比较图11和图12可以明确与以 脸部区域Fd2为基准设定的变形区域VA相比，以脸部区域Fd2'为基 准设定的变形区域TA2向较大并且基本包含了与脸部朝向相反的一侧 的脸部区域(如果脸部朝向是"偏右"，则是其脸部的左侧(由对象图 像TI的观察者观察的左侧)的脸颊、颌部及腮部等区域)的全部、连 颌部下面的区域也完全包含了的位置移动。
优选将成为本实施方式的变形处理的对象的变形区域^1定为其高 度方向上含有从比颌部低的颈部的中间位置到额头的大致图像、宽度方 向上含有左右脸颊的图像，因此，上述系数kl、 k2、 k3也可以事先通 过实验求出并进行设定，从而可以得到含有大致上述范围的图像的变形区域。但是，在这些系数kl、 k2、 k3的设定中，其数值始终以正面朝向的脸部图像为前提进行最适化。在由正面朝向的脸部图像和偏右(或偏左)的脸部图像检测出各个脸部区域时，因脸部区域的检测方法不同而不同，但是，通常与从朝向正面的脸部图像中检测出的脸部区域相比，从偏右(或偏左)的脸部图像中检测出的脸部区域一方的矩形有变小的倾向。由此，如图12所示，对由偏右(或偏左)的脸部图像检测出的脸部区域直接恰当地使用上述系数kl、 k2、 k3设定变形区域，则其变形区域也会变小。
即，对于脸部向右或左的偏转的程度比规定值大的脸部图像的脸部区域，如果不进行上述S800处理就在S900中设定变形区域，则所得到的变形区域成为完全不包含与脸部朝向相反的一侧的脸部区域这样的小矩形。在本实施方式中，对于这种脸部偏转程度比规定值大的脸部图像，为了防止由于设定的变形区域变小而造成的弊病(后面会对弊病的内容进行说明)，而在S卯0之前进行上述的S700、 S800处理。
图13是示出S1000变形处理的内容的流程图。
在S1010中，图像修正部250将在S卯O中设定的变形区域分割成多个小区域。
图14是示出针对变形区域的小区域的分割方法的一例的说明图。在图14中示出了以人物Pl的脸部区域Fdl为基准，设定的变形区域TA1。图像修正部250在变形区域TA1上配置多个分割点D，使用连接分割点D的直线将变形区域TA1分割成多个小区域。
分割点D的配置方式(分割点D的个数及位置)根据分割点配置图形表410确定。图像修正部250参照分割点配置图形表410配置分割点D。在本实施方式的脸部形状修正处理中，通过进行用于使脸部形状细瘦的小脸化，使得在分割点配置图形表410中，以与上述小脸化对应的方式事先确定了分割点D的配置图形。
在图14的例子中，分割点D配置在水平分割线Lh与垂直分割线Lv的交点、水平分割线Lh及垂直分割线Lv与变形区域TAl的外框的交点上。水平分割线Lh及垂直分割线Lv成为用于在变形区域TAl内
17配置分割点D的基准的线。如图14所示，在本实施方式的分割点D的配置中设定有与基准线RL垂直的2根水平分割线Lh、和与基准线RL平行的4根垂直分割线Lv。从变形区域TA1的下方依次称呼2根水平分割线Lh为Lhl、 Lh2。从变形区域TA1的左侧依次称呼4根垂直分割线Lv为Lvl、 Lv2、 Lv3、 Lv4。
在变形区域TA1中，水平分割线Lhl配置在比颌部图像低的下方，水平分割线Lh2配置在眼睛图像的下部附近。此外，垂直分割线Lvl及Lv4配置在脸颊(颊骨)的线条图像的外侧，垂直分割线Lv2及Lv3配置在眼角的图像的外侧。水平分割线Lh及垂直分割线Lv的配置是按照水平分割线Lh及垂直分割线Lv与图像的位置关系最终呈现上述的位置关系的方式根据事先设定的与变形区域TA1的大小的对应关系而进行的。
根据上述的水平分割线Lh与垂直分割线Lv的配置，在水平分割线Lh与垂直分割线Lv的交点、水平分割线Lh及垂直分割线Lv与变形区域TA1的外框的交点上配置分割点D。如图14所示，将位于水平分割线Lhi (i=l或2 )上的分割点D从左依次称为D0i、 Dli、 D2i、 D3i、D4i、 D5i。例如，位于水平分割线Lhl上的分割点D被称为DOl、 Dll、D21、 D31、 D41、 D51。同样，将位于垂直分割线Lvi (i-l、 2、 3、 4中任意一个)上的分割点D从下依次称为DjO、 Djl、 Dj2、 Dj3。例如，位于垂直分割线Lvl上的分割点D被称为DIO、 Dll、 D12、 D13。此外，如图14所示，分割点D的配置相对于基准线RL呈对称配置。
图像修正部250用连接所配置的分割点D的直线(即水平分割线Lh和垂直分割线Lv)将变形区域TA1分割成多个小区域。在图14的例子中，变形区域TA1分割成15个矩形的小区域。
在S1020中，图像修正部250根据存储在内部存储器120内的分割点移动表420移动分割点D的位置，使小区域变形，由此使变形区域TA1变形。
图15示出了分割点移动表420的例子。在分割点移动表420中，对在S1010中所配置的各分割点D11 D42，设定沿着与基准线RL垂直的方向(称为H方向)移动量及沿着与基准线RL平行的方向(称为V方向)移动量。在本实施例中，上述移动量的单位是对象图像TI的像素间距PP。此外，在H方向上，向右的移动量表示为正值，向左的移动量表示为负值，在V方向上，向上的移动量表示为正值，向下的移动量表示为负值。在图15的例子中，在分割点移动表420中，对于分割点Dll，沿H方向在右侧设定图像间距PP的7倍距离的移动量，沿V方向在上方设定图像间距PP的14倍距离的移动量。此外，对于分割点D22， i殳定零作为其在H方向及V方向的移动量。
图16是表示分割点D根据分割点移动表420的位置移动的一例的说明图。在图16的例子中，示出了关于变形区域TA1移动分割点D的位置进行变形时的具体的变形方式。图像修正部250对构成变形区域TA1的各小区域进行图像的变形处理，使得在分割点D的位置移动前的状态下的小区域的图像成为根据分割点D的位置移动而重新定义的小区域的图像。在图16中，为了便于进行比较，用虚线表示变形前的人物P1的轮廓。此外，在图16中，对移动后的分割点D的符号赋予"'"，对移动前的分割点D (空心圆)的符号赋予括弧。例如，以分割点Dll、D21、 D22、 D12为顶点的小区域(标注阴影线进行表示的小区域)的图像变形为以分割点D' 11、 D' 21、 D' 22、 D' 12为顶点的小区域的图像。后面会对该小区域图像的变形处理进行详细叙述。
如图16所示，S1020中的分割点的移动结果是关于与基准线RL平行的方向(V方向)，配置在水平分割线Lhl上的分割点D (Dll、D21、 D31、 D41)的位置向上方移动，另一方面，配置在水平分割线Lh2上的分割点D (D12、 D22、 D32、 D42)的位置不移动。因此，位于水平分割线Lhl和水平分割线Lh2之间的图像关于V方向被缩小。如上所述，为了将水平分割线Lhl配置在颌部图像的下方，水平分割线Lh2配置在眼部图像的下部附近，在本实施方式的脸部形状修正中，脸部图像中的从颌部到眼部下部的部分的图像在V方向上缩小。其结果是，图像中的颌部的线条向上方移动。
关于与基准线RL垂直的方向(H方向)，配置在垂直分割线Lvl上的分割点D (Dll、 D12)的位置向右移动，配置在垂直分割线Lv4上的分割点D (D41、 D42)的位置向左移动。此外，配置在垂直分割线Lv2上的2个分割点D中的、配置在水平分割线Lhl上的分割点D
19(D21)的位置向右移动，配置在垂直分割线Lv3上的2个分割点D中的、配置在水平分割线Lhl上的分割点D (D31)的位置向左移动。因此，位于垂直分割线Lvl左侧的图像关于H方向向右侧扩大，位于垂直分割线Lv4右侧的图像向左侧扩大。此外，位于垂直分割线Lvl和垂直分割线Lv2之间的图像关于H方向缩小或向右侧移动，位于垂直分割线Lv3和垂直分割线Lv4之间的图像关于H方向缩小或向左侧移动。此外，位于垂直分割线Lv2和垂直分割线Lv3之间的图像以水平分割线Lhl的位置为中心关于H方向缩小。
如上所述，垂直分割线Lvl及Lv4配置在脸颊的线条图像的外侧，垂直分割线Lv2及Lv3配置在眼角的图像的外侧。因此，在本实施例中，脸部图像中的、靠两眼角外侧的部分的图像整体在H方向上缩小。特别是，在颌部附近缩小率较大。其结果是，图像中的脸部形状整体地在宽度方向上变细。综合上述的H方向及V方向的变形方式，通过步骤S1020的处理使变形区域TA1所包含的人物Pl的脸部形状变得细瘦(小脸)。在打印机100中，位于变形区域TA1的外框上的分割点D(例如图16所示的分割点D10等)的位置不会移动，使得变形区域TA1的内外图像间的边界不会变得不自然。因此，在分割点移动表420中，没有设定关于位于变形区域的外框上的分割点D的移动量。
图17示出了将以上述脸部区域Fd2'为基准设定的上述变形区域TA2作为对象，进行S1000的变形处理的情况。即使对于变形区域TA2，图像修正部250也与上述变形区域TA1的变形处理一样，参照分割点配置图形表410配置分割点D ( S1010 )，根据分割点移动表420移动分割点D的位置使小区域变形(S1020)。在图17中，也是用虚线表示变形前的人物P2的轮廓，对移动后的分割点D的符号赋予"'"，对移动前的分割点D (空心圆)的符号赋予括弧。由图17可以明确，与人物P1的变形区域TA1的变形一样，即使在人物P2的变形区域TA2中，脸部形状也变得细瘦(小脸)。
图18作为与图17对应的比较例，示出了将以人物P2的脸部区域Fd2为基准而设定的上述变形区域VA作为对象，进行了 S1000的变形处理的情况。即使在图18中，也是用虚线表示变形前的人物P2的轮廓，对移动后的分割点D的符号赋予"'"，对移动前的分割点D (空心圆)
20的符号赋予括弧。如上所述，变形区域VA比以上述脸部区域Fd2'为基准设定的上述变形区域TA2小，并且，位于不完全含有与脸部朝向相反的一侧的脸部区域的位置。因此，如果脸部朝向"偏右"，则即使在各分割点D中，移动量多的分割点Dll、 D21、 D31、 D41中的尤其是分割点Dll、 D21与图17及图16的例子比较，配置在脸部的颌部的线条附近(如果脸部朝向"偏左"，则分割点D31、 D41配置在颌部的线条附近)。这样，变形处理时，特别是移动量多的分割点D配置在脸部图像的颌部的线条附近，则如图18所示，在变形后的脸部中，有时颌部的线条会呈现不自然的曲线，根据情况有时颌部的线条还会产生不自然的阶梯差。
在本实施方式中，为了避免颌部线条会产生不自然及阶梯差这种弊病，只要是具有如人物P2那样的偏转的脸部图像，就可以将上述的变形区域TA2设定为对象图像TI，使该变形区域TA2内的各小区域变形。如上所述，变形区域TA2比变形区域VA大，并且位于大体上包含了与脸部朝向相反的一侧的脸部区域的全部，连颌部下部的区域也充分包含了的位置。因此，即使在各分割点D中，移动量多的分割点Dll、 D21、D31、 D41等配置在离脸部的颌部线条足够远的位置(参照图17)，其结果是，可以避免在以变形区域VA (参照图18)为对象进行变形处理的情况下可能产生的上述弊病。
图19是示意性地示出在S1020中进行的小区域图像的变形处理的说明图。在图19中，用黑色圆表示分割点D。此外，为了简化说明，对4个小区域，分别在左侧示出分割点D的位置移动前状态，在右侧示出分割点D的位置移动后状态。在图19的例子中，中央分割点Da移动到分割点Da'的位置上，其他分割点D的位置不移动。由此，例如，以分割点D的移动前的分割点Da、 Db、 Dc、 Dd为顶点的矩形小区域(以下称为"变形前关注小区域BSA")的图像变形为以分割点Da'、Db、 Dc、 Dd为顶点的矩形小区域(以下称为"变形后关注小区域ASA")的图像。
在本实施方式中，使用小区域的重心CG将矩形小区域分割成4个三角形区域，以三角形区域为单位进行图像的变形处理。在图19的例子中，变形前关注小区域BSA被分割成4个以变形前关注小区域BSA的重心CG作为1个顶点的三角形区域。同样地，变形后关注小区域ASA被分割成4个以变形后关注小区域ASA的重心CG'作为1个顶点的三角形区域。并且，在分割点Da移动前后的各个状态下，对每个对应的三角形区域进行图像的变形处理。例如，以变形前关注小区域BSA中的分割点Da、 Dd及重心CG为顶点的三角形区域的图# 变形为以变形后关注小区域ASA中的分割点Da' 、Dd及重心CG'为顶点的三角形区域的图像。
图20是示意性地示出三角形区域中的图像的变形处理方法的说明图。在图20的例子中，以点s、 t、 u为顶点的三角形区域stu的图像变形为以点s' 、 t' 、 u'为顶点的三角形区域s' t' u'的图像。图像的变形是通过计算出变形后的三角形区域s' t' u'的图像中的像素位置相当于变，-的三角形区域s、tu的图像,的哪个位置，并将所算出一的位
例如，在图20中，变形后的三角形区域s' t' u'的图像中的关注像素p'的位置相当于变形前的三角形区域stu的图像中的位置p。位置p的计算如下所述。首先，如下述的公式(l)，计算出用于以矢量s't'与s' u'之和来表示关注像素p'的位置的系数ml及m2。
式1
s'/ ， =/wl .y广十/w2'S'M' (1)
接着，使用所计算出的系数ml及m2，根据下述的公式(2)，通过计算出变形前的三角形区域stu中的矢量st与矢量su之和，求出位置p。
式2
—一 '
s/ =附1. W + w 2 ., (2)
在变形前的三角形区域stu中的位置p与变形前的图像的像素中心位置一致情况下，该像素的像素值成为变形后的图像的像素值。另一方面，在变形前的三角形区域stu中的位置p偏离了变形前的图像的像素
22中心位置的情况下，通过使用了位置p周围的像素的像素值的双三次(bi
cubic)插值法等插值运算计算出位置p的像素值，所计算出的像素值
成为变形后的图像的像素值。
对于变形后的三角形区域s' t' u'的图像中的各像素，如上所述 计算出像素值，由此可以进行由三角形区域stu的图像到三角形区域s 't' u'的图像变形处理。这样，图像修正部250对构成变形区域的各 小区域，以如上所述定义三角形区域进行变形处理。
3.总结
这样，根据本实施方式，打印机100根据从对象区域中检测出的脸 部区域的相当于右眼区域与左眼区域的距离的参照宽度Wr与相当于连 接右眼区域和左眼区域的线段与口部区域的距离的参照高度Hr之比、 以及右眼区域与左眼区域的大小关系等，来推断脸部图像的朝向(偏右 或偏左)及脸部图像偏转的程度，并且，在脸部图像偏右或偏左的状态 下，对上述检测出的脸部区域，变更其位置及大小，以使得脸部偏转程 度越大则向与脸部朝向相反的一侧的扩大越大，并根据事先设定的规定 的扩大倍数(规定的扩大用系数)扩大该变更后的脸部区域，由此来设 定修正对象区域(变形区域)。并且，对于该设定的修正对象区域，恰 当地使用事先设定的用于小脸化的变形处理来进行变形。
因此，可以进行以往难以进行的、用于对不符合正面朝向的具有偏 转的脸部图像的小脸化的变形，并且，消除在对该具有偏转的脸部图像 进行了小脸化的结果中可能会产生的颌部的线条等不自然及阶梯差，可 以实现漂亮的小脸化。此外，在本实施方式的脸部形状修正处理中，对
仅在于对于已经检测出的脸部区域，是否对其追加与脸部偏转程度及 脸部朝向相对应的变更(扩大、移动)，变形区域的设定方法及对设定 的变形区域的变形处理的内容是一样的。因此，不会因为脸部图像中的 脸部朝向的不同而导致脸部形状修正所需要的处理量变化较大，并且打 印机IOO的负担也较少。
此外，打印机IOO由于不需要为了正面朝向的脸部图像的变形处理的信息(例如，用于设定变形区域的上述系数kl、 k2、 k3，分割点配 置图形表410及分割点移动表420),因此还可以节约打印机IOO中的存 储器资源。
权利要求
1.一种图像处理装置，其特征在于，具有脸部朝向推定部，在含有脸部图像的对象图像中，推定该脸部图像中所包含的以脸部的正面朝向为基准的脸部朝向和偏转程度；区域设定部，在以上述脸部图像的含有规定的脸部器官的第一区域为基准，将含有该第一区域的区域设定为修正对象区域时，根据上述脸部朝向和偏转程度对该第一区域进行变更，以该变更后的第一区域为基准，设定修正对象区域。
2. 根据权利要求l所述的图像处理装置，其特征在于，上述区域 设定部，在上述脸部偏转程度较大时，使上述第一区域向上述脸部朝向 相反侧扩大得较大。
3. 根据权利要求2所述的图像处理装置，其特征在于，上述脸部 朝向推定部根据上述脸部器官间的距离推定上述脸部的偏转程度，上述 区域设定部根据上述脸部器官间的距离决定上述第一区域的扩大程度。
4. 根据权利要求1 3中任意一项所述的图像处理装置，其特征在 于，上述区域设定部通过按照事先确定的扩大倍数扩大作为基准的上述 第 一 区域来设定修正对象区域。
5. 根据权利要求1 4中任意一项所述的图像处理装置，其特征在 于，上述区域设定部将由检测部检测出的含有上述脸部器官的区域作为 第一区域，当上述脸部偏转程度比规定值大时，根据上述脸部朝向和偏 转程度对上述取得的第一区域进行变更，当上述脸部偏程度在上述规定 值以下时，以上述取得的第一区域为基准设定修正对象区域，该检测部 可以从上述对象图像中取得含有上述脸部器官的区域。
6. 根据权利要求l-5中任意一项所述的图像处理装置，其特征在 于，还具有图像修正部，该图像修正部在上述设定的修正对象区域中配 置多个分割点，用将分割点彼此之间连接的直线将修正对象区域分割成 多个小区域，移动至少一个分割点的位置使小区域变形，由此对修正对 象区域内的图像进行变形。
7. —种图像处理方法，其特征在于，具有脸部朝向推定步骤，在含有脸部图像的对象图像中，推定该脸部图 像所包含的以脸部的正面朝向为基准的脸部朝向和偏转程度；区域设定步骤，在以上述脸部图像的含有规定的脸部器官的第一区 域为基准，将含有该第一区域的区域设定为修正对象区域时，根据上述 脸部朝向和偏转程度对该第一区域进行变更，以该变更后的第一区域为基准设定修正对象区域。
8. —种图像处理程序，其特征在于，使计算机实现以下功能 脸部朝向推定功能，在含有脸部图像的对象图像中，推定该脸部图像所包含的以脸部的正面朝向为基准的脸部朝向和偏转程度；区域设定功能，在以上述脸部图像的含有规定的脸部器官的第一区域为基准，将含有该第一区域的区域设定为修正对象区域时，根据上述脸部朝向和偏转程度对该第一区域进行变更，以该变更后的第一区域为基准设定修正对象区域。
全文摘要
本发明提供一种图像处理装置、图像处理方法及图像处理程序。上述图像处理装置具有脸部朝向推定部，在含有脸部图像的对象图像中，推定该脸部图像中所包含的以脸部的正面朝向为基准的脸部朝向和偏转程度；区域设定部，在以上述脸部图像的含有规定的脸部器官的第一区域为基准，将含有该第一区域的区域设定为修正对象区域时，根据上述脸部朝向和偏转程度对该第一区域进行变更，以该变更后的第一区域为基准，设定修正对象区域。根据本发明，即使在脸部图像中的脸部朝向正面以外的情况下，也能够进行最合适的处理来得到漂亮的脸部图像的变形结果。
文档编号G06T5/20GK101655975SQ20091016523
公开日2010年2月24日 申请日期2009年8月13日 优先权日2008年8月22日
发明者小林绫子, 山崎明生 申请人:精工爱普生株式会社