图像处理设备、图像处理方法和程序的制作方法

专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法和程序。更具体地讲，本发明涉及 一种能够产生可以正确地施加于脸部形状的纹理图像的图像处理设备、图像处理方法和程序。
背景技术：
在现有技术中，三维(3D)脸部模型用于制作诸如视频游戏和电影的应用的计算 机图形(CG)。作为示例，如图1中所示，3D脸部模型由下述各项构成脸部形状，其基于以三维 方式表示脸部形状的形状数据；和纹理图像，其施加于脸部形状的表面。另外，由于纹理图 像是三维曲面的平面投影，所以纹理图像不同于通过使用普通成像设备拍摄向前看的脸部 而获取的图像。相反，纹理图像是以变形的方式表示脸部的图像。例如，在日本未审专利申请公开No. 2006-107145中，公开了一种同时获取脸部形 状和纹理图像的方法。通过以这种方法同时获取脸部形状和纹理图像并随后从获取纹理图 像的方向把纹理图像施加于脸部形状，可以将纹理图像正确地施加于脸部形状。

发明内容
另一方面，在把任意脸部的纹理图像施加于预先建模的脸部形状的情况下，脸部 形状中的脸部特征和纹理图像不相配。由此，难以正确地把纹理图像施加于脸部形状。考虑到这种情况，希望提供能够产生可以正确地施加于脸部形状的纹理图像的技 术。根据本发明实施例的图像处理设备设置有特征点获取装置，用于获取特征点，该 特征点是呈现脸部的图像中的脸部上的特性点；附加特征点计算装置，用于基于由特征点 获取装置获取的特征点来计算附加特征点；变换装置，用于使用特征点和附加特征点变换 图像以与投影图像中的脸部的结构匹配，所述投影图像描画投影到平面上的给定三维脸部 形状的表面。根据本发明另一实施例的图像处理方法或程序包括下述步骤获取特征点，该特 征点是呈现脸部的图像中的脸部上的特性点；基于特征点计算附加特征点；使用特征点和 附加特征点变换图像以与投影图像中的脸部的结构匹配，所述投影图像描画投影到平面上 的给定三维脸部形状的表面。根据本发明的实施例，获取特征点，该特征点是呈现脸部的图像中的脸部上的特 性点。基于这些特征点计算附加特征点，使用特征点和附加特征点二者来变换图像以与 投影图像中的脸部的结构匹配，所述投影图像描画投影到平面上的给定三维脸部形状的表 根据本发明的实施例，可以产生能够正确地施加于脸部形状的纹理图像。


图1是解释3D脸部模型的结构的示图；图2是示出应用了本发明实施例的图像处理系统的示例性配置的框图；图3是解释对用户脸部进行成像并显示脸部模型的处理的流程图；图4是解释产生变换图像的处理的示图；图5是解释在脸部区域中设置的特征点的示图；图6是解释在脸部区域中设置的附加特征点的示图；图7是解释产生变换图像的处理的流程图；图8示出三维脸部形状；图9示出描画投影到平面上的脸部形状的表面的纹理图像；图10是解释把纹理图像分割成多个三角形区域的处理的示图；图11是解释变换三角形区域的处理的示图；图12是解释图像变换处理的流程图；图13A示出仅基于特征点的处理的结果；图13B示出基于特征点和附加特征点二者的处理的结果；图14示出肤色提取区域的一个例子；图15是解释掩码处理(mask process)的示图；图16是解释肤色掩码处理的流程图；图17是解释产生掩码数据(mask data)的处理的流程图；图18是解释产生掩码数据的处理的示图；图19示出显示脸部模型的显示屏幕的例子；图20示出与3D头发形状组合的脸部模型的例子；图21示出与3D帽子形状组合的脸部模型的例子；图22是解释反映不同用户的脸部的脸部模型的示图；图23是解释反映不同用户的脸部的脸部模型的示图；图24是解释反映不同用户的脸部的脸部模型的示图；图25示出呈现脸部绘画(face painting)的脸部模型；图26示出施加了隈取化妆(kumadori makeup)的脸部模型；以及图27是示出应用了本发明实施例的计算机的示例性配置的框图。
具体实施例方式以下，将参照附图详细描述本发明的特定实施例。图2是示出应用了本发明实施例的图像处理系统的示例性配置的框图。在本说明 书中，系统是指由多个组成设备实现的设备的整体。在图2中，图像处理系统被配置有成像设备12、输入设备13和连接到图像处理 设备11的显示设备14。成像设备12设置有光学装置，其包括诸如透镜和光阑的部件；和成像单元，诸如 电荷耦合器件(CCD)或互补性金属氧化物半导体(CMOS)传感器。成像设备12获取经光学 装置聚焦到成像单元的光敏表面上的被摄体的光学图像。作为结果获得的图像的数据随后被提供给图像处理设备11。输入设备13包括各种元件，诸如按钮和开关，或者被显示设备14覆盖的触摸面 板。输入设备13根据用户操作向图像处理设备11提供信号。显示设备14包括液晶显示器(IXD)或有机电致发光(EL)显示器。显示设备14 根据从图像处理设备11提供的图像数据显示各种图像。图像处理设备11被设置有存储单元21、变换图像产生器22、肤色掩码处理器 23、3D处理器24和控制器25。存储单元21存储诸如由成像设备12获取的图像的数据以及由变换图像产生器22 和肤色掩码处理器23产生的纹理图像的数据的信息。另外，用于由图像处理设备11进行 的图像处理中的各种数据也被存储在存储单元21中。例如，以三维方式表示脸部的形状的 形状数据可以预先被存储在存储单元21中。遵循来自控制器25的控制指令，变换图像产生器22读出存储在存储单元21 中的图像数据并执行变换图像产生处理。在这个处理中，通过变换出现在取回的图像 (retrieved image)中的脸部以与纹理图像中的脸部的结构匹配来产生变换图像。变换图像产生器22被设置有特征点检测器31、附加特征点计算器32和图像变 换处理器33。如稍后参照图5所述，特征点检测器31从出现在图像中的脸部检测特征点。 如稍后参照图6所述，附加特征点计算器32从出现在图像中的脸部计算附加特征点。如稍 后参照图8至11所述，图像变换处理器33使用特征点和附加特征点通过执行用于变换出 现在图像中的脸部的图像变换处理来产生变换图像。遵循来自控制器25的控制指令，肤色掩码处理器23执行肤色掩码处理。在这个 处理中，以从图像中的脸部提取的肤色替换由变换图像产生器22产生的变换图像中的背 景(即，从脸部的轮廓向外延伸的图像的部分)。通过以这种方法把肤色掩码施加于变换图 像，从呈现用户的脸部的图像产生纹理图像。肤色掩码处理器23随后使纹理图像的数据存 储在存储单元21中。肤色掩码处理器23被设置有肤色提取器41、掩码处理器42和掩码数据产生器 43。如稍后参照图14所述，肤色提取器41从由附加特征点限定的设置区域提取肤色。如 稍后参照图15和16所述，掩码处理器42执行用于以肤色替换变换图像的一部分的掩码处 理。如稍后参照图17和18所述，掩码数据产生器43产生在掩码处理中由掩码处理器42 使用的掩码数据。遵循来自控制器25的控制指令，3D处理器24执行脸部模型产生处理。在这个处 理中，将由变换图像产生器22和肤色掩码处理器23产生的纹理图像施加于基于存储在存 储单元21中的形状数据的脸部形状。另外，3D处理器24执行用于把表示为3D形状的脸部 模型转换成用于在显示设备14上显示的2D图像的处理。随后把作为结果获得的图像的数 据提供给显示设备14，并显示脸部模型。控制器25被设置有各种部件，诸如中央处理单元(CPU)、只读存储器(ROM)、随机 存取存储器(RAM)和闪速存储器(诸如，电可擦除可编程只读存储器(EEPROM))。作为CPU 把存储在ROM或闪速存储器中的程序载入到RAM中并执行所述程序的结果，控制器25控制 图像处理设备11的各种部件。图3是解释图2中的图像处理系统对用户的脸部进行成像并显示脸部模型的处理的流程图。例如，当用户自己正对成像设备12并操作输入设备13以获取他或她的脸部的正 面图像时，开始这个处理。在步骤Sll中，成像设备12在根据用户操作的定时获取图像，并 把获取的图像提供给图像处理设备11。在步骤Sll中的处理之后，该处理前进至步骤S12。在步骤S12中，变换图像产生 器22取得在步骤Sll中由成像设备12获取的图像，并执行用于产生变换图像的变换图像 产生处理(参见稍后描述的图7)。在变换图像产生处理中，对正被处理的图像(在下文中， 在适当的情况下称为原始图像)中出现脸部的区域进行变换，以与纹理图像中的脸部的结 构匹配。通过这样做，产生变换图像。变换图像产生器22随后把通过变换图像产生处理产 生的变换图像提供给肤色掩码处理器23，并且该处理前进至步骤S13。在步骤S13中，肤色掩码处理器23执行肤色掩码处理(参见稍后描述的图6)。在 肤色掩码处理中，以从在原始图像中出现的脸部提取的肤色替换从变换图像产生器22提 供的变换图像中的背景。通过这样做，产生纹理图像。肤色掩码处理器23随后使通过肤色 掩码处理产生的纹理图像存储在存储单元21中，并且该处理前进至步骤S14。在步骤S14中，3D处理器24读出存储在存储单元21中的脸部形状和纹理图像，并 通过把纹理图像施加于脸部形状来产生脸部模型。3D处理器24随后把产生的脸部模型转 换成用于在显示设备14上显示的2D图像，并把作为结果获得的图像的数据提供给显示设 备14。该处理随后前进至步骤S15。在步骤S15中，显示设备14基于在步骤S14中从3D处理器24提供的数据显示图 像。换句话说，显示设备14显示由从呈现用户脸部的图像产生的纹理图像表示的脸部模型 的图像。该处理随后结束。现在，将参照图4描述变换图像产生器22产生变换图像的处理。例如，变换图像产生器22的特征点检测器31从呈现用户脸部的原始图像61检测 特征点。这里，特征点是特定脸部上的特征点。另外，附加特征点计算器32基于由特征点 检测器31检测的特征点来计算附加特征点。通过这样做，针对原始图像61设置特征点和 附加特征点，如图像62所示。在图像62中，特征点由圆圈指示，附加特征点由三角形指示。随后，变换图像产生器22的图像变换处理器33执行图像变换处理。在图像变换 处理中，对原始图像61进行变换，使得从原始图像61检测和计算的特征点和附加特征点分 别与在纹理图像中设置的特征点和附加特征点匹配。这里，纹理图像是施加该纹理图像的 脸部形状的三维表面的平面投影(见稍后描述的图9)。作为图像变换处理的结果，产生变 换图像63。现在，将参照图5和图6描述从原始图像检测和计算的特征点和附加特征点。图5示出在原始图像中已被识别为出现脸部的区域的矩形脸部区域。在这个脸部 区域中，特征点由圆圈指示。通常，颜色变化倾向于在脸部轮廓、眉毛位置、眼睛边界、鼻子边界和嘴部边界处 增加。由于这个原因，基于原始图像中的颜色变化，特征点检测器31检测特征点以覆盖显 著颜色变化的点。然后，特征点检测器31针对脸部区域设置55个特征点PO至P54，如图5 中所示。例如，特征点检测器31可设置沿脸部轮廓的特征点PO至P11、在右眉毛上的特征点P12至P14和在右眼上的特征点P15至P23。另外，特征点检测器31可设置在左眉毛上 的特征点P24至P26、在左眼上的特征点P27至P35、在鼻子上的特征点P36至P40和在嘴 部上的特征点P41至P54。应该理解，特征点检测器31检测特征点的技术通常是公开的，并且通过使用这种 技术可以自动设置特征点。可替换地，用户可操作输入设备13以交互方式针对显示在显示 设备14上的脸部区域设置特征点。特征点检测器31可随后获取如此输入的特征点并在脸 部区域中设置特征点。接下来，除了图5中示出的特征点之外，图6还示出由附加特征点计算器32设置 的12个附加特征点PxO至Pxll。附加特征点计算器32从已经由特征点检测器31设置的特征点PO至P54之中取得 预定特征点，基于这些特征点，掩码数据产生器43针对脸部区域计算并设置附加特征点。 在图6的例子中，附加特征点计算器32设置如下在眼角旁边设置附加特征点PxO和Px6 ； 在眼睛下方的脸颊上设置附加特征点Pxl、Px2、PxS和Px7 ；在嘴角上方的脸颊上设置附加 特征点Px3和Px9 ；在嘴角旁边的脸颊上设置附加特征点Px4和PxlO ；以及在嘴角下方的脸 颊上设置附加特征点Px5和Pxll。例如，附加特征点计算器32可以从右眼的右边缘的特征点P15和右眼的左边缘的 特征点P19计算在右眼的眼角旁边设置的附加特征点PxO。使用采用脸部区域的左上角作 为原点(0，0)的标准化值来计算特征点和附加特征点。例如，如果特征点P15的XY坐标 被取为P15 (X，Y)并且如果特征点P19的XY坐标被取为P19 (X，Y)，则可根据PxO (X，Y)= P15 (X，Y) + (P15 (X，Y) -P19 (X，Y)) /2 计算附加特征点 PxO 的 XY 坐标 PxO (X，Y)。这样，在从 右眼的右边缘向外延伸(即，朝着脸部轮廓延伸)与右眼的水平宽度的一半相等的长度的 位置处定义附加特征点PxO。另外，附加特征点计算器32可以从在右眼的右边缘的特征点P15和在嘴部的右 边缘的特征点P41计算在眼睛下方的脸颊上设置的附加特征点Pxl。换句话说，如果特征 点P15的XY坐标被取为P15 (X，Y)并且如果特征点P41的XY坐标被取为P41 (X，Y)，则可 根据 Pxl (X，Y) = P15 (X, Y) + (P41 (X, Y) -P15 (X, Y)) * 1/4 计算附加特征点 Pxl 的 XY 坐标 PxKX, Y)。这样，在从右眼的右边缘向嘴部的右边缘延伸与右眼的右边缘和嘴部的右边缘 之间的距离的四分之一相等的长度的位置处定义附加特征点Pxl。类似地，在从右眼的左边缘向嘴部的右边缘延伸与右眼的左边缘和嘴部的右边缘 之间的距离的四分之一相等的长度的位置处定义附加特征点Px2。在从右眼的沿水平宽度 的中央点向嘴部的右边缘延伸与右眼的沿水平宽度的中央点和嘴部的右边缘之间的距离 的四分之三相等的长度的位置处定义附加特征点Ρχ3。另外，在从嘴部的右边缘向外延伸 (即，远离嘴部的左边缘延伸)与嘴边缘之间的距离的四分之一相等的长度的位置处定义 附加特征点Ρχ4。在沿远离右眼的左边缘的方向上从嘴部的右边缘延伸与右眼的左边缘和 嘴部的右边缘之间的距离的四分之一相等的长度的位置处定义附加特征点Ρχ5。同样地，在脸部的左侧上定义附加特征点Px6至Pxll以与在脸部的右侧上设置的 相应的附加特征点PxO至Px5左/右对称。这样，为附加特征点PxO至Pxll定义的位置是脸部区域中颜色变化小的位置。由 于这个原因，难以像特征点一样基于颜色变化来自动检测这些附加特征点。另外，即使用户
8操作输入设备13设置附加特征点，也难以从脸部区域确定附加特征点的位置，由此难以可 靠地设置附加特征点。相比之下，在图像处理设备11中，附加特征点计算器32从特征点计 算附加特征点。由于这个原因，即使在颜色变化小的位置处也能够可靠地定义附加特征点。图7是解释图3的步骤S12中的变换图像产生处理的流程图。在步骤S21中，在变换图像产生器22中针对在图3的步骤Sll中从成像设备12提 供的原始图像执行脸部识别处理。在脸部识别处理中，识别用户脸部出现的脸部区域。随 后，特征点检测器31从参照图5描述的脸部区域检测特征点PO至P54。该处理随后前进至 步骤S22。在步骤S22中，附加特征点计算器32计算如参照图6所述的附加特征点PxO至 Pxll。附加特征点计算器32基于在步骤S21中由特征点检测器31检测的特征点PO至P54 来计算附加特征点。在步骤S22中的处理之后，该处理前进至步骤S23，在步骤S23中，图像变换处理 器33使用特征点PO至P54以及附加特征点PxO至Pxll来执行用于对原始图像中的脸部 进行变换的图像变换处理(参见稍后描述的图12)。在步骤S24中，变换图像产生器22输出在步骤S23的变换图像产生处理中由图像 变换处理器33产生的变换图像。控制器25随后使从变换图像产生器22输出的变换图像 存储在存储单元21中，该处理结束。现在将参照图8至12描述由图像变换处理器33执行的图像变换处理。图8示出施加有从呈现用户脸部的图像产生的纹理图像的三维脸部形状。在图8中，脸部形状71由规定三维形状的表面的多条曲线表示。在脸部形状71 中，存在很多在眼睛、嘴部和具有复杂形状的其它区域处设置的顶点(vertex)(即，各曲线 相交的点)。紧密地模仿实际脸部的形状，对具有复杂形状的这些区域进行建模。此外，如图8中所示，当从前面观察脸部形状71时，在与图5中描述的特征点对应 的位置处示出圆圈，并且在与图6中描述的附加特征点对应的位置处示出三角形。这里，从 脸部形状71的前面方向设置特征点和附加特征点，这是因为在本实施例中在假设脸部的 正视图出现在原始图像中的情况下定义特征点和附加特征点。相比之下，例如，考虑要处理 呈现脸部侧面(face profile)的原始图像的情况。在这种情况下，处理将包括根据脸部侧 面定义特征点和附加特征点，由此定义当从一侧观察脸部形状71时的特征点和附加特征 点ο图9示出脸部形状71的表面(S卩，曲面)已经投影到平面上的纹理图像(即，投 影图像)。由于纹理图像72是三维曲面在平面上的投影，所以与捕捉用户脸部的正视图的 图像相比以变形的方式表示用户的脸部。另外，在纹理图像72中，在与脸部形状71中示出 的特征点和附加特征点对应的位置处示出圆圈和三角形。此时，从呈现用户脸部的原始图像产生纹理图像包括执行下述处理用于对原始 图像进行变换以使得原始图像中的各点与纹理图像72中的相应各点匹配(S卩，原始图像中 的各点映射到纹理图像72中的相应各点)。换句话说，纹理图像72是脸部形状71的表面 在平面上的投影，并用作用于把呈现用户脸部的原始图像变换成将要施加于该脸部形状71 的纹理图像的模板纹理图像。因此，在图像变换处理中，当对原始图像中设置的特征点和附加特征点进行平移时，纹理图像72中的特征点和附加特征点变为目标点。这里，应该理解， 在适当的情况下可以省略如图9中所示的纹理图像72那样的纹理图像72。只要至少为平 移原始图像中的特征点和附加特征点定义了目标点(即，只要以某种方式定义了纹理图像 72中的特征点和附加特征点)，就仍然能够执行图像变换处理。以下，在使用纹理图像72作为模板的同时变换原始图像的图像变换处理中，从原 始图像检测和计算的特征点和附加特征点将被称为变换点，而纹理图像72中的特征点和 附加特征点将被称为目标点。在图像变换处理中，图像变换处理器33使用目标点作为顶点把纹理图像72分割 成多个三角形区域。另外，图像变换处理器33使用变换点作为顶点把原始图像的脸部区域 分割成多个三角形区域。图像变换处理器33随后分别变换相应的每对三角形区域。现在，将参照图10描述图像变换处理器33把纹理图像72分割成多个三角形区域 的处理。图像73示出在图9的纹理图像72中设置的目标点。这里，类似于特征点和附加 特征点(参见图4和图5)，在67个位置处设置目标点。图像变换处理器33把在纹理图像 72的四个角部的点加到在以上67个位置处的目标点，然后把获得的在71个位置处的点指 定为用于分割纹理图像72的三角形的顶点。随后，图像变换处理器33计算分别把所有顶点彼此连接的线段，如图像74中所 示。图像变换处理器33随后按照最短长度的次序连续选择这些线段中的每条线段，并确定 是否使用选择的线段作为三角形的边。例如，如果选择的线段与其它线段相交，则图像变换处理器33确定不使用所述选 择的线段作为三角形的边。相反，如果选择的线段不与其它线段相交，则图像变换处理器33 确定使用所述选择的线段作为三角形的边。另外，即使选择的线段与另一线段相交，如果 已确定与选择的线段相交的所述另一线段将不会被用作三角形的边，则图像变换处理器33 也确定使用所述选择的线段作为三角形的边。图像变换处理器33对所有线段进行这种确定，并从连接所有顶点(即，目标点加 上四个角点)的线段之中确定哪些线段用作三角形的边。通过这样做，纹理图像72被分割 成多个三角形区域，如图像75中所示。另外，图像变换处理器33使用原始图像的脸部区域中的变换点以及在脸部区域 的四个角部的点把原始图像的脸部区域分割成与分割纹理图像72的所述多个三角形关联 的多个三角形区域。换句话说，例如，如果利用特征点P7、P8和P41作为顶点在纹理图像72 中形成三角形，则图像变换处理器33利用特征点P7、P8和P41作为顶点在原始图像的脸部 区域中形成三角形。应该理解，把纹理图像分割成多个三角形的方法不限于上述方法，也可以通过使 用另一算法把纹理图像分割成多个三角形。另外，由于预先基于脸部形状中的特征点和附 加特征点来计算纹理图像(图9)中的目标点，所以也可以计算指示形成多个三角形的边的 线段的信息(即，三角形设置信息)并把该信息与指示目标点的信息一起预先存储在存储 单元21中。随后，图像变换处理器33执行用于分别把原始图像的脸部区域中的三角形区域 变换成纹理图像72中的相应三角形区域的处理。现在将参照图11描述用于变换三角形区域的这个处理。图11示出具有由纹理图像72中的目标点A、B和C给出的顶点的三角形ABC以及 具有由原始图像的脸部区域中的变换点A'、B'和C'给出的顶点的三角形A' B' C'。首先，如果矢量Vab被取为从目标点A指向目标点B的矢量，并且如果矢量Vac被取 为从目标点A指向目标点C的矢量，则三角形ABC上的任意点P由P = Α+α X Vab+β XVac 表示。这里，表示矢量Vab的比例的变量α通过α =(点P的Y坐标X矢量的X分 量-点P的X坐标X矢量Va。的Y分量)/(矢量Va。的X分量X矢量Vab的Y分量-矢量 Vac的Y分量X矢量Vab的X分量)来计算。表示矢量\c的比例的变量β通过β =(点 P的X坐标X矢量Vab的Y分量-点P的Y坐标X矢量Vab的X分量)/(矢量Va。的X分 量X矢量Vab的Y分量-矢量Va。的Y分量X矢量Vab的X分量)来计算。类似地，如果矢量VA, Β,被取为从变换点A'指向变换点B'的矢量，并且如果矢量 VA, c,被取为从变换点A'指向变换点C'的矢量，则三角形A' B' C'上的任意点P'由 P' =A' +a' XVA, β, +β' XVA, c,表示。这里，为了使目标点A、B和C与点P之间的关系等同于变换点A'、B'和C'与点 P'之间的关系，定义α' = α以及β' = β。通过这样做，能够针对点P计算点P'的 坐标，由此，通过分别参照与三角形ABC内的所有点P对应的三角形A' B' C'内的点P' 处的像素，能够把三角形A' B' C'的区域变换成三角形ABC的区域。通过针对原始图像的脸部区域中的所有三角形区域执行以这种方法变换三角形 区域的处理，对原始图像的脸部区域进行变换以使得变换点映射到目标点。图12是描述图7的步骤S23中的图像变换处理的流程图。在步骤S31中，图像变换处理器33把四个角点加到特征点和附加特征点，并把获 得的71个点指定为用于分割原始图像的三角形的顶点，如图10中的图像73所示。在步骤S31中的处理之后，该处理前进至步骤S32，在步骤S32中，图像变换处理器 33计算分别把所有顶点彼此连接的线段，如图10中的图像74所示。该处理随后前进至步 马聚S33 ο在步骤S33中，图像变换处理器33按照最短长度的次序对步骤S32中计算的线段 进行分类。图像变换处理器33随后按照最短长度的次序选择未确定的线段，并且该处理前 进至步骤S34。在步骤S34中，图像变换处理器33取得在步骤S33中选择的线段，并确定是否使 用该线段作为用于分割原始图像的三角形的边。如果图像变换处理器33在步骤S34中确定使用当前线段作为三角形的边，则该处 理前进至步骤S35，并且，图像变换处理器33设置该线段以用作三角形的边(即，图像变换 处理器33保存该线段)。相反，如果图像变换处理器33在步骤S34中确定不使用当前线段 作为三角形的边，则该处理前进至步骤S36，图像变换处理器33去除该线段以避免用作三 角形的边(即，图像变换处理器33删除该线段)。在步骤S35或S36中的处理之后，该处理前进至步骤S37，在步骤S37中，图像变换 处理器33确定是否已对步骤S32中计算的所有线段进行了步骤S34中的确定。如果图像变换处理器33在步骤S37中确定未对所有线段进行步骤S34中的确定， 则该处理返回至步骤S33并选择下一个最短的线段。其后，重复类似的处理。
相反，如果图像变换处理器33在步骤S37中确定已对所有线段进行了步骤S34中 的确定，则该处理前进至步骤S38。换句话说，在这种情况下，原始图像已由多个三角形分 割，如图10中的图像75所示。在步骤S38中，如参照图11所述，图像变换处理器33以一次一个三角形区域的方 式变换原始图像。然后，该处理结束。如上所述，在变换图像产生器22中，执行这样的处理检测脸部的特征点(即，特 征点)，基于特征点计算附加特征点，并使用特征点和附加特征点变换图像。通过这样做，由 不同的三角形区域分割具有复杂形状的区域和具有简单形状的区域。由于这个原因，当把 纹理图像施加于脸部形状时抑制了图像与形状的失配(misalignment)，并且纹理图像能够 正确地施加于脸部形状。换句话说，脸部形状的各区域能够与纹理图像中的脸部特征匹配。通常，在以三维方式表示的脸部形状中，为眼睛、嘴部和其它复杂形状的区域密集 地分配顶点，而为脸颊、颚和其它简单形状的区域稀疏地分配顶点。例如，如图8中的脸部 形状71所示，与简单形状相比，以更多的曲线相交点(S卩，顶点)设置复杂形状的区域。如前面所述，在以一次一个三角形区域的方式变换图像的处理中，在三角形内 执行线性变换而不管顶点的密度如何。由于这个原因，在顶点的密度在三角形内部偏斜 (skewed)的情况下，对具有密集顶点的区域进行变换以朝着具有稀疏顶点的区域延伸。因 此，例如，如果仅使用特征点执行分割成三角形区域的操作，则具有密集顶点的区域将会极 大表现出变换影响，诸如朝着具有稀疏顶点的区域的延伸。相比之下，在变换图像产生器22中，在像眼睛和嘴部的复杂形状的附近设置附加 特征点。通过如此使用特征点和附加特征点把纹理图像分割成三角形区域，嘴部和眼睛的 附近区域被分割成包括具有密集顶点的区域并排除具有稀疏顶点的区域的三角形。通过这 样做，能够防止具有密集顶点的区域表现出变换影响，诸如朝着具有稀疏顶点的区域的延 伸。作为示例，图13A和13B将被用于比较和描述仅基于特征点的处理以及基于特征 点和附加特征点二者的处理的结果。图13A示出仅用特征点设置的纹理图像、以及脸部模型，在该脸部模型中，把通过 分别变换利用特征点作为顶点的三角形区域产生的纹理图像施加于脸部形状。图13B示出 用特征点和附加特征点二者设置的纹理图像、以及脸部模型，在该脸部模型中，把通过分别 变换利用特征点和附加特征点作为顶点的三角形区域产生的纹理图像施加于脸部形状。例如，在图13A的纹理图像中，从嘴部的边缘到脸部的轮廓的区域由单个三角形 分割。在这个三角形区域内，密度分布是偏斜的，其中，越靠近嘴部，顶点的密度越大。因 此，如脸部模型的图像中所示，纹理图像被施加于脸部模型，从而在嘴角处的图像的部分变 得朝着脸部的轮廓伸展。类似地，纹理图像被施加于脸部模型，从而在眼角处的图像的部分 变得朝着脸部的轮廓伸展。相比之下，在图13B的纹理图像中，从嘴部的边缘到脸部的轮廓的区域由三个不 同三角形分割成在嘴部附近具有密集顶点的区域和具有稀疏顶点的脸颊区域。因此，如脸 部模型的图像中所示，纹理图像被施加于脸部模型，但在嘴角附近的图像的部分不会朝着 脸部的轮廓伸展。类似地，眼角也未伸展。这样，在变换图像产生器22中，图像变换处理器33能够产生抑制了变换影响(诸如，具有密集顶点的区域朝着具有稀疏顶点的区域延伸)的变换图像。换句话说，在变换图 像产生器22中，附加特征点计算器32能够设置使具有密集顶点的区域和具有稀疏顶点的 区域彼此区分的附加特征点。同时，如图4中所示，在原始图像60中不仅捕捉了用户脸部还捕捉了背景，由此产 生在从用户脸部的轮廓向外延伸的区域中捕捉了背景的变换图像63。如果这样捕捉了背景 的变换图像63被施加于脸部形状，则将会产生具有施加于从脸部轮廓向外延伸的区域的 背景的脸部模型。因此，在图像处理设备11中，肤色掩码处理器23取得由变换图像产生器22产生 的变换图像，并执行把从脸部的轮廓向外延伸的区域改变为肤色的肤色掩码处理。在肤色 掩码处理器23中，肤色提取器41取得由变换图像产生器22产生的变换图像，并从基于由 附加特征点计算器32计算的附加特征点设置的肤色提取区域提取肤色。图14示出由肤色提取器41设置的肤色提取区域的一个例子。如图14中的纹理图像所示，肤色提取器41把由附加特征点Pxl至Px3包围的三 角形区域以及由附加特征点Px7至Px9包围的三角形区域设置为肤色提取区域。随后，肤 色提取器41通过计算这两个三角形区域内的颜色的平均值来计算用于肤色掩码处理的肤 色。这里，图14示出由纹理图像中的附加特征点限定的肤色提取区域。然而，应该理解，附 加特征点计算器32针对原始图像设置附加特征点，肤色提取器41从由与图14中示出的附 加特征点对应的原始图像中的附加特征点限定的肤色提取区域计算肤色。换句话说，肤色 提取器41从原始图像中的肤色提取区域提取肤色。通过如图14中所示基于附加特征点设置肤色提取区域，能够从不包含诸如眼睛、 鼻子和嘴部的脸部特征的区域以及从不包含诸如胡子或头发的特征的区域提取肤色。如果 诸如脸部特征、胡子和头发的元素被包含在肤色提取区域中，则当计算肤色提取区域内的 颜色的平均值时，包括脸部特征、胡子和头发的颜色的颜色将会被提取。相比之下，通过把肤色提取区域设置为由附加特征点Pxl至Px3包围的三角形区 域以及由附加特征点Px7至Px9包围的三角形区域，能够可靠地提取接近于用户肤色的肤 色。作为示例，日本未审专利申请公开No. 2001-109907公开了一种提取肤色的技术， 其中定义在脸颊附近并从脸部轮廓稍微向里的静态区域，然后对于所有类型的脸部，从相 同的区域提取肤色。换句话说，由于诸如眼睛、鼻子和嘴部的脸部特征的位置因人而异，所 以设置与各脸部特征相距比较远的区域，以便即使在给定不同类型的脸部时也不包括这种 脸部特征。换句话说，在脸颊附近并从脸部轮廓稍微向里的区域被设置为肤色提取区域。然 而，这些区域可能会易受胡子的影响，难以可靠地提取肤色。相比之下，由肤色提取器41用来提取肤色的肤色提取区域较不容易受胡子的影 响，并且也是不包含诸如眼睛、鼻子和嘴部的脸部特征的区域。换句话说，在本实施例中， 基于附加特征点设置肤色提取区域，由此能够可靠地设置不包含各脸部特征的肤色提取区 域。因此，通过把肤色提取区域设置为由附加特征点Pxl至Px3包围的三角形区域以及由 附加特征点Px7至Px9包围的三角形区域，与现有技术相比能够可靠地提取肤色而不会受 到胡子和脸部特征的影响。在上文中，如图14中所示，把由附加特征点Pxl至Px3包围的三角形区域以及由附加特征点Px7至Px9包围的三角形区域设置为肤色提取区域。然而，应该理解，以上仅是 设置肤色提取区域的一个例子，由特征点或除以上附加特征点之外的附加特征点形成的区 域可被设置为肤色提取区域。另外，在肤色掩码处理器23中，掩码处理器42执行这样的处理取得由变换图像 产生器22产生的变换图像，并使用由肤色提取器41提取的肤色对变换图像的从脸部的轮 廓向外延伸的部分进行掩码。现在将参照图15描述由掩码处理器42执行的掩码处理。图15的上部示出由变换图像产生器22产生的变换图像、用于掩码处理的掩码数 据以及由肤色提取器41提取的肤色的提取结果。图15的下部示出作为执行掩码处理的结 果获得的纹理图像。掩码数据(mask data)是对于由变换图像产生器22产生的变换图像中的每个像 素以从0. 0到1. 0的连续值表示的数据。这些连续值指示变换图像中的各像素值将要被使 用的程度。对于以1.0的掩码数据值设置的像素，按原样使用要被进行掩码的变换图像中 的像素值而不进行修改。对于以0.0的掩码数据值设置的像素，根本不使用要被进行掩码 的变换图像中的像素值，反而以肤色提取结果的像素值替换该像素值。在图14示出的掩码 数据中，0. 0的掩码数据值表示为黑色，而1. 0的掩码数据值表示为白色。另外，使掩码数据值在掩码数据的黑色区域和白色区域之间的边界处逐渐变化。 使掩码数据值逐渐变化，以便沿从纹理图像中脸部的轮廓向外的方向逐渐替换肤色。这里，在肤色掩码处理中使用的掩码数据可以是预先准备的数据，或者可以是如 下所述由掩码数据产生器43产生的数据。另外，在基于脸部形状的纹理图像72(参见图9)的坐标系中定义掩码数据。由于 这个原因，如果通过使用纹理图像72作为模板对图像进行变换来产生变换图像，则掩码数 据能够用于从呈现任意脸部的图像产生的所有变换图像。换句话说，如果由变换图像产生 器22产生变换图像，则脸部轮廓上的特征点被映射到纹理图像72中的脸部轮廓上的目标 点。由于这个原因，如图15中示出的掩码数据那样的掩码数据能够用于可靠地替换从呈现 任意脸部的图像产生的所有变换图像中的从脸部轮廓向外延伸的图像的部分中的肤色。通过使用这种掩码数据对变换图像执行掩码处理，以肤色提取结果的颜色替换变 换图像中的背景部分，并且获得像图15的下部示出的纹理图像那样的纹理图像。图16是解释图3的步骤S13中的肤色掩码处理的流程图。在步骤S41中，肤色提取器41经控制器25读出存储在存储单元21中的原始图像。 另外，肤色提取器41还取得在图7的步骤S22中由附加特征点计算器32在原始图像中设 置的附加特征点，并且肤色提取器41从这些附加特征点之中获取限定肤色提取区域的附 加特征点(参见图14)。肤色提取器41随后通过计算由获取的附加特征点限定的原始图像 的肤色提取区域内的颜色的平均值来提取肤色。在步骤S42中，掩码处理器42经控制器25读出存储在存储单元21中的掩码数据， 然后通过执行掩码处理以根据取得的掩码数据的肤色替换背景部分来产生纹理图像。在掩码处理中，掩码处理器42通过对变换图像中的所有像素评估ρ'= pXm+sX (1-m)来计算纹理图像中的所有像素。在上式中，P是变换图像中的像素值，P'是 纹理图像中的像素值，s是肤色提取结果的像素值，m是掩码数据值。
在步骤S43中，掩码处理器42输出作为步骤S42中的掩码处理的结果获得的纹理 图像。掩码处理器42经控制器25把输出的纹理图像存储在存储单元21中，然后该处理结
束ο如上所述，在肤色掩码处理中，能够用从脸部提取的肤色替换从脸部的轮廓向外 延伸的变换图像的部分(即，背景)。这里，在肤色掩码处理中使用的掩码数据可以是预先准备的数据，或者可以是由 掩码数据产生器43产生的数据。例如，掩码数据产生器43能够从像图9中示出的纹理图像那样的纹理图像自动产 生掩码数据。一种自动产生掩码数据的方法包括定义由规定脸部的轮廓并在纹理图像中 设置的特征点形成的封闭区域。然后为该封闭区域内的区域(即，非掩码区域)分配1.0 的值，而为该封闭区域外的区域(即，掩码区域)分配0.0的值。然而，根据这个方法，产生 在掩码区域和非掩码区域之间的边界处颜色突然改变的掩码数据。由于这个原因，使用这 种掩码数据可能导致不自然的纹理图像。换句话说，优选的是获得像图15中示出的掩码数 据那样的掩码数据，即，值在掩码区域和非掩码区域之间的边界处平稳改变的掩码数据。因此，例如，可以对通过对掩码区域中的值分配0.0和对非掩码区域中的值分配 1.0获得的掩码添加模糊。通过添加这种模糊，能够获得值在掩码区域和非掩码区域之间的 边界处平稳改变的掩码数据。然而，使用这样获得的掩码数据，即使从掩码区域和非掩码区 域之间的边界处延伸到掩码区域中，值也将会平稳改变。由于这个原因，在脸部轮廓附近的 背景将会被反映在纹理图像中。换句话说，希望获得这样的掩码数据以0. 0的值可靠地对从掩码区域和非掩码 区域之间的边界处向外延伸的掩码区域内的区域进行掩码，其中，值在该边界处开始改变 并沿非掩码区域的方向逐渐变为1.0。现在将参照图17和18描述如上所述的掩码数据产生器43产生掩码数据的处理。在步骤S51中，掩码数据产生器43通过定义由预定目标点形成的封闭区域来确定 基准掩码区域。例如，掩码数据产生器43可把掩码区域设置为从由与脸部的轮廓对应的目 标点形成的封闭区域向外延伸的区域，如图18中的纹理图像81所示。掩码数据产生器43 随后对掩码区域中的值分配0. 0并对非掩码区域中的值分配1. 0。通过这样做，产生像由基 准掩码数据82示出的数据那样的数据。在步骤S52中，掩码数据产生器43执行针对基准掩码数据82扩展掩码区域(即， 沿非掩码区域的方向延展掩码区域)的处理。首先，例如，掩码数据产生器43可通过使用距离变换的方法扩展掩码区域。距离 变换是这样的变换方法假设以二进制(即，0或1)表示图像中的各像素，每个像素的距离 值取为从该像素的位置到值为0的像素的位置的最短距离。通过这种距离变换，基准掩码 数据82中示出的各像素的值变为像距离变换数据83中示出的值那样的值。在距离变换数 据83中，具有小距离值的区域表示为黑色，而具有大距离值的区域表示为白色。例如，考虑将掩码区域扩展10个像素的情况。在这种情况下，掩码数据产生器43 随后利用阈值10对距离变换数据83进行二值化。结果，把1. 0分配给具有大于10的距离 值的区域的值，而把0. 0分配给具有小于或等于10的距离值的区域的值。通过这样利用阈 值10进行二值化，产生扩展的掩码数据84。根据距离变换的定义，扩展的掩码数据84是通过把基准掩码数据82中的掩码区域扩展10个像素获得的数据。应该理解，扩展掩码区域的方法不限于使用距离变换的方法，也可以使用其它方 法，例如使用形态学变换(morphologytransform)的方法。在步骤S53中，为了使掩码区域和非掩码区域之间的边界模糊，掩码数据产生器 43针对扩展的掩码数据84以设置为扩展量的半径执行模糊处理。该处理随后结束。对于 模糊处理，可使用简单的平滑滤波、高斯滤波或类似的滤波。通过这样做，产生具有模糊的 掩码区域和非掩码区域之间的边界的掩码数据85。这里，作为示例，扩展的掩码数据84相对于基准掩码数据82扩展了 10个像素。由 于这个原因，掩码数据产生器43进行了半径10的模糊。通过这样设置模糊半径，掩码数据 85未达到基准掩码数据82中的边界。另外，获得了这样的数据对基准掩码数据82中设 置为掩码区域的区域进行可靠的掩码，而且，掩码值在掩码区域边界处开始改变并沿非掩 码区域的方向逐渐变为1.0。掩码处理器42随后使用这样产生的掩码数据85来执行掩码处理。通过这样做， 能够产生这样的纹理图像肤色掩码被可靠地施加于从脸部的轮廓向外延伸的区域，而且， 肤色掩码在脸部的轮廓处开始改变并沿向里的方向逐渐转变为脸部的图像。在如上构造的图像处理设备11中，从呈现用户脸部的图像产生纹理图像，产生由 纹理图像表示的脸部模型，然后在显示设备14上显示脸部模型。图19示出在显示设备14上显示脸部模型的显示屏幕的例子。在图19示出的显示屏幕91中，由成像设备12获取的图像92显示在左下部分中。 在图像92的上方，显示使用图像92作为原始图像产生的纹理图像93。另外，在占据显示屏 幕90的右侧的大约2/3的区域中提供脸部模型显示区域95。脸部模型显示区域95显示已 施加纹理图像93的脸部模型94。同时，在图像处理设备11中，主体(object)(诸如，头发部分)和各种附件(诸如， 帽子和眼镜)的三维形状数据并脸部形状的形状数据分开地存储在存储单元21中。3D处 理器M随后能够产生头发、附件和其它部分与产生的脸部模型组合的图像。图20示出作为示例的脸部模型94A。在脸部模型94A中，3D头发形状已与显示在 图19的显示屏幕91的脸部模型显示区域95中的脸部模型94组合。图21类似地示出脸 部模型94B。在脸部模型94B中，3D帽子形状已与显示在图19的显示屏幕91的脸部模型 显示区域95中的脸部模型94组合。另外，在图像处理设备11中，例如通过使用呈现不同用户脸部的图像，能够产生 各不同的脸部模型。换句话说，在图像处理设备11中，通过针对同一脸部形状简单地替换 不同的纹理图像能够容易地产生各种脸部模型。图22至M示出通过把不同的纹理图像施加于同一脸部形状产生的脸部模型。已 经从呈现各不同的用户脸部的图像产生不同的纹理图像。在图22至M中，在顶部示出呈 现特定用户的脸部的图像(即，原始图像)，在中间示出从原始图像产生的纹理图像，在底 部示出通过施加纹理图像获得的脸部模型。图22示出从呈现有胡子的用户脸部的原始图像产生并反映该用户脸部的特征的 有胡子的脸部模型。图23示出具有上挑眉毛的脸部模型，其反映了具有上挑眉毛的用户的 脸部的特征。图M示出具有下垂眉毛的脸部模型，其反映了具有下垂眉毛的用户的脸部的特征。这样，即使当使用同一脸部形状时，也在脸部模型中反映了各不同的用户的脸部特 征。在图像处理设备11中，对原始图像进行变换，以与作为施加纹理图像的脸部形状 的表面的平面投影的纹理图像匹配。由于这个原因，即使在原始图像中呈现不同的人，从各 原始图像产生的纹理图像也能够被施加于脸部形状，从而纹理图像中的各部分与脸部形状 的各部分匹配。换句话说，能够针对单个脸部形状容易地替换纹理图像。因此，如图22至M中所示，针对单个脸部形状能够切换出多个纹理图像，由此能 够显示反映不同用户的脸部的脸部模型。另外，在图像处理设备11中，还可以取得由变换图像产生器22和肤色掩码处理器 23产生的纹理图像并把该纹理图像施加于表示任意图形的图像。结果，能够产生新的纹理 图像，然后该纹理图像能够被施加于脸部形状。通过这样做，可以呈现把那些图形施加于脸 部模型的表面的效果。图25示出呈现脸部绘画的脸部模型。在图25示出的脸部绘画中，在两眼下方画 两条线并且日本国旗位于左脸颊上。图25中示出的脸部绘画图像101描画了线和日本国旗。未描画线或日本国旗的 图像的所有其它区域被视为透明区域。例如，可以基于纹理图像中设置的特征点和附加特 征点定位和绘制线和日本国旗以使其定位于待绘画的区域。对这种脸部绘画图像101进行合成(S卩，混合)以使其覆盖在由变换图像产生器 22和肤色掩码处理器23产生的纹理图像102上。通过这样做，产生脸部绘画的纹理图像 103。随后，3D处理器M把脸部绘画的纹理图像103施加于脸部形状，由此产生脸部绘画的 脸部模型104。另外，在图像处理设备11中，可以准备描画除脸部绘画图像101的设计之外的各 种设计的脸部绘画图像。通过这样做，用户能够选择具有他或她喜欢的设计的脸部绘画图 像，然后能够使用从呈现用户自己的脸部的图像产生的纹理图像覆盖该脸部绘画图像。结 果，能够产生已经利用用户喜欢的设计进行脸部绘画的脸部模型。此外，具有各种设计的各 脸部绘画图像也能够被施加于从呈现各不同的用户的脸部的图像产生的纹理图像，由此允 许广泛地重新使用脸部绘画图像。作为示例，图沈示出施加了描画隈取化妆(一种类型的歌舞伎化妆(kabuki makeup))的脸部绘画图像的脸部模型。图沈中示出的脸部绘画图像110描画了隈取化妆。未描画该化妆的图像的所有 其它区域被视为透明区域。然后对脸部绘画图像110进行合成以使其覆盖在纹理图像112 上，由此产生利用隈取化妆绘画的纹理图像113。然后，把这个纹理图像113施加于脸部形 状以产生利用隈取化妆绘画的脸部模型114。这样，通过切换出脸部绘画图像，能够在脸部 模型上呈现各种设计的脸部绘画。在脸部模型104中，绘画区域和透明区域像在脸部绘画图像101和110中那样清 楚地分开。这表现出利用涂料或类似物质在脸上进行了绘画的效果。然而，也可以使用绘 画区域被设置为半透明的脸部绘画图像。例如，在嘴唇区域中描画半透明红色的脸部绘画 图像能够与纹理图像合成以实现口红效果。通过利用描画除口红之外的特征(诸如，腮红 和眼影)的半透明图像覆盖纹理图像，能够实现施加了化妆的脸部的效果。
本实施例描述为为了产生纹理图像而处理已经由成像设备12获取的图像。然而， 应该理解，可以处理其它类型的图像，诸如存储在存储单元21中的先前获取的图像或者来 自由成像设备12获取的视频的单个帧。另外，特征点检测器31和附加特征点计算器32也可以从由成像设备12获取的视 频的每个帧中的脸部区域检测和计算特征点和附加特征点，然后选择具有良好的检测结果 的帧作为原始图像。例如，当在眼睛、鼻子和嘴部定义特征点时，眼睛、鼻子和嘴部的相对位置能够用 作确定图像中出现的脸部是否正在向前看的基础。如果假定将要处理呈现向前看的脸部的 图像，则在确定结果的基础上，能够确定将不会处理呈现不向前看的脸部的图像。另外，在 这种情况下，例如，通过指示用户如何定向他或她的脸部能够诱导用户向前看。更具体地 讲，能够呈现(即，显示或作为音频输出)消息，诸如“向右转一点儿”或“向左转一点儿”。同时，即使能够由特征点检测器31自动检测特征点，检测的特征点的位置在一些 情况下也可能不会在所希望的位置被正确地检测到。为了解决这种情况，某些特征点的相 对位置(即，已有的信息)能够用作确定特征点检测结果是否良好的基础。例如，在指示眼 睛的特征点应该位于嘴部的特征点上方的相对位置的基础上能够确定检测的特征点是否 是良好的，或者，可替换地，在指示脸部特征(诸如，眼睛、鼻子和嘴部)的特征点应该在由 脸部轮廓上的特征点形成的封闭区域里的相对位置的基础上能够确定检测的特征点是否 是良好的。如上所述，在图像处理设备11中，使用从呈现用户脸部的图像检测和计算的特征 点和附加特征点来通过对图像进行变换而产生纹理图像。由于这个原因，可以产生能够正 确地施加于预先创建的脸部形状的纹理图像。通过这样做，例如，可以产生施加从用户脸部 的图像创建的纹理图像的脸部模型，而不必校正现有的脸部形状。而且，可以产生反映任意 用户的脸部的脸部模型。例如，近年来，脸部模型被用于各种领域，诸如视频游戏和电影工业。使用图像处 理设备11，在已创建的脸部模型中能够反映用户的脸部。换句话说，能够以用户的脸部仅替 换游戏或电影中人物的脸部。通过这样做，例如，用户能够使用具有用户自己脸部的角色玩 游戏，由此使用户更容易融入游戏中。此外，更容易执行针对现有脸部形状切换纹理图像的处理。作为另一例子，考虑操作虚拟形象(avatar)通信空间或同时显示大量虚拟形象 的其它服务中所涉及的处理。如果为每个人准备3D脸部形状，则可以预想到这种处理将会 由于普遍问题(诸如，图像处理和数据带宽)而变得困难。在这种虚拟形象通信空间中，通 过使用共用的脸部形状并仅为每个用户准备纹理图像就能够容易地执行各处理。而且，可 准备多种类型的脸部形状，然后可以提示用户选择脸部形状，或者可以基于用户脸部的图 像自动选择相似的脸部形状。通过这样做，与为每个用户准备脸部形状的情况相比能够更 容易执行各处理。本实施例描述为使用通过把脸部形状的表面投影到平面上获得的纹理图像。然 而，根据用于产生纹理图像的方法，可产生与呈现用户脸部的正视图的图像相比未变形的 纹理图像。然而，即使当给定非变形纹理图像时，脸部特征的相应位置仍然因人而异，由此， 由根据本发明实施例的图像处理设备11执行的处理在使纹理中的诸如眼睛和嘴部的特征正确地定位于3D脸部形状中的眼睛和嘴部的位置方面仍然有效。上述一系列处理可以在硬件或软件中执行。当在软件中执行所述一系列处理的情 况下，可以把构成这种软件的程序从程序记录介质安装到内置在专用硬件中的计算机上。 可替换地，可以把程序安装到能够通过在其上安装各种程序执行各种功能的设备，诸如通 用个人计算机上。图27是示出通过程序执行上述一系列处理的计算机的示例性硬件结构的框图。在该计算机中，中央处理单元(CPU) 201、只读存储器(ROM) 202和随机存取存储器 (RAM) 203经总线204互相连接。另外，输入/输出接口 205连接到总线204。输入/输出接口 205连接到下述单 元输入单元206，其包括诸如键盘、鼠标和传声器的装置；输出单元207，其包括诸如显示 器和一个或多个扬声器的装置；存储单元208，其包括诸如硬盘和非易失性存储器的装置； 通信单元209，其包括诸如网络接口的装置；和驱动器210，其驱动可移动介质211，诸如磁 盘、光盘、磁光盘或半导体存储器。在如上所述构造的计算机中，例如，作为CPU 201经输入/输出接口 205和总线 204把存储在存储单元208中的程序载入到RAM203并随后执行该程序的结果，执行前述一 系列处理。例如，由计算机(S卩，CPU 201)执行的程序可以被记录在可移动介质211上，可移 动介质211可以是通过磁盘(包括软盘)、光盘(诸如，压缩盘只读存储器(⑶-ROM)和数字 通用盘(DVD)盘)、磁光盘或半导体存储器实现的封装介质的例子。可替换地，可以经有线 或无线传输介质(诸如，局域网、互联网或数字卫星广播)提供程序。通过把可移动介质211载入到驱动器210中，程序能够经输入/输出接口 205安 装到存储单元208。可替换地，程序可经有线或无线传输介质由通信单元209接收并随后安 装到存储单元208。除了以上情况之外，程序还可以预先安装到ROM 202或存储单元208。还应该理解，由计算机执行的程序可以是按照根据本说明书中描述的次序的时间 序列执行各个处理步骤的程序，或者可以是并行或在合适定时(诸如，当被调用时)执行各 个处理步骤的程序。另外，程序可以由单个计算机处理或者以分布方式由多个计算机处理。 另外，程序也可以被转发给远程计算机并以远程方式执行。应该理解，本发明的实施例不限于上述实施例，在不脱离本发明的范围和精神的 情况下可以进行各种修改。本申请包含与2009年11月16日提交于日本专利局的日本在先专利申请 JP2009-260850中所公开的主题相关的主题，其全部内容包含于此以资参考。本领域技术人员应该理解，在所附权利要求或其等同物的范围内，根据设计要求 和其它因素可以进行各种修改、组合、子组合和替换。
权利要求
1.一种图像处理设备，包括特征点获取装置，用于获取特征点，该特征点是呈现脸部的图像中的脸部上的特性点附加特征点计算装置，用于基于由特征点获取装置获取的特征点来计算附加特征点；以及变换装置，用于使用特征点和附加特征点来变换图像以与投影图像中的脸部的结构匹 配，所述投影图像描画投影到平面上的给定三维脸部形状的表面。
2.根据权利要求1所述的图像处理设备，其中特征点获取装置获取至少图像中眼睛的两端的形式的特征点，以及 附加特征点计算装置计算下述形式的附加特征点在从图像中的眼睛的向外端朝着脸部的轮廓延伸而分开预定距离的位置处的点；和 在从眼睛的两端朝着嘴部延伸而分开预定距离的位置处的点。
3.根据权利要求1所述的图像处理设备，其中特征点获取装置获取至少图像中的嘴部的两端的形式的特征点，以及附加特征点计算装置计算下述形式的附加特征点在从图像中的嘴部的两端朝着眼睛延伸而分开预定距离的位置处的点；在从图像中的嘴部的两端沿远离眼睛的方向延伸而分开预定距离的位置处的点；和在从图像中的嘴部的一端朝着另一端延伸而分开预定距离的位置处的点。
4.根据权利要求1所述的图像处理设备，其中特征点获取装置获取图像中至少脸部的轮廓的形式的特征点，以及 所述图像处理设备还包括肤色替换装置，用于基于特征点通过使用肤色替换在由变换装置变换的图像中的从脸 部的轮廓向外延伸的区域而产生纹理图像。
5.根据权利要求4所述的图像处理设备，还包括肤色提取装置，用于从由任何特征点或附加特征点限定的一个或多个预定区域提取图 像中呈现的脸部的肤色，其中，肤色替换装置使用由肤色提取装置提取的肤色替换从脸部的轮廓向外延伸的区域。
6.根据权利要求4所述的图像处理设备，还包括脸部模型产生装置，用于产生已经把纹理图像施加于给定脸部形状上的脸部模型， 其中，脸部模型产生装置把通过将纹理图像与给定图像合成而获得的新的纹理图像施 加于脸部形状。
7.一种图像处理方法，包括下述步骤获取特征点，该特征点是呈现脸部的图像中的脸部上的特性点； 基于特征点计算附加特征点；以及使用特征点和附加特征点变换图像以与投影图像中的脸部的结构匹配，所述投影图像 描画投影到平面上的给定三维脸部形状的表面。
8.一种使计算机执行图像处理的程序，所述图像处理包括下述步骤 获取特征点，该特征点是呈现脸部的图像中的脸部上的特性点；基于特征点计算附加特征点；使用特征点和附加特征点变换图像以与投影图像中的脸部的结构匹配，所述投影图像 描画投影到平面上的给定三维脸部形状的表面。
9. 一种图像处理设备，包括特征点获取器，被配置为获取特征点，该特征点是呈现脸部的图像中的脸部上的特性点；附加特征点计算器，被配置为基于由特征点获取器获取的特征点来计算附加特征点；以及图像变换单元，被配置为使用特征点和附加特征点变换图像以与投影图像中的脸部的 结构匹配，所述投影图像描画投影到平面上的给定三维脸部形状的表面。
全文摘要
本发明提供一种图像处理设备、图像处理方法和程序。在该图像处理设备中，特征点获取器获取特征点，该特征点是呈现脸部的图像中的脸部上的特性点。附加特征点计算器基于由特征点获取器获取的特征点来计算附加特征点。图像变换单元使用特征点和附加特征点来变换图像以与投影图像中的脸部的结构匹配，所述投影图像描画投影到平面上的给定三维脸部形状的表面。
文档编号G06T17/00GK102074040SQ20101053793
公开日2011年5月25日 申请日期2010年11月4日 优先权日2009年11月16日
发明者望月大介 申请人:索尼公司