专利名称：图像处理设备、图像处理方法以及程序的制作方法
技术领域：
本发明一般涉及一种图像处理设备、图像处理方法以及程序，并且特别地，涉及一种使得能够容易地改变图像中的服装的图像处理设备、图像处理方法以及程序。
背景技术：
近些年来，数字摄像机和其它成像设备得到广泛使用，并且任何人可以容易地捕获静止图像和移动图像。另一方面，如由被称为“自助拍摄的摄影机(Print Club) ”的贴纸照制作机 (photograph sticker production machine)制作的贴纸照所代表地，对摄影图像进行装饰用于娱乐正流行着。然而，在对贴纸照中的摄影图像进行装饰时存在各种限制。例如，需要使用专用于贴纸照的贴纸照制作机并且当捕获图像时使用户的脸或身体处于预定位置。已经提出了一种人物颜色搭配系统，其使得能够将用户输入的图像中的服装改变成用户指定的任何季节颜色(参见，例如，Mizuki Oka、Junpei Yoshino、Kazuhiko Kato, "Personal Color Coordinating System，，，2006 年 11 月 29 日，日本信息处理学会，[2010 年 1 月 18 日检索]，因特网 <URL :http://www. ipsj. or. jp/sig/os/index. php ？ plugin = attach&refer = ComSys2006% 2Fposter&openfiIe = 06-P10. pdf>)。
发明内容
在上述人物颜色搭配系统中，为了从输入图像中提取服装图像区域，用户应该指定与输入图像中的躯体部分对应的区域。因此，存在对从图像中自动提取服装图像区域和容易地改变图像中的服装的需要。期望可以容易地改变图像中的服装。根据本发明的实施例的图像处理设备包括服装提取器，其从输入图像中提取脸部或头部并且从脸部或头部正下面的区域中提取服装区域，其中，脸部或头部是被估计为脸或头图像的区域，服装区域是被估计为服装图像的区域；以及服装转换器，其通过对输入图像的服装区域中的图像执行预定图像处理，改变输入图像中的服装。根据本发明的其它实施例的图像处理方法和程序与上述根据本发明的实施例的图像处理设备对应。根据本发明的实施例，从输入图像中提取脸部或头部，然后从脸部或头部正下面的区域中提取服装区域，其中，脸部或头部是被估计为脸或头图像的区域，服装区域是被估计为服装图像的区域，并且对输入图像的服装区域中的图像执行预定图像处理，以使得改变输入图像中的服装。根据本发明的实施例，可以容易地改变图像中的服装。
图1是示出根据本发明的实施例的成像设备的示例性结构的框图；图2说明了由图1中的人物提取器执行的人物提取处理的结果；图3说明了由图1中的服装转换器创建的掩模(mask)；图4A和4B说明了由图1中的服装转换器进行的装饰图像的合并；图5是说明由图1中的图像处理器执行的图像处理的流程图；图6是说明示例性服装提取处理的流程图；图7是说明另一示例性服装提取处理的流程图；图8A至8D说明了区域生长(growing)处理；图9说明了图切割(graph cut)处理；以及图10示出了根据实施例的计算机的示例性结构。
具体实施例方式<实施例>根据实施例的成像设备的示例性结构图1是示出根据本发明的实施例的成像设备的示例性结构的框图。图1中的成像设备10包括图像捕获器11和图像处理器12(图像处理设备)。图像捕获器11捕获对象的图像，并且将所捕获的摄影图像提供到图像处理器12。图像处理器12包括人物提取器21、服装提取器22以及服装转换器23。人物提取器21执行人物提取处理，以从由图像捕获器11提供的摄影图像(输入图像)中提取作为被估计为人物图像的区域的人物区域。提取人物区域可用的技术包括: 如在由本发明的申请人提交的日本专利申请第2009-055062号中描述的、使用来自可导向滤波器的响应作为特征值的Boosting处理的识别技术，以及由法国国家信息与自动化研究所(INRIA)的N. Dalal等人提出的、使用支持向量机(SVM)和梯度方向直方图(HOG)特征量的识别技术(参见，“Histograms of Oriented Gradients for Human Detection，，， CVPR,2005)。人物提取器21将摄影图像和指定通过人物提取处理所提取的人物区域的人物区域信息提供到服装提取器22。服装提取器22执行服装提取处理，以从与由人物提取器21提供的人物区域信息对应的摄影图像中的人物区域中提取作为被估计为服装图像的区域的服装区域。服装提取器22将摄影图像和指定通过服装提取处理所提取的服装区域的服装区域信息提供到服装转换器23。指示摄影图像的人物或服装区域中的像素位置的信息例如用作用于指定人物或服装区域的信息。基于从服装提取器22提供的服装区域信息，服装转换器23通过对摄影图像中的服装区域执行各种类型的图像处理，改变摄影图像中的服装。例如，服装转换器23改变摄影图像的服装区域中的图像的颜色。例如，服装转换器23还创建用于将图像仅合并到人物区域中的服装区域的掩模，并且使用诸如扩张、缩小等的变形处理或者通过标记的小区域去除处理，对掩模执行噪声消除和整形。服装转换器 23使用得到的掩模，将用于装饰的预先存储的图像(这里被称为装饰图像)合并到摄影图像的服装区域中的图像。在该图像处理之后，服装转换器23将得到的摄影图像输出到外部 (诸如显示设备)。可预先存储一个或多个装饰图像。如果预先存储了多个装饰图像，则例如可由用户选择要合并的装饰图像。例如，素色或有图案的纹理、或标志或文字图像可以用作装饰图像。人物提取处理图2说明了由图1中的人物提取器进行的人物提取处理的结果。当从图像捕获器11输入如图2所示的、总体上包括父亲、母亲以及孩子的全身的摄影图像30时，在人物提取处理中，包括母亲、父亲以及孩子的全身的图像的矩形区域31、 32以及33分别被提取作为人物区域。掩模图3说明了由图1中的服装转换器23创建的掩模。如图3所示，当从服装提取器22提供指定区域32中的上衣图像的区域32A作为服装区域的服装区域信息时，服装转换器23创建掩模41，其用于将图像仅合并到区域32中的服装区域32A。将装饰图像合并到服装区域中图4A和4B说明了由图1中的服装转换器23进行的装饰图像的合并。服装转换器23使用图3中示出的掩模41，将装饰图像51A合并到图4A中示出的摄影图像30中的服装区域32A。结果，生成如图4B所示的摄影图像，在该摄影图像中，摄影图像30的服装区域32A中的图像已经改变成装饰图像51A。在图4A和4B的示例中，装饰图像51A是条纹纹理，并且父亲的上衣的图案从素色改变成条纹图案。还可以与参照图3至4B描述的父亲服装的装饰类似地，对母亲和/或孩子的服装进行装饰。成像设备的处理图5是说明由图1中的图像处理器12进行的图像处理的流程图。当由图像捕获器11捕获的摄影图像例如输入到图像处理器12时，该图像处理开始。在步骤Sll中，人物提取器21执行人物提取处理。在步骤S12中，人物提取器21 确定人物提取处理是否已提取到人物区域。如果在步骤S12中确定已经提取到人物区域，则在步骤S13中，服装提取器22执行服装提取处理，以从与由人物提取器21提供的人物区域信息对应的人物区域中提取服装区域。以下将参照图6和7更详细地描述该服装提取处理。在步骤S14中，服装转换器23基于从服装提取器22提供的服装区域信息，通过对摄影图像中的服装区域执行各种类型的图像处理来改变摄影图像中的服装。在图像处理之后，服装转换器23将得到的摄影图像输出到外部(诸如显示设备)。然后，处理结束。另一方面，如果在步骤S12中确定尚未提取到人物区域，则跳过步骤S13和S14，并且将摄影图像按原样输出到外部。然后，处理结束。图6是说明图5的步骤S12中的示例性服装提取处理的流程图。在步骤S21中，服装提取器22执行脸部提取处理，以从摄影图像中的与从人物提取器21提供的人物区域信息对应的人物区域中提取作为被估计为脸图像的区域的脸部。在步骤S22中，服装提取器22确定在步骤S21中是否提取到脸部。如果在步骤 S22中确定已经提取到脸部，则在步骤S23中，服装提取器22从摄影图像中剪切(切取)脸部正下面的区域。
在步骤S24中，服装提取器22生成所剪切的区域中的摄影图像的颜色直方图。在步骤S25中，服装提取器22将所剪切的区域中的、具有在步骤S24中生成的直方图中的最高颜色频率的区域识别为服装区域。在步骤S^中，服装提取器22生成如下服装区域信息 其指示包括在所识别的服装区域中的像素在摄影图像中的位置。然后，处理返回到图5中的步骤S13，并且前进到步骤S14。另一方面，如果在步骤S22中确定尚未提取到脸部，则处理结束。在以上参照图6描述的服装提取处理中，基于颜色直方图而识别服装区域；替选地，可基于亮度直方图而识别服装区域。图7是说明图5的步骤S13中的另一示例性服装提取处理的流程图。图7中的步骤S31至S33与图6的步骤S21至S23相同，因此省略其描述。在跟随着步骤S33的步骤S34中，服装提取器22对作为GMM(a)的、所剪切的区域中的摄影图像的颜色的高斯混合模型(GMM)进行学习。在步骤S35中，服装提取器22对作为GMM(b)的、摄影图像的颜色的GMM进行学习。在步骤S36中，服装提取器22将所剪切的区域中的、具有低GMM(b)似然性和高 GMM(a)似然性的区域识别为服装区域。在步骤S37中，服装提取器22生成如下服装区域信息其指示包括在所识别的服装区域中的像素在摄影图像中的位置。然后，处理返回到图5 中的步骤S13，并且前进到步骤S14。在以上参照图6和7描述的服装提取处理中，服装提取器22执行脸部提取处理， 并且剪切脸部正下面的区域；替选地，服装提取器22可执行头部提取处理，以提取作为被估计为头图像的区域的头部，并且剪切头部正下面的区域。替选地，服装提取器22可使用例如如“Learning to Parse Images of Articulated Bodies”，NIPS，2006 中所述的、芝加哥丰田理工学院 CToyota Technological Institute at Chicago)的D. Ramanan研究的技术来估计人物的姿势，并且剪切那个人的上半身部分。替选地，服装提取器22可剪切人物区域的预定区域(例如，上部区域)。如果在人物提取处理中提取出人物上部身体区域作为人物区域，则服装提取器22可剪切人物区域自身。服装提取处理不限于参照图6和7描述的处理。例如，服装提取器22可以与图6 和7中的服装提取处理中的类似方式提取所剪切的区域的中心附近的小区域的纹理特征值(例如，小波系数、颜色直方图、亮度直方图等)，并且使用该纹理特征值来执行分割，以及确定服装区域。示例性分割处理图8A至9说明了用来确定服装区域的示例性分割处理。图8A至8D说明了区域生长处理。当区域生长处理用来确定服装区域时，服装提取器22首先将如图8A所示的、位于与所剪切的区域70的中心相邻的小区域中的像素71标记为种子点(seed point)。然后， 服装提取器22提取像素71的纹理特征值。在图8A至8D中，区域70中的正方形表示像素并且所标记的像素是斜线阴影的。接下来，如图8B所示，服装提取器22将与像素71相同的标记分配给如下像素其与像素71相邻并且具有与像素71相同的纹理特征值。继续标记分配，直到在所标记的像素附近不再找到具有与像素71相同纹理特征值的像素为止。在图8A至8D的示例中，在如图8A所示对像素71进行了标记之后，如图8B至8D所示，重复三次标记分配。然后，服装提取器22将由所剪切的区域70中的所标记的像素(在图8A至8D的示例中，图8D中的斜线阴影的像素)构成的区域识别为服装区域。图9说明了图切割处理。如果图切割处理用来确定服装区域，则服装提取器22首先基于预定能量函数，根据所剪取的区域的图像(在图9的示例中，3X4像素的图像)生成图。然后，服装提取器 22计算图中的边的成本。随着相邻像素之间的相似度越高，n-link边成本增加，而随着像素属于服装区域的可能性越高，连接到S节点的t-link的边成本增加。随着像素属于服装区域之外的背景区域的可能性越高，连接到T节点的t-link的边成本增加。然后，服装提取器22通过根据最小切割/最大流(min-cut/max-f low)算法切割图以使得从S节点到T节点的成本的总和最小，来执行分割。根据这些，在从切割得到的图中，将与连接到S节点的节点对应的像素构成的区域确定为服装区域。如上所述，成像设备10可以通过从摄影图像中提取脸部或头部并且从脸部或头部正下面的区域中提取服装区域，自动且容易地提取服装区域。因此，成像设备10可以通过对摄影图像中的服装区域执行预定图像处理，容易地改变摄影图像中的服装。图像捕获器和图像处理器可实现为不同的设备或者实现为单个设备。当图像捕获器和图像处理器实现为单个设备时，可以在不使用专用设备的情况下，在图像捕获设备 (例如，个人摄像机等)中容易地改变摄影图像中的服装。根据本发明的实施例的计算机由以上图像处理器12执行的一系列处理步骤可以通过硬件或软件实现。当通过软件实现处理步骤时，构成该软件的程序安装在通用计算机等中。图10示出了根据实施例的、安装有用于由图像处理器12执行的以上处理步骤的程序的计算机的示例性结构。程序可以预先存储在内置于计算机中的存储介质(诸如存储单元208或只读存储器(ROM) 202)中。替选地，程序可以存储(记录)在可拆卸介质211中。这样的可拆卸介质211可以作为所谓的封装软件而被提供。可拆卸介质211的示例包括例如软盘、光盘只读存储器 (⑶-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘以及半导体存储器。取代如上所述经由驱动器210从可拆卸介质211安装到计算机中，程序还可以经由通信或广播网被下载到计算机并被安装到内置存储单元208中。更具体地，程序可例如经由用于数字卫星广播的卫星从下载站点无线地、或者通过网络(诸如局域网(LAN)、因特网等)以有线方式被传送到计算机。计算机具有内置中央处理单元(CPU) 201，1/0(输入/输出)接口 205经由总线 204 连接到 CPU201。当命令通过I/O接口 205从用户操作的输入单元206被输入时，例如，CPU201根据该命令执行存储在R0M202中的程序。替选地，CPU201从存储单元208将程序下载到随机存取存储器(RAM) 203，并且执行该程序。根据这些，CPU201执行根据上述流程图的处理步骤、或者由上述方块图中的结构
7定义的处理步骤。然后，CPU201如必要的话例如通过I/O接口 205从输出单元207输出处理结果，从通信单元209传送处理结果，或者将处理结果存储到存储单元208中。输入单元206包括键盘、鼠标、麦克风等。输出单元207包括液晶显示器(IXD)、扬
声器等。由计算机根据程序执行处理步骤的顺序不限于在该说明书的流程图中描述的按时间的顺序。换句话说，由计算机根据程序要执行的处理步骤可包括并行或单独执行的处理步骤(例如，并行处理或通过对象进行的处理)。程序可由单个计算机(处理器)或者由多个分布式计算机处理。程序可被传送到一个或多个远程计算机并且由该一个或多个远程计算机执行。本申请包含与2010年5月7日向日本专利局提交的日本优先权专利申请 JP2010-107147中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。本发明不限于上述实施例，并且可在不脱离本发明的范围和精神的情况下，进行各种修改和改变。
权利要求
1.一种图像处理设备，包括服装提取器，其从输入图像中提取脸部或头部，并且从所述脸部或头部正下面的区域中提取服装区域，其中，所述脸部或头部是被估计为脸或头图像的区域，所述服装区域是被估计为服装图像的区域；以及服装转换器，其通过对所述输入图像的所述服装区域中的图像执行预定图像处理，改变所述输入图像中的服装。
2.根据权利要求1所述的图像处理设备，其中，所述服装提取器对所述脸部或头部正下面的区域的颜色的高斯混合模型和所述脸部或头部的颜色的高斯混合模型进行学习，并且从所述脸部或头部正下面的区域中提取如下区域作为所述服装区域该区域具有所述脸部或头部的颜色的高斯混合模型的低似然性和所述脸部或头部正下面的区域的颜色的高斯混合模型的高似然性。
3.根据权利要求1所述的图像处理设备，其中，所述服装提取器提取所述脸部或头部正下面的区域中心附近的区域的纹理特征值，并且通过使用所述纹理特征值来执行分割， 提取所述服装区域。
4.根据权利要求1所述的图像处理设备，其中，所述服装提取器从所述脸部或头部正下面的区域中提取如下区域作为所述服装区域该区域具有所述脸部或头部正下面的区域的颜色或亮度直方图中的最高的颜色或亮度频率。
5.根据权利要求1所述的图像处理设备，还包括人物提取器，所述人物提取器从所述输入图像中提取人物区域，其中所述人物区域是被估计为人物图像的区域，其中，所述服装提取器从所述人物区域中提取所述脸部或头部。
6.一种图像处理方法，包括以下步骤从输入图像中提取脸部或头部并且从所述脸部或头部正下面的区域中提取服装区域， 其中，所述脸部或头部是被估计为脸或头图像的区域，所述服装区域是被估计为服装图像的区域；以及通过对所述输入图像的所述服装区域中的图像执行预定图像处理，改变所述输入图像中的服装；其中，由图像处理设备来执行所述提取所述脸部或头部并且提取所述服装区域的步骤、以及所述改变服装的步骤。
7.一种使得计算机执行处理的程序，所述处理包括以下步骤从输入图像中提取脸部或头部并且从所述脸部或头部正下面的区域中提取服装区域， 其中，所述脸部或头部是被估计为脸或头图像的区域，所述服装区域是被估计为服装图像的区域；以及通过对所述输入图像的所述服装区域中的图像执行预定图像处理，改变所述输入图像中的服装。
全文摘要
本发明公开了一种图像处理设备、图像处理方法以及程序，其中该图像处理设备包括服装提取器，其从输入图像中提取脸部或头部并且从脸部或头部正下面的区域中提取服装区域，其中，脸部或头部是被估计为脸或头图像的区域，服装区域是被估计为服装图像的区域；以及服装转换器，其通过对输入图像的服装区域中的图像执行预定图像处理，改变输入图像中的服装。
文档编号G06T11/60GK102236905SQ20111011367
公开日2011年11月9日 申请日期2011年4月28日 优先权日2010年5月7日
发明者山冈启介, 横野顺, 长谷川雄一 申请人:索尼公司