专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法和程序。
背景技术：
近年来，已知把各种对象与通过捕捉获得的图像(以下，也称为“捕捉图像”)进行合成的技术。各种对象可与捕捉图像合成，并且例如，在捕捉了被摄体(诸如，人或动物)的图像的情况下，被摄体穿着的物品(诸如，衣服或包)的图像可作为对象与捕捉图像合成。公开了各种技术作为用于合成对象与捕捉图像的技术。例如，公开了一种用于合成衣服的图像与人的图像的技术(例如，参见JP2005-136841A)。通过观看经把衣服的图像与人的图像进行合成而获得的合成图像，即使用户未实际在商店中试穿衣服，用户也能够在知道当用户穿着衣服时用户将会看起来如何的情况下选择衣服。另一方面，除了用于合成对象与捕捉图像的技术之外，还存在一种用于修改捕捉图像自身的技术。作为用于修改捕捉图像自身的技术的例子，给出了称为减弱现实(Diminished Reality)的技术。根据该技术，当由用户指定捕捉图像中显示的对象时,指定的对象被从捕捉图像消除。
发明内容
然而，例如，未公开用于基于捕捉图像中显示的对象的状态或类型执行图像处理的技术。因此，存在这样的可能性:处理捕捉图像，而没有考虑对象的状态或对象的类型。例如，在捕捉图像中显示的用户把衣服放在他的/她的身上的情况下，如果用户已经穿着的衣服从该衣服露出，则难以自动地从捕捉图像消除该露出的部分。另外，还难以根据捕捉图像中显示的用户如何穿着衣服调整与捕捉图像合成的对象以及难以根据捕捉图像中显示的用户穿戴哪种饰品改变与捕捉图像合成的对象。因此，希望实现一种用于基于捕捉图像中显示的对象的状态或类型确定与捕捉图像合成的虚拟对象的技术。根据本发明的实施例，提供了一种包括把虚拟对象与捕捉图像进行合成的图像处理单元的图像处理设备。该图像处理单元基于捕捉图像中显示的对象的状态或类型确定虚拟对象。根据本发明的另一实施例，提供了一种图像处理方法，包括:基于捕捉图像中显示的对象的状态或类型，确定要与捕捉图像进行合成的虚拟对象。根据本发明的又一实施例，提供了一种用于使计算机用作图像处理设备的程序，该图像处理设备包括把虚拟对象与捕捉图像进行合成的图像处理单元。该图像处理单元基于捕捉图像中显示的对象的状态或类型确定虚拟对象。根据上述本发明的实施例，基于捕捉图像中显示的对象的状态或类型能够确定要与捕捉图像合成的虚拟对象。
图1是表示根据本发明实施例的图像处理系统的概述的示图；图2是显示图像处理设备的结构例子的方框图；图3是表示骨架结构信息和深度信息的示图；图4是表示图像处理单元的功能的例子的示图；图5是表示图像处理单元的功能的例子的示图；图6是表示图像处理设备的操作的流程的例子的流程图；图7是表示图像处理单元的功能的第一修改例子的示图；图8是表示图像处理单元的功能的第一修改例子的示图；图9是显示根据第一修改例子的图像处理设备的操作的流程的流程图；图10是表示图像处理单元的功能的第二修改例子的示图；图11是表示图像处理单元的功能的第二修改例子的示图；图12是表示图像处理单元的功能的第二修改例子的示图；图13是显示根据第二修改例子的图像处理设备的操作的流程的流程图；图14是表示图像处理单元的功能的第三修改例子的示图；图15是表示图像处理单元的功能的第三修改例子的示图；图16是表示图像处理单元的功能的第三修改例子的示图；和图17是显示根据第三修改例子的图像处理设备的操作的流程的流程图。
具体实施例方式以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元素由相同的标号表示，并且省略这些结构元
素的重复解释。另外，在本说明书和附图中，存在具有基本上相同的功能和结构的多个结构元素通过利用相同标号之后的不同字母表示而彼此区分的一些情况。需要注意的是，在不需要使具有基本上相同的功能和结构的多个结构元素彼此区分的情况下，所述多个结构元素仅由相同的标号表不。另外，将按照下面的次序描述“具体实施方式
”。1.图像处理系统的概述2.图像处理设备的功能3.图像处理设备的操作4.第一修改例子中的功能5.第一修改例子中的操作6.第二修改例子中的功能7.第二修改例子中的操作8.第三修改例子中的功能9.第三修改例子中的操作10.结论
〈1.图像处理系统的概述〉在下面，首先，将参照图1描述根据本发明实施例的图像处理系统的概述。图1是表示根据本发明实施例的图像处理系统的概述的示图。如图1中所述，根据本发明实施例的图像处理系统10包括图像处理设备100、显示单元130、图像捕捉单元140和传感器150。安装图像处理系统10的地点不受具体限制。例如，图像处理系统10可安装在被摄体20的家里。此外，在图1中显示的例子中，构成图像处理系统10的多个块(例如，图像处理设备100、显示单元130、图像捕捉单元140和传感器150)被分开地构造，但构成图像处理系统10的所述多个块中的一些块的组合可集成为一个块。例如，构成图像处理系统10的所述多个块可嵌入在智能电话、PDA(个人数字助手)、移动电话、便携式音乐再现装置、便携式视频处理装置或便携式游戏装置中。图像捕捉单元140捕捉存在于真实空间中的对象的图像。存在于真实空间中的对象不受具体限制，而是可以是生物(诸如，人或动物)或者除生物之外的物品(诸如例如，车库或电视柜)。在图1中显示的例子中，被摄体20(例如，人)由图像捕捉单元140捕捉作为存在于真实空间中的对象。由图像捕捉单元140捕捉的图像(以下，也称为“捕捉图像”)可由显示单元130显示。由显示单元130显示的捕捉图像可以是RGB图像。在图1中显示的例子中，显示被摄体21的捕捉图像131由显示单元130显示。传感器150具有检测真实空间中的参数的功能。例如，在传感器150由红外传感器构成的情况下，传感器150能够检测真实空间中的红外辐射，并把根据红外辐射的量的电信号作为检测数据提供给图像处理设备100。例如，图像处理设备100能够基于检测数据识别存在于真实空间中的对象。传感器150的类型不限于红外传感器。另外，在图1中显示的例子中，检测数据被从传感器150提供给图像处理设备100，但提供给图像处理设备100的检测数据也可以是由图像捕捉单元140捕捉的图像。捕捉图像由图像处理设备100处理。例如，图像处理设备100能够通过根据存在于真实空间中的对象的识别结果把虚拟对象与捕捉图像进行合成来处理捕捉图像。显示单元130还能够显示已由图像处理设备100处理的捕捉图像。例如，在被摄体21的位置由图像处理设备100识别的情况下，在被摄体21的位置合成虚拟对象(诸如，衣服的图像)的捕捉图像可由显示单元130显示。通过把预先与捕捉图像分开地登记的图像叠加在捕捉图像上，或者通过修改捕捉图像(例如，通过把从捕捉图像捕捉的图像叠加在捕捉图像上)，可执行虚拟对象的合成。通过观看以这种方式处理的捕捉图像，被摄体20能够在知道当他/她穿着该衣服时他/她将会看起来如何的情况下选择衣服，而不必实际试穿该衣服。然而，例如用于执行与捕捉图像中显示的被摄体20的状态或类型对应的图像处理的技术未被公开。因此，存在这样的可能性:未考虑被摄体20正穿着的衣服的状态或类型的虚拟对象与被摄体21合成。相应地，希望实现一种用于基于捕捉图像中显示的对象的状态或类型确定与捕捉图像合成的虚拟对象的技术。相应地，考虑到以上情况获得本发明的实施例。根据本发明的实施例，基于捕捉图像中显示的对象的状态或类型能够确定与捕捉图像合成的虚拟对象。在下面，将参照图2至图5描述根据本发明实施例的图像处理设备100的功能。
<2.图像处理设备的功能〉图2是显示图像处理设备的结构例子的方框图。参照图2，图像处理设备100包括控制单元110和存储单元120。控制单元110包括检测单元111、图像处理单元112和显示控制单元113。显示单元130、图像捕捉单元140和传感器150连接到图像处理设备100。(控制单元)控制单元110对应于处理器，诸如CPU (中央处理单元)或DSP (数字信号处理器)。控制单元110通过执行存储在存储单元120或其它存储介质中的程序引起运行稍后描述的控制单元110的各种功能。另外，构成控制单元110的块并非全部必须嵌入在同一装置中，并且它们中的一个或一些可嵌入在另一装置(诸如，服务器)中。(存储单元)存储单元120使用存储介质(诸如，半导体存储器或硬盘)存储用于图像处理设备100的处理的程序和数据。例如，存储单元120存储用于使计算机用作控制单元110的程序。此外，例如，存储单元120存储由控制单元110使用的数据。例如，存储单元120能够存储用于对象识别的特征量词典和将要显示的虚拟对象。(显示单元)显示单元130是由IXD(液晶显示器)、OLED(有机发光二极管)、CRT(阴极射线管)等构成的显示模块。在本发明的实施例中，显示单元130被假设为与图像处理设备100分开地构造，但显示单元130可以是图像处理设备100的一部分。(图像捕捉单元)图像捕捉单元140通过使用图像传感器(诸如，CXD (电荷耦合器件)或CMOS (互补金属氧化物半导体))捕捉真实空间来产生捕捉图像。在本发明的实施例中，图像捕捉单元140被假设为与图像处理设备100分开地构造，但图像捕捉单元140可以是图像处理设备100的一部分。(传感器)传感器150具有检测真实空间中的参数的功能。例如，在传感器150由红外传感器构成的情况下，传感器150能够检测真实空间中的红外辐射，并把根据红外辐射的量的电信号作为检测数据提供给图像处理设备100。传感器150的类型不限于红外传感器。另夕卜，在由图像捕捉单元140捕捉的图像将要作为检测数据被提供给图像处理设备100的情况下，传感器150不必存在。(检测单元)检测单元111基于检测数据检测捕捉图像中显示的对象的状态或类型。由检测单元111检测的对象的状态或类型的例子将在稍后描述，并且由检测单元111检测的对象的状态或类型不受具体限制。另外，检测捕捉图像中显示的对象的状态或类型的方法不受具体限制。例如，检测单元111把从捕捉图像确定的特征量与对象的特征量进行匹配，由此能够识别捕捉图像中所包括的该对象的状态或类型。更具体地讲，检测单元111根据特征量确定方法(诸如，SIFT法或随机蕨法)确定捕捉图像中的特征量，并匹配确定的特征量与对象的特征量。然后，检测单元111识别与和捕捉图像中的特征量最匹配的特征量关联的对象的类型(例如，用于识别该对象的信息)和捕捉图像中的该对象的状态(例如，该对象的位置和姿态)。
这里，检测单元111使用其中对象的特征量数据和用于识别对象的类型的信息关联的特征量词典。这个特征量词典可存储在存储单元120中，或者可从服务器接收。例如，对象的特征量数据可以是根据SIFT法或随机蕨法从用于对象的学习的图像确定的一组特征量。另一方面，检测单元111也能够通过匹配从由传感器150提供的检测数据(而非捕捉图像)确定的特征量与对象的特征量来检测对象的状态或类型。在这种情况下，例如，检测单元111能够使用与从捕捉图像检测对象的状态或类型的方法类似的方法基于从传感器150提供的检测数据检测对象的状态或类型。通过如上所述的方法基于检测数据能够检测捕捉图像中显示的对象的状态或类型。检测单元111也可以不集成在图像处理设备100中，而是集成在传感器150中。如同识别对象的情况一样，检测单元111能够通过匹配从捕捉图像确定的特征量与对象的每一部分的特征量识别捕捉图像中所包括的该对象的一部分。另一方面，检测单元111也能够通过匹配从由传感器150提供的检测数据(而非捕捉图像)确定的特征量与对象的每一部分的特征量识别该对象的一部分。已知技术(例如，由Microsoft Corporation (注册商标)开发的Kinect (注册商标))能够用于检测对象的状态。通过使用这种已知技术，检测单元111能够获取骨架结构信息作为显示形成被摄体20的一个或多个部分中的每个部分的位置的坐标的例子。检测单元111能够基于骨架结构信息检测被摄体20的状态。另一方面，检测单元111能够基于骨架结构信息和深度信息检测被摄体20的状态。首先，将参照图3描述骨架结构信息和深度 目息。图3是表示骨架结构信息和深度信息的示图。检测单元111能够通过使用上述已知技术获取如图3中所示的骨架结构信息。在图3中显示的例子中，骨架结构信息显示为坐标 BI 至 Β3、Β6、Β7、Β9、Β12、Β13、Β15、Β17、Β18、Β20 至 Β22 和 Β24,这些坐标显示形成被摄体20的15个部分，但骨 架结构信息中所包括的部分的数量不受具体限制。另外，坐标BI代表“头”的坐标，坐标Β2代表“颈部”的坐标，坐标Β3代表“躯干”的坐标，坐标Β6代表“左肩”的坐标，并且坐标Β7代表“左肘”的坐标。此外，坐标Β9代表“左手”的坐标，坐标Β12代表“右肩”的坐标，坐标Β13代表“右肘”的坐标，并且坐标Β15代表“右手”的坐标坐标Β17代表“左臀”的坐标，坐标Β18代表“左膝”的坐标，坐标Β20代表“左脚”的坐标，并且坐标Β21代表“右臀”的坐标，坐标Β22代表“右膝”的坐标，并且坐标Β24代表“右脚”的坐标。另外，检测单元111能够通过使用上述已知技术获取如图3中所示的深度信息。深度信息是指示相对于传感器150的距离的信息，并且在图3中，为了简单起见，显示深度低于阈值的对象存在区域R(相对于传感器150的距离小于所述阈值的区域)和其它区域R’作为深度信息的例子。(图像处理单元)图像处理单元112基于捕捉图像中显示的对象的状态或类型处理捕捉图像。捕捉图像中显示的对象的状态或类型可如上所述由检测单元111检测。关于图像处理单元112如何处理捕捉图像不存在具体限制。例如，如上所述，图像处理单元112能够基于捕捉图像中显示的对象的状态或类型通过把虚拟对象与捕捉图像进行合成来处理捕捉图像。如上所述，通过把预先与捕捉图像分开地登记的图像叠加在捕捉图像上，或者通过修改捕捉图像(例如，通过把从捕捉图像捕捉的图像叠加在捕捉图像上)，可执行虚拟对象的合成。随后，将参照图4和图5描述图像处理单元112的功能的例子。图4是表示图像处理单元112的功能的例子的示图。例如，在检测到捕捉图像中显示的一个对象和捕捉图像中显示的预定对象相邻的情况下，通过利用另一对象替换捕捉图像中显示的对象的处理，图像处理单元112可合成虚拟对象与捕捉图像。图4显示对象31A作为捕捉图像131A中显示的对象的例子并且显示对象32A作为捕捉图像131A中显示的预定对象的例子。另外，图4显示对象33A作为所述另一对象的例子。另外，在图4中显示的例子中，对象31A是裙子，对象32A是一条裤子，并且对象33A是腿。然而，对象31A、对象32A和对象33A不受具体限制。在捕捉图像131A中，被摄体21穿着裤子，并把裙子放在裤子上。通过观看显示的捕捉图像131A，被摄体20能够知道当他/她穿着该裙子时他/她将会看起来如何。然而，在捕捉图像131A中，裤子从裙子的底部露出，但另一方面，当被摄体20实际穿着裙子时，他的/她的腿应该从裙子的底部露出。因此，被摄体20从捕捉图像131A 了解到与当他/她实际穿着该裙子时他/她将会看起来的样子不同的外表。因此，在检测到裙子和裤子相邻的情况下，图像处理单元112可利用腿(例如，肤色部分)替换裤子。图4显示由图像处理单元112消除从裙子露出的裤子的多余部分并且利用腿替换该部分的捕捉图像131A’。由检测单元111检测裙子和裤子相邻，并且检测方法不受具体限制。例如，基于与捕捉图像中显示的对象相邻的对象的颜色和形状中的至少一种，可检测捕捉图像中显示的对象和所述预定对象相邻。例如，检测单元111确定从裙子露出的多余部分的形状是否是腿形状，并且在确定该多余部分不是腿形状的情况下，由于假定裤子从裙子露出，所以可检测裙子和裤子相邻。另外，例如，检测单元111确定从裙子露出的多余部分的颜色是否是腿颜色(例如，肤色)，并且在确定该多余部分的颜色不是腿颜色的情况下，由于假定裤子从裙子露出，所以可检测裙子和裤子相邻。另外，即使检测单元111确定从裙子露出的多余部分的颜色是腿颜色，但在具有腿颜色的多余部分不具有超过阈值的尺寸的情况下，由于并不假定该腿颜色的部分是腿，所以可检测裙子和裤子相邻。以这种方法，检测单元111能够基于从裙子露出的多余部分的形状或颜色检测裙子和裤子相邻。腿形状或腿颜色可预先登记，或者可通过学习积累。需要注意的是，在检测到捕捉图像中显示的对象和叠加在捕捉图像上的预定对象相邻的情况下，通过利用另一对象替换捕捉图像中显示的对象的处理，图像处理单元112可合成虚拟对象与捕捉图像。在图4中显示的例子中，被摄体20把存在于真实空间中的裙子放在他的/她的身上，并且也在作为虚拟对象的裙子被放在被摄体21的身上的情况下，可执行消除从裙子露出的裤子的多余部分的处理。图5是表示图像处理单元112的功能的例子的示图。图5显示对象31B作为捕捉图像131B中显示的对象的例子并且显示对象32B作为捕捉图像131B中显示的预定对象的例子。另外，图5显示对象33B作为另一对象的例子。另外，在图5中显示的例子中，对象31B是短袖衬衫，对象32B是长袖衬衫，并且对象33B是手臂。然而，对象31B、对象32B和对象33B不受具体限制。在捕捉图像13IB中，被摄体21穿着长袖衬衫，并把短袖衬衫放在长袖衬衫上。通过观看显示的捕捉图像131B，被摄体20能够知道当他/她穿着该短袖衬衫时他/她将会看起来如何。然而，在捕捉图像131B中，长袖衬衫从短袖衬衫露出，但另一方面，当被摄体20实际穿着短袖衬衫时，他的/她的手臂应该从短袖衬衫露出。因此，被摄体20从捕捉图像131B 了解到与当他/她实际穿着该短袖衬衫时他/她将会看起来的样子不同的外表。因此，在检测到长袖衬衫和短袖衬衫相邻的情况下，图像处理单元112可利用手臂(例如，肤色部分)替换长袖衬衫。图5显示由图像处理单元112消除从短袖衬衫露出的长袖衬衫的多余部分并且利用手臂替换该多余部分的捕捉图像131B’。由检测单元111检测长袖衬衫和短袖衬衫相邻，并且检测方法不受具体限制。例如，检测单元111确定从短袖衬衫露出的多余部分的形状是否是手臂形状，并且在确定该多余部分不是手臂形状的情况下，由于假定长袖衬衫从短袖衬衫露出，所以可检测到长袖衬衫和短袖衬衫相邻。另外，例如，检测单元111确定从短袖衬衫露出的多余部分的颜色是否是手臂颜色(例如，肤色)，并且在确定该多余部分的颜色不是手臂颜色的情况下，由于假定长袖衬衫从短袖衬衫露出，所以可检测到短袖衬衫和长袖衬衫相邻。另外，即使检测单元111确定从短袖衬衫露出的多余部分的颜色是手臂颜色，但在具有手臂颜色的多余部分不具有超过阈值的尺寸的情况下，由于并不假定该手臂颜色的部分是手臂，所以可检测到短袖衬衫和长袖衬衫相邻。以这种方法，检测单元111能够基于从短袖衬衫露出的多余部分的形状或颜色检测短袖衬衫和长袖衬衫相邻。手臂形状或手臂颜色可预先登记，或者可通过学习积累。需要注意的是，在图5中显示的例子中，被摄体20把存在于真实空间中的短袖衬衫放在他的/她的身上，并且也在作为虚拟对象的短袖衬衫被放在被摄体21的身上的情况下，可执行消除从短袖衬衫露出的长袖衬衫的多余部分的处理。需要注意的是，即使存在从衣服露出的多余部分，也存在优选地不消除该部分的情况。例如，它由下面的情况表示:当被摄体20在他/她已经穿着的衬衫上面穿着夹克时，被摄体20想要知道在不消除衬衫的状态下他/她将会看起来如何。为了满足这种要求，例如，在捕捉图像中显示的对象在预定位置与捕捉图像中显示的预定对象相邻的情况下，可以不利用另一对象替换捕捉图像中显示的预定对象。例如，如果衬衫从夹克露出并且从夹克露出的多余部分是被摄体21的颈部，则图像处理单元112可以不利用颈部(例如，肤色部分)替换捕捉图像中显示的预定对象。因此，在相邻位置是预定位置(例如，手臂位置或腿位置)的情况下，图像处理单元112可利用另一对象替换与捕捉图像中显示的对象相邻的对象，并且在相邻位置是另一位置(例如，颈部位置)的情况下，图像处理单元112可以不利用另一对象替换与捕捉图像中显示的对象相邻的对象。可基于捕捉图像确定相邻位置，或者可基于骨架结构信息确定相邻位置。(显示控制单元)显示单元130由显示控制单元113控制，以使已由图像处理单元112合成虚拟对象的捕捉图像显示在显示单元130上。到目前为止，已参照图4和图5描述了根据本发明实施例的图像处理设备100的功能的例子。在下面，将参照图6描述根据本发明实施例的图像处理设备100的操作的流程的例子。<3.图像处理设备的操作〉图6是表示根据本发明实施例的图像处理设备100的操作的流程的例子的流程图。需要注意的是，参照图6描述的图像处理设备100的操作特别地是在检测被摄体20穿着的衣服的状态的情况下的图像处理设备100的操作。被摄体20穿着的衣服是捕捉图像中显示的对象的例子。如图6中所示，首先，在被摄体21未把衣服放在他的/她的身上(步骤Sll中的“否”)的情况下，检测单元111返回到步骤S11。另一方面，在被摄体21把衣服放在他的/她的身上(步骤Sll中的“是”)的情况下，检测单元111检测衣服的状态。在检测到其它衣服在被摄体20的手臂从放在身上的衣服露出(步骤S12中的“是”)的情况下，图像处理单元112消除从放在身上的衣服露出的其它衣服的、在手臂处的多余部分(步骤S13)。另一方面，在未检测到其它衣服在被摄体20的手臂处从放在身上的衣服露出(步骤S12中的“否”)的情况下，图像处理单元112前进至步骤S14。在检测到其它衣服在被摄体20的腿处从放在身上的衣服露出(步骤S14中的“是”)的情况下，图像处理单元112消除从放在身上的衣服露出的其它衣服的、在腿处的多余部分(步骤S15)。另一方面，在未检测到其它衣服在被摄体20的腿处从放在身上的衣服露出(步骤S14中的“否”)的情况下，图像处理单元112可以不消除从放在身上的衣服露出的其它衣服的、在腿处的多余部分。显示单元130可由显示控制单元113控制，以使由图像处理单元112处理过的捕捉图像显示在显示单元130上。到目前为止，已参照图6描述了图像处理设备100的操作的流程的例子。<4.第一修改例子中的功能〉随后，将参照图7和图8描述图像处理单元112的功能的第一修改例子。图7是表示图像处理单元112的功能的第一修改例子的示图。 例如，在检测到捕捉图像中显示的对象和捕捉图像中显示的预定对象之间的交叠的情况下，图像处理单元112可把根据交叠修改的虚拟对象与捕捉图像进行合成。图7显示对象31C作为捕捉图像131C中显示的对象的例子并且显示对象32C作为捕捉图像131C中显示的预定对象的例子。另外，在图7中显示的例子中，对象31C是衬衫，对象32C是一条裤子，并且对象33C是一条裤子。然而，对象31C、对象32C和对象33C不受具体限制。在捕捉图像131C中，被摄体21穿着裤子和衬衫。通过观看裤子与捕捉图像131C合成的捕捉图像，被摄体20能够知道当他/她穿着该裤子时他/她将会看起来如何。然而，如果整条裤子一致地与捕捉图像131C合成而不管衬衫是否悬在裤子外面，则难以获得自然反映被摄体20穿着该裤子的方式的捕捉图像。因此，被摄体20 了解到与被摄体20将会穿着该裤子的方法的方式不同的穿着该裤子的情况的外表。因此，在检测到衬衫和裤子之间的交叠的情况下，图像处理单元112可把根据交叠修改的裤子与捕捉图像进行合成。图7显示整条裤子与捕捉图像131C合成的捕捉图像131C’，因为未由图像处理单元112检测到衬衫和裤子之间的交叠。衬衫和裤子之间的交叠由检测单元111检测，并且检测方法不受具体限制。例如，基于捕捉图像中显示的对象和预定对象之间的边界线的位置，可检测捕捉图像中显示的对象和预定对象之间的交叠。例如,检测单元111确定衬衫和裤子之间的边界线的位置是否是被摄体21的腰的位置，并且在确定边界线的位置是被摄体21的腰的位置的情况下，由于假定被摄体20把衬衫塞进裤子中，所以可检测到衬衫和裤子之间的交叠。在捕捉图像中显示的对象之中，检测单元111可把白色区域视为衬衫区域，并且可把衬衫区域的底部边缘视为衬衫和裤子之间的边界线。可基于捕捉图像确定腰的位置，或者可基于骨架结构信息确定腰的位置。另外，腰的位置也可包括腰附近的位置。另外，例如，在边界线的位置是被摄体21的腰的位置并且边界线类似于直线的情况下，检测单元111可检测衬衫和裤子之间的交叠。例如，在衬衫区域的底部边缘由多个点近似并且通过连接所述多个点获得的线类似于直线的情况下，检测单元111可检测衬衫和裤子之间的交叠。相似性的范围能够提前设置。以这种方法，检测单元111能够基于衬衫和裤子之间的边界线的位置检测衬衫和裤子之间的交叠。图8是表示图像处理单元112的功能的修改例子的示图。图8显示对象31D作为捕捉图像131D中显示的对象的例子并且显示对象32D作为捕捉图像131D中显示的预定对象的例子。另外，在图8中显示的例子中，对象31D是衬衫，对象32D是一条裤子，并且对象33D是一条裤子。然而，对象31D、对象32D和对象33D不受具体限制。如上所述，在检测到衬衫和裤子之间的交叠的情况下，图像处理单元112可把根据交叠修改的裤子与捕捉图像进行合成。图8显示裤子的一部分与捕捉图像131D合成的捕捉图像131D’，因为由图像处理单元112检测到衬衫和裤子之间的交叠。衬衫和裤子之间的交叠由检测单元111检测，并且检测方法不受具体限制。检测方法的例子如上所述。到目前为止，已参照图7和图8描述了根据本发明实施例的图像处理设备100的功能的第一修改例子。在下面，将参照图9描述根据第一修改例子的图像处理设备100的操作的流程的例子。〈5.第一修改例子中的操作〉图9是显示根据第一修改例子的图像处理设备100的操作的流程的流程图。需要注意的是，参照图9描述的图像处理设备100的操作特别地是在检测被摄体20穿着的衬衫的状态的情况下的图像处理设备100的操作。被摄体20穿着的衬衫是捕捉图像中显示的对象的例子。如图9中所示，首先，在未检测到衬衫(步骤S21中的“否”)的情况下，检测单元111返回到步骤S21。另一方面，在检测到衬衫(步骤S21中的“是”)的情况下，检测单元111检测衬衫的状态。在确定被摄体21把衬衫塞进裤子中(步骤S22中的“是”)的情况下，图像处理单元112把整条裤子叠加在捕捉图像上(步骤S23)。另一方面，在检测到被摄体21在衬衫悬在裤子外面的状态下穿着衬衫(步骤S22中的“否”)的情况下，图像处理单元112把裤子的不与衬衫交叠的部分叠加在捕捉图像上(步骤S24)。显示单元130可由显示控制单元113控制，以使由图像处理单元112处理过的捕捉图像显示在显示单元130上。到目前为止，已参照图9描述了根据第一修改例子的图像处理设备100的操作的流程。<6.第二修改例子中的功能〉随后，将参照图10至图12描述图像处理单元112的功能的第二修改例子。图10是表示图像处理单元112的功能的第二修改例子的示图。例如，在检测捕捉图像中显示的对象的类型的情况下，通过把根据捕捉图像中显示的对象的类型选择的虚拟对象与捕捉图像进行合成的处理，图像处理单元112可把虚拟对象与捕捉图像进行合成。另外，在检测捕捉图像中显示的对象的类型的情况下，通过把捕捉图像中显示的另一对象修改为与捕捉图像中显示的对象的类型对应的形状，图像处理单元112可合成虚拟对象与捕捉图像。图10显示对象31E作为捕捉图像131E中显示的对象的例子并且显示对象32E作为捕捉图像131E中显示的另一对象的例子。另外，图10显示对象33E作为另一对象的例子。在图10中显示的例子中，对象31E是在垂直方向上具有短长度的项链(例如，在垂直方向上具有长度X1的项链，该长度短于阈值)，对象32E是被摄体21穿着的衣服，并且对象33E是圆领衣服。然而，对象31E、对象32E和对象33E不受具体限制。在捕捉图像131E中，被摄体21戴着在垂直方向上具有短长度的项链。通过观看显示的捕捉图像131E，被摄体21能够知道当他/她戴着在垂直方向上具有短长度的项链时他/她将会看起来如何。然而，在被摄体21在商店中试戴项链的情况下，例如，被摄体21可能未穿着适合项链的衣服。因此，被摄体21从捕捉图像131E 了解到与当他/她改穿适合项链的衣服时他/她将会看起来的样子不同的外表。因此，图像处理单元112可根据检测到的饰品的类型修改衣服的形状。图10显示由图像处理单元112把衣服的形状改为圆领的捕捉图像131E’，因为检测到在垂直方向上具有短长度的项链。饰品的类型由检测单元111检测，并且检测方法不受具体限制。例如，可通过如上所述识别对象的类型的方法检测饰品的类型。改变衣服的形状的方法也不受具体限制。例如，在检测到在垂直方向上具有短长度的项链的情况下，通过把适合在垂直方向上具有短长度的项链的圆领衣服与捕捉图像进行合成的处理，图像处理单元112可改变衣服的形状。另外，例如，在检测到在垂直方向上具有短长度的项链的情况下，通过把捕捉图像131E中显示的衣服修改为作为适合在垂直方向上具有短长度的项链的形状的圆领形状，图像处理单元112可改变衣服的形状。需要注意的是，虽然在图10中显示的例子中被摄体21戴着存在于真实空间中的饰品，但即使在用作虚拟对象的饰品叠加在被摄体21上的情况下，也可执行改变衣服的形状的处理。图11是表示图像处理单元112的功能的第二修改例子的示图。图11显示对象31F作为捕捉图像131F中显示的对象的例子并且显示对象32F作为捕捉图像131F中显示的另一对象的例子。另外，图11显示对象33F作为另一对象的例子。在图11中显示的例子中，对象31F是在垂直方向上具有较大长度的项链(例如，在垂直方向上具有长度X2的项链，该长度大于阈值)，对象32F是被摄体21穿着的衣服，并且对象33F是V形领衣服。然而，对象31F、对象32F和对象33F不受具体限制。图11显示已由图像处理单元112把衣服的形状改为V形领的捕捉图像131F’，因为检测到在垂直方向上具有较大长度的项链。例如，在检测到在垂直方向上具有较大长度的项链的情况下，通过把适合在垂直方向上具有较大长度的项链的V形领衣服与捕捉图像进行合成的处理，图像处理单元112可改变衣服的形状。另外，例如，在检测到在垂直方向上具有较大长度的项链的情况下，通过把捕捉图像131F中显示的衣服修改为作为适合在垂直方向上具有较大长度的项链的形状的V形领形状，图像处理单元112可改变衣服的形状。图12是表示图像处理单元112的功能的第二修改例子的示图。图12显示对象31G作为捕捉图像131G中显示的对象的例子并且显示对象32G作为捕捉图像131G中显示的另一对象的例子。另外，图12显示对象33G作为另一对象的例子。在图12中显示的例子中，对象31G是耳环，对象32G是被摄体21穿着的衣服，并且对象33G是船形领衣服。然而，对象31G、对象32G和对象33G不受具体限制。图12显示已由图像处理单元112把衣服的形状改为船形领的捕捉图像131G’，因为检测到耳环。例如，在检测到耳环的情况下，通过把适合耳环的船形领衣服与捕捉图像进行合成的处理，图像处理单元112可改变衣服的形状。另外，例如，在检测到耳环的情况下，通过把捕捉图像131G中显示的衣服修改为作为适合耳环的形状的船形领形状，图像处理单元112可改变衣服的形状。到目前为止，已参照图10至图12描述了根据本发明实施例的图像处理设备100的功能的第二修改例子。在下面，将参照图13描述根据第二修改例子的图像处理设备100的操作的流程的例子。〈7.第二修改例子中的操作〉图13是显示根据第二修改例子的图像处理设备100的操作的流程的流程图。需要注意的是，参照图13描述的图像处理设备100的操作特别地是在检测被摄体20戴着的饰品的类型的情况下的图像处理设备100的操作。被摄体20戴着的饰品是捕捉图像中显示的对象的例子。如图13中所示，首先，检测单元111检测捕捉图像中显示的饰品的类型。在从捕捉图像检测到项链(步骤S31中的“是”)的情况下，检测单元111检测项链在垂直方向上的长度。在检测单元111检测到项链在垂直方向上的长度较短(步骤S32中的“是”)的情况下，图像处理单元112把捕捉图像中显示的衣服的形状改变为圆领(步骤S33)。另一方面，在检测单元111检测到项链在垂直方向上的长度较长(步骤S32中的“否”)的情况下，图像处理单元112把捕捉图像中显示的衣服的形状改变为V形领(步骤S34)。在检测单元111未在捕捉图像上检测到项链(步骤S31中的“否”)并且从捕捉图像检测到耳环(步骤S35中的“是”)的情况下，图像处理单元112把捕捉图像中显示的衣服的形状改变为船形领(步骤S36)。显示单元130可由显示控制单元113控制，以使由图像处理单元112处理过的捕捉图像显示在显示单元130上。到目前为止，已参照图13描述了根据第二修改例子的图像处理设备100的操作的流程。〈8.第三修改例子中的功能〉随后，将参照图14至图16描述图像处理单元112的功能的第三修改例子。图14是表示图像处理单元112的功能的第三修改例子的示图。图14显示对象31H作为捕捉图像131H中显示的对象的例子。另外，图14显示对象33H作为另一对象的例子。在图14中显示的例子中，对象31H是船形领衣服，并且对象33H是耳环。然而，对象3IH和对象33H不受具体限制。在捕捉图像131H中，虽然被摄体21穿着衣服，但被摄体21未戴着任何饰品。例如，如果适合被摄体21穿着的衣服的饰品与捕捉图像131H合成，则通过观看与饰品合成的捕捉图像，被摄体21能够知道适合他/她穿着的衣服的饰品。另外，很可能地，被摄体21可能喜欢该饰品。因此，图像处理单元112可根据检测到的衣服的类型改变与捕捉图像合成的饰品的类型。图14显示由图像处理单元112合成有耳环的捕捉图像131H’，因为检测到船形领衣服。更优选地，这里合成的耳环是垂下的耳环。这是因为，通过使用耳环使得在垂直方向上看起来较长，整体上的平衡变得更好。衣服的类型由检测单元111检测，并且检测方法不受具体限制。例如，可通过如上所述识别对象的类型的方法检测衣服的类型。需要注意的是，虽然在图14中显示的例子中被摄体21穿着存在于真实空间中的衣服，但即使在用作虚拟对象的衣服叠加在被摄体21上的情况下，也可执行改变饰品的类型的处理。图15是表示图像处理单元112的功能的第三修改例子的示图。图15显示对象311作为捕捉图像1311中显示的对象的例子。另外，图15显示对象331作为另一对象的例子。在图15中显示的例子中，对象311是V形领衣服，并且对象331是在垂直方向上具有较大长度的项链。然而，对象311和对象331不受具体限制。图15显示由图像处理单元112合成在垂直方向上具有较大长度的项链的捕捉图像1311’，因为检测到V形领衣服。图16是表示图像处理单元112的功能的第三修改例子的示图。图16显示对象31J作为捕捉图像131J中显示的对象的例子。另外，图16显示对象33J作为另一对象的例子。在图16中显示的例子中，对象31J是圆领衣服，并且对象33J是在垂直方向上具有短长度的项链。然而，对象31J和对象33J不受具体限制。图16显示由图像处理单元112合成在垂直方向上具有短长度的项链的捕捉图像131J’，因为检测到圆领衣服。〈9.第三修改例子中的操作〉图17是显示根据第三修改例子的图像处理设备100的操作的流程的流程图。需要注意的是，参照图17描述的图像处理设备100的操作特别地是在检测被摄体20穿着的衣服的类型的情况下的图像处理设备100的操作。被摄体20穿着的衣服是捕捉图像中显示的对象的例子。如图17中所示，首先，检测单元111检测捕捉图像中显示的衣服的类型。在检测单元111检测到衣服的形状是船形领(步骤S41中的“是”)的情况下，图像处理单元112把耳环叠加在捕捉图像上(步骤S33)。另一方面，在检测单元111检测到衣服的形状不是船形领(步骤S41中的“否”)的情况下，图像处理单元112前进至步骤S43。在检测单元111检测到衣服的形状是V形领(步骤S43中的“是”)的情况下，图像处理单元112把在垂直方向上具有较大长度的项链叠加在捕捉图像上(步骤S44)。另一方面，在检测单元111检测到衣服的形状不是V形领(步骤S43中的“否”)的情况下，图像处理单元112前进至步骤S45。在检测单元111检测到衣服的形状是圆领(步骤S45中的“是”)的情况下，图像处理单元112把在垂直方向上具有短长度的项链叠加在捕捉图像上(步骤S46)。显示单元130可由显示控制单元113控制，以使由图像处理单元112处理过的捕捉图像显示在显示单元130上。到目前为止，已参照图17描述了根据第三修改例子的图像处理设备100的操作的流程。<10.结论〉如上所述，根据本发明的实施例，提供了一种包括用于把虚拟对象与捕捉图像进行合成的图像处理单元的图像处理设备，其中该图像处理单元基于捕捉图像中显示的对象的状态或类型确定虚拟对象。根据这种图像处理设备，能够考虑到捕捉图像中显示的对象的状态或类型而确定虚拟对象。根据这种图像处理设备，能够消除从其它衣服露出的捕捉图像中显示的衣服的多余部分，并且例如能够以反映用户穿着衣服的方法的方式合成新衣月艮。另外，与用户穿着的衣服匹配的饰品能够与捕捉图像合成，并且衣服能够改变为与用户戴着的饰品匹配的形状。本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。例如，包括图像处理单元112的图像处理设备100可布置在服务器中或者布置在能够与服务器通信的终端中。此外，以上主要描述了在图像处理设备100中提供检测对象的状态或类型的功能的例子，但可在除图像处理设备100之外的装置中提供这种功能。例如，可在传感器150中提供这种功能。例如，在图像处理设备100把捕捉图像发送给另一装置的情况下，替代于图像处理设备100，所述另一装置可基于捕捉图像检测对象的状态或类型。另外，例如，以上主要描述了显示控制单元113布置在图像处理设备100中的例子，但显示控制单元113可布置在除图像处理设备100之外的装置中。例如，图像处理单元112可布置在服务器中，并且显示控制单元113可布置在终端中。例如，在由服务器处理的捕捉图像被发送给终端的情况下，终端可控制显示单元130，以使捕捉图像由显示单元130显示。以这种方式，本发明的技术也能够应用于云计算。另外，例如，在第三修改例子中，主要描述了图像处理单元112根据饰品的类型改变衣服的形状以及根据衣服的形状改变饰品的类型的例子。也就是说，考虑到饰品的类型与衣服的形状的兼容性而确定虚拟对象。然而，除了饰品和衣服的形状的合成之外，还存在影响兼容性的合成。例如，衬衫的长度和靴子的长度的合成影响兼容性。因此，图像处理单元112也能够通过考虑衬衫的长度与靴子的长度的兼容性确定虚拟对象。以相同方式，图像处理单元112也能够通过考虑鞋的高度(例如，鞋跟的高度和靴子的长度)与裤子的长度的兼容性确定虚拟对象。另外，在检测单元111检测到腰带的情况下，图像处理单元112可按照这种方式执行图像处理，即由被摄体利用腰带穿着的连衣裙的腰部收紧。由被摄体穿着的连衣裙可叠加在捕捉图像上，或者可显示在捕捉图像中。如果执行这种图像处理，则被摄体能够知道当他/她利用腰带穿着该连衣裙时他/她将会看起来如何，而不必由被摄体实际执行利用腰带收紧连衣裙的操作。另外，图像处理单元112也可考虑到衣服的兼容性而确定虚拟对象。例如，在检测到穿着围巾时，图像处理单元112可按照把与围巾一起穿着的衣服的袖子从短袖改为长袖的方式确定虚拟对象。如果执行这种图像处理，则例如即使当被摄体正在试穿衣服的季节不同于被摄体实际穿着该衣服的季节时，被摄体也能够更准确地知道当他/她穿着该衣服时他/她将会看起来如何。另外，本说明书的图像处理设备100的操作中所包括的各步骤不必根据流程图按照时间顺序处理。例如，图像处理设备100的操作中所包括的各步骤可按照与流程图不同的次序处理，或者可按照并行方式处理。另外，也可以创建一种用于使内置在图像处理设备100中的硬件(诸如，CPU、ROM和RAM)表现出与上述图像处理设备100的各结构的功能等同的功能的计算机程序。另外，还提供了一种存储该计算机程序的存储介质。另外，本技术也可如下构造。(I) 一种图像处理设备，包括:图像处理单元，合成虚拟对象与捕捉图像，其中图像处理单元基于捕捉图像中显示的对象的状态或类型确定虚拟对象。(2)如⑴所述的图像处理设备，其中在检测到捕捉图像中显示的对象和捕捉图像中显示的预定对象相邻的情况下，图像处理单元通过利用另一对象替换捕捉图像中显示的对象的处理来合成虚拟对象与捕捉图像。(3)如(I)所述的图像处理设备，其中在检测到捕捉图像中显示的对象和叠加在捕捉图像上的预定对象相邻的情况下，图像处理单元通过利用另一对象替换捕捉图像中显示的对象的处理来合成虚拟对象与捕捉图像。(4)如⑵或(3)所述的图像处理设备，其中基于与捕捉图像中显示的对象相邻的对象的颜色和形状中的至少一种，检测捕捉图像中显示的对象和所述预定对象相邻。(5)如(I)所述的图像处理设备，其中在检测到捕捉图像中显示的对象和捕捉图像中显示的预定对象之间的交叠的情况下，图像处理单元合成根据交叠修改的虚拟对象与捕捉图像。(6)如(5)所述的图像处理设备，其中基于捕捉图像中显示的对象和所述预定对象之间的边界线的位置，检测捕捉图像中显示的对象和所述预定对象的交叠。(7)如⑴所述的图像处理设备，其中在检测到捕捉图像中显示的对象的类型的情况下，图像处理单元合成根据捕捉图像中显示的对象的类型选择的虚拟对象与捕捉图像。(8)如(I)所述的图像处理设备，其中在检测到捕捉图像中显示的对象的类型的情况下，图像处理单元通过把捕捉图像中显示的另一对象修改为与捕捉图像中显示的所述对象的类型对应的形状来合成虚拟对象与捕捉图像。(9)如(I)所述的图像处理设备，还包括:检测单元，检测捕捉图像中显示的对象的状态或类型。(10)如(I)所述的图像处理设备，还包括:
显示控制单元，按照以下方式控制显示单元:在显示单元上显示经过图像处理单元处理的图像。(11) 一种图像处理方法，包括:基于捕捉图像中显示的对象的状态或类型，确定将要与捕捉图像合成的虚拟对象。(12) 一种用于使计算机用作图像处理设备的程序，该图像处理设备包括合成虚拟对象与捕捉图像的图像处理单元，其中图像处理单元基于捕捉图像中显示的对象的状态或类型确定虚拟对象。本发明包含与2011年11月8日提交给日本专利局的日本优先权专利申请JP2011-244377公开的主题相关的主题，该发明的全部内容包含于此以资参考。
权利要求
1.一种图像处理设备，包括: 图像处理单元，合成虚拟对象与捕捉图像， 其中图像处理单元基于捕捉图像中显示的对象的状态或类型确定虚拟对象。
2.如权利要求1所述的图像处理设备，其中在检测到捕捉图像中显示的对象和捕捉图像中显示的预定对象相邻的情况下，图像处理单元通过利用另一对象替换捕捉图像中显示的对象的处理来合成虚拟对象与捕捉图像。
3.如权利要求1所述的图像处理设备，其中在检测到捕捉图像中显示的对象和叠加在捕捉图像上的预定对象相邻的情况下，图像处理单元通过利用另一对象替换捕捉图像中显示的对象的处理来合成虚拟对象与捕捉图像。
4.如权利要求2所述的图像处理设备，其中基于与捕捉图像中显示的对象相邻的对象的颜色和形状中的至少一种，检测捕捉图像中显示的对象和所述预定对象相邻。
5.如权利要求1所述的图像处理设备，其中在检测到捕捉图像中显示的对象和捕捉图像中显示的预定对象之间的交叠的情况下，图像处理单元合成根据交叠修改的虚拟对象与捕捉图像。
6.如权利要求5所述的图像处理设备，其中基于捕捉图像中显示的对象和所述预定对象之间的边界线的位置，检测捕捉图像中显示的对象和所述预定对象的交叠。
7.如权利要求1所述的图像处理设备，其中在检测到捕捉图像中显示的对象的类型的情况下，图像处理单元合成根据捕捉图像中显示的对象的类型选择的虚拟对象与捕捉图像。
8.如权利要求1所述的图像处理设备，其中在检测到捕捉图像中显示的对象的类型的情况下，图像处理单元通过把捕捉图像中显示的另一对象修改为与捕捉图像中显示的所述对象的类型对应的形状来合成虚拟对象与捕捉图像。
9.如权利要求1所述的图像处理设备，还包括: 检测单元，检测捕捉图像中显示的对象的状态或类型。
10.如权利要求1所述的图像处理设备，还包括: 显示控制单元，按照以下方式控制显示单元:在显示单元上显示经过图像处理单元处理的图像。
11.一种图像处理方法,包括: 基于捕捉图像中显示的对象的状态或类型，确定将要与捕捉图像合成的虚拟对象。
12.一种用于使计算机用作图像处理设备的程序，该图像处理设备包括合成虚拟对象与捕捉图像的图像处理单元， 其中图像处理单元基于捕捉图像中显示的对象的状态或类型确定虚拟对象。
全文摘要
本发明涉及图像处理设备、图像处理方法和程序。一种图像处理设备，包括图像处理单元，合成虚拟对象与捕捉图像。图像处理单元基于捕捉图像中显示的对象的状态或类型确定虚拟对象。
文档编号G06T5/50GK103198461SQ201210427690
公开日2013年7月10日 申请日期2012年10月31日 优先权日2011年11月8日
发明者宫崎丽子 申请人:索尼公司