专利名称：信息处理设备、显示控制方法和程序的制作方法
技术领域：
本公开涉及信息处理设备、显示控制方法和程序。
背景技术：
通过将服装的图像叠加在通过捕获用户产生的图像上来产生穿衣图像(dressingimage)(即，其中衣服等被试穿的图像)的各种技术已经作为虚拟穿衣系统被提出了。作为一个例子，日本特开公报N0.2006-304331公开了将服装的图像叠加到用户身体的图像上的处理。更具体地说，在该公报N0.2006-304331中公开的图像处理服务器改变服装图像的尺寸，并基于诸如附加于用户的身体图像的身体轮廓数据(高、肩宽等)以及图像中身体的朝向的信息来调整图像的朝向，然后将服装图像叠加到身体图像上。
发明内容
诸如在公报N0.2006-304331中公开的穿衣图像生成技术改变要被叠加的服装图像的尺寸，从而匹配基于身体轮廓数据的身体的尺寸。使用其中虚拟服装根据用户操作覆盖并显示在捕获图像中的虚拟穿衣系统，大于或小于图像中的用户的身体的服装图像不做修改地被覆盖在身体上进行显示。或者，服装图像根据用户给出的指示被放大或缩小，然后在未做进一步的修改的情况下覆盖和显示。但是，实际上，比身体大的服装在试穿时会下垂，而比身体小的服装则会拉长。这意味着仅仅将服装图像覆盖在身体上的上述穿衣图像将使观察者觉得不自然。此外，使用被叠加已经被放大或缩小的服装图像的虚拟穿衣技术，很难使用户识别出服装的真实尺寸。出于这一原因，本公开的目的在于提供新型的改进的信息处理设备、显示控制方法和程序，从而实现使得用户能够直观地识别出真实空间中的对象与虚拟对象之间的尺寸差别的更自然的表示。根据本公开，提供一种信息处理设备，其包括:比较单元，比较基于事先设置的尺度的虚拟服装和/或饰品的尺寸与已经捕获的被摄体的尺寸；以及显示控制单元，根据比较单元产生的比较结果来对虚拟服装和/或饰品进行变形，并将变形的虚拟服装和/或饰品覆盖在被摄体上显示。根据本公开，提供一种显示控制方法，其包括:比较基于事先设置的尺度的虚拟服装和/或饰品的尺寸与已经捕获的被摄体的尺寸；以及根据比较结果对虚拟服装和/或饰品进行变形，并将变形的虚拟服装和/或饰品覆盖在被摄体上显示。根据本公开，提供一种程序，使得计算机执行:比较基于事先设置的尺度的虚拟服装和/或饰品的尺寸与已经捕获的被摄体的尺寸处理；以及根据通过比较处理产生的比较结果对虚拟服装和/或饰品进行变形，并将变形的虚拟服装和/或饰品覆盖在被摄体上显示的处理。根据上述的本公开实施例，可以实现使得用户能够直观地识别真实空间中的对象与虚拟对象之间的尺寸差别的更自然的表示。
图1是用于解释根据本公开的实施例的AR穿衣系统的概要的示图；图2是用于解释通过普通虚拟穿衣系统无修改地叠加虚拟服装的情况的示图；图3是示出根据本公开实施例的信息处理设备的配置的框图；图4是用于解释照相机与真实空间中的被摄体和被摄体被捕获的拾取图像之间的位置关系的示图；图5是用于解释根据本公开实施例的骨骼信息的示图；图6是用于解释虚拟照相机与在虚拟空间中的虚拟服装和通过投影虚拟服装产生的虚拟服装图像之间的位置关系的示图；图7是示出根据本公开实施例的用于显示AR穿衣图像的基本显示控制处理的流程图；图8是示出根据本公开实施例的用于对虚拟服装进行变形的处理的流程图；图9是用于解释对比被摄体小的虚拟服装进行变形的示图；图10是用于解释对比被摄体大的虚拟服装进行变形的示图；以及图11是用于解释根据本公开实施例的对虚拟沙发罩进行变形的示图。
具体实施例方式在下文中，将参考附图详细地描述本公开的优选实施例。请注意，在本说明书和附图中，基本上具有相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复解释。按照下面指示的顺序给出下列描述。1.根据本公开实施例的AR穿衣系统的概要2.信息处理设备的配置3.显示控制3-1.基本显示控制3-2.用于对虚拟服装进行变形的控制4.总结1.根据本公开实施例的AR穿衣系统的概要近年来，被称为增强现实(AR)的技术受到了关注，该技术通过将额外的信息覆盖到真实世界上来将该信息呈现给用户。通过AR技术呈现给用户的信息使用诸如文本、图标和动画的各种形式的虚拟对象被可视化。AR技术的一个主要用途是在真实世界中支持用户的活动。在下面的描述中，AR技术被应用于穿衣系统(S卩，用于试穿服装等的系统)。通过根据用户的操作显示覆盖在身体上的虚拟服装的图像，使用AR技术的穿衣系统能够使用户虚拟地实时地试穿服装。基于针对作为真实空间中的对象的被摄体的尺寸与作为虚拟对象的虚拟服装的尺寸的比较结果，根据本公开实施例的AR穿衣系统对虚拟服装进行变形，并将变形的虚拟服装覆盖在被摄体上显示。 通过这样做，可以显示使得用户能够直观地识别出真实空间中的对象与虚拟对象之间的尺寸差别的更自然的AR穿衣图像。
现在将参考图1描述根据本公开实施例的AR穿衣系统的概要。如图1所示，根据本公开的实施例的AR穿衣系统I包括信息处理设备10、照相机15、传感器17和显示设备19。请注意，对于AR穿衣系统I被设置的位置没有特别的限制。作为例子，AR穿衣系统I可以被设置在用户的家中或可以被设置在店铺中。
此外，尽管在图1中示出的例子中构成AR穿衣系统I的多个设备(即，信息处理设备10、照相机15、传感器17和显示设备19)被配置为分开的装置，但是根据本实施例的AR穿衣系统I的配置并不限于此。例如，构成AR穿衣系统I的多个设备的任意组合可以被集成到单个设备中。在另一个例子中，构成AR穿衣系统I的多个设备可以被并入到智能电话、PDA (个人数字助理)、移动电话、移动音频再现装置、移动图像处理装置或移动游戏机中。
照相机(图像拾取设备)15拾取存在于真实空间中的对象的图像。尽管对存在于真实空间中的对象没有特别的限制，但是作为例子，这样的对象可以是诸如人或动物的生物或者诸如车库或电视桌的非生物。在图1中示出的例子中，作为存在于真实空间中的对象，被摄体A(例如，人)由照相机15捕获。由照相机15拾取的图像(在下文中也被称为“拾取图像”)被显示在显示设备19上。显示在显示设备19上的拾取图像可以是RGB图像。此夕卜，照相机15将拾取图像发送到信息处理设备10。
传感器17具有用于检测来自真实空间的参数并将检测数据发送到信息处理设备10的功能。例如，如果传感器17被构造为红外线传感器，那么传感器17能够检测来自真实空间的红外线波，并将与检测到的红外线的量对应的电信号作为检测数据供应给信息处理设备10。作为一个例子，信息处理设备10能够基于检测数据来识别存在于真实空间中的对象。传感器17的类型并不限于红外线传感器。请注意，尽管在图1中示出的例子中检测数据从传感器17被供应给信息处理设备10，但是供应给信息处理设备10的检测数据也可以是由照相机15拾取的图像。
根据对存在于真实空间中的对象的识别结果，信息处理设备10能够处理拾取图像，诸如，通过将虚拟对象叠加到拾取图像上和/或对拾取图像进行变形。显示设备19还能够显示由信息处理设备10处理的图像。
例如，如图1所示，信息处理设备10能够识别在真实空间中的被摄体A，并将叠加了服装图像的穿衣图像实时地显示在显示设备19上。在本例中，用户的身体是真实空间的视频，并且要被试穿的服装的图像是通过被覆盖在真实空间的视频上来显示的虚拟对象。通过这样做,AR穿衣系统I实时地提供虚拟穿衣室。
这里，在普通虚拟穿衣室中，通过覆盖在被摄体上来显示的虚拟服装已经在未经尺寸调整的情况下(即，在虚拟服装的尺寸大于或小于被摄体的情况下)被覆盖在被摄体上。图2是用于解释通过这样的普通虚拟穿衣系统不经修改地叠加虚拟服装的情况的示图。
如图2中的左侧所示，如果在虚拟服装比在拾取图像中的被摄体小的状态下叠加虚拟服装，那么被摄体的区域将从虚拟服装突出。但是，实际上，当试穿比身体小的服装时，服装会拉长，这意味着在图2中的左侧示出的穿衣图像不自然。
此外，如图2中的右侧所示，如果在虚拟服装比在拾取图像中的被摄体大的状态下叠加虚拟服装，那么由于虚拟服装的区域大于被摄体，因此虚拟服装将浮在被摄体的肩膀之上而不会下垂。但是，实际上，当试穿比身体大的服装时，服装整体上会下垂，这意味着在图2中的右侧示出的穿衣图像不自然并且缺乏真实性。
此外，如较早所述，如果服装图像被放大或缩小，然后在未做进一步修改的情况下被叠加到拾取图像(身体图像)上，那么服装图像可以被调整为与实际的现有服装的尺寸无关的尺寸。但是，当虚拟穿衣系统被正在考虑购买现有服装的用户使用时，诸如当经由互联网购买服装时，需要生成将现有服装的尺寸考虑在内的穿衣图像。
出于这一原因，使用根据本公开实施例的AR穿衣系统，基于在真实空间中的对象(这里，捕获的被摄体)的尺寸与虚拟对象的尺寸的比较结果对虚拟对象(这里，虚拟服装)进行变形，然后将其覆盖在被摄体上显示。例如，如图1所示，通过对要被覆盖地显示在被摄体A上的虚拟服装的图像进行变形从而使得虚拟服装整体上在重力的方向上下垂，被摄体A可以直观地识别出虚拟服装的尺寸大于被摄体A本身的身体。请注意，如图1所示，被摄体A能够从尺寸图标组30 (诸如，显示在显示设备19上的“S”、“M”和“L”)中任意地选择虚拟服装的尺寸。通过这样做，被摄体A能够虚拟地试穿各种尺寸的虚拟服装。
2.信息处理设备的配置
接下来，将参考图3描述实现根据本公开实施例的AR穿衣系统的信息处理设备10的配置。如图3所示，信息处理设备10包括控制单元100、操作输入单元120和存储单元130。控制单元100包括骨架位置计算单元101、显示控制单元105和比较单元109。信息处理设备10还无线地或经由电线被连接到照相机15、传感器17和显示设备19。
控制单元100对应于诸如CPU (中央处理单元)或DSP (数字信号处理器)的处理器。通过执行存储在存储单元130或另一个存储介质中的程序，控制单元100实现控制单元100的各种功能(稍后描述)。请注意，构成控制单元100的各个块可以全部被并入到同一设备中，或者这些块中的某些可以被并入到另一个设备(诸如服务器)中。
存储单元130使用诸如半导体存储器或硬盘的存储介质存储用于由信息处理设备10进行的处理的程序和数据。作为一个例子，存储单元130存储用于使计算机起控制单元100的作用的程序。例如，存储单元130还可以存储由控制单元100使用的数据。根据本实施例的存储单元130存储作为要被显示的虚拟对象的服装和/或饰品的三维数据。根据本实施例的存储单元130存储与服装和/或饰品的三维数据相关联的服装和/或饰品的尺寸信息。表述“尺寸信息”是指关于服装和/或饰品的实际的大小信息，诸如长度、肩宽、(体)宽、袖长和袖宽。这样的实际大小信息可以以厘米为单位存储。实际的大小信息可以针对服装或饰品的每一种尺寸(诸如S、M和L)来存储。请注意，在本说明书中，表述“服装和/或饰品”可以包括服装和饰品。这里，表述“饰品”包括眼镜、帽子、衣带等。
操作输入单元120包括使用户能够输入信息的输入装置(诸如鼠标、键盘、触摸屏、一个按钮或多个按钮、麦克风、一个开关或多个开关、一个控制杆或多个控制杆、远程控制器)、基于由用户进行的输入生成输入信号并输出到控制单元100的输入控制电路等。通过操作操作输入单元120，用户可以接通或切断信息处理设备10的电源，并给出诸如载入AR穿衣系统程序的指示。
照相机15 (图像拾取设备)通过使用诸如CXD (电荷耦合器件)或CMOS (互补金属氧化物半导体)的图像拾取元件捕获真实空间来生成拾取图像。尽管在本公开的本实施例中假定照相机15与信息处理设备10分开地被构建，但是照相机15也可以是信息处理设备10的一部分。
照相机15还将在图像拾取期间使用的照相机15的设置信息供应给控制单元100。图4是用于解释照相机15与在真实空间中的被摄体A和通过捕获被摄体A而产生的拾取图像A’之间的位置关系的示图。为了便于演示，在图4中，从作为照相机15的透镜(未示出)的光学中心的主点到照相机15的图像拾取元件(也未示出)和在图像拾取元件上产生的被摄体A (为具有xyz坐标的三维)的拾取图像A’(为具有xy坐标的二维)的焦距fMai在与被摄体相同的一侧被示出。如稍后所述，从照相机15到被摄体A的距离dMal被作为深度信息来计算。照相机15的视角eMal主要根据焦距fMal来决定。作为照相机15的设置信息的例子，照相机15将焦距fMal (或者视角eMal)和拾取图像A’的分辨率(即，像素的数量)供应给信息处理设备10。
传感器17具有用于检测来自真实空间的参数的功能。作为一个例子，如果传感器17被构造为红外线传感器，那么传感器17能够检测来自真实空间的红外线，并将与检测到的红外线的量对应的电信号作为检测数据供应给信息处理设备10。传感器17的类型并不限于红外线传感器。请注意，如果由照相机15拾取的图像作为检测数据被供应给信息处理设备10，那么不需要提供传感器17。
显示设备19是由IXD (液晶显示器)、0LED (有机发光二极管)、CRT (阴极射线管)等构成的显示模块。尽管在本公开的本实施例中设想了显示设备19与信息处理设备10分开地构建的配置，但是显示设备19也可以是信息处理设备10的一部分。
接下来，将描述上文提到的控制单元100的功能配置。如较早所述，控制单元100包括骨架位置计算单元101、显示控制单元105和比较单元109。
骨架位置计算单元101
骨架位置计算单元101基于检测数据计算出现于拾取图像中的身体的骨架位置。对于计算出现于拾取图像中的对象的真实空间中的骨架位置的方法没有特别的限制。作为一个例子，骨架位置计算单元101首先识别对象存在于拾取图像中的区域(也被称为“对象存在区域”)并获取在拾取图像中该对象的深度信息。然后，骨架位置计算单元101可以基于对象存在区域的深度和形状(特征量)来识别在拾取图像中出现的对象在真实空间中的部位(头、左肩、右肩、躯干等)，并将各个部位的中心位置作为骨架位置来计算。这里，骨架位置计算单元101能够使用存储在存储单元130中的特征量字典来将从拾取图像决定的特征量与事先在特征量字典中登记的对象的每个部位的特征量进行比较，从而识别包含在拾取图像中的该对象的部位。
可以想到使用各种方法来识别对象存在区域。例如，如果拾取图像作为检测数据被供应给信息处理设备10，那么骨架位置计算单元101可以基于对象出现前的拾取图像与对象出现于其中的拾取图像之间的差别来识别对象存在区域。更具体地说，骨架位置计算单元101能够将其中对象出现前的拾取图像与对象出现于其中的拾取图像之间的差别超出阈值的区域识别为对象存在区域。
作为另一个例子，如果由传感器17检测的参数已经作为检测数据被供应给了信息处理设备10，那么骨架位置计算单元101能够基于该检测数据来识别对象存在区域。更具体地说，骨架位置计算单元101能够将其中红外线的检测量超出阈值的区域识别为对象存在区域。
可以想到使用各种方法来获取在拾取图像中的对象的深度信息。例如，可以事先决定照相机15与对象之间的距离。也就是说，可以设置这样的限制:即，将对象放置在与照相机15间隔为事先决定的距离的位置。如果提供这样的限制，那么骨架位置计算单元101可以将对象的深度信息(这里，照相机15与对象之间的距离)视为固定值(例如，2m)。
骨架位置计算单元101还能够基于通过传感器17计算的参数来计算在拾取图像中的对象的深度信息。更具体地说，如果骨架位置计算单元101从发射器装置(未示出)向对象发射诸如红外线的光，那么通过分析由传感器17检测的光，可以计算在拾取图像中的对象的深度信息。
作为另一个例子，骨架位置计算单元101能够基于通过传感器17检测的光的相位延迟来计算在拾取图像中的对象的深度信息。该方法有时被称为TOF (飞行时间)。或者，如果从发射器装置(未示出)发射的光由已知图案构成，那么骨架位置计算单元101可以通过分析由传感器17检测的光构成的图案的畸变程度来计算在拾取图像中的对象的深度信肩、O
请注意，具有用于计算在拾取图像中的对象的深度信息的功能的图像拾取设备被称为深度照相机，并且可以通过立体照相机或激光距离扫描仪来实现。骨架位置计算单元101可以从被连接到信息处理设备10的深度照相机来获取深度信息。
基于通过上述方法获取的对象存在区域的深度和形状(特征量)，骨架位置计算单元101识别出现于拾取图像中的对象的真实空间中的部位(头、肩等)，并计算各个部位的骨架位置。现在将参考图5描述由骨架位置计算单元101计算的包含构成被摄体A的至少一部位的骨架位置的骨架信息。
图5是用于解释包含构成被摄体A的至少一部位的骨架位置(坐标)的骨架信息的示图。尽管在图5中给出了作为骨架信息的一个例子的示出构成被摄体A的15个部位的位置的坐标 BI 到 B3、B6、B7、B9、B12、B13、B15、B17、B18、B20 到 B22 和 B24,但是对于包含在骨架信息中的部位的数量并没有特别的限制。
请注意，坐标BI示出“头”的坐标，坐标B2示出“脖子”的坐标，坐标B3示出“躯干”的坐标，坐标B6示出“右肩”的坐标，并且坐标B7示出“右肘”的坐标。另外，坐标B9示出“右手”的坐标，坐标B12示出“左肩”的坐标，坐标B31示出“左肘”的坐标，并且坐标B15示出“左手”的坐标。
坐标B17示出“右髋”的坐标，坐标B18示出“右膝”的坐标，坐标B20示出“右脚”的坐标，并且坐标B21示出“左髋”的坐标。坐标B22示出“左膝”的坐标，并且坐标B24示出“左脚”的坐标。
如较早所述，根据本实施例的骨架位置计算单元101获取在拾取图像中的对象的深度信息，并且作为具体的例子，深度信息可以从上述深度照相机作为拾取图像(未示出)来获取，在该拾取图像中，根据深度进行明暗变化。
比较单元109
比较单元109将基于尺寸信息(即，事先设置的尺度)的虚拟服装和/或饰品(这里，为虚拟服装)的尺寸与已经被捕获的被摄体A的尺寸进行比较，并将比较结果输出到显示控制单元105。请注意，可以想到用于通过根据本实施例的比较单元109来实现尺寸比较的各种方法，并且对这些方法没有特别的限制。
例如，可以使用在二维级别上比较被摄体A与虚拟服装的尺寸的方法。更具体地说，比较单元109首先对来自拾取图像的被摄体A的区域以像素单位进行分区，以生成被摄体掩码图像(subject mask image),在该被摄体掩码图像中，对应于被摄体A的部分被着色为白色，其它部分被着色为黑色。接下来，生成服装掩码图像，在该服装掩码图像中，绘制有覆盖在被摄体A上显示的虚拟服装的部分被着色为白色，没有绘制虚拟服装的其它部分被着色为黑色。请注意，要覆盖在被摄体A上显示虚拟服装的区域可以基于虚拟图像C’来决定，该虚拟图像C’是通过将根据被摄体A的骨架位置设置的虚拟服装C置于由虚拟照相机25呈现的虚拟空间(稍后描述)中而获取的。设置在虚拟空间中的虚拟服装C是基于事先建模的三维数据和尺寸信息(诸如长度、肩宽和(身体)宽度的实际尺度)生成的。
其后，比较单元109比较“在被摄体掩码图像中为白色且在服装掩码图像中为黑色的区域”与“在被摄体掩码图像中为黑色且在服装掩码图像中为白色的区域”之间的面积(即，像素数量)，并将比较结果输出到显示控制单元105。
请注意，“在被摄体掩码图像中为白色且在服装掩码图像中为黑色的区域”是在被摄体A的区域内但没有绘制虚拟服装的区域。此外，“在被摄体掩码图像中为黑色且在服装掩码图像中为白色的区域”是在被摄体A的区域外部并且绘制有虚拟服装的区域。
因此，如果“在被摄体掩码图像中为白色且在服装掩码图像中为黑色的区域”较大，那么可以说虚拟服装比被摄体A小。同时，如果“在被摄体掩码图像中为黑色且在服装掩码图像中为白色的区域”较大，那么可以说虚拟服装比被摄体A大。
此外，可以使用在三维级别上比较被摄体A与虚拟服装的尺寸的方法。更具体地说，基于示出被摄体A的形状的特征的特征点的三维坐标(参见，例如，图4中的坐标0)，比较单元109识别被摄体A的实际尺度(例如，以厘米为单位)，例如，高度、肩宽和(身体)宽度。请注意，比较单元109可以使用稍早描述的深度信息来计算被摄体A的特征点(三维坐标)。
接下来，比较单元109从存储单元130提取要覆盖在被摄体A上显示的虚拟服装C的尺寸信息(作为例子，例如以厘米为单位表示的诸如高度、肩宽和(身体)宽度的实际尺度)。
然后，比较单元109将被摄体A的诸如高度、肩宽等的实际尺度与虚拟服装C的诸如长度、身体宽度等的实际尺度进行比较，并将比较结果输出到显示控制单元105。
显示控制单元105
显示控制单元105实现这样的控制，该控制生成AR穿衣图像并将AR穿衣图像显示在显示设备19上，在该AR穿衣图像中虚拟服装覆盖在出现于拾取图像中的被摄体上显示。通过基于从比较单元109输出的比较结果来对要覆盖在被摄体A上显示的虚拟图像C进行变形，根据本实施例的显示控制单元105能够实现对服装被真实地试穿时的更自然的表示。更具体地说，如果虚拟服装C比被摄体A大，那么显示控制单元105使虚拟服装C在重力方向上整体地向下垂。相反地，如果虚拟服装C比被摄体A小，那么显示控制单元105对虚拟服装C进行变形，从而使得虚拟服装C拉长以匹配被摄体A的尺寸。
这里，将参考图6描述被覆盖在拾取图像上的虚拟服装的生成。图6是用于解释虚拟照相机25与在虚拟空间中的虚拟服装C和通过投影(呈现)虚拟服装C产生的虚拟服装图像C’(也被称为“虚拟图像”)之间的位置关系的示图。在图6中，以与图4中示出的通过捕获真实空间而产生的拾取图像A’相同的方式，呈现的虚拟服装图像C’被显示在与虚拟服装相同的一侧。
虚拟照相机25的设置(内部参数)是根据捕获真实空间的照相机15的设置(内部参数)来决定的。例如，表述“照相机的设置(内部参数)”可以是焦距f、角度Θ和像素数量。显示控制单元105设置虚拟照相机25的设置，从而匹配真实空间的照相机15(这一处理也被称为“初始化”)。
接下来，基于拾取图像中的对象的深度信息，显示控制单元105根据被摄体的骨架位置将虚拟服装C设置在与虚拟照相机25间隔距离dvirtual的位置处，该距离dvirtual与在真实空间中从照相机15到被摄体A的距离C^al相同。显示控制单元105可以基于已经事先建模的三维数据来生成虚拟服装C。如图6所示，例如，通过由一组三角多边形来构建虚拟服装C的表面，显示控制单元105能够以更真实的方式来表示虚拟服装的三维形状。如果被摄体A的骨架位置随时间而改变，那么显示控制单元105能够改变虚拟服装C的位置，以跟踪骨架位置。
另外，如果根据本实施例的显示控制装置105基于事先建模的三维数据生成虚拟服装C，那么使用与虚拟服装C的三维数据相关联地存储的尺寸信息。请注意，当存在虚拟服装C的多种尺寸(例如S、M和L)时，显示控制单元105可以显示诸如图1中示出的尺寸图标组的尺寸图标组30,并让被摄体A选择任意尺寸。
接下来，通过使用虚拟照相机25呈现，即，将三维虚拟服装C投影以产生二维平面图像，显示控制单元105获取虚拟服装C’(或“虚拟图像”)。然后，显示控制单元105可以通过覆盖在拾取图像A’(参见图4)上显示虚拟服装C’来生成AR穿衣图像。
这里，如较早所述，通过基于从比较单元109输出的比较结果来对要覆盖在被摄体A上显示的虚拟图像C进行变形，根据本实施例的显示控制单元105产生对服装被真实地试穿时的更自然的表示。作为一个例子，通过获取在虚拟服装C的轮廓上的点(特征点)和最靠近这些点的被摄体A的轮廓上的点(特征点)，以及将虚拟服装C的特征点移动到被摄体A的特征点或在重力方向上移动虚拟服装C的特征点，显示控制单元105实现了更自然的表示。请注意，接下来将在“3.显示控制”部分中更详细地描述通过显示控制单元105进行的AR穿衣图像的显示控制。
这样完成了根据本公开的本实施例的实现AR穿衣系统的信息处理设备10的配置的详细描述。接下来，将描述通过信息处理设备10进行的AR穿衣图像的显示控制。
3.显示控制
3-1.基本显示控制
图7示出由信息处理设备10实现的AR穿衣图像的基本显示控制处理的流程图。如图7所示，首先，在步骤SllO中，显示控制单元105实现初始化，以使得虚拟空间中的虚拟照相机25的配置与真实空间中的照相机15的配置匹配。
接下来，在步骤S113中，骨架位置计算单元101计算已经被捕获的在真实空间中的被摄体A的骨架位置(xyz坐标)，并将骨架位置输出到显示控制单元105。
其后，在步骤SI 16中，显示控制单元105根据被摄体A的骨架位置(xyz坐标)将虚拟服装C置于虚拟空间中。
接下来，在步骤S119中， 显示控制单元105实现控制(AR显示控制)，该控制呈现虚拟服装C以获取服装图像C’(虚拟图像)，通过将服装图像C’叠加在拾取图像A’上来绘制AR穿衣图像，并将该拾取图像A’显示在显示设备19上。
在步骤S122中，信息处理设备10重复地实现步骤SI 13到SI 19，直到结束指示被给出。通过这样做，信息处理设备10能够提供实时地跟踪被摄体A的运动的AR穿衣图像。
这样完成了基本显示控制处理的描述。另外，根据本实施例的信息处理设备10能够将被摄体A的尺寸与虚拟服装C进行比较，并对虚拟服装C进行变形，以覆盖在被摄体A上显示。现在将参考图8描述通过本实施例的用于对虚拟服装进行变形的控制的具体例子。
3-2.用于对虚拟服装进行变形的控制
图8是示出由根据本实施例的信息处理设备10实现的虚拟服装的变形处理的流程图。更具体地说，在图8中，在图7中示出的步骤S119的AR显示控制期间，基于对被摄体A的尺寸与虚拟服装C的尺寸的比较结果，实现对要覆盖在被摄体A上显示的虚拟服装C的变形处理。
首先，在图8中的步骤S131中，比较单元109比较被摄体A的尺寸与要覆盖在被摄体A上显示的虚拟服装C的尺寸。
其后，如果在步骤S134中由比较单元109产生的比较结果是虚拟服装C小于被摄体A，那么在步骤S137中显示控制单元105对虚拟服装C进行变形，以便理想地匹配被摄体A的体形。
同时，如果在步骤S134中由比较单元109产生的比较结果是虚拟服装C大于被摄体A，那么在步骤S140中显示控制单元105对虚拟服装C进行变形，从而使得虚拟服装C整体上在重力方向上(在垂直方向上向下)下垂。
其后，在步骤S143中，显示控制单元105通过在被摄体A上叠加地绘制虚拟服装C来生成AR穿衣图像，该虚拟服装C已经基于由比较单元109产生的比较结果被变形了。
这样完成了根据本实施例的对虚拟服装C的变形处理的描述。接下来，将使用具体例子描述较早描述的在步骤S137和S140中对虚拟服装的变形。
示例变形I
在上述步骤S137中，如果虚拟服装C比被摄体A小，那么显示控制单元105对虚拟服装C进行变形，从而理想地匹配被摄体A的体形。现在将参考图9描述具体的显示控制。
如图9所示，通过将虚拟服装C的轮廓上的点(特征点)移动到靠近这些特征点的被摄体A的轮廓上的点(特征点)，显示控制单元105对虚拟服装C进行变形，从而理想地匹配被摄体A的体形。当这样做时，显示控制单元105可以进行移动，同时根据在虚拟服装C的轮廓上的特征点的移动来补充在虚拟服装C的区域内的特征点。
以这种方式，通过对虚拟服装C进行变形，从而使得虚拟服装C理想地匹配被摄体A的体形并将虚拟服装C覆盖在被摄体A上显示，可以提供更自然的AR穿衣图像，该AR穿衣图像使用户能够识别出虚拟服装C的尺寸比被摄体A小并且模仿衣服被实际试穿的状态。
示例变形2
在上述的步骤S140中，如果虚拟服装C比被摄体A大，那么显示控制单元105对虚拟服装C进行变形，从而使其在重力方向(B卩，垂直地向下)上整体地向下垂。现在将参考图10描述具体的显示控制。
如图10所示，尽管在虚拟服装C的轮廓上的点(特征点)在重力方向上移动，但是如果被摄体A的轮廓(诸如肩)在虚拟服装C的特征点之下，那么虚拟服装C被移动，直到到达被摄体A的轮廓上的特征点。此外，如果被摄体A的轮廓没有在虚拟服装C的特征点之下，诸如，在褶边，那么在虚拟服装C的轮廓上的特征点被垂直向下移动，以表示下垂。
以这种方式，通过对虚拟服装C进行变形，从而使得虚拟服装C整体地下垂并将虚拟服装C覆盖在被摄体A上显示，可以提供更自然的AR穿衣图像，该AR穿衣图像能够使用户识别出虚拟服装C的尺寸比被摄体A大并且模仿衣服被实际试穿的状态。
请注意，通过表示期望发生在实际服装上的更大的下垂，显示控制单元105可以夸大服装的下垂。通过夸大下垂，可以更显著地表达虚拟服装C的尺寸大。更具体地说，通过将诸如虚拟服装C的褶边的特征点垂直向下移动的距离提高到超出期望距离，可以夸大服装的下垂。
这样完成了基于上述示例变形I和示例变形2的对虚拟服装C的变形的具体描述。请注意，通过移动特征点的对虚拟服装C的变形可以通过移动通过虚拟照相机25的呈现获取的服装图像C’上的特征点(二维坐标(x，y))来实现。或者，变形可以通过移动示出位于虚拟空间中的三维虚拟服装C的形状的特征的特征点(三维坐标(X，y, ζ 来实现。
4.总结
如较早所述，使用根据本公开实施例的AR穿衣系统，基于被摄体A与虚拟服装C的尺寸的比较结果对虚拟服装C进行变形，然后将虚拟服装C覆盖在被摄体A上显示。通过这样做，可以实现能够使用户直观地识别被摄体A与虚拟服装C之间的尺寸差别的更自然的表示。
例如，如果虚拟服装C比被摄体A小，那么虚拟服装C被变形，从而理想地匹配被摄体A的体形。同时，如果虚拟服装C比被摄体A大，那么虚拟服装C被变形，从而使得虚拟服装C在重力方向上整体地下垂。
本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围即可。
另外，尽管上文主要描述了针对AR穿衣系统的试穿虚拟服装的例子，但是试穿的物品并不限于服装，也可以是诸如眼镜、帽子和衣带的饰品。
此外，尽管针对较早描述的AR穿衣系统已经描述了被摄体是人的情况，但是被摄体并不限于人，也可以是诸如狗或猫的动物。在这种情况中，可以提供显示宠物服装的图像(例如，覆盖在捕获动物的拾取图像上)的AR穿衣系统。
尽管在上述实施例中已经给出了其中被摄体A是真实对象并且虚拟服装C是虚拟对象的例子，但是由本实施例组合的真实对象与虚拟对象的组合并不限于本例。虚拟对象可以是由诸如纤维的能够整形或变形的材料制成的另外的对象。作为一个例子，诸如椅子、沙发或床的家具可以作为真实对象给出，并且椅套、沙发套或床套可以作为虚拟对象给出。
现在将参考图11描述将虚拟沙发套覆盖在通过在真实空间中捕获沙发所产生的拾取图像上显示的情况。
如图11所示， 通过在重力方向上移动在虚拟沙发套的轮廓上的特征点，显示控制单元105能够实现对沙发套已经被实际地置于沙发上的状态的更自然的表示。请注意，通过考虑沙发被放置在地板上，当在虚拟沙发套的轮廓上移动特征点时，显示控制单元105能够显示甚至更自然的AR图像。
另外，本技术也可以被配置如下。
(I)
一种信息处理设备，包括:
比较单元，用于比较基于事先设置的尺度的虚拟服装或饰品中的至少一个的尺寸与已经捕获的被摄体的尺寸；以及
显示控制单元，用于根据比较单元产生的比较结果来对虚拟服装或饰品中的至少一个进行变形，并将变形的虚拟服装或饰品中的至少一个覆盖在被摄体上显示。
(2)
根据(I)所述的信息处理设备，
其中，通过将显示虚拟服装或饰品中的至少一个的形状的各特征的特征点移动到被摄体的轮廓上的特征点或在重力方向上移动，显示控制单元对虚拟服装或饰品中的至少一个进行变形。
(3)
根据(I)或(2)所述的信息处理设备，
其中，当虚拟服装或饰品中的至少一个小于被摄体时，显示控制单元操作用来对虚拟服装或饰品中的至少一个进行变形，从而使得虚拟服装或饰品中的至少一个的轮廓与被摄体的轮廓匹配。
(4)
根据(I)到(3)中的任意一项描述的信息处理设备，
其中，当虚拟服装或饰品中的至少一个大于被摄体时，显示控制单元操作用来对虚拟服装或饰品中的至少一个进行变形，从而使得虚拟服装或饰品中的至少一个的轮廓在重力方向上下垂。
(5)
根据(I)到(4)中的任意一项描述的信息处理设备，
其中，比较单元二维地或三维地比较虚拟服装或饰品中的至少一个与被摄体的尺寸。
(6)
根据(2)所述的信息处理设备，
其中，特征点是二维坐标或三维坐标。
(7)
一种显示控制方法，包括:
比较基于事先设置的尺度的虚拟服装或饰品中的至少一个的尺寸与已经捕获的被摄体的尺寸；以及
根据比较结果来对虚拟服装或饰品中的至少一个进行变形，并将变形的虚拟服装或饰品中的至少一个覆盖在被摄体上显示。
(8)
一种程序，使计算机执行:
比较基于事先设置的尺度的虚拟服装或饰品中的至少一个的尺寸与已经捕获的被摄体的尺寸的处理；以及
根据比较处理产生的比较结果来对虚拟服装或饰品中的至少一个进行变形，并将变形的虚拟服装或饰品中的至少一个覆盖在被摄体上显示的处理。
(9)
根据(8)所述的程序，
其中，通过将显示虚拟服装或饰品中的至少一个的形状的特征的特征点移动到被摄体的轮廓上的特征点或在重力方向上移动，变形处理对虚拟服装或饰品中的至少一个进行变形。
(10)
根据(8 )或(9 )所述的程序，
其中，当虚拟服装或饰品中的至少一个小于被摄体时，变形处理操作用来对虚拟服装或饰品中的至少一个进行变形，从而使得虚拟服装或饰品中的至少一个的轮廓与被摄体的轮廓匹配。
(11)
根据(8)到(10)中的任意一项描述的程序，
其中，当虚拟服装或饰品中的至少一个大于被摄体时，变形处理操作用来对虚拟服装或饰品中的至少一个进行变形，从而使得虚拟服装或饰品中的至少一个的轮廓在重力方向上下垂。
(12)
根据(8)到(11)中的任意一项描述的程序，
其中，比较处理二维地或三维地比较虚拟服装或饰品中的至少一个与被摄体的尺寸。
(13)
根据(8)所述的程序，
其中，特征点是二维坐标或三维坐标。
本申请包含与在2011年11月9日提交在日本专利局中的日本在先专利申请JP2011-245305中公开的主题相关的主题，该专利申请的全部内容以引用的方式并入本文中。
权利要求
1.一种信息处理设备,包括: 比较单元，用于比较基于事先设置的尺度的虚拟服装或饰品中的至少一个的尺寸与已经捕获的被摄体的尺寸；以及 显示控制单元，用于根据比较单元产生的比较结果对虚拟服装或饰品中的至少一个进行变形，并将变形的虚拟服装或饰品中的至少一个覆盖在被摄体上显示。
2.根据权利要求1所述的信息处理设备， 其中，通过将显示虚拟服装或饰品中的至少一个的形状的特征的特征点移动到被摄体的轮廓上的特征点或在重力方向上移动，显示控制单元对虚拟服装或饰品中的至少一个进行变形。
3.根据权利要求1所述的信息处理设备， 其中，当虚拟服装或饰品中的至少一个小于被摄体时，显示控制单元操作用来对虚拟服装或饰品中的至少一个进行变形，从而使得虚拟服装或饰品中的至少一个的轮廓与被摄体的轮廓匹配。
4.根据权利要求1 所述的信息处理设备， 其中，当虚拟服装或饰品中的至少一个大于被摄体时，显示控制单元操作用来对虚拟服装或饰品中的至少一个进行变形，从而使得虚拟服装或饰品中的至少一个的轮廓在重力方向上下垂。
5.根据权利要求1所述的信息处理设备， 其中，比较单元二维地或三维地比较虚拟服装或饰品中的至少一个与被摄体的尺寸。
6.根据权利要求2所述的信息处理设备， 其中，特征点是二维坐标或三维坐标。
7.—种显不控制方法,包括: 比较基于事先设置的尺度的虚拟服装或饰品中的至少一个的尺寸与已经捕获的被摄体的尺寸；以及 根据比较结果对虚拟服装或饰品中的至少一个进行变形，并将变形的虚拟服装或饰品中的至少一个覆盖在被摄体上显示。
8.—种程序，使计算机执行: 比较基于事先设置的尺度的虚拟服装或饰品中的至少一个的尺寸与已经捕获的被摄体的尺寸的处理；以及 根据比较处理产生的比较结果对虚拟服装或饰品中的至少一个进行变形，并将变形的虚拟服装或饰品中的至少一个覆盖在被摄体上显示的处理。
9.根据权利要求8所述的程序， 其中，通过将显示虚拟服装或饰品中的至少一个的形状的特征的特征点移动到被摄体的轮廓上的特征点或在重力方向上移动，变形处理对虚拟服装或饰品中的至少一个进行变形。
10.根据权利要求8所述的程序， 其中，当虚拟服装或饰品中的至少一个小于被摄体时，变形处理操作用来对虚拟服装或饰品中的至少一个进行变形，从而使得虚拟服装或饰品中的至少一个的轮廓与被摄体的轮廓匹配。
11.根据权利要求8所述的程序， 其中，当虚拟服装或饰品中的至少一个大于被摄体时，变形处理操作用来对虚拟服装或饰品中的至少一个进行变形，从而使得虚拟服装或饰品中的至少一个的轮廓在重力方向上下垂。
12.根据权利要求8所述的程序， 其中，比较处理二维地或三维地比较虚拟服装或饰品中的至少一个与被摄体的尺寸。
13.根据权利要求9所述的程序， 其中，特征点是二维坐标或三 维坐标。
全文摘要
本公开涉及信息处理设备、显示控制方法和程序。提供一种信息处理设备，其包括比较单元，用于比较基于事先设置的尺度的虚拟服装或饰品的尺寸与已经捕获的被摄体的尺寸；以及，显示控制单元，用于根据比较单元产生的比较结果对虚拟服装或饰品进行变形，并将变形的虚拟服装或饰品覆盖在被摄体上显示。
文档编号G06T3/00GK103218773SQ20121043417
公开日2013年7月24日 申请日期2012年11月2日 优先权日2011年11月9日
发明者铃木诚司 申请人:索尼公司