专利名称：一种虚拟穿戴的实现方法及设备的制作方法
技术领域：
本发明涉及体感技术领域，尤其涉及一种虚拟穿戴的实现方法及设备。
背景技术：
消费者在购买服饰之前，通常会先进行试穿试戴以评估实际效果。但是，这必须要求消费者亲身前往服饰门店，而且实体门店的货物存量和客户容量都有限，消费者不一定能够选择到心仪的服饰或进行大量服饰的试穿戴。目前，随着电子商务的兴起，消费者能够通过数据服务进行虚拟试穿戴。虚拟穿戴系统首先获取消费者所处的静态或动态的实景影像，并识别出人体影像，然后查询消费者选择的虚拟服饰，最后将该虚拟服饰叠加到该人体影像上，并输出叠加后的AR (AugmentedReality，增强现实)影像。消费者能够根据AR影像评估穿戴后的实际效果，从而实现虚拟 试穿戴服饰的目的。但是，上述虚拟穿戴系统利用图形学技术，通过动态影像中人体运动所产生的灰度对比来识别人体影像，所识别的人体影像的空间位置信息精度差，因此，虚拟服饰的尺寸存在较大偏差，人体动作识别度低，而且虚拟服饰也很难精确叠加到人体影像的合适位置上，更难以配合人体实际动作显示逼真的虚拟服饰，导致虚拟试穿戴显示效果十分生硬。
发明内容
为了解决上述问题，本发明实施例提供了一种虚拟穿戴的实现方法及设备，用于为消费者提供基于体感技术的逼真AR虚拟试穿戴体验。通过实施本实施例技术方案，能够利用体感技术识别包括精确空间位置信息的人体影像，从而准确识别人体动作，再配以制作精良的虚拟服饰库，能够输出逼真而且自然的AR影像。一种虚拟穿戴的实现方法，包括获取实景影像和虚拟服饰；利用体感技术获取人体的体感信息，所述体感信息用于指示所述人体的空间位置；根据所述体感信息将所述虚拟服饰和所述实景影像进行叠加合成，使得所述虚拟服饰始终跟踪所述人体的对应位置；输出叠加合成后的影像。一种虚拟穿戴设备，包括摄像单元，用于获取实景影像；服饰单元，用于获取虚拟服饰；体感单元，用于利用体感技术获取人体的体感信息，所述体感信息用于指示所述人体的空间位置；合成单元，用于根据所述体感信息将所述虚拟服饰和所述实景影像进行叠加合成，使得所述虚拟服饰始终跟踪所述人体的对应位置；
输出单元，用于输出叠加合成后的影像。从以上技术方案可以看出，本发明实施例具有以下优点通过利用体感技术获取人体的体感信息，能够准确识别人体的空间位置，从而准确识别人体动作，再根据体感信息将虚拟服饰和实景影像进行叠加合成，虚拟服饰库制作精良，虚拟服饰的显示效果能够依据人体动作而作相应调整，从而使得虚拟试穿戴的显示效果逼真而且自然。
图I为本发明第一实施例的虚拟穿戴的实现方法流程图；图2为本发明第二实施例的虚拟穿戴的实现方法流程图；图3为本发明的叠加合成示意图；·图4为本发明第三实施例的虚拟穿戴设备结构图；图5为本发明第四实施例的虚拟穿戴设备结构图。
具体实施例方式下面将结合本发明中的说明书附图，对发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例提供了一种虚拟穿戴的实现方法，用于为消费者提供基于体感技术的逼真AR虚拟试穿戴体验，通过实施本发明技术方案，能够利用体感技术识别包括精确空间位置信息的人体影像，从而准确识别人体动作，再配以制作精良的虚拟服饰库，能够输出逼真而且自然的AR影像。本发明实施例还提供与该方法相关的虚拟穿戴设备，以下将分别对其进行详细说明。AR技术，能够对虚拟影像和实景影像进行融合处理，在同一画面中显示叠加了虚拟事物和现实事物的虚拟现实场景。利用AR技术，可以将现场景观，虚拟化。AR影像是以交互性和构想为基本特征的高级计算机人机交互界面，用户不仅能够通过AR影像产生在虚拟现实场景中的身临其境视觉效果，而且能够突破空间、时间以及其它客观限制，将现实场景中不存在的元素也添加到AR影像中。体感技术，在于人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备，便可让人们身历其境地与内容做互动。本发明技术方案结合了 AR技术和体感技术。本发明第一实施例将对一种虚拟穿戴的实现方法进行详细说明，本实施例所述的虚拟穿戴的实现方法具体流程请参见图1，包括步骤101、获取实景影像和虚拟服饰。在进行虚拟试穿戴之前，用户首先站在虚拟穿戴设备前面的指定区域内，用户只有处于该区域内才能与虚拟穿戴设备进行人机交互。其中，实景影像为用户人体所处的环境的现实场景影像，一般通过光学摄像头获取。实景影像中包含了人体影像和环境影像，并且环境影像一般长久不发生变化。虚拟服饰为图形工程师预先根据产品而制作的服饰三维3D图像，虚拟服饰存储于虚拟服饰库中，虚拟服饰库可以设置于虚拟穿戴设备的数据存储器，也可以设置于联网的数据服务器中，这里不作具体限定。在本实施例中，不对虚拟服饰的类型作具体限定。102、利用体感技术获取人体的体感信息。其中，体感信息用于指示人体的空间位置。确定人体的空间位置从而确定了人体的动作。为了使得实景影像与虚拟服饰的叠加合成效果逼真自然，需要根据人体的体感信息对虚拟服饰的空间位置进行调整。按照体感方式与原理的不同，体感技术主要可分为三大类惯性感测、光学感测和惯性-光学联合感测。惯性感测利用惯性式传感器，例如重力传感器、陀螺仪传感器和磁场传感器来感测用户的体感信息，这里的体感信息为物理参数，分别对应为加速度、角速度和磁场，再根据这些体感信息来获取用户的人体空间位置，从而识别人体动作。光学感测通过光学式传感器获取体感信息，这里的体感信息为景深数据，再根据该景深数据识别用户的肢体动作，并与体感系统中的内容互动。惯性-光学联合感测同时利用惯性感测和光学感测获取用户的体感数据，并联合两种类型的体感信息识别用户的肢体动作。例如在手柄上放置一个重力传感器，用来侦测手部三轴向的加速度，并设置一红外线传感器，用来感测在体感系统前面的红外线发射器讯号，可用来侦测手部在垂直及水平方向的位移，以操控一空间鼠标，从而与体感系统中的内容互动。·103、根据体感信息将虚拟服饰和实景影像进行叠加合成。其中，虚拟服饰的空间位置需要根据人体的体感信息进行调整，使得虚拟服饰和实景影像进行叠加合成后，该虚拟服饰始终跟踪人体的对应位置。例如，如果虚拟服饰为虚拟手提包，则虚拟手提包会跟踪人体的手部，而且虚拟手提包的呈现效果是根据手部的具体空间位置确定的。104、输出叠加合成后的影像。其中，输出影像的设备为可以设置为镜子样式，使得用户观看试穿戴效果时产生如同照镜子般的体验。因此，该实景影像是实时拍摄的。在本实施例中，通过利用体感技术获取人体的体感信息，能够准确识别人体的空间位置，从而准确识别人体动作，再根据体感信息将虚拟服饰和实景影像进行叠加合成，虚拟服饰库制作精良，虚拟服饰的显示效果能够依据人体动作而作相应调整，从而使得虚拟试穿戴的显示效果逼真而且自然。本发明第二实施例将对第一实施例所述的虚拟穿戴的实现方法进行补充说明，本实施例所述的虚拟穿戴的实现方法具体流程请参见图2，包括步骤201、获取实景影像和虚拟服饰。在进行虚拟试穿戴之前，用户首先站在虚拟穿戴设备前面的指定区域内，用户只有处于该区域内才能与虚拟穿戴设备进行人机交互。其中，实景影像为用户人体所处的环境的现实场景影像，一般通过光学摄像头实时获取。实景影像中包含了人体影像和环境影像，并且环境影像一般长久不发生变化。虚拟服饰为图形工程师预先根据产品而制作的服饰3D图像，虚拟服饰存储于虚拟服饰库中，虚拟服饰库可以设置于虚拟穿戴设备的数据存储器，也可以设置于联网的数据服务器中，这里不作具体限定。优选地，虚拟服饰包括虚拟衣服、虚拟皮包、虚拟首饰、虚拟发饰、虚拟鞋子或虚拟眼镜。用户在试穿戴时首先通过人机交互界面选择虚拟服饰，这里的人机交互方式可以是通过体感技术进行交互。在第一实施例中，步骤102为利用体感技术获取人体的体感信息，其中，体感信息包括人体骨骼图，人体骨骼图上包括至少I个关节点，用于指示人体的肢体动作。在体感技术中，常用包含20个关节点的人体骨骼图指示人体的动作。在本实施例中，所述利用体感技术获取人体的体感信息具体包括如下步骤202 204。202、向现实场景发送红外线。
线外线是不可见光，常用于距离检测。在本步骤中向现实场景发送红外线，主要是为了探测现实场景中用户人体的景深数据，持续变化的景深数据能够指示人体的动作及其变化。203、根据红外线获取现实场景的景深数据。其中，景深数据用于指示现实场景的空间位置。这里的现实场景包括人体和环境。人体是运动的，因此会产生一系列变化的人体景深数据，而环境是静止，因此其对应的环境景深数据是不变的，在体感识别过程中，环境景深数据将被剔除，进而只追踪运动的人体景深数据。204、根据景深数据识别体感信息，并生成人体骨骼图。其中，体感信息用于指示人体的空间位置，并能用于识别人体的动作，体感信息进一步包括人体骨骼图，人体骨骼图上包括至少I个关节点，用于指示人体的肢体动作。在体感技术中，常用包含20个关节点的人体骨骼图指示人体的动作。并且，虚拟服饰的位置变化及调整实际上是根据人体骨骼图各个关节点的位置调整而进行计算和调整的，但用户观察时虚拟服饰是与实景影像中的人体影像进行叠加合成的。请参见图3，为本实施例所述的用20个关节点指示人体肢体动作的人体骨骼图。在第I个关节点都能够对应虚拟服饰的穿戴位置。例如，手部关节点对应虚拟皮包的手带位置。在第一实施例中，步骤103为根据体感信息将虚拟服饰和实景影像进行叠加合成，其中，叠加合成运用了涉及数字图像处理技术，这里不作具体限定。在本实施例中，所述根据体感信息将虚拟服饰和实景影像进行叠加合成具体包括如下步骤205 207。205、根据虚拟服饰获取人体骨骼图上的对应关节点。在用户选择虚拟服饰后，需要获取人体骨骼图上与该虚拟服饰对应的对应关节点。例如，虚拟眼镜的对应关节点为人体骨骼图中的头部关节点。206、根据对应关节点的空间位置调整虚拟服饰的空间位置。其中，虚拟服饰始终跟踪对应关节点，使得每I帧叠加合成的影像都逼真、自然，让用户产生真实的试穿戴体验。207、将虚拟服饰和实景影像中的人体影像进行合成。其中，人体影像与人体骨骼图对应，使得虚拟服饰始终跟踪人体的对应位置。请参见图3，虚拟皮包始终跟踪用户手部关节点的运动，而且根据步骤206的描述，虚拟皮包的空间位置也会跟踪用户手部关节点的空间位置进行调整，从而能够输出逼真的叠加合成影像。208、输出叠加合成后的影像。其中，输出影像的设备为可以设置为镜子样式，使得用户观看试穿戴效果时产生如同照镜子般的体验。因此，该实景影像是实时拍摄的。在本实施例中，通过利用体感技术获取人体的体感信息，能够准确识别人体的空间位置，从而准确识别人体动作，再根据体感信息将虚拟服饰和实景影像进行叠加合成，虚拟服饰库制作精良，虚拟服饰的显示效果能够依据人体动作而作相应调整，从而使得虚拟试穿戴的显示效果逼真而且自然。 本发明第三实施例将对一种虚拟穿戴设备进行详细说明，本实施例所述的虚拟穿戴设备中包含一个或多个单元用于实现前述方法的一个或多个步骤。因此，对前述方法中各步骤的描述适用于所述虚拟穿戴设备中相应的单元。本虚拟穿戴设备的具体结构请参见图4,包括摄像单元401、服饰单元402、体感单元403、合成单元404和输出单元405。其中，摄像单元401、服饰单元402、体感单元403分别与合成单元404通信连接，输出单元405与合成单元404通信连接。摄像单元401用于获取实景影像。摄像单元401可以为光学摄像头。在进行虚拟试穿戴之前，用户首先站在本实施例所述的虚拟穿戴设备前面的指定区域内，用户只有处于该区域内才能与虚拟穿戴设备进行人机交互。其中，实景影像为用户人体所处的环境的现实场景影像，由摄像单元401获取。实景影像中包含了人体影像和环境影像，并且环境影像一般长久不发生变化。服饰单元402用于获取虚拟服饰。虚拟服饰为图形工程师预先根据产品而制作的服饰3D图像，虚拟服饰存储于服饰单元402，服饰单元402可以为虚拟服饰库，并设置于数据存储器中，也可以设置于联网的数据服务器中，这里不作具体限定。在本实施例中，不对虚拟服饰的类型作具体限定。体感单元403用于利用体感技术获取人体的体感信息。体感单元403可以为手持体感设备，如手柄，或光学体感设备，如微软公司的体感设备KINECT和华硕公司的体感设备 Xtion0其中，体感信息用于指示人体的空间位置。确定人体的空间位置从而确定了人体的动作。为了使得实景影像与虚拟服饰的叠加合成效果逼真自然，需要根据人体的体感信息对虚拟服饰的空间位置进行调整。按照体感方式与原理的不同，体感技术主要可分为三大类惯性感测、光学感测和惯性-光学联合感测。惯性感测利用惯性式传感器，例如重力传感器、陀螺仪传感器和磁场传感器来感测用户的体感信息，这里的体感信息为物理参数，分别对应为加速度、角速度和磁场，再根据这些体感信息来获取用户的人体空间位置，从而识别人体动作。光学感测通过光学式传感器获取体感信息，这里的体感信息为景深数据，再根据该景深数据识别用户的肢体动作，并与体感系统中的内容互动。惯性-光学联合感测同时利用惯性感测和光学感测获取用户的体感数据，并联合两种类型的体感信息识别用户的肢体动作。例如在手柄上放置一个重力传感器，用来侦测手部三轴向的加速度，并设置一红外线传感器，用来感测在体感系统前面的红外线发射器讯号，可用来侦测手部在垂直及水平方向的位移，以操控一空间鼠标，从而与体感系统中的内容互动。合成单元404用于根据体感信息将虚拟服饰和实景影像进行叠加合成。合成单元404可以为中央处理器。其中，虚拟服饰的空间位置需要根据人体的体感信息进行调整，使得虚拟服饰和实景影像进行叠加合成后，该虚拟服饰始终跟踪人体的对应位置。例如，如果虚拟服饰为虚拟手提包，则虚拟手提包会跟踪人体的手部，而且虚拟手提包的呈现效果是根据手部的具体空间位置确定的。
输出单元405用于输出叠加合成后的影像。输出单元405可以为大尺寸显示器。其中，输出单元405为可以设置为镜子样式，使得用户观看试穿戴效果时产生如同照镜子般的体验。因此，该实景影像是实时拍摄的。在本实施例中，通过体感单元403利用体感技术获取人体的体感信息，能够准确识别人体的空间位置，从而准确识别人体动作，合成单元404再根据体感信息将虚拟服饰和实景影像进行叠加合成，虚拟服饰库制作精良，虚拟服饰的显示效果能够依据人体动作而作相应调整，从而使得虚拟试穿戴的显示效果逼真而且自然。本发明第四实施例将对第三实施例所述的虚拟穿戴设备进行补充说明。本实施例所述的虚拟穿戴设备中包含一个或多个单元用于实现前述方法的一个或多个步骤。因此，对前述方法中各步骤的描述适用于所述虚拟穿戴设备中相应的单元。本虚拟穿戴设备的具体结构请参见图5,包括摄像单元501、服饰单元502、体感单元503、合成单元504和输出单元505。体感单元503进一步包括发送子单元5031、传感子单元5032和识别子单元5033，合成单元504进一步包括获取子单元5041、调整子单元5042和合成子单元5043。其中，摄像单元501、服饰单元502、体感单元503分别与合成单元504通信连接，输出单元505与合成单元504通信连接。发送子单元5031、传感子单元5032和识别子单元5033依次通信连接，获取子单元5041、调整子单元5042和合成子单元依次通信连接。摄像单元501、服饰单元502、体感单元503、合成单元504和输出单元505的具体功能已经在第三实施例中进行详细描述，这里不再赘述。发送子单元5031，用于向现实场景发送红外线。发送子单元5031可以为红外发射器。线外线是不可见光，常用于距离检测。发送子单元5031向现实场景发送红外线，主要是为了探测现实场景中用户人体的景深数据，持续变化的景深数据能够指示人体的动作及其变化。传感子单元5032，用于根据红外线获取现实场景的景深数据。传感子单元5032可以为CMOS (Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)红外传感接收器。CN 102930447 A书明说7/7页
其中，景深数据用于指示现实场景的空间位置。这里的现实场景包括人体和环境。 人体是运动的，因此会产生一系列变化的人体景深数据，而环境是静止，因此其对应的环境景深数据是不变的，在体感识别过程中，环境景深数据将被剔除，进而只追踪运动的人体景深数据。
识别子单元5033，用于根据景深数据识别体感信息，并生成人体骨骼图。识别子单元5033可以包括成像传感器处理器和人体骨骼跟踪处理器，其中，成像传感器处理器利用根据景深数据识别体感信息，人体骨骼跟踪处理器生成人体骨骼图。
其中，体感信息用于指示人体的空间位置，并能用于识别人体的动作，体感信息进一步包括人体骨骼图，人体骨骼图上包括至少I个关节点，用于指示人体的肢体动作。在体感技术中，常用包含20个关节点的人体骨骼图指示人体的动作。并且，虚拟服饰的位置变化及调整实际上是根据人体骨骼图各个关节点的位置调整而进行计算和调整的，但用户观察时虚拟服饰是与实景影像中的人体影像进行叠加合成的。
获取子单元5041，用于根据虚拟服饰获取人体骨骼图上的对应关节点。
在用户选择虚拟服饰后，获取子单元5041需要获取人体骨骼图上与该虚拟服饰对应的对应关节点。例如，虚拟眼镜的对应关节点为人体骨骼图中的头部关节点。
调整子单元5042，用于根据对应关节点的空间位置调整虚拟服饰的空间位置。·
其中，虚拟服饰始终跟踪对应关节点，使得每I帧叠加合成的影像都逼真、自然， 让用户产生真实的试穿戴体验。
合成子单元5043，用于将所述虚拟服饰和所述实景影像中的人体影像进行叠加合成，所述人体影像与所述人体骨骼图对应。
其中，人体影像与人体骨骼图对应，因此，使得虚拟服饰始终跟踪人体的对应位置。
在本实施例中，通过体感单元503利用体感技术获取人体的体感信息，能够准确识别人体的空间位置，从而准确识别人体动作，合成单元504再根据体感信息将虚拟服饰和实景影像进行叠加合成，虚拟服饰库制作精良，虚拟服饰的显示效果能够依据人体动作而作相应调整，从而使得虚拟试穿戴的显示效果逼真而且自然。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种虚拟穿戴的实现方法及设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。10
权利要求
1.一种虚拟穿戴的实现方法，其特征在于，包括 获取实景影像和虚拟服饰； 利用体感技术获取人体的体感信息，所述体感信息用于指示所述人体的空间位置； 根据所述体感信息将所述虚拟服饰和所述实景影像进行叠加合成，使得所述虚拟服饰始终跟踪所述人体的对应位置； 输出叠加合成后的影像。
2.根据权利要求I所述的方法，其特征在于，所述体感信息包括人体骨骼图，所述人体骨骼图上包括至少I个关节点，用于指示所述人体的肢体动作。
3.根据权利要求2所述的方法，其特征在于，所述利用体感技术获取人体的体感信息包括 向现实场景发送红外线； 根据所述红外线获取所述现实场景的景深数据，所述景深数据用于指示所述现实场景的空间位置； 根据所述景深数据识别所述体感信息，并生成所述人体骨骼图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述体感信息将所述虚拟服饰和所述实景影像进行叠加合成包括 根据所述虚拟服饰获取所述人体骨骼图上的对应关节点； 根据所述对应关节点的空间位置调整所述虚拟服饰的空间位置，使得所述虚拟服饰跟踪所述对应关节点； 将所述虚拟服饰和所述实景影像中的人体影像进行合成，所述人体影像与所述人体骨骼图对应。
5.根据权利要求I至4任一项所述的方法，其特征在于， 所述虚拟服饰包括虚拟衣服、虚拟皮包、虚拟首饰、虚拟发饰、虚拟鞋子或虚拟眼镜。
6.一种虚拟穿戴设备，其特征在于，包括 摄像单元，用于获取实景影像； 服饰单元，用于获取虚拟服饰； 体感单元，用于利用体感技术获取人体的体感信息，所述体感信息用于指示所述人体的空间位置； 合成单元，用于根据所述体感信息将所述虚拟服饰和所述实景影像进行叠加合成，使得所述虚拟服饰始终跟踪所述人体的对应位置； 输出单元，用于输出叠加合成后的影像。
7.根据权利要求6所述的设备，其特征在于，所述体感单元进一步包括 发送子单元，用于向现实场景发送红外线； 传感子单元，用于根据所述红外线获取所述现实场景的景深数据，所述景深数据用于指示所述现实场景的空间位置； 识别子单元，用于根据所述景深数据识别所述体感信息，并生成人体骨骼图，其中，所述体感信息包括人体骨骼图，所述人体骨骼图上包括至少I个关节点，用于指示所述人体的肢体动作。
8.根据权利要求7所述的设备，其特征在于，所述合成单元进一步包括获取子单元，用于根据所述虚拟服饰获取所述人体骨骼图上的对应关节点，其中，所述虚拟服饰包括虚拟衣服、虚拟皮包、虚拟首饰、虚拟发饰、虚拟鞋子或虚拟眼镜； 调整子单元，用于根据所述对应关节点的空间位置调整所述虚拟服饰的空间位置，使得所述虚拟服饰跟踪所述对应关节点； 合成子单元，用于将所述虚拟服饰和所述实景影像中的人体影像进行叠加合成，所述人体影像与所述人体骨骼图对应。
全文摘要
本发明实施例公开了一种虚拟穿戴的实现方法及设备，用于为消费者提供基于体感技术的逼真虚拟试穿戴体验。本发明实施例方法包括获取实景影像和虚拟服饰；利用体感技术获取人体的体感信息，所述体感信息用于指示所述人体的空间位置；根据所述体感信息将所述虚拟服饰和所述实景影像进行叠加合成，使得所述虚拟服饰始终跟踪所述人体的对应位置；输出叠加合成后的影像。通过实施本实施例技术方案，能够利用体感技术识别包括精确空间位置信息的人体影像，从而准确识别人体动作，再配以制作精良的虚拟服饰库，能够输出逼真而且自然的影像。
文档编号G06Q30/00GK102930447SQ20121040454
公开日2013年2月13日 申请日期2012年10月22日 优先权日2012年10月22日
发明者彭杰华 申请人:广州新节奏数码科技有限公司