虚拟试衣装置及其虚拟试衣方法
【技术领域】
[0001] 本发明设及一种虚拟试衣装置及其虚拟试衣方法，尤其设及一种可通过合成实拍 图像与虚拟图像而给用户提供具有实感的虚拟试衣体验的虚拟试衣装置及其虚拟试衣方 法。
【背景技术】
[0002] 近来，利用虚拟现实的内容迅速兴起而成为下一代内容。尤其，各个企业和消费者 针对虚拟试衣（Virtual Fitting)的关注也在与日俱增，所述虚拟试衣是指在虚拟空间中 通过与自身相同的化身（avatar)而试穿虚拟衣服并购买衣服的行为。
[0003] 另外，在虚拟试衣中作为核屯、的一点在于虚拟空间中通过化身试穿的衣服的感觉 应当能够如实再现用户在实际空间中穿戴时的感觉。具体而言，需要在虚拟体验中确认的 事项不仅包括虚拟空间中试穿的衣服在颜色或设计方面是否适合自己，而且还包括直接穿 上衣服或者穿上衣服之后运动时是否有不适感。无法提供如同现实般的体验的虚拟试衣的 意义仅止于提供新技术体验或趣味性，却不能提供购买等具有实际意义的服务。
[0004] 为了解决运样的问题，虚拟试衣应当最大限度地反映用户的气质或实际模样，并 且需要提供适穿度，该适穿度反映的是在虚拟空间中试穿的衣服实际上有多合身于用户的 身体的程度。
[0005] 在现有技术中，为了提供虚拟试衣而利用了增强现实（Augmented Reality ;AR) 方式和虚拟现实（virtual reality ;VR)方式。增强现实方式是一种如下的方式：从摄像机 获取包含有用户的体型和运动的实拍图像，然后分离用户，并适应于分离的用户的模样而 使虚拟衣服的大小和形状变形，然后套上并进行合成。虚拟现实方式是一种如下的方式：从 摄像机获取包含有用户的体型和运动的图像，然后生成具有与用户相同的体型的化身，并 将虚拟衣服穿戴于化身而显示。
[0006] 然而，对于增强现实方式而言，虽然可如实反映用户的模样而呈现出自然的样态， 然而毕竟是简单地将虚拟衣服套在用户图像上的方式，因此无法提供虚拟衣服究竟有多合 身于用户身体之类的适穿度。并且，由于无法消除实拍图像中用户实际穿戴的衣服，因此存 在实际穿戴的衣服与虚拟衣服重叠而表现的问题。例如，在实际穿上长袖衬衫的状态下，如 果作为虚拟衣服选择了半截袖或无袖衬衫，则由于实际穿戴的衣服也如实显示，因此存在 显得不自然的问题。
[0007] 另外，对于虚拟现实方式而言，由于利用具有与用户相同的体型的化身，因此可W 准确提供用于反映虚拟衣服究竟有多合身之类的适穿度，并具有可通过台步、篮球等预定 义的多样的运动而观察穿戴虚拟衣服并做运动的模样的优点。然而，由于擅染技术和=维 形状捕捉技术的局限性，存在着用户无法通过化身真切体验自己并显得不自然的问题。
【发明内容】
[0008] 本发明是为了解决上述技术问题而提出的，其目的在于提供一种当用户体验虚拟 试衣时通过将增强现实方式的实拍图像与虚拟现实方式的虚拟图像进行合成而能够提供 更加实际且更具试穿感的虚拟试衣图像的虚拟试衣装置及其虚拟试衣方法。
[0009] 为了达到上述目的，根据本发明的一个实施例的虚拟试衣方法包括如下步骤：通 过拍摄用户而获取实拍图像；基于所述用户的体型和运动而获取包含有对应于所述用户的 化身的虚拟图像；通过分析所述实拍图像和虚拟图像而判断分别对应于所述实拍图像和所 述虚拟图像的合成区域；将所述实拍图像的合成区域与所述虚拟图像的合成区域进行合 成，并输出虚拟试衣图像。
[0010] 而且，在执行所述判断的步骤中，可包括如下步骤：通过分析所述实拍图像而判断 所述用户实际穿戴的实际衣服所处的区域；通过分析所述虚拟图像而判断所述化身穿戴的 虚拟衣服所处的区域；将所述实际衣服所处的区域与所述虚拟衣服所处的区域进行比较， 并判断分别对应于所述实拍图像和所述虚拟图像的合成区域。
[0011] 并且，在判断所述合成区域的步骤中，可将所述实际衣服所处的区域判断为所述 虚拟图像的合成区域，且将所述实际衣服并不处于其中的区域当中所述虚拟衣服所处的区 域判断为所述虚拟图像的合成区域，并将所述实际衣服和所述虚拟衣服均不处于其中的区 域判断为所述实拍图像的合成区域。
[0012] 而且，所述虚拟试衣方法还可W包括如下步骤：接收用于选择实际饰品和虚拟饰 品中的一个饰品的用户命令；当选择所述实际饰品时，将包含有所述实际饰品的预定区域 判断为所述实拍图像的合成区域，当选择所述虚拟饰品时，将包含有所述虚拟饰品的预定 区域判断为所述虚拟图像的合成区域。
[0013] 并且，在获取所述实拍图像的步骤中，可利用图像摄像机拍摄用户而获取所述实 拍图像；在获取所述虚拟图像的步骤中，可利用深度或图像摄像机而拍摄所述用户的体型 和运动，并基于拍摄的所述用户的体型和运动而生成化身并获取虚拟图像。
[0014] 而且，在输出所述虚拟试衣图像的步骤中，可包括如下步骤：通过反映用户想要穿 戴的虚拟衣服的特性信息而生成所述虚拟试衣图像。
[0015] 并且，在生成所述虚拟试衣图像的步骤中，可包括如下步骤：当所述用户运动时， 基于所述虚拟衣服的特性信息而判断对应于所述用户的运动的所述虚拟衣服的拉伸量；当 所述虚拟衣服的拉伸量为已设定临界值W上时，中止包含于所述虚拟试衣图像中的用户图 像和虚拟衣服的运动或者控制运动的速度。而且，所述已设定临界值既可W是一个特定值， 也可W是预定的范围。
[0016] 而且，在生成所述虚拟试衣图像的步骤中，可包括如下步骤：当所述用户运动时， 判断所述用户的体型变化；基于所述虚拟衣服的特性信息W及所述用户的体型变化而生成 所述虚拟试衣图像。
[0017] 并且，在生成所述虚拟试衣图像的步骤中，可包括如下步骤：接收外力信息；基于 所述虚拟衣服的特性信息W及所述外力信息而生成所述虚拟试衣图像。
[0018] 而且，在生成所述虚拟试衣图像的步骤中，可基于所述虚拟衣服的主要部位信息 而表示出所述虚拟衣服的主要部位及用户图像上相匹配的部位，从而生成所述虚拟试衣图 像。
[0019] 另外，为了达到上述目的，根据本发明的另一实施例的虚拟试衣装置包括：实拍图 像获取单元，通过拍摄用户而获取所述用户的实拍图像；虚拟图像获取单元，基于所述用户 的体型和运动而获取包含有对应于所述用户的化身的虚拟图像；判断单元，通过分析所述 实拍图像和虚拟图像而判断分别对应于所述实拍图像和所述虚拟图像的合成区域；生成单 元，通过将所述实拍图像的合成区域与所述虚拟图像的合成区域进行合成而生成虚拟试衣 图像；输出单元，输出所述虚拟试衣图像。
[0020] 并且，所述判断单元可通过分析所述实拍图像而判断所述用户实际穿戴的实际衣 服所处的区域，且通过分析所述虚拟图像而判断所述化身穿戴的虚拟衣服所处的区域，并 将所述实际衣服所处的区域与所述虚拟衣服所处的区域进行比较，从而判断分别对应于所 述实拍图像和所述虚拟图像的合成区域。
[0021] 而且，所述判断单元可将所述实际衣服所处的区域判断为所述虚拟图像的合成区 域，且将所述实际衣服并不处于其中的区域当中所述虚拟衣服所处的区域判断为所述虚拟 图像的合成区域，并将所述实际衣服和所述虚拟衣服均不处于其中的区域判断为所述实拍 图像的合成区域。
[0022] 并且，所述虚拟试衣装置还可W包括：输入单元，接收用于选择实际饰品和虚拟饰 品中的一个饰品的用户命令，其中，所述判断单元在所述实际饰品得到选择的情况下，将包 含有所述实际饰品的预定区域判断为所述实拍图像的合成区域，并在所述虚拟饰品得到选 择的情况下，将包含有所述虚拟饰品的预定区域判断为所述虚拟图像的合成区域。
[0023] 而且，所述实拍图像获取单元可利用图像摄像机拍摄用户而获取所述实拍图像， 所述虚拟图像获取单元可利用深度或者图像摄像机而拍摄所述用户的体型和运动，并基于 拍摄的所述用户的体型和运动而生成化身并获取虚拟图像。
[0024] 并且，所述生成单元可通过反映用户所要穿戴的虚拟衣服的特性信息而生成所述 虚拟试衣图像。
[00巧]而且，所述生成单元可如下构成：当所述用户运动时，基于所述虚拟衣服的特性信 息而判断对应于所述用户的运动的所述虚拟衣服的拉伸量，当所述虚拟衣服的拉伸量为已 设定临界值W上时，中止包含于所述虚拟试衣图像中的用户图像和虚拟衣服的运动或者控 制运动的速度。
[00%] 并且，所述生成单元可如下构成：当所述用户运动时，判断所述用户的体型变化， 并基于所述虚拟衣服的特性信息W及所述用户的体型变化而生成所述虚拟试衣图像。
[0027] 而且，所述生成单元可如下构成：当输入外力信息时，基于所述虚拟衣服的特性信 息W及所述外力信息而生成所述虚拟试衣图像。
[0028] 并且，所述生成单元可如下构成：基于所述虚拟衣服的主要部位信息而表示出所 述虚拟衣服的主要部位W及用户图像上相匹配的部位，从而生成所述虚拟试衣图像。
[0029] 根据如上所述的本发明的多样的实施例，用户即使未亲自穿上衣服，也能够通过 更加实际且更具试穿感的虚拟试衣体验而挑选出适于自己的衣服。
【附图说明】
[0030] 图1为表示根据本发明的一个实施例的虚拟试衣装置的构造的模块图。
[0031] 图2为表示根据本发明的一个实施例的虚拟图像获取单元的构造的模块图。
[0032] 图3为表示根据本发明的一个实施例的判断单元的构造的模块图。
[0033] 图4a至图4e为表示根据本发明的一个实施例的通过合成实拍图像与虚拟图像而 生成虚拟试衣图像的方法的图。
[0034] 图5为表示根据本发明的一个实施例的生成单元的构造的模块图。
[0035] 图6a至图9b为用于说明根据本发明