虚拟试穿试戴系统和虚拟试穿试戴方法
【专利摘要】提供了一种虚拟试穿试戴系统和虚拟试穿试戴方法。该虚拟试穿试戴系统包括：多个摄像机模块，用于捕获真实场景中的真实对象的不同视角的图像和跟踪真实对象在真实场景中的状态；处理模块，接收多个摄像机模块捕获的真实场景中的真实对象的不同视角的图像和跟踪的真实对象在真实场景中的状态，并且根据真实对象在真实场景中的状态来计算虚拟对象在真实场景中的状态，根据计算的虚拟对象在真实场景中的状态来将虚拟对象与真实场景合成来形成AR图像；显示模块，输出并显示形成的AR图像。
【专利说明】虚拟试穿试戴系统和虚拟试穿试戴方法
【技术领域】
[0001]本发明涉及一种增强现实(AR)技术，更具体地讲，涉及一种使用该AR技术的虚拟试穿试戴系统和虚拟试穿试戴方法。
【背景技术】
[0002]AR是一种全新的人机交互技术，利用这样一种技术，可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。
[0003]近年来，AR技术有了突飞猛进的进展，应用范围越来越广，内容显示的方式也多种多样。US2003/0101105A1展示了一种产生虚拟试衣体验的装置及方法，其采用一个或者多个摄像机来捕捉场景图像，并将这些图像和选择的衣服合成为新的图像，然后在一个类似于镜子的显示设备上显示，从而让人产生试穿试戴的体验，这种方法模拟了人在镜子前试穿衣服的感觉，但是，由于其假设场景为一个平面，并用2D显示设备显示，因此没有立体的试穿体验。另外，专利申请(US6919867、US11/056, 317US09/962, 657 和 US7190378)描述了一种实现增强现实场景的装置和方法，其采用多个摄像机记录场景，并用头罩式的装置(HMD)的方式进行显示，通过在左眼和右眼分别显示不同内容的方式，从而形成立体视觉，这种方式可以提高场景的真实性，但是头戴式显示设备会给人不适感，并且不适用虚拟试穿试戴系统。专利申请US20120113223描述了一种运用AR技术，使人和显示场景进行交互的方法，其通过传感器跟踪手和眼睛移动、监视手的动作并检测手势，根据手势触发手和虚拟物体之间的交互，这种方法提供了一种增强现实的交互方式，但是其应用场景限制较多，不适用于虚拟试穿试戴系统。
【发明内容】
[0004]因此，本发明的目的在于运用AR技术与3D显示技术来提供一种使人产生立体虚拟试穿试戴体验的系统和方法。
[0005]为了实现上述目的，根据本发明的一方面，提供了一种虚拟试穿试戴系统，包括:多个摄像机模块，用于捕获真实场景中的真实对象的不同视角的图像和跟踪真实对象在真实场景中的状态；处理模块，接收多个摄像机模块捕获的真实场景中的真实对象的不同视角的图像和跟踪的真实对象在真实场景中的状态，并且根据真实对象在真实场景中的状态来计算虚拟对象在真实场景中的状态，根据计算的虚拟对象在真实场景中的状态来将虚拟对象与真实场景合成来形成AR图像；显示模块，输出并显示形成的AR图像。
[0006]优选地，处理模块可在计算虚拟对象在真实场景中的虚拟状态之后，还根据计算的虚拟状态添加真实对象的透明模型，产生虚拟对象与真实对象之间的遮挡效果。
[0007]优选地，处理模块可根据真实对象在真实场景中的状态添加真实对象的透明模型，同时根据真实对象在真实场景中的状态计算虚拟对象在真实场景中的状态，随后产生虚拟对象与真实对象之间的遮挡效果。
[0008]优选地，处理模块可还包括多个渲染摄像机，通过使用所述多个渲染摄像机来渲染虚拟对象与真实场景。
[0009]优选地，多个摄像机模块可被分为用于捕获真实场景中的真实对象的不同视角的图像的摄像机和用于跟踪真实对象在真实场景中的状态的额外传感器。
[0010]优选地，当在虚拟试穿试戴系统中执行虚拟眼镜试戴时，所述多个摄像机模块可以是左摄像机和右摄像机，左摄像机和右摄像机分别捕捉左视角和右视角的图像。
[0011]优选地，处理模块可包括:3D头部跟踪模块，通过左摄像机和右摄像机中的一个或它们两个来检测头部的状态，将3D眼镜模型覆盖在头部合适的位置，合成左视角虚拟图像和右视角虚拟图像。
[0012]优选地，当在虚拟试穿试戴系统中执行虚拟衣服试穿时，所述多个摄像机模块可以是左摄像机和右摄像机，左摄像机和右摄像机分别捕捉左视角和右视角的图像。
[0013]优选地，所述虚拟眼镜试戴系统可还包括:深度传感器，用于估计和检测真实对象的姿态，其中，处理模块根据深度传感器检测的真实对象的姿态来调整3D衣物模型状态以分别遮盖不同视角的人体图像，从而合成左视角虚拟图像和右视角虚拟图像。
[0014]根据本发明的另一方面，提供了一种虚拟试穿试戴方法，包括:(a)捕获真实场景中的真实对象的不同视角的图像；(b)跟踪真实对象在真实场景中的状态；(c)接收多个摄像机模块捕获的真实场景中的真实对象的不同视角的图像和跟踪的真实对象在真实场景中的状态，并且根据真实对象在真实场景中的状态来计算虚拟对象在真实场景中的状态，根据计算的虚拟对象在真实场景中的状态来将虚拟对象与真实场景合成来形成AR图像；(d)输出并显示形成的AR图像。
[0015]优选地，步骤(C)可还包括:在计算虚拟对象在真实场景中的虚拟状态之后，根据计算的虚拟状态添加真实对象的透明模型，产生虚拟对象与真实对象之间的遮挡效果。
[0016]优选地，步骤(C)可还包括:根据真实对象在真实场景中的状态添加真实对象的透明模型，同时根据真实对象在真实场景中的状态计算虚拟对象在真实场景中的状态，随后产生虚拟对象与真实对象之间的遮挡效果。
[0017]优选地，步骤(C)可还包括:通过使用多个渲染摄像机来渲染虚拟对象与真实场
旦
-5^ O
[0018]优选地，当通过所述虚拟试穿试戴方法执行虚拟眼镜试戴时，可通过左摄像机和右摄像机分别捕捉左视角和右视角的图像。
[0019]优选地，可通过左摄像机和右摄像机中的一个或它们两个来检测头部的状态，将3D眼镜模型覆盖在头部合适的位置，合成左视角虚拟图像和右视角虚拟图像。
[0020]优选地，当通过所述虚拟试穿试戴方法执行虚拟衣服试穿时，可通过左摄像机和右摄像机分别捕捉左视角和右视角的图像。
[0021]优选地，可通过深度传感器来估计和检测真实对象的姿态，并根据深度传感器检测的真实对象的姿态来调整3D衣物模型状态以分别遮盖不同视角的人体图像，从而合成左视角虚拟图像和右视角虚拟图像。
[0022]将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。【专利附图】
【附图说明】
[0023]通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中:
[0024]图1和图2是示出根据本发明实施例的虚拟试穿试戴系统的结构的框图；
[0025]图3-图5是示出根据本发明的第一示例性实施例的虚拟眼镜试戴的示意图；
[0026]图6和图7是示出根据本发明的第二示例性实施例的虚拟衣服试穿的示意图；
[0027]图8是示出根据本发明的虚拟试穿试戴的方法的流程图。
【具体实施方式】
[0028]现在，详细描述本发明的实施例，其示例在附图中表示，其中，相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明。
[0029]图1是示出根据本发明实施例的虚拟试穿试戴系统的结构的框图。
[0030]如图1所示，该虚拟试穿试戴系统包括多个摄像机模块100、多个额外传感器110、处理模块200和 多视角显示模块300。
[0031]下面将结合图2对图1中的虚拟试穿试戴系统所包括的各模块进行详细描述。
[0032]如图1和图2所示，多个摄像机模块100包括摄像机1100-1、摄像机2100-2...摄像机η100-η。多个摄像机模块100被放置在不同的位置，用于捕获真实场景中的真实对象的不同视角的图像。例如，摄像机100-1捕获第一视角图像1120-1，摄像机1100-2捕获第二视角图像120-2，......摄像机η100-η捕获第η视角图像120_η。
[0033]多个额外传感器110用于跟踪真实对象在真实场景中的状态220，例如，真实对象的位置(比如人脸的位置、身体的姿态)。多个额外传感器110可以由普通摄像机或者其他任意传感器(如深度摄像机)来实现。因此，多个摄像机模块100也可被称为多个传感器模块，或者多个额外传感器110也可被称为多个额外摄像机。
[0034]处理模块200接收多个摄像机模块100捕获真实场景中的真实对象的不同视角的图像以及由多个额外传感器110跟踪的真实对象在真实场景中的状态，并且根据真实对象在真实场景中的状态来计算虚拟对象在真实场景中的状态230，根据计算的虚拟对象在真实场景中的状态来将虚拟对象与真实场景合成来形成AR图像(如图2中所示的多个虚拟视角图像210)。处理模块200可由个人计算机、平板电脑等计算装置来实现。
[0035]处理模块200在计算虚拟对象在真实场景中的虚拟状态之后，还根据计算的虚拟状态添加真实对象的透明模型，产生虚拟对象与真实对象之间的遮挡效果。或者，处理模块200还可以根据真实对象在真实场景中的状态添加真实对象的透明模型，同时根据真实对象在真实场景中的状态计算虚拟对象在真实场景中的状态，随后产生虚拟对象与真实对象之间的遮挡效果。
[0036]处理模块200还包括多个渲染摄像机。具体地讲，处理模块200将多个渲染摄像机放在和真实摄像机相对应的位置，这样设置摄像机参数以使其显示区域与对应显示装置的显示区域相同，捕获的视频图像渲染在各自相应的图像平面，将虚拟对象放入真实场景，每个渲染摄像机渲染与自身对应的视频和虚拟对象。
[0037]多视角显示模块300将处理模块200合成的AR图像输出并显示，多视角显示模块300可通过3D电视等来实现。
[0038]图3-图5是示出根据本发明的第一示例性实施例的虚拟眼镜试戴的示意图。
[0039]图3是虚拟眼镜试戴系统的示例的示意图。如图3所示，该虚拟眼镜试戴系统包括左摄像机和右摄像机(在图3中分别由Cai^和CamK表示)、处理模块(未在图中示出)和3D显示器。左摄像机和右摄像机分别捕捉左视角的图像和右视角的图像。处理模块中可包括3D头部跟踪模块(未在图3中示出)，该3D头部跟踪模块通过左摄像机和右摄像机中的一个或它们两个来检测头部的状态，将一个3D眼镜模型覆盖在头部合适的位置，合成左视角虚拟图像和右视角 虚拟图像，随后通过3D显示器进行3D显示。
[0040]图4是示出虚拟眼镜试戴系统的数据结构的示例。
[0041]该数据结构为树状结构，每个节点都有一个或者多个子节点，且包含与其相关的一个或者多个实体，实体可以为3D模型等。如图4所示，在所述系统的数据结构中，根节点包含左摄像机节点和右摄像机节点，分别保存左视角图像和右视角图像，其中左摄像机节点挂接包含眼镜模型实体的节点和包含透明头模型实体的节点。实时3D头部跟踪模块根据一个或者两个摄像机采集到的图像对头部状态进行跟踪。接下来根据此头部状态设置透明头部模型的状态，比如位置等。然后根据透明头部模型的状态将眼镜模型放置在合适的位置。在渲染时，根据需要的遮挡顺序设定渲染顺序，比如先渲染透明的头部模型再渲染眼镜，使眼镜可以合理地遮挡人的头部。
[0042]图5是示出虚拟眼镜试戴系统遮挡的示例的视图。如图5所示，当跟踪的头部状态更新时，虚拟透明头部模型和眼镜模型等同时更新。其中，图5中的a示出无透明模型，b示出网格头部模型，c示出透明头部模型。
[0043]图6和图7是示出根据本发明的第二示例性实施例的虚拟衣服试穿的示意图。
[0044]图6是虚拟衣服试穿系统的示例的示意图。
[0045]如图6所示，该虚拟眼镜试戴系统包括左摄像机和右摄像机(在图6中分别由Can^和CamK表示)、处理模块(未在图中示出)和3D显示器。左摄像机和右摄像机分别捕捉左视角的图像和右视角的图像。该虚拟眼镜试戴系统还包括深度传感器。该深度传感器用于估计和检测真实对象(例如，人)的姿态，比如人的骨架等。处理模块根据深度传感器检测的真实对象的姿态来调整3D衣物模型状态以分别遮盖不同视角的人体图像，从而合成左视角虚拟图像和右视角虚拟图像，随后将合成的图像通过显示模块进行3D显示。图7是示出虚拟衣服试穿系统效果的视图。
[0046]图8是示出根据本发明的虚拟试穿试戴的方法的流程图。
[0047]如图8所示，在步骤S801，捕获真实场景中的真实对象的不同视角的图像。
[0048]在步骤S802，跟踪真实对象在真实场景中的状态。
[0049]在步骤S803，根据真实对象在真实场景中的状态来计算虚拟对象在真实场景中的状态，根据计算的虚拟对象在真实场景中的状态来将虚拟对象与真实场景合成来形成AR图像。
[0050]在步骤S804，将形成AR图像输出和显示。
[0051]其中，步骤S803还包括:在计算虚拟对象在真实场景中的虚拟状态之后，根据计算的虚拟状态添加真实对象的透明模型，产生虚拟对象与真实对象之间的遮挡效果。或者，根据真实对象在真实场景中的状态添加真实对象的透明模型，同时根据真实对象在真实场景中的状态计算虚拟对象在真实场景中的状态，随后产生虚拟对象与真实对象之间的遮挡效果。
[0052]根据本发明的虚拟试穿试戴系统和方法，能够使用户产生立体试穿试戴体验。应该理解，根据本发明的虚拟试穿试戴系统和方法可在能够进行3D显示的电子装置中实现。
[0053]尽管已经参照本发明的实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。
【权利要求】
1.一种虚拟试穿试戴系统，包括: 多个摄像机模块，用于捕获真实场景中的真实对象的不同视角的图像和跟踪真实对象在真实场景中的状态； 处理模块，接收多个摄像机模块捕获的真实场景中的真实对象的不同视角的图像和跟踪的真实对象在真实场景中的状态，并且根据真实对象在真实场景中的状态来计算虚拟对象在真实场景中的状态，根据计算的虚拟对象在真实场景中的状态来将虚拟对象与真实场景合成来形成增强现实AR图像； 显示模块，输出并显示形成的AR图像。
2.如权利要求1所述的虚拟试穿试戴系统，其中，处理模块在计算虚拟对象在真实场景中的虚拟状态之后，还根据计算的虚拟状态添加真实对象的透明模型，产生虚拟对象与真实对象之间的遮挡效果。
3.如权利要求1所述的虚拟试穿试戴系统,其中，处理模块根据真实对象在真实场景中的状态添加真实对象的透明模型，同时根据真实对象在真实场景中的状态计算虚拟对象在真实场景中的状态，随后产生虚拟对象与真实对象之间的遮挡效果。
4.如权利要求1所述的虚拟试穿试戴系统，其中，处理模块还包括多个渲染摄像机，通过使用所述多个渲染摄像机来渲染虚拟对象与真实场景。
5.如权利要求1所述的虚拟试穿试戴系统，其中，多个摄像机模块被分为用于捕获真实场景中的真实对象的不同视角的图像的摄像机和用于跟踪真实对象在真实场景中的状态的额外传感器。
6.如权利要求1所述的虚拟试穿试戴系统，其中，当在虚拟试穿试戴系统中执行虚拟眼镜试戴时，所述多个摄像机模块是左摄像机和右摄像机，左摄像机和右摄像机分别捕捉左视角和右视角的图像。
7.如权利要求6所述的虚拟试穿试戴系统，其中，处理模块包括:3D头部跟踪模块，通过左摄像机和右摄像机中的一个或它们两个来检测头部的状态，将3D眼镜模型覆盖在头部合适的位置，合成左视角虚拟图像和右视角虚拟图像。
8.如权利要求1所述的虚拟试穿试戴系统，其中，当在虚拟试穿试戴系统中执行虚拟衣服试穿时，所述多个摄像机模块是左摄像机和右摄像机，左摄像机和右摄像机分别捕捉左视角和右视角的图像。
9.如权利要求8所述的虚拟试穿试戴系统，其中，所述虚拟眼镜试戴系统还包括:深度传感器，用于估计和检测真实对象的姿态， 其中，处理模块根据深度传感器检测的真实对象的姿态来调整3D衣物模型状态以分别遮盖不同视角的人体图像，从而合成左视角虚拟图像和右视角虚拟图像。
10.一种虚拟试穿试戴方法，包括: (a)捕获真实场景中的真实对象的不同视角的图像； (b)跟踪真实对象在真实场景中的状态； (C)接收多个摄像机模块捕获的真实场景中的真实对象的不同视角的图像和跟踪的真实对象在真实场景中的状态，并且根据真实对象在真实场景中的状态来计算虚拟对象在真实场景中的状态，根据计算的虚拟对象在真实场景中的状态来将虚拟对象与真实场景合成来形成增强现实AR图像；(d)输出并显示形成的AR图像。
11.如权利要求10所述的虚拟试穿试戴方法，其中，步骤(c)还包括:在计算虚拟对象在真实场景中的虚拟状态之后，根据计算的虚拟状态添加真实对象的透明模型，产生虚拟对象与真实对象之间的遮挡效果。
12.如权利要求10所述的虚拟试穿试戴方法，其中，步骤(c)还包括:根据真实对象在真实场景中的状态添加真实对象的透明模型，同时根据真实对象在真实场景中的状态计算虚拟对象在真实场景中的状态，随后产生虚拟对象与真实对象之间的遮挡效果。
13.如权利要求10所述的虚拟试穿试戴方法，其中，步骤(c)还包括:通过使用多个渲染摄像机来渲染虚拟对象与真实场景。
14.如权利要求10所述的虚拟试穿试戴方法，其中，当通过所述虚拟试穿试戴方法执行虚拟眼镜试戴时，通过左摄像机和右摄像机分别捕捉左视角和右视角的图像。
15.如权利要求14所述的虚拟试穿试戴方法，其中，通过左摄像机和右摄像机中的一个或它们两个来检测头部的状态，将3D眼镜模型覆盖在头部合适的位置，合成左视角虚拟图像和右视角虚拟图像。
16.如权利要求10所述的虚拟试穿试戴方法，其中，当通过所述虚拟试穿试戴方法执行虚拟衣服试穿时，通过左摄像机和右摄像机分别捕捉左视角和右视角的图像。
17.如权利要求16所述的虚拟试穿试戴方法，其中，通过深度传感器来估计和检测真实对象的姿态，并根据深度传感器检测的真实对象的姿态来调整3D衣物模型状态以分别遮盖不同视角的人体图像，从而合成左视角虚拟图像和右视角虚拟图像。
【文档编号】G06T19/00GK104021590SQ201310063294
【公开日】2014年9月3日 申请日期:2013年2月28日 优先权日:2013年2月28日
【发明者】马赓宇, 张旭, 文永秀, 赵程昱, 金智渊 申请人:北京三星通信技术研究有限公司, 三星电子株式会社