专利名称：基于体感技术的3d虚拟试衣方法
技术领域：
本发明涉及一种体感控制的虚拟服饰搭配互动演示方法，属于机器视觉、增强现实、虚拟试衣技术领域。
背景技术：
虚拟试衣系统应用到网络服装销售中，可以让顾客用最短时间快速浏览不同服装款式的试穿效果，不需要脱掉衣服，更无需排队，实现高效率的服装挑选，提升品牌的店内购物体验，以此来吸引大量的顾客，将顾客流量转化为实际销量。同时，智能试衣间还可以作为商场内的互动广告平台，实现有目标性的广告投放，并通过互动方式收集顾客反馈，为商场内不同品牌提供一个全新的产品展示与体验空间。目前，国内现有的三维虚拟试衣技术通常是通过设置虚拟模特，并在模特上进行服饰的试穿。由于虚拟模特与真实人体并不是关联得很好，故此方法未达到理想的试衣效果。并且在试穿过程中，顾客可能通过移动身体来观察不同方位的试穿效果，但由于体感技术的欠缺，现有技术还不能使衣服准确地跟随身体移动，进而不能给顾客满意的试穿体验。在此之前，已公开了许多有关虚拟试衣的专利。例如，公开号为CN201111142Y，名称为“基于网络的三维虚拟试衣平台系统”的专利涉及一种可显示试穿衣服效果并进行相关设计和订制的基于网络的三维虚拟试衣平台系统。公开号为CN102044038A，名称为“面向真人的服装三维虚拟试衣方法”的专利提供了一种根据真人三维测量数据构建的三维真人人体模型进行虚拟试衣的方法。公开号为CN102298797A，名称为“三维虚拟试衣的方法、装置及系统”的专利利用获取人体头部图像以及捕捉人体动作来进行虚拟试衣。以上所公开的专利文献，都反映了虚拟试衣系统的研究的一个问题:很难设计出一种能够根据人体动作进行实时试衣的方法，现有方法无法满足人体与服装的实时地关联运动。
发明内容
本发明的目的是提供一种能够根据人体动作进行实时试衣的虚拟试衣方法。为了达到上述目的，本发明的技术方案是提供了一种基于体感技术的3D虚拟试衣方法，其特征在于，步骤为:第一步、搭建硬件系统:将彩色RGB摄像头、红外深度摄像头及IXD屏幕与高性能计算机相连，其中，彩色RGB摄像头，用于实时获取区域内人或物的彩色图像；红外深度摄像头，用于实时获取区域内人或物的三维深度信息；第二步、人体骨架追踪:步骤2.1、通过传感器利用动作捕捉技术对运动中的人体进行人体骨架追踪，从而获得人体驱动骨架及其运动数据；步骤2.2、提取服装模型的关键点，生成服装姿态骨架；
步骤2.3、通过仿射变换，将人体驱动骨架与服装姿态骨架重合，实现人体姿态与服装姿态的同步，同步后，服装模型在人体驱动骨架的影响之下依照人体驱动骨架的运动轨迹进行移动和变形；第三步、三维重构:利用三个彩色RGB摄像头和三个红外深度摄像头，每隔120°采集一面同一人体的图像数据，分别获得RGB图像与深度图像，将RGB图像与深度图像进行融合，得到人体三维模型；第四步、对人体三维模型的三维体征信息进行实时测量，利用测量得到的特征尺寸对步骤2.3得到的服装模型相应位置的尺寸进行调整，使服装模型更加贴合人体的身体曲线后叠加到人体三维模型上；第五步、场景试衣:将叠加有服装模型的人体三维模型与预存的真实世界的场景叠加到同一画面或空间中。优选地，所述步骤2.2中生成服装姿态骨架的方法为:首先对服装模型进行分割，将服装模型至少分割为躯干、左右手臂、左右腿5个服装模型部分，然后从分割出的服装模型部分中至少得到服装模型的裆底点、左右肩部点、左右腋下点及脖子基准点六个关键点，再通过各服装模型部分位置轮廓的几何中心来确定骨架节点的位置，对于左右手臂、左右腿的骨骼节点，分别取各个部分与躯干连接处轮廓的几何中心的位置来确定各自的骨骼节点，当所需要的骨骼节点被确定以后，就能够构建一个具有继承关系的服装姿态骨架。本发明通过体感定位、增强现实和图像识别等最新的信息技术，将真实服装拍摄制作成符合一定规格的高清图片，利用深度摄像头传感器采集人体的骨骼和深度图像信息，将服装和现实图像完美融合，利用增强现实的方式，产生不同服装在不同场景下的展示效果。
图1为本发明中的虚拟试衣系统的硬件构成；图2为本发明中的虚拟试衣系统的软件模块；图3为本发明提供的一种基于体感技术的3D虚拟试衣方法的流程图；图4为图像融合流程图；图5为实时三维人体测量流程图。
具体实施例方式为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。本发明采用了体感技术(Kinect)及增强现实(AR)。体感技术(Kinect)——“身体就是控制器”。它是一种新式摄像头，拥有I个彩色RGB摄像头和I对红外深度摄像头，能获取区域内人或物的彩色图像和三维深度信息，通过一定的模式识别算法进行数据处理，获取所需传感信息。增强现实(AR)，也称之为混合现实。通过计算机编程技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间。
如图2所示，本发明包括古装试穿模块、服饰搭配模块及场景试衣模块。古装试穿模块将古代宫廷、铠甲或民族服饰等实物或资料，通过一定的技术手段，与摄像头中人体实时图像结合到一起，根据不同的人体体型大小或位置，动态调节服装各个部位的尺寸大小，从而达到古装试穿的效果，让体验者感受一次古人的角色扮演。服饰搭配模块，与古装试穿相仿，将现代时装中的多种构成元素(如不同的款式的上衣、裤子或帽子等、服装配饰、假发)采集成图片格式，利用增强现实技术将虚拟图片与现实场景结合，并由显示终端呈现到体验者面前。场景试衣模块，利用体感控制技术，切换不同的试衣搭配背景，感受同一服饰在不同背景搭配下的试衣效果，提升用户的体验，增强现实感和代入感。同时，还可以显示体验者的身高、肩宽的数据特征。如图3所示，本发明提供的一种基于体感技术的3D虚拟试衣方法，其步骤为:第一步、搭建硬件系统:将彩色RGB摄像头、红外深度摄像头及IXD屏幕与高性能计算机相连，其中，彩色RGB摄像头，用于实时获取区域内人或物的彩色图像；红外深度摄像头，用于实时获取区域内人或物的三维深度信息；第二步、人体骨架追踪:为了获得更加真实的试穿效果，更好得表现服装的特性，本发明采用人体骨架追踪技术，将传感器应用和数字图像融合技术相结合，获得人体关键位置骨骼点的空间坐标，将其与服装模型进行绑定，使服装能够随用户的运动而运动，具体步骤如下:步骤2.1、通过传感器利用动作捕捉技术对运动中的人体进行人体骨架追踪，从而获得人体驱动骨架及其运动数据。驱动服装模型的人体驱动骨架及其运动数据，可以通过动作捕捉技术得到，动作捕捉技术记录的数据有许多格式，其基本构成分为两部分:有继承关系的骨架和每个关节点在动画序列中的运动数据，例如采用BVH文件格式。在一副包括20个节点的驱动骨架中分别给每个骨骼节点命名。在BVH的MOTION部分中，可以获得驱动骨架的运动数据，形成驱动骨架的运动动画。步骤2.2、提取服装模型的关键点，生成服装姿态骨架，生成服装姿态骨架的方法为:首先对服装模型进行分割，将服装模型至少分割为躯干、左右手臂、左右腿5个服装模型部分，然后从分割出的服装模型部分中至少得到服装模型的裆底点、左右肩部点、左右腋下点及脖子基准点六个关键点，再通过各服装模型部分位置轮廓的几何中心来确定骨架节点的位置，对于左右手臂、左右腿的骨骼节点，分别取各个部分与躯干连接处轮廓的几何中心的位置来确定各自的骨骼节点，当所需要的骨骼节点被确定以后，就能够构建一个具有继承关系的服装姿态骨架。步骤2.3、通过仿射变换，将人体驱动骨架与服装姿态骨架重合，实现人体姿态与服装姿态的同步，同步后，服装模型在人体驱动骨架的影响之下依照人体驱动骨架的运动轨迹进行移动和变形；第二步、二维重构:三维重构主要是通过二维图像中的基元图来恢复三维空间，即研究三维空间中的三维坐标与二维图像中所对应的二维坐标之间的关系。或者说，对图像进行三维重构就是从二维图像中抽取三维信息，通过对这些信息一系列的处理后，在三维空间中重新构造出图像的相应形体。在本发明中，三维重构方法是利用三个彩色RGB摄像头和三个红外深度摄像头，每隔120°采集一面同一人体的图像数据，分别获得RGB图像与深度图像，普通的RGB图像中含有物体的色彩信息以及物体的纹理信息，深度图像其像素结构中包含了物体与相机之间的距离信息。将RGB图像与深度图像进行融合，融合后的图像既包含深度信息，也可以包含色彩和纹理信息，即可得到人体三维模型。融合的方法如图4所示，具体可以参考名称为《基于区域遮罩的深度图像与RGB图像的智能融合方法》的发明专利申请文件。第四步、结合图5，对人体三维模型的三维体征信息进行实时测量，获取其胸围、腰围、臀围、身高等特征尺寸，利用测量得到的特征尺寸对步骤2.3得到的服装模型相应位置的尺寸进行调整，使服装模型更加贴合人体的身体曲线后叠加到人体三维模型上；第五步、场景试衣:将叠加有服装模型的人体三维模型与预存的真实世界的场景叠加到同一画面或空间中。体感控制技术，它是一种新式摄像头，拥有I个彩色RGB摄像头和I对红外深度摄像头，能获取区域内人或物的彩色图像和三维深度信息，通过一定的模式识别算法进行数据处理，获取所需传感信息。本发明利用增强现实技术和体感控制技术，根据图像融合中提出的方法，在深度图像中建立人体遮罩，然后在RGB图像中抠出人像，叠加到其他场景图片上去，以此来切换不同的试衣搭配背景，感受同一服饰在不同背景搭配下的试衣效果，提升用户的体验，增强现实感和代入感。同时，还可以显示体验者的身高、肩宽的数据特征。
权利要求
1.一种基于体感技术的3D虚拟试衣方法，其特征在于，步骤为: 第一步、搭建硬件系统: 将彩色RGB摄像头、红外深度摄像头及LCD屏幕与高性能计算机相连，其中，彩色RGB摄像头，用于实时获取区域内人或物的彩色图像；红外深度摄像头，用于实时获取区域内人或物的三维深度信息； 第二步、人体骨架追踪: 步骤2.1、通过传感器利用动作捕捉技术对运动中的人体进行人体骨架追踪，从而获得人体驱动骨架及其运动数据； 步骤2.2、提取服装模型的关键点，生成服装姿态骨架； 步骤2.3、通过仿射变换，将人体驱动骨架与服装姿态骨架重合，实现人体姿态与服装姿态的同步，同步后，服装模型在人体驱动骨架的影响之下依照人体驱动骨架的运动轨迹进行移动和变形； 第三步、三维重构: 利用三个彩色RGB摄像头和三个红外深度摄像头，每隔120°采集一面同一人体的图像数据，分别获得RGB图像与深度图像，将RGB图像与深度图像进行融合，得到人体三维模型； 第四步、对人体三维模型的三维体征信息进行实时测量，利用测量得到的特征尺寸对步骤2.3得到的服装模型相应位置的尺寸进行调整，使服装模型更加贴合人体的身体曲线后叠加到人体三维模型上； 第五步、场景试衣: 将叠加有服装模型的人体三维模型与预存的真实世界的场景叠加到同一画面或空间中。
2.如权利要求1所述的一种基于体感技术的3D虚拟试衣方法，其特征在于:所述步骤2.2中生成服装姿态骨架的方法为: 首先对服装模型进行分割，将服装模型至少分割为躯干、左右手臂、左右腿5个服装模型部分，然后从分割出的服装模型部分中至少得到服装模型的裆底点、左右肩部点、左右腋下点及脖子基准点六个关键点，再通过各服装模型部分位置轮廓的几何中心来确定骨架节点的位置，对于左右手臂、左右腿的骨骼节点，分别取各个部分与躯干连接处轮廓的几何中心的位置来确定各自的骨骼节点，当所需要的骨骼节点被确定以后，就能够构建一个具有继承关系的服装姿态骨架。
3.如权利要求1所述的一种基于体感技术的3D虚拟试衣方法，其特征在于:所述服装模型为古代服装模型或现代服装模型。
全文摘要
本发明涉及一种基于体感技术的3D虚拟试衣方法，其特征在于，步骤为第一步、搭建硬件系统；第二步、人体骨架追踪；第三步、三维重构；第四步、对人体三维模型的三维体征信息进行实时测量，利用测量得到的特征尺寸对服装模型相应位置的尺寸进行调整，使服装模型更加贴合人体的身体曲线后叠加到人体三维模型上；第五步、场景试衣。本发明通过体感定位、增强现实和图像识别等最新的信息技术，将真实服装拍摄制作成符合一定规格的高清图片，利用深度摄像头传感器采集人体的骨骼和深度图像信息，将服装和现实图像完美融合，利用增强现实的方式，产生不同服装在不同场景下的展示效果。
文档编号G06Q30/02GK103106604SQ20131002494
公开日2013年5月15日 申请日期2013年1月23日 优先权日2013年1月23日
发明者郝矿荣, 黄军君, 丁永生, 郭爽, 王艺楠 申请人:东华大学