虚拟试衣图像生成方法、装置、计算机设备以及存储介质与流程

本申请涉及计算机技术领域，特别是涉及一种虚拟试衣图像生成方法、装置、计算机设备以及存储介质。

背景技术：

随着3d虚拟技术的发展，出现虚拟试衣技术。虚拟试衣技术是指用户不用脱去身上衣服，实现变装查看效果的一种技术。目前虚拟试衣主要通过虚拟试衣网站以及虚拟试衣软件等来实现。目前已有的基于虚拟试衣技术的虚拟试衣系统一般都是由三维人体测量技术、数字化试衣人体模型、和虚拟三维试衣仿真等技术构成。

然而这些虚拟试衣系统是在已有的试衣模特的基础上建立起来的试衣系统，在进行三维人体测量时，主要通过非接触式测量，都需要一定的硬件设备，局限性较大。

技术实现要素：

基于此，有必要针对现有的虚拟试衣系统受限于人体测量设备，局限性较大问题，提供一种可以局限性较小的虚拟试衣图像生成方法、装置、计算机设备以及存储介质。

一种虚拟试衣图像生成方法，所述方法包括：

获取待试衣用户图片与服装三维立体数据；

根据所述待试衣用户图片获取人物轮廓信息以及身体关键点信息；

根据所述人物轮廓信息生成三维人体图像；

根据所述身体关键点信息以及所述三维人体图像生成三维用户图像；

在所述三维用户图像上加载所述服装三维立体数据，生成三维试衣图像。

在其中一个实施例中，所述根据所述待试衣用户图片信息获取人物轮廓信息以及身体关键点信息包括：

通过grabcut算法提取所述待试衣用户图片中的待试衣用户的人物轮廓；

通过sift(scale-invariantfeaturetransform，尺度不变特征变换)算法提取所述待试衣用户图片中待试衣用户的身体关键点信息。

在其中一个实施例中，所述根据所述人物轮廓信息生成三维人体图像包括：

对所述人物轮廓信息进行三维空间中的仿射变换生成三维人体图像。

在其中一个实施例中，所述在所述三维用户图像上加载所述服装三维立体数据包括：

提取所述服装三维立体数据中表征服装前衣片的第一数据以及表征服装后衣片的第二数据；

将所述第一数据和所述第二数据加载至所述三维用户图像；

获取所述第一数据以及所述第二数据中对应的缝合点对数据；

在所述缝合点对的缝合点之间添加缝合力以及缝合结束条件进行服装缝合，生成三维试衣图像。

在其中一个实施例中，所述获取待试衣用户图片与服装三维立体数据之前，还包括：

获取二维服装衣片数据；

通过三角剖分将所述二维服装衣片数据离散化为三角网络，生成服装三维立体数据的第一数据以及第二数据，并在所述第一数据以及所述第二数据中添加互相对应的缝合边对数据和缝合点对数据，所述第一数据用于表征服装前衣片，所述第二数据用于表征服装后衣片。

在其中一个实施例中，所述在所述三维用户图像上加载与所述服装编号信息对应的服装三维立体数据，生成三维试衣图像之后，还包括：

根据所述三维用户图像生成尺码推荐信息；

根据所述三维用户图像以及所述服装三维立体数据，在预设的三维服装库内进行匹配，获取服装推荐信息；

反馈所述尺码推荐信息以及服装推荐信息。

一种虚拟试衣图像生成装置，所述装置包括：

信息接收模块，用于获取待试衣用户图片与服装三维立体数据；

模型信息获取模块，用于根据所述待试衣用户图片获取人物轮廓信息以及身体关键点信息；

模型生成模块，用于根据所述人物轮廓信息生成三维人体图像；

模型更新模块，用于根据所述身体关键点信息以及所述三维人体图像生成三维用户图像；

试衣图像生成模块，用于在所述三维用户图像上加载所述服装三维立体数据，生成三维试衣图像。

在其中一个实施例中，所述模型信息获取模块用于：

通过grabcut算法提取所述待试衣用户图片中的待试衣用户的人物轮廓；

通过sift算法提取所述待试衣用户图片中待试衣用户的身体关键点信息。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待试衣用户图片与服装三维立体数据；

根据所述待试衣用户图片获取人物轮廓信息以及身体关键点信息；

根据所述人物轮廓信息生成三维人体图像；

根据所述身体关键点信息以及所述三维人体图像生成三维用户图像；

在所述三维用户图像上加载所述服装三维立体数据，生成三维试衣图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待试衣用户图片与服装三维立体数据；

根据所述待试衣用户图片获取人物轮廓信息以及身体关键点信息；

根据所述人物轮廓信息生成三维人体图像；

根据所述身体关键点信息以及所述三维人体图像生成三维用户图像；

在所述三维用户图像上加载所述服装三维立体数据，生成三维试衣图像。

上述虚拟试衣图像生成方法、装置、计算机设备和存储介质，通过获取待试衣用户图片与服装三维立体数据；根据待试衣用户图片获取人物轮廓信息以及身体关键点信息；根据人物轮廓信息生成三维人体图像；根据身体关键点信息以及三维人体图像生成三维用户图像；在三维用户图像上加载服装三维立体数据，生成三维试衣图像。本申请通过提取待试衣用户的图像的轮廓以及人体关键点来生成对应的三维用户图像，并在生成的三维用户图像上加载服装三维立体数据，生成三维试衣图像，只需要用户提供能提取轮廓以及关键点的图像以及服装三维立体图像，无需进行额外的人体测量，局限性较小。

附图说明

图1为一个实施例中虚拟试衣图像生成方法的应用环境图；

图2为一个实施例中虚拟试衣图像生成方法的流程示意图；

图3为一个实施例中图2的步骤s300的子流程示意图；

图4为一个实施例中图2的步骤s900的子流程示意图；

图5为一个实施例中虚拟试衣图像生成装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的虚拟试衣图像生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与试衣服务器104通过进行通信，首先终端102提交待试衣用户图片与服装三维立体数据至试衣服务器104，试衣服务器104获取获取待试衣用户图片与服装三维立体数据；根据待试衣用户图片获取人物轮廓信息以及身体关键点信息；根据人物轮廓信息生成三维人体图像；根据身体关键点信息以及三维人体图像生成三维用户图像；在三维用户图像上加载服装三维立体数据，生成三维试衣图像。并将其返回到终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，试衣服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种虚拟试衣图像生成方法，以该方法应用于图1中的试衣服务器104为例进行说明，包括以下步骤：

s100，试衣服务器获取待试衣用户图片与服装三维立体数据。

其中，待试衣用户图片是指终端提供的，能体现用户身材，包含身体轮廓的用户图片，而服装三维立体数据则是指终端提供的用户选定的试穿服装对应的服装三维立体数据。在进行虚拟试衣时，用户可以选定需要试穿的服装，而后通过终端提交自己的图片以及选定的服装至服务器端，由服务器端根据待试衣用户图片以及用户选定的服装来开始进行虚拟试衣。

s300，根据待试衣用户图片获取人物轮廓信息以及身体关键点信息。

人物轮廓信息具体包括了图片中的二维人体轮廓线，是指构成待试衣用户图片中人物边缘处的线条，人物轮廓信息可以一定程度上体现人物的身材信息，而身体关键点信息中的身体关键点包括了左右肩膀点，肩胛点，左右腋窝点，乳顶点，腰围点，会阴点等，这些关键点数据也可以辅助建立更符合用户本身体型的三维图像，服务器可以在获取待试衣用户图片后，从图片中提取得到用户对应的人物轮廓信息以及身体关键点信息。特别的，当服务器无法从用户提供的待试衣用户图片中提取到人物轮廓信息或者身体关键点信息时，可以直接返回试衣失败的消息给到终端，并提示用户提供能够体现人物轮廓以及身体特点的用户图片。

s500，根据人物轮廓信息生成三维人体图像。

三维人体图像是指基于人物轮廓信息建立，与用户图像上实际身材相似的一个三维人体模型，它可以立体地展示用户的身形，作为虚拟试衣过程中的模特使用。服务器可以基于用户提供的图片包含的轮廓信息来生成用户对应的三维人体图像。

s700，根据身体关键点信息以及三维人体图像生成三维用户图像。

三维用户图像是指包括了用户的身体轮廓特点，以及可以通过身体关键点体现出来的用户其他身形特点的综合模型，三维用户图像是在三维人体图像的基础上结合更多的用户身形特点获得的，通过关键点的加成使原来生成的三维立体模型的体型与用户本身的体型更加吻合。服务器还可以通过在待试衣用户图片使用人脸识别技术，将二维图像中的面部特征点提取出来，再者将其添加加到已生成的三维人物图像上，提高图像的识别度。在其中一个实施例中，身体关键点信息以坐标形式体现，服务器可以通过vc++编程把其加在已生成的三维人体图像，生成三维用户图像。

s900，在三维用户图像上加载服装三维立体数据，生成三维试衣图像。

在生成与用户对应的立体化的三维用户图像之后，可以在生成的三维用户图像上加载用户提供的服装三维立体数据，来生成可以向用户展示着衣效果的三维试衣图像。此外，在加载服装三维立体数据至三维用户图像上之前，还可以通过三维用户图像获取用户的身材信息，而后根据用户的身材信息对服装三维立体数据的尺码进行相应调整。

上述虚拟试衣图像生成方法，通过获取待试衣用户图片与服装三维立体数据；根据待试衣用户图片获取人物轮廓信息以及身体关键点信息；根据人物轮廓信息生成三维人体图像；根据身体关键点信息以及三维人体图像生成三维用户图像；在三维用户图像上加载服装三维立体数据，生成三维试衣图像。本申请的虚拟试衣方法，通过提取待试衣用户的图像的轮廓以及人体关键点来生成对应的三维用户图像，并在生成的三维用户图像上加载服装三维立体数据，生成三维试衣图像，只需要用户提供能提取轮廓以及关键点的图像以及服装三维立体图像，无需进行额外的人体测量，局限性较小。

如图3所示，在其中一个实施例中，步骤s300包括：

s320，通过grabcut算法提取待试衣用户图片中的待试衣用户的人物轮廓。

s340，通过sift算法提取待试衣用户图片中待试衣用户的身体关键点信息。

grabcut是指采用graphcut图像分割和最大流技术的一种交互式图像分割技术。它利用了图像中的纹理(颜色)信息和边界(反差)信息，可得到较好的分割结果。可以通过grabcut算法对待试衣用户图片进行分割，提取其中包含的轮廓信息。sift算法即尺度不变特征变换，可以从待试衣用户图片中检测出关键点，sift算法是基于物体上的一些局部外观的兴趣点与影像的大小和旋转无关，同时对于光线、噪声、些微视角改变的容忍度也较高来对图像内物体的关键点进行检测，本申请中检测的关键点包括左右肩膀点，肩胛点，左右腋窝点，乳顶点，腰围点，会阴点，服务器可以通过sift算法检测出图像内包含的若干关键点的坐标数据，检测出关键点不一定包含所有的关键点，只需检测出部分主要的关键特征点即可，通过轮廓信息提取以及关键点检测，可以有效提高建立三维用户图像的效率。

在其中一个实施例中，步骤s50包括：对人物轮廓信息进行三维空间中的仿射变换生成三维人体图像。

仿射变换，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。在本申请中，人物轮廓信息包括了二维人物轮廓线，首先可以通过交换标记，确定轮廓上四肢和身体的连接点以及各身体部位各自的轮廓线，进而将二维人物轮廓线转换为对应的三维点列，这些在同一个向量空间内的三维点列进行放射变换，直接生成三维人体图像，可以通过仿射变换的方式，针对人体轮廓信息来建立对应的三维人体图像。

如图4所示，在一个实施例中，步骤s900包括：

s920，提取服装三维立体数据中表征服装前衣片的第一数据以及表征服装后衣片的第二数据。

s940，将第一数据和第二数据加载至三维用户图像。

s960，获取第一数据以及第二数据中对应的缝合点对数据。

s980，在缝合点对的缝合点之间添加缝合力以及缝合结束条件进行服装缝合，生成三维试衣图像。

其中，服装三维立体数据包括了第一数据以及第二数据，分别表征服装前衣片以及服装后衣片，服装前后衣片设置有对应的缝合点，可以通过缝合点将前后衣片进行缝合，形成一个整体的服装三维立体数据，在生成三维试衣图像的过程中，服务器可以将前后衣片对应的数据加载到生成的三维用户图像中的对应位置上，而后获取前后衣片上的缝合点信息，完成缝合信息设置。然后在缝合点之间添加缝合力以及缝合结束条件驱动整个服装系统的变形。生成三维试衣图像。在其中一个实施例中，在服装的缝合过程中，还可以通过预设的碰撞检测和碰撞处理算法处理服装渗透问题，完成服装衣片到服装三维立体数据的转换，实现虚拟试衣。通过前后衣片，可以有效实现服装的三维试衣。

在一个实施例中，步骤s100之前，包括：获取二维服装衣片数据；通过三角剖分将二维服装衣片数据离散化为三角网络，生成服装三维立体数据的第一数据以及第二数据，并在第一数据以及第二数据中添加互相对应的缝合边对数据和缝合点对数据，第一数据用于表征服装前衣片，第二数据用于表征服装后衣片。

二维服装衣片数据具体可以为二维服装的cad纸样数据。首先，用户在进行虚拟试衣之前，需要将这些可以试衣的服装对应的二维服装衣片数据上传到服务器内，服务器才能生成对应的服装三维立体数据。首先服务器可以对输入的二维服装衣片进行三角剖分，将其离散化为三角网络，并且在服装衣片上设置相应的缝合边对和缝合点对，等同于立体服装衣片。计算机在此基础上进行大量的数据采集，形成服装三维图像的数据库。

在一个实施例中，步骤s900之后，还包括：根据三维用户图像生成尺码推荐信息；根据三维用户图像以及服装三维立体数据，在预设的三维服装库内进行匹配，获取服装推荐信息；反馈尺码推荐信息以及服装推荐信息。

生成的三维用户图像包括了用户的身材信息，可以基于该三维用户图像，得到用户对应的推荐尺码，如推荐其合适的服装为大号、中号还是小号。此外可以根据用户的三维用户图像以及用户选择输入的服装三维立体数据，为用户进行智能匹配，查找可以推荐的服装，同时根据用户的尺码推荐信息进行搭配推荐，获得对应的服装推荐信息，最后将服装推荐信息与尺码推荐信息反馈给到用户，完成最后的推荐过程。通过服装推荐可以有效为用户提供更符合用户需求的服装，

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种虚拟试衣图像生成装置，装置包括：

信息接收模块100，用于获取待试衣用户图片与服装三维立体数据。

模型信息获取模块300，用于根据待试衣用户图片获取人物轮廓信息以及身体关键点信息。

模型生成模块500，用于根据人物轮廓信息生成三维人体图像。

模型更新模块700，用于根据身体关键点信息以及三维人体图像生成三维用户图像。

试衣图像生成模块900，用于在三维用户图像上加载服装三维立体数据，生成三维试衣图像。

在其中一个实施例中，模型信息获取模块300用于：通过grabcut算法提取待试衣用户图片中的待试衣用户的人物轮廓；通过sift算法提取待试衣用户图片中待试衣用户的身体关键点信息。

在其中一个实施例中，模型生成模块500用于：对人物轮廓信息进行三维空间中的仿射变换生成三维人体图像。

在其中一个实施例中，试衣图像生成模块900用于：提取服装三维立体数据中表征服装前衣片的第一数据以及表征服装后衣片的第二数据；将第一数据和第二数据加载至三维用户图像；获取第一数据以及第二数据中对应的缝合点对数据；在缝合点对的缝合点之间添加缝合力以及缝合结束条件进行服装缝合，生成三维试衣图像。

在其中一个实施例中，还包括三维服装生成模块，用于：获取二维服装衣片数据；通过三角剖分将二维服装衣片数据离散化为三角网络，生成服装三维立体数据的第一数据以及第二数据，并在第一数据以及第二数据中添加互相对应的缝合边对数据和缝合点对数据，第一数据用于表征服装前衣片，第二数据用于表征服装后衣片。

在其中一个实施例中，还包括信息推荐模块，用于：根据三维用户图像生成尺码推荐信息；根据三维用户图像以及服装三维立体数据，在预设的三维服装库内进行匹配，获取服装推荐信息；反馈尺码推荐信息以及服装推荐信息。

关于虚拟试衣图像生成装置的具体限定可以参见上文中对于虚拟试衣图像生成方法的限定，在此不再赘述。上述虚拟试衣图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用户信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种虚拟试衣图像生成方法。该数据库用于存储服装三维立体数据数据。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待试衣用户图片与服装三维立体数据；

根据待试衣用户图片获取人物轮廓信息以及身体关键点信息；

根据人物轮廓信息生成三维人体图像；

根据身体关键点信息以及三维人体图像生成三维用户图像；

在三维用户图像上加载服装三维立体数据，生成三维试衣图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过grabcut算法提取待试衣用户图片中的待试衣用户的人物轮廓；通过sift算法提取待试衣用户图片中待试衣用户的身体关键点信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对人物轮廓信息进行三维空间中的仿射变换生成三维人体图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：提取服装三维立体数据中表征服装前衣片的第一数据以及表征服装后衣片的第二数据；将第一数据和第二数据加载至三维用户图像；获取第一数据以及第二数据中对应的缝合点对数据；在缝合点对的缝合点之间添加缝合力以及缝合结束条件进行服装缝合，生成三维试衣图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取二维服装衣片数据；通过三角剖分将二维服装衣片数据离散化为三角网络，生成服装三维立体数据的第一数据以及第二数据，并在第一数据以及第二数据中添加互相对应的缝合边对数据和缝合点对数据，第一数据用于表征服装前衣片，第二数据用于表征服装后衣片。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据三维用户图像生成尺码推荐信息；根据三维用户图像以及服装三维立体数据，在预设的三维服装库内进行匹配，获取服装推荐信息；反馈尺码推荐信息以及服装推荐信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待试衣用户图片与服装三维立体数据；

根据待试衣用户图片获取人物轮廓信息以及身体关键点信息；

根据人物轮廓信息生成三维人体图像；

根据身体关键点信息以及三维人体图像生成三维用户图像；

在三维用户图像上加载服装三维立体数据，生成三维试衣图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过grabcut算法提取待试衣用户图片中的待试衣用户的人物轮廓；通过sift算法提取待试衣用户图片中待试衣用户的身体关键点信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对人物轮廓信息进行三维空间中的仿射变换生成三维人体图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：提取服装三维立体数据中表征服装前衣片的第一数据以及表征服装后衣片的第二数据；将第一数据和第二数据加载至三维用户图像；获取第一数据以及第二数据中对应的缝合点对数据；在缝合点对的缝合点之间添加缝合力以及缝合结束条件进行服装缝合，生成三维试衣图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取二维服装衣片数据；通过三角剖分将二维服装衣片数据离散化为三角网络，生成服装三维立体数据的第一数据以及第二数据，并在第一数据以及第二数据中添加互相对应的缝合边对数据和缝合点对数据，第一数据用于表征服装前衣片，第二数据用于表征服装后衣片。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据三维用户图像生成尺码推荐信息；根据三维用户图像以及服装三维立体数据，在预设的三维服装库内进行匹配，获取服装推荐信息；反馈尺码推荐信息以及服装推荐信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。