一种基于特征引导的虚拟试衣方法

本发明涉及计算机视觉模拟，更具体地，涉及一种基于特征引导的虚拟试衣方法。

背景技术：

1、传统的试衣过程通常需要用户实际穿着服装，以便在实体商店或专卖店中选择适合的款式和尺寸，然而，这种方式存在着一些不便利性，如时间成本高、试衣间等设施限制等问题。

2、虚拟试衣技术的出现解决了上述问题，虚拟试衣技术是一种基于计算机视觉和图像处理的创新，将用户的身体特征与目标服装图像结合起来，实现了将服装数字化地"穿"在用户身上，旨在通过数字技术使用户能够在虚拟环境中尝试不同款式和尺寸的服装，以便更好地了解其在真实世界中的穿着效果，其在在线购物、时尚设计以及定制服装等领域具有广泛的应用前景。

3、当前的基于图像虚拟试衣技术主要采用了两阶段方法，通常包括几何匹配阶段和图像合成阶段。在几何匹配阶段，目标服装被与输入图像中的人的姿势相匹配，以在最终试穿结果中估计目标服装的大致位置和形状；在图像合成阶段，采用如gan(生成对抗网络)等生成模型来合成最终的试穿图像。但其存在精细度不足的问题，使得生成图像存在伪影，特别是在手臂遮挡服装或模特摆出复杂动作时——当模特采取类似动作时，神经网络模型难以准确地区分服装与手臂，导致生成的手臂部分容易出现伪影。

技术实现思路

1、本发明为克服上述现有技术所述的精细度不足的缺陷，提供一种基于特征引导的虚拟试衣方法。

2、为解决上述技术问题，本发明的技术方案如下：

3、第一方面，一种基于特征引导的虚拟试衣方法，包括：

4、接收人体解析模型、目标服装图像和模特无服装轮廓图像；

5、基于cp-vton+框架，对所述人体解析模型和所述目标服装图像分别进行特征提取和融合，得到变换参数；

6、根据所述变换参数和所述目标服装图像，利用tps算法得到变形服装图像和变形服装掩码；

7、对所述模特无服装轮廓图像进行像素解缩后，再进行多维度特征提取，得到用于特征引导的多维度轮廓特征；

8、对所述人体解析模型、所述变形服装图像、所述变形服装掩码与所述多维度轮廓特征进行特征信息交互融合，得到合成掩码和渲染后人体模型；

9、根据所述合成掩码、所述渲染后人体模型和所述变形服装图像，生成虚拟试衣图像。

10、第二方面，一种计算机可读存储介质，所述存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现第一方面所述方法。

11、第三方面，一种电子设备，包括存储器和处理器，所述存储器存储有至少一条指令、至少一段程序、代码集或指令集，所述处理器执行所述至少一条指令、至少一段程序、代码集或指令集时实现第一方面所述方法。

12、与现有技术相比，本发明技术方案的有益效果是：

13、本发明对传统的cp-vton+框架进行改进，引入了特征引导方法，通过对模特无服装轮廓图像进行像素解缩及多维度特征提取，获得多维度轮廓特征并将其与人体解析模型、变形服装图像、变形服装掩码进行特征信息交互，有效的引导生成更加精细、逼真的试衣效果，显著提升虚拟试衣技术的性能与实用性。

技术特征：

1.一种基于特征引导的虚拟试衣方法，其特征在于，包括：

2.根据权利要求1所述的一种基于特征引导的虚拟试衣方法，其特征在于，所述对所述人体解析模型和所述目标服装图像分别进行特征提取和融合，包括：

3.根据权利要求2所述的一种基于特征引导的虚拟试衣方法，其特征在于，所述回归网络的训练过程，包括：

4.根据权利要求1所述的一种基于特征引导的虚拟试衣方法，其特征在于，所述对所述模特无服装轮廓图像进行像素解缩后，再进行多维度特征提取，包括：

5.根据权利要求4所述的一种基于特征引导的虚拟试衣方法，其特征在于，所述对所述人体解析模型、所述变形服装图像、所述变形服装掩码与所述多维度轮廓特征进行特征信息交互融合，具体为：将所述人体解析模型、所述变形服装图像、所述变形服装掩码与所述多维度轮廓特征通过u-net网络进行特征传递和信息重建，得到所述合成掩码和所述渲染后人体模型。

6.根据权利要求5所述的一种基于特征引导的虚拟试衣方法，其特征在于，所述u-net网络的训练过程，包括：

7.根据权利要求6所述的一种基于特征引导的虚拟试衣方法，其特征在于，所述第二子损失函数中vgg感知损失lvgg表达式为：

8.根据权利要求1-7任一项所述的一种基于特征引导的虚拟试衣方法，其特征在于，所述虚拟试衣图像i0的表达式为：

9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现如权利要求1-8任一项所述方法。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有至少一条指令、至少一段程序、代码集或指令集，所述处理器执行所述至少一条指令、至少一段程序、代码集或指令集时实现如权利要求1-8任一项所述方法。

技术总结
本发明公开了一种基于特征引导的虚拟试衣方法，涉及计算机视觉模拟领域。所述方法包括：接收人体解析模型、目标服装图像和模特无服装轮廓图像；对人体解析模型和目标服装图像进行特征提取和融合，得到变换参数；利用TPS算法得到变形服装图像和变形服装掩码；对模特无服装轮廓图像进行像素解缩后进行多维度特征提取，得到用于特征引导的多维度轮廓特征；对人体解析模型、变形服装图像、变形服装掩码与多维度轮廓特征进行特征信息交互融合，得到合成掩码和渲染后人体模型；根据合成掩码、渲染后人体模型和变形服装图像，生成虚拟试衣图像。相较于现有技术，本发明可有效引导生成更加精细、逼真的试衣效果，提升虚拟试衣技术的性能与实用性。

技术研发人员：陈宏才,谭台哲
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/2/25