训练虚拟试衣模型的方法、生成试衣图像的方法及相关装置与流程

本技术涉及图像处理，尤其涉及一种训练虚拟试衣模型的方法、生成试衣图像的方法及相关装置。

背景技术：

1、在现代科技不断进步的背景下，网络购物逐渐成为人们获取商品的主要途径之一。在购买服装等产品时，消费者通常希望了解商品的真实效果，以确保合适的款式、尺码和穿着效果。因此，虚拟试衣技术的需求逐渐增强，成为计算机视觉领域的研究重点。

2、目前，已有一些虚拟试衣解决方案，然而，现有的衣服变形算法主要采用tps和基于光流的变形算法，但其生成模型缺乏自我矫正能力，例如在处理领口、手袖等细节时效果较差，导致试穿效果缺乏真实感，贴图痕迹较为明显。

技术实现思路

1、本技术实施例提供一种训练虚拟试衣模型的方法、生成试衣图像的方法及相关装置，该方法通过在试衣生成过程中引入低维特征的重构和解码，能够提升试衣效果的质感，使其更贴近真实穿着效果。

2、第一方面，本技术提供一种训练虚拟试衣模型的方法，其特征在于，所述虚拟试衣模型包括衣服扭曲网络和试衣生成网络，所述方法包括：

3、获取训练集，其中，所述训练集包括多个训练数据，所述训练数据包括衣服图像和真实试衣图像，所述真实试衣图像中模特穿着所述衣服图像对应的衣服；

4、将人体关键点图像和所述衣服图像输入所述衣服扭曲网络，得到变形衣服图像；

5、将所述真实试衣图像、所述变形衣服图像和模特身份图像输入所述试衣生成网络，以在所述试衣生成网络对所述真实试衣图像、所述变形衣服图像和所述模特身份图像分别进行编码，分别获得变形衣服特征图像、模特身份特征图像和真实试衣特征图像，并融合所述变形衣服特征图像、所述模特身份特征图像和衣服属性信息的语义特征以得到重构特征图像，对所述重构特征图进行解码以生成虚拟试衣图像；

6、基于所述重构特征图像和真实试衣特征图像利用损失函数计算损失，并根据所述损失对所述衣服扭曲网络和所述试衣生成网络进行迭代训练，直到所述虚拟试衣模型收敛，得到所述虚拟试衣模型。

7、在一些实施例中，所述衣服扭曲网络包括第一编码模块、回归网络和变形结构；

8、所述将人体关键点图像和所述衣服图像输入所述衣服扭曲网络，得到变形衣服图像，包括：

9、将所述人体关键点图像输入所述第一编码模块进行编码，得到第一特征图；

10、将所述衣服图像输入所述第一编码模块进行编码，得到第二特征图；

11、融合所述第一特征图和所述第二特征图，得到单个张量的相关层；

12、将所述相关层输入所述回归网络进行预测，得到空间变换参数；

13、采用所述变形结构根据所述空间变换参数对所述衣服图像进行扭曲变形，得到变形衣服图像。

14、在一些实施例中，所述衣服扭曲网络包括第二编码模块、文本编码模块、特征重构网络和解码模块；

15、所述将所述真实试衣图像、所述变形衣服图像和模特身份图像输入所述试衣生成网络，以在所述试衣生成网络对所述真实试衣图像、所述变形衣服图像和所述模特身份图像分别进行编码，分别获得变形衣服特征图像、模特身份特征图像和真实试衣特征图像，并融合所述变形衣服特征图像、所述模特身份特征图像、所述真实试衣特征图像和衣服属性信息的语义特征以得到重构特征图像，对所述重构特征图进行解码以生成虚拟试衣图像，包括：

16、将所述真实试衣图像输入所述第二编码模块进行编码，得到所述真实试衣特征图像；

17、将所述变形衣服图像输入所述第二编码模块进行编码，得到所述变形衣服特征图像；

18、将所述模特身份图像输入所述第二编码模块进行编码，得到所述模特身份特征图像；

19、将所述衣服属性信息输入所述文本编码模块，得到所述语义特征，其中，所述衣服属性信息包括衣服类型、领型、袖长和尺码中的至少一种。

20、将所述变形衣服特征图像、所述模特身份特征图像和所述语义特征输入所述特征重构网络，以对所述变形衣服特征图像和所述模特身份特征图像进行卷积运算，获得试衣特征图像，并融合所述试衣特征图像和所述语义特征，得到重构特征图像；

21、将所述重构特征图像输入所述解码模块，得到虚拟试衣图像。

22、在一些实施例中，所述文本编码模块包括文本处理单元和向量编码单元；

23、所述将所述衣服属性信息输入所述文本编码模块，得到语义特征，包括:

24、将所述衣服属性信息的文本描述输入所述文本处理单元，得到语义特征向量；

25、将所述语义特征向量输入所述向量编码单元，得到语义特征。

26、在一些实施例中，所述文本处理单元采用固定长度依次遗忘编码方法对所述衣服属性信息的文本描述进行编码，所述固定长度依次遗忘编码的公式为：

27、

28、其中，t表示当前编码的字符位置,α表示遗忘因子，et表示当前编码的字符；

29、所述向量编码单元采用双向长短期记忆网络对所述语义特征向量进行编码，所述双向长短期记忆网络的编码公式为：

30、f＝bi_lstm(zi1,zi2,…,zit)；

31、其中，bi_lstm表示双向长短期记忆网络，(zi1,zi2,…,zit)表示所述固定长度依次遗忘编码输出的语义特征向量的集合。

32、在一些实施例中，所述融合所述试衣特征图像和所述语义特征，所采用的融合公式为：

33、

34、其中，w表示权重矩阵，f表示所述语义特征，b表示偏差值，tanh(·)表示双曲正切函数，fmc表示所述试衣特征图像。

35、在一些实施例中，所述损失函数为：

36、

37、其中，ll1表示所述损失函数，所述损失为所述重构特征图像和所述真实试衣特征图像之间的低维空间交叉损失，表示第i张所述重构特征图像，表示第i张所述真实试衣特征图像。

38、第二方面，本技术提供一种生成试衣图像的方法，其特征在于，包括：

39、获取待试衣服图像和用户图像；

40、将用户的人体关键点图像和所述待试衣服图像输入虚拟试衣模型的衣服扭曲网络，得到变形待试衣服图像；

41、将所述变形待试衣服图像和用户的身份图像输入所述虚拟试衣模型的试衣生成网络，以在所述试衣生成网络对所述变形待试衣服图像和所述用户的身份图像分别进行编码，分别获得变形待试衣服特征图像和用户的身份特征图像，并融合所述变形待试衣服特征图像、所述用户的身份特征图像和待试衣服属性信息的语义特征以得到用户试衣重构特征图像对所述用户试衣重构特征图像进行解码以生成用户试衣图像；

42、其中，所述虚拟试衣模型采用如上第一方面中任意一项所述的训练虚拟试衣模型的方法训练得到。

43、第三方面，本技术提供一种电子设备，其特征在于，包括：

44、至少一个处理器，以及

45、与所述至少一个处理器通信连接的存储器，其中，

46、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第一方面的方法。

47、第四方面，本技术提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行如上第一方面的方法。

48、本发明实施例的有益效果：区别于现有技术，本技术实施例提供一种训练虚拟试衣模型的方法、生成试衣图像的方法及相关装置，该方法包括使用衣服扭曲网络和试衣生成网络构建虚拟试衣模型，将人体关键点图像和衣服图像输入衣服扭曲网络，得到变形衣服图像。将真实试衣图像、变形衣服图像和模特身份图像输入试衣生成网络，通过融合变形衣服特征图像、模特身份特征图像和衣服属性信息的语义特征，生成重构特征图像。通过解码器对重构特征图像进行解码，生成虚拟试衣图像。利用损失函数对衣服扭曲网络和试衣生成网络进行迭代训练，直到虚拟试衣模型收敛，得到虚拟试衣模型。因为本发明实施例基于重构特征图像和真实试衣特征图像计算损失，即基于低维特征重构损失，而不依赖于像素级的损失作为模型学习的指标，使得基于该损失训练获得的模型更具有生成能力。这种方法有效提升了虚拟试衣的真实感和质量，为在线试衣提供了更好的服务质量和用户体验。