虚拟换装方法、装置、计算机设备和存储介质与流程

本技术涉及人工智能，特别是涉及一种虚拟换装方法、装置、计算机设备和存储介质。

背景技术：

1、随着人工智能技术的发展，出现了虚拟换装技术，在诸多创新性应用中，尤其在电商领域，一方面虚拟换衣任务支持买方上传照片进行匹配实现买方的虚拟试穿；另一方面，对于卖家来说，找职业模特约拍服饰费时费力，性价比很低。因此，虚拟换装的需求越来越强烈。

2、传统技术中，需要收集配对的服装图片、模特图片以及模特试穿图片作为训练数据，以进行虚拟换装任务的学习。但是，配对模特图片以及模特试穿图片需要保证同一模特同一姿势，可见对于虚拟换装任务来说，训练数据收集的代价是很昂贵的。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够降低成本的虚拟换装方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种虚拟换衣方法。所述方法包括：

3、从包括处于第一姿态、且穿戴目标服装的对象的第一样本图中，提取第一对象数据；

4、从包括处于第二姿态、且穿戴所述目标服装的对象的第二样本图中，提取第二服装数据和第二对象数据；

5、将第一对象数据和第二服装数据输入至待训练的换衣模型，预测得到第一换衣图像；所述第一换衣图像中呈现处于所述第一姿态的对象穿戴所述目标服装时的效果；

6、将所述第一换衣图像中所述目标服装的服装数据和所述第二对象数据输入至所述待训练的换衣模型，预测得到第二换衣图像；所述第二换衣图像中呈现处于所述第二姿态的对象穿戴所述目标服装时的效果；

7、基于所述第一换衣图像与所述第一样本图之间的差异、以及所述第二换衣图像与所述第二样本图之间的差异进行模型训练，得到训练完毕的换衣模型。

8、在一些实施例中，将用于预测目标换衣图像的对象数据和服装数据输入至待训练的换衣模型，以预测所述目标换衣图像的处理步骤，包括：

9、对输入至所述待训练的换衣模型的对象数据和服装数据进行多分辨率编码处理，得到每个分辨率层级的对象编码数据和服装编码数据；

10、对同一分辨率层级的对象编码数据和服装编码数据进行融合处理，得到每个分辨率层级的融合编码数据；

11、基于各分辨率层级的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述目标换衣图像；

12、其中，所述目标换衣图像包括第一换衣图像或第二换衣图像中的任意一种。

13、在一些实施例中，所述方法还包括：

14、将第一分辨率层级的对象编码数据和服装编码数据进行进阶编码，得到进阶编码的对象编码数据和进阶编码的服装编码数据；所述进阶编码的对象编码数据和进阶编码的服装编码数据的分辨率低于所述第一分辨率层级的对象编码数据和服装编码数据；

15、对进阶编码的对象编码数据和进阶编码的服装编码数据进行初步融合，得到初步融合编码数据；

16、所述对同一分辨率层级的对象编码数据和服装编码数据进行融合处理，得到每个分辨率层级的融合编码数据，包括：

17、将所述初步融合编码数据、以及第一个分辨率层级的对象编码数据和服装编码数据确定为第一个分辨率层级对应的融合模块的输入，得到第一分辨率层级对应的融合模块输出的第一分辨率层级的融合编码数据；

18、从所述第一个分辨率层级的下一分辨率层级起依次确定当前分辨率层级，将所述当前分辨率层级的上一分辨率层级的融合编码数据和所述当前分辨率层级的对象编码数据和服装编码数据确定为所述当前分辨率层级对应的融合模块的输入，得到所述当前分辨率层级对应的融合模块输出的融合编码数据。

19、在一些实施例中，所述方法还包括：

20、对进阶编码的对象编码数据进行上采样，得到上采样后的编码数据；

21、所述将所述初步融合编码数据、以及第一个分辨率层级的对象编码数据和服装编码数据确定为第一个分辨率层级对应的融合模块的输入，得到第一分辨率层级对应的融合模块输出的第一分辨率层级的融合编码数据，包括：

22、将所述初步融合编码数据、所述上采样后的编码数据以及第一个分辨率层级的对象编码数据和服装编码数据确定为第一个分辨率层级对应的融合模块的输入，得到第一分辨率层级对应的融合模块输出的第一分辨率层级的融合编码数据。

23、在一些实施例中，所述目标换衣图像为最后一个分辨率层级的换衣结果；所述基于各分辨率层级的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述目标换衣图像，包括：

24、根据第一个分辨率层级的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述第一个分辨率层级的换衣结果；

25、将所述第一个分辨率层级的下一分辨率层级起依次确定当前分辨率层级，根据所述当前分辨率层级的上一分辨率层级的换衣结果以及所述当前分辨率层的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述当前分辨率层级的换衣结果；其中，各分辨率层级的换衣结果对应的分辨率不同。

26、在一些实施例中，所述方法还包括：

27、从所述第一样本图中提取第一服装数据；

28、确定所述待训练的换衣模型输出的第一服装预测数据和第二服装预测数据；所述第一服装预测数据用于表征所述第一换衣图像中所述目标服装；所述第二服装预测数据用于表征所述第二换衣图像中所述目标服装；

29、所述基于所述第一换衣图像与所述第一样本图之间的差异、以及所述第二换衣图像与所述第二样本图之间的差异进行模型训练，得到训练完毕的换衣模型，包括：

30、根据第一差异、第二差异、第三差异以及第四差异进行模型训练，得到训练完毕的换衣模型；所述第一差异是指所述第一换衣图像与所述第一样本图之间的差异；所述第二差异是指所述第二换衣图像与所述第二样本图之间的差异；所述第三差异是指所述第一服装数据与所述第一服装预测数据之间的差异；所述第四差异是指所述第二服装数据与所述第二服装预测数据之间的差异。

31、在一些实施例中，所述第一对象数据包括第一对象掩码；所述第二对象数据包括第二对象掩码；所述方法还包括：

32、确定所述待训练的换衣模型输出的第一对象预测掩码和第二对象预测掩码；所述第一对象预测掩码为第一换衣图像中所述对象的掩码；所述第二对象预测掩码为所述第二换衣图像中所述对象的掩码；

33、所述根据第一差异、第二差异、第三差异以及第四差异进行模型训练，得到训练完毕的换衣模型包括：

34、根据第一差异、第二差异、第三差异、第四差异、第五差异以及第六差异进行模型训练，得到训练完毕的换衣模型；所述第五差异是指所述第一对象掩码与所述第一对象预测掩码之间的差异；所述第六差异是指所述第二对象掩码与所述第二对象预测掩码之间的差异。

35、第二方面，本技术还提供了一种虚拟换衣装置。所述装置包括：

36、提取单元，用于从包括处于第一姿态、且穿戴目标服装的对象的第一样本图中，提取第一对象数据；从包括处于第二姿态、且穿戴所述目标服装的对象的第二样本图中，提取第二服装数据和第二对象数据；

37、第一训练单元，用于将第一对象数据和第二服装数据输入至待训练的换衣模型，预测得到第一换衣图像；所述第一换衣图像中呈现处于所述第一姿态的对象穿戴所述目标服装时的效果；

38、第二训练单元，用于将所述第一换衣图像中所述目标服装的服装数据和所述第二对象数据输入至所述待训练的换衣模型，预测得到第二换衣图像；所述第二换衣图像中呈现处于所述第二姿态的对象穿戴所述目标服装时的效果；

39、优化单元，用于基于所述第一换衣图像与所述第一样本图之间的差异、以及所述第二换衣图像与所述第二样本图之间的差异进行模型训练，得到训练完毕的换衣模型。

40、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法中的步骤。

41、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法中的步骤。

42、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

43、上述虚拟换衣方法、装置、计算机设备、存储介质和计算机程序产品，从第一样本图中提取第一对象数据；从第二样本图中提取第二服装数据和第二对象数据；第一样本图和第二样本图无需保证同一对象同一姿势，只需要图中对象穿戴目标服装且姿态不同即可，数据收集的难度和成本大大降低。将第一对象数据和第二服装数据输入至待训练的换衣模型，预测得到第一换衣图像；第一换衣图像中呈现处于第一姿态的对象穿戴目标服装时的效果；进而将第一换衣图像中目标服装的服装数据和第二对象数据输入至待训练的换衣模型，预测得到第二换衣图像，每次训练得到的第一换衣图像中目标服装会有所不同，相较于直接采用第一样本图的目标服装的服装数据作为输入，能够增强虚拟换衣学习的泛化性，并且使用第一换衣图像反向监督生成第二换衣图像也提高了数据的利用率。第二换衣图像中呈现处于第二姿态的对象穿戴目标服装时的效果。不只是基于第一换衣图像与第一样本图之间的差异，还结合了第二换衣图像与第二样本图之间的差异进行模型训练，得到训练完毕的换衣模型，通过更易采集的第一样本图和第二样本图就能准确地训练出换衣模型，降低了成本。