训练动态试衣模型的方法、生成试衣视频的方法及相关装置与流程

本技术涉及视频处理，公开了一种训练动态试衣模型的方法、生成试衣视频的方法及相关装置。

背景技术：

1、随着现代科技的不断进步，网购规模不断增加，用户可以通过手机在网络购物平台上购买衣物，但是，由于用户获取的待售衣物的信息一般是二维展示图片，用户无法知道这些衣物穿戴在自己身上的效果，因而可能会导致买到不适合自己的衣物，购物体验较差。

2、随着生成式对抗网络的不断发展，虚拟试衣已经能生成非常逼真的试衣图像。动态虚拟试衣是在生成试衣图像的基础上进一步生成试衣视频，给用户提供更加逼真流畅的动态试衣体验，然而，目前现有的动态试衣技术展现出来的试衣效果视频帧之间的连续性不佳，可能出现卡顿抖动等现象。

技术实现思路

1、本技术实施例提供一种动态试衣模型的训练方法、生成视频的方法和相关装置，通过利用光流图集的所有光流特征信息指导生成当前帧真实试衣图像的光流图，能提高试衣视频帧之间的连续性，减少试衣视频的卡顿抖动现象。

2、第一方面，本技术实施例提供一种动态试衣模型的训练方法，该动态试衣模型包括衣服扭曲网络和试衣生成网络，该方法包括：

3、获取训练集，其中，所述训练集包括多个训练数据，所述训练数据包括衣服图像和真实试衣视频，所述真实试衣视频包括多帧真实试衣图像，所述真实试衣图像中模特穿着所述衣服图像对应的衣服；

4、将所述模特的身体躯干图、人体关键点图像、所述衣服图像和光流图集输入所述衣服扭曲网络，得到当前帧真实试衣图像的光流图，其中，所述当前帧是指动态试衣模型当前正在处理的帧，所述光流图集包括第一帧真实试衣图像的光流图至当前帧的前一帧真实试衣图像的光流图；

5、根据所述当前帧真实试衣图像的光流图对所述衣服图像进行扭曲变形，得到预测变形衣服图像；

6、将所述身体躯干图、人体关键点图像、所述预测变形衣服图像输入所述试衣生成网络，得到当前帧的预测试衣效果图；

7、采用损失函数对所述衣服扭曲网络和所述试衣生成网络进行迭代训练，直到所述动态试衣模型收敛，得到所述动态试衣模型。

8、在一些实施例中，所述衣服扭曲网络包括第一编码模块、第二编码模块、第一解码模块和记忆模块，所述记忆模块存储有所述光流图集；所述将所述模特的身体躯干图、人体关键点图像、所述衣服图像和光流图集输入所述衣服扭曲网络，得到当前帧真实试衣图像的光流图，包括：

9、将当前帧的前一帧真实试衣图像的人体解析图和人体关键点图输入所述第一编码模块进行编码，得到第一特征图；

10、将当前帧真实试衣图像的身体躯干图、人体关键点图和所述衣服图像输入所述第二编码模块进行编码，得到第二特征图；

11、融合所述第一特征图和所述第二特征图，得到多个不同尺寸的第三特征图；

12、融合所述多个不同尺寸的第三特征图以及第一帧真实试衣图像至当前帧的前一帧真实试衣图像的光流图，获得第四特征图；

13、将所述第四特征图输入所述第一解码模块，获得所述当前帧真实试衣图像的光流图。

14、在一些实施例中，所述第一解码模块输出的当前帧真实试衣图像的光流图为低分辨率光流图，所述方法还包括：

15、对所述低分辨率光流图进行上采样操作，得到高分辨率的当前帧真实试衣图像的光流图。

16、在一些实施例中，所述试衣生成网络包括第三编码模块、第四编码模块和第二解码模块；所述将所述模特的身体躯干图、人体关键点图像、所述预测变形衣服图像输入所述试衣生成网络，得到当前帧真实试衣图像的的预测试衣效果图，包括：

17、将当前帧的前一帧真实试衣图像的预测试衣效果图和人体关键点图输入第三编码模块进行编码，得到第五特征图；

18、将当前帧真实试衣图像的人体保留区域图、人体关键点图和预测变形衣服图像输入第四编码模块进行编码，得到第六特征图；

19、融合所述第五特征图与第六特征图得到第七特征图；

20、将所述第七特征图输入第二解码模块进行解码，得到当前帧真实试衣图像的的预测试衣效果图。

21、在一些实施例中，所述采用损失函数为：

22、loss1＝lwarp+λ1lgen；

23、其中，

24、所述loss1为所述损失函数，所述lwarp为衣服扭曲变量损失，所述lgen为试衣生成变量损失，所述lcon为试衣生成边缘损失，所述为试衣感知损失，所述λ1和λ2为超参数。

25、在一些实施例中，所述衣服扭曲变量损失为：

26、

27、所述edget是当前帧t真实衣服边缘图像，所述是当前帧t预测变形衣服边缘图像，所述代表当前帧t真实变形衣服图像，所述代表当前帧t预测变形衣服图像，vggi和ni分别代表是vgg19网络第i层中的特征图和特征元素数,m表示vgg19网络的层数；

28、在一些实施例中，所述试衣生成边缘损失为：

29、

30、所述感知损失为：

31、

32、所述当前帧t真实试衣效果图，所述当前帧t预测试衣效果图，vggi和ni分别代表是vgg19网络第i层中的特征图和特征元素数,m表示vgg19网络的层数，其中，所述λ3为超参数。

33、第二方面，本技术提供一种生成试衣视频的方法，该方法包括：

34、获取待试衣服图像和用户视频，所述用户视频包括多帧用户图像；

35、将所述用户的身体躯干图像、用户的人体关键点图像、所述待试衣服图像和用户的光流图集输入动态试衣模型的衣服扭曲网络，得到用户的当前帧真实试衣图像的光流图，所述用户的光流图集包括所述用户视频中第一帧用户图像的光流图至当前帧的前一帧用户图像的光流图，所述动态试衣模型还包括试衣生成网络；

36、根据所述当前帧真实试衣图像的光流图对所述待试衣服图像进行扭曲变形，得到变形待试衣服图像；

37、将所述用户的身体躯干图像、用户的人体关键点图像、所述变形待试衣服图像输入所述试衣生成网络，得到用户的当前帧的预测试衣效果图；

38、将用户的每一帧用户图像进行如上相同处理，逐帧生成试衣视频。

39、其中，所述动态试衣模型采用如上第一方面中任意一项所述的训练动态试衣模型的方法训练得到。

40、第三方面，本技术还提供了一种计算机设备，包括：

41、至少一个处理器，以及

42、与至少一个处理器通信连接的存储器，其中，

43、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上第一方面中的方法。

44、第四方面，本技术实施例中提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机设备执行如上第一方面的方法。

45、本发明实施例的有益效果：区别于现有技术，本技术实施例提供一种训练动态试衣模型的方法，第一方面，构建衣服扭曲网络，将模特的身体躯干图、人体关键点图像、衣服图像和光流图集输入衣服扭曲网络，得到当前帧真实试衣图像的光流图，根据当前帧真实试衣图像的光流图指导衣服图像变形得到当前帧的预测变形衣服图像。本技术提出的技术方案得到的当前帧真实试衣图像的光流图是通过利用光流图集的所有光流特征信息与当前帧特征图像进行融合解码得到，基于当前帧真实试衣图像的光流图指导衣服变形，通过实施上述技术方案能够增强连续帧之间衣服变形的连续性和一致性，使预测变形衣服图像呈现真实自然的变形效果。

46、第二方面，构建试衣生成网路，将身体躯干图、人体关键点图像、预测变形衣服图像输入试衣生成网络，得到当前帧预测试衣效果图。该方案得到的当前帧预测试衣效果图基于上述衣服扭曲网络生成的预测变形衣服图像生成，得到的试衣效果真实自然且连续帧之间的试衣效果平滑流畅。