虚拟试衣模型的训练方法、虚拟试衣方法及电子设备与流程

本技术实施例涉及图像处理，尤其涉及一种虚拟试衣模型的训练方法、虚拟试衣方法及电子设备。

背景技术：

1、虚拟试衣，指的是通过虚拟的技术手段，通过虚拟试衣装置将自动显示试穿新衣以后的三维图像。虚拟试衣技术让客户不用脱去身上衣服的情况下，实现换上新衣查看效果的一种技术应用。

2、目前，线下智能试装多采用的是互动试衣镜设备，购物者站在试衣镜前，选择试穿服装，试衣镜会根据用户的基本特征和服装款式进行整体的着装展示，用户可以自由进行服装的切换。线上试装一般通过拍摄用户图像，选择系统提供的目标服饰，进行自动替换。然而无论是智能试衣镜还是线上虚拟试装，现有技术大多采用的都是通过采集人体数据，经3d建模的方式重塑用户形象，服饰与用户形象的结合往往不够贴切，缺少自然感，导致用户体验较差，同时采集人体和服饰的3d信息通常成本较高且较为繁琐。因此近年来基于2d图像的虚拟试衣成为主要的研究方向。

3、现有的虚拟试衣算法需要先对衣服进行变形，然后通过生成网络进行图像生成，但是，这种方式很大程度上依赖于衣服变形的效果以及衣服图片本身的立体感，衣服变形效果不佳，会导致衣服图片的分辨率低，同时，衣服图片缺少立体感将导致试衣效果不佳。

技术实现思路

1、本技术实施例提供一种虚拟试衣模型的训练方法、虚拟试衣方法及电子设备，以解决目前先对衣服进行变形，然后通过生成网络进行图像生成存在的试衣效果不佳的问题，增强衣服图像的清晰度以及虚拟试衣效果。

2、第一方面，本技术实施例中提供一种虚拟试衣模型的训练方法，虚拟试衣网络包括初步试衣网络和纹理重构扩散网络，初步试衣网络包括衣服风格编码模块、人像特征编码模块及初步试衣解码模块，方法包括：

3、获取图像数据集，其中，图像数据集包括衣服图像和模特图像；

4、通过人像特征编码模块对模特图像进行特征提取，得到第一特征图；

5、通过衣服风格编码模块对衣服图像进行特征提取，得到第二特征图；

6、对第一特征图和第二特征图进行拼接，得到拼接特征图，并将拼接特征图输入初步试衣解码模块进行解码，得到初步试衣效果图；

7、将初步试衣效果图输入到纹理重构扩散网络，得到高清纹理试衣效果图；

8、构建第一模型损失函数，基于图像数据集对初步试衣网络进行训练，直至第一模型损失函数收敛，第一模型损失函数包括内容损失和感知损失；

9、构建第二模型损失函数，基于初步试衣效果图对纹理重构扩散网络进行训练，直至第二模型损失函数收敛，以生成虚拟试衣模型，其中，第二模型损失函数包括扩散偏量损失和扩散感知损失。

10、在一些实施例中，衣服图像和模特图像一一对应，方法还包括：

11、对衣服图像和模特图像进行预处理，具体包括：

12、通过u2-net网络对衣服图像和模特图像进行外轮廓提取，并分别去除衣服图像和模特图像的背景信息，分别得到处理之后的衣服图像和处理之后的模特图像。

13、在一些实施例中，纹理重构扩散网络包括编码模块、卷积模块以及解码模块；

14、将初步试衣效果图输入到纹理重构扩散网络，得到高清纹理试衣效果图，包括：

15、将初步试衣效果图输入到编码模块，得到第三特征图；

16、对第三特征图添加高斯噪声，得到加噪后的特征图，并将加噪后的特征图输入到卷积模块，得到第四特征图；

17、将第四特征图输入到解码模块，得到高清纹理试衣效果图。

18、在一些实施例中，编码模块包括若干层第一神经网络层，其中，每一层第一神经网络层包括卷积层、激活函数层以及批归一化层；

19、解码模块包括若干层第二神经网络层，其中，每一层第二神经网络层包括转置卷积层、激活函数层以及批实例归一化层。

20、在一些实施例中，第一模型损失函数，包括：

21、

22、其中，loss1为第一模型总损失，lcon为内容损失，为感知损失，λ1为第一超参数。

23、在一些实施例中，内容损失，包括：

24、lcon＝||xgt-xfirst||l1

25、其中，lcon为内容损失，xgt为真实样本，xfirst为初步试衣效果图，||xgt-xfirst||l1为计算xgt和xfirst的绝对差值。

26、在一些实施例中，感知损失，包括：

27、

28、其中，为感知损失，xgt为真实样本，xfirst为初步试衣效果图，vggi(xgt)为真实样本输入到vgg网络中获得第i个特征尺度的特征值，ni为vgg网络第i层的特征元素数，m为vgg网络的层数，||vggi(xgt)-vggi(xfirst)||l1为计算vggi(xgt)和vggi(xfirst)的绝对差值。

29、在一些实施例中，第二模型损失函数，包括：

30、loss2＝ldiffusion+λ2lpercept

31、其中，loss2为第二模型总损失，ldiffusion为扩散偏量损失，λ2为第二超参数，lpercept为扩散感知损失。

32、在一些实施例中，扩散偏量损失，包括：

33、

34、其中，ldiffusion为扩散偏量损失，mhead为人体保留区域图中的人体头部区域，θ(xfirst)为将初步试衣效果图输入到扩散模型后输出的结果，为高清纹理试衣效果图，为计算的平均标准差。

35、在一些实施例中，扩散感知损失，包括：

36、

37、其中，lpercept为扩散感知损失，mhead为人体保留区域图中的人体头部区域，θ(xfirst)为将初步试衣效果图输入到扩散模型后输出的结果，为高清纹理试衣效果图，ni为vgg网络第i层的特征元素数，(1-mhead)·θ(xfirst)为除开脸部区域的初步试衣效果图经过扩散模型输出的结果，为除开脸部区域的高清纹理试衣效果图，vggi((1-mhead)·θ(xfirst))为除开脸部区域的初步试衣效果图经过扩散模型输出的结果的非脸部区域经过vgg网络编码输出的特征图，vggi((1-mhead)·xt为高清纹理试衣效果图的非脸部区域经过vgg网络输出的特征图，m为vgg网络的层数，为计算vggi((1-mhead)·θ(xfirst))和的平均标准差。

38、第二方面，本技术实施例提供一种虚拟试衣方法，包括：

39、获取待试衣的衣服图像和用户图像；

40、将待试衣的衣服图像和用户图像输入虚拟试衣模型，得到待试衣的衣服图像对应的试衣图像，其中，虚拟试衣模型是基于上述的方法进行训练得到的。

41、第三方面，本技术实施例提供一种电子设备，包括：

42、至少一个处理器，以及

43、与至少一个处理器通信连接的存储器，其中，

44、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面或第二方面的方法。

45、第四方面，本技术实施例提供一种非易失性计算机可读存储介质，非易失性计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使电子设备执行如上述第一方面提供的虚拟试衣模型的训练方法或者第二方面提供的虚拟试衣方法。

46、本技术实施例的有益效果：区别于现有技术的情况，本技术实施例提供的一种虚拟试衣模型的训练方法，虚拟试衣网络包括初步试衣网络和纹理重构扩散网络，初步试衣网络包括衣服风格编码模块、人像特征编码模块及初步试衣解码模块，方法包括：获取图像数据集，其中，图像数据集包括衣服图像和模特图像；通过衣服风格编码模块对衣服图像进行特征提取，得到第一特征图；通过人像特征编码模块对模特图像进行特征提取，得到第二特征图；对第一特征图和第二特征图进行拼接，得到拼接特征图，并将拼接特征图输入初步试衣解码模块进行解码，得到初步试衣效果图；将初步试衣效果图输入到纹理重构扩散网络，得到高清纹理试衣效果图；构建第一模型损失函数，基于图像数据集对初步试衣网络进行训练，直至第一模型损失函数收敛，第一模型损失函数包括内容损失和感知损失；构建第二模型损失函数，基于初步试衣效果图对纹理重构扩散网络进行训练，直至第二模型损失函数收敛，以生成虚拟试衣模型，其中，第二模型损失函数包括扩散偏量损失和扩散感知损失。

47、一方面，通过将衣服风格编码模块对衣服图像进行特征提取，得到第一特征图，通过人像特征编码模块对模特图像特征提取，得到第二特征图，对第一特征图和第二特征图进行拼接，得到拼接特征图，并将拼接特征图输入初步试衣解码模块进行解码，得到初步试衣效果图，进一步，通过纹理重构扩散网络对初步试衣效果图进行纹理重构，得到高清纹理试衣效果图，能够提高试衣效果图的清晰度；

48、另一方面，构建第一模型损失函数进行训练，第一模型损失函数包括内容损失和感知损失，得到初步试衣效果图，构建第二模型损失函数，并将初步试衣效果图作为第二模型损失函数的输入数据，第二模型损失函数包括扩散偏量损失和扩散感知损失，对虚拟试衣网络进行训练，以生成虚拟试衣模型，本技术能够增强试衣效果。