一种知识融合的服饰试衣服务计算方法与系统

本发明涉及图像处理和虚拟试衣的，具体涉及一种利用知识融合的服饰试衣服务计算方法与系统。

背景技术：

1、随着互联网技术的发展与普及，越来越多的人选择通过网上购物来购买服装，而在这样的购物过程中，虚拟试衣技术成为了一项方便且实用的技术。相较于实体店购物，网上购物具有更多的商品种类、方便等优点，但是该方式也存在着缺陷，让消费者难以获得更符合个人需要的购物体验，其中一个最突出的问题是无法提供与个人实际身形相符合的效果图。虚拟试衣技术的出现则是解决了这一问题，使得消费者可以通过虚拟试衣技术在网上体验穿衣效果，从而更加直观地选择符合自己需求的服装，提高消费者体验。

2、虚拟试衣旨在将店内服装穿到参考人体对应部位并且实现高质量的效果。近年来，虚拟试衣在电子商务和图像编辑等领域越来越收到关注。现有的方法可以粗略地分为基于三维和基于二维两类方法。基于三维的方法通过复杂的渲染实现了对材料和服装变形的优秀控制，但这些方法严重依赖于复杂的数据表示，并消耗大量的计算资源。相比之下，基于二维的方法由于数据更加轻量级，更加适用于真实世界的场景，并且这类方法已经在生成逼真试衣效果方便去的了巨大的进展。然而大部分现有的方法在处理复杂姿势和服装变形较大时仍然存在着较大的未对齐和伪影问题。

3、目前的现有技术之一是zhao f等《a monocular-to-3d virtual try-onnetwork》所提出的一种基于人工智能的三维模型虚拟试衣方法，主要通过三维建模和复杂渲染技术实现。该技术方案主要包括了三维建模技术、三维渲染技术、人体建模技术以及人体姿态估计和追踪技术。三维虚拟试衣适用于一些特殊领域的需求，比如高端定制、虚拟现实等。该方法的缺点是：虽然基于三维的方法通过复杂的渲染实现了对材料和服装变形的优秀控制，但这些方法严重依赖于复杂的数据表示，并消耗大量的计算资源。

4、目前的现有技术之二是he s等《style-based global appearance flow forvirtual try-on》所提出的一种基于深度学习技术实现的二维虚拟试衣技术。首先对输入的图片进行预处理，通过人体解析获取姿态图、人体关键点图等基础信息。接着将这些数据和目标服装图片输入至神经网络中进行训练，现有方法基本上首先特征金字塔网络提取特征，然后通过外观流或薄板样条变换，将得到的服装变形特征再次输入至负责合成的神经网络中进行训练得到最终的试衣结果。该方法的缺点是：1)服装变形预测时使用的全局指导参数不能够有效的代表全局特征，导致最终的试衣结果整体效果不好；2)对服装的变形缺乏约束，导致当参考服装和目标服装空间差距较大时，最汇总的试衣结果更加趋向于参考服装形状。

技术实现思路

1、本发明的目的是克服现有方法的不足，提出了一种知识融合的服饰试衣服务计算方法与系统。本发明解决的主要问题在于：1)如何克服现有三维虚拟试衣技术主要在三维扫描和建模的基础上进行虚拟试装，造成的安装硬件成本高，3d建模计算量大，效率较低，不适合商业中大规模普及等问题；2)如何解决现有二维虚拟试衣技术对目标服装的变形的全局效果较差且缺乏局部约束，容易造成错位、伪影等问题。

2、为了解决上述问题，本发明提出了一种知识融合的服饰试衣服务计算方法，所述方法包括：

3、从服装数据集筛选并输入参考人物图片和目标服装图片，并处理成统一尺寸，然后输入所述参考人物图片和目标服装图片至两个结构完全相同的特征金字塔网络中进行特征提取，输出参考人物特征和目标服装特征；

4、输入所述参考人物特征和目标服装特征至双流瓶颈变形器中进行特征融合，得到隐空间向量；

5、将所述参考人物特征和目标服装特征和所述隐空间向量输入至服装变形模块，按照级联的方式对来自所述特征金字塔网络的每一层特征进行处理，每一层级的处理都会得到一个中间流，通过复用上一层级的中间流，得到最终的外观流；

6、将所述参考人物特征和目标服装特征，以及所述最终的外观流输入至合成网络中，得到合成的试衣结果。

7、优选地，所述从服装数据集筛选并输入参考人物图片和目标服装图片，并处理成统一尺寸，然后输入所述参考人物图片和目标服装图片至两个结构完全相同的特征金字塔网络中进行特征提取，输出参考人物特征和目标服装特征，具体为：

8、所述服装数据集来源于服装购物网站，输入部分包括所述参考人物图片和目标服装图片，其中所述参考人物图片指包含需要换装的人的图片，不仅包括其原图，还包括从人体解析器得到的人体姿势和关键点图；所述目标服装图片指需要替换的服装图片，该服装图片需要尽可能保留服装的纹理、形状；

9、将参考人物和目标服装对应的特征标记为和设置所述特征金字塔网络层数为n＝5，采用来自该特征金字塔网络最后一层的特征p5和c5，作为所述双流瓶颈变形器的输入特征。

10、优选地，所述输入所述参考人物特征和目标服装特征至双流瓶颈变形器中进行特征融合，得到隐空间向量，具体为：

11、基于umt(unified multi-modal transformers，统一多模式transformers模型)的设计，引入一个可学习参数其中，nb是一个小于特征维度h的数值，随后对每个流的特征进行压缩，具体如下：

12、

13、其中，w{q,k,v,z}分别表示query、key、value和输出矩阵的线性变换权重，zi表示瓶颈tokens的输入，z′i表示压缩特征；

14、将所述压缩特征z′i作为输入，通过特征扩展公式获取融合后的特征，所述特征扩展公式具体如下：

15、

16、其中，x′i表示第i个切片的双流交叉增强特征，即和均通过所述特征扩展公式获得；

17、将所述第i个切片的双流交叉增强特征x′i输入至卷积神经网络中进行最后阶段的特征融合，最终输出融合后的隐空间向量l，具体如下：

18、

19、优选地，所述将所述参考人物特征和目标服装特征和所述隐空间向量输入至服装变形模块，按照级联的方式对来自所述特征金字塔网络的每一层特征进行处理，每一层级的处理都会得到一个中间流，通过复用上一层级的中间流，得到最终的外观流，具体为：

20、输入本层级的目标服装特征ci、上一层级的外观流fi-1和上一层级的自注意力图atti-1，将ci和fi-1进行上采样，得到ci和fi-1的上采样结果；

21、将所述ci和fi-1的上采样结果再与上一级获取的自注意力图atti-1做点积，获取一个新的外观流；

22、将所述新的外观流和融合后的隐空间向量l输入至调制卷积神经网络中进行卷积操作，得到所述中间流，具体如公式所示：

23、

24、其中，fmi是经过隐空间向量指导的中间流，convm表示卷积操作，表示上采样操作；

25、输入所述中间流和所述参考服装特征pi至卷积神经网络中，逐层输出后一个层级得到的结果，最后输出所述最终的外观流。

26、优选地，所述自注意力图atti，具体为：

27、通过对所述中间流进行稀疏空间采样得到，具体如公式所示：

28、

29、其中，h为所述特征维度，k为固定采样点数量，从所述中间流最后的特征为度开始进行采样。

30、优选地，所述将所述参考人物特征和目标服装特征，以及所述最终的外观流输入至合成网络中，得到合成的试衣结果，具体为：

31、合成网络是unet的结构，具备编码器和解码器的架构，中间有跳过链接，其生成公式如下所示：

32、

33、其中，表示生成器，表示上采样操作，c表示特征金字塔网络输出的目标服装特征，i表示参考人物图对应的地面真值，fn表示所述最终的外观流；

34、训练时，通过来最小化合成模块的参数，其表达如下所示：

35、

36、其中，λp、λwarp、λsec和λd分别是平衡四个损失的超参数，表示模型生成的试衣结果is和地面真值igt之间的感知损失，的计算公式如下所示：

37、

38、其中，φi表示与训练模型vgg的第i个区块；

39、用表示监督服装变形模块的损失，具体如下：

40、

41、其中，mc表示所述模型生成的地面真值igt中对应的服装掩码，这个结果是由人体解析得到的；

42、为了更好地保存服装的细节，引入二阶平滑约束具体如下：

43、

44、其中，δ表示广义夏博尼尔损失函数；

45、此外，考虑到采用知识蒸馏策略训练时会使用相同的方式训练出一个老师模型，该老师模型会具有一定的错误，为此增加一个蒸馏损失加以判别，来让学生模型具有一定的判别能力，具体如下：

46、

47、其中，pti表示学生模型中的来自特征金字塔提取的参考人物特征，psi表示老师模型中的来自特征金字塔提取的参考人物特征。

48、相应地，本发明还提供了一种知识融合的服饰试衣服务计算系统，包括：

49、特征提取单元，用于从服装数据集筛选并输入参考人物图片和目标服装图片，并处理成统一尺寸，然后输入所述参考人物图片和目标服装图片至两个结构完全相同的特征金字塔网络中进行特征提取，输出参考人物特征和目标服装特征；

50、特征融合单元，用于输入所述参考人物特征和目标服装特征至双流瓶颈变形器中进行特征融合，得到隐空间向量；

51、服装变形单元，用于将所述参考人物特征和目标服装特征和所述隐空间向量输入至服装变形模块，按照级联的方式对来自所述特征金字塔网络的每一层特征进行处理，每一层级的处理都会得到一个中间流，通过复用上一层级的中间流，得到最终的外观流；

52、结果合成单元，用于将所述参考人物特征和目标服装特征，以及所述最终的外观流输入至合成网络中，得到合成的试衣结果。

53、实施本发明，具有如下有益效果：

54、本发明没有借助任何三维数据，输入为二维图片，应用了二维图片深度学习算法，相比于昂贵的三维硬件采集设备和计算量较大的三维计算，成本低，效率高。发明中各部分之间的输入输出互相联系，进行不同特征的提取和整合，提高了效率，使生成的结果更加符合人的预期。

55、本发明主要针对了现有二维试衣方法的两个缺陷做了改进，通过将参考人体和目标服装特征先输入至双流瓶颈变形器中进行特征的融合，获取到更具有全局代表性的隐空间向量来用于全局指导，使得最终的试衣结果整体质量提高。

56、本发明在外观流预测过程中，还引入了洗漱空间采样策略，通过对采样点提取起局部自注意力图来加强相邻点之间的长期联系，以此加强了服装变形的局部约束，使得最终的试衣结果在参考服装和目标服装空间差异较大时具有更好的效果。