基于生成式的辅助模板增强服装搭配方案生成方法及系统与流程

本公开涉及服装搭配方案推荐技术领域，特别是涉及基于生成式的辅助模板增强服装搭配方案生成方法及系统。

背景技术：

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

由于时尚产业的巨大经济价值，时尚分析的相关研究变得越来越多，特别是服装搭配。由于表示学习的最新进展，当前许多研究致力于互补项之间的相似度，以帮助人们进行服装搭配。从某种意义上说，现有的方法主要是利用先进的神经网络学习潜在的兼容空间，以弥补互补的时尚物品(如衬衫和裤子)之间的巨大差异，直接测量物品之间的兼容程度。假设给定一个上衣，我们首先为给定的上衣绘制一个相容的下衣搭配模板，作为互补搭配服装之间的辅助链接，我们可以从生成式的角度进一步度量它们的搭配。事实上，如何将辅助模板生成无缝的融合到相容性建模中并提高性能存在很大的挑战。另外，如何准确地为给定的上衣生成一个互补的下衣模板来准确的指导相容性建模也面临很大的挑战。

技术实现要素：

为了解决现有技术的不足，本公开提供了基于生成式的辅助模板增强服装搭配方案生成方法及系统；自动为用户进行服装推荐。

第一方面，本公开提供了基于生成式的辅助模板增强服装搭配方案生成方法；

基于生成式的辅助模板增强服装搭配方案生成方法，包括：

构建基于生成式的辅助模板增强服装搭配模型；构建训练集；

将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；

将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；

待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。

第二方面，本公开还提供了基于生成式的辅助模板增强服装搭配方案生成系统；

基于生成式的辅助模板增强服装搭配方案生成系统，包括：

构建模块，其被配置为：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；

模型训练模块，其被配置为：将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；

方案生成模块，其被配置为：将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；

待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

1、该互补模板生成网络可以有效的为给定的上衣绘制一个相容的下衣模板；

2、该方法可以有效的提取服装的视觉和文本特征，并对其进行有效建模；

3、该下衣模板可以辅助指导上衣和下衣的相容性建模。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本公开第一个实施例的所提出的基于生成式的辅助模板增强服装搭配方案，即at-gcm框架。

图2是本公开第一个实施例的互补模板生成网络，主要包含编码器，转换器和解码器三个部分。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一，本实施例提供了基于生成式的辅助模板增强服装搭配方案生成方法；

如图1所示，基于生成式的辅助模板增强服装搭配方案生成方法，包括：

s1：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；

s2：将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；

s3：将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；

待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。

作为一个或多个实施例，所述基于生成式的辅助模板增强服装搭配模型为：

lat-gcm＝lgan(g)+lgan(db)+lgan(f)+lgan(dt)

+lbpr+βlcycp+γlpixel，

其中，lat-gcm为基于生成式的辅助模板增强服装搭配模型的损失函数；

lgan(g)为互补模板生成网络的第一生成器g的损失函数；

lgan(db)为互补模板生成网络的第一判别器db的损失函数；

lgan(f)为互补模板生成网络的第二生成器f的损失函数；

lgan(dt)为互补模板生成网络的第二判别器dt的损失函数；

lcycp为互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数；

lbpr为上衣和下衣的隐含搭配偏好损失函数；

lpixel为下衣搭配模板与正例下衣之间的像素级差异损失函数；

β和γ为权重值，β和γ为0到1间的非负数。

进一步地，所述互补模板生成网络的第一生成器g的损失函数lgan(g)的计算过程为：

其中，为生成的下衣模板，db为判别器用来判别的真实性。

进一步地，所述互补模板生成网络的第一判别器的损失函数lgan(db)的计算过程为：

其中，为输入的上衣图像，为下衣图像。

进一步地，所述互补模板生成网络的第二生成器f的损失函数lgan(f)的计算过程为：

其中，dt为生成器f所对应的判别器，为生成器f重建出的上衣图像。

进一步地，所述互补模板生成网络的第二判别器的损失函数lgan(dt)的计算过程为：

进一步地，所述互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数lcycp的计算过程为：

进一步地，所述下衣搭配模板与正例下衣之间的像素级差异损失函数lpixel的计算过程为：

其中，为下衣图像。

进一步地，所述上衣和下衣的隐含搭配偏好损失函数bpr的计算过程为：

s101：获取上衣的图像和文本描述；获取正例下衣的图像和文本描述；所述正例下衣是指与上衣所匹配的下衣；

s102：从上衣的图像中获取上衣视觉编码；从正例下衣的图像中获取正例下衣的视觉编码；从上衣的文本单词中获取上衣的文本向量；从正例下衣的文本单词中获取正例下衣的文本向量；

s103：从上衣视觉编码中提取上衣视觉特征；从正例下衣的视觉编码中提取正例下衣的视觉特征；从上衣的文本向量中提取上衣文本特征，从正例下衣的文本向量中提取正例下衣的文本特征；

s104：从上衣的视觉特征中提取上衣隐含视觉向量；从正例下衣的视觉特征中提取正例下衣的隐含视觉向量；从上衣的文本特征中提取上衣隐含文本向量；从正例下衣的文本特征中提取正例下衣隐含文本向量；

s105：根据上衣隐含视觉向量、正例下衣的隐含视觉向量、上衣隐含文本向量和正例下衣隐含文本向量；构建物品与物品的相容性模型；

根据正例下衣的视觉编码和正例下衣的下衣搭配模板的视觉编码，构建物品与模板的相容性模型；

s106：基于物品与物品的相容性模型，和物品与模板的相容性模型；构建上衣与正例下衣的相容程度模型；

s107：将s101到s106的步骤中的正例下衣全部替换为负例下衣，然后得到上衣与负例下衣的相容程度模型；所述负例下衣，是指与上衣不搭配的下衣；

s108：将基于上衣与正例下衣的相容程度模型，和上衣与负例下衣的相容程度模型进行作差，得到一个差值，依据所述差值得到上衣和下衣的隐含搭配偏好损失函数lbpr。

作为一个或多个实施例，所述互补模板生成网络，包括第一对抗生成网络和第二对抗生成网络，

所述第一对抗生成网络，包括第一生成器和第一判别器；第一生成器的输入端用于接收待匹配的上衣，第一生成器的输出端输出下衣搭配模板(即为上衣生成一个具有形状和颜色且可用于指导上衣搭配作用的下衣图像)；第一生成器的输出端与第一判别器的输入端连接；

所述第二对抗生成网络，包括第二生成器和第二判别器；第二生成器的输入端用于接收第一生成器输出的下衣搭配模板，第二生成器的输出端与第二判别器连接；

所述第一生成器与第二生成器的结构相同；

所述第一生成器，包括：依次连接的编码器、转换器和解码器。

应理解的，所述第一对抗生成网络，包含第一生成器g和第一判别器db。其中，第一生成器g的网络结构如图2所示，它包含编码器，转换器和解码器三个部分。

以上衣ti为例，通过编码器对上衣的图像进行特征编码，其过程如下：

其中，wk和bk为该网络的相关参数，为relu激活函数，k＝3为该网络的层数。我们取作为上衣的视觉编码。同样我们可以得到下衣bj的视觉编码

转换器将上衣ti的视觉编码转化为下衣模板的视觉编码该网络由残差网络组成：

其中，表示残差函数，θtrans为该网络的相关参数，l＝6为该网络的层数。将作为下衣生成模板的视觉编码。

解码器与编码器相反，解码器将下衣模板的视觉编码重建为低级的图像解码器包含两个反卷积层和一个卷积层。

将认为生成的底部模板不仅要自然真实，而且要与给定的上衣相搭配。因此为了保证训练的稳定性，避免梯度消失，采用下面的最小二乘损失来训练该网络结构：

生成的下衣模板与给定的上衣相匹配，因此采用像素级的l1损失，使得下衣模板与正例下衣之间的像素级差异如下:

为了消除模式崩溃问题，采用第二生成器f使得生成的下衣模板可以循环恢复出给定的上衣为此采用如下的损失函数来训练该网络结构：

由于重建后的上衣应该与给定的上衣保持一致，我们采用循环一致性损失函数来进行拟合：

通过互补模板生成网络为给定的上衣生成相容的下衣搭配模板。

作为一个或多个实施例，所述构建训练集，具体步骤包括：

从时尚穿搭网站爬取若干件上衣，为每一件上衣对应设定一件最佳搭配下衣，同时为每一件上衣设定若干件下衣负例；所述下衣负例即与上衣不搭配的下衣；每一件上衣或下衣都包括对应的图像和文本描述。

应理解的，所述s101中，获取上衣ti，下衣bj的相关图像和文本信息，其中图像为服装的彩色图像，文本为该图像的相关描述信息和类别信息。

进一步地，所述s102中，从上衣的图像中获取上衣视觉编码，是通过第一生成器的编码器得到的。

进一步地，所述s102中，从上衣的文本单词中获取上衣的文本向量，是通过word2vector实现的。

应理解的，s102中，除了视觉信息外，文本信息也可以传达时尚物品的重要特征(如：类别和风格等)。为了有效地编码文本信息，我们首先将每个单词通过word2vector映射成300维的向量。

进一步地，所述s103中，从上衣视觉编码中提取上衣视觉特征，是通过卷积神经网络提取的视觉特征。

进一步地，所述s103中，从上衣的文本向量中提取上衣文本特征，是通过textcnn网络模型提取的。

应理解的，s103中，采用textcnn将每个时尚物品的文本提取得到400维的特征。通过和全局视觉特征同样的映射方式后，我们得到上衣和下衣最终的隐含文本向量为和

应理解的，s103中，为了更好的捕捉服装的显著特征，我们采用全局平均池化法将上衣和下衣的视觉编码和转换为全局视觉特征和

应理解的，s104中，为了增强非线性的相容性建模，通过一个全连接网络将全局视觉特征映射为最终的隐含视觉特征和

以上衣为例，其最终的隐含视觉特征可以通过下面的网络得到：

进一步地，所述s105中，根据上衣隐含视觉向量、正例下衣的隐含视觉向量、上衣隐含文本向量和正例下衣隐含文本向量；构建物品与物品的相容性模型；具体包括：

基于以上的隐含视觉和文本向量对物品-物品相容性进行建模如下：

其中，μ用来权衡视觉和文本模态的重要性，为物品与物品的相容性模型。

应理解的，所述s105中，对于给定的上衣，待推荐的下衣在语义上应该与生成的下衣模板相似。

进一步地，所述s105中，根据正例下衣的视觉编码和正例下衣的下衣搭配模板的视觉编码，构建物品与模板的相容性模型，具体为：

定义下衣的视觉编码与生成的下衣模板的视觉编码之间的相似性为物品-模板的相容性匹配：

进一步地，所述s106中，基于物品与物品的相容性模型，和物品与模板的相容性模型；构建上衣与正例下衣的相容程度模型；具体包括：

上衣ti和下衣bj之间的相容程度定义为：

进一步地，所述s108中，将基于上衣与正例下衣的相容程度模型，和上衣与负例下衣的相容程度模型进行作差，得到一个差值，依据所述差值得到上衣和下衣的隐含搭配偏好损失函数bpr；具体包括：

引入下衣负例bk并采用贝叶斯个性化排名框架来对上衣和下衣的隐含搭配偏好进行建模：

lbpr＝-ln(δ(mijk))，

其中，mijk＝mij-mik，mik为上衣ti和下衣负例bk之间的相容程度。

实施例二，本实施例还提供了基于生成式的辅助模板增强服装搭配方案生成系统；

基于生成式的辅助模板增强服装搭配方案生成系统，包括：

构建模块，其被配置为：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；

模型训练模块，其被配置为：将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；

方案生成模块，其被配置为：将待搭配的上衣，输入到基于训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；

待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。

实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。

实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。