一种基于人体身形特征的服装推荐方法与流程

[0001]
本发明涉及人工智能、智能推荐技术领域，具体涉及一种基于人体身形特征的服装推荐方法。


背景技术：

[0002]
随着电商领域的飞速发展，推荐系统已经越来越多受到了工业界和学术界的关注。服装推荐通常包括服装搭配推荐和服装单品推荐。服装搭配推荐通常注重服装之间的兼容性。而服装单品推荐则更侧重于用户对于服装物品的偏好。然而，并不是所有的人都善于进行服装搭配。
[0003]
目前的服装推荐方法主要分为两大类：基于传统算法的服装推荐方法和基于深度学习的服装推荐方法。传统的服装推荐方法例如liu等人提出的一个支持向量机(svm)模型，用于解决场景导向的套装和服装推荐，其中他们的数据集是人工标注的街景图片；he等人提出的一种利用矩阵分解的方法并入视觉信号来进行推荐任务。基于深度学习的服装推荐方法中，有han等人提出的利用lstm来将时装套装建模为一个双向序列，并直接对套装中的兼容性进行建模，取得了优秀的效果；vasileva等人利用深度学习网络，同时学习了服装之间的相似性(相同服装类型)和兼容性(不同类型的服装间的审美交互性)。
[0004]
另外，现有的研究认为，在时装领域用户往往更注重产品的外观。例如，在电商购物时，用户往往在查看过产品的图片之后才购买它。对该侧重点的研究主要表现在对视觉兼容性的建模。song等人同时加入服装的文本标签特征和视觉特征，来完成推荐任务。
[0005]
现有的方法主要集中于利用图片和文字信息，来建模服装间的兼容性，利用用户的购买信息来建模用户的偏好。然而，在实际的服装搭配场景中，各种时尚专家推荐的服装搭配，往往是根据用户的身形信息，来进行服装推荐的。例如，梨形身材的人适合穿直筒裤。专利“基于卷积神经网络的体貌特征识别分类的服装推荐系统”利用卷积神经网络加多分类器，提取人体的身形特征分类，再利用专家系统，将时尚专家的搭配规则记录其中，根据已记录的规则进行推荐。
[0006]
目前的现有技术之一是专利“基于卷积神经网络的体貌特征识别分类的服装推荐系统”。考虑到利用用户的体貌信息来进行服装推荐。它采用基于cnn-svm多分类器算法的特征提取算法将用户的体貌信息进行多分类。该方法将分类区间规定为预先设定的各种类别。再利用专家系统技术，将时尚专家的搭配规则记录其中，利用已经记录好的搭配规则，直接筛选出服装商品清单。
[0007]
现有技术之一的缺点是：(1)该方法利用卷积神经网络提取用户的体貌特征，将用户的体貌特征限制为了某几个具体的分类，没有提取到用户体貌特征的隐含语义。(2)服装信息的标签化是固定的。每当有新的服装数据进入时，该方法需要人为的对服装数据进行体貌标签设计。


技术实现要素：

[0008]
本发明的目的是克服现有方法的不足，提出了一种基于人体身形特征的服装推荐方法。本发明解决的主要问题是，一、如何将用户的体貌信息，映射到一个身形信息空间，该空间中人体身形信息的信息量会更多，包含更多的隐语义；二、如何利用服装的视觉信息、文本信息进行建模，将服装也同样映射到人体身形信息空间中，并提取服装在人体身形信息空间中的隐语义，以及如何根据服装的文本信息和图片信息，自动的提取出服装所适合的身形信息；三、如何通过计算用户和服装在该人体身形信息隐语义空间中的距离，为用户匹配基于身形信息的服装。
[0009]
为了解决上述问题，本发明提出了一种基于人体身形特征的服装推荐方法，所述方法包括：
[0010]
预先定义身形特征类型标签，之后搜集服装数据集和人体数据集，并利用身形特征类型标签对两个数据集进行标签化处理，得到标签化服装数据集和标签化人体数据集；
[0011]
采用深度神经网络建立服装身形特征提取模型，并利用所述标签化服装数据集对该模型进行训练，训练好的模型输出结果为服装身形特征；
[0012]
采用深度神经网络建立人体身形特征提取模型，并利用所述标签化人体数据集对该模型进行训练，训练好的模型输出结果为人体身形特征；
[0013]
采用多层感知神经网络建立服装人体身形匹配网络模型，并利用所述服装身形特征和所述人体身形特征进行训练，训练好的模型输出结果为服装与人体身形匹配概率；
[0014]
用户输入自己的个人图片和候选服装图片，利用所述服装人体身形匹配网络模型计算出候选服装与该用户身形的匹配概率，并设置一个匹配阈值，当匹配概率大于匹配阈值时，符合条件的候选服装按照匹配概率降序排列推荐给用户。
[0015]
优选地，所述对服装数据集进行标签化处理，具体为：
[0016]
采用词向量方法提取所述身形特征类型标签的词语语义，得到身形标签词向量；
[0017]
采用词向量方法提取所述服装数据集中服装属性的词语语义，得到服装属性词向量；
[0018]
对所述服装数据集中的每一件服装，计算所有身形标签词向量与该服装的服装属性词向量的余弦相似度，取其中余弦相似度最大的身形标签词向量所对应的身形特征作为该服装属性的身形特征，并用对应的身形特征类型标签进行标签化。
[0019]
优选地，所述采用深度神经网络建立服装身形特征提取模型，并利用所述标签化服装数据集对该模型进行训练，训练好的模型输出结果为服装身形特征，具体为：
[0020]
将所述服装数据集中的某一件服装a的图片，利用预训练完成的resnet34网络模型，进行视觉特征提取，得到服装图片的视觉特征向量v1；
[0021]
将所述服装数据集中的某一件服装a所具有的所有所述服装属性词向量相加并求平均，求出所述服装属性词向量的中心点，获得文本特征向量t1；
[0022]
把所述视觉特征向量v1和所述文本特征向量t1输入服装身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，设置为所述视觉特征向量v1和所述文本特征向量t1的长度相加，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述
服装a属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果；
[0023]
所述服装身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改服装身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型；
[0024]
根据上述模型设计与训练策略，输入所述标签化服装数据集，对所述服装身形特征提取模型进行训练，训练完成后，将所述服装身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述服装a的服装身形特征i
cloth
。
[0025]
优选地，所述采用深度神经网络建立人体身形特征提取模型，并利用所述标签化人体数据集对该模型进行训练，训练好的模型输出结果为人体身形特征，具体为：
[0026]
将所述人体数据集中的某一人体b的图片，利用预训练完成的resnet34网络模型，进行视觉特征提取，得到人体图片的视觉特征向量v2；
[0027]
把所述视觉特征向量v2输入人体身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，即为所述视觉特征向量的长度|v2|，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述人体b属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果；
[0028]
所述人体身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型；
[0029]
根据上述模型设计与训练策略，输入所述标签化人体数据集，对所述人体身形特征提取模型进行训练，训练完成后，将所述人体身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述人体b的人体身形特征i
user
。
[0030]
优选地，所述采用多层感知神经网络建立服装人体身形匹配网络模型，并利用所述服装身形特征和所述人体身形特征进行训练，训练好的模型输出结果为服装与人体身形匹配概率，具体为：
[0031]
把所述服装身形特征i
cloth
和所述人体身形特征i
user
输入服装人体身形匹配网络模型，该模型采用4层结构，1层输入层，2层隐层，以及1层输出层，输入层与隐层的节点长度均设置为|i
cloth
|+|i
user
|，输出层只有一个节点，该节点的激活层，采用sigmoid激活函数，服装与人体的匹配概率取值范围为(0,1)；
[0032]
所述服装人体身形匹配网络模型的训练策略为：其损失函数采用二分类交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型；
[0033]
根据上述模型设计与训练策略，利用所述标签化服装数据集通过所述服装身形特征提取模型提取到的所有服装身形特征，以及利用所述标签化人体数据集通过所述人体身形特征提取模型提取到的所有人体身形特征，对模型进行训练，得到最终的服装人体身形匹配网络模型，其输出结果为服装与人体身形匹配概率。
[0034]
本发明提出的一种基于人体身形特征的服装推荐方法，可以提取到更为丰富的用户身形和服装的隐语义信息，而不是单纯的将用户或者服装进行分类。省去了专家系统的
匹配规则，将匹配规则简化为在隐语义空间内的“距离计算”，从而实现了为用户推荐距离最近的服装商品，提高了推荐的准确度。
附图说明
[0035]
图1是本发明实施例的一种基于人体身形特征的服装推荐方法的总体流程图；
[0036]
图2是本发明实施例的服装人体身形匹配网络模型的示意图；
[0037]
图3是本发明实施例的身形特征类型描述图。
具体实施方式
[0038]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039]
图1是本发明实施例的一种基于人体身形特征的服装推荐方法的总体流程图，如图1所示，该方法包括：
[0040]
s1，预先定义身形特征类型标签，之后搜集服装数据集和人体数据集，并利用身形特征类型标签对两个数据集进行标签化处理，得到标签化服装数据集和标签化人体数据集；
[0041]
s2，采用深度神经网络建立服装身形特征提取模型，并利用所述标签化服装数据集对该模型进行训练，训练好的模型输出结果为服装身形特征；
[0042]
s3，采用深度神经网络建立人体身形特征提取模型，并利用所述标签化人体数据集对该模型进行训练，训练好的模型输出结果为人体身形特征；
[0043]
s4，采用多层感知神经网络建立服装人体身形匹配网络模型，并利用所述服装身形特征和所述人体身形特征进行训练，训练好的模型输出结果为服装与人体身形匹配概率；
[0044]
s5，用户输入自己的个人图片和候选服装图片，利用所述服装人体身形匹配网络模型计算出候选服装与该用户身形的匹配概率，并设置一个匹配阈值，当匹配概率大于匹配阈值时，符合条件的候选服装按照匹配概率降序排列推荐给用户。
[0045]
步骤s1，具体如下：
[0046]
s1-1，以在时尚领域常见的xhaoy五大身形来定义本发明中的身形特征类型标签，如图3所示。
[0047]
s1-2，搜集人体数据集，本实施例中使用atr人体解析数据集。人工利用s1-1的身形特征类型标签对人体数据集进行身形标签化处理。
[0048]
s1-3，采用词向量方法提取词语语义，本实施例中利用google提供的word2vec工具，本工具采用了经典的bow(bag-of-words)和skim-gram架构实现，用于将词语提取成一个词向量，该词向量保留了该词语的语义信息。
[0049]
采用上述词向量方法提取s1-1的身形特征类型标签的词语语义，得到身形标签词向量；
[0050]
服装数据集选取上，本实施例中使用服装分析领域较为火热的deepfashion数据
集。采用词向量方法提取所述服装数据集中服装属性的词语语义，得到服装属性词向量。
[0051]
s1-4，对所述服装数据集中的每一件服装，计算所有身形标签词向量与该服装的服装属性词向量的余弦相似度，取其中余弦相似度最大的身形标签词向量所对应的身形特征作为该服装属性的身形特征，并用对应的身形特征类型标签进行标签化。
[0052]
步骤s2，具体如下：
[0053]
s2-1，将所述服装数据集中的某一件服装a的图片，利用预训练完成的resnet34网络模型，进行视觉特征提取，得到服装图片的视觉特征向量v1。
[0054]
s2-2，将所述服装数据集中的某一件服装a所具有的所有所述服装属性词向量相加并求平均，求出所述服装属性词向量的中心点，获得文本特征向量t1。
[0055]
s2-3，把所述视觉特征向量v1和所述文本特征向量t1输入服装身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，设置为所述视觉特征向量v1和所述文本特征向量t1的长度相加，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述服装a属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果。
[0056]
s2-4，所述服装身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改服装身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型。
[0057]
损失函数l1的方程如下所示：
[0058][0059]
其中，多类别交叉熵损失函数l1，其中为真值，例如：该服装的身形特征为1，则剩余而y
i
为服装身形特征提取模型的输出值，其意义为服装身形特征提取模型给出的该服装物品具有身形特征i的概率。y
i
有可能均不为0，但y
i
属于(0,1)。
[0060]
s2-5，根据上述模型设计与训练策略，输入所述标签化服装数据集，对所述服装身形特征提取模型进行训练，训练完成后，将所述服装身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述服装a的服装身形特征i
cloth
。
[0061]
步骤s3，具体如下：
[0062]
s3-1，将所述人体数据集中的某一人体b的图片，利用预训练完成的resnet34网络模型，进行视觉特征提取，得到人体图片的视觉特征向量v2。
[0063]
s3-2，把所述视觉特征向量v2输入人体身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，即为所述视觉特征向量的长度|v2|，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述人体b属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果。
[0064]
s3-3，所述人体身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵
损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型。
[0065]
损失函数l2的方程如下所示：
[0066][0067]
其中，多类别交叉熵损失函数l2，其中为真值，例如：该用户的身形特征为1，则剩余而y
i
为人体身形特征提取模型的输出值，其意义为人体身形特征提取模型给出的该用户具有身形特征i的概率。y
i
有可能均不为0，但y
i
属于(0,1)。
[0068]
s3-4，根据上述模型设计与训练策略，输入所述标签化人体数据集，对所述人体身形特征提取模型进行训练，训练完成后，将所述人体身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述人体b的人体身形特征i
user
。
[0069]
步骤s4，具体如下：
[0070]
s4-1，把所述服装身形特征i
cloth
和所述人体身形特征i
user
输入服装人体身形匹配网络模型，整体结构如图2所示，该模型采用4层结构，1层输入层，2层隐层，以及1层输出层，输入层与隐层的节点长度均设置为|i
cloth
|+|i
user
|，输出层只有一个节点，该节点的激活层，采用sigmoid激活函数，服装与人体的匹配概率取值范围为(0,1)。
[0071]
s4-2，所述服装人体身形匹配网络模型的训练策略为：其损失函数采用二分类交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型。
[0072]
损失函数l3的方程如下所示：
[0073][0074]
其中y是服装人体身形匹配网络模型预测该服装和该用户匹配的概率。则是样本标签，如果该服装与该人体匹配，则否则由于s1中已经对数据进行了人工的标签化处理，所以当人体和服装的身形类型一致时则匹配，否则不匹配。其中匹配判定的规则如下：
[0075][0076]
s4-3，根据上述模型设计与训练策略，利用所述标签化服装数据集通过所述服装身形特征提取模型提取到的所有服装身形特征，以及利用所述标签化人体数据集通过所述人体身形特征提取模型提取到的所有人体身形特征，对模型进行训练，得到最终的服装人体身形匹配网络模型，其输出结果为服装与人体身形匹配概率。
[0077]
本发明实施例提出的一种基于人体身形特征的服装推荐方法，可以提取到更为丰富的用户身形和服装的隐语义信息，而不是单纯的将用户或者服装进行分类。省去了专家系统的匹配规则，将匹配规则简化为在隐语义空间内的“距离计算”，从而实现了为用户推荐距离最近的服装商品，提高了推荐的准确度。
[0078]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可
以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0079]
另外，以上对本发明实施例所提供的一种基于人体身形特征的服装推荐方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。