一种基于多模态信息的电商服装穿搭推荐方法与流程

本发明涉及电商推荐技术领域，特别涉及一种基于多模态信息的电商服装穿搭推荐方法。

背景技术：

电商日常销售的商品中，服装类商品占据了非常大的比重。对于一件电商服装类商品，如果推荐系统能够给出与其搭配的服装，可以起到刺激用户消费，增加商家利润的作用。

传统的服装搭配推荐中，通常采用协同过滤的方法，通过用户和商品的交互信息来进行召回，并通过提取商品的结构化信息，如价格、品牌等，来进行ctr预估排序。而对于服装类商品而言，判断两个服装是否搭配时，最直观的特征并不是这些结构化信息，而是服装的图片这种非结构化信息。由于非结构化信息难以直接利用，因此在传统方法中，往往忽略了这些非结构化信息。

在电商服装类商品的搭配单品推荐中，如果能够综合考虑结构化数据和服装图片这类非结构化数据，将会提升推荐效果，丰富推荐场景。基于以上问题，本专利提出一种基于多模态的电商服装穿搭推荐方法。

技术实现要素：

本发明的目的旨在至少解决所述的技术缺陷之一。

为了实现上述目的，本发明一方面的实施例提供一种基于多模态信息的电商服装穿搭推荐方法，包括以下步骤：

s1，爬取服装图片，建立样本照片池，所述样本照片池中的服装图片包括模特全身服装照片和单品服装照片；

s2，从所述服装照片中获取训练数据，所述训练数据包括匹配的正样本服装对和不匹配的负样本服装对；

s3，将获取的训练数据进行标记，送入机器学习分类模型进行模型训练，训练出服装搭配模型；

s4，获取商品照片池和目标图片，采用图片信息特征提取算法，对目标图片和商品照片池以向量的形式进行特征提取，并按照商品池中商品的数量进行向量拼接：得出目标向量；

s5，进行实际数据交互，将得出的目标向量输入上述训练得到的服装搭配模型，进行匹配运算；得到目标图片与商品池中各个商品的匹配程度值；选出商品池中与目标图片中的商品匹配程度值最高的商品，即可推荐给用户。

优选的，在步骤s2中，所述正样本服装对在获取时，通过对模特全身服装照片进行目标检测，并标注出上衣和下装实现，所标注的上衣和下装共同形成一个正样本服装对。

在上述任意一项实施例中优选的，在步骤s2中，所述负样本服装对在获取时，对单品服装照片按照男上装、男下装、女上装、女下装进行服装池分类，任意选[“男-上装”,“女-下装”]或者[“男-下装”,“女-上装”]的商品对，形成一个负样本商品对。

在上述任意一项实施例中优选的，所述负样本服装对首先对单品服装，分类成男性服装池和女性服装池；并在男性服装池和女性服装池分别进行一步细分为上装服装池和下装服装池；并根据服装类型将上装服装池进一步细分为t恤池、衬衣池、毛衣池、夹克池；将下装服装池进一步细分为裙装池、裤装池；每个细分的服装池在建立时，首先预设多张种子图片，随后根据种子图片到全量商品池中迭代地寻找相似图片，依次完成该服装池的半自动化扩充。

在上述任意一项实施例中优选的，在步骤s3中，按照以下规则标记训练数据，(正样本对，1)和(负样本对，0)。

在上述任意一项实施例中优选的，在步骤s4中，对目标图片进行特征提取时，还包括采用首先采用目标检测算法yolo3框选出其目标商品子图。

在上述任意一项实施例中优选的，对框选出的目标商品子图去除图片背景的干扰，实现目标商品子图切割。

在上述任意一项实施例中优选的，在步骤s4中，对目标图片进行特征提取，将图片变成向量时，所采用的采用图片信息特征提取算法为深度学习网络，至少包括vgg算法、mobilenet算法。

在上述任意一项实施例中优选的，在步骤s4中，在进行向量拼接时，根据商品池中的商品数量，按照如下形式进行拼接：

(目标商品特征，商品池商品1特征)；

(目标商品特征，商品池商品2特征)；

(目标商品特征，商品池商品3特征)；以此类推。

在上述任意一项实施例中优选的，在步骤s5中，在进行匹配程度值计算时，采用topn算法计算出与目标商品搭配度最高的topn个商品，即可推荐给用户。

根据本发明实施例提供的一种基于多模态信息的电商服装穿搭推荐方法，相比于现有技术，至少具有以下优点：

1、在电商的服装类商品推荐场景中，将结构化信息数据和非结构化信息数据相结合，利用商品图片信息进行搭配商品推荐。

2、采用半自动化的基于图片相似度的图片标注方法准备“搭配服装”的负样本对，采用对全身服装图片进行目标检测切割的方法准备“搭配服装”的正样本对，正负样本作为训练数据，训练出可以分辨“服装是否搭配”的模型。

3、采用先目标检测后信息提取的方式来提取图片信息。对于服装图片，首先进行目标检测，切割出包含目标物体的子图，以此来减少背景影响；接下来进行信息提取，可以采用任意常规深度学习网络如vgg、mobilenet等进行，以保证匹配程度值计算结果，更准确。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的一种基于多模态信息的电商服装穿搭推荐方法的流程图；

图2为本发明实施例提供的一种基于多模态信息的电商服装穿搭推荐方法的原理框架图；

图3为本发明实施例提供的一种基于多模态信息的电商服装穿搭推荐方法的构建负样本对方法示意图；

图4为本发明实施例提供的一种基于多模态信息的电商服装穿搭推荐方法的构建正样本对方法示意图；

图5为本发明实施例提供的一种基于多模态信息的电商服装穿搭推荐方法的对商品池图片进行特征提取的方法示意图；

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明实施例的一种基于多模态信息的电商服装穿搭推荐方法，包括以下步骤：

s1，爬取服装图片，建立样本照片池，所述样本照片池中的服装图片包括模特全身服装照片和单品服装照片；

s2，从所述服装照片中获取训练数据，所述训练数据包括匹配的正样本服装对和不匹配的负样本服装对；在步骤s2中，所述正样本服装对在获取时，通过对模特全身服装照片进行目标检测，并标注出上衣和下装实现，所标注的上衣和下装共同形成一个正样本服装对。采用了独特的正负样本对构造方法，保证正样本对内的服装一定是搭配的，负样本对中的服装一定是不搭配的在步骤s2中，所述负样本服装对在获取时，对单品服装照片按照男上装、男下装、女上装、女下装进行服装池分类，任意选[“男-上装”,“女-下装”]或者[“男-下装”,“女-上装”]的商品对，形成一个负样本商品对。具体的每个细分的服装池在建立时，首先预设多张种子图片，随后根据种子图片到全量商品池中迭代地寻找相似图片，依次完成该服装池的半自动化扩充。

进一步，所述负样本服装对首先对单品服装，分类成男性服装池和女性服装池；并在男性服装池和女性服装池分别进行一步细分为上装服装池和下装服装池；并根据服装类型将上装服装池进一步细分为t恤池、衬衣池、毛衣池、夹克池；将下装服装池进一步细分为裙装池、裤装池。

在本发明的一个实施例中，先准备一个男性服装池和一个女性服装池。在男性服装池中，细分出上装服装池和下装服装池，对于上装服装池，进一步细分为衬衫池、t恤池等。对于“男-上装-衬衫”服装池，准备n张“种子图片”，这些“种子图片”均为男士衬衫。对这n张“种子图片”，到全量商品池中迭代地寻找相似图片，以此来完成该服装池的半自动化扩充。对于男性的其他的服装池和女性服装池，同样做以上操作。在准备好服装池后，任意选[“男-上装”,“女-下装”]或者[“男-下装”,“女-上装”]的商品对，即为一个负样本商品对。

s3，将获取的训练数据进行标记，送入机器学习分类模型进行模型训练，训练出服装搭配模型；在步骤s3中，按照以下规则标记训练数据，(正样本对，1)和(负样本对，0)。

s4，获取商品照片池和目标图片，采用图片信息特征提取算法，对目标图片和商品照片池以向量的形式进行特征提取，并按照商品池中商品的数量进行向量拼接：得出目标向量；在步骤s4中，对目标图片进行特征提取时，还包括采用首先采用目标检测算法yolo3框选出其目标商品子图。对框选出的目标商品子图去除图片背景的干扰，实现目标商品子图切割。

在步骤s4中，对目标图片进行特征提取，将图片变成向量时，所采用的采用图片信息特征提取算法为深度学习网络，至少包括vgg算法、mobilenet算法。

进一步，在步骤s4中，在进行向量拼接时，根据商品池中的商品数量，按照如下形式进行拼接：

(目标商品特征，商品池商品1特征)；

(目标商品特征，商品池商品2特征)；

(目标商品特征，商品池商品3特征)；以此类推。

s5，进行实际数据交互，将得出的目标向量输入上述训练得到的服装搭配模型，进行匹配运算；得到目标图片与商品池中各个商品的匹配程度值；选出商品池中与目标图片中的商品匹配程度值最高的商品，即可推荐给用户。在进行匹配程度值计算时，采用topn算法计算出与目标商品搭配度最高的topn个商品，即可推荐给用户。

本发明相比于现有技术至少具有以下优点1、在电商的服装类商品推荐场景中，将结构化信息数据和非结构化信息数据相结合，利用商品图片信息进行搭配商品推荐。

2、采用半自动化的基于图片相似度的图片标注方法准备“搭配服装”的负样本对，采用对全身服装图片进行目标检测切割的方法准备“搭配服装”的正样本对，正负样本作为训练数据，训练出可以分辨“服装是否搭配”的模型。

3、采用先目标检测后信息提取的方式来提取图片信息。对于服装图片，首先进行目标检测，切割出包含目标物体的子图，以此来减少背景影响；接下来进行信息提取，可以采用任意常规深度学习网络如vgg、mobilenet等进行，以保证匹配程度值计算结果，更准确。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。