基于卷积神经网络的电商客服平台图像检索方法与流程

1.本技术涉及一种电商客服平台图像检索方法，具体而言，涉及一种基于卷积神经网络的电商客服平台图像检索方法。


背景技术：

2.在电商领域，商品图像检索已经有成熟的应用，如淘宝的拍立淘等，但这些应用的服务对象是电商平台本身，无法精准为特定商家服务，而且由于平台商品基数过大，其算法的精准度和运行效率面临极大的挑战，因而检索粒度比较粗。为了跨平台地为特定商家进行服务，提供商品级甚至sku(最小库存单元)级的检索精度，并提高准确率，本发明提出了一种基于cnn的电商店铺图像检索系统，该系统可以嵌入到智能客服体系中。传统的智能客服大多只能处理语言文字信息，而缺乏处理图片或者多模态的输入的能力，显得并不那么“智能”，图像分类和图像检索模块的嵌入赋予了智能客服对图片的处理能力。
3.从商品图像检索算法在电商平台的应用来看，目前主要是平台范围内粗粒度的检索，无法提供店铺级别的细粒度检索；从智能客服的应用来看，目前的智能客服主要基于语言文字理解，对图像的处理能力还不完善。


技术实现要素：

4.为了解决现有技术的不足之处，本身请提供了一种基于卷积神经网络的电商客服平台图像检索方法，包括如下步骤：将买家发送的图片输入第一卷积神经网络和第二卷积神经网络模型进行图片预处理，所述图片预处理包括商品图片的筛选和商品图片中主体部分的提取；将经过图片预处理的图片输入第三卷积神经网络进行图片特征提取；根据图片特征提取的数据在特征数据库中进行相似度匹配值计算，提取特征数据库中相似度匹配值最高且高于预设阈值的商品数据。
5.进一步地，所述基于卷积神经网络的电商客服平台图像检索方法还包括：在商品上架时更新所述特征数据库中的数据。
6.进一步地，所述在商品上架时更新所述特征数据库中的数据包括如下步骤：输入上架商品的商品数据；将上架商品的图片输入至所述第一卷积神经网络模型进行图片预处理；将经过预处理的图片输入至所述第二卷积神经网络模型进行图片特征提取；将所述商品数据、预处理后的图片和图片特征对应存储于所述特征数据库中。
7.进一步地，所述基于卷积神经网络的电商客服平台图像检索方法还包括：在商品下架时更新所述特征数据库中的数据。
8.进一步地，在商品下架时更新所述特征数据库中的数据包括如下步骤：输入下架商品的商品数据；删除所述索引数据库中对应的商品数据、商品图片以及图片特征的信息。
9.进一步地，在商品下架时更新所述特征数据库中的数据包括如下步骤：删除所述索引数据库中对应的索引数据。
10.进一步地，所述商品数据包括：商品id信息、商品属性或/和商品链接。
11.进一步地，所述图片特征提取为所述第三卷积神经网络提取所述商品图片主体部分的cnn特征。
12.进一步地，所述第一卷积神经网络模型基于resnet50构建模型；所述第二卷积神经网络模型基于imagenet预训练的resnet50网络结合semihard sampled triplet loss训练构建模型。
13.进一步地，根据图片特征提取的数据在特征数据库中进行相似度匹配值计算包括：计算目标图片特征向量与所述图像索引库中所有图片特征向量的欧氏距离或者余弦距离。
14.本技术的有益之处在于：提供了一种能够精细到电商平台的具体产品且便于应用到智能客服系统的基于卷积神经网络的电商客服平台图像检索方法。
附图说明
15.构成本技术的一部分的附图用来提供对本技术的进一步理解，使得本技术的其它特征、目的和优点变得更明显。本技术的示意性实施例附图及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
16.图1是根据本技术一种实施例的基于卷积神经网络的电商客服平台图像检索方法的步骤流程示意图。
17.图2是一个待处理图片集合示意图；
18.图3是一个买家发送的待检测的图片；
19.图4是进行图片检索的界面示意图；
20.图5是一个卷积神经网络的示意图。
具体实施方式
21.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
22.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
23.在本技术中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本技术及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
24.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其
他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本技术中的具体含义。
25.此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
26.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
27.如图1所示，本身请提供了一种基于卷积神经网络的电商客服平台图像检索方法，包括如下步骤：
28.将买家发送的图片输入第一卷积神经网络和第二卷积神经网络模型进行图片预处理，图片预处理包括商品图片的筛选和商品图片中主体部分的提取；
29.将经过图片预处理的图片输入第三卷积神经网络进行图片特征提取；
30.根据图片特征提取的数据在特征数据库中进行相似度匹配值计算，提取特征数据库中相似度匹配值最高且高于预设阈值的商品数据。
31.作为具体方案，图片预处理实际包括如下内容：
32.采用第一卷积神经网络对图片意图分类，将买家发送的图片分为商品图片以及非商品图片。通过这样的方式将图片中商品图片筛选出来。
33.然后将筛选出来的商品图片，输入至第二卷积神经网络进行目标检测，检测出商品图片中的主题部分，并进行哈希去从。
34.具体而言，基于卷积神经网络的电商客服平台图像检索方法还包括：在商品上架时更新特征数据库中的数据。
35.具体而言，在商品上架时更新特征数据库中的数据包括如下步骤：输入上架商品的商品数据；将上架商品的图片输入至第一卷积神经网络模型进行图片预处理；将经过预处理的图片输入至第二卷积神经网络模型进行图片特征提取；将商品数据、预处理后的图片和图片特征对应存储于特征数据库中。
36.具体而言，基于卷积神经网络的电商客服平台图像检索方法还包括：在商品下架时更新特征数据库中的数据。
37.具体而言，在商品下架时更新特征数据库中的数据包括如下步骤：输入下架商品的商品数据；删除索引数据库中对应的商品数据、商品图片以及图片特征的信息。
38.具体而言，在商品下架时更新特征数据库中的数据包括如下步骤：删除索引数据库中对应的索引数据。
39.具体而言，商品数据包括：商品id信息、商品属性或/和商品链接。
40.具体而言，所述图片特征提取为所述第三卷积神经网络提取所述商品图片主体部分的cnn特征。
41.具体而言，第一卷积神经网络模型基于resnet50构建模型；第二卷积神经网络模型基于imagenet预训练的resnet50网络结合semihard sampled triplet loss训练构建模型。
42.具体而言，根据图片特征提取的数据在特征数据库中进行相似度匹配值计算包
括：计算目标图片特征向量与图像索引库中所有图片特征向量的欧氏距离或者余弦距离。
43.具体公式如下：a是目标特征向量，b是索引库内的某个特征向量。
[0044][0045]
由于索引库内有多个向量，会产生多个余弦距离(相似度)，其中相似度最高且超过阈值的向量对应的商品，即为检索所得商品。
[0046]
作为具体方案，本技术的方法包括两个部分。
[0047]
第一部分为离线过程：
[0048]
步骤1.1店铺上新商品；
[0049]
步骤1.2图片预处理；
[0050]
步骤1.3特征提取；
[0051]
步骤1.4建立索引库并存储；
[0052]
步骤2.1店铺下架商品；
[0053]
步骤2.2在索引库中删除对应的商品。
[0054]
第二部分为在线检索：
[0055]
步骤3.1买家发送图片；
[0056]
步骤3.2图片预处理；
[0057]
步骤3.3特征提取；
[0058]
步骤3.4相似度匹配，返回同款商品或相似度最高的产品id等数据。
[0059]
作为具体方案，在步骤1.2中，图片预处理1的方法主要包括基于cnn图像分类的无关图片清洗，此分类算法基于resnet50，将买家发送图片分为商品图片以及其他类别，筛选出其中的商品图片作为之后算法的输入；基于哈希算法的图片去重，一般选用dhash，ahash等算法，去除完全相同的图片，这边不做特别规定；以及主体目标检测算法，基于yolo系列目标检测算法，针对服装、包、鞋等不同行业进行商品目标检测，获得商品主体的检测框位置、类别、置信度。
[0060]
在步骤1.3和3.3中，特征提取复用相同的基于cnn的特征抽取方法，特征抽取网络基于imagenet预训练的resnet50网络结合semihard sampled triplet loss训练得到，在线实施时去掉loss层获得512维(该维度不做约束，128,256等也能获得类似效果)的归一化特征表示。图5示出了一种具体的卷积神经网络模型。
[0061]
在步骤1.4中，对1.3中提取的特征进行编码并以及其对应的商品生成索引库(商品id与特征值的组合对)，针对每一个商家各自生成一个商品索引库，并存储在分布式系统中方便后期扩容。
[0062]
在步骤3.2中，图片预处理2的方法主要包括基于cnn图像分类的无关图片清洗，主体目标检测算法，具体方法同步骤1.2。
[0063]
在步骤3.4中，将3.3中得到的目标特征向量与特征库中的特征向量进行相似度匹配，通常使用欧氏距离或余弦距离通常计算目标特征向量与特征库中所有向量的欧氏距离或者余弦距离，其中与欧式距离最小(预先距离最大)的，系统返回相似度最高且高于某一阈值的商品id等信息，后续用于同款查询和相似推荐业务。
[0064]
如图2所示，将图片集合输入本技术系统按照以上方法进行处理形成数据库。
[0065]
如图3所示，为买家发送的待检索图片，经过处理，提取后得到特征向量b(1*512维)。
[0066]
如图4所示，左侧为买家发送的查询图片，选取其中一张，右侧是商家商品库中的商品详情页图片(检索获得，相似度最高且超过阈值)，并在后台输出商品链接和商品属性。
[0067]
具体而言，按照以上方法将特征向量b分别与特征库a中的所有1903个特征向量求余弦距离，得到1903个相似度，显示图片库中相似度最高的图片(0.73)，如图4所示结果。
[0068]
通过以上方案可以实现基于店铺的商品图像检索，可以精细到具体商品及sku的粒度，针对商家进行服务以及可以轻松嵌入到智能客服体系中，帮助智能客服理解图像信息。
[0069]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。