计算商品相似度的方法和装置与流程

本发明涉及计算机技术领域，尤其涉及一种计算商品相似度的方法和装置。

背景技术：

随着互联网的迅猛发展，网上购物越来越普遍。为便于用户快速找到称心如意的商品，购物网站通常会向用户提供个性化的商品推荐服务。在一些商品推荐方法中，是根据用户的浏览或购买记录推荐相似商品。为推荐相似商品，需要计算每个商品的相似商品集合。

现有技术是基于bagofwords(词袋)方法计算商品相似度，其主要依靠商品的标签、属性等特征。考虑到动辄数十亿的商品数据规模，两两计算全量数据会耗费巨大的计算资源，且计算时间高达几万小时，计算效率让人无法接受。为了减少计算量，现有技术在计算商品相似度时，对商品的价格区间进行了限制，即只计算相邻价格区间的商品的相似度。并且，在计算商品相似度时依靠hivesql(一种基于hadoop的数据仓库工具)进行分布式计算。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

第一、由于商品中的特征数量少，因此，传统计算文本相似度的bagofwords方法不能理解商品的深层语义信息，计算出的相似商品往往不准确。

第二、现有商品相似度计算方法的计算时间依然很长，且限制条件过强会导致计算结果缺失大量的相似商品。

技术实现要素：

有鉴于此，本发明实施例提供一种计算商品相似度的方法和装置，能够使计算出的相似商品符合高层次的“相像”，提高商品相似度的计算准确率和计算效率。

为实现上述目的，根据本发明的一个方面，提供了一种计算商品相似度的方法。

本发明的计算商品相似度的方法包括：将商品特征数据输入深度学习模型，以训练得到特征词向量；基于多个特征词向量构建商品向量；根据哈希算法筛选所述商品向量的相似商品候选集；计算所述商品向量与其相似商品候选集中的商品向量的相似度。

可选地，所述深度学习模型为word2vec模型。

可选地，所述基于多个特征词向量构建商品向量的步骤包括：根据商品特征出现的频率确定特征词向量的权重；对所述多个特征词向量进行加权求和，以得到商品向量。

可选地，所述哈希算法为随机映射局部敏感哈希算法。

可选地，所述根据哈希算法筛选所述商品向量的相似商品候选集的步骤包括：计算所述商品向量的哈希签名；根据设置的哈希签名的比较步长值确定所述商品向量的相似商品；判断所述商品向量的相似商品数量是否大于预设阈值；在所述商品向量的相似商品数量大于预设阈值的情况下，基于所述相似商品构建所述商品向量的相似商品候选集。

可选地，所述根据哈希算法筛选所述商品向量的相似商品候选集的步骤还包括：在所述商品向量的相似商品数量不大于预设阈值的情况下，降低所述比较步长值，并基于降低后的比较步长值确定所述商品向量的相似商品。

可选地，所述方法还包括：根据如下公式计算商品向量的相似度：余弦距离公式、汉明距离公式、或欧式距离公式。

为实现上述目的，根据本发明的另一方面，提供了一种计算商品相似度的装置。

本发明的计算商品相似度的装置包括：训练模块，用于将商品特征数据输入深度学习模型，以训练得到特征词向量；构建模块，用于基于多个特征词向量构建商品向量；筛选模块，用于根据哈希算法筛选所述商品向量的相似商品候选集；计算模块，用于计算所述商品向量与其相似商品候选集中的商品向量的相似度。

可选地，所述深度学习模型为word2vec模型。

可选地，所述构建模块基于多个特征词向量构建商品向量，包括：所述构建模块根据商品特征出现的频率确定特征词向量的权重；所述构建模块对所述多个特征词向量进行加权求和，以得到商品向量。

可选地，所述哈希算法为随机映射局部敏感哈希算法。

可选地，所述筛选模块根据哈希算法筛选所述商品向量的相似商品候选集，包括：所述筛选模块计算所述商品向量的哈希签名；所述筛选模块根据设置的哈希签名的比较步长值确定所述商品向量的相似商品；所述筛选模块判断所述商品向量的相似商品数量是否大于预设阈值；在所述商品向量的相似商品数量大于预设阈值的情况下，所述筛选模块基于所述相似商品构建所述商品向量的相似商品候选集。

可选地，所述筛选模块根据哈希算法筛选所述商品向量的相似商品候选集，还包括：在所述商品向量的相似商品数量不大于预设阈值的情况下，所述筛选模块降低所述比较步长值，并基于降低后的比较步长值确定所述商品向量的相似商品。

可选地，所述计算模块根据如下公式计算商品向量的相似度：余弦距离公式、汉明距离公式、或欧式距离公式。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种服务器。

本发明实施例的服务器，包括：一个或多个处理器；以及，存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的计算商品相似度的方法。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。

本发明实施例的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的计算商品相似度的方法。

上述发明中的一个实施例具有如下优点或有益效果：通过将商品特征数据输入深度学习模型，能够训练得到更高维度、体现深层次商品信息的特征词向量；通过所述特征词向量构建商品向量，并计算商品向量之间的相似度，使得计算出的相似商品符合高层次的“相像”，提高商品相似度的计算准确率；通过哈希算法筛选商品向量的相似商品候选集，并计算所述商品向量与其相似商品候选集中的商品向量的相似度，大大减少了商品相似度计算量，提高了商品相似度的计算效率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明一个实施例的计算商品相似度的方法的主要步骤示意图；

图2是根据本发明另一实施例的计算商品相似度的方法的主要步骤示意图；

图3是根据本发明实施例的word2vec模型结构示意图；

图4是根据本发明一个实施例的计算商品相似度的装置的主要模块示意图；

图5是根据本发明另一实施例的计算商品相似度的装置的主要模块示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以相互组合。

图1是根据本发明一个实施例的计算商品相似度的方法的主要步骤示意图。本发明实施例的计算商品相似度的方法可由服务端执行。如图1所示，本发明实施例的计算商品相似度的方法包括：

步骤s101、将商品特征数据输入深度学习模型，以训练得到特征词向量。

其中，所述深度学习模型包括word2vec模型。通过将商品特征数据输入深度学习模型，能够训练得到高维度(例如100或300维)的特征词向量，提取更深层次的商品信息。

步骤s102、基于多个特征词向量构建商品向量。

通常，每个商品可包括多个商品特征。例如，编号为1004560的商品包括六个商品特征，分别为：黑色、编织、男士、真皮、拉链、钱包。在根据步骤s101得到归属于上述商品的特征词向量后，可基于这些特征词向量构建商品向量。具体实施时，可通过将多个特征词向量进行拼接或加和得到商品向量。

步骤s103、根据哈希算法筛选所述商品向量的相似商品候选集。

其中，所述相似商品候选集为根据哈希算法筛选出的与所述商品向量相似的商品向量的集合；所述哈希算法包括：随机映射局部敏感哈希算法。

具体地，该步骤包括：根据哈希算法计算所述商品向量的哈希签名，再基于哈希签名筛选所述商品向量的相似商品候选集。由于哈希签名的数据维度远远小于商品向量的数据维度，因此，该步骤能够大大降低筛选时的数据维度，提高相似商品的筛选速率。

步骤s104、计算所述商品向量与其相似商品候选集中的商品向量的相似度。

在该步骤中，可根据如下公式计算商品向量的相似度：余弦(cosine)距离公式、欧式距离公式、或汉明距离公式。

假设商品向量则和的余弦距离公式为：

其中，表示商品向量的模，表示商品向量的模。

和的欧式距离公式为：

通常，两个等长字符串s1与s2之间的汉明距离定义为：将其中一个变为另外一个所需要做的最小替换次数。例如，字符串“1111”与字符串“1001”的汉明距离为2。假设向量向量则向量和的汉明距离为2。

在本发明实施例中，通过将商品特征数据输入深度学习模型，能够训练得到更高维度、体现深层次商品信息的特征词向量；通过所述特征词向量构建商品向量，并计算商品向量之间的相似度，使得计算出的相似商品符合高层次的“相像”，提高商品相似度的计算准确率；通过哈希算法筛选商品向量的相似商品候选集，并计算所述商品向量与其相似商品候选集中的商品向量的相似度，大大减少了商品相似度计算量，提高了商品相似度的计算效率。

图2是根据本发明另一实施例的计算商品相似度的方法的主要步骤示意图。本发明实施例的计算商品相似度的方法可由服务端执行。如图2所示，本发明实施例的计算商品相似度的方法包括：

步骤s201、将商品特征数据输入word2vec模型，以训练得到特征词向量。

word2vec模型是一种分布式词向量表示模型，用于将词映射到固定维度的向量空间中。关于word2vec模型的结构以及训练过程将在下文中结合图3详细说明。

进一步，在步骤s201之前，本发明实施例的计算商品相似度的方法还可包括以下步骤：获取商品特征数据。该步骤的一种可选实施方式为：先从最近几个月的有效订单记录中抽取商品的编号；然后从商品属性表中查询与所述商品的编号对应的商品特征数据，例如商品的颜色特征，形状特征等；再对所述商品特征数据进行预处理，以得到符合word2vec模型输入格式的商品特征数据。

步骤s202、根据商品特征出现的频率确定特征词向量的权重，对多个特征词向量进行加权求和，以得到商品向量。

例如，假设商品编号为1004567的商品有四个特征，特征编号为34、65、135、1345。相应的特征词向量以及特征出现频率分别为：

该特征的词频为0.2；

该特征的词频为0.3；

该特征的词频为0.4；

该特征的词频为0.1；

则商品向量为：

需要指出的是，以上只是关于步骤s202的示意性说明。在实际情况中，通过步骤s201得到的特征词向量通常为100维、200维或300维等高维度向量。

步骤s203、根据随机映射局部敏感哈希算法计算所述商品向量的哈希签名。

在该步骤中，先随机生成多个与商品向量同维度的法向量，然后将商品向量分别与各个法向量做投影操作，如果商品向量在法向量的左侧，则取1，如果商品向量在法向量的右侧，则取0，进而得到由0、1组成的哈希签名。例如，随机生成了五个法向量n1、n2、n3、n4、n5，商品向量在n1的左侧，则哈希签名的首位取1；商品向量在n2的左侧，则哈希签名的第二位取1；商品向量在n3的右侧，则哈希签名的第三位取0；商品向量在n4的左侧，则哈希签名的第四位取1；商品向量在n5的右侧，则哈希签名的第五位取0，因此，得到的哈希签名向量为(1,1,0,1,0)。

步骤s204、根据设置的哈希签名的比较步长值确定所述商品向量的相似商品。

比如，某一商品向量的哈希签名为(1,1,0,1,0)，初始的比较步长值为4，则比较这一商品向量的哈希签名与其他商品向量的哈希签名的前四个维度的数据。如果前四个维度的数据相同，则确定这两个商品向量是相似商品；否则，确定这两个商品向量不是相似商品。

又比如，某一商品向量的哈希签名为(1,1,0,1,0,1,1,1,0,0,0,1)，初始的比较步长值为12，则比较这一商品向量的哈希签名与其他商品向量的哈希签名的所有维度的数据。如果所有维度的数据都相同，则确定这两个商品向量是相似商品；否则，确定这两个商品向量不是相似商品。

步骤s205、判断所述商品向量的相似商品数量是否大于预设阈值。若所述商品向量的相似商品数量大于预设阈值，则执行步骤s206；若所述商品向量的相似商品数量不大于预设阈值，则执行步骤s207。

步骤s206、基于所述相似商品构建所述商品向量的相似商品候选集。

示例性的，所述预设阈值可取10。在该示例中，如果根据步骤s204确定的商品向量的相似商品数量大于10，则基于这些相似商品的向量构建相似商品候选集。需要指出的是，本领域技术人员还可根据实际需求灵活设置所述预设阈值。

步骤s207、降低所述比较步长值。在步骤s207之后，执行步骤s204、步骤s205。

具体实施时，可以在每次执行步骤s207时将比较步长值降低2。例如，某一商品向量的哈希签名为(1,1,0,1,0,1,1,1,0,0,0,1)，初始的比较步长值为12，则在第一次执行步骤s207时，可将比较步长值更新为10。之后，再次执行步骤s204、步骤s205，具体包括：比较这一商品向量的哈希签名与其他商品向量的哈希签名的前10个维度的数据；若前10个维度的数据都相同，则确定这两个商品向量是相似商品，否则，确定这两个商品向量不是相似商品；然后，判断相似商品数量是否大于预设阈值。需要指出的是，本领域技术人员还可根据实际需求灵活设置每次比较步长值的降低值。例如，可以在每次执行步骤s207时将比较步长值降低1。

在具体实施时，可以多次迭代执行步骤s204至步骤s207，直到具有相似商品候选集的商品的覆盖率达到指定值(比如98％)。通过步骤s204至步骤s207，能够在不同的比较步长值下找回不同相似度的相似商品，既能提高商品相似度的计算速度，又能提高商品相似度计算的覆盖率和准确率。

步骤s208、计算所述商品向量与其相似商品候选集中的商品向量的相似度。

关于步骤s208如何执行，可参考图1所示实施例中关于步骤s104的相关说明。

在本发明实施例中，通过使用word2vec模型训练商品的特征数据得到特征词向量，能够提取商品的深层次信息；并且，通过特征频率对特征词向量进行加权求和，使得商品的向量更具有“突出性”，提高商品相似度计算的准确性，提高用户体验；通过使用局部敏感哈希算法(lsh算法)，尤其是迭代式的随机映射局部敏感哈希算法筛选相似商品候选集，既能提高商品相似度计算的速度，又能提高商品相似度计算的覆盖率与准确率。

图3是根据本发明实施例的word2vec模型结构示意图。如图3所示，word2vec模型包括输入层、映射层和输出层。

在训练初期，输入层为各个商品特征的初始向量v[feature1(w)]、v[feature2(w)]……、v[featuren(w)]，映射层为各初始向量相加得到的向量xw，输出层为根据各商品特征的词频构建的霍夫曼树(一种二叉树结构)。

该模型在训练过程的目标函数为对数似然函数l(w,j)，定义如下：

其中，为霍夫曼编码，其可选取值为0或1；为路径中非叶子节点对应的向量，其可选取值为0或1；l^w为路径中的节点数量；j为路径中的节点的序数；为一个节点判定为1的概率；w表示输入的商品特征的序数；表示映射层的向量xw的转置。

根据梯度随机下降算法得到训练过程的迭代公式，

其中，vi+1(w)、vi(w)表示在训练过程前后两次迭代得到的商品特征的向量，α为一个大于0、且小于1的学习速率。基于上述迭代公式进行多次迭代，可最终得到特征词向量。

图4是根据本发明一个实施例的计算商品相似度的装置的主要模块示意图。本发明实施例的计算商品相似度的装置可设置于服务端。如图4所示，本发明实施例的计算商品相似度的装置400包括：训练模块401、构建模块402、筛选模块403、计算模块404。

训练模块401，用于将商品特征数据输入深度学习模型，以训练得到特征词向量。

其中，所述深度学习模型包括word2vec模型。通过设置训练模块401，能够训练得到高维度(例如100或300维)的特征词向量，提取更深层次的商品信息。

构建模块402，用于基于多个特征词向量构建商品向量。

通常，每个商品可包括多个商品特征。例如，编号为1004560的商品包括六个商品特征，分别为：黑色、编织、男士、真皮、拉链、钱包。在得到归属于上述商品的特征词向量后，可基于这些特征词向量构建商品向量。具体实施时，构建模块402可通过将多个特征词向量进行拼接或加和得到商品向量。

筛选模块403，用于根据哈希算法筛选所述商品向量的相似商品候选集，包括：根据哈希算法计算所述商品向量的哈希签名，再基于哈希签名筛选所述商品向量的相似商品候选集。

其中，所述相似商品候选集为根据哈希算法筛选出的与所述商品向量相似的商品向量的集合；所述哈希算法包括：随机映射局部敏感哈希算法。由于哈希签名的数据维度远远小于商品向量的数据维度，因此，本发明实施例的筛选模块能够大大降低筛选时的数据维度，提高相似商品的筛选速率。

计算模块404，用于计算所述商品向量与其相似商品候选集中的商品向量的相似度。

在具体实施时，为了提高计算速度，可基于spark分布式计算系统部署计算模块404。进一步，计算模块404可根据如下公式计算商品向量的相似度：余弦(cosine)距离公式、欧式距离公式、或汉明距离公式。

假设商品向量则和的余弦距离公式为：

其中，表示商品向量的模，表示商品向量的模。

和的欧式距离公式为：

通常，两个等长字符串s1与s2之间的汉明距离定义为：将其中一个变为另外一个所需要做的最小替换次数。例如，字符串“1111”与字符串“1001”的汉明距离为2。假设向量向量则向量和的汉明距离为2。

在本发明实施例中，通过训练模块能够训练得到更高维度、体现深层次商品信息的特征词向量；通过构建模块构建商品向量、计算模块计算商品向量之间的相似度，能够使计算出的相似商品符合高层次的“相像”，提高商品相似度的计算准确率；通过筛选模块筛选商品向量的相似商品候选集，再由计算模块计算商品向量的相似度，大大减少了商品相似度的计算量，提高了商品相似度的计算效率。

图5是根据本发明另一实施例的计算商品相似度的装置的主要模块示意图。本发明实施例的计算商品相似度的装置可设置于服务端。如图5所示，本发明实施例的计算商品相似度的装置500包括：训练模块501、构建模块502、筛选模块503、计算模块504。

训练模块501，用于将商品特征数据输入word2vec模型，以训练得到特征词向量。

word2vec模型是一种分布式词向量表示模型，用于将词映射到固定维度的向量空间中。关于word2vec模型的结构以及训练过程可参考上文关于图3的相关说明。

进一步，本发明实施例的计算商品相似度的装置还可包括：数据预处理模块，用于对商品特征数据进行预处理，以得到符合word2vec模型输入格式的商品特征数据。

构建模块502，用于根据商品特征出现的频率确定特征词向量的权重，对多个特征词向量进行加权求和，以得到商品向量。

筛选模块503，用于根据随机映射局部敏感哈希算法筛选所述商品向量的相似商品候选集。具体地，筛选模块503包括：签名计算单元5031、第一确定单元5032、判断单元5033、步长更新单元5034、第二确定单元5035。

签名计算单元5031，用于计算所述商品向量的哈希签名，包括：签名计算单元5031先随机生成多个与商品向量同维度的法向量，然后将商品向量分别与各个法向量做投影操作，如果商品向量在法向量的左侧，则取1，如果商品向量在法向量的右侧，则取0，进而得到由0、1组成的哈希签名。

例如，签名计算单元5031随机生成了五个法向量商品向量在的左侧，则哈希签名的首位取1；商品向量在的左侧，则哈希签名的第二位取1；商品向量在的右侧，则哈希签名的第三位取0；商品向量在的左侧，则哈希签名的第四位取1；商品向量在的右侧，则哈希签名的第五位取0，因此，得到的该商品向量的哈希签名为(1,1,0,1,0)。

第一确定单元5032，用于根据设置的哈希签名的比较步长值确定所述商品向量的相似商品。

比如，某一商品向量的哈希签名为(1,1,0,1,0)，初始的比较步长值为4，则比较这一商品向量的哈希签名与其他商品向量的哈希签名的前四个维度的数据。如果前四个维度的数据相同，则第一确定单元5032确定这两个商品向量是相似商品；否则，第一确定单元5032确定这两个商品向量不是相似商品。

又比如，某一商品向量的哈希签名为(1,1,0,1,0,1,1,1,0,0,0,1)，初始的比较步长值为12，则比较这一商品向量的哈希签名与其他商品向量的哈希签名的所有维度的数据。如果所有维度的数据都相同，则第一确定单元5032确定这两个商品向量是相似商品；否则，第一确定单元5032确定这两个商品向量不是相似商品。

判断单元5033，用于判断所述商品向量的相似商品数量是否大于预设阈值。若所述商品向量的相似商品数量大于预设阈值，则调用第二确定单元5035；若所述商品向量的相似商品数量不大于预设阈值，则调用步长更新单元5034。

第二确定单元5035，用于基于所述相似商品构建所述商品向量的相似商品候选集。

示例性的，所述预设阈值可取10。在该示例中，如果第一确定单元5032确定的某一商品向量的相似商品数量大于10，则基于这些相似商品构建相似商品候选集。需要指出的是，本领域技术人员还可根据实际需求灵活设置所述预设阈值。

步长更新单元5034，用于降低所述比较步长值，之后，调用第一确定单元5032和判断单元5033。

示例性的，步长更新单元5034可以每次将比较步长值降低2。例如，某一商品向量的哈希签名为(1,1,0,1,0,1,1,1,0,0,0,1)，初始的比较步长值为12，则在第一次调用步长更新单元5034时，可将比较步长值更新为10。之后，再次调用第一确定单元5032和判断单元5033。需要指出的是，本领域技术人员还可根据实际需求灵活设置每次比较步长值的降低值。例如，步长更新单元5034可以每次将比较步长值降低1。

在具体实施时，可以多次迭代调用第一确定单元5032、判断单元5033、步长更新单元5034以及第二确定单元5035，直到具有相似商品候选集的商品的覆盖率达到指定值(比如98％)。本发明实施例的筛选模块503能够在不同的比较步长值下找回不同相似度的相似商品，既能提高商品相似度的计算速度，又能提高商品相似度计算的覆盖率和准确率。

计算模块504，用于计算所述商品向量与其相似商品候选集中的商品向量的相似度。

关于计算模块504如何计算商品向量的相似度，可参考图4所示实施例中关于计算模块404的相关说明。

本发明实施例的计算商品相似度的装置不仅能够快速计算大规模商品的相似度，而且计算出的相似商品符合高层次的“相像”，提高了用户体检。

图6示出了可以应用本发明实施例的计算商品相似度的方法或计算商品相似度的装置的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以计算商品之间的相似度，并基于商品相似度计算结果生成商品推荐列表，并将商品推荐列表反馈给终端设备。

需要说明的是，本发明实施例所提供的计算商品相似度的方法一般由服务器605执行，相应地，计算商品相似度的装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图7示出了适于用来实现本发明实施例的服务器的计算机系统700的结构示意图。图7示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有系统700操作所需的各种程序和数据。cpu701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。

以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括训练模块、构建模块、筛选模块、计算模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，构建模块还可以被描述为“构建商品向量的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以下流程：将商品特征数据输入深度学习模型，以训练得到特征词向量；基于多个特征词向量构建商品向量；根据哈希算法筛选所述商品向量的相似商品候选集；计算所述商品向量与其相似商品候选集中的商品向量的相似度。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。