基于用户多意图对比的序列推荐方法及系统

本发明涉及个性化推荐，更为具体地，涉及一种基于用户多意图对比的序列推荐方法及系统。

背景技术：

1、个性化推荐系统目前被广泛应用电商、电影、音乐、新闻、在线广告等平台，其中主流的推荐系统有两种，分别为传统通用推荐和序列推荐。序列推荐通过挖掘用户访问的时间序列信息，预测用户未来与之交互的物品，不仅能显式建模用户的序列行为，同时还能捕捉用户的动态兴趣变化。尽管目前基于深度学习的序列推荐模型在模型性能上取得显著的成功，但序列推荐仍存在两个很少注意到的重要问题：意图探索单一和意图耦合的问题。首先，意图探索单一问题仍然严重，因为序列推荐常对用户的下一项交互项目进行预测，最简洁高效的方式就是捕捉用户的单一意图进行推荐，但这忽略了现实中用户行为由多意图驱动的事实。同时，大多数基于意图的序列推荐算法常使用聚类方法捕捉用户的多重意图，但忽略了不同意图对用户行为的贡献程度，这导致捕捉到的用户意图存在十分严重的耦合问题，使模型达到次优的结果。

2、要解决上述问题存在两点挑战；其一，准确地从用户历史交互中建模多意图十分困难，因为缺乏意图标签数据。大多数现有用户意图建模工作需要侧信息（如：用户点击、购买等）来捕捉用户意图，但这些在实际推荐系统中并不总是可用。且将意图信息融合到序列推荐模型中需要意图表示与序列嵌入正交，否则导致冗余信息。其二，用户多意图解耦由于缺乏监督信号无法顺利完成。用户行为数据作为意图的唯一监督信号，相同的行为可能反映了不同的意图，这对意图解耦是一个亟需解决的问题。

技术实现思路

1、鉴于上述问题，本发明的目的是提供一种基于用户多意图对比的序列推荐方法及系统，以解决现有基于深度学习的序列推荐存在的意图探索单一和多意图耦合的问题。

2、本发明提供一种基于用户多意图对比的序列推荐方法，包括：

3、对用户行为数据进行数据增强，获取增强序列；

4、通过预设的序列编码器分别对所述用户行为数据的原始序列和增强序列进行处理，获取原始编码向量和增强编码向量；

5、通过em算法和k-means聚类算法对所述原始编码向量进行多意图学习获取原始意图向量；以及，

6、通过胶囊网络对所述增强编码向量进行多意图学习，获取增强意图向量；

7、分别获取所述原始意图向量和所述增强意图向量之间的相似性以及所述原始编码向量和所述增强编码向量之间的相似性，其中，

8、通过对所述原始意图向量和所述增强意图向量进行自监督对比学习，获取所述原始意图向量和所述增强意图向量之间的相似性，以及，通过对所述原始编码向量和所述增强编码向量进行自监督对比学习，获取所述原始编码向量和所述增强编码向量之间的相似性；

9、根据所述原始意图向量和所述增强意图向量之间的相似性、所述始编码向量和所述增强编码向量之间的相似性，获取用户多意图偏好表示；

10、根据所述用户多意图偏好表示、项目偏好表示，获取推荐列表并向用户推荐。

11、此外，优选的方案是，所述数据增强的方式包括遮盖、剪切和重排序，其中，给定一个序列给定一个序列和预定义的数据转换函数集，创建的两个正视图，公式所示如下：

12、，

13、其中，表示特定值，表示用户，表示时间，和表示从随机采样的转换函数，以创建序列的不同视图。

14、此外，优选的方案是，通过预设的序列编码器分别对所述用户行为数据的原始序列和增强序列进行处理，获取原始编码向量和增强编码向量；其中，

15、所述预设的序列编码器采用transformer模型，包括嵌入部分、自注意力部分和堆叠注意力部分，其中，

16、所述嵌入部分的矩阵公式为：

17、 ，

18、其中，表示用户行为序列的最大长度，表示可学习的位置嵌入；

19、 表示项目嵌入矩阵，其中，为项目数，为潜在维度；

20、嵌入矩阵，其中，，使用常数零向量作为填充项的嵌入；

21、所述自注意力部分包括自注意力机制和点逐元素前馈网络，其中，可缩放的点积注意力的公式如下：

22、 ，

23、其中，表示查询；表示键；表示值，每一行代表一个项；表示尺度因子；

24、所述自注意力机制，使用相同的对象作为查询、键和值，以嵌入矩阵作为输入，通过线性投影将其转换为三个矩阵，并将其输入到一个可缩放的点积注意力中，其公式为：

25、 ，

26、其中，投影矩阵；

27、所述点逐元素前馈网络的公式如下：

28、 ，

29、其中，和是的矩阵，和是维向量；

30、所述堆叠注意力部分包括attenion块和ffn块，第块的公式为：

31、 ，

32、同时，第1块表示为和；引入残差链接、层归一化和随机失活进行缓解过拟合，采用的公式为：

33、 ，

34、其中，表示自注意力层或者前馈网络，在自注意力部分中的每块的层中，在先对输入应用层归一化，接着对的输出应用dropout，输入添加到最终输出中；

35、 ，

36、其中，是一个元素级乘积，和是的平均值和方差，和是学习的比例因子和偏差项。

37、此外，优选的方案是，在通过em算法和k-means聚类算法对所述原始编码向量进行多意图学习获取原始意图向量的过程中，其中，

38、所述em算法包括e-step和m-step，其中，e-step表示每一次迭代都分期望步，m-step表示极大步；

39、在e-step中使用k-means聚类算法来计算得到时间步中的个原始多意图，表示第个原始意图向量，通过m-step中从小批次梯度下降中估计的优化参数。

40、此外，优选的方案是，在通过胶囊网络对所述增强编码向量进行多意图学习，获取增强意图向量的过程中；

41、所述胶囊网络输出向量的长度为胶囊所代表实体在当前输入中的概率，假设为是胶囊的初级层，通过动态路计算得到胶囊的下一层向量；

42、首先计算预测向量，采用公式为：

43、 ，

44、其中，为变换矩阵；

45、此时胶囊的输入为所有预测向量的加权和，采用公式为：

46、 ，

47、其中，为迭代动态路由过程中的耦合系数，胶囊和下一层所有胶囊之间的耦合系数之和为1，其中，采用公式为：

48、 ，

49、其中，为胶囊与胶囊耦合的对数先验概率，因此胶囊的向量公式为：

50、 ，

51、其中，即为一次迭代中得到的用户意图向量，。

52、此外，优选的方案是，在通过对所述原始编码向量和所述增强编码向量进行自监督对比学习，获取所述原始编码向量和所述增强编码向量之间的相似性的过程中，

53、采用infonce损失函数进行对比学习，公式为：

54、 ，

55、其中，分别表示增强意图向量，表示原始意图向量，

56、 、分别表示学习任务最小化， 表示点积。

57、此外，优选的方案是，在通过对所述原始编码向量和所述增强编码向量进行自监督对比学习，获取所述原始编码向量和所述增强编码向量之间的相似性的过程中，

58、通过infonce损失进一步优化序列编码器的参数，公式为：

59、 ，

60、 其中，表示增强编码向； 表示点积。

61、此外，优选的方案是，在根据所述用户多意图偏好表示、项目偏好表示，获取推荐列表并向用户推荐的过程中，

62、通过多层感知获得项目嵌入矩阵，其中，项目嵌入矩阵为所述项目偏好表示，所述用户多意图偏好表示采用；

63、 通过计算整个项目集的下一项概率分布提出下一项预测建议，对于时间步 、下一项为候选项目 的推荐概率的公式为：

64、 ，

65、其中，是在时间步的嵌入，是的嵌入；

66、将作为模型输出的用户对项目的感兴趣程度值，并根据所述感兴趣程度值进行降序排序，对用户进行top-k推荐。

67、此外，优选的方案是，采用的预设的序列编码器为mscr模型序列编码器：

68、 ，

69、其中，和分别控制意图解耦任务和序列级自监督对比学习任务的强度。

70、本发明还提供一种基于用户多意图对比的序列推荐系统，包括：

71、增强序列获取单元，用于对用户行为数据进行数据增强，获取增强序列；

72、编码向量获取单元，用于通过序列编码器分别对所述增强序列和原始序列进行处理，获取原始编码向量和增强编码向量；

73、原始意图向量获取单元，用于通过em算法和k-means聚类算法对所述原始编码向量进行多意图学习获取原始意图向量；

74、增强意图向量获取单元，用于通过胶囊网络对所述增强编码向量进行多意图学习，获取增强意图向量；

75、自监督对比学习单元，用于通过对所述原始意图向量和所述增强意图向量进行自监督对比学习，获取所述原始意图向量和所述增强意图向量之间的相似性；

76、序列对比学习单元，用于通过对所述原始编码向量和所述增强编码向量进行自监督对比学习，获取所述原始编码向量和所述增强编码向量之间的相似性；

77、用户多意图偏好表示获取单元，用于根据所述原始意图向量和所述增强意图向量之间的相似性、所述始编码向量和所述增强编码向量之间的相似性，获取用户多意图偏好表示；

78、推荐列表获单元，用于根据所述用户多意图偏好表示、项目偏好表示，获取推荐列表并向用户推荐。

79、从上面的技术方案可知，本发明提供的基于用户多意图对比的序列推荐方法及系统，通过聚类算法从用户行为序列中学习用户的原始意图分布，使用胶囊网络生成代理意图作为监督信号，利用自监督对比学习将用户意图引入序列推荐模型中，最大限度捕捉用户序列中的多维潜在意图。并且通过引入潜在变量和em框架来解决用户意图探索问题，并通过对比学习机制来学习更加精确的用户多意图表征，从而解决现有基于深度学习的序列推荐存在的意图探索单一和多意图耦合的问题.

80、为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。