兴趣地点推荐方法、装置、电子设备和存储介质与流程

本发明涉及点击推荐，具体涉及一种兴趣地点推荐方法、装置、电子设备和存储介质。

背景技术：

1、推荐系统技术是近年来发展最迅速的人工智能应用之一。它已成为各种用户管理或电子商务系统的重要工具，能极大提高用户对系统的使用体验。然而，在许多情况下，为保护用户的隐私并处理分析有限的过去交互，基于序列的推荐算法面临着挑战。为了应对这些挑战，基于点击序列的推荐系统应运而生，该系统利用用户的点击等隐含输入来预测匿名用户的下一次点击。

2、近年来，基于循环神经网络（rnn）和自注意力机制的模型在点击推荐领域取得了显著成果，分别探索了短期和长期项之间的转换。然而，用户的购买行为可以分为有目的性和没有目的性，也可能存在重复浏览或者重复购买的现象。当用户有明确目标购买某个地点时，以短期依赖方式(如rnn)对地点进行建模，可以很好地预测用户的下一次地点点击行为；当用户的购买行为没有特定目标或存在重复购买的想法时，下一次地点点击行为可能与之前某个时刻的点击行为最相关，这种情况下，单独以短期依赖建模或者长期依赖建模的方式便不能很好地挖掘用户的行为。

3、近年来，基于rnn模型和基于自注意力模型的进展，分别通过探索短期和长期项之间的转换，取得了很好的结果。在点击推荐系统中，现有方法通常倾向于使用带注意力机制的rnn及其变体来对交互项之间的顺序依赖关系进行建模。rnn相关的方法可以成功地捕捉短期依赖关系，但是众所周知，当面对长序列时，rnn容易退化，即使已经提出了lstm和gru等技术来缓解这个问题。此外，由于自注意力的特性，它们不敏感于输入序列的顺序，因此它们必须依赖于辅助的位置嵌入来学习顺序信息。然而，尽管已经证明自注意力在捕捉整个序列中的全局依赖性方面具有出色的能力，但它未能有效地捕捉相邻项之间的局部依赖关系。

技术实现思路

1、为了解决现有技术中的缺陷，本发明提供了一种兴趣地点推荐方法、装置、电子设备和存储介质。

2、在一些实施方式中，本发明提供了一种兴趣地点推荐方法，包括：

3、初始化地点字典的高维语义表示和地点点击序列的高维位置表示，并拼接得到所述地点字典的高维表示和所述地点点击序列的地点表示矩阵；

4、将所述地点字典的高维表示和所述地点表示矩阵分别输入至自注意力机制网络、时序网络，分别生成包含长期依赖上下文信息的第一地点表示矩阵和包含短期依赖的第二地点表示矩阵；

5、输入所述第一地点表示矩阵和所述第二地点表示矩阵至预设交叉注意力网络模型，得到下一时刻的兴趣地点表示；

6、基于所述下一时刻的兴趣地点表示对地点字典中所有地点进行预测，输出预设数量的下一时刻的兴趣地点以进行推荐。

7、在一些实施方式中，所述初始化地点字典的高维语义表示和地点点击序列的高维位置表示，并拼接得到所述地点字典的高维表示和所述地点点击序列的地点表示矩阵，包括：

8、所述地点字典表示为，其中，表示地点字典中的第个地点，，为地点字典的大小；

9、所述地点字典的高维语义表示为，其中，表示地点字典中第个地点的高维语义表示，,表示维的向量，代表隐藏层的维度；

10、所述地点点击序列的高维位置表示为，表示点击序列的最大长度,表示所述地点点击序列中第个时刻的点击地点的高维位置表示；

11、所述地点点击序列，其中，表示第个时刻用户点击地点在地点字典v中的序号，,；

12、将所述地点点击序列中对应的高维语义表示和高维位置表示分别记作,；将所述高维语义表示和所述高维位置表示作拼接操作，得到所述地点点击序列所对应的高维表示和地点表示矩阵，采用拼接操作：

13、；

14、。

15、在一些实施方式中，所述将所述地点字典的高维表示和所述地点表示矩阵分别输入至自注意力机制网络、时序网络，分别生成包含长期依赖上下文信息的第一地点表示矩阵和包含短期依赖的第二地点表示矩阵，包括：

16、将所述地点表示矩阵输入至所述自注意力机制网络，得到包含长期依赖上下文信息的第一地点表示矩阵：

17、；

18、其中，都为可学习的权重参数，为激活函数，则是比例因子。

19、在一些实施方式中，在将所述地点表示矩阵输入至所述自注意力机制网络，得到包含长期依赖上下文信息的第一地点表示矩阵之后，还包括：

20、应用两个线性变换和一个relu激活函数调整增强所述自注意力机制网络的非线性能力，并在前馈网络后引入残差连接，得出：

21、；

22、其中，为包含长期依赖的第一地点表示矩阵；是第一个线性层权重参数，是第二个线性层权重参数，为可学习的权重参数；是第一个线性层偏置，是第二个线性层偏置，为可学习的偏差向量；

23、通过线性变化使维度与gru中的隐藏层状态保持一致，其中为可学习的变量，得出：

24、；

25、其中，为通过自注意力网络后学习到的包含长期依赖的第一地点表示矩阵。

26、在一些实施方式中，所述将所述地点字典的高维表示和所述地点表示矩阵分别输入至自注意力机制网络、时序网络，分别生成包含长期依赖上下文信息的第一地点表示矩阵和包含短期依赖的第二地点表示矩阵，包括：

27、将所述地点表示矩阵通过时序网络，结合当前和过去的时间顺序信息，获得地点的高维表示，在时间步的地点表示,是前一时刻的激活和候选激活的线性组合。

28、

29、其中，所述包含短期依赖的第二地点表示矩阵为；

30、，wz是更新门线性权重参数，w是候选激活线性权重参数，wr是遗忘门线性权重参数；uz是更新门前一时刻的激活的权重参数，u是当前遗忘门输出与前一时刻候选激活点积的权重参数，ur是更新门前一时刻的激活的权重参数；

31、，都是可学习的权重参数，和分别表示更新门和遗忘门。

32、在一些实施方式中，所述输入所述第一地点表示矩阵和所述第二地点表示矩阵至预设交叉注意力网络模型，得到下一时刻的兴趣地点表示，包括：

33、设计初始交叉注意力网络模型，如下：

34、；

35、；

36、其中，m为初始交叉注意力网络模型，是交叉注意力网络的输出矩阵再次经过两层线性层激活的结果；为初始交叉注意力网络的输出矩阵；表示当前作为注意力输入的权重参数，表示当前作为注意力输入的权重参数，表示当前作为注意力输入的权重参数，表示第三个线性层权重参数，表示第四个线性层权重参数；b3、b4分别表第三、第四个线性层的偏置；

37、基于所述第一地点表示矩阵和所述第二地点表示矩阵，得出所述预设交叉注意力网络模型如下：

38、；

39、其中，为所述预设交叉注意力网络模型，为第五个线性层权重数，为第六个个线性层权重数；为基于长期依赖的增强交叉注意力模型，为基于短期依赖的增强交叉注意力模型。

40、在一些实施方式中，在所述基于所述下一时刻的兴趣地点表示对地点字典中所有地点进行预测，输出预设数量的下一时刻的兴趣地点以进行推荐，包括：

41、基于下一个点击地点的表示对地点字典中的所有地点进行预测，得到地点字典中所有地点的概率值：

42、；

43、其中，表示地点字典中第个地点的概率值；，；为归一化权重，为归一化函数；

44、取概率值最大的地点作为当前用户点击中下一时刻推荐的地点。

45、在一些实施方式中，本发明还提供一种兴趣地点推荐装置，包括：

46、拼接模块，用于初始化地点字典的高维语义表示和地点点击序列的高维位置表示，并拼接得到所述地点字典的高维表示和所述地点点击序列的地点表示矩阵；

47、生成模块，用于将所述地点字典的高维表示和所述地点表示矩阵分别输入至自注意力机制网络、时序网络，分别生成包含长期依赖上下文信息的第一地点表示矩阵和包含短期依赖的第二地点表示矩阵；

48、交叉模块，用于输入所述第一地点表示矩阵和所述第二地点表示矩阵至预设交叉注意力网络模型，得到下一时刻的兴趣地点表示；

49、推荐模块，用于基于所述下一时刻的兴趣地点表示对地点字典中所有地点进行预测，输出预设数量的下一时刻的兴趣地点以进行推荐。

50、在一些实施方式中，本发明提供一种电子设备，所述电子设备包括：

51、处理器；以及，存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述兴趣地点推荐方法。

52、在一些实施方式中，本发明提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述兴趣地点推荐方法所执行的操作。

53、与现有技术相比，本发明具有如下的有益效果：

54、本发明采用增强交叉依赖注意力网络，有效结合了地点的短期依赖和长期依赖，更好对点击表示建模，提高了下一次点击预测精度。