一种基于深度神经网络的时序集合推荐系统和方法

1.本发明涉及深度神经网络机器学习领域，特别是涉及一种基于深度神经网络的时序集合推荐系统和方法。


背景技术：

2.时序集合在现实场景中非常普遍，例如顾客的购买行为可以被形式化为一系列集合，其中每个集合中包含多个商品，学生每学期的选课可以认为是一个集合，以及病人的处方也可以认为是一个集合。以上述场景为例，购物篮预测有助于门店提前发货，下学期课程预测有助于高校更好地进行课程设置决策。然而，现有的为时间序列或时间事件设计的时序数据预测方法不能直接用于时序集合，因为时间序列预测方法无法处理元素之间的语义关系，而时序事件预测方法无法处理集合内的多个元素。
3.目前也存在一些时序集合预测的方法。但这些方法是在两阶段框架下设计的，该框架首先将每个集合投影到一个表征向量中，然后基于集合的表征序列预测后续集合。然而，两步法在集合表示过程中存在信息损失，元素本身不能得到很好的表示，导致预测性能不理想。尽管近年来，基于集合的数据的表征学习已经做了很多工作，但是所学习的表征主要应用于下游任务，没有考虑动态序列行为。因此，对于时间集合预测的任务，很难学习集合的潜在表示，然后基于所学习的表示挖掘序列模式。


技术实现要素：

4.本发明的目的是提供一种基于深度神经网络的时序集合推荐系统和方法，以处理集合内的多个元素。本发明的方法建立在综合元素表示（comprehensive element representation）的基础上，它首先通过构造集合级共现图来捕获元素关系，然后对动态关系图进行图卷积。此外，还设计了基于注意力的时间依赖性学习模块，该模块能够捕获集合的历史序列中元素之间最重要的时间依赖性，然后通过加权求和自适应地聚集时间信息得到元素表征。最后，设计了门控更新机制来融合元素的静态和动态表示，通过挖掘元素之间共享的动态时间模式来提高预测性能。
5.为实现上述目的，本发明提供了如下方案：一种基于深度神经网络的时序集合推荐系统，包括元素关系捕获模块、时间依赖性学习模块和门控更新机制模块；其中，所述的元素关系捕获模块，用于构建、捕获、学习元素之间的属性关系；所述的时间依赖性学习模块，用于获取元素之间的时间依赖关系；所述的门控更新机制模块，用于将属性关系和时间依赖关系的动态信息和静态信息相融合。
6.进一步的，所述元素关系捕获模块，首先通过构造集合级共现图来捕获元素关系，利用动态图的图卷积学习元素之间的属性关系。
7.进一步的，所述时间依赖性学习模块，能够捕获集合的历史序列中元素之间的时间依赖性，然后通过加权求和自适应地聚集时间信息得到元素表征。
8.进一步的，所述门控更新机制模块，通过融合元素的静态和动态表示，通过挖掘元素之间共享的动态时间模式来更全面预测结果。
9.根据本发明的另一方面，提出一种基于深度神经网络的时序集合推荐方法，包括以下步骤：步骤1：首先，将用户的历史行为序列数据构造为集合级共现图，根据元素间的共现频次得到图上每条边的权重信息，具有权重信息的集合级共现图称为动态关系图，然后对动态关系图进行图卷积，得到图上每个元素的一个表征，若序列长度为t，则每个元素有t个表征；步骤2：针对上述步骤1得到的每个元素的t个表征，通过基于注意力的时间依赖学习模块来捕获序列中元素的时间依赖关系，然后通过加权求和和自适应的聚集时间信息将元素的多个表征融合为一个表征，从而得到m个元素的m个表征；步骤3：上述步骤处理的都是用户接触过的元素，根据步骤2得到用户接触过的m个元素的表征，结合用户未接触过的k个静态表征，通过门控更新机制来融合元素的动态和静态表示，最终得到总共n个元素的n个表征，n=m+k；步骤4：针对上述步骤3得到的n个元素的n个表征，通过一个线性输出层得到n个浮点数值，分别表示该用户下一时刻与该n个元素的交互概率。
10.有益效果：本发明的方法建立在综合元素表示（comprehensive element representation）的基础上，它首先通过构造集合级共现图来捕获元素关系，然后对动态关系图进行图卷积。此外，还设计了基于注意力的时间依赖性学习模块，该模块能够捕获集合的历史序列中元素之间最重要的时间依赖性，然后通过加权求和自适应地聚集时间信息得到元素表征。最后，设计了门控更新机制来融合元素的静态和动态表示，通过挖掘元素之间共享的动态时间模式来提高预测性能。
附图说明
11.图1为元素关系捕获模块算法流程示意图；图2为融合表征算法流程示意图；图3为融合元素动态静态特征算法流程示意图；图4为集合级共现图实现方法示意图。
具体实施方式
12.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
13.根据本发明的一个实施例，针对一个用户的历史行为集合序列数据，采用本发明的方法进行处理，具体包括如下步骤：步骤1：首先，将用户的历史行为序列数据构造为集合级共现图， 即集合中的每一个元素为图上的一个节点，处于同一集合中的元素两两之间构成连边，从而实现共现图的
构建。
14.如图1所示，ν
i,j
代表用户i所接触的第j个元素，代表用户i的第k个序列集合数据。
15.在购物场景中，接触即为用户与物品之间的购买关系，上述的元素则代表具体物品，集合序列数据则是用户一次性购买多个物品的行为抽象，在同一个集合中的物品即为存在共现关系。根据元素间的共现频次得到图上每条边的权重信息，具有权重信息的集合级共现图称为动态关系图，然后对该动态关系图进行图卷积，卷积公式如下所示，代表在多层神经网络中，用户i所交互的第j个元素在t时刻的第l层的表征，b
t,l
和w
t,l
是第l层的可训练参数，代表元素共现矩阵的第j行和第k列的权重值，代表用户i在t时刻的集合共现图中元素j的所有邻居，代表深度学习中的sigmoid激活函数，将数值映射到0和1之间。
16.通过上述公式，则可以得到图上每个元素的一个表征，若序列长度为t，则每个元素有t个表征。
17.步骤2：针对上述步骤1得到的每个元素的t个表征，通过基于注意力的时间依赖学习模块来捕获序列中元素的时间依赖关系，然后通过加权求和和自适应的聚集时间信息将元素的多个表征融合为一个表征,公式如下，,,分别是可训练参数，分别是可训练参数，分别是可训练参数，是一个常数，用来保持模型的稳定性，m
i
是掩饰矩阵，用来避免信息泄露，softmax是指数函数，用来数据的归一化。w
agg
是可训练参数，用来学习不同时刻表征的重要性，其中z
i,j
代表针对用户i，元素j的各个时刻的表征，通过该公式可以捕获元素表征在时间上的依赖关系，并通过学习到的重要性将多个时刻的表征进行融合，其中z
i,j
即代表融合后的针对用户i的元素j的表征。公式如上。该步骤可以得到m个元素的m个动态表征；步骤3：上述步骤处理的都是用户接触过的元素，如用户购买某一物品即为接触。
18.根据步骤2可以得到用户接触过的m个元素的动态表征，结合用户未接触过的k个静态表征，通过门控更新机制来融合元素的动态和静态表示，公式如下，静态表征，通过门控更新机制来融合元素的动态和静态表示，公式如下，代表用户i的静态元素表征，代表用户的动态元素表征，和是可训练的参数，用来控制静态表征和动态表征的重要性，为针对用户所学习到的元素表征。最终得到总共n个元素的n个表征（n=m+k）；
步骤4：针对上述步骤3得到的n个元素的n个表征，通过一个线性输出层得到n个浮点数值，分别表示该用户下一时刻与该元素的交互概率，公式如下，点数值，分别表示该用户下一时刻与该元素的交互概率，公式如下，代表上述整体模型最终学习到的元素表征，w
o
和b
o
代表可学习参数，sigmoid是激活函数，将数值映射到0和1之间，表示用户i与元素交互的概率，概率越大表明交互的概率越高，概率越小表明交互的概率越小。
19.在真实数据集上的实验表明，即使使用部分训练数据，本发明的方法也可以获得有竞争力的表现（效率高），并且可以显著地优于现有方法（精度高）。
20.在真实的推荐系统中，针对具体用户，物品本身之间的属性关系以及用户的动态购买行为习惯是非常关键的信息，而本发明的模型正是良好的捕获了这些信息。上述步骤1通过构建集合级元素共现图，利用动态图的图卷积可以良好的学习元素之间的属性关系；上述步骤2通过基于注意力机制的序列学习，很好的获取到元素之间的时间依赖关系，也就是用户的动态行为习惯；最后，为了防止推荐物品的局限性，本发明针对用户未见过的商品，通过门控机制将物品的动态和静态信息融合，从而实现更加全面的推荐。基于上述三个关键部分，本发明的模型取得了显著的预测效果。
21.根据本发明的另一个实施例，提出一种基于深度神经网络的时序集合推荐系统，包括元素关系捕获模块、时间依赖性学习模块和门控更新机制模块；其中，所述的元素关系捕获模块，用于构建、捕获、学习元素之间的属性关系；所述的时间依赖性学习模块，用于获取元素之间的时间依赖关系；所述的门控更新机制模块，用于将属性关系和时间依赖关系的动态信息和静态信息相融合。
22.尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。