条件注意力网络及其在个性化推荐中的应用方法及装置与流程

本发明涉及个性化推荐技术领域，特别涉及一种条件注意力网络及其在个性化推荐中的应用方法及装置。

背景技术：

现有的基于知识图谱的推荐方法主要分为两类：

(1)基于表征的方法，根据知识图谱学习节点表征，然后将其与用户商品网络中的节点表征相关联。然而，该方法不能很好利用知识图谱的丰富拓扑结构以及不能刻画用户对知识图谱中关系的个性化的偏好。

(2)基于路径的方法，根据用户商品在知识图谱上的路径来衡量用户商品的相似度从而进行推荐。然而，由于路径长度的限制，该方法不能很好的刻画用户和商品之间的高阶全局的相似度，而且这种路径通常需要人类专家制定。

因此，现有的方法表达能力较差，且不能较好的刻画用户对商品的局部偏好，有待进一步改进。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种条件注意力网络及其在个性化推荐中的应用方法，该方法通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。

本发明的另一个目的在于提出一种条件注意力网络及其在个性化推荐中的应用装置。

为达到上述目的，本发明一方面实施例提出了一种条件注意力网络及其在个性化推荐中的应用方法，包括以下步骤：通过知识图谱表征学习的方法学习得到知识图谱的表征信息；通过带注意力机制的图神经神经网络传播所述表征信息，以得到全局节点表征；设计条件注意力网络，对所述知识图谱进行蒸馏生成基于目标用户商品的子图，在所述子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到所述目标用户的局部偏好表征；根据所述全局节点表征和所述局部偏好表征为所述目标用户推荐感兴趣商品。

本发明实施例的条件注意力网络及其在个性化推荐中的应用方法，考虑了利用图神经网络来在知识图谱上传递用户的偏好信息，并且提出一种新的条件注意力网络来对知识图谱进行蒸馏，来自动得到一个子图来刻画用户对知识图谱中关系的局部偏好，从而通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。

另外，根据本发明上述实施例的条件注意力网络及其在个性化推荐中的应用方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述通过带注意力机制的图神经神经网络传播所述表征信息，以得到全局节点表征，进一步包括：通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播所述表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。

进一步地，在本发明的一个实施例中，所述条件注意力网络为：在所述带注意力机制的图神经神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重，其中，每个节点的表征为邻居节点的加权平均，利用注意力机制衡量不同边的权重，以衡量每条边的空间中任意两个节点之间的相似度，相似度大小与传播权重的大小成正比。

进一步地，在本发明的一个实施例中，所述设计条件注意力网络，对所述知识图谱进行蒸馏生成基于目标用户商品的子图，在所述子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到所述目标用户的局部偏好表征，进一步包括：通过所述全局节点表征从所述目标用户商品节点的k阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于所述全局节点表征的相似度；通过所述条件注意力网络引入节点对所述目标用户商品节点的注意力机制，在所述目标用户商品的子图上传播目标用户对不同节点的偏好，以得到所述目标用户的局部偏好表征。

进一步地，在本发明的一个实施例中，所述根据所述全局节点表征和所述局部偏好表征为所述目标用户推荐感兴趣商品，进一步包括：将所述全局节点表征和所述局部偏好表征拼接起来得到一个新的节点表征；将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度；根据所述相似度的大小为所述目标用户推荐感兴趣商品。

为达到上述目的，本发明另一方面实施例提出了一种条件注意力网络及其在个性化推荐中的应用装置，包括：学习模块，用于通过知识图谱表征学习的方法学习得到知识图谱的表征信息；全局节点表征模块，用于通过带注意力机制的图神经神经网络传播所述表征信息，以得到全局节点表征；局部偏好表征模块，用于设计条件注意力网络，对所述知识图谱进行蒸馏生成基于目标用户商品的子图，在所述子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到所述目标用户的局部偏好表征；推荐模块，用于根据所述全局节点表征和所述局部偏好表征为所述目标用户推荐感兴趣商品。

本发明实施例的条件注意力网络及其在个性化推荐中的应用装置，考虑了利用图神经网络来在知识图谱上传递用户的偏好信息，并且提出一种新的条件注意力网络来对知识图谱进行蒸馏，来自动得到一个子图来刻画用户对知识图谱中关系的局部偏好，从而通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。

另外，根据本发明上述实施例的条件注意力网络及其在个性化推荐中的应用装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述全局节点表征模块进一步用于通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播所述表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。

进一步地，在本发明的一个实施例中，所述条件注意力网络为：在在所述带注意力机制的图神经神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重，其中，每个节点的表征为邻居节点的加权平均，利用注意力机制衡量不同边的权重，以衡量每条边的空间中任意两个节点之间的相似度，相似度大小与传播权重的大小成正比。

进一步地，在本发明的一个实施例中，所述局部偏好表征模块进一步用于通过所述全局节点表征从所述目标用户商品节点的k阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于所述全局节点表征的相似度，并通过所述条件注意力网络引入节点对所述目标用户商品节点的注意力机制，在所述目标用户商品的子图上传播目标用户对不同节点的偏好，以得到所述目标用户的局部偏好表征。

进一步地，在本发明的一个实施例中，所述推荐模块进一步用于将所述全局节点表征和所述局部偏好表征拼接起来得到一个新的节点表征，将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度，根据所述相似度的大小为所述目标用户推荐感兴趣商品。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的条件注意力网络及其在个性化推荐中的应用方法的流程图；

图2为根据本发明实施例的条件注意力网络及其在个性化推荐中的应用方法的网络流程图；

图3为根据本发明实施例的条件注意力网络及其在个性化推荐中的应用装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用方法及装置，首先将参照附图描述根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用方法。

图1是本发明一个实施例的条件注意力网络及其在个性化推荐中的应用方法的流程图。

如图1所示，该条件注意力网络及其在个性化推荐中的应用方法包括以下步骤：

在步骤s101中，通过知识图谱表征学习的方法学习得到知识图谱的表征信息。

可以理解的是，如图2所示，应用知识图谱表征学习的方法学习知识图谱的表征，从而考虑知识图谱的丰富拓扑结构，更好地帮助个性化推荐。

具体而言，将知识图谱中三元组的节点表征投影到边类型对应的空间中，维持起始节点和终止节点在该空间中的相似度，具体相似度函数为：

其中，eh⊥为节点在边r对应空间的投影，dr为边r的表征。

在步骤s102中，通过带注意力机制的图神经神经网络传播表征信息，以得到全局节点表征。

可以理解的是，如图2所示，通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强。

进一步地，在本发明的一个实施例中，通过带注意力机制的图神经神经网络传播表征信息，以得到全局节点表征，进一步包括：通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。

其中，推荐系统利用用户过去的购买历史给用户推荐合适的商品，。如果一个用户曾经购买过一件商品，那么就将用户节点和该商品节点之间连接一条边，从而构成用户商品网络。

具体而言，传播过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征，即每个节点的表征为邻居节点的加权平均。为了使得不同的边权重不同，本发明实施例利用注意力机制衡量权重，其中，由于知识图谱中边有类型，因此，权重考虑了边的类型。具体传播过程为：

其中，πr(υ，t)为对应的注意力，定义为：

πr(υ，t)＝cos(eυ⊥+dr，et⊥)，

它衡量了在边r的空间中节点v与节点t的相似度。相似度越大，传播的权重就更大，将会传播更多的信息。

传统网络中的带注意力机制的图神经网络为现有技术gat，但是本发明实施例的模型与带注意力机制的图神经网络不同，本发明实施例是知识图谱中的带注意力机制的图神经网络，它需要利用知识图谱中边的类型结构，从而较已有方法的模型表达能力更强。

在步骤s103中，设计条件注意力网络，对知识图谱进行蒸馏生成基于目标用户商品的子图，在子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到目标用户的局部偏好表征。

可以理解的是，如图2所示，本发明实施例通过引入比路径信息更丰富的子图，刻画用户对知识图谱中关系的局部偏好，具体地：设计条件注意力网络，对知识图谱进行蒸馏生成基于目标用户商品的子图，在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好。

在本发明的一个实施例中，条件注意力网络为：在带注意力机制的图神经神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重。

具体而言，条件注意力网络是在上述的注意力网络中考虑了目标节点的影响，也就是在给定目标的用户商品预测对时，传播的权重，其中，

其中，是依赖于目标用户商品对的条件注意力。它衡量了两种相似度，一个是知识本身的相似度，这里直接用上一过程得到的全局注意力α1＝πr(υ，t)来衡量；另一个是用户商品对知识的偏好，定义为结合两部分条件注意力：

进一步地，在本发明的一个实施例中，设计条件注意力网络，对知识图谱进行蒸馏生成基于目标用户商品的子图，在子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到目标用户的局部偏好表征，进一步包括：通过全局节点表征从目标用户商品节点的k阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于全局节点表征的相似度；通过条件注意力网络引入节点对目标用户商品节点的注意力机制，在目标用户商品的子图上传播目标用户对不同节点的偏好，以得到目标用户的局部偏好表征。

可以理解的是，根据目标用户商品节点，通过上面得到的全局表征从目标节点的k阶邻居中采样出一个子图，采样边的概率基于全局节点表征的相似度。通过条件注意力网络引入节点对目标节点的注意力，在采样的目标子图上传播目标对不同节点的偏好，得到局部目标偏好的表征。

其中，通过条件注意力网络引入“节点对目标节点的注意力”，可以理解为网络中每个节点相对于目标节点的注意力机制。

具体而言，每个节点聚合邻居表征的信息更新自己的表征，而每个节点邻居表征又由他们自身的邻居的表征更新，因为最后得到的表征能维持全局结构，这个表征的内积距离即可衡量全局相似度。采样边的概率为归一化的全局注意力πr(υ，t)。从邻居集合中根据边对应的概率采样固定数量的边，根据概率从邻居节点中采样边，注意力大的更重要，采样的概率就更大，更容易保留下来。

在推荐中需要给用户推荐商品，因此需要衡量用户和商品的相似度，在衡量特定用户和商品时，他们就是目标用户商品。目标用户商品节点即为他们分别在网络中对应的节点。

在步骤s104中，根据全局节点表征和局部偏好表征为目标用户推荐感兴趣商品。

可以理解的是，如图2所示，结合全局节点表征和局部目标偏好表征，预测目标节点间的相似度来给用户推荐商品。

进一步地，在本发明的一个实施例中，根据全局节点表征和局部偏好表征为目标用户推荐感兴趣商品，进一步包括：将全局节点表征和局部偏好表征拼接起来得到一个新的节点表征；将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度；根据相似度的大小为目标用户推荐感兴趣商品。

具体而言，将全局节点表征和局部偏好表征拼接起来得到一个新的节点表征，将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出用户和商品的相似度。通过这种方式计算用户和所有商品的相似度，按相似度大小排序，给用户推荐相似度大的商品。

综上，引用外部知识图谱的个性化推荐，通过本发明实施例的方法，可以通过外部的知识图谱更好的刻画用户的兴趣，为他推荐感兴趣的商品。

根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用方法，考虑了利用图神经网络来在知识图谱上传递用户的偏好信息，并且提出一种新的条件注意力网络来对知识图谱进行蒸馏，来自动得到一个子图来刻画用户对知识图谱中关系的局部偏好，从而通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。

其次参照附图描述根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用装置。

图3是本发明一个实施例的条件注意力网络及其在个性化推荐中的应用装置的结构示意图。

如图3所示，该条件注意力网络及其在个性化推荐中的应用装置10包括：学习模块100、全局节点表征模块200、局部偏好表征模块300和推荐模块400。

其中，学习模块100用于通过知识图谱表征学习的方法学习得到知识图谱的表征信息；全局节点表征模块200用于通过带注意力机制的图神经神经网络传播表征信息，以得到全局节点表征；局部偏好表征模块300用于设计条件注意力网络，对知识图谱进行蒸馏生成基于目标用户商品的子图，在子图上通过条件注意力机制刻画目标用户对知识图谱中关系的偏好，以得到目标用户的局部偏好表征；推荐模块400用于根据全局节点表征和局部偏好表征为目标用户推荐感兴趣商品。本发明实施例的装置10通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。

进一步地，在本发明的一个实施例中，全局节点表征模块200进一步用于通过带注意力机制的图神经网络在知识图谱以及用户商品网络上传播表征信息，以得到全局节点表征，其中，传播的过程为：每个节点聚合从邻居节点过来的表征信息得到新的表征。

进一步地，在本发明的一个实施例中，条件注意力网络为：在在带注意力机制的图神经神经网络中加入目标用户商品节点，以在预测目标用户感兴趣的商品时传播权重，其中，每个节点的表征为邻居节点的加权平均，利用注意力机制衡量不同边的权重，以衡量每条边的空间中任意两个节点之间的相似度，相似度大小与传播权重的大小成正比。

进一步地，在本发明的一个实施例中，局部偏好表征模块300进一步用于通过全局节点表征从目标用户商品节点的k阶邻居中采样得到目标用户商品的子图，其中，采样边的概率基于全局节点表征的相似度，并通过条件注意力网络引入节点对目标用户商品节点的注意力机制，在目标用户商品的子图上传播目标用户对不同节点的偏好，以得到目标用户的局部偏好表征。

进一步地，在本发明的一个实施例中，推荐模块400进一步用于将全局节点表征和局部偏好表征拼接起来得到一个新的节点表征，将用户和商品各自对应的新的节点表征输入到一个全连接神经网络，输出目标用户和商品之间的相似度，根据相似度的大小为目标用户推荐感兴趣商品。

需要说明的是，前述对条件注意力网络及其在个性化推荐中的应用方法实施例的解释说明也适用于该实施例的条件注意力网络及其在个性化推荐中的应用装置，此处不再赘述。

根据本发明实施例提出的条件注意力网络及其在个性化推荐中的应用装置，考虑了利用图神经网络来在知识图谱上传递用户的偏好信息，并且提出一种新的条件注意力网络来对知识图谱进行蒸馏，来自动得到一个子图来刻画用户对知识图谱中关系的局部偏好，从而通过图神经神经网络在知识图谱上传播表征的信息，得到全局的相似度关系，较已有方法的模型表达能力更强，且对知识图谱进行蒸馏生成基于目标用户商品的子图在子图上通过条件注意力机制刻画目标对于知识图谱中关系的偏好，较已有方法能更好的刻画用户对商品的局部偏好。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。