基于合作多智能体的知识图谱元路径和元图自动挖掘算法

本发明涉及深度学习和模式挖掘相关领域，尤其是一种基于合作多智能体的知识图谱元路径和元图自动挖掘算法。

背景技术：

1、自2012年谷歌推出了建立在dbpedia和freebase等知识库基础之上的开放知识图谱以来，知识图谱已经逐步成为数据挖掘、智能推荐、搜索问答、大模型等人工智能领域的研究热点。随着我国进入智能技术研究发展的井喷期，除了构建注重知识广度的超大规模的开放知识图谱以外，越来越多行业构建了自己的垂直领域知识图谱。这些领域知识图谱构建了行业领域知识中实体之间潜在的关系，通过它们可以找到某个领域的一些数据或者理论化知识内在的语义，可以对多个对象进行关联性分析。

2、知识图谱实际上是一种超大型语义网络，存在着大量且丰富的结构信息和语义信息。其中，知识图谱上的实体或属性可以表示为图上的节点，它们之间的关系可以表示为图上的边。然而，知识图谱与简单图不同，它的实体和关系信息可以具有极为丰富的异质信息。而知识图谱上的类型化子图(异构元路径和元图)充分概括了这些富有意义的异质语义信息。所以，这些异构元路径和元图的挖掘是人们在研究知识图谱的时候的重点。一些专家学者通过领域知识手工定义知识图谱上的元路径和元图，其在知识图谱表示学习中效果突出，受到了研究者的热捧。但是，在知识图谱中进行人工挖掘元路径和元图是非常昂贵的，且大量挖掘是不太现实的。因为知识图谱中充满着许多专家不可知的丰富结构和语义网络，而且在不同的知识图谱中挖掘的元路径和元图是千差万别的。所以，在知识图谱中自动挖掘这些有意义的异构元路径和元图显得尤为重要。

3、除了人工挖掘元路径和元图以外，传统的知识图谱挖掘方法利用子图同构算法来对知识图谱上的元路径和元图进行搜索与匹配。这些方法并不考虑知识图谱上的异质性，且会引起组合优化问题，枚举大量的元路径和元图来验证这些类型化子图的质量是相当耗时的。因此，有必要提出一种全面且高效的图挖掘算法来识别知识图谱中具有丰富结构和语义的异构元路径和元图，以完成高质量的知识图谱表征学习。

4、部分专业术语解释：

5、合作多智能体强化学习(cooperative multi-agent reinforcement learning)：强化学习需要解决的是智能体如何在复杂且不确定的环境中最大化它所能获得的奖励。而合作的多智能体就是在为实现共同的奖励目标而努力；

6、知识图谱(knowledge graph)：知识图谱定义为其中v是节点集合，ε是边集合，e是实体类型集合，r是关系类型集合，x是实体属性集合；此外，还定义了两个映射函数：φ(·)表示节点到实体类型的映射函数，ψ(·)表示边到关系类型的映射函数；

7、元路径(meta-path)：元路径在知识图谱上定义为c＝(vc,εc,rc)，元路径实例即是对构成一组顺序关系的关系路径进行编码；

8、元图(meta-graph)：元图在知识图谱上定义为m＝(vm,εm,rm)，元图实例即是对从复合元路径实例推导出来的互连模式进行编码；

技术实现思路

1、本发明需要解决的技术问题是提供一种基于合作多智能体的知识图谱元路径和元图自动挖掘算法，以实现在知识图谱中自动挖掘有意义的异构元路径和元图。

2、为解决上述技术问题，本发明所采用的技术方案是：基于合作多智能体的知识图谱元路径和元图自动挖掘算法，包括以下步骤：

3、s1：将知识图谱中元路径和元图自动挖掘与知识图谱表示学习过程建模为合作型多智能体的马尔可夫博弈问题；

4、s2：在知识图谱中部署多个智能体，每一个智能体为其对应类型的实体选出下一个最有前途的关系，直到本轮时间步达到最大时间步长；基于多个智能体的联合决策为知识图谱中每个实体挖掘出最合适的元路径，使得全局挖掘的元路径达到最优组合；

5、s3：将每个时间步挖掘的元路径送入基于元路径聚合的图神经网络中，学习中间节点表示学习，并得到基于下游任务的奖励信号，以增强多智能体的自动挖掘策略；

6、s4：在每一轮元路径挖掘完成之后，将这一轮挖掘的元路径信息存入元路径缓冲池中，并基于缓冲池感知采样机制为每个实体挖掘出多条不同的元路径；

7、s5：根据历史挖掘的元路径信息，构建基于元路径的子图及其邻接矩阵；

8、s6：将基于元路径的邻接矩阵通过哈达玛积计算得到每种实体类型的基于元图的子图和基于元图的邻接矩阵；

9、s7：计算基于元图角色的相似性，并通过基于元图角色相似性的图神经网络学习最终的实体表示；

10、s8：将知识图谱中学习到的最终实体嵌入放到下游任务应用中做实体分类、链接预测等任务，然后基于下游任务的奖励信号，进一步增强多智能体在知识图谱中对元路径和元图的自动挖掘策略。

11、本发明技术方案的进一步改进在于：s1具体步骤如下：

12、s11：将知识图谱中每个节点每一轮最多包含t个步骤的元路径挖掘过程视为t个序贯决策过程；每个节点类型相对应的智能体是独立的学习者；它们将在|e|个合作智能体的马尔可夫博弈中学习如何识别知识图谱中元路径的最佳组合以达到智能体间的合作平衡；

13、s12：该马尔可夫博弈过程可以表示为六元组，即其中表示智能体集合，表示部分可观测空间，表示全局状态空间，表示联合动作空间，π＝{π1,…,π|e|}表示多智能体策略集合，表示全局奖励。

14、本发明技术方案的进一步改进在于：s2具体步骤如下：

15、s21：对于节点v，使用它最新的节点嵌入以及它的原始邻域信息作为它的可观察状态ot(v)；

16、s22：将每个智能体的动作空间预定义为一个由关系类型集合r组成的离散方案；

17、s221：为了避免在合作多智能体强化学习中出现惰性或贪婪智能体问题，允许智能体选择停止搜索动作stop来提前终止某个节点的元路径挖掘；

18、s222：为了使得智能体每次都能够选择合法的关系动作，引入了mask机制动态更新每个时刻智能体的动作空间；

19、s23：对于每个智能体的策略πα，将连续观测o映射到公共离散动作空间u中，并输出动作条件概率分布πα(u|o)；

20、s231：采用∈-greedy算法平衡探索与利用策略；在时间步t，智能体α从vt出发迁移到vt+1的概率为p；

21、s24：所有智能体共享奖励函数，并使用验证集的节点嵌入在下游任务中的表示性能pf(s,u)作为奖励函数的决定性因素；奖励将历史验证集h的节点嵌入在下游任务中的表示性能作为基线，客观地衡量当前挖掘元路径的有效性；

22、s25：将经验轨迹τ＝(st,ut,rt,st+1)暂存到经验回放缓冲池中。

23、本发明技术方案的进一步改进在于：s3具体步骤如下：

24、s31：使用知识图谱的图滤波器作为基于元路径聚合的图神经网络；

25、s32：分别使用图卷积网络(gcn)和图注意力网络(gat)作为图滤波器的骨架；

26、s33：使用基于元路径聚合的图神经网络学习中间节点嵌入将其放到下游任务应用中得到该嵌入的表示性能以及多智能体的奖励信号

27、s34：当经验回放缓冲池预热后，在其中随机采样一段迁移块将其传入双深度q网络(ddqn)中，对多个智能体的策略网络进行优化，以指导下一步元路径的挖掘；

28、s341：计算目标q值；

29、s342：优化智能体的策略网络。

30、本发明技术方案的进一步改进在于：s4具体步骤如下：

31、s41：当完成一轮元路径挖掘后，将挖掘的元路径信息cep，对应的中间节点表示以及验证集的节点嵌入在下游任务中的表示性能pfep，暂存到元路径缓冲池βep中；

32、s42：当元路径缓冲池βep预热后，在其中采样w个高质量的历史挖掘的元路径；

33、s421：为了采样高质量的元路径，并且避免元路径挖掘时出现同质化问题，使用采样阈值p来控制随机采样率；

34、s422：在元路径缓冲池βep中随机采样w×p个历史挖掘的元路径；

35、s423：对于元路径缓冲池βep中历史挖掘的元路径cep，根据其验证集的节点嵌入在下游任务中的表示性能pfep进行降序排序，并抽取前w×(1-p)个历史挖掘的元路径；

36、s424：这w个历史挖掘的元路径和最新一轮挖掘的元路径作为每个节点挖掘的多条元路径；

37、s43：使用元路径编码器对这w+1个挖掘的元路径对应的中间节点表示进行嵌入融合；

38、s431：元路径编码器包括均值编码器、池化编码器、注意力编码器、长短期记忆网络编码器等；

39、s432：使用均值编码器；

40、s433：使用池化编码器；

41、s434：使用注意力编码器；

42、s435：使用长短期记忆网络编码器；

43、s44：为了使得w+1个挖掘的元路径对应的中间节点表示的特征分布尽可能小，引入多元路径正则化项。

44、本发明技术方案的进一步改进在于：s5具体步骤如下：

45、s51：多个智能体在w+1轮中为每个节点挖掘元路径的时候，记录节点共现信息，并将其填充到基于元路径的邻接矩阵中。

46、本发明技术方案的进一步改进在于：s7具体步骤如下：

47、s71：在基于元图的邻接矩阵am中，每一项am(i,j)记录了节点vi和节点vj之间共现的元图次数，为了捕获知识图谱中同类型实体之间微妙的语义相似性，计算基于元图的相似性ξ(i,j)；

48、s72：根据基于元图角色相似性的图神经网络学习知识图谱里实体的最终表示。

49、本发明技术方案的进一步改进在于：s8具体步骤如下：

50、s81：对于实体分类任务，使用一层全连接神经网络和softmax层将最终实体嵌入的维度转换到实体分类维度，并输出分类类别；

51、s82：对于链接预测任务，使用distmult算法和sigmoid层计算最终实体嵌入对的链接预测概率；

52、s83：将最终实体嵌入在预测任务中的表示性能作为多智能体在下游任务的奖励信号，通过多智能体的策略网络以及基于元路径和元图的图神经网络之间的参数联合优化，增强多智能体的自动挖掘元路径和元图的策略；

53、s831：计算基于元路径聚合的损失函数；

54、s832：计算基于元图聚合的损失函数；

55、s833：基于下游任务的监督信号和奖励信号对模型进行优化。

56、由于采用了上述技术方案，本发明取得的技术进步是：通过设置了基于合作多智能体的知识图谱元路径和元图自动挖掘算法，可以全面高效的来识别知识图谱中具有丰富结构和语义的异构元路径和元图，以完成高质量的知识图谱表征学习。