基于子图学习的多模态知识图谱表示学习系统及产品

本发明涉及表示学习，特别是涉及一种基于子图学习的多模态知识图谱表示学习系统及产品。

背景技术：

1、表示学习已经成为一种从关系数据中学习的宝贵方法，但如何编码日益丰富的多模态信息也成为了一个极大的挑战。由于现实世界应用中的大多数知识都能以图谱的形式呈现，通过图谱表示学习技术将这些从现实世界中获取的原始知识转换为保留图谱内在属性的低维向量，使得我们能够从这些复杂知识中发现更加深层次的关系。因此，对现实世界中存在的多模态知识图谱进行准确、高效的表示是一个很重要的问题。

2、当前知识图谱表示学习技术已经广泛应用于信息检索、推荐系统、知识问答等领域。然而，对于多模态的知识图谱仍然超出了大多数现有知识图谱表示方法的能力。实际应用中，我们往往可以通过图片中的丰富信息来增强单一模态知识的缺陷。然而，即使只需要学习部分图片信息的嵌入表示，现有的知识图谱表示学习模型仍然无法有效从图片信息中找到更有益的信息，因而无法高效应对多模态知识图谱的应用场景。

技术实现思路

1、本发明提供一种基于子图学习的多模态知识图谱表示学习系统及产品，以解决现有的知识图谱表示学习模型仍然无法有效从图片信息中找到有益的信息，因而无法高效应对多模态知识图谱的应用场景的问题。

2、基于第一方面，本发明实施例中提供一种基于子图学习的多模态知识图谱表示学习系统，包括：

3、多模态子图构建子系统，提取目标三元组中头实体多模态的结构信息，得到多模态子图，其中，多模态子图包括视觉场景图和头实体的自我中心图；

4、邻域特征聚合子系统，将节点特征的多个通道特征分量进行融合，得到实体的多模态嵌入表示；

5、链接预测子系统，基于所述实体的多模态嵌入表示，预测所述目标三元组中缺失的实体和关系。

6、基于第一方面，所述提取目标三元组中头实体多模态的结构信息，得到多模态子图，包括：

7、输入头实体图片，并采用faster r-cnn提取视觉对象，构建视觉场景图；

8、输入目标三元组(h,r,t)，以头实体h为中心搜寻m跳邻居节点，构建头实体的自我中心图。

9、基于第一方面，所述邻域特征聚合子系统包括：

10、特征解耦模块，基于特征解耦层将多模态子图映射至不同的模态解码通道，获得头实体的初始嵌入空间向量表示，将视觉编码信息投影至结构化信息的表征空间，进行线性融合，得到初步的多模态实体特征嵌入；

11、邻域特征学习模块，采用图对齐机制对齐所述多模态子图，得到视觉信息引导的图对齐权重矩阵；

12、多模态信息融合模块，基于所述图对齐权重矩阵，融合所述多模态实体特征嵌入，得到实体的多模态嵌入表示。

13、基于第一方面，所述初始嵌入空间向量表示包括视觉信息特征表示和结构化信息特征表示；

14、所述基于特征解耦层将多模态子图映射至不同的模态解码通道，获得头实体的初始嵌入空间向量表示，包括：

15、采用第一编码器对视觉场景图中的视觉信息进行编码，得到所述视觉信息特征表示；

16、采用第二编码器对头实体的自我中心图中的结构化信息编码，得到所述结构化信息特征表示。

17、基于第一方面，所述采用图对齐机制对齐所述多模态子图，得到视觉信息引导的图对齐权重矩阵，包括：

18、获取所述多模态子图中任意两个图的节点嵌入表征，计算出所有节点两两之间的相似度值，得到相似度矩阵；

19、采用贪心算法软对齐计算所述多模态子图中视觉场景图和所述自我中心图的对齐得分；

20、基于所述对齐得分，构成图对齐权重矩阵。

21、基于第一方面，基于所述实体的多模态嵌入表示，预测目标三元组中缺失的实体和关系，包括：

22、构造链接预测任务的得分函数；

23、在所述得分函数中添加网络参数正则项和多模态嵌入正则项构造整体得分函数；

24、基于上述整体损失函数预测目标三元组中缺失的实体和关系，并优化模型。

25、基于第一方面，所述整体得分函数定义如下：

26、

27、式中，l＝(1-λ2)φs+λ2φm代表多模态嵌入得分的加权求和，下标m和s分别代表多模态和单一的图谱结构化信息模态；表示三元组基于多模态嵌入表示计算的得分；β为一个超参数，用于实现对多样性和关联性平衡的收益调整；是c的负采样三元组集合，表示在输入的目标三元组中随机替换头实体或尾实体为其他实体，随即替换关系为其他关系，(h,r,t)为目标三元组，(h',r',t')为预测三元组。

28、基于第二方面，本发明实施例提供一种基于子图学习的多模态知识图谱表示学习方法，所述方法用于上述基于第一方面任一项所述基于子图学习的多模态知识图谱表示学习系统，包括：

29、选取头实体图片集中的目标三元组头实体图片和多模态知识图谱三元组中一个未遍历目标三元组，输入至多模态子图构建子系统，输出视觉场景图和头实体自我中心图；

30、将所述视觉场景图和头实体自我中心图输入邻域特征聚合子系统，输出实体的多模态嵌入表示；

31、将所述目标三元组的多模态特征嵌入表示输入链接预测子系统，输出实体或关系的预测结果；

32、重复上述的学习过程，直到所述多模态知识图谱三元组集合中每一个目标三元组完成遍历。

33、第三方面，本发明实施例提供一种电子设备，包括：

34、存储器，用于存储一个或多个程序；

35、处理器；

36、当所述一个或多个程序被所述处理器执行时，实现上述第一方面中任一项所述的基于子图学习的多模态知识图谱表示学习系统。

37、第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一项所述的基于子图学习的多模态知识图谱表示学习系统。

38、本发明至少包括以下优点：

39、(1)本发明使用一种新颖的图片结构信息提取机制，采用高效的图对齐机制引入图片中的结构化信息，实现目标实体邻域拓扑信息的有效聚合，为后续多模态信息的高效融合奠定基础，能够高效学习多模态知识图谱嵌入表示；

40、(2)本发明采用特征解耦层将实体多模态特征分解映射到多个嵌入空间，将视觉模态特征投影到图结构特征空间中，同时通过对齐后的多模态感知注意力权重实现所有自我中心图中实体的特征聚合，同时对应更新目标实体的多模态特征，提高嵌入表示的稳定性与表征能力，充分考虑特征层面所隐含的复杂关联关系，进一步提高嵌入表示的表征能力；

41、(3)本发明首先为每一个目标实体节点分别浓缩凝练出最为重要的邻域拓扑，在此基础上进行邻域信息传播与聚合，提高了在仅少量实体拥有多模态信息需要学习嵌入表示的场景下的应用灵活性，能够灵活应用于多模态知识图谱嵌入表示的需求场景。

技术特征：

1.一种基于子图学习的多模态知识图谱表示学习系统，其特征在于，包括：

2.根据权利要求1所述学习系统，其特征在于，所述提取目标三元组中头实体多模态的结构信息，得到多模态子图，包括：

3.根据权利要求1所述学习系统，其特征在于，所述邻域特征聚合子系统包括：

4.根据权利要求3所述学习系统，其特征在于，所述初始嵌入空间向量表示包括视觉信息特征表示和结构化信息特征表示；

5.根据权利要求3所述学习系统，其特征在于，所述采用图对齐机制对齐所述多模态子图，得到视觉信息引导的图对齐权重矩阵，包括：

6.根据权利要求1所述学习系统，其特征在于，基于所述实体的多模态嵌入表示，预测目标三元组中缺失的实体和关系，包括：

7.根据权利要求6所述学习系统，其特征在于，所述整体得分函数定义如下：

8.一种基于子图学习的多模态知识图谱表示学习方法，其特征在于，所述方法用于上述权利要求1-7任一项所述基于子图学习的多模态知识图谱表示学习系统，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于子图学习的多模态知识图谱表示学习系统。

技术总结
本发明提供了一种基于子图学习的多模态知识图谱表示学习系统及产品，涉及表示学习技术领域，包括：多模态子图构建子系统，提取目标三元组中头实体多模态的结构信息，得到多模态子图，其中，多模态子图包括视觉场景图和头实体的自我中心图；邻域特征聚合子系统，将实体特征的多个通道特征分量进行融合，得到实体的多模态嵌入表示；链接预测子系统，基于所述实体的多模态嵌入表示，预测所述目标三元组中缺失的实体和关系。本发明使用一种新颖的图片结构信息提取机制，采用高效的图对齐机制引入图片中的结构化信息，实现目标实体邻域拓扑信息的有效聚合，为后续多模态信息的高效融合奠定基础，能够高效学习多模态知识图谱嵌入表示。

技术研发人员：王平辉,梁润颖
受保护的技术使用者：西安交通大学
技术研发日：
技术公布日：2024/1/13