基于多模态的时间知识图谱推理方法、装置

本发明涉及知识图谱，尤其涉及一种基于多模态的时间知识图谱推理方法、装置、计算机设备及存储介质。

背景技术：

1、知识图谱旨在采用图结构(graph structure)来建模和记录世界万物之间的关联关系和知识，以便有效实现更加精准的对象级搜索。知识图谱的相关技术已经在搜索引擎、智能问答、语言理解、推荐计算、大数据决策分析等众多领域得到广泛的实际应用。然而由于知识图谱大多是由众包自动构建，所以不可避免存在不完整性。为了解决知识图谱的不完整性，近些年，知识推理与补全受到了学术界的广泛关注。而知识推理，就是在已有知识的基础之上，推断出未知的知识的过程。通过从已知的知识出发，通过已经获取的知识，从中获取到所蕴含的新的事实，或者从大量的已有的知识中进行归纳，从个体知识推广到一般性的知识。

2、预测不完整知识图谱缺失事实的知识图谱推理已被广泛探索。然而，现有的知识图谱推理方法大多只利用知识图谱的关系信息，将实体和关系作为简单的嵌入，忽略了三元组之间的多模态信息，如文本描述、图像等。此外，现有的多模态融合技术如基于张量的融合表达能力很强，但不能很好地扩展到大量模态。与此同时，预测未来事实的时间知识图谱的推理仍远未解决，时间知识图谱实际上是对应于不同时间戳的知识图谱序列，其中每个知识图谱中的所有并发事实都表现出结构依赖性，而在时间上相邻的事实则带有信息顺序模式。以往的工作主要集中在静态知识图谱上，事实上，知识图谱无时无刻处于动态变化中，所以对时间知识图谱的研究至关重要。现今的知识图谱推理存在以下缺陷：简单利用知识图谱关系信息，未考虑丰富的多模态信息；只考虑了静态知识图谱推理，未考虑知识图谱的时间动态特征。

技术实现思路

1、本发明实施例的目的在于提出一种基于多模态的时间知识图谱推理方法、装置、计算机设备及存储介质，以解决现今的知识图谱推理只考虑了静态知识图谱推理，未考虑知识图谱的时间动态特征的技术问题。

2、为了解决上述技术问题，本发明提供一种基于多模态的时间知识图谱推理方法，采用了如下所述的技术方案，包括：

3、获取图像和文本信息；

4、对所述图像和文本信息进行预训练，生成低秩多模态融合块；

5、根据所述低秩多模态融合块，生成多模态知识图谱；

6、根据多模态知识图谱，生成多模态时间知识图谱；

7、根据所述多模态时间知识图谱，生成时间特征处理块；

8、根据所述时间特征处理块，获得每个时间戳处的实体和关系的演化表示。

9、优选地，所述获取图像和文本信息的步骤具体包括：

10、从kg-bert中收集fb15k-237、wn18rr、db15k和yago15k实体的文本信息；

11、从mmkg中收集fb15k-237、db15k和yago15k实体的视觉信息。

12、优选地，所述对所述图像和文本信息进行预训练，生成低秩多模态融合块的步骤具体包括：

13、预训练嵌入将每个模态通过模态预训练编码器，学习其模态表示，分别得到实体文本的嵌入和实体视觉信息的嵌入；

14、将不同模态的特征映射到一个低维的共享表示空间中，进行低秩表示学习；

15、进行低秩多模态融合。

16、优选地，所述根据所述低秩多模态融合块，生成多模态知识图谱的步骤具体包括：

17、将每个模态通过模态预训练编码器学习其模态表示，分别得到实体文本的嵌入和实体视觉信息的嵌入；

18、将多模态数据中的信息，映射到一个低维的表示空间来进行有效表示；

19、将得到的所有融合特征分别对应替换原来的实体，得到多模态知识图谱。

20、优选地，所述根据多模态知识图谱，生成多模态时间知识图谱的步骤具体包括：

21、从多模态知识图谱中提取m个时间戳；

22、从m个时间戳中获取时间戳顺序序列，从而形成多模态时间知识图谱。

23、优选地，所述根据所述多模态时间知识图谱，生成时间特征处理块的步骤具体包括：

24、关系感知的gcn在每个时间戳处捕获kg中的结构依赖项；

25、两门循环分量对历史kg序列进行自回归建模。

26、优选地，所述根据所述时间特征处理块，获得每个时间戳处的实体和关系的演化表示的步骤具体包括：

27、关系感知的gcn与时间门结合得到实体的演化表示；

28、gru组件获取每个时间戳处的关系表示。

29、为了解决上述技术问题，本发明还提供一种基于多模态的时间知识图谱推理装置，采用了如下所述的技术方案，包括：

30、获取模块，用于获取图像和文本信息；

31、第一生成模块，用于对所述图像和文本信息进行预训练，生成低秩多模态融合块；

32、第二生成模块，用于根据所述低秩多模态融合块，生成多模态知识图谱；

33、第三生成模块，用于根据多模态知识图谱，生成多模态时间知识图谱；

34、第四生成模块，用于根据所述多模态时间知识图谱，生成时间特征处理块；

35、演化表示模块，用于根据所述时间特征处理块，获得每个时间戳处的实体和关系的演化表示。

36、为了解决上述技术问题，本发明还提供一种计算机设备，采用了如下所述的技术方案，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的基于多模态的时间知识图谱推理方法的步骤。

37、为了解决上述技术问题，本发明还提供一种计算机可读存储介质，采用了如下所述的技术方案，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的基于多模态的时间知识图谱推理方法的步骤。

38、与现有技术相比，本发明主要有以下有益效果：

39、(1)与传统的基于张量表示的融合方法相比，本发明提出的vgg-16和bert都是基于预训练的模型，将权重分解为低秩因子，从而减少了模型中参数的数量；通过利用低秩权重张量和输入张量的并行分解来计算基于张量的融合，可以有效地执行这种分解；从而降低了计算的复杂度，此外，低秩多模态融合方式同时考虑了模态内和模态间的特征信息。

40、(2)同时融合了图片和文字信息，并形成多模态知识图谱，多模态信息为知识图谱推理提供了更多维且充分的推理信息。

41、(3)与传统的bi-lstm提取知识图谱结构特征相比，基于关系感知的gcn能更准确的捕获知识图谱结构特征；时间门循环组件和gru组件相应地获得每个时间戳处的实体和关系的演化表示；未来时间戳的事实预测可以基于演化的实体和关系表示来实现；从而实现多模态与时间结合的动态知识图谱未来事实预测的知识图谱推理。

技术特征：

1.一种基于多模态的时间知识图谱推理方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的基于多模态的时间知识图谱推理方法，其特征在于，所述获取图像和文本信息的步骤具体包括：

3.根据权利要求1所述的基于多模态的时间知识图谱推理方法，其特征在于，所述对所述图像和文本信息进行预训练，生成低秩多模态融合块的步骤具体包括：

4.根据权利要求3所述的基于多模态的时间知识图谱推理方法，其特征在于，所述根据所述低秩多模态融合块，生成多模态知识图谱的步骤具体包括：

5.根据权利要求1所述的基于多模态的时间知识图谱推理方法，其特征在于，所述根据多模态知识图谱，生成多模态时间知识图谱的步骤具体包括：

6.根据权利要求1所述的基于多模态的时间知识图谱推理方法，其特征在于，所述根据所述多模态时间知识图谱，生成时间特征处理块的步骤具体包括：

7.根据权利要求1至6任意一项所述的基于多模态的时间知识图谱推理方法，其特征在于，所述根据所述时间特征处理块，获得每个时间戳处的实体和关系的演化表示的步骤具体包括：

8.一种基于多模态的时间知识图谱推理装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于多模态的时间知识图谱推理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于多模态的时间知识图谱推理方法的步骤。

技术总结
本发明属于知识图谱技术领域，涉及基于多模态的时间知识图谱推理方法、装置、计算机设备及存储介质，所述方法包括获取图像和文本信息；对图像和文本信息进行预训练，生成低秩多模态融合块；根据低秩多模态融合块，生成多模态知识图谱；根据多模态知识图谱，生成多模态时间知识图谱；根据多模态时间知识图谱，生成时间特征处理块；然后获得每个时间戳处的实体和关系的演化表示。基于关系感知的GCN能更准确的捕获知识图谱结构特征；时间门循环组件和GRU组件相应地获得每个时间戳处的实体和关系的演化表示；未来时间戳的事实预测可以基于演化的实体和关系表示来实现；从而实现多模态与时间结合的动态知识图谱未来事实预测的知识图谱推理。

技术研发人员：廖丽平,游俊华,蔡君
受保护的技术使用者：广东技术师范大学
技术研发日：
技术公布日：2024/3/11