一种基于动态图的大型语言模型的评估方法

本公开涉及数据处理，特别是涉及一种基于动态图的大型语言模型的评估方法。

背景技术：

1、大型语言模型(large language models，llms)是一类基于深度学习的人工智能模型，由海量的数据和大量的计算资源训练而成的，可以理解和生成自然语言。大型语言模型广泛用于各种任务，因此对大型语言模型处理网络数据的能力的关注日益增长。急需一种对大型语言模型的数据处理能力进行评估的方法。

技术实现思路

1、鉴于上述问题，本公开实施例提供了一种基于动态图的大型语言模型的评估方法，以便克服上述问题或者至少部分地解决上述问题。

2、本公开实施例的第一方面，提供了一种基于动态图的大型语言模型的评估方法，所述方法包括：

3、生成动态图，所述动态图包括：节点集、边集和时间戳信息，所述时间戳信息表征所述边集中的各个边的生成时间；

4、根据所述动态图，生成所述动态图的问题-答案对，所述问题-答案对中的问题至少包括：时空信息理解问题；

5、将所述动态图和所述问题，输入待评估的大型语言模型，得到所述大型语言模型输出的预测答案；

6、根据所述预测答案和所述动态图的问题-答案对中的答案，得到所述大型语言模型对动态图数据的理解能力的评估结果。

7、可选地，所述将所述动态图和所述问题，输入待评估的大型语言模型，得到所述大型语言模型输出的预测答案，包括：

8、获取时空解耦提示信息；

9、将所述时空解耦提示信息、所述动态图和所述问题，输入待评估的所述大型语言模型，得到所述大型语言模型输出的预测答案。

10、可选地，所述生成动态图，包括：

11、获取训练好的动态图生成器；

12、设置所述动态图生成器的生成参数，所述生成参数包括：节点数量和节点对之间边的生成概率，所述节点数量用于控制生成的动态图的大小，所述生成概率用于控制生成的动态图的密度；

13、利用设置好所述生成参数的动态图生成器，生成初始动态图，所述初始动态图包括节点集和边集；

14、分别为所述初始动态图中的各个边赋予时间戳，得到所述动态图。

15、可选地，所述分别为所述初始动态图中的各个边赋予时间戳，得到所述动态图，包括：

16、设置时间范围，并从所述时间范围中获取多个时间戳；；

17、将从所述时间范围中获取的各个时间戳，分别赋予所述初始动态图中的各个边，得到所述动态图。

18、可选地，所述时空信息理解问题包括以下任意一项或多项：

19、所述动态图中选定的三个节点，是否构成按时间排序的路径；

20、所述动态图中的目标路径有哪些，其中，目标路径为：以所述动态图中选点的节点作为起始节点的按时间排序的路径；

21、对所述动态图中的各个边按时间进行排序，得到的排序结果是什么。

22、可选地，所述问题还包括以下任意一项或多项：时间信息理解问题和空间信息理解问题。

23、可选地，所述时间信息理解问题包括以下任意一项或多项：

24、所述动态图中的选定的两个节点，在何时链接；

25、所述动态图中的选定的两个节点，在何时连通；

26、所述动态图中的选定的三个节点，何时首次形成闭合的三角形。

27、可选地，所述空间信息理解问题包括以下任意一项或多项：

28、在选定的时间点，所述动态图中选定的节点的邻居节点是哪些节点；

29、在选定的时间点之后，所述动态图中选定的节点的邻居节点是哪些节点；

30、在所述动态图中选定的三个节点是否形成闭合的三角形。

31、可选地，所述时空解耦提示信息包括：

32、先考虑节点，再考虑时间；

33、先考虑时间，再考虑节点；

34、先选择节点，再选择时间；

35、先选择时间，再选择节点。

36、可选地，所述动态图生成器包括：随机图模型、随机区块模型和森林火灾模型。

37、本公开实施例的第二方面，提供了一种基于动态图的大型语言模型的评估装置，所述装置包括：

38、第一生成模块，用于生成动态图，所述动态图包括：节点集、边集和时间戳信息，所述时间戳信息表征所述边集中的各个边的生成时间；

39、第二生成模块，用于根据所述动态图，生成所述动态图的问题-答案对，所述问题-答案对中的问题至少包括：时空信息理解问题；

40、输入模块，用于将所述动态图和所述问题，输入待评估的大型语言模型，得到所述大型语言模型输出的预测答案；

41、获取模块，用于根据所述预测答案和所述动态图的问题-答案对中的答案，得到所述大型语言模型对动态图数据的理解能力的评估结果。

42、可选地，所述输入模块具体用于执行：

43、获取时空解耦提示信息；

44、将所述时空解耦提示信息、所述动态图和所述问题，输入待评估的所述大型语言模型，得到所述大型语言模型输出的预测答案。

45、可选地，所述第一生成模块具体用于执行：

46、获取训练好的动态图生成器；

47、设置所述动态图生成器的生成参数，所述生成参数包括：节点数量和节点对之间边的生成概率，所述节点数量用于控制生成的动态图的大小，所述生成概率用于控制生成的动态图的密度；

48、利用设置好所述生成参数的动态图生成器，生成初始动态图，所述初始动态图包括节点集和边集；

49、分别为所述初始动态图中的各个边赋予时间戳，得到所述动态图。

50、可选地，所述分别为所述初始动态图中的各个边赋予时间戳，得到所述动态图，包括：

51、设置时间范围，并从所述时间范围中获取多个时间戳；；

52、将从所述时间范围中获取的各个时间戳，分别赋予所述初始动态图中的各个边，得到所述动态图。

53、可选地，所述时空信息理解问题包括以下任意一项或多项：

54、所述动态图中选定的三个节点，是否构成按时间排序的路径；

55、所述动态图中的目标路径有哪些，其中，目标路径为：以所述动态图中选点的节点作为起始节点的按时间排序的路径；

56、对所述动态图中的各个边按时间进行排序，得到的排序结果是什么。

57、可选地，所述问题还包括以下任意一项或多项：时间信息理解问题和空间信息理解问题。

58、可选地，所述时间信息理解问题包括以下任意一项或多项：

59、所述动态图中的选定的两个节点，在何时链接；

60、所述动态图中的选定的两个节点，在何时连通；

61、所述动态图中的选定的三个节点，何时首次形成闭合的三角形。

62、可选地，所述空间信息理解问题包括以下任意一项或多项：

63、在选定的时间点，所述动态图中选定的节点的邻居节点是哪些节点；

64、在选定的时间点之后，所述动态图中选定的节点的邻居节点是哪些节点；

65、在所述动态图中选定的三个节点是否形成闭合的三角形。

66、可选地，所述时空解耦提示信息包括：

67、先考虑节点，再考虑时间；

68、先考虑时间，再考虑节点；

69、先选择节点，再选择时间；

70、先选择时间，再选择节点。

71、可选地，所述动态图生成器包括：随机图模型、随机区块模型和森林火灾模型。

72、本公开实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行指令，以实现如第一方面的基于动态图的大型语言模型的评估方法。

73、本公开实施例的第四方面，提供了一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面的基于动态图的大型语言模型的评估方法。

74、本公开实施例包括以下优点：

75、本公开实施例中，生成动态图，所述动态图包括：节点集、边集和时间戳信息，所述时间戳信息表征所述边集中的各个边的生成时间；根据所述动态图，生成所述动态图的问题-答案对，所述问题-答案对中的问题至少包括：时空信息理解问题；将所述动态图和所述问题，输入待评估的大型语言模型，得到所述大型语言模型输出的预测答案；根据所述预测答案和所述动态图的问题-答案对中的答案，得到所述大型语言模型对动态图数据的理解能力的评估结果。如此，实现了对大型语言模型在动态图上的理解能力的评估。