图数据存储、访问、处理方法、训练方法、设备及介质与流程

本公开涉及人工智能，尤其涉及图神经网络技术、计算机视觉和深度学习。具体地，涉及一种图数据存储、访问、处理方法、训练方法、设备及介质。

背景技术：

1、随着计算机技术的不断发展，图数据也得到了发展。图数据可以应用图形理论表征节点和边信息。图数据广泛应用于知识图谱、金融反欺诈和社会关系挖掘等领域。

技术实现思路

1、本公开提供了一种图数据存储、访问、处理方法、训练方法、设备及介质。

2、根据本公开的一方面，提供了一种图数据存储方法，包括：响应于接收到图数据存储请求，对待存储图数据进行划分，得到至少两个待存储图切片数据；根据上述至少两个待存储图切片数据，得到目标图切片数据和关联图切片数据；将上述目标图切片数据存储至图形处理器gpu；将上述关联图切片数据存储至内部存储器；以及，将上述至少两个待存储图切片数据存储至外部存储器。

3、根据本公开的另一方面，提供了一种图数据访问方法，包括：响应于接收到图数据访问请求，获取待访问标识；以及，在确定目标图切片数据中存在与上述待访问标识相匹配的匹配标识的情况下，根据上述匹配标识，从上述目标图切片数据中获取访问结果，其中，上述目标图切片数据是根据本公开上述的方法中存储于图形处理器gpu中的待存储图数据。

4、根据本公开的另一方面，提供了一种图数据访问方法，包括：响应于接收到来自图形处理器gpu的待访问标识，在确定关联图切片数据中存在与上述待访问标识相匹配的匹配标识的情况下，根据上述匹配标识，从上述关联图切片数据中获取访问结果，其中，上述关联图切片数据是根据本公开上述的方法中存储于上述内部存储器中的待存储图数据；以及，向上述gpu发送上述访问结果。

5、根据本公开的另一方面，提供了一种图神经网络模型的训练方法，包括：响应于接收到模型训练请求，基于采样策略，从目标图切片数据中确定至少一个目标采样节点，其中，上述目标图切片数据是根据本公开上述的方法中存储于图形处理器gpu中的待存储数据；根据上述至少一个目标采样节点，从上述目标图切片数据、关联图切片数据和至少两个待存储图切片数据之一中获取与上述至少一个目标采样节点对应的至少一阶邻居节点，其中，上述关联图切片数据是根据本公开上述的方法中存储于内部存储器中的待存储图数据，上述至少两个待存储图切片数据是根据本公开上述的方法中存储于外部存储器中的待存储图数据；根据上述至少一个目标采样节点的目标采样节点相关数据和上述至少一阶邻居节点的邻居节点相关数据，得到至少一阶子图数据；以及，向深度学习平台发送上述至少一阶子图数据，以便上述深度学习平台利用上述至少一阶子图数据训练上述图神经网络模型。

6、根据本公开的另一方面，提供了一种图数据处理方法，包括：将目标图数据输入图神经网络模型，得到输出结果，其中，上述图神经网络模型是利用根据本公开上述的方法训练得到的。

7、根据本公开的另一方面，提供了一种图数据存储装置，包括：第一获得模块，用于响应于接收到图数据存储请求，对待存储图数据进行划分，得到至少两个待存储图切片数据；第二获得模块，用于根据上述至少两个待存储图切片数据，得到目标图切片数据和关联图切片数据；第一存储模块，用于将上述目标图切片数据存储至图形处理器gpu；第二存储模块，用于将上述关联图切片数据存储至内部存储器；以及，第三存储模块，用于将上述至少两个待存储图切片数据存储至外部存储器。

8、根据本公开的另一方面，提供了一种图数据访问装置，包括：第一获取模块，用于响应于接收到图数据访问请求，获取待访问标识；以及，第二获取模块，用于在确定目标图切片数据中存在与上述待访问标识相匹配的匹配标识的情况下，根据上述匹配标识，从上述目标图切片数据中获取访问结果，其中，上述目标图切片数据是根据本公开上述的装置中存储于图形处理器gpu中的待存储图数据。

9、根据本公开的另一方面，提供了一种图数据访问装置，包括：第三获取模块，用于响应于接收到来自图形处理器gpu的待访问标识，在确定关联图切片数据中存在与上述待访问标识相匹配的匹配标识的情况下，根据上述匹配标识，从上述关联图切片数据中获取访问结果，其中，上述关联图切片数据是根据本公开上述的装置中存储于上述内部存储器中的待存储图数据；以及，第二发送模块，用于向上述gpu发送上述访问结果。

10、根据本公开的另一方面，提供了一种图神经网络模型的训练装置，包括：

11、确定模块，用于响应于接收到模型训练请求，基于采样策略，从目标图切片数据中确定至少一个目标采样节点，其中，上述目标图切片数据是根据本公开上述的装置中存储于图形处理器gpu中的待存储数据；第四获取模块，用于根据上述至少一个目标采样节点，从上述目标图切片数据、关联图切片数据和至少两个待存储图切片数据之一中获取与上述至少一个目标采样节点对应的至少一阶邻居节点，其中，上述关联图切片数据是根据本公开上述的装置中存储于内部存储器中的待存储图数据，上述至少两个待存储图切片数据是根据本公开上述的装置中存储于外部存储器中的待存储图数据；第三获得模块，用于根据上述至少一个目标采样节点的目标采样节点相关数据和上述至少一阶邻居节点的邻居节点相关数据，得到至少一阶子图数据；以及，第五发送模块，用于向深度学习平台发送上述至少一阶子图数据，以便上述深度学习平台利用上述至少一阶子图数据训练上述图神经网络模型。

12、根据本公开的另一方面，提供了一种图数据处理装置，包括：将目标图数据输入图神经网络模型，得到输出结果，其中，上述图神经网络模型是利用根据本公开上述的装置训练得到的。

13、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本公开所述的方法。

14、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行本公开所述的方法。

15、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现本公开所述的方法。

16、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种图数据存储方法，包括：

2.根据权利要求1所述的方法，其中，所述根据所述至少两个待存储图切片数据，得到目标图切片数据和关联图切片数据，包括：

3.根据权利要求1或2或所述的方法，其中，所述gpu包括至少一个gpu卡；

4.根据权利要求3所述的方法，其中，所述对所述目标图切片数据进行划分，得到至少一个目标图分区数据，包括：

5.根据权利要求1或2所述的方法，其中，所述内部存储器包括至少一个内部存储区域；

6.根据权利要求5所述的方法，其中，所述对所述关联图切片数据进行划分，得到至少一个关联图分区数据，包括：

7.根据权利要求1或2所述的方法，其中，所述目标图切片数据包括目标节点相关数据和目标邻居节点相关数据中的至少之一，所述目标节点相关数据包括目标节点数据和目标节点特征数据中的至少之一，所述目标邻居节点相关数据包括目标邻居节点数据和目标邻居节点特征数据中的至少之一；

8.一种图数据访问方法，包括：

9.根据权利要求8所述的方法，其中，所述gpu包括至少一个gpu卡；

10.根据权利要求9所述的方法，还包括：

11.根据权利要求8～10中任一项所述的方法，还包括：

12.一种图数据访问方法，包括：

13.根据权利要求12所述的方法，还包括：

14.根据权利要求12或13所述的方法，其中，所述响应于接收到来自图形处理器gpu的待访问标识，在确定关联图切片数据中存在与所述待访问标识相匹配的匹配标识的情况下，根据所述匹配标识，从所述关联图切片数据中获取访问结果，包括：

15.一种图神经网络模型的训练方法，包括：

16.根据权利要求15所述的方法，其中，所述响应于接收到模型训练请求，基于采样策略，从目标图切片数据中确定至少一个目标采样节点，包括以下之一：

17.根据权利要求15或16所述的方法，还包括：

18.一种图数据处理方法，包括：

19.一种图数据存储装置，包括：

20.根据权利要求19所述的装置，其中，所述第二获得模块，包括：

21.根据权利要求19或20或所述的装置，其中，所述gpu包括至少一个gpu卡；

22.根据权利要求21所述的装置，其中，所述第一获得子模块，包括：

23.根据权利要求19或20所述的装置，其中，所述内部存储器包括至少一个内部存储区域；

24.根据权利要求23所述的装置，其中，所述第二获得子模块，包括：

25.根据权利要求19或20所述的装置，其中，所述目标图切片数据包括目标节点相关数据和目标邻居节点相关数据中的至少之一，所述目标节点相关数据包括目标节点数据和目标节点特征数据中的至少之一，所述目标邻居节点相关数据包括目标邻居节点数据和目标邻居节点特征数据中的至少之一；

26.一种图数据访问装置，包括：

27.根据权利要求26所述的装置，其中，所述gpu包括至少一个gpu卡；

28.根据权利要求27所述的装置，还包括：

29.根据权利要求26～28中任一项所述的装置，还包括：

30.一种图数据访问装置，包括：

31.根据权利要求30所述的装置，还包括：

32.根据权利要求30或31所述的装置，其中，所述第三获取模块，包括：

33.一种图神经网络模型的训练装置，包括：

34.根据权利要求33所述的装置，其中，所述确定模块，包括以下之一：

35.根据权利要求33或34所述的装置，还包括：

36.一种图数据处理装置，包括：

37.一种电子设备，包括：

38.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1～18中任一项所述的方法。

技术总结
本公开提供了一种图数据存储、访问、处理方法、训练方法、设备及介质，涉及人工智能技术领域，尤其涉及图神经网络技术、计算机视觉和深度学习技术领域。具体实现方案为：响应于接收到图数据存储请求，对待存储图数据进行划分，得到至少两个待存储图切片数据；根据至少两个待存储图切片数据，得到目标图切片数据和关联图切片数据；将目标图切片数据存储至图形处理器GPU；将关联图切片数据存储至内部存储器；将至少两个待存储图切片数据存储至外部存储器。

技术研发人员：王贤明,吴志华,吴鑫烜,冯丹蕾,姚雪峰,于佃海
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/11