使用分布式图计算框架进行基于图模型的计算方法及装置与流程

本说明书一个或多个实施例涉及图计算，尤其涉及一种使用分布式图计算框架进行基于图模型的计算方法及装置。

背景技术：

1、目前，基于pytorch等的开源神经网络训练框架(比如，图神经网络库(pytorchgeometric，pyg)和深度图库(deep graph library,dgl)等)均为基于单机的机器学习框架，虽然这些框架也提供了分布式的接口支持，但在基于大规模图学习训练时，通常需要进行子图采样，比如，针对每个节点都需要采样n度邻居(n往往等于2)。尤其，当图数据规模较大时，子图采样所耗费的时间会严重影响图模型的计算效率。

技术实现思路

1、本说明书一个或多个实施例描述了一种使用分布式图计算框架进行基于图模型的计算方法及装置，可以减少冗余计算，进而提升图计算效率。

2、第一方面，提供了一种使用分布式图计算框架进行基于图模型的计算方法，包括：

3、加载预先针对分布式图计算框架而定义的接口函数库，其中至少定义，用于从外存读取特征数据的特征读取函数，以及用于对不同类别特征进行处理的多个特征处理函数；单个特征处理函数的输入参数包括，自定义运算函数和输入特征；所述不同类别特征包括，点特征、边特征和点边特征；

4、执行调用所述特征读取函数的第一语句，所述第一语句包括：目标点和/或目标边的特征数据的相关参数，从而从所述分布式图计算框架的外存读取所述目标点和/或目标边的特征数据；

5、执行调用目标特征处理函数的第二语句，所述目标特征处理函数选自所述多个特征处理函数，所述第二语句包括：所述目标特征处理函数的自定义运算函数和输入特征，其中，所述目标特征处理函数的自定义运算函数和输入特征根据目标子模型而确定，所述目标子模型是预先根据处理的特征类别对所述图模型进行拆分得到的多个子模型之一。

6、第二方面，提供了一种使用分布式图计算框架进行基于图模型的计算装置，包括：

7、加载单元，用于加载预先针对分布式图计算框架而定义的接口函数库，其中至少定义，用于从外存读取特征数据的特征读取函数，以及用于对不同类别特征进行处理的多个特征处理函数；单个特征处理函数的输入参数包括，自定义运算函数和输入特征；所述不同类别特征包括，点特征、边特征和点边特征；

8、执行单元，用于执行调用所述特征读取函数的第一语句，所述第一语句包括：目标点和/或目标边的特征数据的相关参数，从而从所述分布式图计算框架的外存读取所述目标点和/或目标边的特征数据；

9、所述执行单元，还用于执行调用目标特征处理函数的第二语句，所述目标特征处理函数选自所述多个特征处理函数，所述第二语句包括：目标特征处理函数的自定义运算函数和输入特征，其中，所述目标特征处理函数的自定义运算函数和输入特征根据目标子模型而确定，所述目标子模型是预先根据处理的特征类别对所述图模型进行拆分得到的多个子模型之一。

10、第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

11、第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，该处理器执行所述可执行代码时，实现第一方面的方法。

12、本说明书一个或多个实施例提供的使用分布式图计算框架进行基于图模型的计算方法，通过调用基于分布式图计算框架而定义的接口函数库中的特征读取函数和特征处理函数，可以实现基于分布式图计算框架的计算。由于分布式图计算框架可以容纳大规模数据的存储，从而可以省去子图采样，进而可以提升计算效率。

技术特征：

1.一种使用分布式图计算框架进行基于图模型的计算方法，包括：

2.根据权利要求1所述的方法，其中，所述图模型在基于单机的机器学习框架中训练得到。

3.根据权利要求1所述的方法，其中，所述相关参数包括特征标识和特征向量维度；所述读取所述目标点和/或目标边的特征数据，包括：

4.根据权利要求1所述的方法，其中，所述多个子模型包括，处理点特征的第一子模型、处理边特征的第二子模型和处理点边特征的第三子模型；

5.根据权利要求1所述的方法，其中，所述特征读取函数包括，点特征读取函数和边特征读取函数；

6.根据权利要求1所述的方法，其中，所述多个特征处理函数包括，点特征处理函数、边特征处理函数和点边特征处理函数。

7.一种使用分布式图计算框架进行基于图模型的计算装置，包括：

8.根据权利要求7所述的装置，其中，所述图模型在基于单机的机器学习框架中训练得到。

9.根据权利要求7所述的装置，其中，所述相关参数包括特征标识和特征向量维度；所述执行单元具体用于：

10.根据权利要求7所述的装置，其中，所述多个子模型包括，处理点特征的第一子模型、处理边特征的第二子模型和处理点边特征的第三子模型；

11.根据权利要求7所述的装置，其中，所述特征读取函数包括，点特征读取函数和边特征读取函数；

12.根据权利要求7所述的装置，其中，所述多个特征处理函数包括，点特征处理函数、边特征处理函数和点边特征处理函数。

13.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-6中任一项所述的方法。

14.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-6中任一项所述的方法。

技术总结
本说明书实施例提供一种使用分布式图计算框架进行基于图模型的计算方法及装置，在计算方法中，加载预先针对分布式图计算框架而定义的接口函数库，其中至少定义，特征读取函数以及多个特征处理函数。执行调用特征读取函数的第一语句，该第一语句包括目标点和/或目标边的特征数据的相关参数，从而从分布式图计算框架的外存读取特征数据。执行调用目标特征处理函数的第二语句，该目标特征处理函数选自多个特征处理函数，第二语句包括目标特征处理函数的自定义运算函数和输入特征，该自定义运算函数和输入特征根据目标子模型而确定，该目标子模型是预先根据处理的特征类别对图模型进行拆分得到的多个子模型之一。

技术研发人员：吴侠宝,覃伟,刘永超
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/4/22