图计算任务中获取图数据的方法和装置与流程

本说明书实施例涉及图数据处理领域，尤其涉及一种图计算任务中获取图数据的方法和装置。

背景技术：

1、关系网络图是对现实世界中实体之间的关系的描述，广泛地应用于各种计算机信息处理中。关系网络图能够有效地表达图顶点所关联的数据之间的关联性，比如，社交媒体网络中不同账号之间的关联性、电商平台中商品与客户之间的关联性、万维网的网页信息之间的关联性，等等。关系网络图往往对应有大量的顶点与大量的边，并且边与顶点又会关联大量的数据。以社交媒体网络中账户对应的顶点为例，该顶点关联的数据可以包括账户的注册时长、注册方式、注册城市、登录次数、登录的地理位置等等。

2、图计算可以基于关系网络图上的数据进行分析计算，所以图计算需要提前获取到图数据。然而，随着图规模越来越大，图加载耗时会越来越长。此外，随着现实世界中实体之间关系的动态变化，关系网络图往往需要不断更新，为了图计算的准确性，需要不断重新加载图，这导致图计算成本也越来越高。因此，如何高效的获取图数据，对于图计算而言至关重要。

技术实现思路

1、本说明书的实施例描述了一种图计算任务中获取图数据的方法和装置，首先预测通过单点查询方式从目标存储系统读取图计算任务所需数据的耗时，在预测耗时满足预设条件的情况下，计算引擎通过远程查询目标存储系统的方式直接获取所需图数据，从而避免将图数据全量加载到计算引擎本地，减少了图数据获取的耗时。

2、根据第一方面，提供了一种图计算任务中获取图数据的方法，包括：上述图数据存储于目标存储系统，上述目标存储系统提供单点查询接口，上述单点查询接口用于查询上述图数据中任意节点的一跳子图；上述方法由计算引擎执行，包括：根据图计算任务中指定的目标节点的第一数目以及任务类型，确定需查询节点的第二数目；基于上述第二数目，确定从上述目标存储系统中以单点查询的方式读取所需数据的预测耗时；在上述预测耗时满足预设条件的情况下，通过上述单点查询接口从上述目标存储系统读取所需数据。

3、根据第二方面，提供了一种图计算任务中获取图数据的装置，上述图数据存储于目标存储系统，上述目标存储系统提供单点查询接口，上述单点查询接口用于查询上述图数据中任意节点的一跳子图；上述装置部署于计算引擎，包括：第一确定单元，配置为，根据图计算任务中指定的目标节点的第一数目以及任务类型，确定需查询节点的第二数目；第二确定单元，配置为，基于上述第二数目，确定从上述目标存储系统中以单点查询的方式读取所需数据的预测耗时；读取单元，配置为，在上述预测耗时满足预设条件的情况下，通过上述单点查询接口从上述目标存储系统读取所需数据。

4、根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行如第一方面中任一实现方式描述的方法。

5、根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现如第一方面中任一实现方式描述的方法。

6、根据本说明书实施例提供的图计算任务中获取图数据的方法和装置，首先根据图计算任务中指定的目标节点的第一数目和任务类型，确定需查询节点的第二数目。而后，基于第二数目，预测从存储图数据的目标存储系统中以单点查询方式读取所需数据的耗时，在预测耗时满足预设条件时，通过单点查询接口从目标存储系统读取所需图数据进行图计算。由此，在预测耗时满足预设条件的情况下，计算引擎可以通过远程查询目标存储系统的方式直接获取所需图数据，从而避免将图数据全量加载到计算引擎本地，减少了图数据获取的耗时，提高了图计算的效率。

技术特征：

1.一种图计算任务中获取图数据的方法，所述图数据存储于目标存储系统，所述目标存储系统提供单点查询接口，所述单点查询接口用于查询所述图数据中任意节点的一跳子图；所述方法由计算引擎执行，包括：

2.根据权利要求1所述的方法，其中，所述预设条件为，所述预测耗时小于预设的时长阈值。

3.根据权利要求1所述的方法，其中，所述方法还包括：

4.根据权利要求1所述的方法，其中，所述基于所述第二数目，确定从所述目标存储系统中以单点查询的方式读取所需数据的预测耗时，包括：

5.根据权利要求1所述的方法，其中，所述任务类型指示处理所述目标节点的一跳邻居；所述确定需查询节点的第二数目，包括：将所述第一数目确定为第二数目。

6.根据权利要求1所述的方法，其中，所述任务类型指示处理所述目标节点的多跳邻居；以及，所述确定需查询节点的第二数目，包括：

7.根据权利要求6所述的方法，其中，所述图数据中包括多种类型的节点和多种类型的边；所述节点的度的统计值包括，不同类型节点的不同类型边的度的统计值。

8.根据权利要求6或7所述的方法，其中，度的统计值包括以下至少一种：度的平均值、出度的平均值、出度的中位数。

9.根据权利要求1所述的方法，其中，所述目标存储系统为分布式文件系统。

10.一种图计算任务中获取图数据的装置，所述图数据存储于目标存储系统，所述目标存储系统提供单点查询接口，所述单点查询接口用于查询所述图数据中任意节点的一跳子图；所述装置部署于计算引擎，包括：

11.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项所述的方法。

12.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。

技术总结
本说明书实施例提供了一种图计算任务中获取图数据的方法和装置。所述图数据存储于目标存储系统，所述目标存储系统提供单点查询接口，所述单点查询接口用于查询所述图数据中任意节点的一跳子图；所述方法由计算引擎执行，该方法的一具体实施方式包括：根据图计算任务中指定的目标节点的第一数目以及任务类型，确定需查询节点的第二数目；基于所述第二数目，确定从所述目标存储系统中以单点查询的方式读取所需数据的预测耗时；在所述预测耗时满足预设条件的情况下，通过所述单点查询接口从所述目标存储系统读取所需数据。

技术研发人员：赵培龙,唐坤,张达
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/1/15