算力分配方法、装置、相关设备及存储介质与流程

本技术涉及网络通信，尤其涉及一种算力分配方法、装置、相关设备及存储介质。

背景技术：

1、随着人工智能、大数据等产业的不断发展，越来越多的行业开始引入人工智能技术，这也催生出诸多应用，如机器视觉、自然语言处理、语音识别等细分领域。随着研究的逐步深入，机器学习模型也越来越复杂，需要庞大的算力资源来完成模型的训练及推理任务。相关技术中，云管平台对于这类业务还是按日、月、年的时段进行虚拟机或者裸金属服务器租赁，如图1所示，图1为云服务商云管平台界面的示意图。但对于云服务提供商而言，如何高效分配算力资源成为一大挑战。针对该问题，目前尚未有有效解决方案。

技术实现思路

1、为解决相关技术问题，本技术实施例提供一种算力分配方法、装置、相关设备及存储介质。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供了一种算力分配方法，应用于网络设备，包括：

4、接收终端发送的第一请求信息；所述第一请求信息至少携带第一机器学习模型的第一参数和第二参数；所述第一参数用于表征所述第一机器学习模型的待计算量；所述第二参数用于表征所述第一机器学习模型在计算过程中占用硬件存储单元的大小；所述第一机器学习模型为所述终端中的任一机器学习模型；

5、利用所述第一参数、所述第二参数和预设性能模型评估第一算力单元对所述第一机器学习模型的预估运行时间；所述第一算力单元为所述网络设备中的任一算力单元；

6、基于所述预估运行时间确定所述第一请求信息的第一响应信息，向所述终端发送所述第一响应信息；所述第一响应信息用于供所述终端确定与所述第一机器学习模型匹配的算力资源。

7、上述方案中，所述第一参数至少包括计算量；所述第二参数至少包括访存量；所述利用所述第一参数、所述第二参数和预设性能模型评估第一算力单元对所述第一机器学习模型的预估运行时间，包括：

8、根据所述计算量和所述访存量获取所述第一机器学习模型的计算强度；

9、利用所述预设性能模型获得所述第一算力单元的预设计算强度以及理论算力；

10、基于所述计算强度、所述预设计算强度和所述理论算力确定所述预估运行时间。

11、上述方案中，所述基于所述计算强度、所述预设计算强度和所述理论算力确定所述预估运行时间，包括：

12、判断所述计算强度是否大于等于所述预设计算强度；

13、在所述计算强度大于等于所述预设计算强度的情况下，基于所述计算量和所述理论算力确定所述预估运行时间；

14、在所述计算强度小于所述预设计算强度的情况下，基于所述访存量、所述预设计算强度和所述理论算力确定所述预估运行时间。

15、上述方案中，所述第一请求信息还包括用于影响所述网络设备进行算力分配决策的第三参数。

16、上述方案中，所述第一响应信息至少携带以下参数：

17、第一标志参数；所述第一标志参数用于标记所述网络设备是否有空闲算力资源；

18、第二标志参数；所述第二标志参数用于在所述第一标志参数标记所述网络设备有空闲算力资源的情况下，标记所述空闲算力资源对应的至少一个算力单元类型；

19、第三标志参数；所述第三标志参数用于标记所述第一机器学习模型在所述至少一个算力单元类型中每个算力单元类型对应的预估运行时间以及预估价格。

20、上述方案中，所述方法还包括：

21、对所述第一标志参数、所述第二标志参数、所述第三标志参数进行封装，得到所述第一响应信息。

22、上述方案中，所述方法还包括：

23、接收所述终端发送的第二请求信息；所述第二请求信息基于所述第一响应信息进行确定；

24、根据所述第二请求信息分配与所述第一机器学习模型匹配的算力资源，得到与所述第一机器学习模型匹配的算力资源的响应结果；

25、将所述响应结果反馈给所述终端。

26、上述方案中，所述第二请求信息至少携带以下参数：

27、第一字段参数；所述第一字段参数用于表示所述终端是否接收所述网络设备中的空闲算力资源对所述第一机器学习模型完成计算任务；

28、第二字段参数；所述第二字段参数用于表示所述终端在所述网络设备中的空闲算力资源中确定与所述第一机器学习模型匹配的算力资源类型；

29、第三字段参数；所述第三字段参数用于表示请求占用与所述第一机器学习模型匹配的算力资源类型的时间。

30、上述方案中，所述方法还包括：

31、接收所述终端上传的与所述第一机器学习模型相关的计算任务；

32、利用所述第一算力单元对所述第一机器学习模型相关的计算任务进行计算，得到计算结果；

33、向所述终端反馈所述计算结果，并释放所述第一算力单元的资源。

34、本技术实施例还提供了一种算力分配方法，应用于终端，包括：

35、向网络设备发送第一请求信息；所述第一请求信息至少携带第一机器学习模型的第一参数和第二参数；所述第一参数用于表征所述第一机器学习模型的待计算量；所述第二参数用于表征所述第一机器学习模型在计算过程中占用硬件存储单元的大小；所述第一机器学习模型为所述终端中的任一机器学习模型；

36、接收所述网络设备发送的第一响应信息；所述第一响应信息基于所述网络设备利用所述第一参数、所述第二参数和预设性能模型评估第一算力单元对所述第一机器学习模型的预估运行时间进行确定；所述第一算力单元为所述网络设备中的任一算力单元；所述第一响应信息用于供所述终端确定与所述第一机器学习模型匹配的算力资源。

37、上述方案中，所述第一参数至少包括计算量；所述方法还包括：

38、获取与所述第一机器学习模型中每个卷积层相关的第一参数；

39、根据所述第一参数确定所述第一机器学习模型中每个卷积层的计算量；

40、对所述每个卷积层的计算量进行求和，得到所述计算量。

41、上述方案中，所述第二参数至少包括访存量；所述方法还包括：

42、获取与所述第一机器学习模型中每个卷积层相关的第二参数；

43、根据所述第二参数确定所述第一机器学习模型中每个卷积层的访存量；

44、对所述每个卷积层的访存量进行求和，得到所述访存量。

45、上述方案中，所述第一请求信息还包括用于影响所述网络设备进行算力分配决策的第三参数；所述方法还包括：

46、对所述第一参数、所述第二参数和所述第三参数进行封装，得到所述第一请求信息。

47、上述方案中，所述第一响应信息至少携带以下参数：

48、第一标志参数；所述第一标志参数用于标记所述网络设备是否有空闲算力资源；

49、第二标志参数；所述第二标志参数用于在所述第一标志参数标记所述网络设备有空闲算力资源的情况下，标记所述空闲算力资源对应的至少一个算力单元类型；

50、第三标志参数；所述第三标志参数用于标记所述第一机器学习模型在所述至少一个算力单元类型中每个算力单元类型对应的预估运行时间以及预估价格。

51、上述方案中，所述方法还包括：

52、根据所述第一响应信息确定第二请求信息；

53、向所述网络设备发送第二请求信息；所述第二请求信息用于请求所述网络设备分配与所述第一机器学习模型匹配的算力资源。

54、上述方案中，所述第二请求信息至少携带以下参数：

55、第一字段参数；所述第一字段参数用于表示所述终端是否接收所述网络设备中的空闲算力资源对所述第一机器学习模型完成计算任务；

56、第二字段参数；所述第二字段参数用于表示所述终端在所述网络设备中的空闲算力资源中确定与所述第一机器学习模型匹配的算力资源类型；

57、第三字段参数；所述第三字段参数用于表示请求占用与所述第一机器学习模型匹配的算力资源类型的时间。

58、上述方案中，所述方法还包括：

59、对所述第一字段参数、所述第二字段参数、所述第三字段参数进行封装，得到所述第二请求信息。

60、上述方案中，所述方法还包括：

61、接收所述网络设备发送的与所述第一机器学习模型匹配的算力资源的响应结果；所述响应结果基于所述第二请求信息进行确定；

62、根据所述响应结果向所述网络设备上传与所述第一机器学习模型相关的计算任务；所述计算任务用于所述网络设备利用所述第一算力单元对所述第一机器学习模型相关的计算任务进行计算。

63、本技术实施例还提供了一种算力分配装置，设置在网络设备上，包括：

64、第一接收单元，用于接收终端发送的第一请求信息；所述第一请求信息至少携带第一机器学习模型的第一参数和第二参数；所述第一参数用于表征所述第一机器学习模型的待计算量；所述第二参数用于表征所述第一机器学习模型在计算过程中占用硬件存储单元的大小；所述第一机器学习模型为所述终端中的任一机器学习模型；

65、确定单元，用于利用所述第一参数、所述第二参数和预设性能模型评估第一算力单元对所述第一机器学习模型的预估运行时间；所述第一算力单元为所述网络设备中的任一算力单元；

66、第一发送单元，用于基于所述预估运行时间确定所述第一请求信息的第一响应信息，向所述终端发送所述第一响应信息；所述第一响应信息用于供所述终端确定与所述第一机器学习模型匹配的算力资源。

67、本技术实施例还提供了一种算力分配装置，设置在终端上，包括：

68、第二发送单元，用于向网络设备发送第一请求信息；所述第一请求信息至少携带第一机器学习模型的第一参数和第二参数；所述第一参数用于表征所述第一机器学习模型的待计算量；所述第二参数用于表征所述第一机器学习模型在计算过程中占用硬件存储单元的大小；所述第一机器学习模型为所述终端中的任一机器学习模型；

69、第二接收单元，用于接收所述网络设备发送的第一响应信息；所述第一响应信息基于所述网络设备利用所述第一参数、所述第二参数和预设性能模型评估第一算力单元对所述第一机器学习模型的预估运行时间进行确定；所述第一算力单元为所述网络设备中的任一算力单元；所述第一响应信息用于供所述终端确定与所述第一机器学习模型匹配的算力资源。

70、本技术实施例还提供了一种网络设备，包括：第一通信接口和第一处理器；其中，

71、所述第一通信接口，用于接收终端发送的第一请求信息；所述第一请求信息至少携带第一机器学习模型的第一参数和第二参数；所述第一参数用于表征所述第一机器学习模型的待计算量；所述第二参数用于表征所述第一机器学习模型在计算过程中占用硬件存储单元的大小；所述第一机器学习模型为所述终端中的任一机器学习模型；

72、所述第一处理器，用于利用所述第一参数、所述第二参数和预设性能模型评估第一算力单元对所述第一机器学习模型的预估运行时间；所述第一算力单元为所述网络设备中的任一算力单元；基于所述预估运行时间确定所述第一请求信息的第一响应信息；

73、所述第一通信接口，还用于向所述终端发送所述第一响应信息；所述第一响应信息用于供所述终端确定与所述第一机器学习模型匹配的算力资源。

74、本技术实施例还提供了一种终端，包括：第二通信接口；

75、所述第二通信接口，用于向网络设备发送第一请求信息；所述第一请求信息至少携带第一机器学习模型的第一参数和第二参数；所述第一参数用于表征所述第一机器学习模型的待计算量；所述第二参数用于表征所述第一机器学习模型在计算过程中占用硬件存储单元的大小；所述第一机器学习模型为所述终端中的任一机器学习模型；接收所述网络设备发送的第一响应信息；所述第一响应信息基于所述网络设备利用所述第一参数、所述第二参数和预设性能模型评估第一算力单元对所述第一机器学习模型的预估运行时间进行确定；所述第一算力单元为所述网络设备中的任一算力单元；所述第一响应信息用于供所述终端确定与所述第一机器学习模型匹配的算力资源。

76、本技术实施例还提供了一种网络设备，包括：第一处理器和用于存储能够在处理器上运行的计算机程序的第一存储器，

77、其中，所述第一处理器用于运行所述计算机程序时，执行上述网络设备侧任一方法的步骤。

78、本技术实施例还提供了一种终端，包括：第二处理器和用于存储能够在处理器上运行的计算机程序的第二存储器，

79、其中，所述第二处理器用于运行所述计算机程序时，执行上述终端侧任一方法的步骤。

80、本技术实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述网络设备侧任一方法的步骤，或者实现上述终端任一方法的步骤。

81、本技术实施例提供的算力分配方法、装置、相关设备及存储介质，网络设备接收终端发送的第一请求信息；所述第一请求信息至少携带第一机器学习模型的第一参数和第二参数；所述第一参数用于表征所述第一机器学习模型的待计算量；所述第二参数用于表征所述第一机器学习模型在计算过程中占用硬件存储单元的大小；所述第一机器学习模型为所述终端中的任一机器学习模型；利用所述第一参数、所述第二参数和预设性能模型评估第一算力单元对所述第一机器学习模型的预估运行时间；所述第一算力单元为所述网络设备中的任一算力单元；基于所述预估运行时间确定所述第一请求信息的第一响应信息，向所述终端发送所述第一响应信息；所述第一响应信息用于供所述终端确定与所述第一机器学习模型匹配的算力资源；相应地，对于终端，向网络设备发送第一请求信息；所述第一请求信息至少携带第一机器学习模型的第一参数和第二参数；所述第一参数用于表征所述第一机器学习模型的待计算量；所述第二参数用于表征所述第一机器学习模型在计算过程中占用硬件存储单元的大小；所述第一机器学习模型为所述终端中的任一机器学习模型；接收所述网络设备发送的第一响应信息；所述第一响应信息基于所述网络设备利用所述第一参数、所述第二参数和预设性能模型评估第一算力单元对所述第一机器学习模型的预估运行时间进行确定；所述第一算力单元为所述网络设备中的任一算力单元；所述第一响应信息用于供所述终端确定与所述第一机器学习模型匹配的算力资源，针对算力网络，引入相关性能模型评估机器学习模型的预估时间，进而指导网络设备根据分析结果对空闲算力资源进行合理分配；在一定程度上提升算力资源的使用率，又能改进算力资源的租赁方式，从以时间周期为单位租赁到以任务量为单位租赁，为网络设备降本增效。