基于人工智能的数据处理方法及装置与流程

本技术涉及算力网络，具体而言，本技术涉及一种基于人工智能的数据处理方法及装置。

背景技术：

1、算力网络是实现从以网络为核心的信息交换到以算力为核心的信息数据处理，是智能化综合性新型信息基础设施的关键部分。当前，由于网络和算力的建设分离，算力供给中存在“效能低、成本高”的问题，很难满足新型数字经济发展的需求。

2、因此，构建融合算力与网络的通算一体数字化基础设施应运而生，现有技术中是通过在网络设备上增加独立的算力板卡或专用算力服务器，从硬件上实现算力和网络的融合。但是，现有技术中需要额外购买算力板卡或算力服务器，算力网络建设成本较高。

技术实现思路

1、本技术实施例提供了一种基于人工智能的数据处理方法及装置，可以解决现有技术中算力网络建设成本较高的问题。

2、所述技术方案如下：

3、根据本技术实施例的一个方面，提供了一种基于人工智能的数据处理方法，该方法包括：

4、响应于针对目标应用的至少一个任务请求，获取所述至少一个任务请求分别对应的至少一个任务；

5、基于各个任务分别对应的任务信息，从所述目标应用对应的至少一个第一集群中，确定每个任务分别对应的第二集群；所述第二集群为与所述任务的任务信息相匹配的集群；

6、针对每个任务，将所述任务分配至与所述任务对应的第二集群，以供所述第二集群基于计算算力资源执行所述任务；

7、其中，所述第一集群是基于如下方式确定的：

8、获取至少一个基带处理单元bbu分别对应的在任务运行时间的预测空闲算力，并从候选算力资源中确定与所述预测空闲算力对应的所述计算算力资源；

9、基于各个bbu分别对应的预测空闲算力，对所述各个bbu进行聚类，得到至少一个集群；

10、获取待处理的至少一个应用；所述至少一个应用包括所述目标应用；

11、基于各个应用分别对应的算力需求，从所述至少一个集群中确定每个应用分别对应的至少一个第一集群；所述第一集群为与所述应用的算力需求相匹配的集群。

12、可选地，所述基于各个应用分别对应的算力需求，从所述至少一个集群中确定每个应用分别对应的至少一个第一集群，包括：

13、确定各个应用分别对应的算力需求，以及各个集群分别对应的集群特征；所述集群特征用于表征集群的算力资源供给水平；

14、基于各个应用分别对应的算力需求，以及各个集群分别对应的集群特征，确定所述各个应用与各个集群之间的第一映射关系；

15、基于所述第一映射关系，确定每个应用分别对应的至少一个第一集群。

16、可选地，所述基于各个应用分别对应的算力需求，以及各个集群分别对应的集群特征，确定所述各个应用与各个集群之间的第一映射关系，包括：

17、将各个应用分别对应的算力需求，以及各个集群分别对应的集群特征输入至编排模型，得到所述编排模型输出的多个候选编排策略；

18、基于第一策略评价指标，从所述多个候选编排策略中确定出目标编排策略；

19、基于所述目标编排策略，确定所述第一映射关系。

20、可选地，所述基于各个任务分别对应的任务信息，从所述至少一个第一集群中确定每个任务分别对应的第二集群，包括：

21、将各个任务分别对应的任务信息和各个第一集群输入至调度模型，得到所述调度模型输出的多个候选调度策略；

22、基于第二策略评价指标，从所述多个候选调度策略中确定出目标调度策略；

23、基于所述目标调度策略，确定每个任务分别对应的第二集群。

24、可选地，所述获取至少一个基带处理单元bbu分别对应的在所述任务运行时间的预测空闲算力，包括：

25、针对每个bbu，获取所述bbu在所述任务运行时间的预测通信算力资源使用量；

26、基于所述bbu的预测通信算力资源使用量、所述bbu对应的资源约束和扩容阈值，确定所述bbu在所述任务运行时间的预测空闲算力。

27、可选地，所述扩容阈值是基于如下方式确定的：

28、确定初始扩容阈值；

29、对所述初始扩容阈值执行至少一次优化操作，直至满足预设结束条件，将满足预设结束条件的初始扩容阈值作为所述扩容阈值；

30、其中，所述优化操作包括：

31、针对每个bbu，获取所述bbu当前通信算力资源状态和历史通信算力资源状态；

32、基于所述当前通信算力资源状态和所述历史通信算力资源状态，确定在预设时域内的第一预测通信算力资源使用量；

33、针对所述预设时域内的任一预设时刻，从所述第一预测通信算力资源使用量中确定所述预设时刻的第二预测通信算力资源使用量；

34、基于所述第二预测通信算力资源使用量、所述bbu对应的资源约束和初始扩容阈值，得到所述bbu在所述预设时刻的预测空闲算力；

35、基于所述预设时域中各个预设时刻的预测空闲算力和各个预设时刻的真实空闲算力之间的差异，确定预测误差；

36、若所述预测误差不满足所述预设结束条件，则对所述初始扩容阈值进行修正，并将修正后的初始扩容阈值作为下一次优化的初始扩容阈值。

37、可选地，所述目标应用包括联邦学习应用；所述第二集群中每个bbu分别部署对应的初始本地模型；

38、所述第二集群执行任务，包括：

39、对mec服务器中的初始聚合模型进行至少一次训练操作，直至满足训练结束条件，并将满足训练结束条件的初始聚合模型作为训练好的聚合模型；

40、其中，所述训练操作包括：

41、获取所述第二集群中每个bbu部署的初始本地模型；

42、将多个初始本地模型进行模型聚合，得到第一聚合模型，基于第一聚合模型对所述初始聚合模型进行更新；

43、若更新后的初始聚合模型的损失函数不满足训练结束条件，则将更新后的初始聚合模型分别下发给所述第二集群中的每个bbu，以供所述每个bbu将更新后的初始聚合模型作为下一次训练操作的初始本地模型。

44、根据本技术实施例的另一个方面，提供了一种基于人工智能的数据处理装置，该装置包括：

45、任务获取模块，用于响应于针对目标应用的至少一个任务请求，获取所述至少一个任务请求分别对应的至少一个任务；

46、任务调度模块，用于基于各个任务分别对应的任务信息，从所述目标应用对应的至少一个第一集群中，确定每个任务分别对应的第二集群；所述第二集群为与所述任务的任务信息相匹配的集群；

47、任务执行模块，用于针对每个任务，将所述任务分配至与所述任务对应的第二集群，以供所述第二集群基于计算算力资源执行所述任务；

48、其中，所述第一集群是基于如下方式确定的：

49、获取至少一个基带处理单元bbu分别对应的在任务运行时间的预测空闲算力，并从候选算力资源中确定与所述预测空闲算力对应的所述计算算力资源；

50、基于各个bbu分别对应的预测空闲算力，对所述各个bbu进行聚类，得到至少一个集群；

51、获取待处理的至少一个应用；所述至少一个应用包括所述目标应用；

52、基于各个应用分别对应的算力需求，从所述至少一个集群中确定每个应用分别对应的至少一个第一集群；所述第一集群为与所述应用的算力需求相匹配的集群。

53、根据本技术实施例的另一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一种基于人工智能的数据处理方法的步骤。

54、根据本技术实施例的再一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种基于人工智能的数据处理方法的步骤。

55、本技术实施例提供的技术方案带来的有益效果是：

56、在应用部署阶段，通过获取至少一个bbu分别对应的在任务运行时间的预测空闲算力，基于各个bbu分别对应的预测空闲算力，对各个bbu进行聚类，得到至少一个集群，并基于各个应用分别对应的算力需求，确定与各个应用分别对应的至少一个第一集群，从而可以将每个应用分配至与其算力需求相匹配的集群，充分利用了算力网络中的网络设备的空闲算力，实现了算力网络中空闲算力的合理分配，提高了算力网络中算力资源的利用率。

57、在任务执行阶段，通过获取目标应用的至少一个任务，基于各个任务分别对应的任务信息，从至少一个第一集群中确定每个任务的任务信息相匹配的第二集群，使得第二集群基于计算算力资源执行任务，无需增加额外的硬件设备，通过将大量bbu的空闲算力与通信业务解耦，为计算应用提供算力支持，实现灵活、低成本的算力供给。

58、进一步地，通过基于各个任务分别对应的任务信息，确定与每个任务的任务信息相匹配的第二集群，实现了各个集群对于不同任务之间的合理分配，提高了各个任务的计算效率，能够提供高效的计算服务。