一种基于AIGC的分布式算力调度系统的制作方法

本发明涉及算力调度系统领域，尤其涉及一种基于aigc的分布式算力调度系统。

背景技术：

1、在现代信息技术快速发展的背景下，分布式算力系统成为了支撑众多先进应用的关键基础设施；这些系统利用分散在不同地理位置的计算资源，协同处理大量的数据和复杂的计算任务；如何优化算力资源的分配，确保计算任务在合理的时间内完成，并减少网络延迟和资源闲置，成为了分布式算力系统设计的关键挑战。

2、查阅相关已公开技术方案，公开号为cn116069498a的技术提出提供了一种分布式算力调度方法、装置、电子设备及存储介质，其中方法包括：任务终端广播资源请求信息，辅助终端和边缘计算服务器将计算资源状态信息反馈给任务终端；任务终端执行多智能体分布式算力调度方法模型，得到各个计算密集型且时延敏感型的计算任务待选择的卸载模式、目标辅助终端或边缘计算服务器对应的标识，以及无线信道的标识；任务终端将各个计算任务分别通过标识的无线信道发送至对应的目标辅助终端或者边缘计算服务器；目标辅助终端或者边缘计算服务器对接收到的计算任务进行处理，并将计算任务处理结果按照标识的无线信道发送至对应的任务终端。与现有技术相比，本发明具有降低了计算任务处理时延与能耗、提高了效率等优点；但该方案并未考虑各个资源请求与任务终端之间网络延迟以及各任务终端的平衡调度分配问题，可能导致在分布式环境中任务执行效率降低；此外，由于缺乏对任务终端的平衡调度分配，该方案可能导致某些计算资源过载而其他资源处于空闲状态，从而影响整个系统的性能和资源利用效率。

技术实现思路

1、本发明的目的在于，针对目前所存在的不足，提出了一种基于aigc的分布式算力调度系统。

2、本发明采用如下技术方案：一种基于aigc的分布式算力调度系统，所述系统包括节点获取模块、任务管理模块、算力调度模块、监控模块和用户服务模块；

3、所述节点获取模块用于获取系统内可用的分布式算力节点；所述任务管理模块用于获取算力任务信息，并将算力任务分解为多个子任务以便执行；所述算力调度模块用于结合算力节点的历史数据和实时数据完成对各算力节点的算力任务分配；所述监控模块用于监控算力节点的任务执行情况；所述用户服务模块用于提供用户界面完成用户与系统之间的信息交互；

4、所述节点获取模块包括节点注册单元和节点状态同步单元；所述节点注册单元用于将可用的分布式算力节点注册至系统中以供调度，所述节点状态同步单元用于对系统中所有的算力节点状态实时更新同步；

5、所述任务管理模块获取的算力任务信息为包含有完成优先级的算力任务，所述算力任务分解的子任务为可通过算力节点执行的最小任务单元；

6、进一步的，所述算力调度模块包括预测调整单元和实时调整单元；所述预测调整单元基于aigc技术根据历史数据预测具有时间特征的各算力节点的预测使用率，所述实时调整单元基于预测调整单元的预测结果和计算任务的分布对各算力节点制定调度决策；

7、进一步的，所述监控模块监控算力节点的任务执行情况具体包括各算力节点的使用率、各算力任务的完成度和各算力任务的预测完成时间；

8、进一步的，所述预测调整单元获取历史数据中具有时间特征的算力任务信息，并通过结合算力任务与各算力节点之间延迟信息建立各算力节点具有时间特征的使用率信息，并根据所述各算力节点具有时间特征的使用率信息建立预测模型，通过预测模型获取未来时间具有时间特征的各算力节点的预测使用率；

9、进一步的，所述实时调整单元通过以下步骤完成对调度决策的制定：

10、s131：将当前未分配的算力任务按优先级大小排序；

11、s132：计算当前优先级最高的算力任务与各算力节点之间的匹配指数：

12、；

13、其中，为优先级最高的算力任务，为某个算力节点，为算力任务与算力节点的匹配指数，为算力任务与算力节点的网络延迟，通过历史通信记录或预先的实验获取；为算力节点的负载平衡参数，为通过预测模型获取的当前时间算力节点的预测使用率；

14、s133：将上一步骤中的算力任务分解为多个子任务，并按匹配指数由小到大分配给对应的算力节点；在所述的分配过程中，当时，其中为算力节点的当前使用率，通过监控模块对各算力节点的实时监测获取；为系统中所有已使用算力节点的平均使用率；停止对该算力节点的任务分配，并对下一匹配指数对应的算力节点进行任务分配；

15、s134：依次对剩余未分配的算力任务按优先级高低执行s132~ s133步骤，直至所有的算力任务都被分配完为止；

16、进一步的，所述算力节点的负载平衡参数满足：

17、。

18、本发明所取得的有益效果是：

19、本发明通过任务管理模块将算力任务分解为多个子任务，从而有效提高了任务处理的灵活性和并发能力，确保即使在高负载条件下也能保持高效率和低延迟；

20、通过预测调整单元建立预测模型，从而通过历史数据获取各算力节点的预测使用率，通过实时调整单元结合实时算力节点的网络延迟、负载平衡和预测使用率完成各算力任务与各算力节点之间的匹配，从而从而最大化资源利用效率，同时加快了系统的响应减少任务执行时间，进而提升整体的系统性能。

技术特征：

1.一种基于aigc的分布式算力调度系统，其特征在于，所述系统包括节点获取模块、任务管理模块、算力调度模块、监控模块和用户服务模块；

2.根据权利要求1所述的一种基于aigc的分布式算力调度系统，其特征在于，所述算力调度模块包括预测调整单元和实时调整单元；所述预测调整单元基于aigc技术根据历史数据预测具有时间特征的各算力节点的预测使用率，所述实时调整单元基于预测调整单元的预测结果和计算任务的分布对各算力节点制定调度决策。

3.根据权利要求2所述的一种基于aigc的分布式算力调度系统，其特征在于，所述监控模块监控算力节点的任务执行情况具体包括各算力节点的使用率、各算力任务的完成度和各算力任务的预测完成时间。

4.根据权利要求3所述的一种基于aigc的分布式算力调度系统，其特征在于，所述预测调整单元获取历史数据中具有时间特征的算力任务信息，并通过结合算力任务与各算力节点之间延迟信息建立各算力节点具有时间特征的使用率信息，并根据所述各算力节点具有时间特征的使用率信息建立预测模型，通过预测模型获取未来时间具有时间特征的各算力节点的预测使用率。

5.根据权利要求4所述的一种基于aigc的分布式算力调度系统，其特征在于，所述实时调整单元通过以下步骤完成对调度决策的制定：

6.根据权利要求5所述的一种基于aigc的分布式算力调度系统，其特征在于，所述算力节点的负载平衡参数满足：

技术总结
本发明提供了一种基于AIGC的分布式算力调度系统，所述系统包括节点获取模块、任务管理模块、算力调度模块、监控模块和用户服务模块；所述节点获取模块用于获取系统内可用的分布式算力节点；所述任务管理模块用于获取算力任务信息，并将算力任务分解为多个子任务以便执行；所述算力调度模块用于结合算力节点的历史数据和实时数据完成对各算力节点的算力任务分配；所述监控模块用于监控算力节点的任务执行情况；所述用户服务模块用于提供用户界面完成用户与系统之间的信息交互；本发明通过结合实时数据与历史数据优化了系统资源利用率和响应速度。

技术研发人员：张卫平,丁洋,王晶,邵胜博,张伟
受保护的技术使用者：环球数科集团有限公司
技术研发日：
技术公布日：2024/2/1