一种AI调度实现方法及装置与流程

本发明涉及服务器管理监控领域，具体提供一种ai调度实现方法及装置。

背景技术：

1、目前的人工智能项目中，大多数是需要依靠服务器算力来进行模型的优化以及各种任务的计算。因此往往配置多台服务器已提供更高算力来支持项目的稳定性。但是目前的负载均衡组件，如nacos、nginx等都无法动态根据服务器负载的进行算力的调度。

技术实现思路

1、本发明是针对上述现有技术的不足，提供一种实用性强的ai调度实现方法。

2、本发明进一步的技术任务是提供一种设计合理，安全适用的ai调度实现装置。

3、本发明解决其技术问题所采用的技术方案是：

4、一种ai调度实现方法，首先利用redission分布式锁完成调度服务的选主机制以及分布式服务部署，当一个服务抢到主机锁后，便成为主服务，其它服务为从服务；一旦当前主服务下线后，从服务便会重新抢占主机锁；

5、依靠监控服务平台提供的接口，获取到服务器的各项参数，利用配置的权重比或计算性能分数的算法，计算出服务的性能分数，作为任务调度的参考。

6、进一步的，首先创建springboot项目引入redission相关的依赖以及配置，创建一个微服务守护进程用来抢占主机锁，主机锁是一个redis提供的一个hash类型的key。

7、进一步的，如果服务抢占到锁，守护进程便会阻塞不会在参与枪锁操作并将自己的信息更新到redis中，同时会将没有抢占到锁的服务即从服务的信息也更新到redis中。

8、进一步的，将从服务的信息也更新到redis中后，进行心跳检测，随时更新服务的状态；

9、没有抢占到便轮询锁的状态，服务关闭时释放抢占到锁并结束守护进程。

10、进一步的，一旦主服务异常停止，redission的分布式锁会在一段时间后自动解锁，从服务便可争取到主机锁，升级为主节点，继续管理整个集群的工作。

11、进一步的，主节点服务启动后会开启定时任务调用监控服务提供的接口，获取各个服务器的详细信息，并将详细信息更新到redis中，同时根据提供的信息和配置的权重比或算法计算出目前最优的服务器，最后将计算出的最优服务器ip存储到redis中，供任务调度提供支持。

12、进一步的，主服务还会读取数据库中的各项ai任务，根据服务器性能对任务进行合理的分配；

13、当一个ai任务要运行，调度服务首先会从redis中读取性能最优的服务器ip，将此次任务调度给服务器，并将调度信息保存到redis中，并持续监控任务的运行状态，如果任务出现异常会从redis中删除调度信息，从新进行此异常任务的调度。

14、一种ai调度实现装置，包括：至少一个存储器和至少一个处理器；

15、所述至少一个存储器，用于存储机器可读程序；

16、所述至少一个处理器，用于调用所述机器可读程序，执行一种ai调度实现方法。

17、本发明的一种ai调度实现方法及装置和现有技术相比，具有以下突出的有益效果：

18、本发明可以根据服务器性能动态进行ai任务的调度，是一种更加适合人工智能集群项目的负载均衡服务。

技术特征：

1.一种ai调度实现方法，其特征在于，首先利用redission分布式锁完成调度服务的选主机制以及分布式服务部署，当一个服务抢到主机锁后，便成为主服务，其它服务为从服务；一旦当前主服务下线后，从服务便会重新抢占主机锁；

2.根据权利要求1所述的一种ai调度实现方法，其特征在于，首先创建springboot项目引入redission相关的依赖以及配置，创建一个微服务守护进程用来抢占主机锁，主机锁是一个redis提供的一个hash类型的key。

3.根据权利要求1或2所述的一种ai调度实现方法，其特征在于，如果服务抢占到锁，守护进程便会阻塞不会在参与枪锁操作并将自己的信息更新到redis中，同时会将没有抢占到锁的服务即从服务的信息也更新到redis中。

4.根据权利要求3所述的一种ai调度实现方法，其特征在于，将从服务的信息也更新到redis中后，进行心跳检测，随时更新服务的状态；

5.根据权利要求4所述的一种ai调度实现方法，其特征在于，一旦主服务异常停止，redission的分布式锁会在一段时间后自动解锁，从服务便可争取到主机锁，升级为主节点，继续管理整个集群的工作。

6.根据权利要求5所述的一种ai调度实现方法，其特征在于，主节点服务启动后会开启定时任务调用监控服务提供的接口，获取各个服务器的详细信息，并将详细信息更新到redis中，同时根据提供的信息和配置的权重比或算法计算出目前最优的服务器，最后将计算出的最优服务器ip存储到redis中，供任务调度提供支持。

7.根据权利要求6所述的一种ai调度实现方法，其特征在于，主服务还会读取数据库中的各项ai任务，根据服务器性能对任务进行合理的分配；

8.一种ai调度实现装置，其特征在于，包括：至少一个存储器和至少一个处理器；

技术总结
本发明涉及服务器管理监控领域，具体提供了一种AI调度实现方法及装置，首先利用redission分布式锁完成调度服务的选主机制以及分布式服务部署，当一个服务抢到主机锁后，便成为主服务，其它服务为从服务；一旦当前主服务下线后，从服务便会重新抢占主机锁；依靠监控服务平台提供的接口，获取到服务器的各项参数，利用配置的权重比或计算性能分数的算法，计算出服务的性能分数，作为任务调度的参考。与现有技术相比，本发明可以根据服务器性能动态进行AI任务的调度，是一种更加适合人工智能集群项目的负载均衡服务。

技术研发人员：牛毅恒,张俊琪
受保护的技术使用者：浪潮软件集团有限公司
技术研发日：
技术公布日：2024/1/14