一种AI服务请求调度的方法、装置、设备及介质与流程

本申请涉及资源调度，提供一种ai服务请求调度的方法、装置、设备及介质。

背景技术：

1、随着人工智能（ai，artificial intelligence）的快速发展，越来越多的企业和组织开始使用“ai服务”来提高业务效率、优化决策和改进用户体验，其中，ai服务包括图像识别、自然语言处理和预测分析等。但是，随着ai服务的增加，为确保ai服务的高可用性、高性能和安全性，对处理和调度这些ai服务请求提出了更高的要求。

2、然而，在现有的ai服务请求调度技术中，需要投入较高的成本来购买和维护大规模的计算和存储设备，需要处理密集型的计算任务，需要与多个ai服务微服务进行交互等功能，需要较多的计算时间，需要更多的服务器资源来应对请求量的增加，涉及敏感信息和数据，涉及多个微服务和复杂的网络结构，会依赖一些第三方技术和工具，且这些技术和工具的稳定性和可靠性可能不尽相同，因此，在现有技术中，便会出现成本高、效率低、结构复杂、速度慢、管理维护困难以及技术不稳定等问题。

技术实现思路

1、本申请提供一种ai服务请求调度的方法、装置、设备及介质，用于解决现有的ai服务请求调度技术中出现的低资源利用率和低响应等问题。

2、一方面，提供一种ai服务请求调度的方法，所述方法包括：

3、调用目标ai网关通过nginx服务器接收ai业务系统发送的资源调度请求；

4、根据预设的负载均衡算法与算力集群中各个节点的节点信息，调用所述目标ai网关确定进行资源调度的目标节点；其中，所述各个节点均采用aidlux融合操作系统，且所述节点信息包括节点状态、资源配置以及负载情况；

5、在所述目标ai网关与所述目标节点中的ai应用之间建立websocket长连接；

6、调用所述目标ai网关通过所述websocket长连接将所述资源调度请求分配给所述目标节点。

7、可选的，在调用所述目标ai网关通过所述websocket长连接将所述资源调度请求分配给所述目标节点之后，所述方法还包括：

8、调用所述ai应用对所述资源调度请求进行解析，生成资源调度任务；

9、调用所述ai应用对所述资源调度任务进行处理，获得调度处理结果。

10、可选的，在调用所述ai应用对所述资源调度任务进行处理，获得调度处理结果之后，所述方法还包括：

11、调用所述ai应用将所述调度处理结果反馈给所述目标ai网关；

12、调用所述目标ai网关将所述调度处理结果反馈给所述nginx服务器；

13、调用所述nginx服务器将所述调度处理结果反馈给所述ai业务系统。

14、可选的，在根据预设的负载均衡算法与算力集群中各个节点的节点信息，调用所述目标ai网关确定进行资源调度的目标节点之前，所述方法还包括：

15、调用节点管理平台通过监控平台获取所述算力集群中各个节点的节点信息；

16、调用所述目标ai网关从所述节点管理平台中获取所述算力集群中各个节点的节点信息。

17、可选的，所述调用节点管理平台通过监控平台获取所述算力集群中各个节点的节点信息的步骤，包括：

18、根据数据缓存或预加载机制，调用节点管理平台通过监控平台从数据库中获取算力集群中各个节点的节点信息。

19、可选的，在调用所述目标ai网关从所述节点管理平台中获取所述算力集群中各个节点的节点信息之后，所述方法还包括：

20、若监控平台监控到存在节点下线，或监控到存在节点资源配置发生变化，则调用所述节点管理平台向所述目标ai网关发送节点变化通知；

21、根据所述节点变化通知，调用所述目标ai网关获取相应的节点实时更新信息。

22、可选的，在调用所述目标ai网关从所述节点管理平台中获取所述算力集群中各个节点的节点信息之后，所述方法还包括：

23、若监控平台监控到存在节点出现故障，则调用所述节点管理平台向所述目标ai网关发送节点切换通知；

24、根据所述节点切换通知，调用所述目标ai网关进行节点自动切换。

25、一方面，提供一种ai服务请求调度的装置，所述装置包括：

26、请求发送单元，用于调用目标ai网关通过nginx服务器接收ai业务系统发送的资源调度请求；

27、节点确定单元，用于根据预设的负载均衡算法与算力集群中各个节点的节点信息，调用所述目标ai网关确定进行资源调度的目标节点；其中，所述各个节点均采用aidlux融合操作系统，且所述节点信息包括节点状态、资源配置以及负载情况；

28、连接建立单元，用于在所述目标ai网关与所述目标节点中的ai应用之间建立websocket长连接；

29、请求分配单元，用于调用所述目标ai网关通过所述websocket长连接将所述资源调度请求分配给所述目标节点。

30、一方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种方法。

31、一方面，提供一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法。

32、与现有技术相比，本申请的有益效果为：

33、在本申请实施例中，当ai服务请求调度时，首先，可以调用目标ai网关通过nginx服务器接收ai业务系统发送的资源调度请求；然后，可以根据预设的负载均衡算法与算力集群中各个节点的节点信息，来调用目标ai网关确定进行资源调度的目标节点；其中，各个节点均采用aidlux融合操作系统，且节点信息包括节点状态、资源配置以及负载情况；接下来，可以在目标ai网关与目标节点中的ai应用之间建立websocket长连接；最后，可以调用目标ai网关通过websocket长连接将资源调度请求分配给目标节点。因此，在本申请实施例中，由于是根据预设的负载均衡算法与算力集群中各个节点的节点信息，来调用目标ai网关确定进行资源调度的目标节点，即，可以通过一个目标ai网关来解决ai服务请求调度，因此，可以智能地将资源调度请求分配给处于空闲或低负载状态的节点，从而，实现计算资源的高效利用。此外，由于可以调用目标ai网关通过websocket长连接将资源调度请求分配给目标节点，因此，可以快速地将资源调度请求分发到目标节点上，进而，减少请求的排队等待时间，以快速获得响应，提高用户体验。

技术特征：

1.一种ai服务请求调度的方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，在调用所述目标ai网关通过所述websocket长连接将所述资源调度请求分配给所述目标节点之后，所述方法还包括：

3.如权利要求2所述的方法，其特征在于，在调用所述ai应用对所述资源调度任务进行处理，获得调度处理结果之后，所述方法还包括：

4.如权利要求1所述的方法，其特征在于，在根据预设的负载均衡算法与算力集群中各个节点的节点信息，调用所述目标ai网关确定进行资源调度的目标节点之前，所述方法还包括：

5.如权利要求4所述的方法，其特征在于，所述调用节点管理平台通过监控平台获取所述算力集群中各个节点的节点信息的步骤，包括：

6.如权利要求4所述的方法，其特征在于，在调用所述目标ai网关从所述节点管理平台中获取所述算力集群中各个节点的节点信息之后，所述方法还包括：

7.如权利要求4所述的方法，其特征在于，在调用所述目标ai网关从所述节点管理平台中获取所述算力集群中各个节点的节点信息之后，所述方法还包括：

8.一种ai服务请求调度的装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述设备包括：

10.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-7中任一所述的方法。

技术总结
本申请提供一种AI服务请求调度的方法、装置、设备及介质，涉及目标识别技术领域，用于解决现有的AI服务请求调度技术中出现的低资源利用率和低响应等问题。该方法包括：调用目标AI网关通过Nginx服务器接收AI业务系统发送的资源调度请求；根据预设的负载均衡算法与算力集群中各个节点的节点信息，调用所述目标AI网关确定进行资源调度的目标节点；其中，所述各个节点均采用AidLux融合操作系统，且所述节点信息包括节点状态、资源配置以及负载情况；在所述目标AI网关与所述目标节点中的AI应用之间建立websocket长连接；调用所述目标AI网关通过所述websocket长连接将所述资源调度请求分配给所述目标节点。

技术研发人员：孙晓刚,徐建刚
受保护的技术使用者：成都阿加犀智能科技有限公司
技术研发日：
技术公布日：2024/1/16