本技术涉及计算机,特别是涉及一种数据请求处理方法、系统和可读存储介质。
背景技术:
1、目前,随着线上服务需求的快速增长,单一的服务器已经不能满足庞大的用户需求。因此,相关技术在部署任务处理模型时,会将同一种模型部署在不同的服务器中,并通过一个服务器调度各个用于推理的推理服务器。
2、在相关技术中,用于调度的服务器会通过加权轮询或者确定最小连接数等方式确定空闲的推理服务器并调度数据请求,以充分利用各个推理服务器的处理资源。
3、但是,不论是加权轮询方式、确定最小连接数方式或者其它方式,都不可避免的存在负载均衡的设置不合理的情况,这会导致出现某台推理服务器接收了过多请求的同时,仍有大量空闲的推理服务器,进而导致处理资源的浪费以及数据请求的堆积所引起的响应过慢问题。因此,如何有效避免上述情况,提高服务器处理资源的利用率是目前亟需解决的问题。
技术实现思路
1、有鉴于此,本技术实施例提供一种数据请求处理方法、系统和可读存储介质,以提高服务器中的处理资源的利用率。
2、第一方面,提供了一种数据请求处理方法,所述方法应用于推理服务器,所述方法包括:
3、接收负载均衡服务器下发的数据请求,所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
4、响应于当前空闲处理资源不足,且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值,拒绝接收所述数据请求,并向所述负载均衡服务器发送服务器繁忙提示,以使得请求调度服务器重新发送所述数据请求。
5、在一些实施例中,所述方法还包括:
6、响应于当前空闲处理资源不足,且所述请求调度服务器重新发送所述数据请求的次数达到预定次数阈值,接收所述数据请求,并将所述数据请求存储至预先设置的处理队列中。
7、第二方面,提供了一种数据请求处理方法,所述方法应用于负载均衡服务器,所述方法包括:
8、接收请求调度服务器下发的数据请求,所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
9、向所述负载均衡服务器下的各推理服务器分发所述数据请求。
10、响应于接收到所述推理服务器返回的服务器繁忙提示,向所述请求调度服务器发送所述服务器繁忙提示,以使得所述请求调度服务器重新发送所述数据请求,其中,所述推理服务器响应于当前空闲处理资源不足,且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值,拒绝接收所述数据请求并发出所述服务器繁忙提示。
11、在一些实施例中,所述方法还包括:
12、接收请求调度服务器重新下发的数据请求。
13、通过加权轮询或者确定最小连接数的方式,确定本轮下发数据请求的目标推理服务器。
14、向各所述目标推理服务器分发所述数据请求。
15、在一些实施例中,所述数据请求还包括已拒绝所述数据请求的推理服务器所对应的筛选标识。
16、所述通过加权轮询或者确定最小连接数的方式,确定本轮下发数据请求的目标推理服务器包括:
17、根据所述筛选标识,对各所述推理服务器进行筛选。
18、通过加权轮询或者确定最小连接数的方式,在筛选后的各所述推理服务器中确定本轮下发数据请求的目标推理服务器。
19、第三方面,提供了一种数据请求处理方法,所述方法应用于请求调度服务器,所述方法包括:
20、向负载均衡服务器下发外部发送的数据请求,以使得所述负载均衡服务器向所述负载均衡服务器下的各推理服务器分发所述数据请求,所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
21、响应于接收到所述负载均衡服务器返回的服务器繁忙提示,重新发送所述数据请求,其中,所述推理服务器响应于当前空闲处理资源不足,且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值,拒绝接收所述数据请求并发出所述服务器繁忙提示。
22、在一些实施例中,所述重新发送所述数据请求包括:
23、通过加权轮询或者确定最小连接数的方式,确定本轮下发数据请求的目标负载均衡服务器。
24、向各所述目标负载均衡服务器分发所述数据请求。
25、在一些实施例中,所述数据请求还包括已拒绝所述数据请求的推理服务器所对应的筛选标识。
26、所述通过加权轮询或者确定最小连接数的方式,确定本轮下发数据请求的目标负载均衡服务器包括:
27、根据所述筛选标识,对各所述推理服务器进行筛选。
28、通过加权轮询或者确定最小连接数的方式,在筛选后的各所述推理服务器所对应的负载均衡服务器中,确定本轮下发数据请求的目标负载均衡服务器。
29、第四方面,提供了一种数据请求处理系统,所述系统包括请求调度服务器、至少一个负载均衡服务器和至少一个推理服务器。
30、其中,所述请求调度服务器、各所述负载均衡服务器和各所述推理服务器通过网络进行数据传输。
31、所述推理服务器被配置为执行如上述第一方面所述的数据请求处理方法。
32、所述负载均衡服务器被配置为执行如上述第二方面所述的数据请求处理方法。
33、所述请求调度服务器被配置为执行如上述第三方面所述的数据请求处理方法。
34、第五方面,提供了一种数据请求处理装置,所述装置应用于推理服务器,所述装置包括:
35、第一接收模块,被配置为执行接收负载均衡服务器下发的数据请求,所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
36、请求拒绝模块,被配置为执行响应于当前空闲处理资源不足,且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值,拒绝接收所述数据请求,并向所述负载均衡服务器发送服务器繁忙提示,以使得请求调度服务器重新发送所述数据请求。
37、在一些实施例中,所述装置还包括:
38、请求接收模块,被配置为执行响应于当前空闲处理资源不足,且所述请求调度服务器重新发送所述数据请求的次数达到预定次数阈值,接收所述数据请求,并将所述数据请求存储至预先设置的处理队列中。
39、第六方面,提供了一种数据请求处理装置,所述装置应用于负载均衡服务器,所述装置包括:
40、第二接收模块,被配置为执行接收请求调度服务器下发的数据请求,所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
41、第一分发模块,被配置为执行向所述负载均衡服务器下的各推理服务器分发所述数据请求。
42、服务器繁忙提示发送模块,被配置为执行响应于接收到所述推理服务器返回的服务器繁忙提示,向所述请求调度服务器发送所述服务器繁忙提示,以使得所述请求调度服务器重新发送所述数据请求,其中,所述推理服务器响应于当前空闲处理资源不足,且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值,拒绝接收所述数据请求并发出所述服务器繁忙提示。
43、在一些实施例中,所述装置还包括:
44、第三接收模块,被配置为执行接收请求调度服务器重新下发的数据请求。
45、目标推理服务器确定模块,被配置为执行通过加权轮询或者确定最小连接数的方式,确定本轮下发数据请求的目标推理服务器。
46、第二分发模块,被配置为执行向各所述目标推理服务器分发所述数据请求。
47、在一些实施例中,所述数据请求还包括已拒绝所述数据请求的推理服务器所对应的筛选标识。
48、所述目标推理服务器确定模块具体被配置为执行:
49、根据所述筛选标识,对各所述推理服务器进行筛选。
50、通过加权轮询或者确定最小连接数的方式,在筛选后的各所述推理服务器中确定本轮下发数据请求的目标推理服务器。
51、第七方面,提供了一种数据请求处理装置,所述装置应用于请求调度服务器,所述装置包括:
52、数据请求下发模块,被配置为执行向负载均衡服务器下发外部发送的数据请求,以使得所述负载均衡服务器向所述负载均衡服务器下的各推理服务器分发所述数据请求,所述数据请求至少包括请求调度服务器重新发送所述数据请求的次数。
53、数据请求重发模块,被配置为执行响应于接收到所述负载均衡服务器返回的服务器繁忙提示,重新发送所述数据请求,其中,所述推理服务器响应于当前空闲处理资源不足,且请求调度服务器重新发送所述数据请求的次数未达到预定次数阈值,拒绝接收所述数据请求并发出所述服务器繁忙提示。
54、在一些实施例中,所述数据请求重发模块具体被配置为执行:
55、通过加权轮询或者确定最小连接数的方式,确定本轮下发数据请求的目标负载均衡服务器。
56、向各所述目标负载均衡服务器分发所述数据请求。
57、在一些实施例中,所述数据请求还包括已拒绝所述数据请求的推理服务器所对应的筛选标识。
58、所述数据请求重发模块具体被配置为执行:
59、根据所述筛选标识,对各所述推理服务器进行筛选。
60、通过加权轮询或者确定最小连接数的方式,在筛选后的各所述推理服务器所对应的负载均衡服务器中,确定本轮下发数据请求的目标负载均衡服务器。
61、第八方面,本技术实施例提供了一种计算机可读存储介质,其上存储计算机程序指令,所述计算机程序指令在被处理器执行时实现如第一方面至第三方面中任一项所述的方法。
62、本技术实施例在调度数据请求的过程中,可以通过请求调度服务器和至少一个负载均衡服务器向推理服务器分配数据请求。进一步的,推理服务器可以在当前空闲处理资源不足时拒绝接收数据请求,以使得请求调度服务器将数据请求重新分配至其它推理服务器,从而有效利用各个推理服务器的处理资源,避免单个推理服务器接收过多的数据请求而导致的处理资源浪费以及响应过慢的问题,提高服务器处理资源的利用率。