一种分布式多租户负载均衡集群连接限速方法及系统与流程

本发明涉及网络技术与安全，尤其涉及一种分布式多租户负载均衡集群连接限速方法及系统。

背景技术：

1、云平台网络负载均衡集群，多租户共享集群系统资源，在同一个集群系统上，建立tcp/udp连接，分发流量。对整个网络负载均衡集群，能够提供的最大tcp/udp连接数，最大新建连接能力是存在上限的。是为了避免多租户之间相互抢占资源，少量用户的突发连接，影响集群中的其他租户，需要对租户的连接数进行限制。本专利实现一种分布式集群连接限速方法，在分布式集群上完成对租户每秒新建连接，最大连接数的限制。

2、由于流量分发到了多台负载均衡机器，需要有一种连接限速方法，对租户在各台负载均衡机器上的连接速率之和进行限制。

3、目前连接限速方式主要有两种。

4、一种方法是将租户的连接规格(最大每秒新建连接数c，最大并发连接数m)均分到集群中的每一台负载均衡机器，分别在单台机器进行限速，例如，集群机器数量为n，则租户在每一台负载均衡机器的最大每秒新建规格为c/n，最大并发规格为m/n。此种方式实现简单，缺点是不能准确的对连接进行限速，由于业务的差异，并不能保证到达负载均衡机器的流量是完全均衡的，按机器平均数进行限速的方法，存在限速过大或过小的情况。

5、一种方法是存在一个控制中心节点，对集群中所有机器的连接速率和连接数之和进行整体控制。对于每秒新建连接数，控制中心通过令牌桶的方式，每秒补充规格数量令牌。负载均衡机器令牌不足时，向控制中心发送令牌请求，控制中心统一调配令牌。负载均衡机器令牌完全消耗时，对新建的连接进行丢弃处理。对应并发连接，代表租户某一时刻在集群中所有机器的连接数和，负载均衡机器和控制中心交互，动态调配每一台负载均衡及其的并发连接数量。由于存在与控制中心交互，进行令牌的动态调整，存在一定的误差。

6、负载均衡集群，具有连接同步功能，连接在集群机器之间相互同步，保证集群中某个负载均衡机器宕机或服务异常之后，业务能够由其他正常机器承载，连接服务不会中断。

7、本专利在连接同步的基础上实现一种新的连接限速方法，在分布式集群上完成对租户每秒新建连接，最大连接数的限制。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、为解决上述技术问题，本发明提供如下技术方案：一种分布式多租户负载均衡集群连接限速方法，主要包括以下步骤：

3、阶段一：建立连接阶段；

4、阶段二：连接同步阶段；

5、阶段三：连接释放阶段。

6、作为本发明所述分布式多租户负载均衡集群连接限速方法的一种优选方案，其中：在所述建立连接阶段，新建连接以时间片为单位，每秒最大新建连接不超过配置的新建连接值，在建立连接阶段，客户端访问路由器，流量到路由器时通过ecmp方式分发到其他台负载均衡设备。

7、作为本发明所述分布式多租户负载均衡集群连接限速方法的一种优选方案，其中：所述连接同步阶段，即在负载均衡1上建立连接之后，通过负载均衡1的连接同步功能将负载均衡新建立的连接实时同步到负载均衡2、负载均衡3以及负载均衡4，同理，负载均衡2、负载均衡3以及负载均衡4收到流量，建立连接之后，将连接同步到集群其他负载均衡机器，各负载均衡机器上的新建连接数相等。

8、作为本发明所述分布式多租户负载均衡集群连接限速方法的一种优选方案，其中：所述连接释放阶段，即负载均衡1上创建的连接存在老化时间，同步到负载均衡2、负载均衡3以及负载均衡4上的连接同样存在老化时间，且老化时间一致，当负载均衡上1的连接释放时，对应租户实例的并发连接数减一，负载均衡2、负载均衡3以及负载均衡4上的连接由于老化时间一致，也会同时释放，对应租户实例的并发连接数减一。

9、本发明还提供了一种分布式多租户负载均衡集群连接限速系统，该系统应用于分布式多租户负载均衡集群连接限速方法中，该系统包括负载均衡系统1～n，n个负载均衡系统组成集群。

10、作为本发明所述分布式多租户负载均衡集群连接限速系统的一种优选方案，其中：所述负载均衡系统1～n主要负责报文的负载均衡处理。

11、作为本发明所述分布式多租户负载均衡集群连接限速系统的一种优选方案，其中：所述负载均衡系统和路由器建立bgp邻居，发布vip的路由，当客户端通过vip访问服务时，路由器通过ecmp方式，按五元组hash的方式，将目的地址为vip的报文均匀的分发到n个负载均衡系统；

12、当连接请求达到一个负载均衡机器时，当前新建连接和并发连接没有超过规格限制时，建立连接，同时将新建立的连接信息实时同步到集群中其他负载均衡机器，在其他机器上建立相同连接，集群中全部负载均衡机器的连接信息保持一致。

13、作为本发明所述分布式多租户负载均衡集群连接限速系统的一种优选方案，其中：所述单台负载均衡机器上的新建速率＝本机的新建速率和其他负载均衡机器的新建连接速率之和。

14、作为本发明所述分布式多租户负载均衡集群连接限速系统的一种优选方案，其中：所述单台负载均衡机器上的新建速率＝租户在整个集群上的新建速率。

15、作为本发明所述分布式多租户负载均衡集群连接限速系统的一种优选方案，其中：单台所述负载均衡机器上的并发连接等于本机建立的连接和其他负载均衡机器的建立连接之和，也等于租户在整个集群上的并发连接。

16、本发明的有益效果：

17、1、本发明采用无中心控制节点，集群中各负载均衡机器相互之间进行连接同步，各个机器上的连接信息一致，各自按照实例的总规格进行限速，限速更准确，且连接限速时不需要和中心节点通信，支持超高新建连接和并发连接的限速。

18、2、本发明相比于将连接规格均分到负载均衡各机器进行限速的方式，在单台机器可以按总规格进行限速的方法更准确。

技术特征：

1.一种分布式多租户负载均衡集群连接限速方法，其特征在于，包括以下步骤：

2.如权利要求1所述的分布式多租户负载均衡集群连接限速方法，其特征在于：在所述建立连接阶段，新建连接以时间片为单位，每秒最大新建连接不超过配置的新建连接值，在建立连接阶段，客户端访问路由器，流量到路由器时通过ecmp方式分发到其他台负载均衡设备。

3.如权利要求1所述的分布式多租户负载均衡集群连接限速方法，其特征在于：所述连接同步阶段，即在负载均衡1上建立连接之后，通过负载均衡1的连接同步功能将负载均衡新建立的连接实时同步到负载均衡2、负载均衡3以及负载均衡4，同理，负载均衡2、负载均衡3以及负载均衡4收到流量，建立连接之后，将连接同步到集群其他负载均衡机器，各负载均衡机器上的新建连接数相等。

4.如权利要求1所述的分布式多租户负载均衡集群连接限速方法，其特征在于：所述连接释放阶段，即负载均衡1上创建的连接存在老化时间，同步到负载均衡2、负载均衡3以及负载均衡4上的连接同样存在老化时间，且老化时间一致，当负载均衡上1的连接释放时，对应租户实例的并发连接数减一，负载均衡2、负载均衡3以及负载均衡4上的连接由于老化时间一致，也会同时释放，对应租户实例的并发连接数减一。

5.一种分布式多租户负载均衡集群连接限速系统，其特征在于，该系统应用于如权利要求1-4任一项所述的分布式多租户负载均衡集群连接限速方法，所述系统包括负载均衡系统1～n，n个负载均衡系统组成集群。

6.如权利要求5所述的分布式多租户负载均衡集群连接限速系统，其特征在于：所述负载均衡系统1～n主要负责报文的负载均衡处理。

7.如权利要求5所述的分布式多租户负载均衡集群连接限速系统，其特征在于：所述负载均衡系统和路由器建立bgp邻居，发布vip的路由，当客户端通过vip访问服务时，路由器通过ecmp方式，按五元组hash的方式，将目的地址为vip的报文均匀的分发到n个负载均衡系统；

8.如权利要求7所述的分布式多租户负载均衡集群连接限速系统，其特征在于：所述单台负载均衡机器上的新建速率＝本机的新建速率和其他负载均衡机器的新建连接速率之和。

9.如权利要求7所述的分布式多租户负载均衡集群连接限速系统，其特征在于：所述单台负载均衡机器上的新建速率＝租户在整个集群上的新建速率。

10.如权利要求7所述的分布式多租户负载均衡集群连接限速系统，其特征在于：单台所述负载均衡机器上的并发连接等于本机建立的连接和其他负载均衡机器的建立连接之和，也等于租户在整个集群上的并发连接。

技术总结
本发明公开了一种分布式多租户负载均衡集群连接限速方法及系统，其中所述方法主要包括以下步骤：阶段一：建立连接阶段；阶段二：连接同步阶段；阶段三：连接释放阶段。本发明采用无中心控制节点，集群中各负载均衡机器相互之间进行连接同步，各个机器上的连接信息一致，各自按照实例的总规格进行限速，限速更准确，且连接限速时不需要和中心节点通信，支持超高新建连接和并发连接的限速，另外相比于将连接规格均分到负载均衡各机器进行限速的方式，在单台机器可以按总规格进行限速的方法更准确。

技术研发人员：梁勇,马龙,马宗山,郭爱杰,肖玮,任正,王宁
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/4/17