实现存储网关高可用分布式QOS的方法与流程

本发明涉及计算机网络与分布式存储技术，特别是涉及实现存储网关高可用分布式qos的方法。

背景技术：

1、存储网关

2、存储网关一般指基于存储底层并实现存储协议的存储协议网关，如s3对象网关、nfs存储网关、cifs存储网关等，在一个存储集群中可通常支持多个存储网关节点以保证负载的均衡性。

3、高可用集群

4、高可用集群是指以减少服务中断时间为目的服务器集群技术，高可用集群通常由多个节点组成，即使在少数节点掉线或数据损坏的情况下，仍可提供服务。为了实现高可用存储集群，常见的算法有paxos、raft等。

5、paxos算法是在多个节点间达成数据一致的一种算法，通常由提议者(proposer)，决策者(acceptor)，和最终决策学习者(learner)组成，并通过3阶段的动作来达成数据的一致性。

6、高可用集群cephmon就是基于paxos算法简化而实现的，高可用集群cephmon可在少数节点掉线或数据损坏的情况下，仍继续提供业务服务。

7、qos

8、qos（qualityofservice）是指服务质量，在同个存储集群中，存储的资源(如带宽，每秒传输的请求个数tps等)都是共享的，当多个用户访问时，如果个别用户的请求压力特别大，可能会耗尽存储系统的资源，导致其他用户的请求不能及时执行，极大的影响了其他用户的体验，引入qos后，可对个别请求压力大的用户做带宽或tps限制，预留出部分系统资源给其他用户使用，提高其他用户的使用体验。

9、当存储集群中存在多个存储网关时，用户请求可从任意的网关发起，故需要qos限制能在多个网关之间协调的执行，这就需要分布式qos的实现。

10、cn202010669317.x公开了一种共享宽带限速方法，用于用户前置设备中，所述用户前置设备为分布式设备中的任意一个，所述分布式设备为共享同一个限速带宽且具有不同网络出口的至少两个用户前置设备，所述方法包括：根据初始带宽速率将令牌添加至所述用户前置设备的令牌桶中；每隔预设时间间隔将统计信息报告上报至中心控制器，所述统计信息报告为反映所述令牌桶中令牌的盈余情况或者缺少情况的报告，所述统计信息报告用于指示所述中心控制器通过中央令牌桶对所述用户前置设备的令牌进行再分配，所述中央令牌桶用于维护限速带宽对应的最大盈余值和存储所述限速带宽对应的全网令牌，所述最大盈余值表示所述中央令牌桶在所述限速带宽的限制下能提供的最大令牌数；所述方法还包括：当令牌盈余量为正数时，根据统计信息报告周期和令牌添加速率将所述令牌桶进行重置，所述令牌盈余量为所述用户前置设备的所述令牌桶中盈余或者缺少的令牌数量，所述令牌添加速率为向所述令牌桶里添加令牌的速度，所述统计信息报告周期为所述中心控制器预先配置的时长；当所述令牌盈余量为负数时，接收所述中心控制器的反馈信息，所述反馈信息用于指示奖励的额外令牌；将所述额外令牌分配给指定限速参与设备，所述指定限速参与设备为与所述用户前置设备相连的多个限速参与设备中的至少一个。其缺点有：（1）控制中心不支持高可用，存在单点问题。（2）初始带宽速率由限速带宽和用户前置设备的数量共同决定，当前置设备掉线后，流控将不再准确。（3）当各个前置设备都需要不断和控制中心通信，通信代价比较大。

11、cn202010949707.2公开了一种分布式存储中实现服务质量的方法，包括：接收读写操作；检测对象存储网关在本地缓存的令牌个数是否满足所述读写操作所需的令牌个数；在所述本地缓存的令牌个数小于所述读写操作所需的令牌个数的情况下，分别从多个对象存储守护进程获取令牌，更新所述本地缓存的令牌个数；在所述本地缓存的令牌个数大于或者等于所述读写操作所需的令牌个数的情况下，执行所述读写操作。其缺点有：（1）当本地缓存的令牌个数不足时，需从多个对象存储守护进程获取令牌，通信成本比较高。（2）当总令牌充足，但本地缓存的令牌不足时才触发实时更新令牌也会导致该场景下的请求延迟会明显增加。（3）当有存储节点掉线后，qos限制将不再准确。

12、需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的主要目的在于克服上述背景技术的缺陷，提供一种实现存储网关高可用分布式qos的方法，使得存储网关系统能实现更良好的qos控制。

2、为实现上述目的，本发明采用以下技术方案：

3、一种实现存储网关高可用分布式qos的方法，包括如下步骤：

4、高可用集群记录令牌控制中心的信息，并定期收集、维护各存储网关的状态；

5、基于各存储网关的状态和令牌控制中心的信息，选出一个存储网关负责运行令牌控制中心，令牌控制中心按配置生成令牌；

6、每个存储网关收到用户的请求后，从其本地令牌桶中获取令牌，若令牌不足则等待；每个存储网关间隔性地检测其本地令牌数量，当本地令牌数量小于设定阈值时向令牌控制中心申请令牌；

7、令牌控制中心根据各存储网关近期的需求为各个存储网关按比例分配令牌。

8、进一步地：

9、各存储网关通过心跳进行相互监控，当任意存储网关发现其他存储网关不在线时，向高可用集群报告状态，高可用集群重新发布网关状态，基于最新网关状态重新选择运行令牌控制中心的存储网关。

10、所述高可用集群重新发布网关状态包括：将所有存储网关的状态信息同步到各存储网关中。

11、所述基于最新网关状态重新选择运行令牌控制中心的存储网关包括：用分布式令牌桶的id和所有存储网关的id做hash计算，得到一系列hash值，比较该系列hash值，获取最大hash值所用的存储网关作为运行令牌控制中心的存储网关。

12、所述方法还包括：当任意存储网关在近期没有申请令牌时，令牌控制中心删除相应存储网关的令牌申请记录。

13、所述方法还包括：当任意存储网关从令牌控制中心申请令牌失败超过一定的次数后，则将按当前时段内能申请到的最大令牌数为相应存储网关的本地令牌桶添加令牌。

14、所述各存储网关近期的需求包括每个存储网关近期申请的令牌总数。

15、任意存储网关向令牌控制中心申请的令牌数数量等于设定阈值减去本地令牌桶的本地令牌数量。

16、当用户的请求发送到存储网关后，先进入请求队列，并且在获取对应数量的令牌后，出队列继续执行该请求。

17、一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器运行时，执行所述的实现存储网关高可用分布式qos的方法。

18、本发明具有如下有益效果：

19、相对于现有的qos方法，本发明提供一种实现存储网关高可用分布式qos的方法，其分布式qos不但能支持高可用，而且能自适应存储节点数的变化，保证qos可持续性和准确性。

20、本发明的主要优点体现在：

21、通过一种分布式的qos限制，保证qos限制能在分布式的多个节点的存储网关上全局生效。

22、通过高可用集群对存储网关的状态维护和节点分配，有效地保证令牌控制中心主令牌桶的高可用。

23、存储网关收到请求后优先从本地令牌中获取令牌，本地令牌桶根据本地令牌数量间隔性地向令牌控制中心申请令牌，能极大减少qos限制对系统负载（包括cpu、网络等负载）和性能带来的影响，并保证qos限制误差。

24、进一步地，通过申请令牌的记录及记录超时的机制，并结合按比例申请，能使得各个本地令牌桶都能公平的获取令牌，并且在节点掉线、节点增加、节点空闲时，也能自动调整申请的令牌数，具有良好的可扩展性和公平性。