基于链式复制协议的多可用区实现方法与装置与流程

本发明涉及计算机，基于链式复制协议实现数据一致性的分布式数据库对于多可用区功能的实现，具体而言，涉及一种基于链式复制协议的多可用区实现方法、装置、设备和计算机可读存储介质。

背景技术：

1、本发明对于背景技术的描述属于与本发明相关的相关技术，仅仅是用于说明和便于理解本发明的
技术实现要素：
，不应理解为申请人明确认为或推定申请人认为是本发明在首次提出申请的申请日的现有技术。

2、随着数据量和用户访问需求的不断增长以及云计算的广泛应用，分布式数据库系统在现代应用程序中扮演着重要的角色。分布式数据库系统通过分布式一致性协议将数据存储在多个节点上，实现数据的水平扩展和负载均衡，从而提高系统的性能和可伸缩性。链式复制协议就是这样一种分布式一致性协议。同时，为了提供更高的可用性和容错性，多可用区功能也是一种被广泛应用的技术，以提供在硬件或基础设施级别的故障隔离和容错功能。但是，对于基于链式复制协议实现数据一致性的分布式数据库，如何实现多可用区功能还是一种亟待解决的问题。如何将链式复制协议和多可用区功能结合起来，并利用链式复制协议的特点降低数据在多可用区之间的传输流量成为了要解决的问题之一。

3、为了解决上述技术问题，本发明提出了一种基于链式复制协议的多可用区实现方法、装置、设备和计算机可读存储介质。本发明将链式复制协议和多可用区功能结合起来，实现了基于链式复制协议的多可用区功能；充分考虑两种技术的相关特点，尤其是解决跨可用区的数据流量交互，避免数据频繁的在多个可用区之间流动，从而导致高延迟、低吞吐等性能问题。

技术实现思路

1、本发明提供了一种基于链式复制协议的多可用区实现方法、装置、设备和计算机可读存储介质。本发明将链式复制协议和多可用区功能结合起来，实现了基于链式复制协议的多可用区功能；充分考虑两种技术的相关特点，尤其是解决跨可用区的数据流量交互，避免数据频繁的在多个可用区之间流动，从而导致高延迟、低吞吐等性能问题。

2、本发明第一方面的实施例提供了一种基于链式复制协议的多可用区实现方法，包括如下步骤：将存储集群下的节点打上可用区的标签，标签用于区分不同可用区下的机器；机器启动时，向元数据管理的节点注册自身的信息；用户依据自身需求，进行副本配置，指定各可用区的副本数量信息；其中，元数据管理服务按照不同可用区将机器划分为多个子链，并将多个可用区的子链依次连接起来，形成最终的链式结构；将配置下发至存储集群。

3、优选地，存储集群下的节点的标签划分为集群az划分，标签根据实际情况进行指定。

4、优选地，机器启动时，向元数据管理的节点注册自身的信息步骤包括如下流程：存储集群向集群信息管理器进行信息汇报；数据调度器由集群信息管理器读取集群信息；数据调度器进行集群信息处理；数据调度器将进行集群信息处理得到的数据分布写入集群信息管理器中。

5、优选地，存储集群向集群信息管理器进行信息汇报包括store-server信息以及集群az划分信息。

6、优选地，数据调度器进行集群信息处理步骤中，读取的集群信息通过检查数据分布工具以及负载均衡工具生成目标分布。

7、优选地，数据调度器进行集群信息处理步骤中，还包括，通过检查数据分布工具以及负载均衡工具所生成的目标分布通过资源调度器处理，并执行写入数据分析操作。

8、优选地，将配置下发至存储集群步骤中，所下发的配置为数据分片信息，数据分片信息包括副本配置、当前分布、目标分布。

9、本发明第二方面的实施例还提供了一种基于链式复制协议的多可用区实现装置，包括：标签模块，标签模块被配置为将存储集群下的节点打上可用区的标签，标签用于区分不同可用区下的机器；注册模块，注册模块被配置为当机器启动时，向元数据管理的节点注册自身的信息；副本配置模块，副本配置模块被配置为用户依据自身需求，进行副本配置，指定各可用区的副本数量信息；其中，元数据管理服务按照不同可用区将机器划分为多个子链，并将多个可用区的子链依次连接起来，形成最终的链式结构；配置下发模块，配置下发模块被配置为将配置下发至存储集群。

10、本发明第三方面的实施例还提供了一种基于链式复制协议的多可用区实现设备，其包括存储器和处理器；其中，存储器用于存储可执行程序代码；处理器用于读取存储器中存储的可执行程序代码以执行基于链式复制协议的多可用区实现方法。

11、本发明第四方面的实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现基于链式复制协议的多可用区实现方法。

12、本发明提供的基于链式复制协议的多可用区实现方法、装置、设备和计算机可读存储介质。本发明将链式复制协议和多可用区功能结合起来，实现了基于链式复制协议的多可用区功能；充分考虑两种技术的相关特点，尤其是解决跨可用区的数据流量交互，避免数据频繁的在多个可用区之间流动，从而导致高延迟、低吞吐等性能问题。

13、本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于链式复制协议的多可用区实现方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于链式复制协议的多可用区实现方法，其特征在于，所述存储集群下的节点的标签划分为集群az划分，所述标签根据实际情况进行指定。

3.根据权利要求1所述的基于链式复制协议的多可用区实现方法，其特征在于，所述机器启动时，向元数据管理的节点注册自身的信息步骤包括如下流程：

4.根据权利要求3所述的基于链式复制协议的多可用区实现方法，其特征在于，所述存储集群向集群信息管理器进行信息汇报包括store-server信息以及集群az划分信息。

5.根据权利要求4所述的基于链式复制协议的多可用区实现方法，其特征在于，所述数据调度器进行集群信息处理步骤中，读取的集群信息通过检查数据分布工具以及负载均衡工具生成目标分布。

6.根据权利要求5所述的基于链式复制协议的多可用区实现方法，其特征在于，所述数据调度器进行集群信息处理步骤中，还包括，通过检查数据分布工具以及负载均衡工具所生成的目标分布通过资源调度器处理，并执行写入数据分析操作。

7.根据权利要求1-6中任意一项所述的基于链式复制协议的多可用区实现方法，其特征在于，所述将配置下发至所述存储集群步骤中，所下发的配置为数据分片信息，所述数据分片信息包括副本配置、当前分布、目标分布。

8.一种基于链式复制协议的多可用区实现装置，其特征在于，包括：

9.一种基于链式复制协议的多可用区实现设备，其包括存储器和处理器；其中，所述存储器用于存储可执行程序代码；所述处理器用于读取所述存储器中存储的可执行程序代码以执行根据权利要求1-7任意一项所述的基于链式复制协议的多可用区实现方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的基于链式复制协议的多可用区实现方法。

技术总结
本发明提供了基于链式复制协议的多可用区实现方法与装置，方法包括如下步骤：将存储集群下的节点打上可用区的标签，标签用于区分不同可用区下的机器；机器启动时，向元数据管理的节点注册自身的信息；用户依据自身需求，进行副本配置，指定各可用区的副本数量信息；元数据管理服务按照不同可用区将机器划分为多个子链，并将多个可用区的子链依次连接起来，形成最终的链式结构；将配置下发至所述存储集群。本发明提供的基于链式复制协议的多可用区实现方法、装置、设备和计算机可读存储介质，将链式复制协议和多可用区功能结合起来，实现了基于链式复制协议的多可用区功能，避免数据频繁的在多个可用区之间流动导致的高延迟、低吞吐等性能问题。

技术研发人员：杨娟,刘艺华,刘旭阳,沈游人,杨珂
受保护的技术使用者：北京海致星图科技有限公司
技术研发日：
技术公布日：2024/3/31