本技术涉及大数据,尤其涉及一种异地集群容灾方法、装置、电子设备和存储介质。
背景技术:
1、大数据集群是大数据技术生态中的一个重要组成部分。以hadoop集群为例,它提供了一套成熟的解决方案来处理和分析大规模数据集,其由多个服务器节点组成的,它们通过网络连接在一起,协同工作以存储和处理大量数据,提供高效的数据处理能力。
2、其中,hadoop分布式文件系统(hadoop distributed file system,hdfs)是hadoop中的重要组件,它能够在多个物理服务器上分布存储数据,通过数据的冗余存储实现高可用性。具体的,它将数据划分为多个块,并在集群中的多个节点上进行复制存储。当某个节点发生故障时,hdfs会自动将数据从备份节点恢复,确保数据的可靠性和可用性。
3、但是,hdfs的提供的高可用性主要采用数据写到多个副本的方式来实现,这种方式无法适用于地域性灾难发生的情况。例如,在跨地域的情况下,由于数据的复制需要通过网络进行跨地域传输,可能导致较高的网络延迟和带宽消耗,特别是在数据量较大或网络质量较差的情况下,可能会影响数据的传输速度和整体性能,造成整体性能下降。
4、因此,如何解决大数据集群的地域性高可用问题,减少因地域性灾难导致大数据集群不可用问题的发生,是亟待解决的。
技术实现思路
1、本技术实施例提供一种异地集群容灾方法、装置、电子设备和存储介质,用以减少因地域性灾难导致大数据集群不可用问题的发生。
2、本技术实施例提供的一种异地集群容灾方法,包括:
3、响应于针对目标业务方的集群容灾创建任务,确定为所述目标业务方设置的生产集群和灾备集群;其中,所述生产集群对应的容灾管理服务设备与所述生产集群归属于不同的物理区域;
4、响应于针对所述生产集群和所述灾备集群设置的数据同步任务,确定设置的任务触发时机,并在每次满足所述任务触发时机时,通过所述生产集群对应的容灾管理服务设备运行所述数据同步任务,对所述生产集群和所述灾备集群进行数据同步;
5、在所述生产集群所处的物理区域发生灾难后,响应于针对所述目标业务方的容灾切换指令,通过对所述目标业务方连接的集群进行域名切换,将所述目标业务方连接的集群由所述生产集群切换为所述灾备集群。
6、本技术实施例提供的一种异地集群容灾装置,包括:
7、容灾创建单元,用于响应于针对目标业务方的集群容灾创建任务,确定为所述目标业务方设置的生产集群和灾备集群;其中,所述生产集群对应的容灾管理服务设备与所述生产集群归属于不同的物理区域;
8、数据同步单元,用于响应于针对所述生产集群和所述灾备集群设置的数据同步任务,确定设置的任务触发时机,并在每次满足所述任务触发时机时,通过所述生产集群对应的容灾管理服务设备运行所述数据同步任务,对所述生产集群和所述灾备集群进行数据同步;
9、灾备切换单元,用于在所述生产集群所处的物理区域发生灾难后,响应于针对所述目标业务方的容灾切换指令,通过对所述目标业务方连接的集群进行域名切换,将所述目标业务方连接的集群由所述生产集群切换为所述灾备集群。
10、可选的,若所述目标业务方关联的集群有两个,则对于所述两个集群中的每个集群,所述集群作为生产集群时,另一集群为所述集群的灾备集群;
11、若所述目标业务方关联的集群有多个,则对于所述多个集群中的每个集群,所述集群作为生产集群时,除所述集群外的一个集群为所述集群的灾备集群,且不同生产集群所对应的灾备集群不同。
12、可选的,所述容灾创建单元还用于:
13、若所述生产集群和所述灾备集群处于不同的物理区域,则将所述生产集群对应的容灾管理服务设备部署于:所述灾备集群所处的物理区域;或者,将所述生产集群对应的容灾管理服务设备部署于:除所述生产集群所处的物理区域和所述灾备集群所处的物理区域之外的其他物理区域;
14、若所述生产集群和所述灾备集群处于同一物理区域的不同分区,则将所述生产集群对应的容灾管理服务设备部署于:除所述生产集群所处的物理区域和所述灾备集群所处的物理区域之外的其他物理区域。
15、可选的,若所述目标业务方关联的集群有两个,且所述生产集群和所述灾备集群处于不同的物理区域,则将所述生产集群对应的容灾管理服务设备部署于所述灾备集群所处的物理区域,且将所述灾备集群对应的容灾管理服务设备部署于所述生产集群所处的物理区域。
16、可选的,所述目标业务方连接的集群通过相关域名管理服务设备进行域名映射设置得到;则所述灾备切换单元具体用于:
17、检测所述生产集群对应的容灾管理服务设备中数据同步任务的完成情况;
18、基于所述完成情况确定数据同步完成后,通过所述域名管理服务设备将所述目标业务方连接的集群的域名,由所述生产集群的域名切换为所述灾备集群的域名,以将所述目标业务方连接的集群由所述生产集群切换为所述灾备集群。
19、可选的,在所述检测所述生产集群对应的容灾管理服务设备中数据同步任务的完成情况之前,所述灾备切换单元还用于:
20、确定所述灾备集群的运行状态正常。
21、可选的,所述数据同步单元具体用于:
22、响应于针对所述生产集群和所述灾备集群触发的数据同步任务,呈现对象选择界面;
23、响应于在所述对象选择界面的同步对象设置操作,确定需要进行同步的目标数据;
24、响应于下一步的触发操作,呈现同步策略设置界面;
25、响应于在所述同步策略设置界面的同步策略设置操作,确定针对所述目标数据的同步策略;所述同步策略中包含所述任务触发时机。
26、可选的,所述数据同步单元具体用于:
27、在每次满足所述任务触发时机时,通过所述生产集群对应的容灾管理服务设备运行所述数据同步任务,基于所述同步策略,将所述生产集群的目标数据同步至所述灾备集群。
28、可选的,在所述在每次满足所述任务触发时机时,通过所述生产集群对应的容灾管理服务设备运行所述数据同步任务,对所述生产集群和所述灾备集群进行数据同步之后,所述数据同步单元还用于:
29、响应于下一步的触发操作,呈现校验策略设置界面;
30、响应于在所述同步策略设置界面的校验策略设置操作,确定针对所述目标数据的校验策略;
31、所述数据同步单元还用于:
32、在数据同步完成后,基于所述校验策略对同步至所述灾备集群的数据,与所述生产集群的目标数据进行一致性校验。
33、本技术实施例提供的一种电子设备,包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行上述任意一种异地集群容灾方法的步骤。
34、本技术实施例提供一种计算机可读存储介质,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行上述任意一种异地集群容灾方法的步骤。
35、本技术实施例提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中;当电子设备的处理器从计算机可读存储介质读取所述计算机程序时,所述处理器执行所述计算机程序,使得所述电子设备执行上述任意一种异地集群容灾方法的步骤。
36、本技术有益效果如下:
37、本技术实施例提供了一种异地集群容灾方法、装置、电子设备和存储介质。由于本技术实施例将生产集群对应的容灾管理服务设备,与生产集群进行异地部署,这样可保证当生产集群所在物理区域发生灾难时,使得部署在异地的容灾管理服务设备仍然可以使用。
38、进而,在创建集群容灾任务后,针对生产集群和灾备集群创建数据同步任务,根据设置的任务触发时机,可以通过容灾管理服务设备,将生产集群的数据不断的同步至灾备集群。这样,当生产集群遭受地震、火灾等地域灾难或其他灾难时,可以直接通过域名切换,将目标业务方连接的生产集群切换至灾备集群,避免了因为灾难导致目标业务方无法正常使用生产集群中数据的问题,解决了大数据集群的地域性高可用问题。
39、综上,本技术实施例通过异地部署容灾管理服务设备,当生产集群遭受灾难时,可以直接将目标业务方连接的生产集群切换至灾备集群,减少了因地域性灾难导致大数据集群不可用问题的发生,提高了大数据集群的高可用性。
40、本技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。