数据库备份多活控制方法及装置与流程

本申请涉及数据处理领域，也可用于金融领域，具体涉及一种数据库备份多活控制方法及装置。

背景技术：

1、对于满足要求的hadoop数据库亟需实现异地复制的能力，现有技术中主要采用的集中备份软件为nbu备份软件，前期通过备份软件对hadoop实时备份，保留在本地环境。

2、发明人发现，因为备份hadoop数据库数据量巨大，通过特殊方法进行的数据块的切分备份。当前需要根据实现将hadoop全量数据复制至异地的功能。计划采用nbu的duplicate功能通过网络环境进行传输，但是传统的duplicate数据复制方法无法保障整体传输完整性。在传输中断后导致需要数据重新传输，且无法并行传输，有效利用网络带宽。

技术实现思路

1、针对现有技术中的问题，本申请提供一种数据库备份多活控制方法及装置，能够通过自动化程序实现备份调度和数据的并发异地复制保存。

2、为了解决上述问题中的至少一个，本申请提供以下技术方案：

3、第一方面，本申请提供一种数据库备份多活控制方法，包括：

4、根据待异地保存的大数据集群的文件目录，确定对应的初步待复制目录清单；

5、根据所述初步待复制目录清单以目录为级别循环逐一进行检查，形成对应的待复制备份镜像表；

6、根据所述初步待复制目录清单和所述复制备份镜像表生成对应的传输磁带队列并进行传输任务调度。

7、进一步地，所述根据待异地保存的大数据集群的文件目录，确定对应的初步待复制目录清单，包括：

8、根据待异地保存的大数据集群的文件目录，确定对应的快照列表清单；

9、根据所述快照列表清单，确定对应的初步待复制目录清单。

10、进一步地，所述根据待异地保存的大数据集群的文件目录，确定对应的快照列表清单，包括：

11、根据待异地保存的大数据集群的文件目录接口获取对应的第一级文件目录清单；

12、将所述第一级文件目录清单和所述快照列表清单进行清单对比操作。

13、进一步地，所述根据所述初步待复制目录清单以目录为级别循环逐一进行检查，形成对应的待复制备份镜像表，包括：

14、根据所述初步待复制目录清单确定对应的备份策略；

15、根据所述备份策略通过镜像复制编号查询所有拷贝和拷贝所在磁盘，确定拷贝位置和对应的待复制备份镜像表。

16、进一步地，所述根据所述初步待复制目录清单和所述复制备份镜像表生成对应的传输磁带队列并进行传输任务调度，包括：

17、根据所述初步待复制目录清单生成对应的传输并发表；

18、对所述传输并发表和所述复制备份镜像表进行巡检，并在训练结束后生成对应的传输磁带队列并进行传输任务调度。

19、进一步地，所述对所述传输并发表进行巡检，包括：

20、获取所述传输并发表中所有任务编号，并通过预设备份软件任务接口对所述任务编号进行查询；

21、若查询通过，则判定巡检完成。

22、第二方面，本申请提供一种数据库备份多活控制装置，包括：

23、目录清单确定模块，用于根据待异地保存的大数据集群的文件目录，确定对应的初步待复制目录清单；

24、镜像表确定模块，用于根据所述初步待复制目录清单以目录为级别循环逐一进行检查，形成对应的待复制备份镜像表；

25、任务调度模块，用于根据所述初步待复制目录清单和所述复制备份镜像表生成对应的传输磁带队列并进行传输任务调度。

26、进一步地，所述目录清单确定模块包括：

27、快照清单确定单元，用于根据待异地保存的大数据集群的文件目录，确定对应的快照列表清单；

28、目录清单确定单元，用于根据所述快照列表清单，确定对应的初步待复制目录清单。

29、进一步地，所述快照清单确定单元包括：

30、一级目录确定子单元，用于根据待异地保存的大数据集群的文件目录接口获取对应的第一级文件目录清单；

31、清单比对子单元，用于将所述第一级文件目录清单和所述快照列表清单进行清单对比操作。

32、进一步地，所述镜像表确定模块包括：

33、备份策略确定单元，用于根据所述初步待复制目录清单确定对应的备份策略；

34、镜像表确定单元，用于根据所述备份策略通过镜像复制编号查询所有拷贝和拷贝所在磁盘，确定拷贝位置和对应的待复制备份镜像表。

35、进一步地，所述任务调度模块包括：

36、并发表确定单元，用于根据所述初步待复制目录清单生成对应的传输并发表；

37、任务调度单元，用于对所述传输并发表和所述复制备份镜像表进行巡检，并在训练结束后生成对应的传输磁带队列并进行传输任务调度。

38、进一步地，所述任务调度单元包括：

39、任务查询子单元，用于获取所述传输并发表中所有任务编号，并通过预设备份软件任务接口对所述任务编号进行查询；

40、巡检完成子单元，用于若查询通过，则判定巡检完成。

41、第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的数据库备份多活控制方法的步骤。

42、第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据库备份多活控制方法的步骤。

43、第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的数据库备份多活控制方法的步骤。

44、由上述技术方案可知，本申请提供一种数据库备份多活控制方法及装置，通过根据待异地保存的大数据集群的文件目录，确定对应的初步待复制目录清单；根据所述初步待复制目录清单以目录为级别循环逐一进行检查，形成对应的待复制备份镜像表；根据所述初步待复制目录清单和所述复制备份镜像表生成对应的传输磁带队列并进行传输任务调度，能够通过自动化程序实现备份调度和数据的并发异地复制保存。

技术特征：

1.一种数据库备份多活控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的数据库备份多活控制方法，其特征在于，所述根据待异地保存的大数据集群的文件目录，确定对应的初步待复制目录清单，包括：

3.根据权利要求2所述的数据库备份多活控制方法，其特征在于，所述根据待异地保存的大数据集群的文件目录，确定对应的快照列表清单，包括：

4.根据权利要求1所述的数据库备份多活控制方法，其特征在于，所述根据所述初步待复制目录清单以目录为级别循环逐一进行检查，形成对应的待复制备份镜像表，包括：

5.根据权利要求1所述的数据库备份多活控制方法，其特征在于，所述根据所述初步待复制目录清单和所述复制备份镜像表生成对应的传输磁带队列并进行传输任务调度，包括：

6.根据权利要求5所述的数据库备份多活控制方法，其特征在于，所述对所述传输并发表进行巡检，包括：

7.一种数据库备份多活控制装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的数据库备份多活控制方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的数据库备份多活控制方法的步骤。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6任一项所述的数据库备份多活控制方法的步骤。

技术总结
本申请实施例提供一种数据库备份多活控制方法及装置，涉及数据处理领域，也可用于金融领域，方法包括：根据待异地保存的大数据集群的文件目录，确定对应的初步待复制目录清单；根据所述初步待复制目录清单以目录为级别循环逐一进行检查，形成对应的待复制备份镜像表；根据所述初步待复制目录清单和所述复制备份镜像表生成对应的传输磁带队列并进行传输任务调度；本申请能够通过自动化程序实现备份调度和数据的并发异地复制保存。

技术研发人员：任岗,吴晓晔,潘磊,郁志清
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/16