一种数据库备份恢复轻量级通用检查方法、设备及介质与流程

本发明涉及计算机和数据库管理，尤其涉及一种数据库备份恢复轻量级通用检查方法、设备及介质。

背景技术：

1、现代的金融交易系统多采用内存数据库设计方式，系统架构上大多支持双活或多活，因而对数据库本身的可用性rto要求是降低的。但数据库里存放的业务数据通常是跟业务柜面操作，清算等业务直接相关重要数据，因此对数据库的rpo要求没有降低，数据的完整性在日常维护中必须严格保障。

2、类似停机或不停机数据库备份恢复，恢复方式上大体上分为物理备份恢复，逻辑备份恢复，基于日志和内部sequence或id进行备份恢复，以及基于存储特性的copyonwrite等方式的备份恢复。每种方式根据资源投入，保障恢复级别、时效等要求，都有其适用的场景。

3、对于数据库恢复后对比检查，现行做法有全表做记录数对比，也有通过业务验证，或通过数据库内部的变动序号等方式确认恢复目标时间点。一般很少采用实施成本较高所有表全部字段比对等方式。

4、现有的备份恢复检查方法无法同时对如下方面做到较好兼顾和平衡：

5、1、对于成功、失败的判断，在简单和可靠性方便兼顾不足；

6、2、对于可停机维护的和不可停机维护的备份场景兼顾不足；

7、3、不支持恢复前后指定库，schema，表的不同维度灵活的对比方式；

8、4、数据检查对比细腻度没有到表具体列比对，表创建时间对比，自上次备份以来新增的表检查，已有表修改的记录数量检查等，或者支持部分检查但成本非常高，缺乏灵活性。

9、因此，如何设计出一种轻量级数据备份恢复检查方法，成为本领域技术人员急需解决的技术问题。

技术实现思路

1、本发明的目的在于，提供一种数据库备份恢复轻量级通用检查方法、设备及介质，能够兼顾对可不可停机、低成本、高灵活度等其他场景方面的需求。

2、为达到上述目的，本发明采用下述技术方案实现：

3、第一方面，本发明提供一种数据库备份恢复轻量级通用检查方法，包括以下步骤：

4、定义数据库抽取规则；

5、根据数据库抽取规则，在备库测试前对数据进行第一次抽取，生成第一次抽取数据并保存；

6、对所述第一次抽取数据进行数据备份测试；

7、在所述第一次数据测试后对数据进行第二次抽取，生成第二次抽取数据并保存；

8、对所述第二次抽取数据进行数据恢复；

9、在数据恢复后对数据进行第三次抽取，生成第三次抽取数据并保存；

10、对数据进行实时抽取，生成实时抽取数据；

11、将所述第三次抽取数据与第一次抽取数据做对比，确认数据恢复前后一致，后生成对比检查结果；

12、基于上述对比，将所述实时抽取数据与所述第一次抽取数据做对比，从所述第一次抽取数据里提取统计时刻，实时查询各表自所述统计时刻到现在实时统计时刻记录变动数，后生成对比检查结果并邮件发送给相关方；

13、根据所述监控检查对比结果，制定干预处置方案。

14、结合第一方面，所述定义数据库抽取规则，包括：定义数据库抽查范围、库下schema检查范围以及schema下表检查范围，其具体包括：

15、根据数据库抽查范围，使用数据库字典/视图，抽取db的schema；

16、根据库下schema检查范围，使用数据库字典/视图，抽取schema下的表名称；

17、根据schema下表检查范围，使用数据库字典/视图，抽取表的记录数、表的修改时间和表的创建时间；

18、将抽取的所有记录合并输出成json文件。

19、结合第一方面，将所述第三次抽取数据与第一次抽取数据做对比，若确认数据恢复异常，还需将所述第二次抽取数据与第一次抽取数据做对比，用于辅助判断和反应测试过程。

20、结合第一方面，在定义数据库抽取规则之前，方法还包括：对备份恢复检查信息进行登记管理。

21、结合第一方面，在对备份恢复检查信息进行登记管理之前，方法还包括：统一数据库设计规范；

22、具体包括：

23、标志记录表的创建及修改时间。

24、结合第一方面，根据监控检查对比结果，制定干预处置方案，包括：

25、若通过监控判定检查正常，则表示巡检结束；

26、若通过监控判定检查异常，则进行告警处理并根据出错原因制定干预处置方案，等待处置完成。

27、第二方面，本发明提供一种数据库备份恢复轻量级通用检查设备，包括：

28、存储器，用于存储指令；

29、处理器，用于执行所述指令，使得所述设备执行实现如第一方面所述的方法的步骤。

30、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的方法的步骤。

31、与现有技术相比，本发明所达到的有益效果：

32、1、本发明通过定义数据库抽取规则，根据所述数据库抽取规则分别进行多次数据抽取，后对数据分析对比，并对比结果邮件发送到相关方，再由监控检查对比结果，最后根据监控检查结果，制定干预处置方案，体现出一种轻量级的数据库备份恢复对比检查的闭环流程。能够兼顾对可不可停机、低成本、高灵活度等其他场景方面的需求。

33、2、针对判断逻辑备份、恢复过程中的失败情况做了简化处理。

34、3、兼顾可停机维护的和不可停机维护的备份场景。

35、4、支持恢复前后指定库，schema，表的不同维度灵活的对比方式。

36、5、数据检查对比具体细腻到表的列比对，表的创建时间比对，历史新增的表检查，已有表的修改的记录数量检查等。

37、6、能够高效地识别出数据库恢复前后数据不一致、非预期的脏数据，以便及时发现、确认并处置。

技术特征：

1.一种数据库备份恢复轻量级通用检查方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的数据库备份恢复轻量级通用检查方法，其特征在于，所述定义数据库抽取规则，包括：定义数据库抽查范围、库下schema检查范围以及schema下表检查范围，其具体包括：

3.根据权利要求1所述的数据库备份恢复轻量级通用检查方法，其特征在于，将所述第三次抽取数据与第一次抽取数据做对比，若确认数据恢复异常，,将所述第二次抽取数据与第一次抽取数据做对比，用于辅助判断和反应测试过程。

4.根据权利要求1所述的数据库备份恢复轻量级通用检查方法，其特征在于，在定义数据库抽取规则之前，方法还包括：对备份恢复检查信息进行登记管理。

5.根据权利要求4所述的数据库备份恢复轻量级通用检查方法，其特征在于，在对备份恢复检查信息进行登记管理之前，方法还包括：统一数据库设计规范；

6.根据权利要求1所述的数据库备份恢复轻量级通用检查方法，其特征在于，根据监控检查对比结果，制定干预处置方案，包括：

7.一种数据库备份恢复轻量级通用检查设备，其特征在于，包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-6任一项所述的方法的步骤。

技术总结
本发明公开了一种数据库备份恢复轻量级通用检查方法、设备及介质，属于计算机和数据库管理技术领域。其方法包括：根据定义的数据库抽取规则，在备库测试前对数据进行第一次抽取，对第一次抽取数据进行备份测试；测试后对数据进行第二次抽取，对第二次抽取的数据进行恢复；后对数据进行第三次抽取，最后再对数据进行实时抽取，生成实时抽取数据；将第三次抽取数据与第一次抽取数据做对比，确认数据恢复前后一致；基于上述对比，将实时抽取数据与第一次抽取数据做对比，记录变动数，对比结束后生成对比检查结果并邮件发送给相关方；根据监控检查结果，制定干预处置方案。能够兼顾对可不可停机、低成本、高灵活度等其他场景方面的需求。

技术研发人员：罗刚
受保护的技术使用者：华泰证券股份有限公司
技术研发日：
技术公布日：2024/2/19