一种数据迁移方法、装置、系统及介质与流程

本发明涉及数据库，尤其涉及一种数据迁移方法、装置、系统及介质。

背景技术：

1、随着分布式数据库的不断发展，很多生产数据库类型从集中式数据库向分布式数据库转移。由于数据迁移一般是在生产环境上不停业务的情况下直接进行的，因此同步过程中不可避免会遇到如网络问题等导致的异常场景。

2、目前在数据迁移过程中，比如增量数据同步过程中若遇到同步异常的情况，还无法满足大数量异常的修复功能，只能通过重建任务等方式规避，而通过全量任务的补救手段耗费时间成本过大，降低了数据迁移效率。

技术实现思路

1、鉴于上述现有技术的不足，本发明的目的在于提供可应用于金融科技或其它相关领域的一种数据迁移方法、装置、系统及介质，旨在对数据迁移过程中的异常进行断点续迁，同时确保数据迁移的准确性与效率。

2、本发明的技术方案如下：

3、一种数据迁移方法，包括：

4、从源端数据库采集待迁移的目标数据，并将所述目标数据迁移至目标端数据库；

5、按预设分段迁移策略，在每完成一段所述目标数据的迁移时，分别从所述源端数据库和所述目标端数据库拉取第一比对数据和第二比对数据进行比对；

6、若比对一致，则保存记录当前时刻的迁移标识，若比对不一致，则获取指定历史时刻的目标迁移标识；

7、根据所述目标迁移标识对所述目标端数据库进行回滚操作，将所述目标端数据库回滚至所述指定历史时刻的状态。

8、在一个实施例中，所述按预设分段迁移策略，在每完成一段所述目标数据的迁移时，分别从所述源端数据库和所述目标端数据库拉取第一比对数据和第二比对数据进行比对之前，所述方法还包括：

9、接收分段配置信息，根据所述分段配置信息生成所述预设分段迁移策略。

10、在一个实施例中，所述分段配置信息为时间分段信息或数据分段信息。

11、在一个实施例中，所述在每完成一段所述目标数据的迁移时，分别从所述源端数据库和所述目标端数据库拉取第一比对数据和第二比对数据进行比对，包括：

12、在每完成一段所述目标数据的迁移时，从所述源端数据库拉取全部已迁移的数据或当前段已迁移的数据作为所述第一比对数据；

13、从所述目标端数据库拉取全部已迁入的数据或者当前段新增的迁入数据作为所述第二比对数据；

14、对所述第一比对数据和所述第二比对数据进行比对。

15、在一个实施例中，所述获取指定历史时刻的目标迁移标识，包括：

16、根据接收到的时刻选择指令确定所述指定历史时刻；

17、根据所述指定历史时刻在全部已保存的迁移标识中获取对应的目标迁移标识。

18、在一个实施例中，所述当所述根据所述目标迁移标识对所述目标端数据库进行回滚操作，将所述目标端数据库回滚至所述指定历史时刻的状态，包括：

19、从所述目标迁移标识开始，按顺序获取所述目标端数据库的目标日志文件；

20、根据所述目标日志文件中的操作语句生成反向操作语句；

21、对所述目标端数据库按逆序执行所述反向操作语句，以使所述目标端数据库回滚至所述指定历史时刻的状态。

22、在一个实施例中，所述迁移标识为全局事务id。

23、一种数据迁移装置，包括：

24、迁移模块，用于从源端数据库采集待迁移的目标数据，并将所述目标数据迁移至目标端数据库；

25、比对模块，用于按预设分段迁移策略，在每完成一段所述目标数据的迁移时，分别从所述源端数据库和所述目标端数据库拉取第一比对数据和第二比对数据进行比对；

26、标识处理模块，用于若比对一致，则保存记录当前时刻的迁移标识，若比对不一致，则获取指定历史时刻的目标迁移标识；

27、回滚模块，用于根据所述目标迁移标识对所述目标端数据库进行回滚操作，将所述目标端数据库回滚至所述指定历史时刻的状态。

28、一种数据迁移系统，所述系统包括至少一个处理器；以及，

29、与所述至少一个处理器通信连接的存储器；其中，

30、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述数据迁移方法。

31、一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的数据迁移方法。

32、有益效果：本发明公开了一种数据迁移方法、装置、系统及介质，相比于现有技术，本发明实施例通过分段的数据比对与标识记录，不仅确保了当前已完成迁移数据的正确性，还在迁移异常时可快速回滚到指定历史时刻的状态，实现数据迁移的断点续迁，确保了数据迁移的准确性与效率。

技术特征：

1.一种数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的数据迁移方法，其特征在于，所述按预设分段迁移策略，在每完成一段所述目标数据的迁移时，分别从所述源端数据库和所述目标端数据库拉取第一比对数据和第二比对数据进行比对之前，所述方法还包括：

3.根据权利要求2所述的数据迁移方法，其特征在于，所述分段配置信息为时间分段信息或数据分段信息。

4.根据权利要求1所述的数据迁移方法，其特征在于，所述在每完成一段所述目标数据的迁移时，分别从所述源端数据库和所述目标端数据库拉取第一比对数据和第二比对数据进行比对，包括：

5.根据权利要求1所述的数据迁移方法，其特征在于，所述获取指定历史时刻的目标迁移标识，包括：

6.根据权利要求1所述的数据迁移方法，其特征在于，所述当所述根据所述目标迁移标识对所述目标端数据库进行回滚操作，将所述目标端数据库回滚至所述指定历史时刻的状态，包括：

7.根据权利要求1-6任意一项所述的数据迁移方法，其特征在于，所述迁移标识为全局事务id。

8.一种数据迁移装置，其特征在于，包括：

9.一种数据迁移系统，其特征在于，所述系统包括至少一个处理器；以及，

10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述的数据迁移方法。

技术总结
本发明公开了一种数据迁移方法、装置、系统及介质，方法包括：从源端数据库采集待迁移的目标数据，并将目标数据迁移至目标端数据库；按预设分段迁移策略，在每完成一段目标数据的迁移时，分别从源端数据库和目标端数据库拉取第一比对数据和第二比对数据进行比对；若比对一致，则保存记录当前时刻的迁移标识，若比对不一致，则获取指定历史时刻的目标迁移标识；根据目标迁移标识对目标端数据库进行回滚操作，将目标端数据库回滚至指定历史时刻的状态。通过分段的数据比对与标识记录，不仅确保了当前已完成迁移数据的正确性，还在迁移异常时可快速回滚到指定历史时刻的状态，实现数据迁移的断点续迁，确保了数据迁移的准确性与效率。

技术研发人员：奚华东,刘骏,张玲东,沈旭婷,管天云,吕伟初
受保护的技术使用者：金篆信科有限责任公司
技术研发日：
技术公布日：2024/1/15