一种基于exbase进行数据迁移自动化验证的方法与流程

本发明属于数据库数据迁移自动化验证，尤其涉及一种基于exbase对不同数据库数据迁移到vastbase的数据迁移自动化验证方法。

背景技术：

1、随着国产数据库的快速发展和信创的推动，越来越多的用户开始从原来使用oracle、sqlserver、mysql等不同类型的数据库转向使用国产数据库，随之而来的问题是，需要对迁移到国产数据库的数据、对象等进行验证。

2、在实际验证场景中，一方面，现有的系统迁移到国产数据库后，面对大量的(甚至达到tb级别)数据、对象，通常采用的人工抽检验证的方式根本不能满足相应的数据迁移质量要求；另一方面，现有的不同类型数据库迁移到国产数据库后，当前验证方法的作业效率也不能满足项目的相关要求。

3、因此，如何提供一种当原有数据库数据迁移到国产数据库后，能够针对数据库数据、数据库对象，并能根据不同数据库类型、版本，进行全量、增量数据的全场景高效率验证，已成为本领域亟待解决的关键问题。

技术实现思路

1、为了克服现有数据库数据迁移验证方法存在的上述不足，本发明提供了一种新的通过exbase数据库迁移工具将oracle、sqlserver、mysql、pg等不同类型数据库现有数据、对象迁移到国产数据库vastbase后，对迁移数据正确性、完整性、一致性进行自动化验证的方法。

2、具体地，本发明提供了一种基于exbase进行数据迁移自动化验证的方法，本方法包括：

3、s1.针对不同的用户使用场景，预制满足不同用户使用场景的源数据；

4、s2.通过提前调用不同场景的用例，在exbase开启作业迁移，将不同类型、版本的数据库对象、数据迁移到目标数据库vastbase；

5、s3.源数据库的对象、数据迁移到vastbase数据库后，开启自动化验证；

6、s4.验证迁移后的数据库对象、数据后，针对验证结果，以不同场景对应的用例的形式输出迁移验证报告。

7、进一步地，本发明基于exbase进行数据迁移自动化验证的方法步骤s1中所述的预制满足不同用户使用场景的源数据，包括：

8、s11.预制不同类型数据库和各类数据库各种主流版本的数据；

9、s12.预制不同类型数据库迁移到vastbase时所涉及的各类对象转换的场景，切实保证覆盖到位。

10、进一步地，本发明基于exbase进行数据迁移自动化验证的方法步骤s11中所述的不同类型数据库包括但不限于：oracle、sqlserver、mysql、pg等应用较广泛的数据库。

11、进一步地，本发明基于exbase进行数据迁移自动化验证的方法步骤s12中所述的各类对象转换的场景包括：语法、函数、数据类型、关键字、异常等转换的场景。

12、进一步地，本发明基于exbase进行数据迁移自动化验证的方法步骤s2中包括：

13、s21.通过对不同的覆盖场景进行用例化管理，对于需要执行的用例、需要执行的数据库和版本，按照覆盖要求进行预先配置；

14、s22.在exbase开启作业迁移，将不同类型、版本的数据库对象、数据迁移到目标数据库vastbase。

15、进一步地，本发明基于exbase进行数据迁移自动化验证的方法步骤s21中所述的不同的覆盖场景包括全量数据迁移场景和增量数据迁移场景。

16、进一步地，本发明基于exbase进行数据迁移自动化验证的方法步骤s3中包括：

17、s31.通过调用exbase，对欲迁移数据进行迁移前评估和校验；

18、s32.对串行或并行数据进行迁移验证，针对并行数据，开启多线程的数据迁移验证，对于数据量较大的场景可以显著提高验证效率。

19、进一步地，本发明基于exbase进行数据迁移自动化验证的方法步骤s3中还包括：通过修改配置文件，对数据库对象、数据进行部分迁移验证，以满足个性化的迁移验证工作。

20、进一步地，本发明基于exbase进行数据迁移自动化验证的方法步骤s4中包括：

21、s41.以用例为单位，根据预期得到的结果，对不同通道迁移到vastbase的数据库对象、数据进行比对；

22、s42.针对不同参数，采用模糊匹配或严格比对校验的方式进行结果正确性验证；

23、s43.生成并输出以用例为维度的迁移验证报告。

24、另外，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现上述的基于exbase进行数据迁移自动化验证的方法的步骤。

25、综上，本发明基于exbase进行数据迁移自动化验证的方法通过exbase数据库迁移工具将oracle、sqlserver、mysql、pg等不同类型数据库现有数据、对象迁移到国产数据库vastbase后，能够针对数据库数据、数据库对象，并根据不同数据库类型、版本，进行全量、增量数据的全场景高效率验证，从而实现对迁移数据正确性、完整性、一致性的自动化验证。

技术特征：

1.一种基于exbase进行数据迁移自动化验证的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于exbase进行数据迁移自动化验证的方法，其特征在于，步骤s1中所述的预制满足不同用户使用场景的源数据，包括：

3.根据权利要求2所述的基于exbase进行数据迁移自动化验证的方法，其特征在于，步骤s11中所述的不同类型数据库包括：oracle、sqlserver、mysql、pg数据库。

4.根据权利要求2所述的基于exbase进行数据迁移自动化验证的方法，其特征在于，步骤s12中所述的各类对象转换的场景包括：语法、函数、数据类型、关键字、异常转换的场景。

5.根据权利要求1所述的基于exbase进行数据迁移自动化验证的方法，其特征在于，步骤s2中包括：

6.根据权利要求5所述的基于exbase进行数据迁移自动化验证的方法，其特征在于，步骤s21中所述的不同的覆盖场景包括全量数据迁移场景和增量数据迁移场景。

7.根据权利要求1所述的基于exbase进行数据迁移自动化验证的方法，其特征在于，步骤s3中包括：

8.根据权利要求7所述的基于exbase进行数据迁移自动化验证的方法，其特征在于，步骤s3中还包括：通过修改配置文件，对数据库对象、数据进行部分迁移验证。

9.根据权利要求1所述的基于exbase进行数据迁移自动化验证的方法，其特征在于，步骤s4中包括：

10.一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-9任一项所述的基于exbase进行数据迁移自动化验证的方法的步骤。

技术总结
本发明涉及一种基于exbase进行数据迁移自动化验证的方法。本方法包括：针对不同的用户使用场景，预制满足不同用户使用场景的源数据；通过提前调用不同场景的用例，在exbase开启作业迁移，将不同类型、版本的数据库对象、数据迁移到目标数据库vastbase，然后开启自动化验证；验证迁移后的数据库对象、数据后，以用例的形式输出验证报告。本方法通过exbase工具将Oracle、Sqlserver、MySQL、PG等数据库的数据、对象迁移到vastbase后，能够针对数据库数据、对象，并根据数据库类型、版本，进行全量、增量数据的全场景高效率验证，实现对迁移数据正确性、完整性、一致性的自动化验证。

技术研发人员：何海鹏,孟祥飞
受保护的技术使用者：广州海量数据库技术有限公司
技术研发日：
技术公布日：2024/3/17