数据迁移和验证方法、装置、计算机设备和存储介质与流程

本发明涉及数字医疗领域以及数据库，尤其涉及一种数据迁移和验证方法、装置、电子设备和存储介质。

背景技术：

1、随着智能医疗的进一步发展，结构化和非结构化数据持续增长，若多业务架构发生业务变动，一般需要对数据库进行迁移而保证数据可以有效支撑，而出具迁移的过程中一般都会发生丢包、数据转换不正确、数据结构因系统变更而变更等数据异常问题。

2、为此，传统的方式一般自行开发脚本对跨库和跨表数据中的特定数据进行验证，但也无法保证在海量数据中可以对全数据的测试完整性，难免会发生检测识别失败的问题。且执行验证过程中还需要根据用例生成特定sql，不断更新sql中使用的具体数据，并且需要人工判断迁移后数据是否正确，这消耗了大量的时间，进而导致测试效率低，人工测试也容易出错。

技术实现思路

1、本发明的主要目的在于提供了一种数据迁移和验证方法、装置、计算机设备和存储介质，旨在解决在进行数据库迁移时需要开发人员耗费人力进行系统测试的技术问题。

2、为实现上述目的，本发明提供一种数据迁移和验证方法，该方法包括：

3、在接收到迁移指令的情况下，采集原始数据库以及目标数据库的数据库信息配制生成迁移规则集；所述迁移指令用于表征将所述原始数据库中选定的待迁移数据迁移至所述目标数据库；

4、基于所述迁移规则集的规则对象，对所述待迁移数据进行分块处理，获得n个迁移块，n为大于或等于1的正整数；

5、调用n个迁移线程并行对所述n个迁移块进行数据迁移处理，以将所述n个迁移块从所述原始数据库迁移至所述目标数据库；

6、在接收到验证指令的情况下，并行调用n个验证线程对所述目标数据库存储的迁移文件进行数据验证，获得n个验证结果；所述验证指令用于表征对所述迁移文件进行数据验证；

7、对所述n个验证结果进行结果展示。

8、可选地，所述采集原始数据库以及目标数据库的数据库信息配制生成迁移规则集，包括：

9、采集所述原始数据库以及所述目标数据库对应的数据库信息，其中，所述数据库信息包括数据库类型以及存储数据类型；

10、基于所述数据库类型和所述存储数据类型配制对应的多个迁移规则，生成所述迁移规则集，以利用所述迁移规则集对所述待迁移数据进行数据迁移。

11、可选地，所述基于所述迁移规则集的规则对象，对所述待迁移数据进行分块处理，获得n个迁移块，n为大于或等于1的正整数，包括：

12、在所述规则对象，表征所述迁移规则集的迁移对象不为结构对象类型的情况下，按照所述规则对象对应的数据量进行分块处理，获得n个迁移块；

13、在所述规则对象，表征所述迁移规则集的迁移对象为结构对象类型的情况下，按照所述结构对象类型对应的结构属性参数量，对所述待迁移数据进行分块处理，获得n个迁移块。

14、可选地，所述调用n个迁移线程并行对所述n个迁移块进行数据迁移处理，以将所述n个迁移块从所述原始数据库迁移至所述目标数据库之前，所述方法还包括：

15、基于所述n和每个迁移块对应的分块序号，确定所述每个迁移块对应的查询语句；

16、为所述n个迁移线程分配对应的查询语句，以使得迁移线程通过对应的查询语句对迁移块进行数据迁移处理。

17、可选地，所述在接收到验证指令的情况下，并行调用n个验证线程对所述目标数据库存储的迁移文件进行数据验证，还包括：

18、所述n个迁移块按照划分时间的先后进行排序，得到所述n个迁移线程的n个迁移序号；

19、所述n个验证线程基于所述n个迁移序号调取所述n个迁移线程对应的迁移配制参数集，生成对应的验证参数集；

20、所述n个迁移线程根据调取到的所述验证参数集对所述迁移文件进行数据验证。

21、可选地，所述对所述n个验证结果进行结果展示。包括：

22、在所述n个验证结果表征为验证合格结果时，调取对应的渲染组件根据所述n个验证结构进行基础模板渲染，得到第一验证展示页；

23、在所述n个验证结果有任一表征为验证失败结果时，基于所述验证失败结果对应的验证线程调取对应的验证失败参数和迁移参数，调取对应的渲染组件根据所述验证参数和所述迁移参数进行基础模板渲染，得到第二验证展示页。

24、此外，为实现上述目的，本发明还提供一种数据迁移和验证装置，所述数据迁移和验证装置包括：

25、采集模块，用于在接收到迁移指令的情况下，采集原始数据库以及目标数据库的数据库信息配制生成迁移规则集；所述迁移指令用于表征将所述原始数据库中选定的待迁移数据迁移至所述目标数据库；

26、第一处理模块，用于基于所述迁移规则集的规则对象，对所述待迁移数据进行分块处理，获得n个迁移块，n为大于或等于1的正整数；

27、第二处理模块，用于调用n个迁移线程并行对所述n个迁移块进行数据迁移处理，以将所述n个迁移块从所述原始数据库迁移至所述目标数据库；

28、验证模块，用于在接收到验证指令的情况下，并行调用n个验证线程对所述目标数据库存储的迁移文件进行数据验证，获得n个验证结果；所述验证指令用于表征对所述迁移文件进行数据验证；

29、展示模块，用于对所述n个验证结果进行结果展示。

30、为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：

31、所述计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现本技术实施例中提出的任一项所述的数据迁移和验证方法的步骤。

32、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

33、所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本技术实施例中提出的任一项所述的数据迁移和验证方法的步骤。

34、与现有技术相比，本技术实施例主要有以下有益效果：

35、本发明提供了一种数据迁移和验证方法、装置、计算机设备和存储介质。上述数据迁移和验证方法包括：在接收到迁移指令的情况下，采集原始数据库以及目标数据库的数据库信息配制生成迁移规则集；所述迁移指令用于表征将所述原始数据库中选定的待迁移数据迁移至所述目标数据库；基于所述迁移规则集的规则对象，对所述待迁移数据进行分块处理，获得n个迁移块，n为大于或等于1的正整数；调用n个迁移线程并行对所述n个迁移块进行数据迁移处理，以将所述n个迁移块从所述原始数据库迁移至所述目标数据库；在接收到验证指令的情况下，并行调用n个验证线程对所述目标数据库存储的迁移文件进行数据验证，获得n个验证结果；所述验证指令用于表征对所述迁移文件进行数据验证；对所述n个验证结果进行结果展示。本技术实施例提供的数据迁移和验证方法根据接收到的迁移指令启用多迁移线程并行对需要迁移的目标医疗数据进行迁移，并根据多迁移线程对应的多验证线程并行对迁移后的目标数据进行数据校验，这个过程不需要开发人员额外编写代码，对迁移后的目标迁移数据也不需要使用人工进行校验，这大大减少了开发人员的工作量。