数据迁移方法、系统与计算机可读存储介质与流程

本发明涉及数据处理，尤其涉及数据迁移方法、系统与计算机可读存储介质。

背景技术：

1、现在信创产业如火如荼的进行中，选用信创数据库替代原先的非信创数据库，非信创数据库的数据往信创数据库迁移的过程就是信创数据库强大的过程。但随之而来的是两个数据库之间的数据迁移就成为一个大问题。应用系统已经产生大量的生产数据存储在现有的非信创数据库中，当需要将数据从非信创数据库迁移到信创数据库时，现有的方案是完整进行数据拷贝，然后切换到非信创数据库，实现割接。

2、但是，简单的从非信创数据库中拷贝切换数据到信创数据库，会导致信创数据库中存入大量的异常数据，对于信创数据库后续在具体的测试中，进行问题定位、故障分析等带来了隐患。

3、因此，如何避免信创数据库中存入大量的异常数据，是急需解决的问题。

技术实现思路

1、本发明的主要目的在于提出一种数据迁移方法、系统与计算机可读存储介质，旨在解决如何避免信创数据库中存入大量的噪声数据的问题。

2、为实现上述目的，本发明提供一种数据迁移方法，所述数据迁移方法包括如下步骤：

3、在检测到数据迁移指令时，获取非信创数据库的源代码数据和业务数据集合，并基于所述源代码数据和所述业务数据集合，确定待迁移数据集合；

4、获取信创数据库对应的验证规则，并根据所述验证规则和所述待迁移数据集合确定异常数据集合和正常数据集合；

5、对所述异常数据集合进行校准，并将所述正常数据集合和校准后的异常数据集合迁移到所述信创数据库。

6、可选地，所述基于所述源代码数据和所述业务数据集合，确定待迁移数据集合的步骤包括：

7、根据所述源代码数据进行检索操作和对所述非信创数据库对接的应用系统进行功能遍历操作，确定结构化查询语句集合；

8、基于所述结构化查询语句集合和所述业务数据集合确定待迁移数据集合。

9、可选地，所述根据所述验证规则和所述待迁移数据集合确定异常数据集合和正常数据集合的步骤包括：

10、根据所述验证规则确定所述信创数据库的语法特征，并根据所述语法特征将所述待迁移数据集合中的结构化查询语句集合转换为所述信创数据库对应的数据定义语言集合和数据操作语言集合；

11、基于所述数据定义语言集合、所述数据操作语言集合和所述结构化查询语句集合，确定异常结构化查询语句集合和正常结构化查询语句集合；

12、根据所述验证规则和所述业务数据集合，确定异常业务数据集合和正常业务数据集合；

13、根据所述异常结构化查询语句集合和所述异常业务数据集合确定异常数据集合，并根据所述正常结构化查询语句集合和所述正常业务数据集合确定正常数据集合。

14、可选地，所述基于所述数据定义语言集合、所述数据操作语言集合和所述结构化查询语句集合，确定异常结构化查询语句集合和正常结构化查询语句集合的步骤包括：

15、在所述结构化查询语句集合中依次选取一个结构化查询语句，并在所述数据定义语言集合和所述数据操作语言集合确定选取的结构化查询语句对应的数据定义语言和数据操作语言；

16、将所述数据定义语言和所述数据操作语言输入所述信创数据库中，以判断选取的结构化查询语句是否为异常；

17、直至完成所述结构化查询语句集合中的每个结构化查询语句对应的数据定义语言和数据操作语言的判断，确定异常结构化查询语句集合和正常结构化查询语句集合。

18、可选地，所述对所述异常数据集合进行校准的步骤包括：

19、获取所述信创数据库的语法特征和业务数据校准规则；

20、根据所述语法特征对所述异常数据集合中的异常结构化查询语句集合进行校准；

21、根据所述业务数据校准规则对所述异常数据集合中的异常业务数据集合进行校准。

22、可选地，所述将所述正常数据集合和校准后的异常数据集合迁移到所述信创数据库的步骤包括：

23、开启所述信创数据库的日志生成功能，并在将所述正常数据集合和校准后的异常数据集合迁移到所述信创数据库的迁移过程中，基于所述日志生成功能生成数据迁移记录。

24、可选地，所述将所述正常数据集合和校准后的异常数据集合迁移到所述信创数据库的步骤之后，包括：

25、将所述非信创数据库对接的应用系统更改为与所述信创数据库对接；

26、基于所述信创数据库中的所述正常数据集合和校准后的异常数据集合对所述应用系统进行功能测试，以判断所述信创数据库是否正常运行。

27、此外，为实现上述目的，本发明还提供一种数据迁移装置，所述数据迁移装置包括：

28、第一确定模块，用于在检测到数据迁移指令时，获取非信创数据库的源代码数据和业务数据集合，并基于所述源代码数据和所述业务数据集合，确定待迁移数据集合；

29、第二确定模块，用于获取信创数据库对应的验证规则，并根据所述验证规则和所述待迁移数据集合确定异常数据集合和正常数据集合；

30、迁移模块，用于对所述异常数据集合进行校准，并将所述正常数据集合和校准后的异常数据集合迁移到所述信创数据库。

31、进一步地，所述第一确定模块还用于：

32、根据所述源代码数据进行检索操作和对所述非信创数据库对接的应用系统进行功能遍历操作，确定结构化查询语句集合；

33、基于所述结构化查询语句集合和所述业务数据集合确定待迁移数据集合。

34、进一步地，所述第二确定模块还用于：

35、根据所述验证规则确定所述信创数据库的语法特征，并根据所述语法特征将所述待迁移数据集合中的结构化查询语句集合转换为所述信创数据库对应的数据定义语言集合和数据操作语言集合；

36、基于所述数据定义语言集合、所述数据操作语言集合和所述结构化查询语句集合，确定异常结构化查询语句集合和正常结构化查询语句集合；

37、根据所述验证规则和所述业务数据集合，确定异常业务数据集合和正常业务数据集合；

38、根据所述异常结构化查询语句集合和所述异常业务数据集合确定异常数据集合，并根据所述正常结构化查询语句集合和所述正常业务数据集合确定正常数据集合。

39、进一步地，所述第二确定模块还用于：

40、在所述结构化查询语句集合中依次选取一个结构化查询语句，并在所述数据定义语言集合和所述数据操作语言集合确定选取的结构化查询语句对应的数据定义语言和数据操作语言；

41、将所述数据定义语言和所述数据操作语言输入所述信创数据库中，以判断选取的结构化查询语句是否为异常；

42、直至完成所述结构化查询语句集合中的每个结构化查询语句对应的数据定义语言和数据操作语言的判断，确定异常结构化查询语句集合和正常结构化查询语句集合。

43、进一步地，所述迁移模块还包括校准模块，所述校准模块用于：

44、获取所述信创数据库的语法特征和业务数据校准规则；

45、根据所述语法特征对所述异常数据集合中的异常结构化查询语句集合进行校准；

46、根据所述业务数据校准规则对所述异常数据集合中的异常业务数据集合进行校准。

47、进一步地，所述迁移模块还用于：

48、开启所述信创数据库的日志生成功能，并在将所述正常数据集合和校准后的异常数据集合迁移到所述信创数据库的迁移过程中，基于所述日志生成功能生成数据迁移记录。

49、进一步地，所述迁移模块还包括测试模块，所述测试模块用于：

50、将所述非信创数据库对接的应用系统更改为与所述信创数据库对接；

51、基于所述信创数据库中的所述正常数据集合和校准后的异常数据集合对所述应用系统进行功能测试，以判断所述信创数据库是否正常运行。

52、此外，为实现上述目的，本发明还提供一种数据迁移系统，所述数据迁移系统包括：存储器、处理器及储存在所述存储器上并可在所述处理器上运行的数据迁移程序，所述数据迁移程序被所述处理器执行时实现如上所述的数据迁移方法的步骤。

53、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上储存有数据迁移程序，所述数据迁移程序被处理器执行时实现如上所述的数据迁移方法的步骤。

54、本发明提出的数据迁移方法，在检测到数据迁移指令时，获取非信创数据库的源代码数据和业务数据集合，并基于源代码数据和业务数据集合，确定待迁移数据集合；获取信创数据库对应的验证规则，并根据验证规则和待迁移数据集合确定异常数据集合和正常数据集合；对异常数据集合进行校准，并将正常数据集合和校准后的异常数据集合迁移到信创数据库。本发明基于信创数据库的验证规则确定非信创数据库的异常数据集合，进而对异常数据集合进行校准，再将校准后的异常数据集合迁移到信创数据库，避免信创数据库中存入大量的异常数据，进而避免为信创数据库后续的具体测试带来隐患。