一种用于异构数据迁移的方法及系统与流程

本发明涉及数据迁移，并且更具体地，涉及一种用于异构数据迁移的方法及系统。

背景技术：

1、随着信息技术的发展，治安旅馆行业的数据量日益增大，数据的来源也越来越多样化。然而，由于各种原因，这些数据往往分散在不同的数据源中，无法有效地进行整合和利用。因此，如何将这些异构的数据进行有效的迁移，以满足治安旅馆行业的业务需求，成为了一个亟待解决的问题。

2、现有的数据迁移工具往往只能处理特定的数据源和数据结构，对于治安旅馆行业的异构数据迁移，其效果并不理想。此外，这些工具在处理大量数据时，往往需要消耗大量的计算资源和存储资源，效率低下。

技术实现思路

1、针对上述问题，本发明提出了一种用于异构数据迁移的方法，包括：

2、针对待迁移的异构数据建立目标数据库及目标数据记录结构，将所述目标数据库，作为所述待迁移的异构数据的迁移终点，并将所述目标数据记录结构，作为所述待迁移的异构数据的迁移起点；

3、对所述待迁移的异构数据，进行预处理，并将预处理后的待迁移的异构数据映射至所述迁移起点，基于所述迁移起点根据映射的待迁移的异构数据，生成统一数据格式的目标迁移数据，并将所述目标迁移数据存储至中间数据库；

4、针对所述目标迁移数据，根据预设的数据迁移要求，生成所述目标迁移数据的迁移策略及优先级，并将所述迁移策略及优先级作为信息标签，写入目标迁移数据；

5、基于预设的迁移框架，调取中间数据库存储的目标迁移数据，检验所述目标迁移数据是否带写入有信息标签，若是，读取信息标签，以获取所述目标迁移数据的迁移策略及优先级，根据所述迁移策略及优先级，将所述目标迁移数据，以预设的网络通道，迁移至迁移终点。

6、可选的，对所述待迁移的异构数据，进行预处理，包括：

7、对所述待迁移的异构数据进行去重及去噪处理；

8、对进行去重和去噪处理后的待迁移的异构数据进行缺失数据的查验，若存在缺失数据，对所述待迁移的异构数据进行补全处理；

9、对查验缺失数据后的待迁移的异构数据，进行真伪校验，以已剔除虚假数据；

10、对剔除虚假数据后的待迁移的异构数据，进行归一化处理。

11、可选的，目标数据记录结构为多维度的数据记录结构；

12、所述多维度，包括：第一维度、第二维度至第n维度。

13、可选的，将预处理后的待迁移的异构数据映射至所述迁移起点，包括：

14、将预处理后的待迁移的异构数据，按照第一维度映射至迁移起点，再按照第二维度映射至迁移起点，直到第n维度完成映射。

15、可选的，中间数据库为关系型数据库、nosql数据库或大数据存储型数据库。

16、可选的，若检验目标迁移数据是未写入有信息标签，则确定中间数据库是否存在优先级更高的目标迁移数据，若是不存在，则对目标迁移数据以通用迁移策略进行迁移，若是存在，则发出写入信息标签的提示消息，当目标迁移数据写入信息标签后，将目标迁移数据作为下一次的数据迁移对象进行迁移。

17、可选的，迁移策略，包括如下中的至少一种：增量迁移、全量迁移和按时间迁移。

18、可选的，基于spring boot快速开发框架搭建迁移框架。

19、可选的，方法，还包括：对迁移终点的目标迁移数据进行校验，以确定所述目标迁移数据的完整性，若是不完整，获取不完整目标迁移数据的数据特征，基于所述数据特征对所述迁移框架的参数进行调整，并对调整后的迁移框架的准确性进行校验，直到校验结果满足数据迁移要求。

20、可选的，方法，还包括：对预处理、映射及迁移的全过程进行记录，以生成数据迁移日志，并对所述数据迁移日志进行存储；

21、所述数据迁移日志用于对迁移数据进行溯源。

22、再一方面，本发明还提出了一种用于异构数据迁移的系统，包括：

23、初始单元，用于针对待迁移的异构数据建立目标数据库及目标数据记录结构，将所述目标数据库，作为所述待迁移的异构数据的迁移终点，并将所述目标数据记录结构，作为所述待迁移的异构数据的迁移起点；

24、预处理单元，用于对所述待迁移的异构数据，进行预处理，并将预处理后的待迁移的异构数据映射至所述迁移起点，基于所述迁移起点根据映射的待迁移的异构数据，生成统一数据格式的目标迁移数据，并将所述目标迁移数据存储至中间数据库；

25、标签单元，用于针对所述目标迁移数据，根据预设的数据迁移要求，生成所述目标迁移数据的迁移策略及优先级，并将所述迁移策略及优先级作为信息标签，写入目标迁移数据；

26、迁移单元，用于基于预设的迁移框架，调取中间数据库存储的目标迁移数据，检验所述目标迁移数据是否带写入有信息标签，若是，读取信息标签，以获取所述目标迁移数据的迁移策略及优先级，根据所述迁移策略及优先级，将所述目标迁移数据，以预设的网络通道，迁移至迁移终点。

27、可选的，对所述待迁移的异构数据，进行预处理，包括：

28、对所述待迁移的异构数据进行去重及去噪处理；

29、对进行去重和去噪处理后的待迁移的异构数据进行缺失数据的查验，若存在缺失数据，对所述待迁移的异构数据进行补全处理；

30、对查验缺失数据后的待迁移的异构数据，进行真伪校验，以已剔除虚假数据；

31、对剔除虚假数据后的待迁移的异构数据，进行归一化处理。

32、可选的，目标数据记录结构为多维度的数据记录结构；

33、所述多维度，包括：第一维度、第二维度至第n维度。

34、可选的，将预处理后的待迁移的异构数据映射至所述迁移起点，包括：

35、将预处理后的待迁移的异构数据，按照第一维度映射至迁移起点，再按照第二维度映射至迁移起点，直到第n维度完成映射。

36、可选的，中间数据库为关系型数据库、nosql数据库或大数据存储型数据库。

37、可选的，若检验目标迁移数据是未写入有信息标签，则确定中间数据库是否存在优先级更高的目标迁移数据，若是不存在，则对目标迁移数据以通用迁移策略进行迁移，若是存在，则发出写入信息标签的提示消息，当目标迁移数据写入信息标签后，将目标迁移数据作为下一次的数据迁移对象进行迁移。

38、可选的，迁移策略，包括如下中的至少一种：增量迁移、全量迁移和按时间迁移。

39、可选的，基于spring boot快速开发框架搭建迁移框架。

40、可选的，迁移单元还用于：对迁移终点的目标迁移数据进行校验，以确定所述目标迁移数据的完整性，若是不完整，获取不完整目标迁移数据的数据特征，基于所述数据特征对所述迁移框架的参数进行调整，并对调整后的迁移框架的准确性进行校验，直到校验结果满足数据迁移要求。

41、可选的，迁移单元还用于：对预处理、映射及迁移的全过程进行记录，以生成数据迁移日志，并对所述数据迁移日志进行存储；

42、所述数据迁移日志用于对迁移数据进行溯源。

43、再一方面，本发明还提供了一种计算设备，包括：一个或多个处理器；

44、处理器，用于执行一个或多个程序；

45、当所述一个或多个程序被所述一个或多个处理器执行时，实现如上述所述的方法。

46、再一方面，本发明还提供了一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现如上述所述的方法。

47、与现有技术相比，本发明的有益效果为：

48、本发明提出了一种用于异构数据迁移的方法，包括：针对待迁移的异构数据建立目标数据库及目标数据记录结构，将所述目标数据库，作为所述待迁移的异构数据的迁移终点，并将所述目标数据记录结构，作为所述待迁移的异构数据的迁移起点；对所述待迁移的异构数据，进行预处理，并将预处理后的待迁移的异构数据映射至所述迁移起点，基于所述迁移起点根据映射的待迁移的异构数据，生成统一数据格式的目标迁移数据，并将所述目标迁移数据存储至中间数据库；针对所述目标迁移数据，根据预设的数据迁移要求，生成所述目标迁移数据的迁移策略及优先级，并将所述迁移策略及优先级作为信息标签，写入目标迁移数据；基于预设的迁移框架，调取中间数据库存储的目标迁移数据，检验所述目标迁移数据是否带写入有信息标签，若是，读取信息标签，以获取所述目标迁移数据的迁移策略及优先级，根据所述迁移策略及优先级，将所述目标迁移数据，以预设的网络通道，迁移至迁移终点。本发明能够有效的将目标数据进行迁移，且迁移过程简单，效率高。