一种异构数据源同步工具管理装置及数据同步方法与流程

本发明涉及数据同步，尤其是涉及一种异构数据源同步工具管理装置及数据同步方法。

背景技术：

1、上世纪50年代，国外一些公司出现了备份保护的概念，90年代开始出现业务连续性的概念，并开始逐渐取代单纯的灾难恢复。2007年11月1日开始正式实施《信息系统灾难恢复规范》，是中国容灾行业的第一个国家标准。到目前为止，灾备容灾都是行业内应对灾难的主流方式，其中的关键技术之一就是数据的连续复制。随着存储技术的发展，支撑着企业应用量级不断膨胀，各类场景有相应的数据解决方案，使得企业应用架构日趋复杂，包含不同场景依赖的异构数据源，给维护业务连续性的数据同步管理带来很大挑战。

2、目前数据同步管理主要包括以下难点：

3、(1)单一配置复杂度：

4、一般来说，数据同步需借助专业的同步工具执行，在使用同步工具进行数据备份之前，需根据用户需求、数据类型、数据源状况进行配置。对同步工具进行配置，往往专业性较强，过程较为复杂，从而影响数据同步管理效率。

5、(2)多样管理复杂度：

6、由同步工具的专业性，不同数据源往往需要不同的同步工具，配置方式和配置流程也不尽相同，企业应用包含不同场景依赖的异构数据源，保障业务连续性需要对异构数据源同步进行统一管理，从而大大增加管理难度。

技术实现思路

1、本发明所要解决的技术问题是针对背景技术的不足提供一种异构数据源同步工具管理装置及数据同步方法，提升数据同步工具管理效率，有效地降低对同步工具的配置难度和任务管理难度，从而有效降低复杂企业应用数据连续备份的容灾实施难度。

2、本发明为解决上述技术问题采用以下技术方案：

3、一种异构数据源同步工具管理装置，包含管理装置和同步装置；

4、其中，管理装置，用于负责创建数据同步任务、创建备份资源、生成指令模版、向同步装置下发任务指令、管理同步装置状态；

5、同步装置，用于和管理装置数据交互，上报同步工具状态、接受管理装置的各类指令、驱动嵌套同步组件采集传输数据。

6、作为本发明一种异构数据源同步工具管理装置的进一步优选方案，所述管理装置包含配置管理模块、流程管理模块、资源管理模块；

7、其中，配置管理模块，用于提供结构化同步任务配置；

8、流程管理模块，用于提供自动化任务管理流程；

9、资源管理模块，用于提供异构数据源配套同步装置。

10、作为本发明一种异构数据源同步工具管理装置的进一步优选方案，所述同步装置采用同步装置工具外壳套件。

11、作为本发明一种异构数据源同步工具管理装置的进一步优选方案，所述同步装置工具外壳套件通过一致的接口协议屏蔽嵌套同步组件的管理差异，管理装置和同步装置间实际是管理装置-外壳套件-同步组件三层交互。

12、作为本发明一种异构数据源同步工具管理装置的进一步优选方案，所述管理装置-外壳套件：外壳套件通过心跳接口将采集的本地数据、状态数据和任务数据上报给管理装置，管理装置管理指令队列，结合用户操作和上报数据生成任务指令，在心跳响应中返回同步装置未处理的指令。

13、作为本发明一种异构数据源同步工具管理装置的进一步优选方案，外壳套件-同步组件：

14、同步组件通过单向接口向外壳套件上报数据和拉取指令，外壳套件用于实现多种加载器，屏蔽同步组件的集成差异。

15、作为本发明一种异构数据源同步工具管理装置的进一步优选方案，所述集成差异包含直接代码集成、本地进程和远程调用。

16、一种基于异构数据源同步工具管理系统的数据同步方法，具体包含如下步骤；

17、步骤1，在数据源指定机器上安装同步装置；

18、步骤2，在管理装置上创建同步任务：

19、步骤3，在管理装置上开启同步；

20、步骤4，管理装置生成指令模版；

21、步骤5，管理装置创建备份资源；

22、步骤6，管理装置向同步装置下发任务指令；

23、步骤7，同步装置驱动嵌套同步组件采集传输数据；

24、步骤8，同步装置收集嵌套同步组件数据上报管理装置；

25、步骤9，管理装置根据上报数据驱动指令流转；

26、步骤10，重复步骤6-步骤9；

27、步骤11，数据同步进入实时增量同步阶段。

28、作为本发明基于异构数据源同步工具管理装置的数据同步方法的进一步优选方案，所述步骤2具体包含如下步骤；

29、步骤2.1，选择备份所需资源；

30、步骤2.2，配置需要备份的数据描述；

31、步骤2.3，配置数据源访问授权。

32、作为本发明基于异构数据源同步工具管理装置的数据同步方法的进一步优选方案，在步骤11中，管理装置向同步装置下发增量备份指令；同步装置监听数据库日志进行增量同步。

33、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

34、1、本发明所提供的同步工具管理方法与装置，能提升数据同步工具管理效率，有效地降低对同步工具的配置难度和任务管理难度，从而有效降低复杂企业应用数据连续备份的容灾实施难度，具有实用和经济的价值；

35、2、自动化：本发明提供自动化任务流程，减少了人工干预和错误，提高了效率和可靠性；3、可扩展性：本发明提供统一的工具外壳套件，通过规范的接口协议，支持集成各种异构数据源同步组件；

36、4、安全性：本发明可以在备份和恢复时保障数据的安全性，防止数据泄露和丢失；

37、5、易用性：本发明提供结构化同步任务配置，通过管理装置提供了直观的界面和操作，使得用户可以轻松完成配置和任务管理操作。

技术特征：

1.一种异构数据源同步工具管理装置，其特征在于：包含管理装置和同步装置；

2.根据权利要求所述的一种异构数据源同步工具管理装置，其特征在于：所述管理装置包含配置管理模块、流程管理模块、资源管理模块；

3.根据权利要求1所述的一种异构数据源同步工具管理装置，其特征在于：所述同步装置采用同步装置工具外壳套件。

4.根据权利要求3所述的一种异构数据源同步工具管理装置，其特征在于：所述同步装置工具外壳套件通过一致的接口协议屏蔽嵌套同步组件的管理差异，管理装置和同步装置间实际是管理装置-外壳套件-同步组件三层交互。

5.根据权利要求4所述的一种异构数据源同步工具管理装置，其特征在于：所述管理装置-外壳套件：外壳套件通过心跳接口将采集的本地数据、状态数据和任务数据上报给管理装置，管理装置管理指令队列，结合用户操作和上报数据生成任务指令，在心跳响应中返回同步装置未处理的指令。

6.根据权利要求4所述的一种异构数据源同步工具管理装置，其特征在于：外壳套件-同步组件：同步组件通过单向接口向外壳套件上报数据和拉取指令，外壳套件用于实现多种加载器，屏蔽同步组件的集成差异。

7.根据权利要求4所述的一种异构数据源同步工具管理装置，其特征在于：所述集成差异包含直接代码集成、本地进程和远程调用。

8.一种基于权利要求1至7任一项所述的异构数据源同步工具管理装置的数据同步方法，其特征在于：具体包含如下步骤；

9.根据权利要求8所述的基于异构数据源同步工具管理装置的数据同步方法，其特征在于：所述步骤2具体包含如下步骤；

10.根据权利要求8所述的基于异构数据源同步工具管理装置的数据同步方法，其特征在于：在步骤11中，管理装置向同步装置下发增量备份指令；同步装置监听数据库日志进行增量同步。

技术总结
本发明公开了一种异构数据源同步工具管理装置及数据同步方法，涉及数据同步技术领域，提升数据同步工具管理效率，有效地降低对同步工具的配置难度和任务管理难度，从而有效降低复杂企业应用数据连续备份的容灾实施难度。包括：具备配置管理、流程管理、资源管理三大功能点的管理装置；提供异构数据源配套同步装置；提供结构化同步任务配置；提供自动化任务管理流程；本发明通过集成统一的工具外壳套件，提供一致的生命周期和指令通道管理，屏蔽异构数据源同步工具数据流程差异，有效提升数据同步工具管理效率。

技术研发人员：陈杰
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/4/17