数据同步方法、装置、计算机设备和存储介质与流程

本申请涉及大数据处理，特别是涉及一种数据同步方法、装置、计算机设备和存储介质。

背景技术：

1、分布式数据库能够通过计算机网络对物理上分散存储的数据进行管理，实现大规模数据的逻辑统一，因此，得到了越来越广泛的应用。

2、分布式数据库包括多个数据源，相关技术中，当需要将分布式数据库中的数据同步至下游数据库的目标数据源时，通常在将某个数据源的全量数据同步至目标数据源之后，采用变化数据捕获(change data capture，cdc)技术实时监测并捕获这个数据源的变更，将这个数据源的增量数据同步至目标数据源。

3、然而，上述数据同步过程中，通常需要人工介入，由于数据量很庞大，人工介入导致数据同步的效率较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高数据同步效率，且能够统一多个数据源技术栈的数据同步方法、装置、计算机设备和存储介质。

2、第一方面，本申请提供了一种数据同步方法。所述方法包括：

3、创建数据同步任务，所述数据同步任务包括全量同步子任务和增量同步子任务；

4、触发所述全量同步子任务，基于所述数据同步任务的第一配置信息，通过所述数据同步任务的读取组件获取待同步的全量数据，其中，所述全量数据包括多个数据源中的数据，所述第一配置信息包括所述读取组件与所述数据源的连接信息；

5、触发所述增量同步子任务，基于所述数据同步任务的第二配置信息，通过所述数据同步任务的读取组件读取消息中间件，所述消息中间件用于存储来自多个数据源的增量数据，所述第二配置信息包括所述读取组件与所述消息中间件的连接信息。

6、在其中一个实施例中，在所述创建数据同步任务之前，还包括：

7、配置数据同步任务的选择参数，所述选择参数用于选择触发全量同步子任务和/或增量同步子任务。

8、在其中一个实施例中，所述创建数据同步任务包括：

9、在所述选择参数为第一参数的情况下，创建所述全量同步子任务和所述增量同步子任务；

10、在所述选择参数为第二参数的情况下，创建全量同步子任务；

11、在所述选择参数为第三参数的情况下，创建增量同步子任务。

12、在其中一个实施例中，所述通过所述数据同步任务的读取组件获取待同步的全量数据包括：

13、将所述全量数据拆分为固定大小的数据集；

14、并行获取所述数据集。

15、在其中一个实施例中，在所述通过所述数据同步任务的读取组件获取待同步的全量数据，之后还包括：

16、断开所述数据同步任务的读取组件与所述多个数据源的连接，以停止获取所述全量数据。

17、在其中一个实施例中，所述方法还包括：

18、为所述多个数据源配置增量同步工具；

19、通过所述增量同步工具将相应数据源的增量数据存储至所述消息中间件。

20、在其中一个实施例中，所述创建数据同步任务还包括：

21、配置所述数据同步任务的读取组件，所述读取组件用于为所述数据同步任务提供接收功能；

22、配置所述数据同步任务的读取组件，所述读取组件用于为所述全量同步子任务提供接收功能；

23、配置所述数据同步任务的读取组件，所述读取组件用于为所述增量同步子任务提供接收功能。

24、第二方面，本申请还提供了一种数据同步装置。所述装置包括：

25、创建模块，用于创建数据同步任务，所述数据同步任务包括全量同步子任务和增量同步子任务；

26、第一同步模块，用于触发所述全量同步子任务，基于所述数据同步任务的第一配置信息，通过所述数据同步任务的读取组件获取待同步的全量数据，其中，所述全量数据包括多个数据源中的数据，所述第一配置信息包括所述读取组件与所述数据源的连接信息；

27、第二同步模块，用于触发所述增量同步子任务，基于所述数据同步任务的第二配置信息，通过所述数据同步任务的读取组件读取消息中间件，所述消息中间件用于存储来自多个数据源的增量数据，所述第二配置信息包括所述读取组件与所述消息中间件的连接信息。

28、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述任一所述的方法的步骤。

29、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的方法的步骤。

30、上述数据同步方法、装置、计算机设备和存储介质，通过创建数据同步任务，实现了对全量同步子任务和增量同步子任务的统一调用，基于该数据同步任务的配置信息，该数据同步任务的读取组件能够统一获取来自多个数据源的全量数据，以及来自消息中间件的增量数据，提高了数据同步的效率。且通过该数据同步任务，能够实现对多个数据源进行数据同步的统一控制，达到了统一技术栈的效果。

技术特征：

1.一种数据同步方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述创建数据同步任务之前，还包括：

3.根据权利要求2所述的方法，其特征在于，所述创建数据同步任务包括：

4.根据权利要求1所述的方法，其特征在于，所述通过所述数据同步任务的读取组件获取待同步的全量数据包括：

5.根据权利要求1所述的方法，其特征在于，在所述通过所述数据同步任务的读取组件获取待同步的全量数据，之后还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述创建数据同步任务还包括：

8.一种数据同步装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种数据同步方法、装置、计算机设备和存储介质。所述方法包括：创建数据同步任务，数据同步任务包括全量同步子任务和增量同步子任务；触发全量同步子任务，基于数据同步任务的第一配置信息，通过数据同步任务的读取组件获取待同步的全量数据，其中，全量数据包括多个数据源中的数据，第一配置信息包括读取组件与数据源的连接信息；触发增量同步子任务，基于数据同步任务的第二配置信息，通过数据同步任务的读取组件读取消息中间件，消息中间件用于存储来自多个数据源的增量数据，第二配置信息包括读取组件与消息中间件的连接信息。采用本方法能够提高数据同步效率，且能够统一多个数据源技术栈。

技术研发人员：仲启尚,任何强,李卫星,张宝利,赵立
受保护的技术使用者：企查查科技股份有限公司
技术研发日：
技术公布日：2024/1/16