数据同步的方法、装置、存储介质及电子设备与流程

本公开涉及数据库，具体地，涉及一种数据同步的方法、装置、存储介质及电子设备。

背景技术：

1、在大数据技术中，需要对不同系统的数据进行同步处理，从而实现不同数据库之间的数据同步。现有技术中，可以每天同步一次全量数据，但是这种同步方法的时效性较低，且在抽取数据的过程中，会出现源端数据库负载不稳定的情况，进而影响数据库的正常运行。

技术实现思路

1、本公开的目的是提供一种数据同步的方法、装置、存储介质及电子设备，用于提高不同数据库之间数据同步的效率。

2、为了实现上述目的，第一方面，本公开提供一种数据同步的方法，所述方法包括：

3、获取源数据库的数据变更信息；

4、确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；

5、根据所述增量数据，生成待变更数据；

6、将所述待变更数据同步至目标数据库。

7、可选地，所述源数据库包括一个或多个源数据表；所述将所述待变更数据同步至目标数据库，包括：

8、在所述目标数据库中建立与一个或多个所述源数据表对应的目标数据表；

9、将所述源数据表的所述待变更数据同步至所述目标数据库。

10、可选地，所述将所述源数据表的所述待变更数据同步至所述目标数据库，包括：

11、在所述目标数据库中建立待定数据表；

12、将所述待变更数据同步至所述待定数据表；

13、删除所述源数据表对应的所述目标数据表，并通过预设命名机制变更所述待定数据表的名称，得到新的目标数据表。

14、可选地，所述数据变更信息包括标志位信息；所述标志位信息用于标记所述数据变更信息中指定时刻的信息；所述待变更数据通过以下方式得到：

15、获取所述标志位信息之前的目标数据变更信息；

16、将所述目标数据变更信息对应的所述增量数据作为所述待变更数据。

17、可选地，所述将所述源数据表的所述待变更数据同步至所述目标数据库，包括：

18、将所述待变更数据同步至所述目标数据库的所述目标数据表。

19、可选地，所述源数据库包括一个或多个数据库；所述待变更数据通过以下方式得到：

20、从一个或多个所述源数据库中获取多个指定源数据表；每个所述指定源数据表包括同一数据内容的不同部分；

21、将多个所述指定源数据表组合成候选数据表；

22、将所述候选数据表作为所述待变更数据。

23、可选地，所述根据所述增量数据，生成待变更数据，包括：

24、响应于接收到用户的控制指令，根据所述增量数据，生成所述待变更数据。

25、第二方面，本公开提供一种数据同步的装置，所述装置包括：

26、获取模块，用于获取源数据库的数据变更信息；

27、确定模块，用于确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；

28、生成模块，用于根据所述增量数据，生成待变更数据；

29、同步模块，用于将所述待变更数据同步至目标数据库。

30、可选地，所述源数据库包括一个或多个源数据表；所述装置还包括：

31、第一同步模块，用于在所述目标数据库中建立与一个或多个所述源数据表对应的目标数据表；将所述源数据表的所述待变更数据同步至所述目标数据库。

32、可选地，所述装置还包括：

33、第二同步模块，用于在所述目标数据库中建立待定数据表；将所述待变更数据同步至所述待定数据表；删除所述源数据表对应的所述目标数据表，并通过预设命名机制变更所述待定数据表的名称，得到新的目标数据表。

34、可选地，所述数据变更信息包括标志位信息；所述标志位信息用于标记所述数据变更信息中指定时刻的信息；所述待变更数据通过以下方式得到：

35、获取所述标志位信息之前的目标数据变更信息；将所述目标数据变更信息对应的所述增量数据作为所述待变更数据。

36、可选地，所述装置还包括：

37、第三同步模块，用于将所述待变更数据同步至所述目标数据库的所述目标数据表。

38、可选地，所述源数据库包括一个或多个数据库；所述待变更数据通过以下方式得到：

39、从一个或多个所述源数据库中获取多个指定源数据表；每个所述指定源数据表包括同一数据内容的不同部分；将多个所述指定源数据表组合成候选数据表；将所述候选数据表作为所述待变更数据。

40、可选地，所述装置还包括：

41、响应模块，用于响应于接收到用户的控制指令，根据所述增量数据，生成所述待变更数据。

42、第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序被处理器执行时实现本公开第一方面所提供的数据同步的方法的步骤。

43、第四方面，本公开提供一种电子设备，包括：

44、存储器，其上存储有计算机程序；

45、处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中所提供的数据同步的方法的步骤。

46、通过上述技术方案，将增量数据同步至目标数据库，减少了同步数据量，降低了数据同步的延时时间；根据增量数据生成待变更数据，实现了对增量数据的补偿和整合，从而提高数据同步的效率，并确保了数据传输的稳定性。

47、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种数据同步的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述源数据库包括一个或多个源数据表；所述将所述待变更数据同步至目标数据库，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述源数据表的所述待变更数据同步至所述目标数据库，包括：

4.根据权利要求3所述的方法，其特征在于，所述数据变更信息包括标志位信息；所述标志位信息用于标记所述数据变更信息中指定时刻的信息；所述待变更数据通过以下方式得到：

5.根据权利要求2所述的方法，其特征在于，所述将所述源数据表的所述待变更数据同步至所述目标数据库，包括：

6.根据权利要求5所述的方法，其特征在于，所述源数据库包括一个或多个数据库；所述待变更数据通过以下方式得到：

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述增量数据，生成待变更数据，包括：

8.一种数据同步的装置，其特征在于，所述装置包括：

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

技术总结
本公开涉及一种数据同步的方法、装置、存储介质及电子设备；通过获取源数据库的数据变更信息；确定所述数据变更信息对应的增量数据；所述增量数据为所述源数据库中发生数据变更的数据；根据所述增量数据，生成待变更数据；将所述待变更数据同步至目标数据库；通过上述技术方案，减少了同步数据量，降低了数据同步的延时时间；根据增量数据生成待变更数据，实现了对增量数据的补偿和整合，从而提高数据同步的效率，并确保了数据传输的稳定性。

技术研发人员：陈定玮
受保护的技术使用者：飞算数智科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15