数据同步方法、装置、计算机设备及其存储介质与流程

文档序号:37229220发布日期:2024-03-05 15:37阅读:15来源:国知局
数据同步方法、装置、计算机设备及其存储介质与流程

本技术涉及数据处理,特别是涉及一种数据同步方法、装置、计算机设备及其存储介质。


背景技术:

1、随着大数据技术的不断发展,越来越多的企业园区开始朝着数字化的方向发展;为保证多园区间的信息共享,需要对多园区的数据进行数据同步,以防止某一园区因故障而导致数据发生不可逆丢失。

2、现有技术中,可通过双写方案实现同步在不同园区进行同一数据的写入操作,进而实现多园区间的数据共享,但是,通过双写方案进行数据同步时存在随机性误差。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种降低数据同步误差的数据同步方法、装置、计算机设备及其存储介质。

2、第一方面,本技术提供了一种数据同步方法。该方法包括:

3、获取参照园区对应的数据合成策略的策略输入数据,以及从参照园区的第一集群数据中提取在设定时长内未发生变更的稳定数据;

4、根据稳定数据,以及待同步园区的第二集群数据,确定第二集群数据的增量数据;

5、根据增量数据和策略输入数据之间的数据重叠情况,对第二集群数据进行处理,得到目标数据,并向待同步园区同步目标数据。

6、在其中一个实施例中,根据增量数据和策略输入数据之间的数据重叠情况,对第二集群数据进行处理,得到目标数据,包括:

7、若数据重叠情况为增量数据和策略输入数据之间完全重叠,则根据数据合成策略,将增量数据合成为策略输出数据,并将策略输出数据添加至第二集群数据,得到目标数据;

8、若数据重叠情况为增量数据和策略输入数据之间无重叠或部分重叠,则确定增量数据和第二集群数据的数据并集,并根据数据并集和策略输入数据之间的数据包含关系,对数据并集进行处理,得到目标数据。

9、在其中一个实施例中,若数据重叠情况为增量数据和策略输入数据之间无重叠,则根据数据并集和策略输入数据之间的数据包含关系,对数据并集进行处理,得到目标数据,包括:

10、若数据包含关系为数据并集包含策略输入数据,则根据数据合成策略,对数据并集中的策略输入数据进行合成处理,得到目标数据;

11、若数据包含关系为数据并集不包含策略输入数据,则将数据并集,作为目标数据。

12、在其中一个实施例中,若数据重叠情况为增量数据和策略输入数据之间部分重叠,则根据数据并集和策略输入数据之间的数据包含关系,对数据并集进行处理,得到目标数据,包括:

13、根据数据合成策略,对数据并集中的策略输入数据进行合成处理,得到参考数据;

14、将第二集群数据中属于参考数据的数据作为第一保留数据,将第二集群数据中不属于参考数据的数据作为第一删除数据;

15、将参考数据中属于第二集群数据的数据作为第二保留数据,将参考数据中不属于第二集群数据的数据作为第二添加数据;

16、根据第一保留数据、第一删除数据、第二保留数据和第二添加数据,对第二集群数据进行数据更新,得到目标数据。

17、在其中一个实施例中,根据第一保留数据、第一删除数据、第二保留数据和第二添加数据,对第二集群数据进行数据更新,得到目标数据,包括:

18、删除第二集群数据中的第一删除数据,得到候选数据;

19、在候选数据中添加第二添加数据,得到中间数据;

20、根据中间数据和第一保留数据,以及中间数据和第二保留数据的数据包含关系,对中间数据进行数据更新,得到目标数据。

21、在其中一个实施例中,根据中间数据和第一保留数据,以及中间数据和第二保留数据的数据包含关系,对中间数据进行数据更新,得到目标数据,包括:

22、若中间数据中包含第一保留数据和第二保留数据,则将中间数据作为目标数据;

23、若中间数据中不包含第一保留数据和/或第二保留数据,则在中间数据中添加所不包含的第一保留数据和/或第二保留数据,得到目标数据。

24、第二方面,本技术还提供了一种数据同步装置。该装置包括:

25、获取模块,用于获取参照园区对应的数据合成策略的策略输入数据,以及从参照园区的第一集群数据中提取在设定时长内未发生变更的稳定数据;

26、确定模块,用于根据稳定数据,以及待同步园区的第二集群数据,确定第二集群数据的增量数据;

27、处理模块,用于根据增量数据和策略输入数据之间的数据重叠情况,对第二集群数据进行处理,得到目标数据,并向待同步园区同步目标数据。

28、第三方面,本技术还提供了一种计算机设备。计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:

29、获取参照园区对应的数据合成策略的策略输入数据,以及从参照园区的第一集群数据中提取在设定时长内未发生变更的稳定数据;

30、根据稳定数据,以及待同步园区的第二集群数据,确定第二集群数据的增量数据;

31、根据增量数据和策略输入数据之间的数据重叠情况,对第二集群数据进行处理,得到目标数据,并向待同步园区同步目标数据。

32、第四方面,本技术还提供了一种计算机可读存储介质。计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

33、获取参照园区对应的数据合成策略的策略输入数据,以及从参照园区的第一集群数据中提取在设定时长内未发生变更的稳定数据;

34、根据稳定数据,以及待同步园区的第二集群数据,确定第二集群数据的增量数据;

35、根据增量数据和策略输入数据之间的数据重叠情况,对第二集群数据进行处理,得到目标数据,并向待同步园区同步目标数据。

36、第五方面,本技术还提供了一种计算机程序产品。计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

37、获取参照园区对应的数据合成策略的策略输入数据,以及从参照园区的第一集群数据中提取在设定时长内未发生变更的稳定数据;

38、根据稳定数据,以及待同步园区的第二集群数据,确定第二集群数据的增量数据;

39、根据增量数据和策略输入数据之间的数据重叠情况,对第二集群数据进行处理,得到目标数据,并向待同步园区同步目标数据。

40、上述数据同步方法、装置、计算机设备及其存储介质,通过稳定数据和第二集群数据,确定第二集群数据的增量数据,进而,根据增量数据和策略输入数据之间的数据重叠情况,得到目标数据,并向待同步园区同步目标数据,以实现对待同步园区的数据同步处理。由于上述过程中,本技术在确定第二集群数据的增量数据后,并未采用现有技术中的双写方案将增量数据直接写入第二集群数据,而是根据增量数据和策略输入数据之间的数据重叠情况,对第二集群数据进行处理,得到处理后的目标数据,进而向待同步园区同步目标数据,以实现对待同步园区的数据同步处理,保证了,相比起现有技术,本技术在实现多园区间的数据共享的同时,降低了在进行数据同步处理时存在的误差,提高了数据已同步的准确信,减少由于数据同步误差而造成的园区数据异常的概率。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1