一种数据同步核验方法、装置、设备及存储介质与流程

本发明涉及任务调度，尤其涉及一种数据同步核验方法、装置、设备及存储介质。

背景技术：

1、在由老系统切换到新系统时，需将老系统中的数据同样搬迁至新系统中。为了确保搬迁前后的数据一致，需要对搬迁后的数据与搬迁前的数据进行核验。

2、在现有技术中，对数据进行核验的方式有，第一，寻找一个静止点，对静止点之前的数据进行全部核验，第二，对搬迁的数据数量或者关键的字段进行核验。

3、但是，若在数据搬迁过程中停止下来，会对业务产生较大的影响，并且每停止一次就要对之前的全部数据进行核验浪费时间；若仅对数量或者关键字段核验，存在搬迁前后数据不一致的风险。

技术实现思路

1、本技术实施例提供了一种数据同步核验方法、装置、设备及存储介质，用于提高数据同步核验的准确性和数据同步核验的效率。

2、第一方面，本技术实施例提供了一种数据同步核验方法，包括：

3、在源数据库至目标数据库的数据同步过程中，根据数据同步状况在数据同步记录中同步记载数据的迁移信息；

4、针对所述数据同步记录中任一迁移信息，分别从所述源数据库中获取所述迁移信息对应的第一数据和从所述目标数据库中获取所述迁移信息对应的第二数据；

5、对所述第一数据和所述第二数据进行比对，确定比对结果；所述比对结果用于表征数据同步的准确性及作为再次同步的触发依据。

6、本技术实施例中，通过在源数据库至目标数据库的同步过程中，同步记载数据的迁移信息，根据迁移信息比对源数据库中的第一数据和目标数据库中的第二数据，使得数据在同步过程中也可以实时进行比对；若发现第一数据和第二数据不一致，触发再次同步，可以实时纠正数据同步的问题，无需停止业务运行就可以对搬迁数据进行比对，既不影响工作又提高了搬迁数据的准确性。

7、可选地，根据数据同步状况在数据同步记录中同步记载数据的迁移信息，包括：

8、针对所述源数据库中的增量数据，在所述增量数据同步过程中，在数据同步记录中同步记载所述增量数据的迁移信息；和/或

9、针对所述源数据库中的关键数据表，在所述关键数据表的数据同步过程中，在数据同步记录中同步记载所述关键数据表的数据的迁移信息。

10、本技术实施例中，通过对增量数据和关键数据进行实时比对，无需将所有搬迁数据都进行比对，可以提升比对的效率，避免了重复比对带来的工作量过大导致比对占用资源较多的问题。

11、可选地，还包括：

12、在源数据库至目标数据库的数据同步阶段结束后，获取所述源数据库在所述数据同步阶段进行同步的各第一数据的全局标识，以及异步数据库在所述数据同步阶段接收的各第二数据的全局标识；所述异步数据库用于将从所述源数据库接收的数据同步至所述目标数据库；

13、通过所述各第一数据的全局标识和所述各第二数据的全局标识，确定所述数据同步阶段的同步结果。

14、本技术实施例中，根据全局标识在数据同步结束后对第一数据的全局标识和第二数据的全局标识确定同步结果，避免了在数据同步过程中出现正常延迟而被认为未同步出现误判的情况。

15、可选地，确定比对结果之后，还包括：

16、若所述比对结果为比对失败，则再次触发所述源数据库将所述第一数据同步至所述目标数据库；所述比对失败用于指示同一数据条目在所述源数据库与所述目标数据库中存在至少一个字段不一致的数据。

17、本技术实施例中，若发现比对结果为失败，则立即出发再次同步，将源数据库的第一数据再次同步至目标数据库中，可以及时修复失败数据，保证了数据同步的准确性。

18、可选地，确定数据同步阶段的同步结果之后，还包括：

19、若所述同步结果为不一致，则针对各迁移信息对应的比对结果为未迁移的迁移信息，再次触发所述源数据库至所述目标数据库的数据同步；所述未迁移的迁移信息为所述源数据库中具有的数据但未同步至所述目标数据库中。

20、本技术实施例中，若同步结果不一致，则会触发再次同步，将源数据库中的迁移信息再次同步至目标数据库中，避免了目标数据库中出现未迁移的迁移信息，确保了迁移后数据完成不丢失。

21、可选地，通过各第一数据的全局标识和各第二数据的全局标识，确定数据同步阶段的同步结果，包括：

22、分别统计所述各第一数据的全局标识的数量和所述各第二数据的全局标识的数量；

23、比较所述各第一数据的全局标识的数量与所述各第二数据的全局标识的数量是否一致，将比较结果作为所述数据同步阶段的同步结果。

24、本技术实施例中，通过比对第一数据和第二数据的全局标识的数量是否一致可以得到在数据同步阶段是否发生数据丢失的现象，保证了数据同步的完整性。

25、第二方面，本技术实施例提供了一种数据同步核验装置，包括：

26、记载模块，用于在源数据库至目标数据库的数据同步过程中，根据数据同步状况在数据同步记录中同步记载数据的迁移信息；

27、获取模块，用于针对数据同步记录中任一迁移信息，分别从源数据库中获取迁移信息对应的第一数据和从目标数据库中获取迁移信息对应的第二数据；

28、比对模块，用于对第一数据和第二数据进行比对，确定比对结果；比对结果用于表征数据同步的准确性及作为再次同步的触发依据。

29、可选地，所述记载模块具体用于：

30、针对源数据库中的增量数据，在增量数据同步过程中，在数据同步记录中同步记载增量数据的迁移信息；和/或

31、针对源数据库中的关键数据表，在关键数据表的数据同步过程中，在数据同步记录中同步记载关键数据表的数据的迁移信息。

32、可选地，所述记载模块还用于：

33、在源数据库至目标数据库的数据同步阶段结束后，获取源数据库在数据同步阶段进行同步的各第一数据的全局标识，以及异步数据库在数据同步阶段接收的各第二数据的全局标识；异步数据库用于将从源数据库接收的数据同步至目标数据库；

34、通过各第一数据的全局标识和各第二数据的全局标识，确定数据同步阶段的同步结果。

35、可选地，所述比对模块还用于：

36、若比对结果为比对失败，则再次触发源数据库将第一数据同步至目标数据库；比对失败用于指示同一数据条目在源数据库与目标数据库中存在至少一个字段不一致的数据。

37、可选的，所述记载模块还用于：

38、若同步结果为不一致，则针对各迁移信息对应的比对结果为未迁移的迁移信息，再次触发源数据库至目标数据库的数据同步；未迁移的迁移信息为源数据库中具有的数据但未同步至目标数据库中。

39、可选的，所述记载模块具体用于：

40、分别统计各第一数据的全局标识的数量和各第二数据的全局标识的数量；

41、比较各第一数据的全局标识的数量与各第二数据的全局标识的数量是否一致，将比较结果作为数据同步阶段的同步结果。

42、第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述数据同步核验方法的步骤。

43、第四方面，本技术实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当程序在计算机设备上运行时，使得计算机设备执行上述数据同步核验方法的步骤。

44、第五方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机设备执行时，使计算机设备执行上述数据同步核验方法的步骤。