数据处理方法、电子设备及存储介质与流程

本技术实施例涉及信息，具体涉及一种数据处理方法、电子设备及存储介质。

背景技术：

1、数据集成，是指将数据在逻辑上或物理上进行集中；如，通过源端数据库的日志文件，将源端数据库中的数据集成到目标端数据库。

2、在从源端数据库获取日志文件时，存在获取到内容缺失的日志文件的情况，这会导致这些内容缺失的日志文件中的日志数据，未集成到目标端数据库，也就是产生漏数现象，会造成源端数据库与目标端数据库不一致，产生目标端的数据失真问题。

技术实现思路

1、本技术实施例提供一种数据处理方法、电子设备及存储介质，可以缓解在数据集成过程中的漏数现象，进而可以提升源端与目标端数据的一致性，从而减少目标端的数据失真的问题。

2、为达到上述目的，本技术的实施例采用如下技术方案：

3、第一方面，本技术提供了一种数据处理方法，该方法可以应用于数据存储系统中的电子设备。其中，电子设备可以是例如，个人计算机、笔记本电脑等等，具有数据传输及处理能力的电子设备；该数据存储系统包括源端数据库和目标端数据库。该方法包括：电子设备根据第一标识范围从源端数据库获取日志文件，该第一标识范围用于指示电子设备待获取的日志文件的日志数据标识的范围；获取到的日志文件用于对目标端数据库进行数据操作。接下来，若电子设备从获取到的日志文件中确定存在至少一个遗漏日志文件，则电子设备基于至少一个遗漏日志文件的起点日志数据标识和第一标识范围得到日志标志位。上述遗漏日志文件是包括的日志数据发生遗漏的日志文件。然后，电子设备根据上述日志标志位确定第二标识范围，并根据第二标识范围从所述源端数据库获取日志文件。其中，遗漏日志文件的起点日志数据标识是，该遗漏日志文件包括的第一条日志数据的日志数据标识。

4、在上述方法中，电子设备通过从第一次获取到的日志文件（也就是，使用第一标识范围获取到的日志文件）中确定遗漏日志文件，并根据该遗漏日志文件得到日志标志位。并根据标志位得到第二标识范围，根据第二标识范围从源端数据库获取日志文件（也就是，第二次从源端数据库获取日志文件）。这样，在第一次获取到的日志文件中的遗漏日志文件，就可以通过日志标志位和第二标识范围在第二次从源端数据库获取到；缓解在数据集成过程中的漏数现象，可以提升源端与目标端数据的一致性，从而减少目标端的数据失真问题。

5、在第一方面的一种可能的设计中，上述电子设备基于至少一个遗漏日志文件的起点日志数据标识和第一标识范围得到日志标志位，可以包括：在电子设备从根据第一标识范围获取到的日志文件中确定存在一个遗漏日志文件的情况下，电子设备将上述一个遗漏日志文件的起点日志数据标识和第一标识范围的范围起点中，（数值）最大的日志数据标识作为日志标志位。或者，在电子设备从根据第一标识范围获取到的日志文件中确定存在至少两个遗漏日志文件的情况下，电子设备在至少两个遗漏日志文件中确定目标遗漏日志文件；将目标遗漏日志文件的起点日志数据标识和第一标识范围的范围起点中，（数值）最大的日志数据标识作为日志标志位；其中，目标遗漏日志文件是至少两个遗漏日志文件中起点日志数据标识最小的遗漏日志文件，目标遗漏日志文件的起点日志数据标识是该目标遗漏日志文件包括的第一条日志数据的日志数据标识。

6、可以理解的，日志标志位与第二标识范围的范围起点正相关；以及日志数据标识会和日志数据的生成时间相关。也就是说，日志标识位越小，第二标识范围的范围起点也会越小；电子设备使用第二标识范围从源端数据库获取到的日志文件也会越多，以及电子设备获取到的日志文件中日志数据的生成时间也会越早，与电子设备的当前时间也会相差越多。可见，日志标志位越小，电子设备在通过第二标识范围获取日志文件，进行数据集成的实时性也就越低。在这种设计中，电子设备通过尽量将日志数据标识位设置得大，可以使得电子设备既可以在第二次从源端获取日志文件时，获取到电子设备在第一次从源端数据库获取日志文件时确定的遗漏日志文件，又可以使电子设备获取的日志文件数量比较少，还可以在一定程度上控制从源端数据库获取日志文件的时效性。这样，可以既缓解在数据集成时的漏数问题，又可以提高电子设备进行数据集成的实时性。

7、在第一方面的另一种可能的设计中，上述电子设备从获取到的日志文件中确定存在至少一个遗漏日志文件，可以包括：从获取到的日志文件中读取日志数据，若存在读取不到日志数据的日志文件，则确定存在至少一个遗漏日志文件。

8、在第一方面的另一种可能的设计中，上述电子设备从获取到的日志文件中确定存在至少一个遗漏日志文件，还可以包括：从基于第一标识范围获取到的日志文件中读取日志数据，将读取不到日志数据的日志文件，作为遗漏日志文件。

9、在第一方面的又一种可能的设计中，上述电子设备根据第一标识范围从源端数据库获取日志文件，可以包括：若电子设备未获取到与第一标识范围对应的每个日志文件，则电子设备重新根据第一标识范围获取日志文件，直至获取到与第一标识范围对应的每个日志文件。之后，电子设备基于获取到的与所述第一标识范围对应的每个日志文件，对目标端数据库进行数据操作。

10、可以理解的，考虑到在电子设备在根据第一标识范围从源端数据库获取日志文件的过程中，电子设备可能获取不到与第一标识范围对应的每个日志文件。基于此，在这种设计中，电子设备可以判断是否获取到与第一标识范围对应的每个日志文件，如未获取到则重新从源端数据库获取日志文件。直至电子设备获取到了与第一标识范围对应的每个日志文件。这样可以缓解，因为电子设备获取不到与第一标识范围对应的每个日志文件，而在电子设备的后续数据处理过程中导致的漏数现象。可以进一步地提升源端与目标端数据的一致性，从而缓解目标端的数据失真问题。

11、在第一方面的又一种可能的设计中，上述电子设备未获取到的且与所述第一标识范围对应的日志文件包括：切换日志文件；切换日志文件可以理解位源端数据库正在进行归档操作的日志文件。

12、在第一方面的另一种可能的设计中，上述电子设备根据第一标识范围从源端数据库获取日志文件，包括：若未获取到与第一标识范围对应的每个日志文件，则重新根据第一标识范围获取日志文件；直至根据第一标识范围获取日志文件的获取次数大于或者等于预设的次数阈值（如，5次、10次）。接下来，电子设备根据最后一次获取到的日志文件对目标端数据库进行数据操作。

13、可以理解的，考虑到如果源端数据库频繁地产生切换日志文件，电子设备就会重复地从源端获取日志文件，电子设备没有执行后续数据集成步骤，源端数据库中的数据到目标端数据库的时延会比较长，这会影响数据集成的实时性。基于此，在这种设计中，在电子设备从源端数据库获取日志文件的获取次数过多时，电子设备不会再次从源端数据库获取日志文件，直接基于最后一次获取到的日志文件对目标端数据库进行数据操作，这样可以使得源端数据库生成的日志文件可以及时的集成至目标端数据库，可以减少源端数据库的日志文件集成到目标端数据库的时延，可以提升电子设备进行数据集成的实时性。

14、在第一方面的又一种可能的设计中，上述日志文件还可以包括日志文件编号，上述方法还包括：电子设备确定缺失日志文件的日志文件编号，该缺失日志文件是未获取到的与第一标识范围对应的日志文件。接下来，电子设备根据缺失日志文件的日志文件编号，得到上述缺失日志文件的起点日志数据标识或终点日志数据标识。然后，电子设备根据缺失日志文件的起点日志数据标识或终点日志数据标识，从源端数据库获取到该缺失日志文件；之后，电子设备可以基于该缺失日志文件对目标端数据库进行数据操作。其中，缺失日志文件的起点日志数据标识是该缺失日志文件包括的第一条日志数据的日志数据标识；缺失日志文件的终点日志数据标识是该缺失日志文件包括的最后一条日志数据的日志数据标识。

15、在这种实现方式中，电子设备可以通过缺失日志文件的起点日志数据标识和终点日志数据标识，获取到上述缺失日志文件。并在后续，将该缺失日志文件中的日志数据集成至目标端数据库，这样，可以进一步地缓解数据集成时的漏数问题，提高源端数据库与目标端数据库的数据一致性，缓解目标端的数据失真问题。

16、在第一方面的另一种可能的设计中，上述日志文件包括：在线日志文件和归档日志文件。以及，上述电子设备根据第一标识范围从源端数据库获取日志文件包括：在日志文件是在线日志文件的情况下，电子设备获取在线日志文件的起点日志数据标识小于或等于第一标识范围的范围终点的在线日志文件。在日志文件是归档日志文件的情况下，电子设备获取起点日志数据标识小于或等于第一标识范围的范围终点，且大于或等于第一标识范围的范围起点的归档日志文件；或者，获取终点日志数据标识小于或等于第一标识范围的范围终点，且大于或等于第一标识范围的范围起点的归档日志文件。其中，在线日志文件的起点日志数据标识是该在线日志文件包括的第一条日志数据的日志数据标识，归档日志文件的起点日志数据标识是该归档日志文件包括的第一条日志数据的日志数据标识，归档日志文件的终点日志数据标识是该归档日志文件包括的最后一条日志数据的日志数据标识。

17、在这种设计中，电子设备在获取在线日志文件时，通过获取起点日志数据标识小于等于第一标识范围的范围终点的在线日志文件，可以更加全面、完整地获取在线日志文件，进而可以减少电子设备上出现的漏数现象。以及，电子设备在获取归档日志文件时，通过获取日志数据标识落入到上述第一标识范围中的归档日志文件，可以更加全面、完整地获取在线日志文件，进而可以减少电子设备上出现的漏数现象。

18、在第一方面的又一种可能的设计中，上述电子设备基于获取到的日志文件，对目标端数据库进行数据操作，可以包括：电子设备对获取到的所述日志文件进行解析，并基于解析后的日志文件对目标端数据库进行数据操作。其中，数据操作包括增加数据操作、删除数据操作或修改数据操作。

19、在第一方面的另一种可能的设计中，上述方法还包括：若电子设备从获取到的日志文件中确定不存在遗漏日志文件，则电子设备基于第一标识范围的范围终点得到日志标志位。

20、在第一方面的又一种可能的设计中，上述电子设备根据日志标志位确定第二标识范围，可以包括：电子设备将日志标志位作为第二标识范围的范围起点，并通过动态步长计算得到第二标识范围的范围终端。其中，动态步长与源端数据库中最大日志数据标识相关。

21、在这种设计中，通过设置动态步长，电子设备可以根据源端生成日志数据的速度来动态地调整电子设备从源端获取日志文件的速度。当源端生成日志数据的速度快时，电子设备使用比较多的资源加载比较多的日志数据，以使得电子设备以较快的速度从源端加载日志文件；当源端生成日志数据的速度慢时，电子设备使用比较少的资源加载比较少的日志数据，以使得电子设备以比较慢的速度从源端加载日志文件。这样，可以更加合理的利用电子设备以及源端的资源（如，处理器资源、输入输出接口资源等等），以及可以提升数据集成的实时性。

22、第二方面，本技术提供一种电子设备，该电子设备包括：存储器、一个或多个处理器、蓝牙模块；存储器与处理器耦合；其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令；当计算机指令被处理器执行时，使得电子设备执行上述第一方面及第一方面任一种可能的设计所提供的方法。

23、第三方面，本技术提供一种数据存储系统，该数据存储系统包括：源端数据库、目标端数据库。其中，该数据存储系统还包括第二方面所提供的电子设备。

24、第四方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面及第一方面任一种可能的设计所提供的方法。

25、第五方面，本技术提供一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得电子设备可以执行上述第一方面及第一方面任一种可能的设计所提供的方法。

26、其中，第二方面至第五方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。