数据库的数据处理方法和装置与流程

本发明涉及数据处理，尤其涉及一种数据库的数据处理方法和装置。

背景技术：

1、随着业务逻辑的日趋复杂，数据量的不断增长。为便于业务人员进行更好的数据挖掘，数据仓库中需要存放的相关数据数量与数据种类也越来越多，数据库的数据处理成为至关重要的风险点。

2、目前大型数据仓库的自动备份方法多为对整个数据库或整个数据表统一进行全量备份处理，导致数据库处理时间长、所需占用的存储空间大。

技术实现思路

1、本发明提供一种数据库的数据处理方法和装置，用以解决现有技术中对整个数据库或整个数据表统一进行全量备份处理，处理时间长、占用空间大的缺陷，实现灵活高效地进行数据库的数据处理的同时，降低占用空间。

2、本发明提供一种数据库的数据处理方法，包括：

3、获取目标数据库中各数据表的配置参数；所述配置参数包括备份逻辑开关、备份历史状态、备份执行周期、备份模式，以及数据更新日期；

4、根据所述备份逻辑开关、所述备份历史状态以及所述备份执行周期，判断是否对各所述数据表执行备份操作；

5、根据判断结果、所述备份模式，以及所述数据更新日期，将各所述数据表中的目标数据备份至计算机设备。

6、根据本发明提供的一种数据库的数据处理方法，所述根据所述备份逻辑开关、所述备份历史状态以及所述备份执行周期，判断是否对各所述数据表执行备份操作，包括：

7、对于每一所述数据表执行如下操作：

8、在确定当前数据表的备份逻辑开关为备份开启状态的情况下，若所述当前数据表的备份执行周期与当前执行周期匹配成功，则在所述当前数据表的备份历史状态中，获取所述当前数据表在所述当前执行周期内的备份执行结果，以及所述当前数据表的最后一次执行日期；

9、在根据所述备份执行结果确定所述当前数据表执行失败和/或所述最后一次执行日期属于所述当前执行周期之前的任一执行周期的情况下，确定对所述当前数据表执行备份操作。

10、根据本发明提供的一种数据库的数据处理方法，所述根据判断结果、所述备份模式，以及所述数据更新日期，将各所述数据表中的目标数据备份至计算机设备，包括：

11、根据所述判断结果，在所述目标数据库中确定所需执行备份操作的待备份数据表；

12、根据所述待备份数据表的备份模式以及所述待备份数据表的数据更新日期，将所述待备份数据表中的目标数据备份至所述计算机设备；

13、其中，所述备份模式包括第一备份模式、第二备份模式和第三备份模式；所述第一备份模式用于对所述待备份数据表中的部分数据进行增量备份，所述第二备份模式用于对所述待备份数据表中的部分数据进行全量备份，所述第三备份模式用于对所述待备份数据表进行全量备份。

14、根据本发明提供的一种数据库的数据处理方法，所述根据所述待备份数据表的备份模式以及所述待备份数据表的数据更新日期，将所述待备份数据表中的目标数据备份至所述计算机设备，包括：

15、在确定所述待备份数据表的备份模式为所述第一备份模式的情况下，根据当前执行周期对应的备份周期，确定第一备份周期；

16、将所述第一备份周期与所述待备份数据表的数据更新日期中的各更新日期进行匹配，得到第一匹配结果；

17、根据所述第一匹配结果，在所述待备份数据表中确定更新日期与所述第一备份周期匹配的第一目标数据；

18、在所述计算机设备中，对所述第一目标数据进行增量备份。

19、根据本发明提供的一种数据库的数据处理方法，所述根据所述待备份数据表的备份模式以及所述待备份数据表的数据更新日期，将所述待备份数据表中的目标数据备份至所述计算机设备，包括：

20、在确定所述待备份数据表的备份模式为所述第二备份模式的情况下，根据当前执行周期对应的备份周期，确定第二备份周期；

21、将所述第二备份周期与所述待备份数据表的数据更新日期中的各更新日期进行匹配，得到第二匹配结果；

22、根据所述第二匹配结果，在所述待备份数据表中确定更新日期与所述第二备份周期匹配的第二目标数据；

23、在所述计算机设备中，对所述第二目标数据进行全量备份。

24、根据本发明提供的一种数据库的数据处理方法，所述方法还包括：

25、在确定所述待备份数据表的备份模式为第三备份模式的情况下，在所述计算机设备中，对所述待备份数据表进行全量备份。

26、根据本发明提供的一种数据库的数据处理方法，各所述数据表的配置参数还包括数据表名和数据库名；

27、在所述根据判断结果、所述备份模式，以及所述数据更新日期，将各所述数据表中的目标数据备份至计算机设备之后，所述方法还包括：

28、获取待恢复数据表和待恢复数据表的数据恢复时间截面；

29、根据所述待恢复数据表的数据表名和所述待恢复数据表对应的数据库名，在所述计算机设备中获取所述待恢复数据表的备份数据；

30、在确定所述待恢复数据表的备份模式为所述第一备份模式或所述第二备份模式的情况下，根据所述数据恢复时间截面，从所述备份数据中确定目标恢复数据，并根据所述目标恢复数据对所述待恢复数据表进行数据恢复；

31、在确定所述待恢复数据表的备份模式为所述第三备份模式的情况下，根据所述备份数据对所述待恢复数据表进行数据恢复。

32、根据本发明提供的一种数据库的数据处理方法，各所述数据表的配置参数还包括备份保留周期；

33、在所述根据判断结果、所述备份模式，以及所述数据更新日期，将各所述数据表中的目标数据备份至计算机设备之后，所述方法还包括：

34、在确定所述计算机设备中目标备份数据对应的数据表的备份模式为所述第一备份模式或所述第二备份模式的情况下，在所述目标备份数据的保留时间达到所述备份保留周期的情况下，对所述目标备份数据进行清除；

35、在确定所述目标备份数据对应的数据表的备份模式为所述第三备份模式的情况下，对所述目标备份数据进行永久保留。

36、本发明还提供一种数据库的数据处理装置，包括：

37、获取单元，用于获取目标数据库中各数据表的配置参数；所述配置参数包括备份逻辑开关、备份历史状态、备份执行周期、备份模式，以及数据更新日期；

38、第一处理单元，用于根据所述备份逻辑开关、所述备份历史状态以及所述备份执行周期，判断是否对各所述数据表执行备份操作；

39、第二处理单元，用于根据判断结果、所述备份模式，以及所述数据更新日期，将各所述数据表中的目标数据备份至计算机设备。

40、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据库的数据处理方法。

41、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据库的数据处理方法。

42、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据库的数据处理方法。

43、本发明提供的数据库的数据处理方法和装置，通过首先获取目标数据库中各数据表的配置参数，然后对于每一数据表，分别根据备份逻辑开关、备份历史状态以及备份执行周期判断是否对其执行备份操作，最后根据判断结果、备份模式，以及数据更新日期，备份各数据表中的目标数据至计算机设备，将增量与全量的备份模式相结合，通过与目标数据库中各数据表一一对应的配置参数适应性地对各数据表进行数据备份，减少单次所需备份数据量，实现灵活高效地进行数据库的数据处理的同时，降低占用空间。