一种数据处理方法及相关装置与流程

本发明涉及数据处理，尤其涉及一种数据处理方法及相关装置。

背景技术：

1、现今互联网软件发展迅速，用户数量激增。同时用户产生的数据也在不断增多，对于部分产品来说(如个人记账，进销存，支付)，不仅要处理用户产生的海量数据，且要将数据归集并迭代计算(如资金流水，库存流水)从而产生对应报表。

2、此时就对报表的数据准确性有较高的要求，如在数据出错时，则要实现错误数据的可追溯性，但现有技术中用户在复杂的迭代场景中，若处理的数据出错，由于数据处理过程中断杂糅未处理数据和终态数据，导致数据类型无法统一，因此无法实现数据的可追溯性。

技术实现思路

1、本发明实施例提供了一种数据处理方法及相关装置，用于通过对数据分区的方式，对数据执行不同阶段的运算，从而实现在对应阶段的数据出错时，实现错误数据的可追溯性。

2、本技术实施例第一方面提供了一种数据处理方法，包括：

3、将待处理的数据存储至数据暂存区，并在检测到处理指令时，以将所述待处理的数据分批次传输至数据缓冲区；

4、若检测到对所述待处理的数据执行迭代计算的请求，则在所述数据缓冲区内对执行迭代计算的数据进行整合，并将整合后的数据传输至数据处理区；

5、在所述数据处理区中对整合后的数据执行迭代计算。

6、优选的，在将整合后的数据传输至数据处理区之前，所述方法还包括：

7、将所述整合后的数据传输至数据清洗区，以在所述数据清洗区中对所述整合后的数据进行清洗。

8、优选的，在将待处理的数据存储至数据暂存区之后，所述方法还包括：

9、为当前批次的数据分配批次号。

10、优选的，在将待处理的数据存储至数据暂存区之后，所述方法还包括：

11、确定当前批次传输的目标数据量，以在当前批次中将所述目标数据量的数据传输至所述数据缓冲区。

12、优选的，所述确定当前批次传输的目标数据量，包括：

13、获取当前批次的前一批次所处理的数据量m；

14、获取当前批次的前一批次处理所述数据量m的处理时间t；

15、根据单批次的数据处理时间t、所述数据量m和所述处理时间t，确定当前批次传输的目标数据量。

16、优选的，所述方法还包括：

17、监控各个分区的数据，并对所述数据暂存区、所述数据缓冲区和所述数据处理区中的数据进行数据状态标记，其中，所述数据状态包括处理中、处理失败或处理成功；

18、通过标记的数据状态，对各个分区的数据执行对应的操作。

19、优选的，通过标记的数据状态，对各个分区的数据执行对应的操作，包括：

20、通过标记的数据状态，获取所述数据暂存区、所述数据缓冲区和所述数据处理区中当前批次的数据处理失败的次数；

21、若当前批次的数据处理失败的次数超出预设阈值，则发送提示信息。

22、优选的，所述方法还包括：

23、在各个分区获取到数据时，执行数据快照操作，得到每个分区的原始数据，并在对应的数据区域暂存所述原始数据；

24、所述通过标记的数据状态，对各个分区的数据执行对应相应的操作，还包括：

25、通过标记的数据状态，若检测到所述数据暂存区、所述数据缓冲区和所述数据处理区中任一区内的数据处理失败，则触发对应的数据区域利用所存储的原始数据重新计算。

26、优选的，所述方法还包括：

27、监测所述数据暂存区、所述数据缓冲区和所述数据处理区中处理成功的数据，并在处理成功后，清理数据处理过程中的中间态数据。

28、本技术实施例第二方面提供了一种数据处理装置，包括：

29、存储单元，用于将待处理的数据存储至数据暂存区，并在检测到处理指令时，以将所述待处理的数据分批次传输至数据缓冲区；

30、整合单元，用于若检测到对所述待处理的数据执行迭代计算的请求，则在所述数据缓冲区内对执行迭代计算的数据进行整合，并将整合后的数据传输至数据处理区；

31、计算单元，用于在所述数据处理区中对整合后的数据执行迭代计算。

32、优选的，所述装置还包括：

33、清洗单元，用于将所述整合后的数据传输至数据清洗区，以在所述数据清洗区中对所述整合后的数据进行清洗。

34、优选的，所述装置还包括：

35、分配单元，用于为数据暂存区中当前批次的数据分配批次号；

36、确定单元，用于确定数据暂存区中当前批次传输的目标数据量，以在当前批次中将所述目标数据量的数据传输至所述数据缓冲区。

37、优选的，所述确定单元，具体用于：

38、获取当前批次的前一批次所处理的数据量m；

39、获取当前批次的前一批次处理所述数据量m的处理时间t；

40、根据单批次的数据处理时间t、所述数据量m和所述处理时间t，确定当前批次传输的目标数据量。

41、优选的，所述装置还包括：

42、标记单元，用于监控各个分区的数据，并对所述数据暂存区、所述数据缓冲区和所述数据处理区中的数据进行数据状态标记，其中，所述数据状态包括处理中、处理失败或处理成功；

43、执行单元，用于通过标记的数据状态，对各个分区的数据执行对应的操作。

44、优选的，所述执行单元具体用于：

45、通过标记的数据状态，获取所述数据暂存区、所述数据缓冲区和所述数据处理区中当前批次的数据处理失败的次数；

46、所述装置还包括：

47、发送单元，用于若当前批次的数据处理失败的次数超出预设阈值，则发送提示信息。

48、优选的，所述执行单元，还用于：

49、在各个分区获取到数据时，执行数据快照操作，得到每个分区的原始数据，并在对应的数据区域暂存所述原始数据；

50、所述装置还包括：

51、触发单元，用于通过标记的数据状态，若检测到所述数据暂存区、所述数据缓冲区和所述数据处理区中任一区内的数据处理失败，则触发对应的数据区域利用所存储的原始数据重新计算。

52、优选的，所述装置还包括：

53、清理单元，用于监测所述数据暂存区、所述数据缓冲区和所述数据处理区中处理成功的数据，并在处理成功后，清理数据处理过程中的中间态数据。

54、本技术实施例第三方面提供了一种计算机装置，包括处理器，所述处理器在执行存储于存储器上的计算机程序时，用于实现本技术实施例第一方面提供的数据处理方法。

55、本技术实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，用于实现本技术实施例第一方面提供的数据处理方法。

56、本技术实施例第五方面提供了一种计算机程序产品，其上存储有计算机程序，该计算机程序被计算机设备执行时，用于实现本技术实施例第一方面提供的数据处理方法。

57、从以上技术方案可以看出，本发明实施例具有以下优点：

58、将待处理的数据存储至数据暂存区，并在检测到处理指令时，以将所述待处理的数据分批次传输至数据缓冲区；若检测到对所述待处理的数据执行迭代计算的请求，则在所述数据缓冲区内对执行迭代计算的数据进行整合，并将整合后的数据传输至数据处理区；在所述数据处理区中对整合后的数据执行迭代计算。

59、因为本技术实施例将数据划分至不同的数据分区，且在不同的数据分区中执行不同的动作指令，从而实现了在对应阶段的数据出错时，对错误数据的可追溯性。