一种数据处理方法及装置与流程

本申请涉及大数据领域，尤其涉及一种数据处理方法及装置。

背景技术：

1、随着科技的快速发展，业务系统通常每日都为用户提供当日全量时点类数据，为提高存储的使用率，通常保留一段时间后进行拉链表归档。但在某些情况下，比如监管监察等，又需要使用已归档的某日全量数据。这就需要从数据产生日开始，重新合并生成所需数据。由于时点类全量数据比较大，每日都以全量数据作为基础合并需要耗费大量的时间和资源。因此，如何提高数据处理的效率是一个亟需解决的问题。

技术实现思路

1、有鉴于此，本申请的主要目的在于提供一种数据处理方法及装置，实现了提高数据处理的效率。

2、本申请第一方面提供了一种数据处理方法，该方法包括：

3、对拉链表中的历史数据进行归档，并生成归档数据；

4、将预设时间段内的多个变化数据进行结合，并生成预设时间段内的总增量数据；

5、根据基础全量数据与预设时间段内的总增量数据生成截面增全量；

6、保存截面增全量与归档数据，并生成配置文件。

7、在本申请第一方面的一些实现方式中，该方法还可以包括：

8、根据每日全量表查询每日全量数据的有效期配置，每日全量表内包括截面增全量的时间参数；

9、将有效期配置的时间段内的每日全量数据合并以生成合并数据，并将合并数据存储至拉链表；

10、删除每日全量表中对应的合并数据。

11、在本申请第一方面的一些实现方式中，该方法还可以包括：

12、获取用户的第n日的生效时间以及失效时间；

13、根据第n日的生效时间以及失效时间查询第n日的全量数据。

14、在本申请第一方面的一些实现方式中，该方法还包括：

15、获取第n日的全量数据以及第n+1日的全量数据；

16、将第n日的全量数据和第n+1日的全量数据进行对比，以获取第n日的增量数据。

17、在本申请第一方面的一些实现方式中，将预设时间段内的多个变化数据进行结合，包括：

18、根据时间顺序将预设时间段内的多个变化数据进行结合。

19、本申请第二方面提供了一种数据处理装置，该数据处理装置包括：

20、归档单元，用于对拉链表中的历史数据进行归档，并生成归档数据；

21、总增量数据生成单元，用于将预设时间段内的多个变化数据进行结合，并生成预设时间段内的总增量数据；

22、截面增全量生成单元，用于根据基础全量数据与预设时间段内的总增量数据生成截面增全量；

23、存储单元，用于保存截面增全量与归档数据，并生成配置文件。

24、在本申请第二方面的一些实现方式中，该数据处理装置还包括：

25、查询单元，用于根据每日全量表查询每日全量数据的有效期配置，每日全量表内包括截面增全量的时间参数；

26、合并单元，用于将有效期配置的时间段内的每日全量数据合并以生成合并数据，并将合并数据存储至拉链表；

27、删除单元，用于删除每日全量表中对应的合并数据。

28、在本申请的第二方面的一些实现方式中，该数据处理装置还包括：

29、获取单元，用于获取用户的第n日的生效时间以及失效时间；

30、所述查询单元，还用于根据第n日的生效时间以及失效时间查询第n日的全量数据。

31、在本申请的第二方面的一些实现方式中，该总增量数据生成单元具体用于：根据时间顺序将预设时间段内的多个变化数据进行结合。

32、相对于现有技术，本申请所提供的技术方案具有如下有益效果：

33、在本申请中通过对拉链表中的历史数据进行归档，并生成归档数据；将预设时间段内的多个变化数据进行结合，并生成预设时间段内的总增量数据；根据基础全量数据与预设时间段内的总增量数据生成截面增全量；保存截面增全量与归档数据，并生成配置文件。相对现有技术而言，将大数据量的全量数据参与计算次数降到最低，以提升效率。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述将预设时间段内的多个变化数据进行结合，包括：

6.一种数据处理装置，其特征在于，所述数据处理装置包括：

7.根据权利要求6所述的数据处理装置，其特征在于，所述数据处理装置还包括：

8.根据权利要求7所述的数据处理装置，其特征在于，所述数据处理装置还包括：

9.根据权利要求7所述的数据处理装置，其特征在于，所述总增量数据生成单元具体用于：根据时间顺序将所述预设时间段内的多个变化数据进行结合。

10.一种计算机设备，其特征在于，所述设备包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序，运行如权利要求1-5任一项所述的方法。

技术总结
本申请公开了一种数据处理方法及装置，其中该数据处理方法包括：对拉链表中的历史数据进行归档，并生成归档数据；将预设时间段内的多个变化数据进行结合，并生成预设时间段内的总增量数据；根据基础全量数据与预设时间段内的总增量数据生成截面增全量；保存截面增全量与归档数据，并生成配置文件。以此实现提高数据处理的效率。

技术研发人员：陈国杰
受保护的技术使用者：中银金融科技有限公司
技术研发日：
技术公布日：2024/1/13