基于流计算的数据更新方法、装置、设备及介质与流程

本公开涉及计算机，尤其涉及一种基于流计算的数据更新方法、装置、设备及介质。

背景技术：

1、相关技术中，随着新技术的不断更新迭代，银行业、电信业等各行业的后台数据更新需求也极具增加，一方面需求更新时效性强，另一方面需求更新数据量大。然而目前多采用手工更新和日常跑批相结合方式进行，致使结果更新不及时、更新数据量不达标、费时费力、且数据时效性严重滞后等缺点。

技术实现思路

1、本公开提供一种基于流计算的数据更新方法、装置、设备及介质，以解决相关技术中结果更新不及时、更新数据量不达标、费时费力、且数据时效性严重滞后的技术问题。本公开的技术方案如下：

2、第一方面，本公开实施例提供一种基于流计算的数据更新方法，包括：

3、实时获取初始数据，并获取多个数据表；

4、将多个数据表中符合预设条件的数据表确定为第一维表数据；

5、将初始数据与第一维表数据进行维表关联，得到第一结果数据并存储。

6、在一种可能实施的方式中，本发明实施例提供的方法中，将初始数据与第一维表数据进行维表关联，得到第一结果数据并存储，包括：

7、以初始数据作为第一维表数据中首个数据表的输入数据；

8、将数据表的输入数据与数据表进行维表关联，得到数据表的结果数据；

9、以每个数据表的结果数据作为下一个数据表的输入数据，依次对第一维表数据中的每个数据表进行维表关联；

10、得到第一结果数据并存储。

11、在一种可能实施的方式中，本发明实施例提供的方法中，将多个数据表中符合预设条件的数据表确定为第一维表数据之后，方法还包括：

12、将多个数据表中不符合预设条件的数据表确定为第二维表数据；

13、将初始数据与第二维表数据进行维表关联，得到第二结果数据并存储。

14、在一种可能实施的方式中，本发明实施例提供的方法中，将初始数据与第二维表数据进行维表关联，得到第二结果数据并存储，包括：

15、基于第二维表数据中的多个数据表，得到目标数据表；

16、将初始数据与目标数据表进行维表关联，得到第二结果数据并存储。

17、在一种可能实施的方式中，本发明实施例提供的方法中，将初始数据与第一维表数据进行维表关联，得到第一结果数据并存储，包括：

18、在初始数据中增加第二结果数据；

19、将增加后的初始数据与第一维表数据进行维表关联，得到第一结果数据并存储。

20、在一种可能实施的方式中，本发明实施例提供的方法中，将增加后的初始数据与第一维表数据进行维表关联，得到第一结果数据并存储，包括：

21、以增加后的初始数据作为第一维表数据中首个数据表的输入数据；

22、将数据表的输入数据与数据表进行维表关联，得到数据表的结果数据；

23、以每个数据表的结果数据作为下一个数据表的输入数据，依次对第一维表数据中的每个数据表进行维表关联；

24、得到第一结果数据并存储。

25、在一种可能实施的方式中，本发明实施例提供的方法中，初始数据包括报文、埋点日志和后端服务日志中的一种或多种。

26、第二方面，本公开实施例还提供一种基于流计算的数据更新装置，包括：

27、获取单元，用于实时获取初始数据，并获取多个数据表；

28、确定单元，用于将多个数据表中符合预设条件的数据表确定为第一维表数据；

29、处理单元，用于将初始数据与第一维表数据进行维表关联，得到第一结果数据并存储。

30、在一种可能实施的方式中，本发明实施例提供的装置中，处理单元具体用于：

31、以初始数据作为第一维表数据中首个数据表的输入数据；

32、将数据表的输入数据与数据表进行维表关联，得到数据表的结果数据；

33、以每个数据表的结果数据作为下一个数据表的输入数据，依次对第一维表数据中的每个数据表进行维表关联；

34、得到第一结果数据并存储。

35、在一种可能实施的方式中，本发明实施例提供的装置中，确定单元还用于将多个数据表中不符合预设条件的数据表确定为第二维表数据；

36、处理单元还用于将初始数据与第二维表数据进行维表关联，得到第二结果数据并存储。

37、在一种可能实施的方式中，本发明实施例提供的装置中，处理单元具体用于：

38、基于第二维表数据中的多个数据表，得到目标数据表；

39、将初始数据与目标数据表进行维表关联，得到第二结果数据并存储。

40、在一种可能实施的方式中，本发明实施例提供的装置中，处理单元具体用于：

41、在初始数据中增加第二结果数据；

42、将增加后的初始数据与第一维表数据进行维表关联，得到第一结果数据并存储。

43、在一种可能实施的方式中，本发明实施例提供的装置中，处理单元还用于：

44、以增加后的初始数据作为第一维表数据中首个数据表的输入数据；

45、将数据表的输入数据与数据表进行维表关联，得到数据表的结果数据；

46、以每个数据表的结果数据作为下一个数据表的输入数据，依次对第一维表数据中的每个数据表进行维表关联；

47、得到第一结果数据并存储。

48、在一种可能实施的方式中，本发明实施例提供的装置中，获取单元用于实时获取初始数据，并获取多个数据表，其中初始数据包括报文、埋点日志和后端服务日志中的一种或多种。

49、第三方面，本公开实施例还提供一种电子设备，包括：

50、处理器；

51、用于存储所述处理器可执行指令的存储器；

52、其中，所述处理器被配置为执行所述指令，以实现第一方面所述的方法。

53、第四方面，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面所述的方法。

54、第五方面，本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现第一方面所述的方法。

55、本公开的实施例提供的技术方案至少带来以下有益效果：

56、在本公开的实施例中，首先实时获取初始数据，并获取多个数据表，然后将多个数据表中符合预设条件的数据表确定为第一维表数据，最后将初始数据与第一维表数据进行维表关联，得到第一结果数据并存储。提供了一种基于流计算的数据更新方案，能够在保证数据量的同时使得时效性要求较高的数据能够实时更新，实现流批一体，如此，可以有效减少人力消耗，使得数据时效性更加及时、数据质量更加全面、精确。

57、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种基于流计算的数据更新方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述初始数据与所述第一维表数据进行维表关联，得到第一结果数据并存储，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述多个数据表中符合预设条件的数据表确定为第一维表数据之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述初始数据与所述第二维表数据进行维表关联，得到第二结果数据并存储，包括：

5.根据权利要求4所述的方法，其特征在于，所述将所述初始数据与所述第一维表数据进行维表关联，得到第一结果数据并存储，包括：

6.根据权利要求5所述的方法，其特征在于，所述将增加后的初始数据与所述第一维表数据进行维表关联，得到第一结果数据并存储，包括：

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述初始数据包括报文、埋点日志和后端服务日志中的一种或多种。

8.一种基于流计算的数据更新装置，其特征在于，包括：

9.根据权利要求8所述的装置，其特征在于，所述处理单元具体用于：

10.根据权利要求8所述的装置，其特征在于，所述确定单元还用于将所述多个数据表中不符合预设条件的数据表确定为第二维表数据；

11.根据权利要求10所述的装置，其特征在于，所述处理单元具体用于：

12.根据权利要求10所述的装置，其特征在于，所述处理单元具体用于：

13.根据权利要求12所述的装置，其特征在于，所述处理单元还用于：

14.根据权利要求8-13中任一项所述的装置，其特征在于，所述获取单元用于实时获取初始数据，并获取多个数据表，其中所述初始数据包括报文、埋点日志和后端服务日志中的一种或多种。

15.一种电子设备，其特征在于，包括：

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于流计算的数据更新方法。

17.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述的基于流计算的数据更新方法。

技术总结
本公开实施例提供一种基于流计算的数据更新方法、装置、设备及介质。以解决相关技术中结果更新不及时、更新数据量不达标、费时费力、且数据时效性严重滞后的问题，该基于流计算的数据更新方法包括：实时获取初始数据，并获取多个数据表；将所述多个数据表中符合预设条件的数据表确定为第一维表数据；将所述初始数据与所述第一维表数据进行维表关联，得到第一结果数据并存储。

技术研发人员：刘高
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：
技术公布日：2024/1/13