一种数据处理方法、装置、电子设备及计算机可读介质与流程

文档序号:41502637发布日期:2025-04-01 19:27阅读:38来源:国知局

本申请涉及计算机,尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。


背景技术:

1、目前,采用离线加工方式生产源数据(spark),数据处理逻辑采用列式数据库结构化查询语言实现。数据加工生产源数据慢(至少需要t+1天),数据处理逻辑不通用。


技术实现思路

1、有鉴于此,本申请实施例提供一种数据处理方法、装置、电子设备及计算机可读介质,能够解决现有的数据加工生产源数据慢,数据处理逻辑不通用的问题。

2、为实现上述目的,根据本申请实施例的一个方面,提供了一种数据处理方法,包括:

3、根据接收到的数据处理请求获取宽表数据和主题标识;

4、基于宽表数据,获取对应的状态表数据,基于状态表数据、宽表数据和预设的过滤规则,生成目标数据;

5、根据目标数据和主题标识,确定口径计算方式;

6、基于口径计算方式提取目标数据中的计算元素进行计算,以得到计算结果数据;

7、根据计算结果数据更新状态表数据。

8、可选地,确定口径计算方式,包括:

9、根据主题标识确定对应的预设数据类型,判断目标数据中是否含有全部的预设数据类型对应的数据,根据判断结果数据确定口径计算方式。

10、可选地,根据判断结果数据确定口径计算方式,包括:

11、若判断结果数据为目标数据中不含有全部的预设数据类型对应的数据,提取目标数据对应的主键值,根据主键值确定口径计算方式。

12、可选地,根据主键值确定口径计算方式,包括:

13、若主键值包括订单数,则确定口径计算方式为统计提交订单数据;

14、若主键值包括销售金额,则确定口径计算方式为统计成交订单数据。

15、可选地,根据判断结果数据确定口径计算方式,包括:

16、若判断结果数据为目标数据中含有全部的多个预设数据类型对应的数据,则确定口径计算方式为统计提交订单数据和统计成交订单数据。

17、可选地,生成目标数据,包括:

18、提取状态表数据中与宽表数据对应的防重键值,响应于防重键值为第一预设值,提示重复处理信息,响应于防重键值为第二预设值,基于预设的过滤规则和宽表数据,生成目标数据。

19、可选地,生成目标数据,包括:

20、以宽表数据作为入参调用模型转换层,以将宽表数据转换为目标配置能识别的对象,进而得到转换后的宽表数据;

21、当状态表数据对应于宽表数据未被处理过时,基于预设的过滤规则对转换后的宽表数据进行过滤,进而生成目标数据。

22、另外,本申请还提供了一种数据处理装置,包括:

23、获取单元,被配置成根据接收到的数据处理请求获取宽表数据和主题标识;

24、目标数据生成单元,被配置成基于宽表数据,获取对应的状态表数据,基于状态表数据、宽表数据和预设的过滤规则,生成目标数据;

25、口径计算方式确定单元,被配置成根据目标数据和主题标识,确定口径计算方式;

26、计算单元,被配置成基于口径计算方式提取目标数据中的计算元素进行计算,以得到计算结果数据;

27、更新单元,被配置成根据计算结果数据更新状态表数据。

28、可选地,口径计算方式确定单元进一步被配置成:

29、根据主题标识确定对应的预设数据类型,判断目标数据中是否含有全部的预设数据类型对应的数据,根据判断结果数据确定口径计算方式。

30、可选地,口径计算方式确定单元进一步被配置成:

31、若判断结果数据为目标数据中不含有全部的预设数据类型对应的数据,提取目标数据对应的主键值,根据主键值确定口径计算方式。

32、可选地,口径计算方式确定单元进一步被配置成:

33、若主键值被配置成订单数,则确定口径计算方式为统计提交订单数据;

34、若主键值被配置成销售金额,则确定口径计算方式为统计成交订单数据。

35、可选地,口径计算方式确定单元进一步被配置成:

36、若判断结果数据为目标数据中含有全部的多个预设数据类型对应的数据,则确定口径计算方式为统计提交订单数据和统计成交订单数据。

37、可选地,目标数据生成单元进一步被配置成:

38、提取状态表数据中与宽表数据对应的防重键值,响应于防重键值为第一预设值,提示重复处理信息,响应于防重键值为第二预设值,基于预设的过滤规则和宽表数据,生成目标数据。

39、可选地,目标数据生成单元进一步被配置成:

40、以宽表数据作为入参调用模型转换层,以将宽表数据转换为目标配置能识别的对象,进而得到转换后的宽表数据;

41、当状态表数据对应于宽表数据未被处理过时,基于预设的过滤规则对转换后的宽表数据进行过滤,进而生成目标数据。

42、另外,本申请还提供了一种数据处理电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述的数据处理方法。

43、另外,本申请还提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述的数据处理方法。

44、为实现上述目的,根据本申请实施例的又一个方面,提供了一种计算机程序产品。

45、本申请实施例的一种计算机程序产品,包括计算机程序,程序被处理器执行时实现本申请实施例提供的数据处理方法。

46、上述发明中的一个实施例具有如下优点或有益效果:本申请通过根据接收到的数据处理请求获取宽表数据和主题标识;基于宽表数据,获取对应的状态表数据,基于状态表数据、宽表数据和预设的过滤规则,生成目标数据;根据目标数据和主题标识,确定口径计算方式;基于口径计算方式提取目标数据中的计算元素进行计算,以得到计算结果数据;根据计算结果数据更新状态表数据。提高数据处理速度和数据处理逻辑的通用性。

47、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。



技术特征:

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定口径计算方式,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据判断结果数据确定口径计算方式,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述主键值确定口径计算方式,包括:

5.根据权利要求2所述的方法,其特征在于,所述根据判断结果数据确定口径计算方式,包括:

6.根据权利要求1所述的方法,其特征在于,所述生成目标数据,包括:

7.根据权利要求1所述的方法,其特征在于,所述生成目标数据,包括:

8.一种数据处理装置,其特征在于,包括:

9.一种数据处理电子设备,其特征在于,包括:

10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。


技术总结
本申请公开了一种数据处理方法、装置、电子设备及计算机可读介质,涉及计算机技术领域,一具体实施方式包括根据接收到的数据处理请求获取宽表数据和主题标识;基于宽表数据,获取对应的状态表数据,基于状态表数据、宽表数据和预设的过滤规则,生成目标数据;根据目标数据和主题标识,确定口径计算方式;基于口径计算方式提取目标数据中的计算元素进行计算,以得到计算结果数据;根据计算结果数据更新状态表数据。提高数据处理速度和数据处理逻辑的通用性。

技术研发人员:朱为良
受保护的技术使用者:北京沃东天骏信息技术有限公司
技术研发日:
技术公布日:2025/3/31
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!