一种数值获取方法、装置、设备及存储介质与流程

本发明涉及数据处理，特别涉及一种数值获取方法、装置、设备及存储介质。

背景技术：

1、现有的数据加工取数需要先穷举所有取数条件的组合，然后通过加工处理存储到目标存储介质，使用时直接连接目标存储介质进行取数。这种方式存在加工数据过多，维护工作量太大，占用硬件资源较大以及取数性能较差的缺点。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种数值获取方法、装置、设备和存储介质，能够满足高频高并发的取数性能场景，提高了取数效率。其具体方案如下：

2、第一方面，本申请公开了一种数值获取方法，包括：

3、获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；

4、通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；

5、当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。

6、可选的，所述获取用户通过页面配置操作生成的配置信息，包括：

7、获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息；

8、获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息；

9、获取用户设置的函数信息，以得到函数配置信息；

10、基于所述用户设置的条件字段获取对应的优先级取数配置信息；

11、基于所述数据源配置信息、所述数据加工配置信息、所述函数配置信息以及所述优先级取数配置信息确定所述配置信息。

12、可选的，所述获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息之后，还包括：

13、当所述数据源信息发生变更时，向数据加工/取数引擎发送数据源缓存刷新信息；

14、当监测到所述数据源配置表中的目标按钮被点击时，对所述数据源信息进行校验；

15、当校验通过时，基于所述数据源缓存刷新信息缓存对应的更新后数据源信息并初始化数据连接池。

16、可选的，所述获取用户设置的函数信息，以得到函数配置信息之前，还包括：

17、将满足预设函数抽象规则的逻辑处理抽象成对应的函数，以得到函数库；

18、将所述函数库以jar的形式打包，以得到jar包，并将所述jar包导入页面；

19、通过预设加载方式将所述jar包加载至虚拟处理器，以便通过所述数据加工/取数引擎调用所述虚拟处理器执行目标函数。

20、可选的，所述获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息之后，还包括：

21、调用定时任务组件的定时任务执行接口将定时配置信息任务存储至定时任务表；

22、当到达所述定时配置信息任务的执行时间时，通过所述定时任务组件中的触发器触发所述获取预先配置好的数据加工配置信息的步骤。

23、可选的，所述通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表，包括：

24、获取当前任务id，并基于所述任务id获取所述数据加工配置信息；

25、执行所述数据加工配置信息中的加工口径，以得到所述数据源配置表；

26、获取所述加工口径对应的条件参数值，以得到副key；

27、判断所述数据源配置表中的信息数量是否大于预设阈值；

28、若所述信息数量大于所述预设阈值，则基于所述当前任务id、版本号以及当前模数构建主key；

29、若所述信息数量不大于所述预设阈值，则基于所述当前任务id、所述版本号构建所述主key；

30、组装所述主key以及对应的所述副key，以得到加工值；

31、通过json数组存储所述加工值，以得到所述加工结果表。

32、可选的，所述当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息，包括：

33、判断所述用户是否设置所述优先级取数配置信息；

34、若所述用户未设置所述优先级取数配置信息，则判断本地缓存中是否存在目标值；

35、若所述本地缓存中存在所述目标值，则基于所述当前任务id以及所述加工值从所述本地缓存中获取所述目标值，并执行后置函数进行过滤，将过滤后取值返回；

36、若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值；

37、将所述目标值存储至所述本地缓存，并执行所述后置函数进行过滤，将所述过滤后取值返回；

38、若所述用户设置所述优先级取数配置信息，则通过预设优先级筛选操作获取当前优先级对应的输入参数；

39、基于所述输入参数与所述加工值判断所述本地缓存中是否存在所述目标值；

40、若所述本地缓存中不存在所述目标值，则基于所述加工值从所述加工配置表中获取所述目标值，并执行前置函数进行过滤，以得到过滤后结果集；

41、判断所述过滤后结果集是否为空，若所述过滤后结果集不为空，则执行所述后置函数进行过滤，并将所述过滤后取值返回。

42、第二方面，本申请公开了一种数值获取装置，包括：

43、第一表获取模块，用于获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；

44、第二表获取模块，用于通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；

45、信息获取模块，用于当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。

46、第三方面，本申请公开了一种电子设备，包括：

47、存储器，用于保存计算机程序；

48、处理器，用于执行所述计算机程序，以实现如前述公开的数值获取方法的步骤。

49、第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如前述公开的数值获取方法。

50、可见，本申请提供了一种数值获取方法，包括：获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。由此可见，本申请通过对基于用户的页面配置操作形成的配置信息表进行加工，无需进行穷举即可得到加工结果表，在接收到用户发送的请求时，直接从所述加工结果表中的数据进行过滤，从而得到目标数据信息，满足高频高并发的取数性能场景，提高了取数效率。

技术特征：

1.一种数值获取方法，其特征在于，包括：

2.根据权利要求1所述的数值获取方法，其特征在于，所述获取用户通过页面配置操作生成的配置信息，包括：

3.根据权利要求2所述的数值获取方法，其特征在于，所述获取目标数据库中的数据源信息，并将所述数据源信息存储至数据源配置表，以得到数据源配置信息之后，还包括：

4.根据权利要求3所述的数值获取方法，其特征在于，所述获取用户设置的函数信息，以得到函数配置信息之前，还包括：

5.根据权利要求2所述的数值获取方法，其特征在于，所述获取预先配置好的数据加工配置信息，并将所述数据加工配置信息存储至加工配置表，以得到数据加工配置信息之后，还包括：

6.根据权利要求2所述的数值获取方法，其特征在于，所述通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表，包括：

7.根据权利要求6所述的数值获取方法，其特征在于，所述当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息，包括：

8.一种数值获取装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数值获取方法。

技术总结
本申请公开了一种数值获取方法、装置、设备及存储介质，涉及数据处理技术领域，用于解决目前数据配置工作量大的缺点，包括：获取用户通过页面配置操作生成的配置信息，并基于所述配置信息获取配置信息表；通过预设数据加工方式对所述配置信息表进行加工，以得到加工结果表；当接收到所述用户发送的数值获取请求时，通过预设数据过滤方法过滤所述加工结果表中的信息，以得到目标数据信息。本申请通过对基于用户的页面配置操作形成的配置信息表进行加工，无需进行穷举即可得到加工结果表，在接收到用户发送的请求时，直接从所述加工结果表中的数据进行过滤，从而得到目标数据信息，满足高频高并发的取数性能场景，提高了取数效率。

技术研发人员：邱佳磊,钱晓雷,母思路,吴海洋,邱剑锋,鲁磊磊,苏尚攀
受保护的技术使用者：税友软件集团股份有限公司
技术研发日：
技术公布日：2024/1/11