一种大数据量场景下的数据处理方法、设备及介质与流程

本申请涉及数据处理，尤其涉及一种大数据量场景下的数据处理方法、设备及介质。

背景技术：

1、随着互联网技术的不断发展，对企业财务系统的应用越来越广泛，企业财务系统通常要进行编制财务合并报销，以供后续财务人员使用。

2、目前内部交易数据抽取是编制合并报表中必不可少的一环，然而受限于当前数据抽取规则的复杂性以及财务系统中凭证体量的不可控性，内部交易数据抽取的耗时也具备极大的不确定性。这使得内部交易数据抽取耗时久，且抽取结果响应慢，给应用财务系统的用户带来不佳的使用体验。

技术实现思路

1、本申请实施例提供了一种大数据量场景下的数据处理方法、设备及介质，用于解决目前企业财务系统的内部交易数据抽取的业务呈现耗时久、响应慢，对用户使用不友好的技术问题。

2、一方面，本申请实施例提供了一种大数据量场景下的数据处理方法，该方法包括：

3、获取来自用户终端的归集数据参数二元组；

4、当接收到与所述归集数据参数二元组对应的财务数据归集请求之后，确定相应的取数规则数量及归集账簿数量；

5、基于所述取数规则数量、所述归集账簿数量及所述归集数据参数二元组，生成相应的异步调用数组；其中，所述异步调用数组用于划分基于所述取数规则数量及所述归集账簿数量构成的归集数据集；

6、根据所述异步调用数组及相应的数据归集api，对所述归集数据集中的数据进行数据抽取，并将抽取后的数据列表发送至所述用户终端进行展示。

7、在本申请的一种实现方式中，获取来自用户终端的归集数据参数二元组，具体包括：

8、根据当前硬件配置信息及预设配置参数关联列表，确定相应的参数选定区间集合；所述参数选定区间集合包括所述归集数据参数二元组的参数选定区间；

9、基于用户通过所述用户终端对所述参数选定区间集合的指定操作，确定相应的所述归集数据参数二元组。

10、在本申请的一种实现方式中，所述归集数据参数二元组包括api并发数参数、api承载账簿数量；所述api并发数参数为所述数据归集api对所述财务数据归集请求调用的并发数；api承载账簿数量为所述数据归集api对所述财务数据归集请求进行处理的账簿数量。

11、在本申请的一种实现方式中，基于所述取数规则数量、所述归集账簿数量及所述归集数据参数二元组，生成相应的异步调用数组，具体包括：

12、计算所述取数规则数量与所述api并发数参数的商值，为取数规则定义组数；

13、计算所述归集账簿数量与所述api承载账簿数量的商值，为账簿组数；

14、根据所述取数规则定义组数及所述账簿组数，生成所述异步调用数组。

15、在本申请的一种实现方式中，根据所述取数规则定义组数及所述账簿组数，生成所述异步调用数组，具体包括：

16、将所述取数规则定义组数作为所述异步调用数据的第一下标变量，将所述账簿组数作为所述异步调用数组的第二下标变量，生成m行n列的所述异步调用数组，并划分所述归集数据集；其中，所述m为取数规则定义组数；所述n为所述账簿组数；所述m、所述n为自然数。

17、在本申请的一种实现方式中，根据所述异步调用数组及相应的数据归集api，对所述归集数据集中的数据进行数据抽取，具体包括：

18、根据所述数据归集api，通过递归算法，依次确定所述异步调用数组中数组元素，并对所述归集数据集中所述数组元素对应的数据进行数据抽取，直至递归至所述异步调用数组的最后一个数组元素。

19、在本申请的一种实现方式中，所述方法还包括：

20、累计对所述归集数据集中的数据进行数据抽取的抽取时长；

21、在所述抽取时长大于预设时长阈值的情况下，生成修正提示信息，并将所述提示信息发送至所述用户终端，以便用户对所述归集数据参数二元组进行修正。

22、在本申请的一种实现方式中，所述方法还包括：

23、在所述指定操作得到的所述归集数据参数二元组不满足所述参数选定区间集合的情况下，生成界面提示信息，以便用户根据所述界面提示信息重新指定所述归集数据参数二元组。

24、另一方面，本申请实施例还提供了一种大数据量场景下的数据处理设备，所述设备包括：

25、至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

26、获取来自用户终端的归集数据参数二元组；

27、当接收到与所述归集数据参数二元组对应的财务数据归集请求之后，确定相应的取数规则数量及归集账簿数量；

28、基于所述取数规则数量、所述归集账簿数量及所述归集数据参数二元组，生成相应的异步调用数组；其中，所述异步调用数组用于划分基于所述取数规则数量及所述归集账簿数量构成的归集数据集；

29、根据所述异步调用数组及相应的数据归集api，对所述归集数据集中的数据进行数据抽取，并将抽取后的数据列表发送至所述用户终端进行展示。

30、再一方面，本申请实施例还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

31、获取来自用户终端的归集数据参数二元组；

32、当接收到与所述归集数据参数二元组对应的财务数据归集请求之后，确定相应的取数规则数量及归集账簿数量；

33、基于所述取数规则数量、所述归集账簿数量及所述归集数据参数二元组，生成相应的异步调用数组；其中，所述异步调用数组用于划分基于所述取数规则数量及所述归集账簿数量构成的归集数据集；

34、根据所述异步调用数组及相应的数据归集api，对所述归集数据集中的数据进行数据抽取，并将抽取后的数据列表发送至所述用户终端进行展示。

35、通过上述技术方案，本申请可以通过归集数据参数二元组，对财务数据归集请求进行多并发处理，动态调整线程并发数及处理粒度，从而合理配置服务器资源，以空间换时间，提高数据处理能力及吞吐量。防止因数据量过大造成的响应慢、耗时久的问题，提高用户的使用体验。

技术特征：

1.一种大数据量场景下的数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种大数据量场景下的数据处理方法，其特征在于，获取来自用户终端的归集数据参数二元组，具体包括：

3.根据权利要求2所述的一种大数据量场景下的数据处理方法，其特征在于，所述归集数据参数二元组包括api并发数参数、api承载账簿数量；所述api并发数参数为所述数据归集api对所述财务数据归集请求调用的并发数；api承载账簿数量为所述数据归集api对所述财务数据归集请求进行处理的账簿数量。

4.根据权利要求3所述的一种大数据量场景下的数据处理方法，其特征在于，基于所述取数规则数量、所述归集账簿数量及所述归集数据参数二元组，生成相应的异步调用数组，具体包括：

5.根据权利要求4所述的一种大数据量场景下的数据处理方法，其特征在于，根据所述取数规则定义组数及所述账簿组数，生成所述异步调用数组，具体包括：

6.根据权利要求1所述的一种大数据量场景下的数据处理方法，其特征在于，根据所述异步调用数组及相应的数据归集api，对所述归集数据集中的数据进行数据抽取，具体包括：

7.根据权利要求1所述的一种大数据量场景下的数据处理方法，其特征在于，所述方法还包括：

8.根据权利要求2所述的一种大数据量场景下的数据处理方法，其特征在于，所述方法还包括：

9.一种大数据量场景下的数据处理设备，其特征在于，所述设备包括：

10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令能够执行如上述权利要求1-8任一项所述的一种大数据量场景下的数据处理方法。

技术总结
本申请提供了一种大数据量场景下的数据处理方法、设备及介质，属于数据处理技术领域。解决目前企业财务系统的内部交易数据抽取的业务呈现耗时久、响应慢，对用户使用不友好的技术问题。该方法能够获取来自用户终端的归集数据参数二元组；当接收到与归集数据参数二元组对应的财务数据归集请求之后，确定相应的取数规则数量及归集账簿数量；基于取数规则数量、归集账簿数量及归集数据参数二元组，生成相应的异步调用数组；根据异步调用数组及相应的数据归集API，对归集数据集中的数据进行数据抽取，并将抽取后的数据列表发送至用户终端进行展示。

技术研发人员：刘琦,徐庆,孙嘉良,于红玲
受保护的技术使用者：浪潮通用软件有限公司
技术研发日：
技术公布日：2024/5/8