一种数据处理效率测试方法、装置、服务器、介质及产品与流程

本申请涉及大数据领域，尤其涉及一种数据传输测试方法、装置、服务器、计算机可读存储介质以及计算机程序产品。

背景技术：

1、随着计算机技术，特别是大数据技术的快速发展，针对大数据进行数据处理的技术日益成熟。目前，数据处理主要分为离线处理和实时处理两种方式。其中，在数据的实时处理中，对数据处理效率要求较高。

2、为了对数据处理效率进行测试，业界通常会抽取部分数据，查询部分数据在各个数据层的落表时间差，从而获得数据处理效率测试结果。然而，数据的不连续性可能导致上述方法获得的测试结果不稳定。

技术实现思路

1、本申请提供了一种数据处理效率测试方法，该方法能够对数据处理的效率进行测试，提升了测试结果的稳定性和准确性。本申请还提供了上述方法对应的装置、服务器、计算机可读存储介质以及计算机程序产品。

2、第一方面，本申请提供了一种数据处理效率测试方法。所述方法包括：

3、获取源数据以及所述源数据对应的多个中间层的采集对象，所述多个中间层用于处理所述源数据；

4、以设定的采集频率，采集所述多个中间层的采集对象，获得多个偏移量；

5、根据所述多个偏移量，确定所述源数据的效率测试结果。

6、在一些可能的实现方式中，所述根据所述多个偏移量，确定所述源数据的效率测试结果，包括：

7、根据所述多个偏移量，确定至少一个偏移量差值，所述至少一个偏移量差值为所述多个中间层中相邻的中间层的偏移量的差值；

8、根据所述至少一个偏移量差值，确定所述源数据的效率测试结果。

9、在一些可能的实现方式中，所述根据所述至少一个偏移量差值，确定所述源数据的效率测试结果，包括：

10、根据目标时间段内多个所述至少一个偏移量差值，生成所述目标时间段内的偏移量差值曲线；

11、根据所述偏移量差值曲线，确定所述源数据的效率测试结果。

12、在一些可能的实现方式中，所述获取源数据，包括：

13、获取配置信息，所述配置信息包括测试环境信息、源数据信息、测试时间信息中的一种或多种；

14、根据所述配置信息，获取源数据。

15、在一些可能的实现方式中，所述获取所述源数据对应的多个中间层的采集对象，包括：

16、根据所述源数据以及多个中间层对应的数据处理规则，确定所述源数据对应的多个中间层的采集对象。

17、在一些可能的实现方式中，所述根据所述源数据以及多个中间层对应的数据处理规则，确定所述源数据对应的多个中间层的采集对象，包括：

18、根据源数据的主题以及多个中间层对应的数据处理规则，确定所述源数据对应的多个中间层的主题；

19、根据所述多个中间层的主题，确定所述源数据对应的多个中间层的采集对象。

20、第二方面，本申请提供了一种数据处理效率测试装置。所述装置包括：

21、获取模块，用于获取源数据以及所述源数据对应的多个中间层的采集对象，所述多个中间层用于处理所述源数据；

22、采集模块，用于以设定的采集频率，采集所述多个中间层的采集对象，获得多个偏移量；

23、确定模块，用于根据所述多个偏移量，确定所述源数据的效率测试结果。

24、在一些可能的实现方式中，所述确定模块具体用于：

25、根据所述多个偏移量，确定至少一个偏移量差值，所述至少一个偏移量差值为所述多个中间层中相邻的中间层的偏移量的差值；

26、根据所述至少一个偏移量差值，确定所述源数据的效率测试结果。

27、在一些可能的实现方式中，所述确定模块具体用于：

28、根据目标时间段内多个所述至少一个偏移量差值，生成所述目标时间段内的偏移量差值曲线；

29、根据所述偏移量差值曲线，确定所述源数据的效率测试结果。

30、在一些可能的实现方式中，所述获取模块具体用于：

31、获取配置信息，所述配置信息包括测试环境信息、源数据信息、测试时间信息中的一种或多种；

32、根据所述配置信息，获取源数据。

33、在一些可能的实现方式中，所述获取模块具体用于：

34、根据所述源数据以及多个中间层对应的数据处理规则，确定所述源数据对应的多个中间层的采集对象。

35、在一些可能的实现方式中，所述获取模块具体用于：

36、根据源数据的主题以及多个中间层对应的数据处理规则，确定所述源数据对应的多个中间层的主题；

37、根据所述多个中间层的主题，确定所述源数据对应的多个中间层的采集对象。

38、第三方面，本申请提供了一种服务器。所述服务器包括处理器和存储器，所述存储器中存储有指令，所述处理器执行所述指令，以使所述服务器执行如本申请第一方面或第一方面的任一种实现方式所述的方法。

39、第四方面，本申请提供了一种计算机可读存储介质。所述计算机可读存储介质中存储有指令，当其在服务器上运行时，使得服务器执行上述第一方面或第一方面的任一种实现方式所述的方法。

40、第五方面，本申请提供了一种计算机程序产品。所述计算机程序产品包括计算机可读指令，当其在服务器上运行时，使得所述服务器执行上述第一方面或第一方面的任一种实现方式所述的方法。

41、本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

42、基于上述内容描述，可知本申请的技术方案具有如下有益效果：

43、具体地，该方法首先获取源数据以及源数据对应的多个中间层的采集对象，其中，多个中间层用于处理所述源数据，接着以设定的采集频率，采集多个中间层的采集对象，获得多个偏移量，根据多个偏移量，确定源数据的效率测试结果。

44、该方法通过采集数据处理过程中多个中间件的偏移量的方式进行数据处理的时效性测试，无需对数据进行抽取，即可获得数据处理效率测试结果，如此，不受数据不连续性的影响，测试结果具有稳定性和准确性。

技术特征：

1.一种数据处理效率测试方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个偏移量，确定所述源数据的效率测试结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个偏移量差值，确定所述源数据的效率测试结果，包括：

4.根据权利要求1所述的方法，其特征在于，所述获取源数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述获取所述源数据对应的多个中间层的采集对象，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述源数据以及多个中间层对应的数据处理规则，确定所述源数据对应的多个中间层的采集对象，包括：

7.一种数据处理效率测试装置，其特征在于，所述装置包括：

8.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有指令，所述处理器执行所述指令，以使所述服务器执行如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当所述计算机可读指令在服务器上运行时，使得所述服务器执行如权利要求1至6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机可读指令，当所述计算机程序产品在服务器上运行时，使得所述服务器执行如权利要求1至6中任一项所述的方法。

技术总结
本申请提供了一种数据处理效率测试方法、装置、服务器、介质及产品，可应用于大数据领域或金融领域，该方法包括：获取源数据以及源数据对应的多个中间层的采集对象，其中，多个中间层用于处理所述源数据；以设定的采集频率，采集多个中间层的采集对象，获得多个偏移量；根据所述多个偏移量，确定源数据的效率测试结果。该方法通过采集数据处理过程中多个中间件的偏移量的方式进行数据处理的时效性测试，无需对数据进行抽取，即可获得数据处理效率测试结果，如此，不受数据不连续性的影响，测试结果具有稳定性和准确性。

技术研发人员：王世玲
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/15