数据处理方法、装置、电子设备、介质和程序产品与流程

本申请涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备、介质和程序产品。

背景技术：

1、随着网络技术的发展，很多大型的网络系统都已经实现了单元化架构。单元化架构包括多个单元，而多个单元可以部署在不同的位置。可以通过多个单元进行组合以完成某个任务中的各个子任务，例如，可以通过多个单元协同完成与用户的某项交易任务。

2、数据处理装置会对交易数据进行处理，并将处理后的交易数据进行存储，以便于后续进行查询。

3、示例性技术中，数据处理装置对相同交易的各个数据进行处理得到聚合数据，再将聚合数据进行存储。聚合数据是同一笔交易的各个交易数据，在进行查询数据，用户需要基于聚合数据对产生交易数据的各个单元设备进行调用等分析，聚合数据的分析需要耗费较长的时间，导致单元设备所产生的异常问题未能被及时发现。

技术实现思路

1、本申请提供一种数据处理方法、装置、电子设备、介质和程序产品，用以解决单元设备所产生的异常问题未能被及时发现的问题。

2、一方面，本申请提供一种数据处理方法，应用于数据处理装置，所述数据处理方法包括：

3、获取流数据，并将流数据存储于缓存区域，所述流数据由多个第一交易数据构成；

4、在所述缓存区域内的所述流数据的各个第一交易数据中，获取数据标识相同的各个第二交易数据，并对各个所述第二交易数据进行聚合得到多个聚合数据，各个所述第二交易数据是所述数据标识对应的目标交易在不同单元设备产生的数据；

5、根据各个第二交易数据确定各个单元设备之间的调用关系，并获取各个所述单元设备之间的访问规则；

6、设置各个所述单元设备对应的节点，并根据所述调用关系、所述访问规则以及各个所述节点生成拓扑图，且根据所述调用关系、各个所述第二交易数据以及各个所述节点生成链路图；

7、将所述数据标识、各个所述聚合数据、所述拓扑图以及所述链路图，在持久化存储区域中进行关联存储。

8、另一方面，本申请还提供一种数据处理装置，包括：

9、第一获取模块，用于获取流数据，并将流数据存储于缓存区域，所述流数据由多个第一交易数据构成；

10、第二获取模块，用于在所述流数据的各个第一交易数据中获取数据标识相同的各个第二交易数据，并对各个所述第二交易数据进行聚合得到多个聚合数据，各个所述第二交易数据是所述数据标识对应的目标交易在不同单元设备产生的数据；

11、确定模块，用于根据各个第二交易数据确定各个单元设备之间的调用关系，并获取各个所述单元设备之间的访问规则；

12、设置模块，用于设置各个所述单元设备对应的节点，并根据所述调用关系、所述访问规则以及各个所述节点生成拓扑图，且根据所述调用关系、各个所述第二交易数据以及各个所述节点生成链路图；

13、存储模块，用于将所述数据标识、各个所述聚合数据、所述拓扑图以及所述链路图，在持久化存储区域中进行关联存储。

14、另一方面，本申请还提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

15、所述存储器存储计算机执行指令；

16、所述处理器执行所述存储器存储的计算机执行指令，以实现如上所述的方法。

17、另一方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的方法。

18、另一方面，本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

19、本申请提供的数据处理方法、装置、电子设备、介质和程序产品，获取流数据，并将流数据存储于缓存区域，在缓存区域内的流数据的各个第一交易数据中，获取数据标识相同的各个第二交易数据，并对各个第二交易数据进行聚合得到多个聚合数据，根据各个第二交易数据确定各个单元设备之间的调用关系，并获取各个单元设备之间的访问规则，设置各个单元设备对应的节点，并基于调用关系、访问规则以及各个节点生成拓扑图，且基于调用关系、各个第二交易数据以及各个节点生成链路图，最后将数据表述、各个聚合数据、拓扑图以及链路图在持久化存储区域进行关联存储。本申请中，在对相同交易的交易数据进行聚合后，基于各个交易数据生成链路图以及拓扑图，从而便于用户基于链路图或者拓扑图快速的确定各个单元设备之间的调用关系，无需用户进行分析，使得单元设备所产生的异常问题能被快速的发现。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述将所述数据标识、各个所述聚合数据、所述拓扑图以及所述链路图，在持久化存储区域中进行关联存储的步骤之后，还包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述输出所述数据标识关联的各个所述聚合数据、所述拓扑图和/或所述链路图的步骤包括：

4.根据权利要求1所述的数据处理方法，其特征在于，所述对各个所述第二交易数据进行聚合得到多个聚合数据的步骤之后，还包括：

5.根据权利要求1所述的数据处理方法，其特征在于，所述将所述数据标识、各个所述聚合数据、所述拓扑图以及所述链路图，在持久化存储区域中进行关联存储的步骤之后，还包括：

6.根据权利要求1所述的数据处理方法，其特征在于，所述获取流数据的步骤包括：

7.根据权利要求1所述的数据处理方法，其特征在于，所述将流数据存储于缓存区域的包括：

8.根据权利要求1-7中任一项所述的数据处理方法，其特征在于，所述缓存区域的容量根据所述流数据的数据量设置。

9.一种数据处理装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8中任一项所述的方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。

技术总结
本申请提供一种数据处理方法、装置、电子设备、介质和程序产品，属于数据处理技术领域，该方法包括：在缓存区域内的流数据的各个第一交易数据中，获取数据标识相同的各个第二交易数据，并对各个第二交易数据进行聚合得到多个聚合数据；根据各个第二交易数据确定各个单元设备之间的调用关系，并获取各个单元设备之间的访问规则；设置各个单元设备对应的节点，并根据调用关系、访问规则以及各个节点生成拓扑图，且根据调用关系、各个第二交易数据以及各个节点生成链路图；将数据标识、各个聚合数据、拓扑图以及链路图，在持久化存储区域中进行关联存储。本申请中，单元设备所产生的异常问题能被快速的发现。

技术研发人员：王鹏培,丁兴中,刘成锋,韩越
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/13