基于分布式技术的数据处理方法、装置、设备及存储介质与流程

本申请涉及分布式，尤其涉及基于分布式技术的数据处理方法、装置、设备及存储介质。

背景技术：

1、近年来，随着大数据、云计算等新兴技术的发展，传统的集中式架构正逐步向分布式架构迁移，技术架构下的服务粒度也随之变细。在分布式架构下，单个应用系统可以被划分为多个节点，这些节点通过对应的微服务之间的协调配合来实现该应用程序对应的业务功能。

2、以银行的交易场景为例，银行内部的员工可以通过员工统一门户系统这种分布式交易系统来完成交易。但是，分布式交易系统中包括许多节点，且各个节点都存在对应的前端交易，在不同的交易场景下也相应存在着不同的交易链路。基于此，当下需要对交易流程进行监控，使交易可以正常进行，系统正常运行。

技术实现思路

1、本申请实施例提供了基于分布式技术的数据处理方法、装置、设备及存储介质，以实现分布式交易系统中的数据分析，便于后续依据分析结果提升系统性能。

2、第一方面，本申请实施例提供了一种基于分布式技术的数据处理方法，包括：

3、获取分布式交易系统中的多个节点针对交易请求的交易响应数据；

4、对所述多个节点分别对应的交易响应数据进行分片，得到分片文件；

5、对所述分片文件进行分析，得到所述多个节点的交易响应情况。

6、可选地，所述多个节点分别对应的交易响应数据存储于交易数据表；

7、所述对所述多个节点分别对应的交易响应数据进行分片，得到分片文件，包括：

8、通过多线程分页查询的方式，从所述交易数据表中读取所述多个节点分别对应的交易响应数据；

9、按照预设数据类型处理所述多个节点分别对应的交易响应数据，以生成日志文件；

10、按照预设时间粒度对所述日志文件进行分片，得到所述分片文件。

11、可选地，所述按照预设时间粒度对所述日志文件进行分片，得到所述分片文件，包括：

12、按照所述预设时间粒度将所述日志文件压缩为预设格式的文件，以生成所述分片文件。

13、可选地，所述方法还包括：

14、响应于所述交易请求，基于当前时间信息、所述多个节点各自的编码信息，以及随机数生成所述交易请求对应的全局标识信息；

15、所述对所述分片文件进行分析，得到所述多个节点的交易响应情况，包括：

16、基于所述全局标识信息和所述多个节点各自的编码信息对所述分片文件进行分析，得到所述多个节点之间的响应时延；

17、将所述多个节点之间的响应时延作为所述多个节点的交易响应情况。

18、可选地，所述方法还包括：

19、响应于所述交易请求，基于当前时间信息、所述多个节点各自的编码信息，以及随机数生成所述交易请求对应的全局标识信息；

20、确定所述交易请求分别流转到所述多个节点的微服务环节数据；

21、所述对所述分片文件进行分析，得到所述多个节点的交易响应情况，包括：

22、基于所述全局标识信息和所述微服务环节数据，对所述分片文件进行分析，确定所述多个节点各自的微服务性能数据；

23、将所述多个节点各自的微服务性能数据作为所述多个节点的交易响应情况。

24、可选地，所述多个节点分别对应的交易响应数据为所述多个节点在预设时长内分别针对多个交易请求的交易响应数据；

25、所述对所述分片文件进行分析，得到所述多个节点的交易响应情况，包括：

26、基于所述预设时长横向对比所述分片文件，得到所述多个节点各自的业务高峰数据和/或性能压力数据；

27、将所述多个节点各自的业务高峰数据和/或性能压力数据作为所述多个节点的交易响应情况。

28、可选地，所述方法还包括：

29、在所述多个节点分别对应的交易响应数据的存放时间超过预设存放时间时，删除所述多个节点分别对应的交易响应数据；和/或，

30、在所述分片文件的存放时间超过预设存放时间时，删除所述分片文件。

31、第二方面，本申请实施例提供了一种信贷风险评估模型的训练装置，包括

32、获取模块，用于获取分布式交易系统中的多个节点针对交易请求的交易响应数据；

33、分片模块，用于对所述多个节点分别对应的交易响应数据进行分片，得到分片文件；

34、分析模块，用于对所述分片文件进行分析，得到所述多个节点的交易响应情况。

35、第三方面，本申请实施例提供了一种电子设备，所述设备包括：处理器、存储器、系统总线；

36、所述处理器以及所述存储器通过所述系统总线相连；

37、所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述基于分布式技术的数据处理方法的任一实现方式。

38、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述基于分布式技术的数据处理方法的任一实现方式。

39、从以上技术方案可以看出，本申请实施例具有以下优点：

40、在本申请实施例中，获取分布式交易系统中的多个节点针对交易请求的交易响应数据之后，可以对所述多个节点分别对应的交易响应数据进行分片，得到分片文件，再对分片文件进行分析，得到多个节点的交易响应情况。由于上述多个节点分别对应的交易响应数据可以表示同一交易请求在多个节点之间的流转情况，因此，可以通过交易请求对应的完整链路的数据分析，得到多个节点的交易响应情况，如此，即可实现对于交易流程的监控，从而能够在交易和/或系统出现问题后及时调整，尽可能地保证交易正常进行，系统正常运行。

技术特征：

1.一种基于分布式技术的数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述多个节点分别对应的交易响应数据存储于交易数据表；

3.根据权利要求2所述的数据处理方法，其特征在于，所述按照预设时间粒度对所述日志文件进行分片，得到所述分片文件，包括：

4.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的数据处理方法，其特征在于，所述多个节点分别对应的交易响应数据为所述多个节点在预设时长内分别针对多个交易请求的交易响应数据；

7.根据权利要求1至6任一项所述的数据处理方法，其特征在于，所述方法还包括：

8.一种基于分布式技术的数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述设备包括：处理器、存储器、系统总线；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1至7任一项所述的基于分布式技术的数据处理方法。

技术总结
本申请公开了基于分布式技术的数据处理方法、装置、设备及存储介质，可应用于分布式领域或金融领域。该方法包括：获取分布式交易系统中的多个节点针对交易请求的交易响应数据；对多个节点分别对应的交易响应数据进行分片，得到分片文件；对分片文件进行分析，得到多个节点的交易响应情况。由于上述多个节点分别对应的交易响应数据可以表示同一交易请求在多个节点之间的流转情况，因此，可以通过交易请求对应的完整链路的数据分析，得到多个节点的交易响应情况，如此，即可实现对于交易流程的监控，从而能够在交易和/或系统出现问题后及时调整，尽可能地保证交易正常进行，系统正常运行。

技术研发人员：孙波,侯慧欣,吴文建,赵永杰,陈俊彦
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/14