一种基于分布式服务器的数据处理系统及数据处理方法与流程

本申请涉及大数据领域，特别是涉及一种基于分布式服务器的数据处理系统及数据处理方法。

背景技术：

1、随着科技的不断发展，数据的数量也在不断地增长，与此同时分布式服务器的架构应运而生。分布式服务器可以简单的理解为将多个服务器组成一个服务器完成任务，在金融领域数据类型众多，不同类型的数据一般被存储于分布式服务器中不同的服务器中，不同的服务器之间相互独立。但是在一些场景下需要对不同类型的数据进行综合的分析，现有技术中只能对分布式服务器中相同数据类型相同的数据进行分析，而数据类型不同的数据则无法分析。

2、为此，如何对分布式服务器中不同类型的数据进行分析成为了本领域技术人员亟需解决的技术问题。

技术实现思路

1、基于上述问题，本申请提供了一种基于分布式服务器的数据处理系统及数据处理方法以解决现有技术无法对分布式服务器中不同类型的数据进行分析的问题。

2、本申请提供了一种基于分布式服务器的数据处理系统，所述基于分布式服务器的数据处理系统包括以下模块：

3、数据接入模块，所述数据接入模块用于接收分布式服务器中不同的服务器发送的数据；

4、数据处理模块，所述数据处理模块用于对数据进行校验、压缩或转码；

5、队列匹配模块，所述队列匹配模块用于将处理后的数据与预设队列进行匹配，所述预设队列包括批转联队列、推送队列和存储队列；

6、任务执行模块，所述任务执行模块用于执行对应于预设队列的任务，所述任务包括批转联任务，推送任务和存储任务；

7、备份模块，所述备份模块用于将执行任务后的数据进行备份。

8、可选的，所述基于分布式服务器的数据处理系统进一步包括：

9、清理模块，所述清理模块用于将存储时间超过预设时间的数据进行删除。

10、可选的，所述数据处理模块进一步用于：

11、将大于预设尺寸的数据进行切分得到多个子数据；以及将多个子数据拼接得到所述大于预设尺寸的数据。

12、本申请还提供了一种数据处理方法，本申请提供的方法可以应用于上述基于分布式服务器的数据处理系统，所述数据处理方法包括以下步骤：

13、接收第一服务器发送的第一数据；

14、对所述第一数据进行校验，当所述第一数据校验成功时将所述第一数据与预设队列进行匹配，基于匹配结果将所述第一数据加入预设队列；

15、识别所述第一数据加入的预设队列对应的第二服务器；

16、将所述第一数据转码为所述第二服务器支持的编码形式；

17、将转码后的所述第一数据发送至第二服务器，所述第一服务器和所述第二服务器是所述分布式服务器中的服务器，所述第一服务器对文件的编码形式与所述第二服务器对文件的编码形式不同。

18、可选的，所述数据处理方法进一步包括：

19、当所述第一数据大于预设尺寸时，对所述第一数据进行切分得到多个个子数据；

20、所述将所述第一数据转码为所述第二服务器支持的编码形式包括：

21、将所述切分得到多个子数据转码为所述第二服务器支持的编码形式；

22、所述将转码后的所述第一数据发送至第二服务器之前还包括：

23、将转码后的所述切分得到多个个子数据拼接为转码后的第二数据。

24、可选的，所述数据处理方法进一步包括：

25、对所述第一数据进行备份；

26、当所述第一数据的存储时间大于预设时间时，删除所述第一数据。

27、可选的，所述预设队列包括批转联队列、推送队列和存储队列。

28、可选的，所述方法编码形式包括utf-8、gbk或utf-16。

29、本申请还提供了一种电子设备，所述电子设备包括处理器以及存储器：

30、所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；

31、所述处理器用于根据所述计算机程序中的指令执行上述数据处理方法的步骤。

32、本申请还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被电子设备执行时实现上述数据处理方法的步骤。

33、相较于现有技术，本申请具有以下有益效果：

34、本申请提供的基于分布式服务器的数据处理系统通过数据接入模块接收分布式服务器中不同的服务器发送的数据，分布式服务器中不同的服务器可以存储不同类型的数据，本申请提供的基于分布式服务器的数据处理系统可以接收分布式服务器中任意一种数据类型的数据，实现了数据汇总。通过数据处理模块可以对不同类型的数据进行转码，转码得到相同类型的数据，通过转码可以将分布式服务器中原本不同类型的数据转换为相同类型的数据，实现对分布式服务器中原本不同类型的数据进行分析。

技术特征：

1.一种基于分布式服务器的数据处理系统，其特征在于，包括：

2.根据权利要求1所述的系统，其特征在于，所述系统进一步包括：

3.根据权利要求1所述的系统，其特征在于，所述数据处理模块进一步用于：

4.一种数据处理方法，应用于权利要求1-3任意一项所述的基于分布式服务器的数据处理系统，其特征在于，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：

6.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：

7.根据权利要求1所述的方法，其特征在于，所述预设队列包括批转联队列、推送队列和存储队列。

8.根据权利要求1所述的方法，其特征在于，所述编码形式包括utf-8、gbk或utf-16。

9.一种电子设备，其特征在于，包括存储器和处理器，其中：

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求4-8任意一项所述的数据处理方法。

技术总结
本申请提供了一种基于分布式服务器的数据处理系统及数据处理方法，应用于金融领域或大数据领域，所述数据处理系统包括：数据接入模块，所述数据接入模块用于接收分布式服务器中不同的服务器发送的数据；数据处理模块，所述数据处理模块用于对数据进行校验、压缩或转码；队列匹配模块，所述队列匹配模块用于将处理后的数据与预设队列进行匹配，所述预设队列包括批转联队列、推送队列和存储队列；任务执行模块，所述任务执行模块用于执行对应于预设队列的任务，所述任务包括批转联任务，推送任务和存储任务；备份模块，所述备份模块用于将执行任务后的数据进行备份。本申请提供的数据处理系统可以对分布式服务器不同类型的数据进行分析处理。

技术研发人员：张园
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/15