数据处理系统及数据处理方法与流程

本申请属于计算机，特别是涉及一种数据处理系统及数据处理方法。

背景技术：

1、在互联网高速发展的时代，企业数据呈数据结构多元化、连接高并发、数据量级几何增长的趋势。

2、对于需要快速响应且高并发的数据读写操作但整体数据量不大的场景，现在常用的技术方案是：程序直连单节点缓存数据库或者主从高可用架构中的主库进行数据库的读写操作。而针对较大数据量且并发较高的场景，则采取的是无中心化缓存数据库集群，在应用服务端配置多个连接地址，由应用服务端进行连接逻辑的判断以及根据数据库集群反馈的信息再次路由至正确的节点进行数据的读写。

3、上述两种场景下，都是采用的直连缓存数据库的方式。但由于各类开发语言下连接组件的不完善，应用服务端的组件或多或少存在配置问题，会出现因单点故障等导致的程序不能正确使用集群的现象；在数据需要拆分存入多套集群时，应用程序里的连接地址配置拆分无法实现或者比较麻烦，单套就只能部署在一个区域，无法实现区域级别的扩容。

技术实现思路

1、有鉴于此，本申请实施例提供了一种数据处理系统及数据处理方法，用以提高统一数据访问入口，简化应用程序与缓存数据库的连接逻辑的复杂性。

2、本申请实施例的第一方面提供了一种数据处理系统，包括：客户端设备集群、代理服务器集群以及数据库集群，所述数据库集群包括至少3个数据库节点，所述代理服务器集群包括至少2个代理服务器，所述客户端设备集群包括处于同一区域内的多个客户端设备，其中：

3、所述客户端设备集群，用于接收应用请求，并根据所述应用请求向所述代理服务器集群发送数据操作指令；

4、所述代理服务器集群，用于确定处理所述数据操作指令的数据库节点，将所述数据操作指令发送至所述数据库节点，并将所述数据库节点返回的执行结果发送至对应的所述客户端设备；

5、所述数据库节点，用于执行来自所述代理服务器集群的数据操作指令，并将执行结果返回所述代理服务器集群。

6、本申请实施例的第二方面提供了一种数据处理方法，包括：

7、监测各个区域内的应用请求的数量；

8、基于各个所述区域内的应用请求的数量，在各个所述区域内部署客户端设备集群和代理服务器集群，所述客户端设备集群和所述代理服务器集群是上述第一方面所述的数据处理系统中的客户端设备集群和代理服务器集群；

9、基于每个所述区域内部署的所述客户端设备集群和所述代理服务器集群，对各个所述区域内的应用请求进行数据处理。

10、本申请实施例的第三方面提供了一种数据处理方法，应用于代理服务器，所述代理服务器与多个其他的代理服务器处于同一代理服务器集群中，所述代理服务器集群与一个客户端设备集群对应，所述客户端设备集群中包括处于同一区域内的多个客户端设备，所述方法包括：

11、接收来自客户端设备的数据操作指令；

12、若查找到所述数据操作指令对应的数据库节点，则将所述数据操作指令发送至所述数据库节点；

13、将所述数据库节点返回所述数据操作指令的执行结果返回至所述客户端设备。

14、本申请实施例的第四方面提供了一种数据处理装置，包括：

15、监测模块，用于监测各个区域内的应用请求的数量；

16、部署模块，用于基于各个所述区域内的应用请求的数量，在各个所述区域内部署客户端设备集群和代理服务器集群，所述客户端设备集群和所述代理服务器集群是上述第一方面所述的数据处理系统中的客户端设备集群和代理服务器集群；

17、处理模块，用于基于每个所述区域内部署的所述客户端设备集群和所述代理服务器集群，对各个所述区域内的应用请求进行数据处理。

18、本申请实施例的第五方面提供了一种数据处理装置，应用于代理服务器，所述代理服务器与多个其他的代理服务器处于同一代理服务器集群中，所述代理服务器集群与一个客户端设备集群对应，所述客户端设备集群中包括处于同一区域内的多个客户端设备，所述装置包括：

19、接收模块，用于接收来自客户端设备的数据操作指令；

20、发送模块，用于若查找到所述数据操作指令对应的数据库节点，则将所述数据操作指令发送至所述数据库节点；

21、返回模块，用于将所述数据库节点返回所述数据操作指令的执行结果返回至所述客户端设备。

22、本申请实施例的第六方面提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第三方面所述的方法。

23、本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第二方面或第三方面所述的方法。

24、本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在服务器上运行时，使得所述服务器执行上述第二方面或第三方面所述的方法。

25、与现有技术相比，本申请实施例包括以下优点：

26、本申请实施例中的数据处理系统，客户端设备集群接收应用请求，并根据应用请求向代理服务器集群发送数据操作指令；代理服务器集群可以确定处理数据操作指令的数据库节点，并将数据操作指令发送至数据库节点；数据库节点，可以执行来自代理服务器集群的数据操作指令，并将执行结果返回代理服务器集群。代理服务器集群可以将数据库节点返回的执行结果发送至对应的客户端设备。本申请实施例中，使用了代理服务器集群处理客户端设备和数据库的连接逻辑，可以统一应用服务层访问入口，简化应用层连接逻辑的复杂性。保证数据可以无故障持续被访问。

技术特征：

1.一种数据处理系统，其特征在于，包括：客户端设备集群、代理服务器集群以及数据库集群，所述数据库集群包括至少3个数据库节点，所述代理服务器集群包括至少2个代理服务器，所述客户端设备集群包括处于同一区域内的多个客户端设备，其中：

2.如权利要求1所述的系统，其特征在于，所述客户端设备集群的数量包括多个，所述代理服务器集群的数量包括多个，所述数据库集群的数量包括多个，任一所述客户端设备集群与一个所述代理服务器集群对应；

3.一种数据处理方法，其特征在于，包括：

4.如权利要求3所述的方法，其特征在于，所述基于各个所述区域内的应用请求的数量，在各个所述区域内部署客户端设备集群和代理服务器集群，包括：

5.如权利要求3所述的方法，其特征在于，所述方法还包括：

6.如权利要求3-5任一项所述的方法，其特征在于，所述方法还包括：

7.如权利要求3-5任一项所述的方法，其特征在于，所述方法还包括：

8.一种数据处理方法，其特征在于，应用于代理服务器，所述代理服务器与多个其他的代理服务器处于同一代理服务器集群中，所述代理服务器集群与一个客户端设备集群对应，所述客户端设备集群中包括处于同一区域内的多个客户端设备，所述方法包括：

9.如权利要求8所述的方法，其特征在于，所述方法还包括：

10.如权利要求8所述的方法，其特征在于，所述代理服务器中存储有多个数据库节点的配置信息，所述若查找到所述数据操作指令对应的数据库节点，则将所述数据操作指令发送至所述数据库节点，包括：

技术总结
本申请实施例适用于计算机技术领域，提供了一种数据处理系统及数据处理方法，该数据处理系统包括：客户端设备集群、代理服务器集群以及数据库集群，数据库集群包括至少3个数据库节点，代理服务器集群包括至少2个代理服务器，客户端设备集群包括处于同一区域内的多个客户端设备，其中：客户端设备集群接收应用请求，并根据应用请求向代理服务器集群发送数据操作指令；代理服务器集群确定处理数据操作指令的数据库节点，将数据操作指令发送至数据库节点，并将数据库节点返回的执行结果发送至对应的客户端设备；数据库节点执行来自代理服务器集群的数据操作指令，并将执行结果返回代理服务器集群。通过上述方法，能够简化应用层连接逻辑。

技术研发人员：谌雪萍,王子煜,肖燕华,邓金拓
受保护的技术使用者：深圳市前海研祥亚太电子装备技术有限公司
技术研发日：
技术公布日：2024/4/7