一种数据处理方法、服务器及数据处理系统与流程

本发明涉及大数据领域，尤其涉及数据处理方法、服务器及数据处理系统。

背景技术：

1、目前，国内主流金融系统的核心业务是采用早期较为成熟的主机(例如ibm大型机)作为主要操作系统，并利用主机的配套数据库(例如ibm的配套关系型数据库系统db2)进行数据存储。各大互联网金融系统由于直连主机的操作系统对主机的通用cpu消耗过于依赖，为了解决该问题，各大互联网金融系统通过开放平台连接主机操作系统。这就涉及到在开放平台或主机上安装的应用(以下将在开放平台或主机上安装的应用统称为请求发起端)访问其他开放平台或其他主机的数据库(以下将其他开放平台或其他主机的数据库统称为数据源)，其中，主机和开放平台部署于不同的计算设备上。

2、已有的请求发起端与数据源之间管理数据的方案为：为应用及请求管理端指定目标数据源，若需要更改目标数据源需要手动配置，这使得主机与开放平台之间不能对外无感化管理数据，并导致主机与开放平台切换的工作效率低下，且已有的各操作系统机制为了保证数据安全，不同操作系统之间无法进行数据同步，导致开放平台与主机之间的数据一致性无法保证。

技术实现思路

1、针对现有技术中的问题，本发明提供的数据处理方法、服务器及数据处理系统，可以实现开放平台与主机或主机之间数据源切换的无感化，同时还可实现自动化的切换开放平台与主机的数据库，而无需手动配置，提高主机与开放平台切换的效率，还可保证各客户端所属的开放平台或主机对应数据库中数据的一致性。

2、为解决上述技术问题，本发明提供以下技术方案：

3、第一方面，本发明提供一种数据处理方法，所述方法包括：接收包括多客户端的分布式系统中目标客户端发送的数据处理请求，所述目标客户端为开放平台或主机，所述数据处理请求包括目标数据库标识和目标数据标识；根据预设访问规则和接收到数据处理请求的时间确定待访问客户端；将所述数据处理请求分别发送至所述待访问客户端和分布式系统中除所述待访问客户端以外的其他客户端，以使各客户端根据所述目标数据库标识确定目标数据库，并对所述目标数据库中与所述目标数据标识对应的目标数据执行与数据处理请求对应的操作。

4、可选的，所述数据处理请求还包括位置信息，所述预设访问规则包括时间段和与各时间段对应的客户端，所述根据预设访问规则和接收到数据处理请求的时间确定待访问客户端包括：查找与所述位置信息对应的预设访问规则；从已查找到的预设访问规则中确定与接收到数据处理请求的时间所属时间段对应的客户端作为第一客户端；从所述第一客户端中筛选出满足预设条件的客户端，作为所述待访问客户端。

5、可选的，所述预设条件包括第一预设条件、第二预设条件和第三预设条件；所述第一预设条件包括不存在于故障信息记录表中，所述故障信息记录表中包括故障信息，每一所述故障信息包括客户端标识和无法发送心跳包的描述信息；所述第二预设条件包括工作状态记录表中工作状态为正常状态，所述工作状态记录表包括客户端的工作状态，所述工作状态包括正常状态和异常状态；所述第三预设条件包括负载最少。

6、可选的，所述从所述第一客户端中筛选出满足预设条件的客户端，作为所述待访问客户端包括：从所述第一客户端中筛选出满足所述第一预设条件的客户端作为第二客户端；从所述第二客户端中筛选出满足所述第二预设条件的客户端作为第三客户端；根据工作信息记录表中与各所述第三客户端对应的工作信息从所述第三客户端中筛选出满足所述第三预设条件的客户端作为所述待访问客户端，所述工作信息记录表包括客户端的工作信息，所述工作信息包括客户端正在处理的数据处理请求的数量和数据处理请求的类型。

7、可选的，本发明提供的数据处理方法还包括：按照第一预设频率获取各客户端的工作信息并存储在所述工作信息记录表中。

8、可选的，所述异常状态包括未响应异常状态和响应超时异常状态本发明提供的数据处理方法还包括：判断是否接收到所述待访问客户端的响应，若否，将所述待访问客户端的标识与未响应异常状态作为一个数据项存储至所述工作状态记录表中；若接收到响应，判断响应时间是否超过预设时间，若是，将所述待访问客户端的标识与响应超时异常状态作为一个数据项存储至所述工作状态记录表中，若否，继续判断是否接收到所述待访问客户端的响应的步骤。

9、可选的，本发明提供的数据处理方法还包括：将异常状态的客户端对应的异常状态发送至管理员端，以便管理员修复异常状态的客户端；响应接收到所述工作状态为异常状态的客户端发送的修复消息的指令，将所述工作状态记录表中与所述工作状态为异常状态的客户端对应的数据更新为正常状态。

10、可选的，本发明提供的数据处理方法还包括：判断各客户端是否按照预设频率发送心跳包，若否，判断所述故障信息记录表中是否包括与当前判断的客户端的标识对应的信息，若不包括，将当前判断的客户端的标识作为一条故障信息存储在所述故障信息记录表中；若未按照预设频率发送心跳包或判断所述故障信息记录表中未包括与当前判断的客户端的标识对应的信息，继续判断各客户端是否按照预设频率发送心跳包。

11、可选的，本发明提供的数据处理方法还包括：根据历史所述数据处理请求中目标数据标识统计处理数据的频次；筛选出进行数据处理的频次超过预设频次的数据并缓存；若所述数据处理请求的类型为数据访问请求时，所述将所述数据处理请求分别发送至所述待访问客户端和除所述待访问客户端以外的其他客户端包括：判断所述缓存中是否存储有所述数据处理请求中的目标数据库的目标数据，若是，则将缓存中的所述目标数据库的目标数据返回至所述目标客户端，若否，将所述数据处理请求发送至所述待访问客户端。

12、第二方面，本发明提供一种服务器，包括：数据处理请求接收模块，适于接收包括多客户端的分布式系统中目标客户端发送的数据处理请求，所述目标客户端为开放平台或主机，所述数据处理请求包括目标数据库标识和目标数据标识；待访问客户端确定模块，适于根据预设访问规则和接收到数据处理请求的时间确定待访问客户端；数据处理请求发送模块，适于将所述数据处理请求分别发送至所述待访问客户端和所述分布式系统中除所述待访问客户端以外的其他客户端，以使各客户端根据目标数据库标识确定目标数据库，并对所述目标数据库中与所述目标数据标识对应的目标数据执行与数据处理请求对应的操作。

13、第三方面，本发明提供一种数据处理系统，所述系统包括服务器和客户端，所述客户端为开放平台或主机，所述客户端与所述服务器通信连接；所述客户端的目标客户端，适于生成数据处理请求并发送至所述服务器，所述数据处理请求包括目标数据库标识和目标数据标识；所述服务器，适于接收所述数据处理请求，根据预设访问规则和接收到数据处理请求的时间确定待访问客户端，并将所述数据处理请求分别发送至所述待访问客户端和除所述待访问客户端以外的其他客户端；所述客户端，还适于根据所述目标数据库标识确定目标数据库，并对所述目标数据库中与所述目标数据标识对应的目标数据执行与数据处理请求对应的操作。

14、第四方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。

15、第五方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

16、从上述描述可知，本发明提供的数据处理方法，根据预设时间规则确定待访问客户端，并将数据处理请求发送至待访问客户端，实现开放平台与主机或主机之间数据源切换的无感化，并且在该过程中对交易上游和待访问数据源透明，同时还可实现自动化的切换开放平台与主机的数据库，而无需手动配置，提高主机与开放平台切换的效率，从而提高数据处理效率。此外，还将数据处理请求下发给行内分布式系统中除待访问数据源以外的其他数据源，这样，可以便于其他客户端的目标数据执行与数据处理请求相对应的操作，保证分布式系统中各客户端所属的开放平台或主机对应数据库中数据的一致性。