基于服务器集群的数据处理系统及方法
【专利摘要】本发明提出了基于服务器集群的数据处理方法及系统。所述方法包括：地址转换服务器接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器；调度服务器在接收到地址转换服务器转发的数据处理请求后根据预定的调度算法将其分发至至少两个数据处理服务器中的一个以确保负载均衡；至少两个数据处理服务器中的每个处理接收到的数据处理请求，并基于处理结果构建数据处理应答，以及随之将数据处理应答传送至地址转换服务器；地址转换服务器在接收到数据处理应答后将其传送回对应的客户端.本发明所公开的数据处理方法及系统具有高的数据处理性能以及良好的负载均衡能力。
【专利说明】
基于服务器集群的数据处理系统及方法
技术领域
[0001]本发明涉及数据处理系统及方法，更具体地，涉及基于服务器集群的数据处理系统及方法。
【背景技术】
[0002]目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，针对来自用户的海量业务处理请求的数据处理系统变得越来越重要。
[0003]在现有的基于服务器集群的数据处理系统中，通常在前端采用基于应用层的负载调度机的方式实现针对后端的服务器集群中的多个数据处理服务器的负载均衡，即由负载调度机将待处理的数据处理请求分发给不同的数据处理服务器，以保持所述数据处理服务器之间的负载均衡。
[0004]然而，上述现有的技术方案存在如下问题:由于通常请求报文较短而应答报文包含大量的数据，故由于请求报文和应答报文均需要负载调度机进行调度，当待处理的数据处理请求较多时，负载调度机将成为整个系统的性能瓶颈。
[0005]因此，存在如下需求:提供具有高的数据处理性能(即数据处理速度和效率)以及良好的负载均衡能力的基于服务器集群的数据处理系统及方法。
【发明内容】
[0006]为了解决上述现有技术方案所存在的问题，本发明提出了具有高的数据处理性能(即数据处理速度和效率)以及良好的负载均衡能力的基于服务器集群的数据处理系统及方法。
[0007]本发明的目的是通过以下技术方案实现的:
一种基于服务器集群的数据处理系统，所述基于服务器集群的数据处理系统包括:
地址转换服务器，所述地址转换服务器被配置为接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器，以及接收来自至少两个数据处理服务器中的任一个的数据处理应答，并随之将其传送回对应的客户端；
调度服务器，所述调度服务器被配置为接收经所述地址转换服务器转发的数据处理请求，并随之根据预定的调度算法将其分发至所述至少两个数据处理服务器中的一个以确保负载均衡；
至少两个数据处理服务器，所述至少两个数据处理服务器中的每个被配置为处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器。
[0008]在上面所公开的方案中，优选地，所述系统进一步包括任务状态存储装置，其被配置为存储数据处理任务状态表，所述数据处理任务状态表记录每个数据处理请求所指示的数据处理任务及其处理状态。
[0009]在上面所公开的方案中，优选地，所述至少两个数据处理服务器中的每一个在接收到数据处理请求后将其所指示的数据处理任务写入所述数据处理任务状态表中的一条新的记录中，并将该数据处理任务的处理状态设置为“待处理”。
[0010]在上面所公开的方案中，优选地，所述至少两个数据处理服务器中的每一个在具有空闲资源时访问所述数据处理任务状态表以便按预定规则获取一个或多个处理状态为“待处理”的数据处理任务，并随之处理该数据处理任务，并将其处理状态设置为“处理中”，以及在处理完成后将其处理状态设置为“已处理”。
[0011]在上面所公开的方案中，优选地，所述任务状态存储装置周期性地轮询所述数据处理任务状态表中的记录，并将任务状态为“处理中”且在该状态下持续的时间超过预定的阈值的数据处理任务的状态重新设置为“待处理”。
[0012]在上面所公开的方案中，优选地，所述地址转换服务器在接收到数据处理请求后按预定规则生成全局唯一的标识符，并将所述标识符关联于该数据处理请求，随之将包含关联的标识符的数据处理请求转发至所述调度服务器，并保存该标识符与该数据处理请求的来源地址的映射关系。
[0013]在上面所公开的方案中，优选地，在接收来自所述至少两个数据处理服务器中的任一个的数据处理应答后，所述地址转换服务器根据该数据处理应答中包含的标识符以及所保存标识符与数据处理请求的来源地址之间的映射关系确定该数据处理应答的目的地址，并随之将其传送回该目的地址所指向的客户端。
[0014]本发明的目的也可以通过以下技术方案实现:
一种基于服务器集群的数据处理方法。所述方法包括下列步骤:
(Al)地址转换服务器接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器；
(A2)所述调度服务器在接收到所述地址转换服务器转发的数据处理请求后根据预定的调度算法将其分发至至少两个数据处理服务器中的一个以确保负载均衡；
(A3)所述至少两个数据处理服务器中的每个处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器；(A4)所述地址转换服务器在接收到所述数据处理应答后将其传送回对应的客户端。
[0015]本发明所公开的基于服务器集群的数据处理系统及方法具有下列优点:具有高的数据处理性能(即较高的数据处理速度和效率)以及良好的负载均衡能力。
【附图说明】
[0016]结合附图，本发明的技术特征以及优点将会被本领域技术人员更好地理解，其中:图1是根据本发明的实施例的基于服务器集群的数据处理系统的示意性结构图；
图2是根据本发明的实施例的基于服务器集群的数据处理方法的流程图。
【具体实施方式】
[0017]图1是根据本发明的实施例的基于服务器集群的数据处理系统的示意性结构图。如图1所示，本发明所公开的基于服务器集群的数据处理系统包括地址转换服务器1、调度服务器2、至少两个数据处理服务器3。其中，所述地址转换服务器I被配置为接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器2，以及接收来自所述至少两个数据处理服务器3中的任一个的数据处理应答，并随之将其传送回对应的客户端。所述调度服务器2被配置为接收经所述地址转换服务器I转发的数据处理请求，并随之根据预定的调度算法将其分发至所述至少两个数据处理服务器3中的一个以确保负载均衡。所述至少两个数据处理服务器3中的每个被配置为处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器I。
[0018]优选地，本发明所公开的基于服务器集群的数据处理系统进一步包括任务状态存储装置4，其被配置为存储数据处理任务状态表，所述数据处理任务状态表记录每个数据处理请求所指示的数据处理任务及其处理状态。
[0019]优选地，在本发明所公开的基于服务器集群的数据处理系统中，所述至少两个数据处理服务器3中的每一个在接收到数据处理请求后将其所指示的数据处理任务写入所述数据处理任务状态表中的一条新的记录中，并将该数据处理任务的处理状态设置为“待处理”。
[0020]优选地，在本发明所公开的基于服务器集群的数据处理系统中，所述至少两个数据处理服务器3中的每一个在具有空闲资源时访问所述数据处理任务状态表以便按预定规则获取一个或多个处理状态为“待处理”的数据处理任务，并随之处理该数据处理任务，并将其处理状态设置为“处理中”，以及在处理完成后将其处理状态设置为“已处理”。
[0021]优选地，在本发明所公开的基于服务器集群的数据处理系统中，所述任务状态存储装置4周期性地轮询所述数据处理任务状态表中的记录，并将任务状态为“处理中”且在该状态下持续的时间超过预定的阈值的数据处理任务的状态重新设置为“待处理”。由上，在某个或某些数据处理服务器发生故障时能够保证数据处理任务的处理不被意外终止。
[0022]优选地，在本发明所公开的基于服务器集群的数据处理系统中，地址转换服务器I在接收到数据处理请求后按预定规则生成全局唯一的标识符，并将所述标识符关联于该数据处理请求，随之将包含关联的标识符的数据处理请求转发至所述调度服务器2，并保存该标识符与该数据处理请求的来源地址(例如，发送该数据处理请求的客户端的IP地址)的映射关系。
[0023]优选地，在本发明所公开的基于服务器集群的数据处理系统中，在接收来自所述至少两个数据处理服务器3中的任一个的数据处理应答后，所述地址转换服务器I根据该数据处理应答中包含的标识符以及所保存标识符与数据处理请求的来源地址之间的映射关系确定该数据处理应答的目的地址(即该应答对应的数据处理请求的来源地址)，并随之将其传送回该目的地址所指向的客户端。
[0024]由上可见，本发明所公开的基于服务器集群的数据处理系统具有下列优点:具有高的数据处理性能(即较高的数据处理速度和效率)以及良好的负载均衡能力。
[0025]图2是根据本发明的实施例的基于服务器集群的数据处理方法的流程图。如图2所示，本发明所公开的基于服务器集群的数据处理方法包括下列步骤:(Al)地址转换服务器接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器；(A2)所述调度服务器在接收到所述地址转换服务器转发的数据处理请求后根据预定的调度算法将其分发至至少两个数据处理服务器中的一个以确保负载均衡；(A3)所述至少两个数据处理服务器中的每个处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器；(A4)所述地址转换服务器在接收到所述数据处理应答后将其传送回对应的客户端。
[0026]优选地，在本发明所公开的基于服务器集群的数据处理方法中，所述步骤(A3)进一步包括:所述至少两个数据处理服务器中的每一个在接收到数据处理请求后将其所指示的数据处理任务写入数据处理任务状态表中的一条新的记录中，并将该数据处理任务的处理状态设置为“待处理”，其中，所述数据处理任务状态表记录每个数据处理请求所指示的数据处理任务及其处理状态。
[0027]优选地，在本发明所公开的基于服务器集群的数据处理方法中，所述步骤(A3)进一步包括:所述至少两个数据处理服务器中的每一个在具有空闲资源时访问所述数据处理任务状态表以便按预定规则获取一个或多个处理状态为“待处理”的数据处理任务，并随之处理该数据处理任务，并将其处理状态设置为“处理中”，以及在处理完成后将其处理状态设置为“已处理”。
[0028]优选地，在本发明所公开的基于服务器集群的数据处理系统中，所述步骤(A3)进一步包括:所述数据处理任务状态表中的记录被周期性的轮询，并将任务状态为“处理中”且在该状态下持续的时间超过预定的阈值的数据处理任务的状态重新设置为“待处理”。由上，在某个或某些数据处理服务器发生故障时能够保证数据处理任务的处理不被意外终止。
[0029]优选地，在本发明所公开的基于服务器集群的数据处理方法中，所述步骤(Al)进一步包括:所述地址转换服务器在接收到数据处理请求后按预定规则生成全局唯一的标识符，并将所述标识符关联于该数据处理请求，随之将包含关联的标识符的数据处理请求转发至所述调度服务器，并保存该标识符与该数据处理请求的来源地址(例如，发送该数据处理请求的客户端的IP地址)的映射关系。
[0030]优选地，在本发明所公开的基于服务器集群的数据处理方法中，所述步骤(A4)进一步包括:在接收到来自所述至少两个数据处理服务器中的任一个的数据处理应答后，所述地址转换服务器根据该数据处理应答中包含的标识符以及所保存标识符与数据处理请求的来源地址之间的映射关系确定该数据处理应答的目的地址(即该应答对应的数据处理请求的来源地址)，并随之将其传送回该目的地址所指向的客户端。
[0031]由上可见，本发明所公开的基于服务器集群的数据处理方法具有下列优点:具有高的数据处理性能(即较高的数据处理速度和效率)以及良好的负载均衡能力。
[0032]尽管本发明是通过上述的优选实施方式进行描述的，但是其实现形式并不局限于上述的实施方式。应该认识到:在不脱离本发明主旨和范围的情况下，本领域技术人员可以对本发明做出不同的变化和修改。
【主权项】
1.一种基于服务器集群的数据处理系统，所述基于服务器集群的数据处理系统包括: 地址转换服务器，所述地址转换服务器被配置为接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器，以及接收来自至少两个数据处理服务器中的任一个的数据处理应答，并随之将其传送回对应的客户端； 调度服务器，所述调度服务器被配置为接收经所述地址转换服务器转发的数据处理请求，并随之根据预定的调度算法将其分发至所述至少两个数据处理服务器中的一个以确保负载均衡； 至少两个数据处理服务器，所述至少两个数据处理服务器中的每个被配置为处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器。2.根据权利要求1所述的基于服务器集群的数据处理系统，其特征在于，所述系统进一步包括任务状态存储装置，其被配置为存储数据处理任务状态表，所述数据处理任务状态表记录每个数据处理请求所指示的数据处理任务及其处理状态。3.根据权利要求2所述的基于服务器集群的数据处理系统，其特征在于，所述至少两个数据处理服务器中的每一个在接收到数据处理请求后将其所指示的数据处理任务写入所述数据处理任务状态表中的一条新的记录中，并将该数据处理任务的处理状态设置为“待处理”。4.根据权利要求3所述的基于服务器集群的数据处理系统，其特征在于，所述至少两个数据处理服务器中的每一个在具有空闲资源时访问所述数据处理任务状态表以便按预定规则获取一个或多个处理状态为“待处理”的数据处理任务，并随之处理该数据处理任务，并将其处理状态设置为“处理中”，以及在处理完成后将其处理状态设置为“已处理”。5.根据权利要求4所述的基于服务器集群的数据处理系统，其特征在于，所述任务状态存储装置周期性地轮询所述数据处理任务状态表中的记录，并将任务状态为“处理中”且在该状态下持续的时间超过预定的阈值的数据处理任务的状态重新设置为“待处理”。6.根据权利要求5所述的基于服务器集群的数据处理系统，其特征在于，所述地址转换服务器在接收到数据处理请求后按预定规则生成全局唯一的标识符，并将所述标识符关联于该数据处理请求，随之将包含关联的标识符的数据处理请求转发至所述调度服务器，并保存该标识符与该数据处理请求的来源地址的映射关系。7.根据权利要求6所述的基于服务器集群的数据处理系统，其特征在于，在接收来自所述至少两个数据处理服务器中的任一个的数据处理应答后，所述地址转换服务器根据该数据处理应答中包含的标识符以及所保存标识符与数据处理请求的来源地址之间的映射关系确定该数据处理应答的目的地址，并随之将其传送回该目的地址所指向的客户端。8.一种基于服务器集群的数据处理方法，所述方法包括下列步骤: (Al)地址转换服务器接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器； (A2)所述调度服务器在接收到所述地址转换服务器转发的数据处理请求后根据预定的调度算法将其分发至至少两个数据处理服务器中的一个以确保负载均衡； (A3)所述至少两个数据处理服务器中的每个处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器； (A4)所述地址转换服务器在接收到所述数据处理应答后将其传送回对应的客户端。
【文档编号】H04L29/08GK105959346SQ201610241628
【公开日】2016年9月21日
【申请日】2016年4月19日
【发明人】杨森, 陈林, 徐立伟, 张飞, 许斌
【申请人】中国银联股份有限公司