本申请涉及计算机技术领域，具体涉及存储技术领域，尤其涉及分布式任务存储系统和分布式任务存储/读取方法。
背景技术
无论是在大型的互联网应用中，还是在企业级架构中，不同的业务系统均会存在大量类型迥异的任务需要存储和读取。现有技术通常采用分布式消息队列的方式进行任务存储和读取，并且不同的业务系统需要单独的存储系统来存储和读取任务数据，这使得不同业务系统的任务数据存储分散，不利于统计分析。
技术实现要素：
本申请的目的在于提出一种改进的分布式任务存储系统和分布式任务存储/读取方法，来解决以上背景技术部分提到的技术问题。
第一方面，本申请实施例提供了一种分布式任务存储系统，该系统包括：网关服务器，用于接收各业务系统发送的任务请求，并将各任务请求分配到任务存储集群中的服务节点，其中，任务请求为任务存储请求或任务读取请求，各任务请求包括需要存储或读取的任务的任务类型；数据持久化分库集群，包括多个数据库，且各数据库用于存储对应任务类型的任务；任务存储集群，包括多个服务节点，各服务节点用于根据需要存储的任务的任务类型将各任务存储到对应的数据库中，以及用于根据需要读取的任务的任务类型读取各任务。
在一些实施例中，上述系统还包括统一配置中心，用于构建分布式任务存储系统中的多种服务，以及设定任务存储集群需要部署的各服务的数量；任务存储集群还包括控制中心，用于为各服务节点部署至少一种服务。
在一些实施例中，统一配置中心还用于监测各服务节点的负载均衡情况，并在监测到服务节点的负载不均衡时向控制中心发送转移该服务的转移请求，以使控制中心将部署在第一服务节点的至少一个服务转移到第二服务节点，其中，第一服务节点的负载量大于第二服务节点的负载量。
在一些实施例中，统一配置中心还用于监测各服务的负载量，并在监测到存在服务的负载量大于对应的第一预设阈值时，向控制中心发送增加任务存储集群中该服务的数量的增加服务请求；统一配置中心还用于在监测到存在服务的负载量小于对应的第二预设阈值时，向控制中心发送减少任务存储集群中该服务的数量的减少服务请求。
在一些实施例中，统一配置中心还用于监测各服务节点的负载情况，并在监测到存在负载量大于第三预设阈值的服务节点时，向控制中心发送增加服务节点的数量的增加服务节点请求；统一配置中心还用于在监测到存在服务节点的负载量小于第四预设阈值时，向控制中心发送减少服务节点的数量的减少服务节点请求。
在一些实施例中，控制中心还用于响应于接收到增加服务请求或减少服务请求，增加或减少任务存储集群中的服务；控制中心还用于响应于接收到增加服务节点请求或减少服务节点请求，增加或减少任务存储集群中的服务节点。
在一些实施例中，多种服务包括责任链服务、离散服务、加速服务和预警服务中的至少一种；责任链服务用于确定存储或读取任务的任务链中的各服务，并将各服务按照预设的顺序添加到任务链中；网关服务器还用于基于负载均衡算法将任务请求分配到责任链服务。
在一些实施例中，上述系统还包括数据缓存集群，用于在服务节点将各任务存储到与该任务的任务类型对应的数据库中时缓存各任务，并且根据各任务的任务类型形成不同的分布式队列。
在一些实施例中，加速服务用于根据需要读取的任务的任务类型从数据缓存集群中对应的分布式队列读取缓存的任务。
在一些实施例中，预警服务用于响应于统计到未被读取的任务的数量大于第五预设阈值，通过统一配置中心向用户发送报警信息；预警服务还用于响应于确定存在异常状态的任务，通过统一配置中心向用户发送报警信息。
在一些实施例中，各任务包括唯一的任务标识；离散服务用于响应于检测到各任务具有唯一任务标识，将需要存储的各任务离散存储到与该任务的任务类型对应的数据库。
第二方面，本申请提供了一种分布式任务存储/读取方法，该方法包括：网关服务器接收各业务系统发送的任务请求，并将各任务请求分配到任务存储集群中的服务节点，其中，任务请求为任务存储请求或任务读取请求，各任务请求包括需要存储或读取的任务的任务类型；各服务节点响应于接收到任务存储请求，将各任务存储到数据持久化分库集群中与该任务的任务类型对应的数据库中，或者，各服务节点响应于接收到任务读取请求，根据需要读取的任务的任务类型读取各任务；其中，数据持久化分库集群包括多个数据库，且各数据库用于存储对应任务类型的任务。
在一些实施例中，上述方法还包括：统一配置中心构建分布式任务存储系统中用于存储/读取任务的多种服务，并设定各服务的数量；任务存储集群的控制中心从统一配置中心获取各服务，并为各服务节点部署至少一种服务。
在一些实施例中，上述方法还包括：统一配置中心监测各服务节点的负载均衡情况，并在监测到服务节点的负载不均衡时向控制中心发送转移该服务的转移请求；控制中心响应于接收到服务的转移请求，将部署在第一服务节点的至少一个服务转移到第二服务节点，其中，第一服务节点的负载量大于第二服务节点的负载量。
在一些实施例中，上述方法还包括：统一配置中心监测各服务的负载量，并在监测到存在服务的负载量大于对应的第一预设阈值时，向控制中心发送增加任务存储集群中该服务的数量的增加服务请求；统一配置中心在监测到存在服务的负载量小于对应的第二预设阈值时，向控制中心发送减少任务存储集群中该服务的数量的减少服务请求；控制中心响应于接收到增加服务请求或减少服务请求，增加或减少任务存储集群中部署的服务。
在一些实施例中，上述方法还包括：统一配置中心监测各服务节点的负载情况，并在监测到存在服务节点的负载量大于第三预设阈值时，向控制中心发送增加服务节点的数量的增加服务节点请求；统一配置中心在监测到存在服务节点的负载量小于第四预设阈值时，向控制中心发送减少服务节点的数量的减少服务节点请求；控制中心响应于接收到增加服务节点请求或减少服务节点请求，增加或减少任务存储集群中的服务节点。
在一些实施例中，多种服务包括责任链服务、离散服务、加速服务和预警服务中的至少一种；各服务节点响应于接收到任务存储请求，将各任务存储到数据持久化分库集群中与该任务的任务类型对应的数据库中，包括：网关服务器基于负载均衡算法将任务存储请求分配到责任链服务；任务存储集群启动责任链服务，按照责任链模式从各服务节点依次调用用于存储任务的各服务，以将任务存储到对应的数据库。
在一些实施例中，各服务节点响应于接收到任务读取请求，根据需要读取的任务的任务类型读取各任务，包括：网关服务器基于负载均衡算法将任务读取请求分配到责任链服务；各服务节点响应于接收到任务读取请求，在与需要读取的任务的任务类型对应的数据库中读取任务。
在一些实施例中，各任务包括唯一的任务标识；上述方法还包括：任务存储集群调用离散服务，响应于检测到各任务具有唯一任务标识，离散服务将各任务离散存储到与该任务的任务类型对应的数据库。
在一些实施例中，上述方法还包括：在各服务节点响应于接收到任务存储请求，将各任务存储到数据持久化分库集群中与该任务的任务类型对应的数据库的同时，将各任务缓存到数据缓存集群，并在数据缓存集群中形成与各任务的任务类型对应的分布式队列；响应于接收到任务读取请求，任务存储集群调用加速服务从分布式队列中读取任务。
在一些实施例中，上述方法还包括：服务节点调用预警服务统计已经存储的各任务中未被读取的任务的数量，并在统计到未被读取的任务的数量大于第五预设阈值时，通过统一配置中心向用户发送报警信息；以及服务节点调用预警服务监测异常状态的任务，并在确定存在异常状态的任务时，通过统一配置中心向用户发送报警信息。
第三方面，本申请提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任一方法。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一方法。
本申请实施例提供的分布式任务存储系统，其中的网关服务器在接收到各业务系统发送的任务存储请求或任务读取请求，可以将各请求分配到任务存储集群的服务节点，各服务节点可以将需要存储的任务存储到数据持久化分库集群中的与该任务的任务类型对应的数据库中，以及各服务节点还可以根据需要读取的任务的任务类型读取各任务，从而使得该分布式任务存储系统可以存储不同业务系统发布的任务，以及使得该分布式任务存储系统可以相应地读取不同业务系统存储的任务。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了根据本申请的分布式任务存储系统的一个实施例的结构示意图；
图2示出了根据本申请的分布式任务存储/读取方法的一个实施例的流程图；
图3示出了根据本申请的分布式任务存储方法的另一个实施例的流程图；
图4示出了根据本申请的分布式任务读取方法的另一个实施例的流程图；
图5示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的分布式任务存储系统的一个实施例的结构示意图。如图所示，本实施例中的分布式任务存储系统可以包括：网关服务器101、任务存储集群102和数据持久化分库集群103。
在本实施例中，上述网关服务器101可以接收不同的业务系统发送的任务请求。这里，任务请求可以是向该分布式任务存储系统存储任务的任务存储请求，或者，任务请求还可以是从该分布式任务存储系统读取任务的任务读取请求；上述任务请求可以包括需要存储或读取的任务的任务类型，即任务存储请求包括需要存储任务的任务类型，任务读取请求包括需要读取任务的任务类型。网关服务器101可以将上述各任务请求分配到任务存储集群102中的服务节点。
在本实施例中，上述任务存储集群102可以包括多个服务节点，如图1所示，任务存储集群102可以包括服务节点1、服务节点2和服务节点3等。各服务节点可以根据需要存储的任务类型将需要存储的任务存储到数据持久化分库集群103中的对应的数据库中。这里，数据持久化分库集群103可以包括多个数据库，如图1所示，数据持久化分库集群103可以包括数据库1、数据库2、数据库3等。各数据库可以存储对应任务类型的任务。上述网关服务器101在接收到任务读取请求时，可以根据需要读取的任务的任务类型读取各需要读取的任务。可见，该分布式任务存储系统可以实现对不同业务系统发布的任务进行统一存储和读取。
在本实施例的一些可选的实现方式中，上述分布式任务存储系统还可以包括统一配置中心104，如图1所示。该统一配置中心104可以用于构建该分布式任务存储系统中的多种服务，并为上述任务存储集群102设定需要部署的各服务的数量。上述任务存储集群102还可以包括控制中心，如图1所示，该控制中心可以为任务存储集群102中的各服务节点部署上述至少一种服务。
在本实施例的一些可选的实现方式中，上述统一配置中心104还可以监测任务存储集群102中各服务节点的负载均衡情况，并在服务节点出现负载不均衡的情况时向控制中心发送转移服务的转移请求，以便于控制中心可以将部署在第一服务节点上的服务转移到第二服务节点来保证各服务节点负载均衡。例如，统一配置中心104在监测到第一服务节点的负载量大于第二服务节点的负载量，并且因第一服务节点的负载量大于第二服务节点的负载量造成了负载不均衡的现象，此时该统一配置中心104可以向控制中心发送将部署在第一服务节点上的服务转移到第二服务节点的转移服务的请求。控制中心在接收到该转移请求时可以将部署在第一服务节点上的部分服务转移到第二服务节点上，使得第一服务节点和第二服务节点可以负载均衡。可见，上述控制中心可以通过转移部署在不同服务节点上的服务，使得任务存储集群102中的各服务节点负载均衡。
在本实施例的一些可选的实现方式中，上述统一配置中心104还可以监测各服务的负载量，并在监测到某一服务的负载量大于其所对应的第一预设阈值时，向控制中心发送增加任务存储集群102中该服务的数量的增加服务请求。控制中心在接收到增加服务请求时，可以相应地增加任务存储集群中该服务。
进一步地，若上述统一配置中心104监测到某一服务的负载量小于该服务对应的第二预设阈值，可以向控制中心发送减少任务存储集群102中该服务的数量的减少服务请求。控制中心在接收到减少服务请求时，可以相应地减少任务存储集群102中该服务。可见，上述分布式任务存储系统可以按需增加或删除其中的服务。
在本实施例的一些可选的实现方式中，上述统一配置中心104还可以监测各服务节点的负载情况，并且在监测到任务存储集群102中存在负载量大于第三预设的服务节点时，向控制中心发送增加任务存储集群102中服务节点的数量的增加服务节点请求。控制中心在接收到增加服务节点请求时，可以增加任务存储集群102中的服务节点。
进一步地，若上述统一配置中心104监测到任务存储集群102中存在负载量小于第四预设的服务节点时，可以向控制中心发送减少任务存储集群102中服务节点的数量的减少服务节点请求。控制中心在接收到减少服务节点请求时，可以减少任务存储集群102中的服务节点。可见，上述分布式任务存储系统可以实现按需增加或删除服务节点，使得任务存储集群102可以动态伸缩，扩展性良好。可以理解，控制中心可以根据需求增加或减少服务和服务节点的数量，使得该分布式任务存储系统可以支持高并发任务的存储或读取。
在本实施例的一些可选的实现方式中，上述统一配置中心104还可以构建责任链服务、离散服务、加速服务和预警服务中的至少一种，如图1所示。上述控制中心可以将上述各服务部署在任务存储集群102中的各服务节点。可以理解的是，上述统一配置中心104还可以根据存储任务或读取任务的需求来增加构建服务的类型，例如，若该分布式任务存储系统需要统计任务的数量，则该统一配置中心104还可以构建用于统计存储或读取任务的统计服务。
上述责任链服务可以用于确定存储或读取任务的任务链中需要的服务，并将需要的各服务按照预设的顺序添加到该任务链中，从而使得各任务在任务链执行的过程中可以在任何步骤进行状态回滚或标记等。上述网关服务器101还可以基于负载均衡算法将任务存储请求或任务读取请求分配到各责任链服务。
在本实施例的一些可选的实现方式中，上述分布式任务存储系统还可以包括数据缓存集群105。该数据缓存集群105在上述任务存储集群102将需要存储的任务存储到对应的数据库的同时，可以将各任务缓存到该数据缓存集群105中。并且，缓存到数据缓存集群105中的各任务还可以根据任务类型的不同形成不同的分布式队列，即可以将同一任务类型的任务组成一个分布式队列。上述各服务节点在接收到任务读取请求时，部署在该服务节点中的加速服务可以从上述数据缓存集群105中的与需要读取任务的任务类型对应的分布式队列中读取其缓存的任务，从而可以加快任务读取的速度，并避免出现同一任务被重复读取的现象。可选地，为了保持上述数据缓存集群105与上述数据持久化分库集群103中数据的同步，上述统一配置中心104还可以构建中继服务等。
在本实施例的一些可选的实现方式中，部署在服务节点的预警服务还可以用于统计分布式任务存储系统中未被读取的任务的数量，并且当该分布式任务存储系统中存在未被读取的任务的数量大于第五预设阈值时，该预警服务可以通过统一配置中心104向用户发送报警信息，使得用户可以及时了解系统存在任务积压并可以采取相应的措施。上述预警服务还可以用于确定分布式任务存储系统是否存在的异常状态的任务，并在确定存在异常状态的任务时，该预警服务可以通过统一配置中心104向用户发送报警信息，使得用户可以及时了解系统中异常状态的任务并可以采取相应的措施。例如，预警服务可以在确定分布式任务存储系统中存过期任务(存储到分布式任务存储系统中且在例如1天的预设时间内未被读取的任务可以为过期任务)时，向用户发送报警信息。这里的报警信息可以通过邮件或短信等形式展示给用户。
在本实施例的一些可选的实现方式中，需要存储的任务可以包括唯一的任务标识，部署在服务节点上的离散服务在检测到需要存储的任务具有唯一的任务标识时，可以将上述需要存储的任务离散地存储到与该需要存储任务的任务类型对应的数据库中，各任务的唯一的任务标识可以保证其只可以被一次存储，保证了任务的幂等性和不可重复性。当上述网关服务器101接收到任务读取请求时，任务存储集群102中的服务节点还可以直接从对应的数据库读取任务。
本申请的上述实施例提供的分布式任务存储系统，网关服务器101在接收到各业务系统发送的任务存储请求或任务读取请求时，可以将各请求分配到任务存储集群102的服务节点，各服务节点可以将需要存储的任务存储到数据持久化分库集群103中的与该任务的任务类型对应的数据库中，以及各服务节点还可以根据需要读取的任务的任务类型读取各任务，从而使得该分布式任务存储系统可以存储不同业务系统发布的任务，并可以相应地读取不同业务系统已经存储的任务。
需要说明的是，分布式任务存储系统中的网关服务器101、任务存储集群102中的各服务节点等可以均为服务器，相应地，分布式任务存储/读取方法一般由分布式任务存储系统中的各服务器执行。
接下来，请参考图2，其示出了根据本申请的分布式任务存储/读取方法的一个实施例的流程图。如图所示，本实施例的分布式任务存储/读取方法可以包括如下步骤：
步骤201，网关服务器接收各业务系统发送的任务请求，并将各任务请求分配到任务存储集群中的服务节点。
在本实施例中，分布式任务存储/读取方法运行于其上的电子设备(例如图1所示的分布式任务存储系统中的各服务器)，其中的网关服务器可以通过有线连接方式或无线连接方式接收各业务系统发送的任务请求，并进一步地将各任务请求分配到任务存储集群的服务节点中。这里，任务请求可以为任务存储请求或任务读取请求，并且任务存储请求可以包括需要存储任务的任务类型，任务读取请求可以包括需要读取任务的任务类型。上述任务存储集群可以包括多个服务节点。需要指出的是，上述无线连接方式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤202，各服务节点响应于接收到任务存储请求，将各任务存储到数据持久化分库集群中与该任务的任务类型对应的数据库中。
在本实施例中，当上述任务存储集群中的服务节点接收到上述网关服务器发送的任务存储请求时，服务节点可以根据需要存储的任务的任务类型将其存储到数据持久化分库集群中与该任务的任务类型对应的数据库中。其中，数据持久化分库集群可以包括多个数据库，且各数据库可以用于存储与其对应的至少一种任务类型的任务。
步骤203，服务节点响应于接收到任务读取请求，根据需要读取的任务的任务类型读取各任务。
在本实施例中，当上述任务存储集群中的服务节点接收到上述网关服务器发送的任务读取请求时，服务节点可以确定需要读取任务的任务类型，而后根据需要读取的任务的任务类型读取任务。
本申请的上述实施例提供的分布式任务存储/读取方法，网关服务器可以将不同业务系统的任务请求发送的任务存储集群中的服务节点，以便于各服务节点可以根据需要存储或读取任务的任务类型将各任务存储到与之对应的数据库中，从而可以实现对不同业务系统发布的任务进行统一存储或读取。
请继续参考图3，其示出了根据本申请的分布式任务存储方法的另一个实施例的流程图。如图所示，本实施例提供的分布式任务存储方法可以包括如下步骤：
步骤301，统一配置中心构建分布式任务存储系统中用于存储任务的多种服务，并设定各服务的数量。
在本实施例中，用于存储各业务系统发布的任务的分布式任务存储系统(例如图1所示)可以包括统一配置中心，该统一配置中心可以构建分布式任务存储系统中用于存储任务的多种服务，并设定各服务的数量。
在本实施例的一些可选的实现方式中，上述统一配置中心可以构建责任链服务、离散服务、预警服务等，并且统一配置中心还可以根据存储任务的需求增加其它服务或删除已有的服务。
步骤302，任务存储集群的控制中心从统一配置中心获取各服务，并为各服务节点部署至少一种服务。
在本实施例中，分布式任务存储系统的任务存储集群中可以包括控制中心，该控制中心可以从上述统一配置中心获取各服务，并将各服务按需部署到任务存储集群中的各服务节点。控制中心在各服务节点部署至少一种服务后，上述统一配置中心还可以获取各服务在该任务存储集群中的分布情况。
步骤303，网关服务器接收各业务系统发送的任务存储请求，并将各任务存储请求分配到任务存储集群中的服务节点。
在本实施中，分布式任务存储系统中的网关服务器可以从各业务系统接收任务存储请求。而后，网关服务器可以将接收到的各任务存储请求分配到任务存储集群中的各服务节点，以便于各服务节点可以存储上述任务存储请求需要存储的任务。可以理解，上述网关服务器可以接收多个业务系统发送的任务存储请求，各任务存储请求可以请求存储多个任务，这里不做限定。
在本实施例的一些可选的实现方式中，上述网关服务器在接收到任务存储请求时，还可以进行安全防护和身份验证。当网关服务器确定接收到的任务存储请求不存在安全隐患并通过身份验证时，网关服务器可以将接收到的任务存储请求发送的各服务节点。
步骤304，网关服务器基于负载均衡算法将任务存储请求分配到责任链服务。
在本实施例中，分布式任务存储系统中的统一配置中心可以预先构建该系统中用于存储任务的多个服务，如责任链服务，并设定该系统中需要的各服务的数量。而后，任务存储集群中的控制中心可以从上述统一配置中心获取各服务，并将各服务按需部署在任务存储集群在的各服务节点。
在本实施例中，上述网关服务器可以基于负载均衡算法将各任务存储请求分配到部署在各服务节点上的责任链服务，以便于各服务节点可以利用责任链服务获取存储各任务所需要的服务，并存储需要存储的各任务。上述负载均衡算法可以将需要存储的各任务平均分配到不同的责任链服务，加快了任务存储的速度。
步骤305，任务存储集群启动责任链服务，按照责任链模式从各服务节点依次调用用于存储任务的各服务。
在本实施例中，上述任务存储集群中的服务节点可以调用责任链服务，按照责任链模式从各服务节点依次调用用于存储各任务所需要的服务组成存储任务的任务链，通过任务链中各服务的处理，各服务节点可以存储各任务存储请求请求存储的任务。
在本实施的一些可选的实现方式中，上述统一配置中心可以预先构建用于存储任务的离散服务、预警服务等，使得服务节点可以利用责任链服务按需逐一调用用于存储任务的各服务。
在本实施例的一些可选的实现方式中，统一配置中心还可以用于监测部署在各服务节点上的服务的负载量，并在监测到存在某一服务的负载量大于该服务设置的第一预设阈值时，向上述控制中心发送增加任务存储集群中部署的该服务的数量的增加服务请求。控制中心在接收到该服务的增加服务请求时，可以在保证各服务节点的负载均衡的基础上，相应地增加任务存储集群中部署的该服务。
进一步地，统一配置中心在监测到存在某一服务的负载量小于该服务设置的第二预设阈值时，统一配置中心可以向上述控制中心发送减少任务存储集群中部署的该服务的数量的减少服务请求。控制中心在接收到该服务的减少服务请求时，可以在保证各服务节点的负载均衡的基础上，相应地减少任务存储集群中部署的该服务。可见，部署在任务存储集群中的各服务可以根据实际的需求增加或删除，扩展性良好。
在本实施例的一些可选的实现方式中，统一配置中心还可以用于监测各服务节点的负载均衡情况，并在监测到服务节点的负载不均衡时向控制中心发送转移部署在服务节点中的服务的转移请求，使得任务存储集群中的各服务节点可以负载均衡。具体的，当统一配置中心监测到第一服务节点的负载量大于第二服务节点的负载量并因此造成负载不均衡时，上述控制中心可以将部署在第一服务节点的服务转移到第二服务节点，从而使得任务存储集群中的各服务节点负载均衡。
在本实施例的一些可选的实现方式中，上述统一配置中心在监测各服务节点的负载情况时，还可以在监测到存在服务节点的负载量大于第三预设阈值时，向控制中心发送增加服务节点的数量的增加服务节点请求。控制中心在接收到增加服务节点请求时，可以增加任务存储集群中的服务节点。可以理解，任务存储集群在增加服务节点后，控制中心可以将其它服务节点上部署的服务转移到新增服务节点，使得各服务节点可以负载均衡。
进一步地，上述统一配置中心在监测到存在服务节点的负载量小于第四预设阈值时，可以向控制中心发送减少服务节点的数量的减少服务节点请求。控制中心在接收到减少服务节点请求时，可以确定需要删除的服务节点，并将该服务节点上部署的服务转移到其它服务节点，而后删除该服务节点，从而减少了该任务存储集群中的服务节点的数量。可见，任务存储集群中的服务节点可以根据实际的需要动态的增加或删除，扩展性良好。
步骤306，任务存储集群调用离散服务，响应于检测到各任务具有唯一任务标识，离散服务将各任务离散存储到与该任务的任务类型对应的数据库。
在本实施例中，任务存储请求需要存储的各任务可以包括唯一的任务标识。当服务节点启动责任链服务按照责任链模式存储任务时，任务存储集群可以调用离散服务，根据需要存储的任务具有的唯一任务标识，将各任务存储到与该任务的任务类型对应的数据库中，从而可以避免了重复存储任务。
各业务系统发布的任务可以根据任务类型的不同存储到同一数据持久化分库集群中的不同的数据库中，并且数据持久化分库集群中的数据库的数量可以根据实际的需要增加或减少，而不需要针对不同的业务系统设置多个对应的任务存储空间，提高了存储资源的利用率。
本申请的上述实施例提供的分布式任务存储方法，可以利用任务存储集群中部署在服务节点上的责任链服务和离散服务等，将不同业务系统中的任务根据任务标识存储到与其任务类型对应的数据库中，从而使得不同业务系统的任务可以被统一存储，调用责任链服务根据任务的任务标识存储任务可以保证任务在存储的过程中可以回滚或标记，并避免了同一任务被重复存储。
请继续参考图4，其示出了根据本申请的分布式任务读取方法的另一个实施例的流程图。如图所示，本实施例的分布式任务读取方法可以包括如下步骤：
步骤401，统一配置中心构建分布式任务存储系统中用于读取任务的多种服务，并设定各服务的数量。
在本实施例中，分布式任务存储系统(例如图1所示)中的统一配置中心可以预先构建多种服务，并设定任务存储集群中需要部署的各服务的数量。上述各服务可以用于从分布式任务存储系统读取已经存储的各任务，例如，统一配置中心可以构建责任链服务、加速服务和预警服务等。
步骤402，任务存储集群的控制中心从统一配置中心获取各服务，并为各服务节点部署至少一种服务。
在本实施例中，任务存储集群可以包括控制中心，该控制中心可以根据统一配置中心设定的任务存储集群需要部署的各服务的数量，从统一配置中心获取各服务，并为任务存储集群中的各服务节点部署上述至少一种服务。例如，各服务节点可以部署责任链服务、加速服务和预警服务等中的至少一种。
步骤403，网关服务器接收各业务系统发送的任务读取请求，并将各任务读取请求分配到任务存储集群中的服务节点。
在本实施例中，分布式任务存储系统中的网关服务器可以接收各业务系统发送的任务读取请求，该任务读取请求可以用于读取分布式任务存储系统中已经存储的任务，并且任务读取请求还可以包括需要读取任务的任务类型。而后，网关服务器可以将各任务读取请求分配到任务存储集群中的各服务节点，以便于各服务节点可以根据需要读取任务的任务类型读取任务。
步骤404，网关服务器基于负载均衡算法将任务存储请求分配到责任链服务。
在本实施例中，控制中心将统一配置中心预先构建的责任链服务部署在各服务节点，上述网关服务器可以基于负载均衡的算法将各任务存储请求分配到部署在服务节点上的责任链服务。
步骤405，任务存储集群启动责任链服务，按照责任链模式从各服务节点依次调用用于读取任务的各服务。
在本实施例中，上述任务存储集群中的服务节点可以调用责任链服务，按照责任链模式从各服务节点依次调用用于读取各任务所需要的服务组成读取任务的任务链，使得各服务节点可以读取各任务读取请求请求读取的任务。
可以理解的是，与上述实施例中分布式任务存储方法相同，在本实施例中的分布式任务读取的过程中，统一配置中心也可以监测各服务和各服务节点的负载情况，并且控制中心可以根据统一配置中心的监测结果增加或减少服务和/或服务节点的数量，这里不再赘述。
步骤406，响应于接收到任务读取请求，任务存储集群调用加速服务从分布式队列中读取任务。
在本实施例中，分布式任务存储系统中还可以包括数据缓存集群。在任务存储集群中的服务节点接收到任务存储请求，将各任务存储到数据持久化分库集群中与该任务的任务类型对应的数据库的同时，还可以将任务存储到上述数据缓存集群中，并在该数据缓存集群中形成与各任务的任务类型对应的分布式队列。
任务存储集群中的服务节点在接收到任务读取请求后，可以调用部署在某一服务节点上的加速服务，根据需要读取任务的任务类型从数据缓存集群中的对应的分布式队列读取任务。可选的，上述服务节点还可以从数据持久化分库集群中的数据库读取任务，但是与从数据持久化分库集群中的数据库读取任务相比，服务节点从数据缓存集群中读取任务可以加快任务读取的速度。并且从上述分布式队列读取任务可以防止同一任务被重复读取。
在本实施例的一些可选的实现方式中，在任务存储集群中的服务节点接收到任务存储请求，将各任务存储到数据持久化分库集群中与该任务的任务类型对应的数据库的同时，上述服务节点还可以将各任务进行本地缓存，并形成与各任务的任务类型对应的分布式队列。任务存储集群中的服务节点在接收到任务读取请求后，可以直接从本地读取缓存任务，同样也可以实现加速读取任务的目的。
在本实例的一些可选的实现方式中，任务存储集群中的服务节点可以调用部署在其中的预警服务来统计存储在分布式任务存储系统中的各任务中未被读取的任务的数量，并在统计到未被读取的任务的数量大于第五预设阈值时，通过统一配置中心向用户发送报警信息。进一步地，上述服务节点还可以调用预警服务监测分布式任务存储系统中异常状态的任务，并在确定存在异常状态的任务时，通过统一配置中心向用户发送报警信息。
本申请上述实施例提供的分布式任务读取方法，可以利用任务存储集群中部署在服务节点上的责任链服务和加速服务等，根据需要读取任务的任务类型，快速地从数据缓存集群中读取对应的任务，并且调用责任链服务可以保证任务在读取的过程中可以进行回滚或标记。
下面参考图5，其示出了适于用来实现本申请实施例的终端设备/服务器的计算机系统500的结构示意图。图5示出的终端设备/服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有系统500操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的系统所包含的；也可以是单独存在，而未装配入该系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该系统执行时，使得该系统：网关服务器接收各业务系统发送的任务请求，并将各任务请求分配到任务存储集群中的服务节点，其中，任务请求为任务存储请求或任务读取请求，各任务请求包括需要存储或读取的任务的任务类型；各服务节点响应于接收到任务存储请求，将各任务存储到数据持久化分库集群中与该任务的任务类型对应的数据库中，或者，各服务节点响应于接收到任务读取请求，根据需要读取的任务的任务类型读取各任务；其中，数据持久化分库集群包括多个数据库，且各数据库用于存储对应任务类型的任务。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。