本发明涉及计算机技术领域，特别地涉及一种分布式任务调度方法和装置。
背景技术
目前，针对电商业务的分布式系统包括：订单、仓储、配送、售后以及客服等等多个子系统，在分布式系统运行过程中各个子系统会产生大量有价值的业务数据，通常为了提高并发和解耦，分布式系统通常会采用先接受业务数据，再异步处理数据的软件设计方法。
当前基于java开发语言、spring组件构建的软件系统中，通常采用jdktimer和quartz两类分布式任务调度工具。spring对组件jdktimer和quartz进行了丰富的和抽象和管理，通常仅需要开发人员通过配置文件对执行任务的java代码进行配置和管理，spring容器即可对任务进行调度。
然而，上述两类调度工具共同存在以下几个缺陷：1、代码的配置较多，代码维护量大；2、代码只能在一个服务器进行处理、存在单点故障，当服务器故障后无法自动再次执行，需人工介入；3、执行过程无法监控，如果执行异常开发人员得不到反馈；4、代码的执行通过配置进行初始化，想修改配置必须通过修改配置文件，重启应用才能解决。
因此，亟需一种能够解决单点故障的问题，方便管理和维护，具有高可用性的轻量级分布式任务调度方法和系统。
技术实现要素：
有鉴于此，本发明提供一种分布式任务调度方法、装置、电子设备和计算机可读介质，解决现有任务调度系统的单点故障问题，使系统达到高可用性。
为实现上述目的，根据本发明的一个方面，提供了一种分布式任务调度方法，该方法包括：
创建线程池，并在线程池中初始化一个或多个线程；
接收客户端的任务注册请求，并生成对应该任务的服务，所述服务具有服务信息；
依据为所述服务预定义的调度配置参数，为所述服务分配一个或多个线程，所分配的每个线程依据所述服务信息以及所述调度配置参数单独向所述客户端请求所述服务，使得客户端可以响应所述每个线程对所述服务的请求，执行所述服务对应的任务，实现对任务的调度。
进一步的，在所述所分配的每个线程依据所述服务信息以及所述调度配置参数单独向所述客户端请求所述服务的步骤中包括：
所述每个线程通过预定义通信协议向客户端请求所述服务，所述预定义通信协议为http或tcp协议。
进一步的，所述服务信息包括以下各项中的至少一项：服务的协议、服务名、服务发现信息以及服务的状态。
进一步的，所述预定义的调度配置参数包括以下各项中的至少一项：
申请线程的个数、服务参数、每次获取数据的个数、每次执行数据的个数、执行时间的规则、有数据间隔的秒数、无数据间隔的秒数、处理数据的线程数、数据重试的次数以及服务超时秒数。
根据本发明的另一个方面，提供了一种分布式任务调度方法，该方法包括：
向服务端发送任务注册请求，以将任务注册到所述服务端并生成对应该任务的服务，所述服务具有服务信息，其中，所述服务端创建有线程池，并在线程池中初始化有一个或多个线程，所述服务端依据为所述服务预定义的调度配置参数，为所述服务分配一个或多个线程，所分配的每个线程依据所述服务信息以及所述调度配置参数单独请求所述服务；
响应所述服务端分配的每个线程对所述服务的请求，执行所述服务对应的任务，实现对任务的调度。
进一步的，在所述向服务端发送任务注册请求的步骤中包括：
通过预定义通信协议向服务端发送任务注册请求，以将任务注册到所述服务端，所述预定义通信协议为http或tcp协议。
进一步的，所述服务信息包括以下各项中的至少一项：服务的协议、服务名、服务发现信息以及服务的状态。
进一步的，所述预定义的调度配置参数包括以下各项中的至少一项：
申请线程的个数、服务参数、每次获取数据的个数、每次执行数据的个数、执行时间的规则、有数据间隔的秒数、无数据间隔的秒数、处理数据的线程数、数据重试的次数以及服务超时秒数。
根据本发明的另一个方面，提供了一种分布式任务调度装置，所述装置具有线程池，在所述线程池中初始化有一个或多个线程，所述装置包括：
服务中心模块，用于接收客户端的任务注册请求，并生成对应该任务的服务，所述服务具有服务信息，所述服务中心模块利用数据库来存储和管理所述服务信息；
调度中心模块，用于依据为所述服务预定义的调度配置参数，为所述服务分配一个或多个线程，所分配的每个线程依据所述服务信息以及所述调度配置参数单独向所述客户端请求所述服务，使得客户端可以响应所述每个线程对所述服务的请求，执行所述服务对应的任务，实现对任务的调度。
进一步的，所述调度中心模块还用于对所述每个线程执行的过程进行监控，生成监控数据。
进一步的，本发明提供的分布式任务调度装置，还包括：监控中心模块，用于对所述监控数据进行统计。
进一步的，本发明提供的分布式任务调度装置，还包括：用户中心模块，用于基于所述监控数据对所述系统进行故障检测，并在检测到故障后，通过短信和/或邮件方式进行报警。
进一步的，所述调度中心模块进一步用于所述每个线程通过预定义通信协议向客户端请求所述服务，所述预定义通信协议为http或tcp协议。
根据本发明的另一个方面，提供了一种分布式任务调度装置，该装置包括：
服务注册模块，用于向服务端发送任务注册请求，以将任务注册到所述服务端并生成对应该任务的服务，所述服务具有服务信息，其中，所述服务端创建有线程池，并在线程池中初始化有一个或多个线程，所述服务端依据为所述服务预定义的调度配置参数，为所述服务分配一个或多个线程，所分配的每个线程依据所述服务信息以及所述调度配置参数单独请求所述服务；
服务执行模块，用于响应所述服务端分配的每个线程对服务的请求，执行所述服务对应的任务，实现对任务的调度。
进一步的，所述服务注册模块进一步用于通过预定义通信协议向服务端发送任务注册请求，以将任务注册到所述服务端，所述预定义通信协议为http或tcp协议。
根据本发明的另一个方面，提供了一种分布式任务调度的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器至少实现：
创建线程池，并在线程池中初始化一个或多个线程；
接收客户端的任务注册请求，并生成对应该任务的服务，所述服务具有服务信息；
依据为所述服务预定义的调度配置参数，为所述服务分配一个或多个线程，所分配的每个线程依据所述服务信息以及所述调度配置参数单独向所述客户端请求所述服务，使得客户端可以响应所述每个线程对所述服务的请求，执行所述服务对应的任务，实现对任务的调度。
根据本发明的另一个方面，提供了一种分布式任务调度的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器至少实现：
向服务端发送任务注册请求，以将任务注册到所述服务端并生成对应该任务的服务，所述服务具有服务信息，其中，所述服务端创建有线程池，并在线程池中初始化有一个或多个线程，所述服务端依据为所述服务预定义的调度配置参数，为所述服务分配一个或多个线程，所分配的每个线程依据所述服务信息以及所述调度配置参数单独请求所述服务；
响应所述服务端分配的每个线程对所述服务的请求，执行所述服务对应的任务，实现对任务的调度。
根据本发明的另一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时至少实现：
创建线程池，并在线程池中初始化一个或多个线程；
接收客户端的任务注册请求，并生成对应该任务的服务，所述服务具有服务信息；
依据为所述服务预定义的调度配置参数，为所述服务分配一个或多个线程，所分配的每个线程依据所述服务信息以及所述调度配置参数单独向所述客户端请求所述服务，使得客户端可以响应所述每个线程对所述服务的请求，执行所述服务对应的任务，实现对任务的调度。
根据本发明的另一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时至少实现：
向服务端发送任务注册请求，以将任务注册到所述服务端并生成对应该任务的服务，所述服务具有服务信息，其中，所述服务端创建有线程池，并在线程池中初始化有一个或多个线程，所述服务端依据为所述服务预定义的调度配置参数，为所述服务分配一个或多个线程，所分配的每个线程依据所述服务信息以及所述调度配置参数单独请求所述服务；
响应所述服务端分配的每个线程对所述服务的请求，执行所述服务对应的任务，实现对任务的调度。
本发明提供的分布式任务调度方法、系统、电子设备和计算机可读介质，通过数据库+多线程+多种通信协议+电子邮件+短信的设计思路实现，通过集群部署的服务端对客户端任务进行调度，解决单点故障问题，并且用户只需要通过对服务的注册以及调度配置参数的配置和管理即可进行任务调度，开发简单、配置少、代码管理方便，系统可用性高。在调度过程中，开发人员可以根据任务量的多少、对调度配置参数进行动态调整，系统平滑的根据配置动态调整参数和执行过程，而不需要重启应用，并且对执行过程进行监控，在执行过程中如果遇到问题，监控中心模块可以通过邮件和短信等方式出发报警。通过本发明提供的调度方式可以有效提升任务处理的并发性、吞吐量和稳定性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例提供的分布式任务调度方法流程图；
图2是本发明实施例提供的分布式任务调度装置的示意图；
图3是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施方式做出说明，其中包括本发明实施方式的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施方式做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本发明实施例提供一种分布式任务调度方法，如图1所示，该方法包括步骤101至步骤104，该方法通过服务端和客户端实现，服务端和客户端功能可以分别由服务器集群实现，客户端支持多任务部署。在步骤101中，服务端创建线程池，并在线程池中初始化一个或多个线程，创建的线程池用于在后续步骤中分配线程进行任务调度。
在步骤102中，客户端把任务注册到服务端以生成对应该任务的服务，所述服务具有服务信息。更为具体的，客户端通过预定义通信协议向服务端发送任务注册请求，把任务注册到服务端，所采用的预定义通信协议可以为http或tcp协议。基于http或tcp协议，客户端通过对应的远程通信框架，例如：hessian、soap、restful，将任务标注为服务，然后将服务信息通过服务端提供的api写入服务端数据库，完成任务的注册，实现客户端与服务端关于服务信息的通信。同时，客户端启动一个线程，通过心跳刷新服务的状态到服务端，保证服务端可以发现服务的存活性。
服务信息即由客户端封装的任务的相关信息，其中包括：服务的协议、服务名、服务发现信息以及服务的状态等数据。服务的协议指服务是采用hessian、soap或者restful中哪一种协议框架实现的。服务名即服务的名称。服务发现信息服务的uri地址，对应基于tcp协议实现的框架协议时，为相关的注册中心信息。服务的状态表示服务状态是否可用，在后续的调度步骤中可以基于本服务的状态有不同的反馈信息，例如当服务状态不可用时，进行报警。在后续步骤进行任务调度时，服务端通过注册的服务信息定位到服务，然后调度客户端执行任务。
在步骤103中，服务端依据对应服务预定义的调度配置参数，为服务分配一个或多个线程，所分配的每个线程依据服务信息以及调度配置参数单独向客户端请求服务，以实现对任务的调度。调度配置参数由用户在服务端进行配置，用户可以对应每一个已注册的服务分别进行配置，配置的过程可以由用户通过服务端提供的ui或api实现。
其中，预定义的调度配置参数包括：申请线程的个数、服务参数、每次获取数据的个数、每次执行数据的个数、执行时间的规则、有数据间隔的秒数、无数据间隔的秒数、处理数据的线程数、数据重试的次数以及服务超时秒数。用户可以在对上述调度配置参数进行组合设置，实现对于客户端任务的并发处理和弹性调度。
服务端依据上述对应服务配置的调度配置参数，为服务分配一定数量的线程，每个线程依据服务的注册信息定位到具体的服务，并根据调度配置参数的具体配置，单独向客户端进行服务请求。例如，调度配置参数中对一个服务配置为申请10个线程，根据该配置服务端为该服务从线程池中分配10个线程，10个线程根据设定的执行时间的规则以及执行过程每次获取数据的个数等参数并发的向客户端请求该服务，实现对于客户端任务的执行时间、执行次数以及使用的系统资源等方面的调度控制。
对应服务的注册方式，服务端线程通过预定义通信协议向客户端请求服务，预定义通信协议即http或tcp协议。对于一个服务，在任务注册时采用哪种远程通信框架实现，则服务端在请求该服务时就采用相同的远程通信框架实现。
在步骤104中，客户端响应服务端分配的线程对服务的请求，执行服务对应的任务。客户端任务在被请求后，开始启动执行，例如，服务端对于一个服务有10个线程并发的发起请求，客户端则对应请求数量，分配10份系统资源同时去执行该服务对应的任务。在任务执行的过程中，用户可以根据实际需要在服务端调整配置参数以及对服务进行管理，例如对服务进行停止、运行、新增等操作。
本发明实施例还提供一种分布式任务调度系统，如图2所示，该系统包括：客户端1和服务端2，服务端和客户端功能可以分别由服务器集群实现，客户端支持多任务处理，例如图2中所示，多任务分别为任务1、任务2至任务n。客户端1包括：服务注册模块3和服务执行模块6，其中服务端2包括：服务中心模块4和调度中心模块5，其中服务端2具有线程池，在线程池中初始化有一个或多个线程。
其中，服务注册模块3用于把任务注册到服务中心模块4以生成对应该任务的服务，服务具有服务信息。服务注册模块3通过预定义通信协议把任务注册到服务端，所采用的预定义通信协议可以为http或tcp协议。基于http或tcp协议，服务注册模块3通过对应的远程通信框架：hessian、soap或者restful将任务标注为服务，然后将服务信息写入服务中心模块4的数据库，完成任务的注册，实现客户端与服务端关于服务信息的通信。同时，服务注册模块3启动一个线程，通过心跳刷新服务的状态到服务中心模块4，保证服务中心模块4可以发现服务的存活性。
服务中心模块4利用数据库来存储和管理服务信息。服务信息即由服务注册模块3封装的任务的相关信息，其中包括：服务的协议、服务名、服务发现信息以及服务的状态等数据。服务的协议指服务是采用hessian、soap、restful或者jsf中哪一种协议框架实现的。服务名即服务的名称。服务发现信息为服务的uri地址，对应基于tcp协议实现的jsf框架协议时，为jsf的注册中心信息。服务的状态表示服务状态是否可用，其他具有监控功能的模块可以基于服务的状态有不同的反馈信息，例如当服务状态不可用时，进行报警。
调度中心模块5对每个服务依据对应该服务预定义的调度配置参数，在线程池中为该服务分配一个或多个线程，所分配的每个线程依据该服务信息以及调度配置参数单独向客户端请求该服务，以实现对任务的调度。对应服务注册模块3向服务中心模块4注册任务时采用的通信协议和远程通信框架，调度中心模块5分配的线程通过相同的通信协议和远程通信框架实现向客户端的远程服务请求。
在本发明中，调度中心模块还用于对每个线程执行的过程进行监控。在任务执行的过程中，用户可以根据实际需要在调度中心模块调整配置参数以及对服务进行管理，例如对服务进行停止、运行、新增等操作，同时可以监控对于服务的分配的线程，以及每个线程执行的过程，如成功次数、失败次数、处理的数据量、下次执行的时间，最后处理成功的时间等，并生成相对应的监控数据。调度中心模块可以通过数据库对上述调整配置参数以及各项监控数据进行存储和管理。
其中，预定义的调度配置参数包括：申请线程的个数、服务参数、每次获取数据的个数、每次执行数据的个数、执行时间的规则、有数据间隔的秒数、无数据间隔的秒数、处理数据的线程数、数据重试的次数以及服务超时秒数。用户可以在调度中心模块5数据库中对上述调度配置参数进行组合设置，实现对于客户端任务的并发处理和弹性调度。
服务执行模块6用于响应调度中心模块分配的线程对服务的请求，执行该服务对应的任务。根据调度中心模块5配置的线程数，服务执行模块6并发的执行任务，提高了任务处理的并发性和吞吐量。
在发明中，服务端2还包括：监控中心模块7，监控中心模块7用于对调度中心模块5生成的监控数据进行统计，获得例如，任务调度成功的次数、失败的次数、平均的耗时等数据，同时可以对服务状态是否可用进行监视，并可以通过表格和图标的方式将上述数据显示出来。
在发明中，服务端2还包括：用户中心模块8，用户中心模块8用于基于监控数据对系统进行故障检测，并在检测到故障后，通过短信和/或邮件方式进行报警。例如，当发现服务状态不可用时，任务调度超时，进行报警。
通过上述各模块的功能实现，使得本发明系统具备分布式处理的能力，调度的过程可以在调度中心模块和监控中心模块进行展现，当服务端部分实例出现故障，或者用户调整调度中心配置参数后，可以根据注册中心模块的服务信息以及调度中心模块中申请的线程数调整服务端集群对所有任务的调度，使得服务端集群具备弹性处理的能力。
本发明提供的分布式任务调度的方法和系统，通过数据库+多线程+多种通信协议+电子邮件+短信的设计思路实现，通过集群部署的服务端对客户端任务进行调度，解决单点故障问题，并且用户只需要通过对服务的注册以及调度配置参数的配置和管理即可进行任务调度，开发简单、配置少、代码管理方便，系统可用性高。在调度过程中，开发人员可以根据任务量的多少、对调度配置参数进行动态调整，系统平滑的根据配置动态调整参数和执行过程，而不需要重启应用，并且对执行过程进行监控，在执行过程中如果遇到问题，监控中心模块可以通过邮件和短信等方式出发报警。通过本发明提供的调度方式可以有效提升任务处理的并发性、吞吐量和稳定性。
下面参考图3，其示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。图3示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图3所示，计算机系统包括中央处理单元(cpu)v1，其可以根据存储在只读存储器(rom)v2中的程序或者从存储部分v8加载到随机访问存储器(ram)v3中的程序而执行各种适当的动作和处理。在ramv3中，还存储有系统操作所需的各种程序和数据。cpuv1、romv2以及ramv3通过总线v4彼此相连。输入/输出(i/o)接口v5也连接至总线v4。
以下部件连接至i/o接口v5：包括键盘、鼠标等的输入部分v6；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分v7；包括硬盘等的存储部分v8；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分v9。通信部分v9经由诸如因特网的网络执行通信处理。驱动器v10也根据需要连接至i/o接口v5。可拆卸介质v11，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器v10上，以便于从其上读出的计算机程序根据需要被安装入存储部分v8。
特别地，根据本发明公开的实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分v9从网络上被下载和安装，和/或从可拆卸介质v11被安装。在该计算机程序被中央处理单元(cpu)v1执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括服务中心模块和调度中心模块。又如，可以描述为：一种处理器包括服务注册模块和服务执行模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，服务中心模块还可以被描述为“用于接收客户端的任务注册请求，并生成对应该任务的服务的模块”。又如，服务注册模块还可以被描述为“用于向服务端发送任务注册请求，以将任务注册到服务端并生成对应该任务的服务的模块”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
创建线程池，并在线程池中初始化一个或多个线程；
接收客户端的任务注册请求，并生成对应该任务的服务，服务具有服务信息；
依据为服务预定义的调度配置参数，为服务分配一个或多个线程，所分配的每个线程依据服务信息以及调度配置参数单独向客户端请求服务，使得客户端可以响应每个线程对服务的请求，执行服务对应的任务，实现对任务的调度。
或者，在另一种计算机可读介质承载的一个或者多个程序被一个该设备执行时，使得该设备至少包括：
向服务端发送任务注册请求，以将任务注册到服务端并生成对应该任务的服务，服务具有服务信息，其中，服务端创建有线程池，并在线程池中初始化有一个或多个线程，服务端依据为服务预定义的调度配置参数，为服务分配一个或多个线程，所分配的每个线程依据服务信息以及调度配置参数单独请求服务；
响应服务端分配的每个线程对服务的请求，执行服务对应的任务，实现对任务的调度。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。