离线任务管理平台的制作方法

1.本发明涉及管理控制领域，尤其涉及一种任务管理平台。


背景技术：

2.当前对于应用或产品的开发，随着业务拓展和技术发展，非实时任务应用增加，各种定时任务分布在各个业务子模块中，如批量数据处理、对账、批量发送通知等。由于不同业务子模块的开发人员的技术偏好有所区别，因此，对于定时任务的技术选型也会有所区别，当前主流的定时任务调度组件包括(以java为例)：quartz、spring task、timer、elastic
‑
job等嵌入型定时任务组件。
3.然而，当前的定时任务组件存在如下缺陷：1)任务分散，因为各业务子模块维护人员不同，导致研发内部没有人了解当前定时任务的数量、执行情况；2)对任务执行情况不了解，因为缺少监控和报警机制，研发人员对任务是否执行以及执行结果不了解，往往在出问题后，是由运营方或客户先发现，从而影响了用户的体验；3)技术栈不统一，因为对于不同的业务模块，其对应的开发团队也不同，这种情况导致不同的业务模块对定时任务的框架选型也有所区别，在统一整合时，无法统一维护；4)定时任务和业务模块紧耦合，因为定时任务调度和业务紧耦合，导致定时任务绑定到各个业务模块，且部分任务框架需要db做持久化，使业务db额外多出其他表；且定时任务更新需要连通服务一起升级，可能会导致业务中断或其他问题；5)问题排查困难，因为没有专门的监控模块，定时任务日志查看困难，导致排查问题耗时较高；6)不方便扩展，因为部分定时任务受限于架构而不能实现分布式执行，且不同开发语言定时任务组件千差万别。
4.因此，提供一种方便维护、监控及管理所有任务，同时亦可解耦管理任务和执行任务的离线任务管理平台成为业内急需解决的问题。


技术实现要素：

5.本发明的目的是提供一种离线任务管理平台，其面向研发人员，通过应用程序接口(api)方式解耦管理模块和执行模块。平台负责安全认证、权限管理、用户管理、任务管理、任务调度、接口调用以及监控报警，研发人员自己实现核心计算逻辑，只需将核心业务逻辑暴露一个api给任务管理平台，通过简单可视化配置即可实现定时调度和监控。同时，不同群组之间实现数据权限隔离，无需担心自己的任务暴露，且平台支持api安全认证，开发人员可以对自己的api进行认证封装后注册到平台，无需担心接口因为暴露而被非法调用。
6.为了实现上述目的，本发明提供了一种离线任务管理平台，包括：任务管理模块，任务管理模块用于以界面形式管理离线任务管理平台上的所有任务；用户管理模块，用户管理模块与任务管理模块通信连接，用于实现离线任务管理平台对于每个用户之间的调度和监控；权限管理模块，权限管理模块与用户管理模块通信连接，用于实现不同用户之间的数据权限隔离；任务调度模块，任务调度模块与任务管理模块通信连接，用于待进行任务巡
检后，为离线管理平台进行不同任务的资源分配和时间分配；以及监控报警模块，监控报警模块与任务调度模块通信连接，用于在重试已执行失败的任务仍不成功时，报警给指定用户。
7.优选地，在技术栈的选择方面，本发明的离线任务管理平台的后端基于javaspring cloud实现，前端基于angularjs6实现，采用前后端分析方式开发。
8.可选择地，任务管理模块包括界面维护子模块及界面监控子模块，其中，界面维护子模块用于支持以界面方式添加任务，并对任务添加名称及描述；界面监控子模块与界面维护子模块通信连接，用于对界面上的所有任务进行可视化监控。本发明的界面可以为用户界面ui。
9.可选择地，界面监控子模块包括：任务总数监控装置、任务健康状况监控装置、任务执行情况监控装置、以及任务重试情况监控装置。
10.可选择地，用户管理模块包括通信连接的访问控制子模块及接口调用子模块，其中，访问控制子模块用于通过注册及登陆方式控制每个用户对于离线任务管理平台的访问权限；接口调用子模块用于供用户通过api接口与离线任务管理平台相连接，以添加、删除、及查询任务执行情况。
11.可选择地，接口调用子模块包括接口认证装置及认证封装装置，其中，接口认证装置用于为用户提供接口安全认证；认证封装装置用于供完成接口安全认证的用户对自身的api进行认证封并注册至离线任务管理平台。
12.可选择地，监控报警模块通过邮件、短信、或微信进行报警。
13.可选择地，用户保留自身传送至离线任务管理平台的任务代码、任务数据库、及任务运维数据。
14.优选地，本发明的离线任务管理平台通过接口方式解耦任务调度和任务执行，同样可以使用rpc、远程脚本执行等方式实现。
15.可选择地，还包括日志查看模块，日志查看模块用于查看界面上的任一任务的日志历史。
16.本发明的有益效果是：(1)、离线任务管理平台可统一界面维护和监控，方便管理及监控所有任务；(2)、设置的报警机制可在任务执行失败重试，仍不成功时，通过邮件、短信、微信等便捷的方式报警给指定人员；(3)、支持日志历史查看，可以快速查看某个任务的日志历史，排查问题效率提升约50％；(4)、与业务模块解耦，实现代码(开发语言)、db、运维解耦，解耦后开发效率显著提升，平均每天减少宕机时间约2s；(5)、支持多租户、不同的用户群体维护自己的任务，且群体之间互相不能访问数据，相同研发团队共同维护定时任务，通过统一界面查看任务执行情况；(6)、具有极高的安全保障，通过登录、注册控制用户的访问权限，通过用户组隔离保证数据安全，通过接口认证保证接口调用安全；(7)、辅助增强现有信息系统稳定性并提升研发效率，离线任务管理平台通过监控报警模块实现自动重试和出错报警，协助研发人员第一时间发现并修复问题；(8)、离线任务管理平台将复杂的任务调度和监控模块进行封装，有效减少研发开发工作量，将精力集中于核心业务开发。
附图说明
17.图1示出了本发明离线任务管理平台的构造示意图。
18.图2示出了本发明的用户管理模块的构造示意图。
19.图3示出了本发明的离线任务管理平台的任务执行图。
具体实施方式
20.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
21.请参照图1，作为一种非限制性实施方式，本发明的离线任务管理平台包括：任务管理模块10、用户管理模块20、权限管理模块30、任务调度模块40、以及监控报警模块50。
22.其中，任务管理模块10用于以界面形式管理离线任务管理平台上的所有任务。
23.用户管理模块20用于实现离线任务管理平台对于每个用户之间的调度和监控。
24.权限管理模块30用于实现不同用户之间的数据权限隔离。
25.任务调度模块40用于待进行任务巡检后，为离线管理平台进行不同任务的资源分配和时间分配。
26.监控报警模块50用于在重试已执行失败的任务仍不成功时，通过邮件、短信、或微信报警给指定用户。
27.在该非限制性实施方式中，任务管理模块10包括界面维护子模块101及界面监控子模块102，其中，界面维护子模块101用于支持以界面方式添加任务，并对任务添加名称及描述。界面监控子模块102与界面维护子模块101通信连接，用于对界面上的所有任务进行可视化监控。界面监控子模块102还包括：任务总数监控装置1021、任务健康状况监控装置1022、任务执行情况监控装置1023、以及任务重试情况监控装置1024。
28.作为另一种非限制性实施方式，如图2所示，用户管理模块20包括通信连接的访问控制子模块201及接口调用子模块202。其中，访问控制子模块201用于通过注册及登陆方式控制每个用户对于离线任务管理平台的访问权限。接口调用子模块202用于供用户通过api接口与离线任务管理平台相连接，以添加、删除、及查询任务执行情况。具体来讲，接口调用子模块202包括接口认证装置2021及认证封装装置2022，其中，接口认证装置2021用于为用户提供接口安全认证，认证封装装；2022用于供完成接口安全认证的用户对自身的api进行认证封并注册至离线任务管理平台。
29.在该非限制性实施方式中，用户保留自身传送至离线任务管理平台的任务代码、任务数据库、及任务运维数据。即本发明的离线任务管理平台将任务模块与业务模块解耦，实现代码(开发语言)、db、运维解耦。
30.作为又一种非限制性实施方式，如图1所示，还包括日志查看模块60。利用日志查看模块60，可以快速查看界面上的任一任务的日志历史，提高排查问题的效率。
31.由此，本发明的离线任务管理平台的业务流程为：
32.(1)注册流程
33.进入平台首页
→
点击注册
→
填写注册信息
→
邮件激活
→
注册成功；
34.(2)添加任务组流程
35.登录平台
→
点击任务组菜单进入任务组列表
→
点击新建任务组
→
填写组信息
→
完成；
36.(3)邀请成员加入任务组流程
37.登录平台
→
点击任务组菜单进入任务组列表
→
点击某个组操作栏中
‘
查看成员’按钮
→
点击邀请用户
→
输入组成员账号并点击确认
→
完成；
38.(4)定时任务创建流程
39.登录平台
→
点击任务管理菜单进入任务列表
→
点击
‘
新建任务’按钮
→
填写任务必要信息
→
完成。
40.由此，如图3所示，本发明的离线任务管理平台的任务执行流程为：首先平台进行任务巡检，在巡检过程中，进行任务调度模块进行任务调度，然后触发该任务，找到该任务对应用户，或者是任务研发人员的api接口，完成接口调用的过程，在完成任务的相应工作后，返回结果，平台再继续执行该任务，若失败的话则进行重试，若重试后又失败，则启动监控报警机制，触发报警给指定人员，然后采集该任务的日志，了解查看该任务日志历史，方便排查问题。
41.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
42.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。