一种任务流式管理及注解任务定义的实现方法及系统与流程

本发明涉及云计算数据处理，具体涉及一种任务流式管理及注解任务定义的实现方法及系统。

背景技术：

1、在云计算时代，随着云服务的应用领域越来越广，对于公有云计算平台来说，只有计算、网络与存储这三大服务往往是不太够的，在目前互联网应用百花齐放的背景下，在进行云资源实例管理的过程中普通任务和定时任务的流式管理及注解任务定义技术也是云计算平台的关键技术之一，在云计算平台中发挥着至关重要的作用。

2、此外，在大数据分析越来越盛行的背景下，对云资源管理的任务流式管理的可靠便捷管理也变得更为重要。因此，对云资源实例管理的过程中普通任务和定时任务的流式管理及注解任务定义技术也就顺理成章地成为了云计算平台为用户创造价值的一个重要服务，所以任务流式管理及注解任务定义技术也就顺理成章的成为了云计算平台为用户创造价值的另一个重要服务。

技术实现思路

1、有鉴于此，针对目前推荐电影系统所存在的问题，本发明提出了一种基于k8s的任务流式管理及注解任务定义模型实现方法及系统，用户可以按照业务需要调整任务步骤顺序、增加任务步骤、删除任务步骤，在任务定义完成后，用户在创建任务实例的时候只需要指定任务类型和任务执行参数就可以完成任务实例的创建，在任务实例创建结束后用户不需要其他操作，剩余操作由任务系统自动按照有向无环图的配置执行任务步骤直到任务执行完成。

2、基于上述目的，第一方面，本发明提供了一种基于k8s的任务流式管理及注解任务定义模型实现方法，包括以下步骤：

3、初始化默认任务注解定义模型和示例数据；

4、在业务功能模块中按照任务注解定义模型示例数据定义任务注解任务定义；

5、启动业务功能模块，自动加载任务注解任务定义到任务系统中；

6、创建指定类型的任务实例，根据任务注解定义模型创建任务实例；

7、自动执行任务实例的任务步骤，直至任务完成；

8、记录任务执行日志和任务步骤执行日志。

9、作为本发明的进一步方案，所述基于k8s的任务流式管理及注解任务定义模型实现方法中包含任务注解定义模型、任务定义加载模型、任务定义执行模型、任务执行日志记录模型；其中：

10、所述任务注解定义模型为通过增加注解声明任务的定义以及任务步骤定义的数据模型，在服务启动时，通过注解加载任务定义以提供给任务加载功能模块使用；

11、所述任务定义加载模型用于通过在服务启动时进行扫描查找指定任务，定义目录加载所有带有任务注解定义的对象到任务加载模型中，包含任务注解对象的定义信息以及任务注解对象的步骤定义信息；

12、所述任务定义执行模型是在业务逻辑指定创建某个任务类型的任务，任务定义执行模型会从任务加载模型中获取对应的任务注解定义，按照任务注解定义执行任务步骤直到任务执行完成；

13、所述任务执行记录模型用于在业务逻辑创建任务之后，任务执行记录功能在任务执行的过程中自动记录任务的执行信息以及执行详情信息。

14、作为本发明的进一步方案，任务注解定义包含任务总体定义信息、任务步骤定义信息；其中，所述任务总体定义信息包括任务类型、任务描述、任务日志开关的属性；所述任务步骤定义信息包括步骤类型、步骤描述、任务步骤顺序编号、百分比进度、任务日志开关、任务事件开关以及独立错误码的属性；最终任务步骤定义按照有向无环图的数据模型组合为一个任务的步骤节点以及流转关系的有向无环图；其中，所述有向无环图的环的验证包括：包括：获取有向无环图中的多个未入栈节点，从各所述节点中选取一个节点为起始节点并对所述起始节点进行入栈操作；获取所述起始节点对应的多条路径；所述路径中的节点包括起始节点和待遍历节点，其中各节点顺序连接；依次选取一条路径确定为待遍历路径，确定所述待遍历路径中的第一个待遍历节点，并从所述第一个待遍历节点开始根据所述待遍历路径的有向边依次对所述待遍历路径中的节点执行预设操作，在所述待遍历路径中的节点均执行完预设操作且未确定出所述有向无环图存在闭环的情况下，将所述待遍历路径中的待遍历节点均出栈；所述预设操作为判断节点的入栈状态，在入栈状态为未入栈的情况下对节点进行入栈操作，在入栈状态为已入栈的情况下确定所述有向无环图存在闭环；在各所述路径均执行完确定所述待遍历路径中的第一个待遍历节点的操作且未确定出所述有向无环图存在闭环的情况下，则确定所述有向无环图不存在闭环。

15、作为本发明的进一步方案，所述任务总体定义信息中，任务类型、任务描述、任务日志开关为：

16、任务类型(task type)：任务类型是一个唯一的、大写英文字符串，用于定义和标识任务的类型，不可重复。

17、任务描述(task description)：任务描述是一串中文描述内容，用于说明任务的总体功能和目的。

18、任务日志开关(task logging switch)：任务日志开关是一个设置，用于控制任务在执行过程中是否自动记录任务日志。默认情况下，任务日志开关为开启，允许自动记录任务日志。用户可以根据业务需要选择开启或关闭任务日志记录。

19、作为本发明的进一步方案，所述任务步骤定义信息中，步骤类型、步骤描述、任务步骤顺序编号、百分比进度、任务日志开关、任务事件开关以及独立错误码为：

20、步骤类型(step type)：步骤类型是一个唯一的、大写英文字符串，用于定义和标识任务步骤的类型，必须以任务类型的英文字符串为前缀，以便展示任务实例的全部步骤及其执行顺序。

21、步骤描述(step description)：步骤描述是一串中文描述内容，用于详细说明任务步骤的功能和具体操作。

22、任务步骤顺序编号(step sequence number)：步骤顺序编号是正整数的自然数，从1开始，用于标识任务步骤在全流程执行中的执行顺序，必须唯一。

23、百分比进度(percentage progress)：百分比进度是正整数的自然数，从1开始到100结束，表示任务步骤在执行过程中占当前任务的百分比比重。百分比进度必须按照步骤顺序编号增长，不能减少。

24、任务日志开关(step logging switch)：任务日志开关是一个设置，用于控制任务步骤在执行过程中是否自动记录任务日志。默认情况下，任务日志开关为开启，允许自动记录任务步骤的日志。用户可以根据业务需要选择开启或关闭任务步骤日志记录。

25、任务事件开关(step event switch)：任务事件开关是一个设置，用于控制任务步骤在执行过程中是否自动记录任务步骤事件日志。默认情况下，任务事件开关为开启，允许自动记录任务步骤的事件日志。用户可以根据业务需要选择开启或关闭任务步骤事件记录。

26、独立错误码(independent error code)：独立错误码用于定义任务步骤在执行过程中可能出现的运行时异常的错误信息。这些错误码应具有清晰的、独立的错误描述，以便识别和处理异常情况。

27、作为本发明的进一步方案，任务加载是在业务功能模块启动时自动进行的操作，任务加载包括以下步骤：

28、扫描任务定义和任务步骤定义：任务系统功能自动扫描当前业务模块中带有任务注解定义的模型数据；

29、合法性校验：在加载之前，对任务定义和任务步骤定义进行合法性校验；其中，校验包括任务类型和任务步骤类型的合法性、唯一性，步骤顺序的合法性和唯一性，以及百分比进度的合法性和唯一性；其中，不合法的定义将导致错误日志记录，并拒绝加载这些不合法的任务定义和任务步骤定义。

30、作为本发明的进一步方案，任务执行是用户创建指定任务类型的任务实例并将其交给任务系统执行的过程，任务执行包括以下步骤：

31、创建任务实例：用户根据业务需求调用任务平台开放接口，创建指定任务类型的任务实例，并提供任务执行所需的参数；

32、查询任务定义：任务系统根据任务实例中的任务类型，查询相应的任务定义，如果存在合法的任务定义，则创建了普通任务实例；

33、任务执行池：任务实例被创建后，进入任务执行池。任务执行池负责按照任务类型配置的任务步骤信息和流转顺序，逐步执行任务；

34、任务执行完成或失败：任务执行直到任务完成或发生失败，任务系统将终止任务的执行。

35、作为本发明的进一步方案，任务执行记录是自动化记录任务执行过程的关键部分，包括任务日志和任务步骤事件记录：

36、任务日志自动记录：在业务模块的任务定义中，以配置任务日志开关；如果任务日志开关打开，任务系统将自动记录当前任务的执行信息，包括任务的状态、开始时间、结束时间；

37、任务步骤事件自动记录：在业务模块的任务步骤定义中，配置任务步骤事件开关；如果任务步骤事件开关打开，任务系统将自动记录当前任务步骤的执行信息，包括步骤的状态、开始时间、结束时间、事件描述；

38、异常记录：如果任务步骤执行过程中出现异常，任务系统将记录异常信息，包括错误码、错误描述，以便后续的错误处理和排查。

39、第二方面，本发明提供了一种基于k8s的任务流式管理及注解任务定义模型实现系统，该系统包括：

40、任务注解定义模型初始化模块，用于初始化默认的任务注解定义模型和示例数据，以便业务功能模块根据示例数据定义任务注解任务定义；

41、任务加载模块，用于在业务功能模块启动时自动扫描并加载带有注解的任务定义和任务步骤定义，并进行合法性校验，确保任务定义和任务步骤定义的唯一性和合法性；

42、任务执行模块和任务记录模块，用于创建指定类型的任务实例并按照任务注解定义的步骤信息执行任务，同时记录任务执行的日志信息和任务步骤的执行日志信息，以实现任务流程的管理和监控。

43、作为本发明的进一步方案，任务类型定义包括任务类型、任务描述和任务日志开关，任务步骤定义包括步骤类型、步骤描述、任务步骤顺序编号、百分比进度、任务日志开关、任务事件开关和独立错误码，以提供灵活的任务定义和步骤定义方式。

44、本发明的又一方面，还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任一项根据本发明的基于k8s的任务流式管理及注解任务定义模型实现方法。

45、本发明的再一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任一项根据本发明的基于k8s的任务流式管理及注解任务定义模型实现方法。

46、与现有技术相比较而言，本发明提出的一种基于k8s的任务流式管理及注解任务定义模型实现方法及系统，任务管理的方式从传统的单任务体粒度转变为多步骤细粒度，具有以下有益效果：

47、1.更细粒度的任务定义，任务步骤都为独立的细粒度业务执行逻辑，互不干扰，业务逻辑更加清晰，代码可读性更高，业务功能迭代开发扩展更便捷。

48、2.更清晰的任务步骤流转，任务步骤可自动按照顺序执行，并且业务模块可以根据需要指定任务步骤，根据需要制定任务步骤延时执行并唤醒，业务模块可更便捷的根据业务需要改造步骤的流转方向。

49、3.更便捷的任务记录，任务步骤执行时可自动更新任务记录信息，任务步骤执行时可自动记录事件信息(记录当前任务执行的每一步任务步骤信息)，任务执行的记录信息更详细更清晰。

50、本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。