一种任务监控方法、装置、设备、终端设备及存储介质与流程

本发明涉及数据传输监控，特别是指一种任务监控方法、装置、设备、终端设备及存储介质。

背景技术：

1、现有技术中对框架和分布式的处理引擎flink的配置文件（例如flink-config.yaml）进行配置时，直接把flink集群的指标推送给prometheus监控系统，prometheus获取指标时一次请求往往只能获取一个指标，服务端直接向prometheus发送指标数据获取请求，把prometheus作为数据源使用，集数据解析和数据传输功能为一体，当传输任务或者获取的指标过多时，容易在获取展示时产生积压等性能问题。现有的flink任务的执行状态的监控方法，flink集群必须预先部署并设定集群配置，长时间不使用仍需占用系统资源，集群资源的调度无法根据不同的任务进行动态调整。

技术实现思路

1、本发明的目的是提供一种任务监控方法、装置、设备、终端设备及存储介质，用以解决现有技术中框架和分布式的处理引擎flink集群资源的调度无法根据不同的任务进行动态调整的问题。

2、为达到上述目的，本发明的实施例提供一种任务监控方法，应用于第一设备，包括：

3、根据接收到的第一任务，生成目标容器组；

4、根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；

5、在所述目标容器组中执行所述第一任务；

6、根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；

7、其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。

8、本发明的实施例还提供一种任务监控方法，应用于第二设备，包括：

9、查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；

10、当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；

11、将所述第三数据更新到第一任务的数据包中。

12、进一步地，所述数据包还包括：第一任务的第一任务执行标识；

13、所述方法还包括：

14、从第三设备获取与所述第一任务执行标识对应的元数据信息；

15、根据所述元数据信息，确定所述第一任务的第二执行状态；

16、在所述第一执行状态与所述第二执行状态不同的情况下，将所述数据包中的第一执行状态更新为所述第二执行状态。

17、进一步地，从第三设备获取与所述第一任务执行标识对应的元数据信息，包括：

18、根据所述第一任务执行标识，确定运行所述第一任务的第一容器组；

19、从所述第一容器组中获取所述元数据信息。

20、进一步地，第一任务的执行状态包括：未执行，已执行，执行中；

21、根据所述元数据信息，确定所述第一任务的第二执行状态，包括：

22、在所述元数据信息指示所述第一任务未执行的情况下，确定所述第二执行状态为未执行；

23、在所述元数据信息指示所述第一任务正在执行，且所述元数据信息中所有条件的状态均为真的情况下，确定所述第二执行状态为执行中；

24、在所述第三设备不存在所述元数据信息，或者，所述元数据信息指示所述第一任务执行正在执行，且所述元数据信息中条件存在假的状态的情况下，确定所述第二执行状态为已执行。

25、进一步地，将所述第三数据更新到第一任务的数据包中，包括：

26、从数据库中获取执行状态为已执行的第一任务执行标识；

27、若所述第一任务执行标识对应的执行进度的同步状态为未同步，则根据所述第三数据，更新所述第一数据；

28、其中，更新后的第一数据指示所述第一任务的执行进度同步状态为已同步。

29、进一步地，所述第二数据还指示以下至少一项：

30、数据读取指标，用于确定对所述第一任务的所述数据包的查询频次；

31、数据写入指标，用于计算所述第一任务的执行进度同步状态；

32、所述第三数据还指示以下至少一项：

33、所述数据读取指标；

34、所述数据写入指标。

35、为达到上述目的，本发明的实施例提供一种任务监控方法，应用于第三设备，包括：

36、根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；

37、将所述第一任务以及所述第一任务执行标识发送至第一设备；

38、根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；

39、其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。

40、进一步地，所述将所述第一任务以及所述第一任务执行标识发送至第一设备，包括：

41、加载所述第一任务的镜像，将所述第一任务和所述第一任务执行标识发送至所述第一设备。

42、为达到上述目的，本发明的实施例提供任务监控装置，应用于第一设备，包括：

43、生成模块，用于根据接收到的第一任务，生成目标容器组；

44、第一确定模块，用于根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；

45、执行模块，用于在所述目标容器组中执行所述第一任务；

46、第一更新模块，用于根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；

47、其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。

48、为达到上述目的，本发明的实施例提供一种任务监控装置，应用于第二设备，包括：

49、查询模块，用于查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；

50、获取模块，用于当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；

51、第二更新模块，用于将所述第三数据更新到第一任务的数据包中。

52、为达到上述目的，本发明的实施例提供一种任务监控装置，应用于第三设备，包括：

53、第二确定模块，用于根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；

54、发送模块，用于将所述第一任务以及所述第一任务执行标识发送至第一设备；

55、创建模块，用于根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；

56、其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。

57、为达到上述目的，本发明的实施例提供一种设备，包括处理器；

58、所述处理器用于根据接收到的第一任务，生成目标容器组；

59、根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；

60、在所述目标容器组中执行所述第一任务；

61、根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；

62、其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。

63、为达到上述目的，本发明的实施例提供一种设备，包括处理器和收发机；

64、所述收发机用于查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；

65、当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；

66、所述处理器用于将所述第三数据更新到第一任务的数据包中。

67、为达到上述目的，本发明的实施例提供一种设备，包括处理器和收发机；

68、所述处理器用于根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；

69、所述收发机用于将所述第一任务以及所述第一任务执行标识发送至第一设备；

70、所述处理器还用于根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；

71、其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。

72、为达到上述目的，本发明的实施例提供一种终端设备，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所述程序或指令时实现如上所述的任务监控方法。

73、为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的任务监控方法中的步骤。

74、本发明的上述技术方案的有益效果如下：

75、本发明实施例的任务监控方法，通过接收到的第一任务以及所述第一任务的第一任务执行标识创建目标容器组，并通过所述第一任务执行标识对所述目标容器组进行命名，能够根据所述第一任务实时进行集群资源的动态扩容或缩容，提供高弹性、可伸缩的能力；并将所述第二数据作为指标上报至监控系统，使得监控系统提供直接使用的数据，与指标解析过程相互独立。本发明的方案，解决了现有技术中框架和分布式的处理引擎flink集群资源的调度无法根据不同的任务进行动态调整的问题。