一种跨多云环境下的数据作业监控方法及装置与流程

本申请涉及数据监控领域，特别涉及一种跨多云环境下的数据作业监控方法及装置。

背景技术：

1、目前，拥抱云原生已经是企业数字化转型的关键战略举措，企业综合考量不同云服务商提供能力，会采用多云的方式架构企业的核心应用，这就带来一个核心问题，某个业务处理场景依赖多个部门、多个平台、多个系统的数据。举例来说，a平台处理后的数据会传输给b平台，b平台在处理后传输给c平台，c平台处理后传输给d平台，从而完成目标任务的执行。

2、由于各个平台会有自己独立的调度系统和监控体系，系统间调度不统一，无法做统一的监控，所以很难从全局视角监控数据全流程的成功和失败，给问题感知、问题定位和问题处理带来很大障碍。在现有技术中，主要通过人工干预的方式通知下游任务调度成功失败的状态，耗费人力，且无法从全局视角监控数据全流程的状态。

技术实现思路

1、有鉴于此，本申请的目的在于提供一种跨多云环境下的数据作业监控方法及装置，可以从全局视角监控目标任务的数据作业情况，可以使用户感知到跨云作业的全流程状态，提高处理效率。其具体方案如下：

2、第一方面，本申请提供了一种跨多云环境下的数据作业监控方法，包括：

3、当目标任务在跨多云环境下运行完成后，调用标准化接口获取第一数据；所述第一数据为所述目标任务在跨多云环境运行时产生的数据；所述第一数据包括多个节点的云环境信息、节点信息和链路追踪信息；所述云环境信息包括节点所在的云环境名称和云环境的系统标识；所述节点信息包括节点标识和节点运行状态；所述链路追踪信息包括节点的父节点标识和下游系统标识；

4、根据所述第一数据对目标任务的第一数据传输链路进行链路还原，得到包括顺序链接的多个节点的第一数据传输链路，以便监控所述目标任务的数据作业情况。

5、第二方面，本申请实施例还提供了一种跨多云环境下的数据作业监控装置，包括：

6、获取单元，用于当目标任务在跨多云环境下运行完成后，调用标准化接口获取第一数据；所述第一数据为所述目标任务在跨多云环境运行时产生的数据；所述第一数据包括多个节点的云环境信息、节点信息和链路追踪信息；所述云环境信息包括节点所在的云环境名称和云环境的系统标识；所述节点信息包括节点标识和节点运行状态；所述链路追踪信息包括节点的父节点标识和下游系统标识；

7、链路还原单元，用于根据所述第一数据对目标任务的第一数据传输链路进行链路还原，得到包括顺序链接的多个节点的第一数据传输链路，以便监控所述目标任务的数据作业情况。

8、第三方面，本申请实施例还提供了一种计算机设备，所述计算机设备包括处理器以及存储器：

9、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

10、所述处理器用于根据所述程序代码中的指令执行所述的方法。

11、第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行所述的方法。

12、本申请实施例提供了一种跨多云环境下的数据作业监控方法及装置，当目标任务在跨多云环境下运行完成后，调用标准化接口获取第一数据；第一数据为目标任务在跨多云环境运行时产生的数据；第一数据包括多个节点的云环境信息、节点信息和链路追踪信息；云环境信息包括节点所在的云环境名称和云环境的系统标识；节点信息包括节点标识和节点运行状态；链路追踪信息包括节点的父节点标识和下游系统标识；根据第一数据对目标任务的第一数据传输链路进行链路还原，得到包括顺序链接的多个节点的第一数据传输链路，以便监控目标任务的数据作业情况。这样，通过定义标准化接口，埋入到业务流程的程序或脚本内，可以对第一数据进行采集，并根据第一数据还原在目标任务执行时的第一数据传输链路，得到目标任务的业务流程和相应的状态，可以从全局视角监控目标任务的数据作业情况，可以使用户感知到跨云作业的全流程状态，提高处理效率。

技术特征：

1.一种跨多云环境下的数据作业监控方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一数据对目标任务的第一数据传输链路进行链路还原，得到包括顺序链接的多个节点的第一数据传输链路，包括：

3.根据权利要求2所述的方法，其特征在于，所述将多个系统对应的多个第二数据传输链路进行链接，得到第一数据传输链路，包括：

4.根据权利要求2所述的方法，其特征在于，所述节点信息还包括任务结束时间，所述在每个系统中，从多个节点中确定系统的尾节点，包括：

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：

7.一种跨多云环境下的数据作业监控装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述链路还原单元，用于：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-6中任意一项所述的方法。

技术总结
本申请提供一种跨多云环境下的数据作业监控方法及装置，当目标任务在跨多云环境下运行完成后，调用标准化接口获取第一数据；第一数据为目标任务在跨多云环境运行时产生的数据；第一数据包括多个节点的云环境信息、节点信息和链路追踪信息；根据第一数据对目标任务的第一数据传输链路进行链路还原，得到包括顺序链接的多个节点的第一数据传输链路，以便监控目标任务的数据作业情况。通过定义标准化接口，埋入到业务流程的程序或脚本内，对第一数据进行采集，根据第一数据还原在目标任务执行时的第一数据传输链路，得到目标任务的业务流程和相应的状态，从全局视角监控目标任务的数据作业情况，使用户感知到跨云作业的全流程状态，提高处理效率。

技术研发人员：姜涛
受保护的技术使用者：内蒙古伊利实业集团股份有限公司
技术研发日：
技术公布日：2024/5/16