一种异常处理方法、装置、电子设备及计算机可读介质与流程

本申请涉及大数据数据分析与挖掘，尤其涉及一种异常处理方法、装置、电子设备及计算机可读介质。

背景技术：

1、 目前，随着企业数据量的增长和数据处理的需求不断增加，大数据分析开始融入各行各业，etl作为大数据处理和分析的基础流程，也被广泛的应用到数仓开发中。etl链路依赖关系依赖人工排查, 容易出错；若结果表依赖的链路较多，人工分析依赖关系极其容易有疏漏。重跑每个etl节点，需要人工等待监控结果，浪费时间。etl链路节点之间存在很多可以并行运行的节点，可并行运行，可大大节约整个链路运行的时间；但人工判断是否能并行容易疏漏，也较难实现最大规模并行处理，数据分析效率与准确率较低。

技术实现思路

1、有鉴于此，本申请实施例提供一种异常处理方法、装置、电子设备及计算机可读介质，能够解决现有的数据分析效率与准确率较低的问题。

2、为实现上述目的，根据本申请实施例的一个方面，提供了一种异常处理方法，包括：

3、响应于异常处理请求，获取对应的数据源标识；

4、根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；

5、获取待处理节点集合中各个节点的节点类型和节点状态；

6、根据节点类型和节点状态，确定待处理节点集合中的运行节点；

7、将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；

8、响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。

9、可选地，根据目标链路得到待处理节点集合，包括：

10、确定目标链路上与数据源标识关联的关联节点，以基于关联节点得到对应的待处理节点集合。

11、可选地，确定待处理节点集合中的运行节点，包括：

12、对于每一个关联节点，确定对应的父节点；

13、响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点。

14、可选地，方法还包括：

15、响应于实时状态为失败，基于目标链路、运行节点和数据源标识，生成报警信息并输出至预设处理节点。

16、可选地，在更新触发的运行节点的实时状态之后，方法还包括：

17、以有向无环图的形式展示实时状态。

18、可选地，标记运行节点为触发，包括：

19、确定待处理节点集合对应的执行计划；

20、将执行计划中的运行节点的节点状态更新为触发。

21、可选地，获取待处理节点集合中各个节点的节点类型和节点状态，包括：

22、获取待处理节点集合中各个节点的节点类型；

23、响应于节点类型中没有父节点，则将父节点的节点状态自动确定为成功。

24、另外，本申请还提供了一种异常处理装置，包括：

25、第一获取单元，被配置成响应于异常处理请求，获取对应的数据源标识；

26、待处理节点集合确定单元，被配置成根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；

27、第二获取单元，被配置成获取待处理节点集合中各个节点的节点类型和节点状态；

28、运行节点确定单元，被配置成根据节点类型和节点状态，确定待处理节点集合中的运行节点；

29、第一更新单元，被配置成将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；

30、第二更新单元，被配置成响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。

31、可选地，待处理节点集合确定单元进一步被配置成：

32、确定目标链路上与数据源标识关联的关联节点，以基于关联节点得到对应的待处理节点集合。

33、可选地，运行节点确定单元进一步被配置成：

34、对于每一个关联节点，确定对应的父节点；

35、响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点。

36、可选地，装置还包括报警单元，被配置成：

37、响应于实时状态为失败，基于目标链路、运行节点和数据源标识，生成报警信息并输出至预设处理节点。

38、可选地，装置还包括展示单元，被配置成：

39、以有向无环图的形式展示实时状态。

40、可选地，第一更新单元进一步被配置成：

41、确定待处理节点集合对应的执行计划；

42、将执行计划中的运行节点的节点状态更新为触发。

43、可选地，第二获取单元进一步被配置成：

44、获取待处理节点集合中各个节点的节点类型；

45、响应于节点类型中没有父节点，则将父节点的节点状态自动确定为成功。

46、另外，本申请还提供了一种异常处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的异常处理方法。

47、另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的异常处理方法。

48、为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品。

49、本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的异常处理方法。

50、上述发明中的一个实施例具有如下优点或有益效果：本申请通过响应于异常处理请求，获取对应的数据源标识；根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；获取待处理节点集合中各个节点的节点类型和节点状态；根据节点类型和节点状态，确定待处理节点集合中的运行节点；将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。利用节点关系及状态，有顺序的并行重跑etl链路。利用线程池，在保证依赖关系的情况下，并行重跑，大大节约时间；根据节点间关系，自动解析链路，避免人工操作出错，提高数据分析效率和准确率，可以实现最大规模并行处理异常。

51、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

技术特征：

1.一种异常处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标链路得到待处理节点集合，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定所述待处理节点集合中的运行节点，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，在所述更新触发的所述运行节点的实时状态之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述标记所述运行节点为触发，包括：

7.根据权利要求1所述的方法，其特征在于，所述获取所述待处理节点集合中各个节点的节点类型和节点状态，包括：

8.一种异常处理装置，其特征在于，包括：

9.根据权利要求8所述的装置，其特征在于，所述待处理节点集合确定单元进一步被配置成：

10.根据权利要求9所述的装置，其特征在于，所述运行节点确定单元进一步被配置成：

11.根据权利要求8所述的装置，其特征在于，所述装置还包括报警单元，被配置成：

12.根据权利要求8所述的装置，其特征在于，所述装置还包括展示单元，被配置成：

13.根据权利要求8所述的装置，其特征在于，所述第一更新单元进一步被配置成：

14.一种异常处理电子设备，其特征在于，包括：

15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本申请公开了异常处理方法、装置、电子设备及计算机可读介质，涉及大数据数据分析与挖掘技术领域，该方法包括：响应于异常处理请求，获取对应的数据源标识；根据数据源标识，确定目标链路，根据目标链路得到待处理节点集合；获取待处理节点集合中各个节点的节点类型和节点状态；根据节点类型和节点状态，确定待处理节点集合中的运行节点；将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；响应于实时状态为成功，更新节点状态，基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程。利用节点关系及状态，有顺序的并行重跑ETL链路。提高数据分析效率和准确率，最大规模并行处理异常。

技术研发人员：危奇,秦添,刘志杰
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：
技术公布日：2024/1/15