基于全链路监控数据的流程挖掘方法、存储介质和设备与流程

本发明涉及流程管理，尤其涉及一种基于全链路监控数据的流程挖掘方法、存储介质和设备。

背景技术：

1、流程挖掘是指通过分析企业的业务系统数据、用户操作行为日志及业务日志等数据，从中挖掘出企业的业务流程，帮助企业了解业务流程情况，便于企业对业务流程进行优化，提升业务流程运行效率。

2、业内常用的流程挖掘方式有两种：

3、（1）基于频繁模式挖掘算法来进行流程挖掘。频繁模式挖掘算法能够从业务数据集挖掘出频繁项集以及频繁项集中各个频繁项之间的关联规则，据此得出业务流程。但业务数据集的数据会随着业务的发生而增多，业务数据集中的频繁项集的数量会呈指数级增长，即所需处理的数据量会爆炸式增长，在业务数据集规模达到一定程度后，所需消耗的计算资源大幅度增加，需要消耗大量计算资源。

4、（2）基于过程发现算法来进行流程挖掘。过程发现算法通过日志数据来理解该日志数据中的活动之间的依赖关系和执行顺序，从中推断出业务流程。过程发现算法要求日志数据包含可能出现的所有活动的次序关系，即要求所有活动的次序关系是完备的，这样推断处理的业务流程才是完整且准确的。但在业务系统实际运行过程中，很多日志数据并不包含可能出现的所有活动的次序关系，仅仅只包含部分活动的次序关系，过程发现算法据此进行流程挖掘得到的业务流程可能并不是一个完整的业务流程。

技术实现思路

1、本发明所要达到的目的是提供一种基于全链路监控数据的流程挖掘方法、存储有被执行时实现该方法的计算机程序的计算机可读存储介质以及可执行该方法的流程挖掘设备，该方法所需处理的数据量不会爆炸式增长，无需消耗大量计算资源，且能够准确地挖掘出完整的业务流程。

2、为了达到上述目的，本发明提供了一种基于全链路监控数据的流程挖掘方法，包括以下步骤：

3、s1.从业务系统所对应的全链路监控数据中获取业务系统的每个组件的、每个指标的和每个服务的数据血缘链路，得到多条数据血缘链路，数据血缘链路中的节点均为实体；

4、s2.对上述各条数据血缘链路进行数据预处理；

5、s3.采用已训练好的pcnns卷积神经网络模型从经过预处理后的每条数据血缘链路中提取得到至少一对实体的数据流向关系；

6、s4.从所得到的各对实体的数据流向关系当中，选出多组数据流向连贯的实体组，按照数据流向关系把每组实体组内的各个实体依次串联形成业务流程链路；

7、s5.对每条业务流程链路，查询该业务流程链路中每个节点的元数据状态，若该节点的元数据状态为无效状态，则在业务流程链路中去掉该节点，并按照该节点与前、后节点的数据流向关系生成该前节点与该后节点之间的数据流向关系，得到更新后的业务流程链路。

8、进一步地，本方法包括步骤s6.把在所有业务流程链路当中出现次数超过预设次数的节点记为关键实体节点以便运维人员重点维护关键实体节点。

9、进一步地，本方法包括步骤s7.把相互之间存在重叠节点的多条业务流程链路进行关联，若其中一条业务流程链路所对应的业务处理失败且失败时所处节点为重叠节点，则下线该业务流程链路所关联的业务流程链路所对应的业务。

10、进一步地，本方法包括：

11、s8.分别为各条业务流程链路构建对应的业务流程模型；

12、s9.采用业务流程仿真引擎按照各个业务流程模型进行业务流程仿真，得到每个业务流程模型的运行性能数据，以便让运维人员根据各个业务流程模型的运行性能数据对流程模型进行优化，其中，运行性能数据包括吞吐量、网络延迟时间和资源利用率。

13、进一步地，本方法包括步骤s10. 通过可视化图表输出各个业务流程模型以及其仿真得到的运行性能数据。

14、进一步地，步骤s2中，所述数据预处理包括数据清洗、数据降维、数据标准化和数据转换。

15、本发明还提供了一种计算机可读存储介质，其上存储有可执行的计算机程序，该计算机程序被执行从而实现如上所述的基于全链路监控数据的流程挖掘方法。

16、本发明还提供了一种流程挖掘设备，包括处理器以及如上所述的计算机可读存储介质，该处理器执行该存储介质中的计算机程序从而实现如上所述的基于全链路监控数据的流程挖掘方法。

17、全链路监控是指对业务系统中的所有数据（包括组件、指标和服务）从起源、中间处理过程、到最终输出的整个数据流向链路（即数据血缘链路）进行监控，全链路监控所记录的数据即为全链路监控数据，其包含了业务系统中各个数据的数据血缘链路。本发明考虑到业务流程通常会伴随着数据的生成、流转，即数据血缘链路反映了业务流程的链路，因此本发明采用全链路监控数据来进行流程挖掘，具体地，按照步骤s1从全链路监控数据中获取业务系统中的每个组件的、每个指标的和每个服务的数据血缘链路，然后通过步骤s3提取出所有实体之间的数据流向关系，然后执行步骤s4把数据流向连贯的多个实体依次串联形成业务流程链路。在业务系统运行过程中，用户可能会删除一些数据例如删除某个表格，所删除的表格可能属于数据血缘链路中的链路节点，但是全链路监控数据中的数据血缘链路依然存在对应的链路节点，这就导致了步骤s4中所形成的业务流程链路中有些节点可能已经无效。为此，本发明通过步骤s5，查询业务流程链路中每个节点的元数据状态，如果该节点的元数据状态为无效状态，意味着该节点已经不存在了，故在业务流程链路中去掉该节点，并按照该节点与前、后节点的数据流向关系生成该前节点与该后节点之间的数据流向关系，得到优化后的业务流程链路，确保业务流程链路准确有效。本发明基于全链路监控数据来获取数据血缘链路，进而从数据血缘链路中提取各个实体之间的数据流向关系，据此形成完整的业务流程。由于一个组件/指标/服务只对应一条数据血缘链路，数据血缘链路数据量不会像业务数据那样随着业务的发生而增多，数据量通常比较稳定，不会爆炸式增长，无需消耗大量计算资源。

技术特征：

1.一种基于全链路监控数据的流程挖掘方法，其特征是，包括以下步骤：

2.如权利要求1所述的基于全链路监控数据的流程挖掘方法，其特征是，包括步骤s6.把在所有业务流程链路当中出现次数超过预设次数的节点记为关键实体节点以便运维人员重点维护关键实体节点。

3.如权利要求1所述的基于全链路监控数据的流程挖掘方法，其特征是，包括步骤s7.把相互之间存在重叠节点的多条业务流程链路进行关联，若其中一条业务流程链路所对应的业务处理失败且失败时所处节点为重叠节点，则下线该业务流程链路所关联的业务流程链路所对应的业务。

4.如权利要求1所述的基于全链路监控数据的流程挖掘方法，其特征是，包括：

5.如权利要求4所述的基于全链路监控数据的流程挖掘方法，其特征是，包括步骤s10.通过可视化图表输出各个业务流程模型以及其仿真得到的运行性能数据。

6.如权利要求1所述的基于全链路监控数据的流程挖掘方法，其特征是，步骤s2中，所述数据预处理包括数据清洗、数据降维、数据标准化和数据转换。

7.一种计算机可读存储介质，其上存储有可执行的计算机程序，其特征是，该计算机程序被执行从而实现如权利要求1至6当中任一项所述的基于全链路监控数据的流程挖掘方法。

8.一种流程挖掘设备，其特征是，包括处理器以及如权利要求7所述的计算机可读存储介质，该处理器执行该存储介质中的计算机程序从而实现如权利要求1至6当中任一项所述的基于全链路监控数据的流程挖掘方法。

技术总结
本发明公开了一种基于全链路监控数据的流程挖掘方法、存储介质和设备。该方法为：S1.从全链路监控数据中获取业务系统的每个组件的、每个指标的和每个服务的数据血缘链路；S3.从每条数据血缘链路中提取至少一对实体的数据流向关系；S4.从各对实体的数据流向关系当中，选出多组数据流向连贯的实体组，把每组内的各个实体依次串联形成业务流程链路；S5.对每条业务流程链路，查询其各个节点的元数据状态，若为无效状态则去掉该节点，并按照其与前、后节点的数据流向关系生成前、后节点之间的数据流向关系，得到更新后的业务流程链路。该方法所需处理的数据量不会爆炸式增长，无需消耗大量计算资源，且能够准确地挖掘出完整的业务流程。

技术研发人员：高伟,王全胜,李劲松
受保护的技术使用者：广州信安数据有限公司
技术研发日：
技术公布日：2024/1/15