一种跨系统流程环节串接方法及装置与流程

本申请涉及计算机，特别是涉及一种跨系统流程环节串接方法及装置。

背景技术：

1、不同业务组件实现方式各异，产生的业务数据格式各异，而没有分析，组织的数据，对于上层系统来说只是毫无意义的数据泥潭。

2、每分钟上千万条业务数据，每天，每个月积累下来，我们又会面对更加巨大的数据海洋，只有在可以接受的时间内，从这个海洋内解析出有意义的数据才是我们想得到的收获。

技术实现思路

1、针对现有技术的不足，本发明提供了一种跨系统流程环节串接方法及装置，解决了上述背景技术提到的问题。

2、本申请实施例提供了一种跨系统流程环节串接方法及装置，实施本申请从其他系统组件中进行数据采集，将获取到的数据进行分析处理，提取关键业务信息。以所述数据为基础，进行数据的再加工和处理。对所述数据进行串接，并将拼接后的数据以及原始贴源数据存储在gp数据库中。旅程管理服务访问gp，将加工好的旅程信息数据到前端展示。

3、第一方面，本申请实施例提供了数据采集方法，提高任务处理效率，上述方法包括：

4、用任务调度方式并发执行；

5、按照配置表中所定义的topic数据，创建多个按固定时间窗口触发flink任务；

6、通过设置并行度设置该任务的并发处理数量。

7、每个任务都会按时间窗口触发，并分别获取该时间段内kafka订阅主题中累积的节点日志信息。

8、第二方面，本申请实施例提供了数据采集方法，提高任务处理效率，上述方法包括：

9、取数据后过滤掉无效数据，然后将节点日志信息数据保存到redis中，提高节点日志信息接收效率；

10、第三方面，本申请实施例提供了日志分流模型方法，提高任务处理效率，上述方法包括：

11、业务组件产生日志的总量具有并发量高，数据量大的特点，而具体到每个组件又具有并发量不均衡，数据量不一致的特点。

12、因此我们需要一个可以灵活配置的日志分流模型，针对不同的组件并发度，数据量不同的情况设置进行一定的配置；

13、数据源头开始进行分流，以便控制数据流并发处理的负载均衡度；

14、第四方面，本申请实施例提供了信息串接方法，上述方法包括。

15、主要通过任务调度方式，并发采用获取任务getredistasks功能。

16、从获取已完成消息解析处理的待串接信息表(按批次号)，并处理每个贴源信息在每种匹配的流程定义下的信息串接。

17、串接完后根据串接好的贴源消息，调用petredistasks创建待保存任务到redis指定队列中。

18、供后续服务完成流程实例信息和贴源信息的基础数据保存和站点信息、旅程站点信息和旅程信息的生成，和保存(gp)。

19、第五方面，本申请实施例提供了信息入库方法，上述方法包括。

20、采用任务调度方式并发执行。

21、调用getredistasks从redis指定队列待存储队列中获取代存储信息列表。

22、完成基础数据(流程实例信息和贴源信息)的存储，并同步生成站点信息，旅程信息数据。

23、第六方面，本申请实施例提供了一种电子设备，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机执行指令，当计算机执行指令被运行时，使得电子设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

24、第七方面，本申请实施例提供了一种终端,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用用于存储计算机程序,所述计算机程序包括程序指令。

25、一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令。

26、第八方面，本申请实施例提供了一种计算机程序产品，其中，计算机程序产品包括计算机程序，计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

27、有益效果

28、本发明提供了一种跨系统流程环节串接方法及装置。与现有技术相比，具备以下有益效果：该跨系统流程环节串接方法及装置，通过本发明公开的方法可以实现无需人工干预的将各个系统的数据抽取展现合并，方便快捷的看到数据处理过程，减少沟通成本，提高工作效率。

技术特征：

1.一种跨系统流程环节串接方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种跨系统流程环节串接方法，其特征在于，从其他系统组件中进行数据采集，包括：

3.根据权利要求1所述的一种跨系统流程环节串接方法，其特征在于，数据串接，所述方法还包括：

4.根据权利要求1所述的一种跨系统流程环节串接方法，其特征在于，旅程信息前端展示，所述方法还包括：

5.根据权利要求2所述的一种跨系统流程环节串接方法，其特征在于，任务调度，所述方法还包括：

6.根据权利要求1所述的一种跨系统流程环节串接方法，其特征在于，所述方法还包括：

7.一种跨系统流程环节串接方法装置，应用于服务器中，所述装置包括：

8.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机执行指令，当所述计算机执行指令被运行时，使得所述电子设备执行权利要求1-10任一项所述的方法。

9.一种终端,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。

技术总结
本发明公开了一种跨系统流程环节串接方法及装置，其中方法的实现包括：数据采集、数据整理、数据清理和数据加工，数据展现。数据采集，是Flink从Kafka中实时消费获取各个系统主键的消息信息。将获取到的数据进行分析处理，提取关键业务信息，并将关键业务信息和原始信息等存储到Redis中缓存起来。其中存储到Redis中的数据，都是贴源数据，后续应用服务层需要以此数据为基础，进行数据的再加工和处理。Flink在做数据处理时，还需要对数据进行筛选，将心跳数据等踢出，减少数据量。数据清理通过数据采集接口，实时采集这些业务数据并进行数据分析和处理，串接完整的业务流程图谱，并将清理后的数据存储到Redis中。

技术研发人员：周小玲
受保护的技术使用者：武汉凌禹信息科技有限公司
技术研发日：
技术公布日：2024/1/14