金融行业双态IT架构的监控平台、方法、存储介质及设备与流程

本发明涉及数据处理，尤其涉及一种金融行业双态it架构的监控平台、方法、存储介质及设备。

背景技术：

1、在当今信息时代，随着互联网的迅速发展，应用系统越来越复杂，而应用架构设计也变得越来越重要。金融行业it应用系统是典型“稳态+敏态”双态架构，稳态核心业务系统，采用主机架构，敏态偏前端，微服务架构。两种应用系统的监控方式差别巨大，传统的应用系统以bpc(business performance center)模式监控为主，主要是以npm(networkperformance monitor)为手段，敏态系统以微服务分布式链路监控为手段。主机架构是传统的应用架构，它以单个主机为中心，应用程序与操作系统在主机上运行，可以集中管理和维护，但随着应用系统的不断扩展，主机架构的扩展能力受限，难以应对高并发和大规模访问的需求。微服务架构是一种新兴的应用架构，它以服务为中心，将应用程序拆分成多个小型服务，可以独立部署、扩展和维护，但微服务架构对分布式系统的支持要求较高，开发和运维成本较高。

2、目前市面上大量的开源或商用监控产品，大多数的产品都只是聚焦在基础链路、服务器性能、应用性能、日志分析、或是业务运行质量中的某一个特定的环节，虽然这些产品在各自的监控领域能够很好的覆盖各种场景，但对于现实中的异常和故障往往都是非常的复杂和综合的，大部分情况并无法只是简单的通过检测某个单一指标来实现。以及：

3、敏态和稳态监控手段差异很大，系统分散，需要构建统一数据体系；复杂的微服务系统架构，再结合封闭的后端稳态it系统，现有技术无法透视化整个业务流请求过程；故障的根因分析在以往中没有好的快速溯源方案；应用的多维评估，比如说容量、性能和可用性等等，都需要深度依赖一份细粒度的应用访问数据。

技术实现思路

1、鉴于以上技术问题，本发明提供了一种金融行业双态it架构的监控平台、方法、存储介质及设备。

2、本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

3、根据本发明的一方面，提出了一种金融行业双态it架构的监控平台，所述监控平台包括：数据采集模块，所述数据采集模块用于通过fluentd采集微服务架构的日志，以及通过对主机架构进行网络旁路报文解码，以使得所述主机架构与所述微服务架构的链路连通；链路构建模块，所述链路构建模块用于以业务的业务码建立业务树，其中，位于所述业务树最底层的所述业务码对应于所述业务的url的调用关系链；数据处理模块，所述数据处理模块基于流式计算对所述数据采集模块的数据进行处理，并构建应用调用链，根据所述应用调用链及访问层级的数据，将所述微服务架构节点分类后在前端图上连线绘制，形成应用调用链路拓扑图和系统架构图；监控告警模块，所述监控告警模块用于在故障告警发生时，聚合告警数据，定位故障告警的发生位置；根因定位模块，所述根因定位模块用于利用cmdb的配置数据建立资源图谱，以构建应用地图，以及基于对全链路的运行情况所得的监控数据，构建业务导航，以及基于对所述cmdb的配置数据的关联关系整合，通过配置数据与监控数据的结合，自动定位故障根源。

4、进一步的，在所述数据处理模块中，基于基于流式计算对所述数据采集模块的数据进行处理，具体包括：实时将原始日志以流的形式输入，所述原始日志至少包括主机日志、网络设备日志和应用日志；将输入的所述原始日志按预设时间窗口分成分区，在平台中的不同节点上进行并行计算；实时将不同分区的所述原始日志分成一系列数据块，每个所述数据块为一个弹性分布式数据集；将所述弹性分布式数据集进行自定义函数转换；将转换后的数据进行入库。

5、进一步的，所述数据处理模块在将转换后的数据入库后，实时生成多维统计数据，所述多维统计数据包括请求量、时延、错误量、成功率。

6、进一步的，所述数据处理模块在将转换后的数据入库的同时，还基于离线计算引擎可对数据进行离线分析，自动构建分析出所述调用链路拓扑图。

7、进一步的，所述监控告警模块由动态基线智能算法库、故障树告警根源推理算法库和事件窗口告警聚合算法库构成。

8、进一步的，基于所述动态基线智能算法库、所述故障树告警根源推理算法库和所述事件窗口告警聚合算法库，所述监控告警模块执行以下操作：基于所述业务树的收敛逻辑，对业务调用链路与应用调用路径链进行所述告警数据的聚合和根因分析，定位故障告警的初始发生位置；通过多时间窗口滚动聚合计算，生成告警基线；调度各个告警算法，结合基线比较算法、动态阈值算法，生成告警逻辑。

9、进一步的，在所述根因定位模块中，所述自动定位故障根源包括：获取故障告警发生的应用所关联所述业务码的拓扑图，把拓扑图中故障告警服务的下游服务的关联告警按所述业务码取出，并对每个所述关联告警判断时间关联性，若所述关联告警发生在故障告警的第一时间范围内，并且第二时间内没有发生过，则认为所述关联告警与发生的故障告警关联，所述第二时间大于所述第一时间；根据所述配置数据与所述监控数据的结合，若故障告警在发生前存在变更，则认定故障告警由所述变更导致。

10、根据本公开的第二方面，提供一种金融行业双态it架构的监控方法，所述方法包括：通过fluentd采集微服务架构的日志，以及通过对主机架构进行网络旁路报文解码，以使得所述主机架构与所述微服务架构的链路连通；以业务的业务码建立业务树，其中，位于所述业务树最底层的所述业务码对应于所述业务的url的调用关系链；基于流式计算对所述数据采集模块的数据进行处理，并构建应用调用链，根据所述应用调用链及访问层级的数据，将所述微服务架构节点分类后在前端图上连线绘制，形成应用调用链路拓扑图和系统架构图；在故障告警发生时，聚合告警数据，定位故障告警的发生位置；利用cmdb的配置数据建立资源图谱，以构建应用地图，以及基于对全链路的运行情况所得的监控数据，构建业务导航，以及基于对所述cmdb的配置数据的关联关系整合，通过配置数据与监控数据的结合，自动定位故障根源。

11、根据本公开的第三方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的金融行业双态it架构的监控方法。

12、根据本公开的第四方面，提供一种金融行业双态it架构的监控设备，包括：控制器；所述控制器包括上述的存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的金融行业双态it架构的监控方法；或/和，所述控制器包括上述的所述的金融行业双态it架构的监控平台。

13、本公开的技术方案具有以下有益效果：

14、与现有技术相比，本发明面向金融行业双态it架构的提供可观测能力，将敏态和稳态系统的监控结合，统一数据体系；提升告警准确性，降低故障率，实现精确的业务流动态黄金指标监控，在用户运营方面提供决策分析依据；实现故障的根因的自动化分析，减少后续监控问题。

技术特征：

1.一种金融行业双态it架构的监控平台，其特征在于，所述监控平台包括：

2.根据权利要求1所述的金融行业双态it架构的监控平台，其特征在于，在所述数据处理模块中，基于基于流式计算对所述数据采集模块的数据进行处理，具体包括：

3.根据权利要求2所述的金融行业双态it架构的监控平台，其特征在于，所述数据处理模块在将转换后的数据入库后，实时生成多维统计数据，所述多维统计数据包括请求量、时延、错误量、成功率。

4.根据权利要求2所述的金融行业双态it架构的监控平台，其特征在于，所述数据处理模块在将转换后的数据入库的同时，还基于离线计算引擎可对数据进行离线分析，自动构建分析出所述调用链路拓扑图。

5.根据权利要求1所述的金融行业双态it架构的监控平台，其特征在于，所述监控告警模块由动态基线智能算法库、故障树告警根源推理算法库和事件窗口告警聚合算法库构成。

6.根据权利要求5所述的金融行业双态it架构的监控平台，其特征在于，基于所述动态基线智能算法库、所述故障树告警根源推理算法库和所述事件窗口告警聚合算法库，所述监控告警模块执行以下操作：

7.根据权利要求1所述的金融行业双态it架构的监控平台，其特征在于，在所述根因定位模块中，所述自动定位故障根源包括：

8.一种金融行业双态it架构的监控方法，其特征在于，所述方法包括：

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8所述的金融行业双态it架构的监控方法。

10.一种金融行业双态it架构的监控设备，其特征在于，包括：控制器；

技术总结
本发明公开一种金融行业双态IT架构的监控平台，所述监控平台包括：数据采集模块，用于通过fluentd采集微服务架构的日志，以及通过对主机架构进行网络旁路报文解码；链路构建模块，用于以业务的业务码建立业务树；数据处理模块，基于流式计算对数据采集模块的数据进行处理；监控告警模块，用于聚合告警数据，定位故障告警的发生位置；根因定位模块，根因定位模块用于利用CMDB的配置数据通过配置数据与监控数据的结合，自动定位故障根源。本发明面向金融行业双态IT架构的提供可观测能力，将敏态和稳态系统的监控结合，统一数据体系；提升告警准确性，降低故障率，实现精确的业务流动态黄金指标监控，实现故障的根因的自动化分析，减少后续监控问题。

技术研发人员：游李,黄兆鹏,黎明,王金银
受保护的技术使用者：优维科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/12