基于应用系统画像的统一监控平台及实现方法与流程

1.本发明涉及多个云平台的监控管理领域，具体地说是一种基于应用系统画像的统一监控平台及实现方法。


背景技术：

2.政务云建设包含对外的公有云和内部办公等用到的私有云，在政务云的建设过程中，采购的各云服务商提供的云管理平台比较多，其对应的资源管理和监控平台也是由各个云服务商建设提供，既有通用的基础监控，如硬件、网络、存储资源监控等，也有专项监控，如业务系统监控、数据库监控、各种中间件监控等。各系统拥有独立的管理方式和展现方式，导致在故障发生时，缺少统一的视图汇总各类数据，无法有效辅助运维人员进行故障分析。运维人员无法直观地判断异常指标间的关联关系，需要各个系统反复查看，人为进行数据整合和分析判断，效率低下。


技术实现要素：

3.本发明的技术任务是提供一种基于应用系统画像的统一监控平台及实现方法，来解决由于历史原因的重复建设而积累的监控系统分散，监控数据种类多，格式不统一，缺少统一的视图展现，无法有效辅助运维人员进行故障分析的问题。
4.本发明的技术任务是按以下方式实现的，一种基于应用系统画像的统一监控平台，该监控平台包括，
5.数据抽取处理模块，用于从原有的监控系统或业务系统直接采集数据，并进行处理；
6.应用系统画像模块，用于系统画像，系统画像处理数据根据业务需求在监控平台进行web端展现，同时按照业务定义发送到告警工单系统；
7.数据采集模块，用于覆盖原有各云平台厂商的监控数据，原有的各云平台中未包含的数据按照规范进行新的采集；
8.数据标准化处理模块，用于实现日志数据和指标数据的接入、解析、筛选、过滤及存储。
9.作为优选，所述数据抽取处理模块的工作过程具体如下：
10.(1)、通过数据采集接口从原有的监控系统中抽取数据；
11.(2)、对抽取的数据进行数据采集格式化处理及分类别存储，并进行数据清洗、去重及压缩处理；
12.(3)、对各类数据签化处理；
13.(4)、将处理后的数据发送到应用系统画像模进行处理；
14.(5)、根据业务维度和时间维度对数据进行分析汇总；
15.(6)、将处理后的数据发送到告警工单系统进行告警判断分析，同时根据监控业务需求在统一监控平台页面进行展现。
16.作为优选，所述应用系统画像模块利用采集到的信息进行归类及标签化处理，具体如下：
17.结合cmdb的资产数据和业务调用关系数据进行关联处理：具体如下：
18.通过采集cmdb的资产配置数据和业务关系数据，获取业务系统的多层次拓扑关系；
19.将不同对象的关键指标关联到业务拓扑的具体节点；
20.通过流处理框架的实时聚合计算，最终汇聚出业务拓扑图上的各种关键指标数据，实现了报表可配置化，监控场景定制化功能，摆脱了监控场景变化对于系统研发人员的依赖；
21.建模后进行标签化处理：对各种硬件和软件按照物理类属性、配置类属性、运行数据类属性、运维数据类属性及智能化属性对应用画像系统进行标签化处理；其中，硬件包括网络、云服务器及云服物理主机；软件包括操作系统、数据库及中间件。
22.更优地，所述标签化处理分为手工打标签及机器打标签；
23.其中，手工打标签是根据运维经验和规范设置标签字典，在采集数据的时候通过数据关联字典查询形成，例如设备厂家信息为物理存在的，不可修改的属性，云服务器的ip地址是配置属性；
24.机器打标签是通过性能数据和应用访问关联关系进行标签化，例如根据日志信息、性能数据、故障频率对设备(软件)通过关键词提取、聚类分析，然后标签化，例如稳定性，访问频率；机器打标签通过手工矫正。
25.更优地，标签化处理后的数据按照标签、数及值排序，按照分析场景进行聚合及归一化处理，形成有序、规范的数据。
26.作为优选，所述web端利用基础表格、报表及echart组件进行定制化场景展示数据，提供直观、生动、可交互、可高度个性化定制的数据可视化图表；
27.其中，数据可视化图表支持图与图之间的混搭，应用相关数据沉淀成各种维度的分析报表；数据可视化图表包括折线图、柱状图、散点图、饼图、k线图、用于统计的盒形图、用于地理数据可视化的地图、热力图及线图、用于数据关系可视化的关系图、treemap、多维数据可视化的平行坐标、用于bi的漏斗图及仪表盘。
28.作为优选，所述数据采集模块采集的信息包括基础命令信息、平台信息及中间件信息；基础命令信息包括curl、ping及snmp；平台信息包括openstack、vmware及ceph；中间件信息包括oracle、mysql及nginx。
29.一种基于应用系统画像的统一监控平台的实现方法，该实现方法步骤如下：
30.s1、定义标准接口，实现现有的云平台的数据标准化，展现标准化；具体为：，通过定义统一接口和数据采集实现对政务云中多个平台的统一监控管理；包含对负载均衡设备、网络设备、服务器、存储设备、安全设备、数据库、中间件及应用软件等it资源的全面监控管理；
31.s2、根据定制的标准，通过浪潮的数据湖产品和现有云平台的数据进行对接，采集需要进行监管的云平台历史数据，采集数据包含平台基础信息，软件硬件性能数据；数据分发到应用系统画像模块和告警工单系统处理；
32.s3、部署应用系统画像模块，将采集的数据进行聚合计算、标签化处理；数据标签
化以后分发到数据标准化处理模块和告警工单系统；
33.s4、部署web端，实现数据的统一展现。
34.作为优选，利用开源组件skywalking加上浪潮的数据湖产品采集海量的调用链日志信息存入elasticsearch，通过流处理框架实时分析调用链日志的上下游关系和关键指标的聚合计算，最终通过echarts定制开发前端实现调用链拓扑关系的展示，并支持下钻到具体服务查看关键指标趋势和告警信息。
35.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如上述的基于应用系统画像的统一监控平台的实现方法。
36.本发明的基于应用系统画像的统一监控平台及实现方法具有以下优点：
37.(一)本发明主要应用于解决重复建设，已有系统分散，监控指标分析单一无法做到业务关联分析，场景化分析不足的问题，实现统一监控，高效运维的目的；
38.(二)本发明把分散于多个系统中的数据形成统一视图，建立业务视角的指标分析，解决指标的单一展现问题，实现指标的纵深交互分析，分析场景定制和场景固化功能；运用成熟的数据可视化工具、业务拓扑图来实现跨系统指标的统一监控视图，通过业务系统画像来实现业务指标和基础指标的关联，通过调用链路跟踪来实现纵深交互的分析能力，实现专有场景下的定制化监控；
39.(三)本发明将不同系统的关键指标综合展示到一个统一的界面中，关联实时告警数据进行业务节点的告警提示。实现了多系统指标数据集中管控及治理，丰富了监控指标体系，支撑从技术架构、业务流程的角度，实现端到端的监控，从业务、到应用、到功能、再到系统层面全方位的立体监控，让运维人员能够快速获得可用于故障(告警)处理决策的信息，使系统故障尽快恢复，提升运维效率；
40.(四)本发明中的统一监控平台通过统一数据管控和展现实现实现端到端的监控，从业务、到应用、到功能、再到系统层面全方位的立体监控；将所有业务系统中所涉及的网络资源、硬件资源、软件资源、数据库资源等纳入统一的运维监控平台中，并通过消除管理软件的差别，数据采集手段的差别，对各种不同的数据来源实现统一管理、统一规范、统一处理、统一展现、统一用户登录、统一权限控制，最终实现运维规范化、自动化、智能化的大运维管理；
41.(五)统一web视图实现了展现标准化，可定制化，运维人员无需来回切换多个系统进行手工获取数据，可以缩短问题定位时间；
42.(六)对于应用系统画像模块，根据业务需求实现了业务系统画像，整合业务架构拓扑、关键业务监控指标，将数据集中关联展示，基于系统
‑
组件
‑
服务器，一键进行运维数据的上下文关联查询，通过趋势对比查看，实现端到端的全方位立体化监控；
43.(七)本发明实现了完整的单笔调用跟踪、可视化调用关系统计展示以及与性能指标的实时动态关联，单笔调用链日志的快速检索，配合前端定制开发可以实现异常调用链信息的下钻分析，下钻即可展示关键指标异常的调用链明细日志，通过时间序列的方式展示的调用链信息能够直观的发现调用异常的节点；
44.(八)本发明针对政务云中的监控场景的定制化，业务系统的画像分析，实现了多系统指标数据集中管控及治理，丰富了监控指标体系，支撑从技术架构、业务流程的角度，
实现端到端的监控，从业务、到应用、到功能、再到系统层面全方位的立体监控。
附图说明
45.下面结合附图对本发明进一步说明。
46.附图1为基于应用系统画像的统一监控平台的示意图；
47.附图2为数据抽取处理模块的工作过程的示意图。
具体实施方式
48.参照说明书附图和具体实施例对本发明的基于应用系统画像的统一监控平台及实现方法作以下详细地说明。
49.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
50.实施例1：
51.如附图1所示，本发明的基于应用系统画像的统一监控平台，该监控平台包括，
52.数据抽取处理模块，用于从原有的监控系统或业务系统直接采集数据，并进行处理；
53.应用系统画像模块，用于系统画像，系统画像处理数据根据业务需求在监控平台进行web端展现，同时按照业务定义发送到告警工单系统；
54.数据采集模块，用于覆盖原有各云平台厂商的监控数据，原有的各云平台中未包含的数据按照规范进行新的采集；
55.数据标准化处理模块，用于实现日志数据和指标数据的接入、解析、筛选、过滤及存储；具备适配各种日志文件、系统事件、指标、数据库等多种数据源的优点，采集后的数据进行格式化后存储到统一监控平台的数据库。将所有业务系统中所涉及的网络资源、硬件资源、软件资源、数据库资源等纳入统一的运维监控平台中，并通过消除管理软件的差别，数据采集手段的差别，对各种不同的数据来源实现统一管理、统一规范、统一处理。
56.如附图2所示，本实施例中的数据抽取处理模块的工作过程具体如下：
57.(1)、通过数据采集接口从原有的监控系统中抽取数据；
58.(2)、对抽取的数据进行数据采集格式化处理及分类别存储，并进行数据清洗、去重及压缩处理；
59.(3)、对各类数据签化处理；
60.(4)、将处理后的数据发送到应用系统画像模进行处理；
61.(5)、根据业务维度和时间维度对数据进行分析汇总；
62.(6)、将处理后的数据发送到告警工单系统进行告警判断分析，同时根据监控业务需求在统一监控平台页面进行展现。
63.本实施例中的应用系统画像模块利用采集到的信息进行归类及标签化处理，具体如下：
64.(一)、结合cmdb的资产数据和业务调用关系数据进行关联处理：具体如下：
65.①
、通过采集cmdb的资产配置数据和业务关系数据，获取业务系统的多层次拓扑关系；
66.②
、将不同对象的关键指标关联到业务拓扑的具体节点；
67.③
、通过流处理框架的实时聚合计算，最终汇聚出业务拓扑图上的各种关键指标数据，实现了报表可配置化，监控场景定制化功能，摆脱了监控场景变化对于系统研发人员的依赖；
68.(二)、建模后进行标签化处理：对各种硬件和软件按照物理类属性、配置类属性、运行数据类属性、运维数据类属性及智能化属性对应用画像系统进行标签化处理；其中，硬件包括网络、云服务器及云服物理主机；软件包括操作系统、数据库及中间件。
69.本实施例中的标签化处理分为手工打标签及机器打标签；
70.其中，手工打标签是根据运维经验和规范设置标签字典，在采集数据的时候通过数据关联字典查询形成，例如设备厂家信息为物理存在的，不可修改的属性，云服务器的ip地址是配置属性；
71.机器打标签是通过性能数据和应用访问关联关系进行标签化，例如根据日志信息、性能数据、故障频率对设备(软件)通过关键词提取、聚类分析，然后标签化，例如稳定性，访问频率；机器打标签通过手工矫正。
72.标签化处理后的数据按照标签、数及值排序，按照分析场景进行聚合及归一化处理，形成有序、规范的数据。
73.本实施例中的web端利用基础表格、报表及echart组件进行定制化场景展示数据，提供直观、生动、可交互、可高度个性化定制的数据可视化图表；
74.其中，数据可视化图表支持图与图之间的混搭，应用相关数据沉淀成各种维度的分析报表；数据可视化图表包括折线图、柱状图、散点图、饼图、k线图、用于统计的盒形图、用于地理数据可视化的地图、热力图及线图、用于数据关系可视化的关系图、treemap、多维数据可视化的平行坐标、用于bi的漏斗图及仪表盘。
75.本实施例中的数据采集模块采集的信息包括基础命令信息、平台信息及中间件信息；基础命令信息包括curl、ping及snmp；平台信息包括openstack、vmware及ceph；中间件信息包括oracle、mysql及nginx。
76.实施例2：
77.本发明的基于应用系统画像的统一监控平台的实现方法，该实现方法步骤如下：
78.s1、定义标准接口，实现现有的云平台的数据标准化，展现标准化；具体为：，通过定义统一接口和数据采集实现对政务云中多个平台的统一监控管理；包含对负载均衡设备、网络设备、服务器、存储设备、安全设备、数据库、中间件及应用软件等it资源的全面监控管理；
79.s2、根据定制的标准，通过浪潮的数据湖产品和现有云平台的数据进行对接，采集需要进行监管的云平台历史数据，采集数据包含平台基础信息，软件硬件性能数据；数据分发到应用系统画像模块和告警工单系统处理；
80.s3、部署应用系统画像模块，将采集的数据进行聚合计算、标签化处理；数据标签化以后分发到数据标准化处理模块和告警工单系统；
81.s4、部署web端，实现数据的统一展现。
82.其中，利用开源组件skywalking加上浪潮的数据湖产品采集海量的调用链日志信息存入elasticsearch，通过流处理框架实时分析调用链日志的上下游关系和关键指标的聚合计算，最终通过echarts定制开发前端实现调用链拓扑关系的展示，并支持下钻到具体服务查看关键指标趋势和告警信息。
83.实施例3：
84.某省厅管理的业务系统、平台有九十多个，涉及了多个部门、单位。各个业务系统用户范围广、覆盖面宽、重要性高、协作单位多，且使用了浪潮、平安云、紫光政务云等多个云服务商，具有管理复杂、技术领域广、安全要求高等特点。这些场景加剧了系统统一运维、问题定位、问题解决、系统稳定运行、开发商问题修复等方面的困难度和繁琐度。多个运维监控平台在使用过程中，故障定位往往需要通过多人协作会议排查方式，故障定位场景下的数据可视化工具优化了故障排查时的工作协同方式，通过本系统中的统一集中的可视化视图展现，快速缩小问题范围，使得故障排查更有针对性，减少了盲目争论的时间，提高运维效率，提升运维质量和满意度。
85.通过对业务、应用、服务、设备等指标的实时采集，形成了全方位立体化的监控数据，由可视化工具把这些多维的信息，通过全景图展示出来，提高定位问题的效率，缩短故障处理时长。
86.在运维管理的过程中，能够根据用户的需求切实解决用户在应用过程中遇到的问题，加强对业务平台的管控，其价值主要体现在以下几个方面：
87.①
、精准定位：基于对应用内拓扑结构、调用链、事务等多维度的分析，协助用户快速掌握应用运行状态，定位问题根源。
88.②
、aiops：ai对阈值进行自主检测，并依据异常检测算法和对基线性能数据的学习，及时进行性能预警和性能瓶颈预测，为用户进行资源优化提供数据支撑。
89.实施例4：
90.本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于应用系统画像的统一监控平台的实现方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
91.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
92.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd
‑
rom、cd
‑
r、cd
‑
rw、dvd
‑
rom、dvd
‑
ram、dvd
‑
rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
93.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
94.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程
序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
95.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。