一种基于大数据的信息系统性能智能分析方法与流程

1.本发明涉及信息系统分析技术领域，具体涉及一种基于大数据的信息系统性能智能分析方法。


背景技术：

2.随着it技术的飞速发展，大型企业在信息化建设上规模日益扩大，相关业务信息化程度和连续性要求逐步提高，同时对it系统的运维要求越来越高，系统运维的时间窗口将越来越小，甚至关键业务将对重大故障呈现“零容忍”。
3.国内大型企业对企业信息化数据分析技术的应用更多集中在对业务发展的研究与探索，在系统运维方面应用较少。目前大部分企业采取的还是相对固化的信息运维策略，原有基于人员监控、手动处理的运维体系，由于运维人员的个人水平参差不齐，同时对不同系统监控的强度缺乏合理性标准规范，在对系统运行状态的判断准确性和效率上难以应对企业实际业务的动态变化，且对人员依赖性较大存在运维资源的浪费问题，同时在对系统运行故障的提前预警上没有科学有效的方法。
4.随着“大数据”时代的到来，人们对于海量数据的挖掘和运用，这预示着新一波生产率增长和消费者盈余浪潮的到来。大数据作为云计算、物联网之后it行业又一大颠覆性的技术革命，将在各行各业中充分应用。


技术实现要素：

5.本发明的目的在于提供一种基于大数据的信息系统性能智能分析方法，以起到降低故障概率、缩短问题处理、减少用户投诉、应用性能提升的目的。
6.本发明通过以下技术方案来实现上述目的：
7.一种基于大数据的信息系统性能智能分析方法，步骤包括：
8.s1、用户感知监控：从大数据中实时监控系统的可用性及性能状态，以及实时掌握各区域用户访问业务系统的真实感知；
9.s2、应用逻辑拓扑确定：确定各应用组件间的逻辑关系，并自动产生各个业务系统的业务逻辑拓扑图；
10.s3、端到端的监控以及交易追踪：追踪跨应用组件的端到端业务交易以及代码级的交易；
11.s4、深层次的应用组件监控：通过应用探针，采集大数据服务器内部的kpi指标，监控点包括每条代码的执行效率，并进行应用状态分析；
12.s5、网络质量监控及分析：实时监控网络中发生的各个事件，并提供追踪及可视化功能；
13.s6、故障诊断：存储及索引重要的故障现场数据，定位故障的真正原因，并通知运维人员；
14.s7、生成数据报表：按需生成数据报表。
15.进一步改进在于，所述用户感知监控包括网络部分的监控客户端、大数据服务器端的tcp连接建立时间、payload数据传输时间、数据包重传时间，还包括监控应用部分的应用服务响应时间。
16.进一步改进在于，所述应用逻辑拓扑确定指的是：利用监测设备在生产环境中采集应用数据流量，并自动产生应用拓扑，以发现各应用主机之间的相互访问关系。
17.进一步改进在于，追踪跨应用组件的端到端业务交易指的是：基于应用的业务逻辑架构，监控web-ap-db全业务流程的访问状态，端到端的监控各应用组件间的应用响应、网络通信状态。
18.进一步改进在于，追踪代码级的交易指的是：识别造成性能问题的特定方法调用，可视化业务交易的jsp、jdbc、servlet的运行状态；进行内存分析和实时内存泄漏检测，以识别内存泄露的代码级根源。
19.进一步改进在于，所述应用组件监控进一步指的是：通过多个角度，监控及分析不同渠道用户，访问不同业务的性能状态。
20.进一步改进在于，在故障诊断时，监测设备从网络流量中自动发现及识别应用中的全部url，并可对http协议进行深度的分析，实时监控不同url的运行状态，包括页面的访问次数、页面的响应时间、http返回码、慢页面数量、用户使用的浏览器统计的信息。
21.进一步改进在于，所述数据报表的自定制范围包括界面、数据源、报表格式。
22.本发明的有益效果在于：
23.(1)基于大数据技术，从应用流量层面监控应用的性能变化情况，发现以往传统工具无法发现的应用性能问题，使管理员在系统性能下降早期发现性能隐患，进行问题的提前处置。
24.(2)借助系统的故障报警、故障追溯、故障分析功能，可以对发现的性能事件进行回归分析，利用故障点时的流量数据判断问题根源，界定问题故障点，为问题的彻底解决提供有利的保障及证据。
25.(3)通过应用流量拓扑分析功能，可以使管理人员了解单个复杂系统、多个系统之间的流量关系、端口开放情况，使管理员掌握一张与实际应用运行环境相同的业务运行状态表，为日常管理和问题定位工作提供有效数据支撑。
26.(4)利用应用性能管理系统，发现各类性能问题，帮助管理人员在应用日常监控、信息系统数据获取、日常性能调优、信息系统上线检测等工作方面提供有效工具支撑。
附图说明
27.图1为本发明的流程图。
28.图2为本发明各应用组件的典型部署示意图。
29.图3为一二级普通部署系统的示意图。
30.图4为本发明针对图3架构的部署示意图。
具体实施方式
31.下面结合附图对本技术作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本技术进行进一步的说明，不能理解为对本技术保护范围的限制，该领域的
技术人员可以根据上述申请内容对本技术作出一些非本质的改进和调整。
32.本发明是采用软硬一体化技术手段的应用性能管理(apm)解决方案,重点关注信息系统应用性能的深入综合分析和管理，快速查找、定位问题根源，缩短问题处理耗时，协助企业信息运维部门掌握信息系统运行状态、解决工作中难以处理的各种性能问题，分为两步：
33.首先，需要了解应用层面用户的真正需求：对各层面、各区域用户的真实满意度监控，各区域业务交易状态监控，各种应用系统性能监控，能够快速锁定影响业务的故障点，能够提供基于业务交易状态的报表数据。
34.其次，需要做到解决应用层面用户问题：
35.a、用户感知监控：监控各区域用户的真实体验(如系统是否可用、进行业务操作系统的响应时间)；
36.b、业务交易监控：深入web应用代码层面，监控并统计各区域各个应用系统的业务的执行情况；
37.故障快速定位：完整业务环节监控，端对端的监控模式，快速定位影响业务的故障点；
38.掌握系统状态：通过结构分析、流量分析、连接分析、代码分析等技术分析，帮助用户全面掌握系统工作状态。
39.下面详细描述智能分析方法：
40.如图1所示，一种基于大数据的信息系统性能智能分析方法，步骤包括：
41.s1、用户感知监控：通过用户的视角，从大数据中实时监控系统的可用性及性能状态，以及实时掌握各区域用户访问业务系统的真实感知；
42.s2、应用逻辑拓扑确定：确定各应用组件间的逻辑关系，并自动产生各个业务系统的业务逻辑拓扑图；
43.s3、端到端的监控以及交易追踪：追踪跨应用组件的端到端业务交易以及代码级的交易，实现历史数据回放；
44.s4、深层次的应用组件监控：通过应用探针，采集大数据服务器内部的kpi指标，监控点包括每条代码的执行效率，并进行应用状态分析；
45.s5、网络质量监控及分析：实时监控网络中发生的各个事件，并提供追踪及可视化功能；
46.s6、故障诊断：存储及索引重要的故障现场数据，定位故障的真正原因，并通知运维人员；
47.s7、生成数据报表：按需生成数据报表。
48.所述用户感知监控包括网络部分的监控客户端、大数据服务器端的tcp连接建立时间、payload数据传输时间、数据包重传时间，还包括监控应用部分的应用服务响应时间。
49.所述应用逻辑拓扑确定指的是：利用监测设备在生产环境中采集应用数据流量，并自动产生应用拓扑，可以帮助应用运维人员快速发现各应用主机之间的相互访问关系。
50.追踪跨应用组件的端到端业务交易指的是：基于应用的业务逻辑架构，监控web-ap-db全业务流程的访问状态，端到端的监控各应用组件间的应用响应、网络通信状态。
51.追踪代码级的交易指的是：应用代码执行跟踪，识别造成性能问题的特定方法调
用，可视化业务交易的jsp、jdbc、servlet的运行状态；进行内存分析和实时内存泄漏检测，以识别内存泄露的代码级根源。
52.所述应用组件监控进一步指的是：通过多个角度，监控及分析不同渠道用户，访问不同业务的性能状态。
53.在网络质量监控及分析中：可实时监测网络质量状态，具体为网络总体质量及对应的网络带宽占用情况、各分支机构网络通信质量及对应的网络延迟情况，及时发现异常事件，并提供追踪及可视化功能，降低故障影响。
54.在故障诊断时，监测设备从网络流量中自动发现及识别应用中的全部url，并可对http协议进行深度的分析，实时监控不同url的运行状态，包括页面的访问次数、页面的响应时间、http返回码、慢页面数量、用户使用的浏览器统计的信息；分析出故障根源——深入到单个web页面或交易、诊断问题根源；在确认故障根源后，下载故障证据，保留故障现场，即刻通知运维人员。
55.由于本发明具备数据报表自定制能力，可按照业务要求自定制报表，数据报表的自定制范围包括界面、数据源、报表格式。
56.本发明方案构成的各应用组件及其主要用途描述如下：
57.用户体验、网络监控和分析组件采用软硬件一体化设备，用于流量数据的获取、存储、分析；
58.事务性能分析和预测组件采用软件组件，用于流量数据的深度解包分析；
59.集中数据收集监控组件采用软硬件一体化设备，用于多节点统计数据的统一收集、存储；
60.系统流程、报表及展示组件采用软件组件，用于定制报表、展示界面以及流量拓扑生成；
61.流量聚合组件采用软硬件一体化设备，用于多来源流量的收集、转发、过滤；
62.应用程序监控与分析组件采用软件组件，用于代码性能分析、代码质量分析及数据库执行质量分析。
63.实施例1：
64.如图2所示：在典型的部署中，镜像网络流量-监控、分析网络的通信质量；基于f5的前端流量-监控、分析用户的真实感知度；应用内部端到端的流量-监控分析应用各环节之间的响应应用内部探针-方法级代码监控；如此，可以对各层面(各渠道)、各区域用户的真实满意度监控、各区域业务交易状态监控、各种应用系统性能监控，能够快速锁定影响业务的故障点，能够提供基于业务交易状态的报表数据。
65.实施例2：
66.如图3所示：用户访问二级部署系统出现性能问题，故障点在哪里，无法进行准确判断；反之，用户访问一级部署系统出现性能问题，故障点不在总部服务器区，从分支机构到本部哪个环节出了问题，也无法进行判断。
67.如图4所示：在图3各应用组件基础上，系统通过多级的部署架构实现了基础功能以上的精细化端到端应用性能监控，解决了单一节点部署带来的应用性能监控不全面问题，同时解决了多级部署的应用系统的性能监控问题，并通过代码数据获取插件实现了业务深层次组件监控以及代码质量监控等深层次应用监控问题。
68.综上，本发明是采用软硬一体化技术手段的应用性能管理(apm)解决方案,重点关注信息系统应用性能的深入综合分析和管理，快速查找、定位问题根源，缩短问题处理耗时，协助企业信息运维部门掌握信息系统运行状态、解决工作中难以处理的各种性能问题，本发明的应用效果如下：
69.在信息系统应用性能监控上，从应用流量层面监控应用的性能变化情况，发现以往传统工具无法发现的应用性能问题，使管理员在系统性能下降早期发现性能隐患，进行问题的提前处置。
70.在应用性能分析上，借助系统的故障报警、故障追溯、故障分析功能，可以对发现的性能事件进行回归分析，利用故障点时的流量数据判断问题根源，界定问题故障点，为问题的彻底解决提供有利的保障及证据。
71.在信息系统数据治理上，通过应用流量拓扑分析功能，可以使管理人员了解单个复杂系统、多个系统之间的流量关系、端口开放情况，使管理员掌握一张与实际应用运行环境相同的业务运行状态表，为日常管理和问题定位工作提供有效数据支撑。
72.在日程工作配合上，利用应用性能管理系统，发现各类性能问题，帮助管理人员在应用日常监控、信息系统数据获取、日常性能调优、信息系统上线检测等工作方面提供有效工具支撑。
73.本发明可以帮助运维人员知悉并解决如下问题：各应用服务质量；各区域用户真实体验；故障是由网络应用还是客户端引起；故障期间哪个java方法响应时间最长；网络是否有异常(丢包、时延、重传)；高峰期哪些参数发生了显著的变化；某servlet慢与数据库有何种关联；哪个ejb方法导致最多的数据库活动；系统的结构如何，部署是否符合设计等问题。从而达到降低故障概率、缩短问题处理、减少用户投诉、应用性能提升的效果。
74.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。