一种大机运维平台性能指标准实时监控方法及系统与流程

1.本发明涉及数据处理技术领域，特别是涉及一种大机运维平台性能指标准实时监控方法及系统。


背景技术：

2.在现有方案中，大机运维平台应用和系统性能指标的准实时监控是通过ibm官方提供的软件rmf pm(performance monitor)实现的。rmf pm是运行在客户端的java程序，通过连接到大机平台的dds(distributed data server)采集数据并以java图表的形式展现，来实现各渠道和应用的交易率和响应时间的准实时监控。
3.在现有的技术方案中，主要有以下问题：
4.1)性能数据只能展示当前数据，无法展示性能指标变化曲线和历史曲线
5.2)采集的性能数据没有进行存储保存，不能进行历史数据查询
6.3)性能指标的展示是客户端java程序的图表形式，不能进行交互式请求响应如基于时间区间的数据缩放、负载消耗切片分析和各应用渠道性能指标快速切换展示等


技术实现要素：

7.本发明提供一种大机运维平台性能指标准实时监控方法及系统，基于前端web开发技术javascript和jquery，可以实现交互式事件请求，并利用echart图表样式实现丰富的图形展示曲线；后端将采集的性能数据保存到数据库，可以实现历史数据查询和二次分析。基于此，本发明可以实现大机运维平台性能数据的准实时展示曲线、历史数据查询和交互式的数据缩放和数据筛选、切片分析等功能。
8.本发明一个实施例提供一种大机运维平台性能指标准实时监控方法，后端执行：
9.接收客户端发送的请求数据，将所述请求数据转化为文本格式后存储于数据库中；
10.接收前端发送的传输数据，根据所述传输数据内容构建json类并将所述传输数据转换为json字符串，并将所述json字符串发送至前端；
11.每隔预设时间段刷新前端发送的传输数据。
12.进一步地，所述接收前端发送的传输数据，根据所述传输数据内容构建json类并将所述传输数据转换为json字符串，并将所述json字符串发送至前端，包括：
13.接收前端发送的响应请求，并将所述响应请求发送至数据接口；
14.数据接口对所述响应请求进行加工解析和逻辑判断；
15.后端根据所述逻辑判断读取数据库中的性能数据，并将所述性能数据封装转换为json字符串；
16.将所述json字符串提交到数据接口，通过数据接口返回给前端。
17.进一步地，所述每隔预设时间段刷新前端发送的传输数据，具体地：
18.配置定时器，并通过定时器定时执行python和sql脚本以每隔预设时间段刷新前
端发送的传输数据。
19.进一步地，所述数据库为mysql，通过jdbc驱动与java程序交互。
20.进一步地，前端执行：
21.初始化交互界面并加载数据进行图表和布局展示；
22.定时刷新前端界面，并请求数据构建数据内容；
23.通过前端事件响应实现交互操作。
24.进一步地，所述初始化交互界面并加载数据进行图表和布局展示，包括：
25.访问大机运维平台或初始化web页面；
26.发送数据请求至后端；
27.接收后端发送的json字符串；
28.根据所述json字符串构建图表。
29.进一步地，所述前端事件包括：图形缩放、数据指标筛选。
30.本发明第二方面提供一种大机运维平台性能指标准实时监控系统，包括：后端单元及前端单元；
31.其中，所述后端单元包括：
32.请求数据处理模块，用于接收客户端发送的请求数据，将所述请求数据转化为文本格式后存储于数据库中；
33.传输数据处理模块，用于接收前端发送的传输数据，根据所述传输数据内容构建json类并将所述传输数据转换为json字符串，并将所述json字符串发送至前端；
34.定时刷新第一模块，用于每隔预设时间段刷新前端发送的传输数据；
35.所述前端单元包括：
36.初始化模块，用于初始化交互界面并加载数据进行图表和布局展示；
37.定时刷新第二模块，用于定时刷新前端界面，并请求数据构建数据内容；
38.响应事件模块，用于通过前端事件响应实现交互操作。
39.进一步地，所述传输数据处理模块，还用于：
40.接收前端发送的响应请求，并将所述响应请求发送至数据接口；
41.数据接口对所述响应请求进行加工解析和逻辑判断；
42.后端根据所述逻辑判断读取数据库中的性能数据，并将所述性能数据封装转换为json字符串；
43.将所述json字符串提交到数据接口，通过数据接口返回给前端；
44.所述初始化模块，还用于：
45.访问大机运维平台或初始化web页面；
46.发送数据请求至后端；
47.接收后端发送的json字符串；
48.根据所述json字符串构建图表。
49.进一步地，定时刷新第一模块，还用于：
50.配置定时器，并通过定时器定时执行python和sql脚本以每隔预设时间段刷新前端发送的传输数据。
51.与现有技术相比，本发明实施例的有益效果在于：
52.本发明提供一种大机运维平台性能指标准实时监控方法及系统，其中方法中的后端执行：接收客户端发送的请求数据，将所述请求数据转化为文本格式后存储于数据库中；接收前端发送的传输数据，根据所述传输数据内容构建json类并将所述传输数据转换为json字符串，并将所述json字符串发送至前端；每隔预设时间段刷新前端发送的传输数据。前端执行：初始化交互界面并加载数据进行图表和布局展示；定时刷新前端界面，并请求数据构建数据内容；通过前端事件响应实现交互操作。与现有技术相比，本发明的前端采用轻量级的bootstrap前端框架，实时监控页面图表样式丰富、监控指标简洁明了，同时可以实现交互式数据缩放和数据筛选以及历史性能数据查询；后端通过java程序对数据进行统一json格式化封装发送到前端页面，同时将采集的性能数据经过结构化处理后保存到数据库中，可以实现历史数据查询。基于此，本发明可以实现大机运维平台性能数据的准实时展示曲线、历史数据查询和交互式的数据缩放和数据筛选、切片分析等功能。
附图说明
53.为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1是本发明某一实施例提供的一种大机运维平台性能指标准实时监控方法的流程图；
55.图2是本发明另一实施例提供的一种大机运维平台性能指标准实时监控方法的流程图；
56.图3是本发明另一实施例提供的一种大机运维平台性能指标准实时监控方法的流程图；
57.图4是本发明又一实施例提供的一种大机运维平台性能指标准实时监控方法的流程图；
58.图5是本发明某一实施例提供的大机运维平台性能指标实时监控功能模块示意图；
59.图6是本发明某一实施例提供的大机平台dds http api示意图；
60.图7是本发明某一实施例提供的后端逻辑结构示意图；
61.图8是本发明某一实施例提供的前端逻辑结构示意图；
62.图9是本发明某一实施例提供的应用性能指标准实时监控示意图；
63.图10是本发明某一实施例提供的系统cpu消耗准实时监控示意图；
64.图11是本发明某一实施例提供的系统cpu负载切片示意图；
65.图12是本发明某一实施例提供的性能数据历史查询示意图；
66.图13是本发明某一实施例提供的一种大机运维平台性能指标准实时监控系统的装置图；
67.图14是本发明某一实施例提供的一种电子设备的结构图。
具体实施方式
68.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
69.应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
70.应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
71.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
72.术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
73.第一方面。
74.请参阅图1
‑
4，本发明一实施例提供一种大机运维平台性能指标准实时监控方法，后端执行：
75.s110、接收客户端发送的请求数据，将所述请求数据转化为文本格式后存储于数据库中。
76.需要说明的是，所述数据库为mysql，通过jdbc驱动与java程序交互。
77.s120、接收前端发送的传输数据，根据所述传输数据内容构建json类并将所述传输数据转换为json字符串，并将所述json字符串发送至前端。
78.在某一具体实施方式中，所述步骤s120包括：
79.s121、接收前端发送的响应请求，并将所述响应请求发送至数据接口。
80.s122、数据接口对所述响应请求进行加工解析和逻辑判断。
81.s123、后端根据所述逻辑判断读取数据库中的性能数据，并将所述性能数据封装转换为json字符串。
82.s124、将所述json字符串提交到数据接口，通过数据接口返回给前端。
83.s130、每隔预设时间段刷新前端发送的传输数据。
84.在某一具体实施方式中，所述步骤s130具体地：
85.配置定时器，并通过定时器定时执行python和sql脚本以每隔预设时间段刷新前端发送的传输数据。
86.前端执行：
87.s210、初始化交互界面并加载数据进行图表和布局展示。
88.在某一具体实施方式中，所述步骤s210包括：
89.s211、访问大机运维平台或初始化web页面。
90.s222、发送数据请求至后端。
91.s223、接收后端发送的json字符串。
92.s224、根据所述json字符串构建图表。
93.s220、定时刷新前端界面，并请求数据构建数据内容。
94.s230、通过前端事件响应实现交互操作。
95.需要说明的是，所述前端事件包括：图形缩放、数据指标筛选。
96.在某一具体实施例中，大机运维平台准实时监控的性能指标包括应用相关的交易率和响应时间、系统cpu消耗和workload负载切片，这些指标数据保存在大机平台的rmf(resource measurement facility)性能数据中，通过大机提供的dds(distributed data server)http api接口进行数据采集。
97.大机运维平台性能指标实时监控主要包括数据接口、数据存储和可视化监控三个模块，如图5所示：
98.1)数据接口负责发送http请求到大机平台的dds以采集性能指标数据，并将这些xml格式的数据进行格式化解析，以结构化数据的形式保存到数据库中；
99.2)数据存储采用mysql数据库，用于存放性能指标数据，可以提供性能历史数据查询和性能报表分析；
100.3)可视化监控是基于webui前端技术实现应用和系统性能指标的准实时展示，其中前端页面交互采用javascript和jquery，ui布局采用bootstrap、html和css，性能曲线以echart丰富的图表样式展现。
101.以下部分将针对本发明中的数据采集、后端和前端的逻辑结构功能模块分别加以说明。
102.1、dds(distributed data server)http api：
103.如图6所示，在大机平台中，dds(distributed data server)会采集系统rmf(resource measurement facility)性能数据，客户端程序可以发送http请求到dds去获取这些xml格式的性能数据。
104.2、后端逻辑结构：
105.本发明的后端逻辑采用java开发，并以log4j作为应用日志系统、struts 2控制后台的访问权限。后端逻辑结构如图7所示，主要包括四部分：rmf数据采集、与前端交互的标准功能逻辑、定时任务和数据库。
106.1)rmf数据采集中，java程序发送http请求到dds获取到性能指标数据，然后将这些xml格式的数据解析后存入到数据库中
107.2)与前端交互中，根据数据内容构建json类并转换json字符串，后台再将json字符串传输给前端
108.a)后端接收到前端的响应请求，并将请求传递给数据接口
109.b)数据接口对请求数据进行加工解析和逻辑判断
110.c)后端根据请求的逻辑与读取数据库中的性能数据
111.d)后端再对数据进行封装转换为json字符串
112.e)格式化后的数据提交到数据接口
113.f)通过数据接口将数据返回给前端
114.3)定时任务通过配置timer定时器，定时执行python和sql脚本
115.4)数据库为mysql，可以通过jdbc驱动与java程序交互
116.3、前端逻辑结构：
117.本发明的前端开发包括页面交互、ui布局和图表绘制。页面交互采用javascript和jquery技术，通过响应前端的事件请求，从后端请求数据动态的构建数据内容进行展示；
ui布局采用bootstrap前端框架，与css和html一起构建了前端页面布局；图表绘制采用开源的echarts可视化库，echarts提供丰富的图表样式并且数据格式无需转换直接使用，同时可以在前端进行交互式的筛选和缩放。
118.前端逻辑结构如图8所示，主要包括初始化、定时器和页面响应：
119.1)初始化：前端应用在登陆访问的时候会初始化ui页面并加载数据进行图表和布局展示
120.a)访问大机运维平台或者刷新时候会初始页web页面
121.b)初始化过程中前端会向后端发送数据请求
122.c)后端根据前端请求处理数据并转换成json字符串返回到前端
123.d)前端页面根据返回的数据动态构建图表
124.2)定时器：前端页面的数据会定时动态的进行刷新，刷新是通过配置定时器的方式完成的，刷新过程中会动态的请求数据并构建数据内容
125.3)页面响应：前端页面的交互式操作通过前端事件响应来实现，如图形缩放、数据指标筛选，通过操作页面按钮来完成
126.4、性能指标准实时监控效果：
127.4.1应用性能指标准实时监控：
128.应用性能指标准实时监控效果如图9所示，包括交易率和交易响应时间的变化。通过将各项监控指标绘制成图表，突出指标上升/下降趋势以及瞬时波动情况，同时多维指标同时展现，可以形成故障排查的快捷入口。在准实时监控图式中，通过时间条形框可以进行图形缩放和时间范围区间展现、通过选择金融/非金融图例可以对不同类型的联机交易性能数据进行筛选，以实现灵活直观的指标监控画面。
129.4.2系统cpu消耗准实时监控：
130.系统cpu消耗准实时监控效果如图10所示，其中包括各lpar分区cpu使用率、物理主机cpu使用率和生产系统cpu消耗占比。通过cpu消耗准实时监控，掌握主机容量负载上限帮助应急决策，同时可以了解各lpar/主机/应用系统负载均衡情况。
131.4.3系统cpu负载切片：
132.系统cpu消耗负载切片准实时监控效果如图11所示，包括各lpar分区cpu使用分布如联机、批量和系统进程开销等。通过对cpu消耗的负载切片分析，观察各负载消耗的分布情况并监控异常场景，比如在联机时段出现大量的批量负载开销。
133.4性能数据历史查询：
134.性能指标数据转存入数据库，提供历史运行概况查询，如图12所示。通过选择历史日期，可以观察当天的应用和系统性能指标运行情况。
135.本发明中的关键点包括前端的页面交互、ui布局和图表绘制，后端的性能数据采集、数据格式化和数据入库。
136.1)在现有技术实现中，性能数据的前端展示是在java客户端程序上实现的，将采集后的性能指标数据以java图表的形式展示出来。在本发明中，以bootstrap作为前端框架、以javascript和jquery作为前端开发技术实现前端页面的交互式请求向后端请求数据，并将动态构建的数据内容通过echart图表样式动态展现。
137.2)在现有的技术方案中，后端性能数据的采集是通过java客户端发送请求到大机
平台的dds http api，经过处理后推送到客户端展示画面中。本发明中，性能数据的采集也是向dds发送请求，然后将采集的性能数据进行格式化加工，将结构化的性能数据保存到数据库mysql中。同时，对前端的交互式响应请求，将请求的数据以json类型进行封装发送到前端。
138.与现有技术相比，本发明的前端采用轻量级的bootstrap前端框架，实时监控页面图表样式丰富、监控指标简洁明了，同时可以实现交互式数据缩放和数据筛选以及历史性能数据查询；后端通过java程序对数据进行统一json格式化封装发送到前端页面，同时将采集的性能数据经过结构化处理后保存到数据库中，可以实现历史数据查询。基于此，本发明可以实现大机运维平台性能数据的准实时展示曲线、历史数据查询和交互式的数据缩放和数据筛选、切片分析等功能。
139.第二方面。
140.请参阅图13，本发明一实施例提供一种大机运维平台性能指标准实时监控系统，包括：后端单元10及前端单元20。
141.其中，所述后端单元10包括：
142.请求数据处理模块110，用于接收客户端发送的请求数据，将所述请求数据转化为文本格式后存储于数据库中。
143.传输数据处理模块120，用于接收前端发送的传输数据，根据所述传输数据内容构建json类并将所述传输数据转换为json字符串，并将所述json字符串发送至前端。
144.在某一具体实施例中，所述传输数据处理模块120，还用于：
145.接收前端发送的响应请求，并将所述响应请求发送至数据接口；
146.数据接口对所述响应请求进行加工解析和逻辑判断；
147.后端根据所述逻辑判断读取数据库中的性能数据，并将所述性能数据封装转换为json字符串；
148.将所述json字符串提交到数据接口，通过数据接口返回给前端；
149.定时刷新第一模块130，用于每隔预设时间段刷新前端发送的传输数据。
150.在某一具体实施例中，定时刷新第一模块130，还用于：
151.配置定时器，并通过定时器定时执行python和sql脚本以每隔预设时间段刷新前端发送的传输数据。
152.所述前端单元20包括：
153.初始化模块210，用于初始化交互界面并加载数据进行图表和布局展示。
154.在某一具体实施例中，所述初始化模块210，还用于：
155.访问大机运维平台或初始化web页面；
156.发送数据请求至后端；
157.接收后端发送的json字符串；
158.根据所述json字符串构建图表。
159.定时刷新第二模块220，用于定时刷新前端界面，并请求数据构建数据内容。
160.响应事件模块230，用于通过前端事件响应实现交互操作。
161.第三方面。
162.本发明提供了一种电子设备，该电子设备包括：
163.处理器、存储器和总线；
164.所述总线，用于连接所述处理器和所述存储器；
165.所述存储器，用于存储操作指令；
166.所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本技术的第一方面所示的一种大机运维平台性能指标准实时监控方法对应的操作。
167.在一个可选实施例中提供了一种电子设备，如图14所示，图14所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本技术实施例的限定。
168.处理器5001可以是cpu，通用处理器，dsp，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
169.总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是pci总线或eisa总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
170.存储器5003可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom、cd
‑
rom或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
171.存储器5003用于存储执行本技术方案的应用程序代码，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
172.其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。
173.第四方面。
174.本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本技术第一方面所示的一种大机运维平台性能指标准实时监控方法。
175.本技术的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。