一种PIM监控数据处理方法及系统与流程

本发明涉及大规模数据中心的物理基础设施的监控领域，特别涉及一种pim(physicalinfrastructuremanagerment，物理基础设施管理)监控数据处理方法及系统。

背景技术：

随着云计算、大数据、互联网的快速发展，大中型企业数据中心设施投入及建设规模日益扩大，服务器是数据中心的基础设施，当前数据中心服务器规模从几万台到几十万台，甚至几百万台不等，且塔式、机架式、刀片式等各种形态的服务器加剧了数据往往中心的复杂度，大量服务器的管理、监控、运营、维护给管理人员的维护水平提出了更高的要求。运维人员急需一款基础设施的统一管理、及时发现并处理数据中心故障的管理工具。

另外，性能指标的监控是pim中一个十分重要的功能，当对大规模数据中心的物理设备进行监控时，比如交换机的端口相关指标，在指定的采样时刻采集到的性能指标多达数十万条，pim需要及时按照一定规则存放这些数据，便于实时和历史查看，用以实时监控。面对如此大规模的实时性能数据，需要选用一种适合存放时序数据的数据库来存放。

技术实现要素：

本发明公开了一种pim监控数据处理方法及系统，可以解决现有pim监控数据无法满足时序数据的快速写入、持久化、多纬度的聚合查询要求的问题。

本发明公开了一种物理基础设施管理pim监控数据处理方法，包括：

根据已创建的各项pim监控项目的监控频率定时采集pim监控数据，将采集到的pim监控数据存入预先部署的分布式时序数据库influxdb中，其中，所述pim监控项目对应一种监控资源，所述pim监控数据至少包含采集时间戳、监控资源的性能指标名称、监控资源的性能数据；

当接收到针对任一项pim监控项目的pim监控数据的实时查询请求时，实时刷新所述influxdb的资源性能数据查询接口获取所述实时查询请求的pim监控项目对应监控资源的性能数据的最新值。

可选地，上述方法还包括：

当接收到针对任一项pim监控项目的pim监控数据的历史数据查询请求时，根据所述历史数据查询请求中指定的监控资源标识、监控资源的性能指标名称和监控资源的性能数据的起止时间从所述influxdb中查询所述监控资源标识指定的监控资源在所述起止时间段内的性能数据的数值并进行展示。

可选地，上述方法还包括：

接收到用户发起的创建pim监控项目的请求时，根据用户操作至少配置所述pim监控项目的协议参数和监控频率，完成所述pim监控项目的创建。

可选地，上述方法中，所述根据已创建的各项pim监控项目的监控频率定时采集pim监控数据，包括：

根据已创建的pim监控项目的协议参数和监控频率，开启定时任务，周期性采集远程设备上的监控资源的性能数据。

可选地，上述方法中，所述将采集的pim监控数据存入预先部署的influxdb中，包括；

将包含有采集时间戳、监控资源的性能指标名称、监控资源的性能数据、监控资源的标识的js对象简谱格式的pim监控数据通过http接口存入所述influxdb中。

本文还公开了一种物理基础设施管理pim监控数据处理系统，包括存储器和处理器，其中：

所述存储器，用于保存pim监控数据处理程序；

所述处理器，用于读取执行所述pim监控数据处理程序，执行如下操作：

根据已创建的各项pim监控项目的监控频率定时采集pim监控数据，将采集的pim监控数据存入预先部署的分布式时序数据库influxdb中，所述pim监控项目对应一种监控资源，所述pim监控数据至少包含采集时间戳、监控资源的性能指标名称、监控资源的性能数据；

当接收到针对任一项pim监控项目的pim监控数据的实时查询请求时，实时刷新所述influxdb的资源性能数据查询接口获取所述实时查询请求的pim监控项目对应的监控资源的性能数据的最新值。

可选地，上述系统中，所述处理器还执行如下操作：

当接收到针对任一项pim监控项目的pim监控数据的历史数据查询请求时，根据所述历史数据查询请求中指定的监控资源标识、监控资源的性能指标名称和监控资源的性能数据的起止时间从所述influxdb中查询所述监控资源标识指定的监控资源在所述起止时间段内的性能数据的数值，并进行展示。

可选地，上述系统中，所述处理器还执行如下操作：

接收到用户发起的创建pim监控项目的请求时，根据用户操作至少配置所述pim监控项目的协议参数和监控频率，完成所述pim监控项目的创建。

可选地，上述系统中，所述根据已创建的各项pim监控项目的监控频率定时采集pim监控数据，包括：

根据已创建的pim监控项目的协议参数和监控频率，开启定时任务，周期性采集远程设备上的监控资源的性能数据。

可选地，上述系统中，所述将采集的pim监控数据存入预先部署的influxdb中，包括；

将包含有采集时间戳、监控资源的性能指标名称、监控资源的性能数据、监控资源的标识的js对象简谱格式的pim监控数据通过http接口存入influxdb中。

本发明技术方案将监控资源采集到的性能数据保存到influxdb中，可以支持时序数据的快速写入、持久化、多纬度的聚合查询要求。

附图说明

图1为本发明实施例中基于influxdb的pim性能监控数据处理方案实现过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合具体实施方式对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

实施例1

本申请发明人提出，可以基于influxdb的浪潮pim性能数据存储方案。通过部署influxdb分布式时序数据库，将采集到的性能数据，实时保存到influxdb中，可以有效改善监控资源的性能数据存放和获取的时效性，这对大规模数据中心的资源云监控可以起到很好的优化作用。基于上述思想，本实施例提供一种pim性能监控数据处理，主要包括如下操作：

根据已创建的各项pim监控项目的监控频率定时采集pim监控数据，将采集的pim监控数据存入预先部署的分布式时序数据库influxdb中；当接收到针对任一项pim监控项目的pim监控数据的实时查询请求时，实时刷新所述influxdb的资源性能数据查询接口获取所述实时查询请求的pim监控项目对应的监控资源的性能数据的最新值。其中，一项pim监控项目可以对应一种监控资源，本文中涉及的监控资源可以是服务器、存储、交换机、防火墙等等。

pim监控数据至少包含如下一种或几种信息：

采集时间戳、监控资源的性能指标名称、监控资源的性能数据。

另外，以上述方法的基础上，还可以接收针对任一项pim监控项目的pim监控数据的历史数据查询请求，此时，可以根据所述历史数据查询请求中指定的监控资源标识、监控资源的性能指标名称(也可称为性能指标标识)和监控资源的性能数据的起止时间从所述influxdb中查询指定的监控资源在指定时间段(即起止时间段)内的指定的性能数据(即性能指标名称对应的性能数据)的数值，并进行展示。

上述方法中已创建的pim监控项目，可以是预先接收到用户发起的创建pim监控项目的请求时所创建的。可以根据用户操作至少配置pim监控项目的协议参数和监控频率。其中，协议参数主要用于pim从远程设备上获取监控数据的实现。

本实施例中所涉及的influxdb本身支持集群部署，当要求pim进行高可用部署时，可以对influxdb进行多节点部署。而pim监控数据在influxdb数据库中的储存方式可以采用多种方式，本实施例以服务器部件cpu监控数据为例，每个部件(也可认为是监控资源)对应influxdb中的一张表，而cpu温度、cpu利用率等指标名称则可对应该表中的字段。

下面以一种示例性实例说明上述方法的实际应用。该实际应用以浪潮公司的物理基础设施管理平台(ispim)为例，说明该ispim平台如何采用本实施例提供的pim性能监控数据处理方法进行数据监控。

浪潮公司的物理基础设施管理平台(ispim)提供了一个统一的、集中的、可视化的和跨平台的深度管理方案，能够将不同品牌不同类型的设备统一集中式管理，并及时发现安全隐患，排查设备故障，控制机房能耗，降低管理成本，提高运维效率，使数据中心基础设施的管理工作更加轻松。ispim提供友好的可视化配置界面，采用b/s架构，支持设备的批量自动扫描录入及资产信息的自动获取，支持对服务器的批量配置，可以大大降低运维的技术门槛并且提高运维效率。ispim告警管理采用主动轮询和被动接收的方式，检测设备的运行状态。主动轮询的默认采样间隔达到1分钟以内。被动接收提供实时状态变化，从告警产生到界面呈现的间隔为5秒以内。智能监控和巡检功能可提前发现故障，并在故障发生第一时间通过邮件、短信、微信等多种方式通知运维人员，从而大大提高故障处理效率，降低故障带来的业务损失。

针对上述浪潮公司的物理基础设施管理平台(ispim)的pim性能监控数据，可以采用本实施例提供的pim性能监控数据处理方法进行操作。此种基于influxdb的浪潮pim性能监控数据的处理过程如附图1所示。涉及的性能数据获取过程包括：(1)添加监控资源，例如，服务器、存储、交换机、防火墙等。(2)定时抓取性能数据(即采集pim监控数据)按照约定好的数据格式保存到influxdb中、(3)访问influxdb查询数据并进行监控数据的展示。

上述操作的执行过程可参考如下操作：

首先组织用户登录pim，进入监控资源添加界面，选择监控视图页面，选择某个资源大类，点击左侧资源大类树上的资源组，点击创建监控项目，依次填写协议参数(也可认为是监控协议对应参数)、采样频率等完成监控项目的创建。即相当于，接收到用户发起的创建pim监控项目的请求时，根据用户操作至少配置所述pim监控项目的协议参数和监控频率，完成所述pim监控项目的创建。

之后，根据之前设置的监控频率，开启定时任务，周期性根据之前配置的协议参数，从远程设备上获取监控数据，之后将包含有监控资源id、采集时间戳、监控资源的性能指标名称、监控资源的性能指标对应的数据的json(javascriptobjectnotation,js对象简谱)数据(即pim监控数据)通过http接口存入influxdb。

最后可以实现实时性能数据展示和历史数据查看，其中实时性能数据展示可以通过实时刷新influxdb资源性能数据查询接口获取最新值，历史数据查看可以根据用户输入的监控资源的性能指标名称和监控资源的性能数据起止时间进行查询，将查询到的数据以设定方式(例如曲线图的方式)展示。

实施例2

本实施例提供一种pim监控数据处理系统，包括存储器和处理器。可以实施上述实施例1的方法。

其中，存储器，用于保存pim监控数据处理程序；

处理器，用于读取执行所述pim监控数据处理程序，执行如下操作：

根据已创建的各项pim监控项目的监控频率定时采集pim监控数据，将采集的pim监控数据存入预先部署的分布式时序数据库influxdb中，其中，pim监控项目对应一种监控资源，pim监控数据至少包含采集时间戳、监控资源的性能指标名称、监控资源的性能数据；

当接收到针对任一项pim监控项目的pim监控数据的实时查询请求时，实时刷新所述influxdb的资源性能数据查询接口获取实时查询请求的pim监控项目对应的监控资源的性能数据的最新值。

上述处理器还可以在接收到针对任一项pim监控项目的pim监控数据的历史数据查询请求时，根据所述历史数据查询请求中指定的资源id、监控资源的性能指标名称和监控资源的性能数据起止时间从所述influxdb中查询符合历史数据查询要求的pim监控数据(即查询指定的监控资源在指定时间段(即起止时间段)内的指定的性能数据的数据)，将查询到的pim监控数据进行展示。例如，可以将查询到的pim监控数据以预先指定的方式(例如曲线图的方式)展示。

上文中所涉及的各项pim监控项目可以是预先创建的，也就是处理器可以在接收到用户发起的创建pim监控项目的请求时，根据用户操作至少配置所述pim监控项目的协议参数和监控频率，完成所述pim监控项目的创建。除此之外，接收到用户发起的创建pim监控项目的请求时，处理器还可以根据用户操作配置所述pim监控项目的协议参数和监控频率，开启定时任务，周期性地从远程设备上获取监控数据并进行展示。例如将查询到的pim监控数据以预先指定的方式(例如曲线图的方式)展示。

其中，将包含有资源标识、采集时间戳、监控资源性能指标名称、监控资源性能数据的pim监控数据存入预先部署的influxdb的方式可以是；将包含有资源标识、采集时间戳、监控资源的性能指标名称、监控资源的性能数据的数值的json的pim监控数据通过http接口存入influxdb中。

从上述实施例可以看出，本申请技术方案采用infuxdb来处理性能数据的机制，可以有效改善监控资源的性能数据处理性能，这对大规模数据中心的物理基础设施监控起到了很好的优化作用。采用infuxdb分布式时序数据库，具备如下有益效果：1、infuxdb分布式时序数据库基于时间序列，通过hash分片的方式来存储海量数据。对于实时写入，也是通过lsm方式来实现数据的快速写入，这满足了pim对实时监控数据快速存储的要求。

2、预聚合方面，influxdb引入了连续查询和备份策略两者者配合使用可以提高数据的查询速度。

3、采用列式存储，对于不需要查询的列可以显著降低io。

基于以上优点，采用infuxdb来处理性能数据可以有效改善资源性能数据处理效率，大大提高pim的性能。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。