一种性能统计数据的收集和存储方法及装置与流程

本发明涉及计算机数据存储技术领域，具体来说，涉及一种性能统计数据的收集和存储方法及装置。

背景技术：

随着大数据和云计算的不断普及和扩展，对存储系统的要求也越来越高。现有的宏杉800-g25分布式存储系统可以部署在windows或linux操作系统上，可以通过web的方式进行访问。但是，其受限于原有的设计框架，只能支持保存一个月的审计及统计日志且不可配置，保存数据策略不灵活。此外还具有可配置行不高的缺点。

技术实现要素：

针对相关技术中存储系统保存数据策略不灵活的问题，本发明提出一种性能统计数据的收集和存储方法，能够灵活地对各项性能统计指标进行实时进行配置。

本发明的技术方案是这样实现的：根据本发明的一个方面，提供了一种性能统计数据的收集和存储方法，包括：

第一管理模块(ojmgs)向第二管理模块(omgcd)发送查询性能统计数据请求；

响应于所述请求，所述第二管理模块向所述第一管理模块发送性能统计数据的原始信息；

其中，所述第二管理模块收集所述性能统计数据的原始信息并将所述性能统计数据的原始信息存储在所述第二管理模块的数据库中。

其中，对于单点性能统计数据，所述第二管理模块计算和处理所述性能统计数据的原始信息并获得性能值，之后将在所述第二管理模块的数据库中的所述性能统计数据的原始信息删除。

其中，对于全局性能统计数据，所述第一管理模块获取所述性能统计数据的原始信息，计算并处理所述性能统计数据的原始信息以获取结果数据，并将所述结果数据存储在所述第一管理模块的数据库中。

其中，所述数据库包括单机数据库系统，所述全局性能统计数据存储在分布式存储系统的默认卷中。

其中，所述第一管理模块通过拓扑将性能指标信息发送至后端模块，所述后端模块接收所述性能指标信息，所述第二管理模块在请求查询后获取所述性能指标信息并存储在所述第二管理模块的数据库中，所述第一管理模块从所述第二管理模块收集和获取所述性能指标信息，以同步所述后端模块与所述第一模块中的性能指标信息。

根据本发明的另一方面，提供了一种性能统计数据的收集和存储装置，包括：

第一管理模块，发送查询性能统计数据请求；

第二管理模块，接收所述性能统计数据请求并向所述第一管理模块发送性能统计数据的原始信息，其中，所述第二管理模块收集所述性能统计数据的原始信息并将所述性能统计数据的原始信息存储在所述第二管理模块的数据库中。

其中，对于单点性能统计数据，所述第二管理模块计算和处理所述性能统计数据的原始信息并获得性能值，之后将在所述第二管理模块的数据库中的所述性能统计数据的原始信息删除。

其中，对于全局性能统计数据，所述第一管理模块获取所述性能统计数据的原始信息，计算并处理所述性能统计数据的原始信息以获取结果数据，并将所述结果数据存储在所述第一管理模块的数据库中。

其中，所述数据库包括单机数据库系统，所述全局性能统计数据存储在分布式存储系统的默认卷中。

其中，所述性能统计数据的收集和存储装置还包括后端模块；所述第一管理模块通过拓扑将性能指标信息发送至所述后端模块，所述后端模块接收所述性能指标信息，所述第二管理模块在请求查询后获取所述性能指标信息并存储在所述第二管理模块的数据库中，所述第一管理模块从所述第二管理模块收集和获取所述性能指标信息，以实现所述后端模块与所述第一模块的同步。

基于以上的性能统计数据的收集和存储方法和装置，本申请能够灵活地对各项性能统计指标进行实时进行配置和查询、并且高效、快速地查询和分析历史数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例所提供的性能统计数据的收集和存储系统的示意图；

图2是根据本申请实施例所提供的性能统计数据的收集和存储方法的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参见图1和图2，本申请提供了一种性能统计数据的收集和存储方法，该方法包括

第一管理模块向第二管理模块发送查询性能统计数据请求；

响应于请求，第二管理模块向第一管理模块发送性能统计数据的原始信息；

其中，第二管理模块收集性能统计数据的原始信息并将性能统计数据的原始信息存储在第二管理模块的数据库中。

其中，第一管理模块包括ojmgs，即由java语言实现的存储系统的管理模块，第二管理模块包括omgcd,即由c语言实现的各个节点的管理模块。

基于以上的性能统计数据的收集和存储方法，本申请能够灵活地对各项性能统计指标进行实时进行配置和查询、并且高效、快速地查询和分析历史数据。

在一些实施例中，性能统计数据包括性能监控数据和全局性能监控数据。对于性能监控数据又包括原始数据(即omgcd单点收集和存储，未经计算和处理的数据)和结果数据(即经过处理和计算的数据)。这部分结果数据只占总数据的小部分。这小部分的结果数据叫做全局性能监控数据，可以按照和事件告警数据一样的存储方式来存储。而对于单点性能统计数据，用户可以自由选择时间进行转储，如果用户不选择转储性能统计数据的话，性能统计数据会定时进行删除。对于全局性能监控数据，其存储在一个默认的卷中。

在一些实施例中，对于单点性能统计数据，第二管理模块计算和处理性能统计数据的原始信息并获得性能值，之后将在第二管理模块的数据库中的性能统计数据的原始信息删除。

具体的，每个omgcd负责收集本节点上的性能统计数据的原始信息(即没有经过计算的数据，比如统计某一时刻该节点的io总数)的，并记录在rocksdb(即一种单机持久化key-value数据库)中。由于omgcd上的记录的都是原始数据，在进行计算和处理得到性能值之后可以直接删除该原始数据，所以不需要进行长期存储。所以这些原始数据要定时进行清理，比如保留1小时的原始数据，因为ojmgs可配置的最长采集周期是1小时。

在一些实施例中，对于全局性能统计数据，第一管理模块获取性能统计数据的原始信息，计算并处理性能统计数据的原始信息以获取结果数据，并将结果数据存储在第一管理模块的数据库中。

具体的，全局性能统计数据是ojmgs定时(定时功能可以通过启动一个定时处理线程来实现)从omgcd查询出原始数据并计算处理之后的数据，存储在ojgms的主上面的rocksdb中。但由于rocksdb是单机数据库系统，而ojgms可能切主，所以需要将rocksdb的数据文件存储在分布式存储系统中一个默认的卷中。

在一些实施例中，第一管理模块通过拓扑将性能指标信息发送至后端模块，后端模块接收性能指标信息，第二管理模块在请求查询后获取性能指标信息并存储在第二管理模块的数据库中，第一管理模块从第二管理模块收集和获取性能指标信息，以同步后端模块与第一模块中的性能指标信息。

具体的，为了方便指标的修改和添加，应尽量减少中间流程对指标的意义的理解，而指标信息的收集端(即各后端模块)和ojmgs对指标意义的感知不可避免。所以需要在后端模块和ojmgs之间进行指标信息的同步，这样才能正确的对收集上来的数据进行解析。因此，ojmgs需要将指标信息(即各指标的名称、指标的顺序)同步给各后端模块。具体的步骤如下：

步骤1、ojmgs通过拓扑将指标信息发送至各后端模块(指标信息可以放在各后端模块的service信息中)。

步骤2、后端模块根据拓扑中的指标信息，填充性能统计数据并在omgcd查询时发送至omgcd，记录到omgcd的rocksdb中。

步骤3、ojmgs根据相同的规则解析收集上来的数据。

此外，值得注意的是，性能统计原始数据的收集和存储方法可以如下：

ojmgs按照用户配置的采集周期向omgcd查询性能统计数据的原始信息。

ojmgs输入需要查询的表名和时间点，omgcd从本地rocksdb中查询出对应的数据并将数据及实际时间点返回给ojmgs；比如：ojmgs需要查询ostor在2018090505时刻的数据，而omgcd上记录的数据的key可能没有这个时间点，这时omgcd需要取出距离这一时刻最近的过去的某个时刻的值，比如：2018090504，并将value值和实际时间点返回给ojmgs。ojmgs以查询的时间点为实际时间点记录和计算数据。而且，由于管理模块的各节点上的时间可能不一致，在各节点独立记录数据，时间可能不一致，这种情况无法避免，所以收集上来的数据的时间可能有一定的误差。

综上，基于以上的性能统计数据的收集和存储方法，本申请能够灵活地对各项性能统计指标进行实时进行配置和查询、并且高效、快速地查询和分析历史数据。而且有健全的容错机制，能够保证在各种异常场景下历史性能数据不丢失。此外还能够对历史数据进行定时清理，防止占用过多存储空间。

此外，本申请提供了与性能统计数据的采集和存储方法相对应的装置，该装置包括第一管理模块，用于发送查询性能统计数据请求；第二管理模块用于接收性能统计数据请求并向第一管理模块发送性能统计数据的原始信息，其中，第二管理模块收集性能统计数据的原始信息并将性能统计数据的原始信息存储在第二管理模块的数据库中。

在上述的记载中，已经介绍了该装置中第一管理模块和第二管理模块的原理和方法，在此不再赘述。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。