一种性能测试方法及装置与流程

本发明涉及性能测试领域，尤其涉及性能测试领域中监控系统的性能测试方法及装置。

背景技术

在云计算时代，随着业务逻辑变得越来越复杂，数据和相关设备也逐步增加，这就对监控系统所能承受的节点数量有了迫切的需求，能够在监控大量设备的场景下，保证监控数据获取以及数据处理的及时性尤为重要。因此在监控系统的开发与测试中，该监控系统所能承受的监控节点的数目是监控系统的一个重要指标。但是，在开发测试中，我们无法使用真实的大规模设备，因此亟需对设备进行模拟。

技术实现要素：

本发明要解决的技术问题是提供一种性能测试方法，能够模拟被监控节点，按需产生监控数据，从而对监控系统进行性能测试。

为了解决上述技术问题，本发明实施例提供了一种性能测试方法，包括：

根据资源类型生成模拟节点，所述资源类型包括以下任一种或多种：数据库、网络设备、主机、虚拟机、服务器；

将所述模拟节点作为监控目标，提供给待测试的监控系统进行监控；

获取所述监控系统的性能指标，根据所述性能指标以及预先设置的参数判断所述监控系统是否通过性能测试。

进一步地，上述方法还具有下面特点：

所述性能指标包括以下任一项或多项：所述监控系统的数据更新频率、所述监控系统的告警反应时间、告警准确性，所述预先设置的参数包括所述监控系统的数据更新频率的阈值、告警反应时间的阈值和告警准确性阈值。

进一步地，上述方法还具有下面特点：

所述根据资源类型生成模拟节点，包括：

为所生成的模拟节点设置虚拟ip和虚拟接口；所述虚拟ip和虚拟接口用于供所述监控系统定位所述模拟节点，以及获取模拟节点的监控数据。

进一步地，上述方法还具有下面特点：

所述模拟节点为服务或进程。

进一步地，上述方法还具有下面特点：

所述监控数据由模拟节点自动产生，并且根据预设情景调整所述监控数据，所述预设情景包括产生波动、模拟无法连通、模拟超过阈值。

为了解决上述问题，本发明还提供了性能测试装置，包括：存储器和处理器；其特征在于：

所述存储器，用于保存用于性能测试的程序；

所述处理器，用于读取执行所述用于性能测试的程序，执行如下操作：

根据资源类型生成模拟节点，所述资源类型包括以下任一种或多种：数据库、网络设备、主机、虚拟机、服务器；

将所述模拟节点作为监控目标，提供给待测试的监控系统进行监控；

获取所述监控系统的性能指标，根据所述性能指标以及预先设置的参数判断所述监控系统是否通过性能测试。

进一步地，上述装置还具有下面特点：

所述性能指标包括以下任一项或多项：所述监控系统的数据更新频率、所述监控系统的告警反应时间、告警准确性，所述预先设置的参数包括所述监控系统的数据更新频率的阈值、告警反应时间的阈值和告警准确性阈值。

进一步地，上述装置还具有下面特点：

所述根据资源类型生成模拟节点，包括：

为所生成的模拟节点设置虚拟ip和虚拟接口；所述虚拟ip和虚拟接口用于供所述监控系统定位所述模拟节点，以及获取模拟节点的监控数据。

进一步地，上述装置还具有下面特点：

所述模拟节点为服务或进程。

进一步地，上述装置还具有下面特点：

所述监控数据由模拟节点自动产生，并且根据预设情景调整所述监控数据，所述预设情景包括产生波动、模拟无法连通、模拟超过阈值。

综上，本发明实施例提供模拟节点，当需要进行性能测试时，批量添加到待测的监控系统中，通过校验监控系统的性能指标对监控系统进行性能压力测试，从而减少开发成本，提高了开发效率。

附图说明

图1为本发明实施例的性能测试方法的示意图。

图2为本发明实施例的对监控系统的性能测试系统的示意图。

图3为本发明实施例的对监控系统的性能测试方法的流程图。

图4为本发明实施例的性能测试装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1为本发明实施例的性能测试方法的示意图，如图1所示，本实施例的性能测试方法包括：

s11、根据资源类型生成模拟节点。

其中，所述资源类型包括以下任一种或多种：数据库、网络设备、主机、虚拟机、服务器。

其中，不同资源类型的模拟节点所产生的监控数据不同；作为监控目标时，监控系统使用的接口协议不同，所输出的性能数据和告警信息也会有所不同。

s12、将所述模拟节点作为监控目标，提供给待测试的监控系统进行监控。

s13、获取所述监控系统的性能指标，根据所述性能指标以及预先设置的参数判断所述监控系统是否通过性能测试。

在一种可选实施方式中，所述性能指标包括以下任一项或多项：所述监控系统的数据更新频率、所述监控系统的告警反应时间、告警准确性，所述预先设置的参数包括所述监控系统的数据更新频率的阈值、告警反应时间的阈值和告警准确性阈值。

其中，数据更新频率的阈值、告警反应时间的阈值和告警准确性阈值可以根据经验值或实验值自行设置。

其中，可以但不限于由数据校验模块来获取监控系统的数据更新频率、告警反应时间、告警准确性。

其中，数据更新频率是指监控系统接收监控数据的平均间隔时间。比如5分钟更新一次监控数据。

其中，告警反应时间是指在监控数据超出阈值后生成告警所需的时间。

其中，告警准确性是监控系统发出告警的准确率，可以通过统计正确的告警数或统计漏报(该告警而没有告警)、误报(不该告警却告警了)和错报(该告警a却告警b)的次数与总告警数计算得到。比如在规定时间内产生n个告警，其中有m个告警为正确的告警，则告警准确性为m/n*100％。

在一种可选实施方式中，所述根据资源类型生成模拟节点，包括：

为所生成的模拟节点设置虚拟ip和虚拟接口；所述虚拟ip和虚拟接口用于供所述监控系统定位所述模拟节点，以及获取模拟节点的监控数据。

在其它实施方式中，也可以通过其他方式来定位模拟节点，比如节点的唯一标识等。

一种可选实施方式中，所述模拟节点为服务或进程。

其它实施方式中，所述模拟节点也可以是线程，或其它实现形式。

一种可选实施方式中，所述监控数据由模拟节点自动产生，并且能根据预设情景进行调整，所述预设情景包括以下一种或多种：产生波动、模拟无法连通、模拟超过阈值。

其中，监控数据为被监控资源的性能数据，可以包括以下一种或多种：操作系统的cpu总量、使用量、使用率，内存总量、空闲量、使用率，磁盘总量、使用量、使用率、进程数。但是并不限于上述所列的数据。

其中，模拟节点可以根据执行预定代码或其它方式来产生监控数据，可以根据用户输入的指令来调整监控数据。

在其它实施方式中，所述监控数据可以由用户输入，或者采用在其它监控系统中实际获取的监控数据。

图2为本发明实施例的对监控系统的性能测试系统的示意图。图3为本发明实施例的对监控系统的性能测试方法的流程图，如图3所示，包括步骤如下：

步骤301：根据要测试的资源类型生成模拟节点，并为模拟节点配置虚拟ip地址和虚拟接口。

其中，每个模拟节点是一个服务或进程，可以在一台主机上生成多个模拟节点，使得不单独占用物理资源。对于不同的资源类型，由于所监控的性能数据不同，因此对外提供的接口也不尽相同。例如：通过ipmi协议监控服务器，因此模拟的服务器节点须能仿真ipmi接口，可以接收ipmi命令，并返回结果。如果模拟交换机，则需要模拟snmp接口，接收snmp命令，并返回数据。

步骤302：将模拟节点按照需要批量添加到监控系统中。

步骤303：模拟节点进行监控数据模拟，当监控系统请求监控数据时，按照预先设计的方式返回监控数据。

步骤304：数据校验模块对监控系统的数据更新频率、告警反应时间、告警准确性进行校验。

可以预先设置数据更新频率、告警反应时间的阈值和告警准确性阈值，数据校验模块通过比较监控系统的监控指标(数据更新频率、告警反应时间、告警准确性)与预先设定的阈值，数据校验模块根据标准判断性能测试测试是否通过。

本实施例用于监控系统的性能测试，通过模拟节点模拟真实的设备或服务，减少设备使用，免去协调时间，降低了开发及测试成本。上述测试系统和方法也可以用于监控系统的压力测试。

下面以监控系统监控操作系统为例，详细说明本发明实施例的性能测试方法。

一般情况下，对操作系统的监控是通过snmp监控的，监控系统通过调用snmpwalk命令直接获取被监控的操作系统的cpu总量、使用量、使用率，内存总量、空闲量、使用率，磁盘总量、使用量、使用率，进程数。

首先，模拟操作系统的接口，生成操作系统模拟节点，每个节点为一个进程，包括一个模拟ip、一系列snmp接口。也可以同时产生多个进程，模拟多个操作系统。并且人为对系统阈值进行设置，包括数据更新频率阈值、告警反应时间阈值和告警准确性阈值。可以根据不同的场景设置上述阈值。

将生成的节点加入到监控系统中进行监控。模拟节点产生监控数据。该监控数据提供给监控系统，监控系统输出各种性能指标，包括数据更新频率、告警反应时间和告警准确性。数据校验模块校验监控系统的数据更新频率是否超过设定的阈值，判定该规模下监控系统能否顺利获取监控数据并处理。并使某几个模拟节点发生错误输出，如超过阈值或者模拟宕机，校验监控系统的告警准确性，以及告警反应时间。通过这三项指标判定监控系统能否监控该规模操作系统。

图4为本发明实施例的性能测试装置的示意图，如图4所示，本实施例的性能测试装置包括：存储器和处理器；其特征在于：

所述存储器，用于保存用于性能测试的程序；

所述处理器，用于读取执行所述用于性能测试的程序，执行如下操作：

根据资源类型生成模拟节点，所述资源类型包括以下任一种或多种：数据库、网络设备、主机、虚拟机、服务器；

将所述模拟节点作为监控目标，提供给待测试的监控系统进行监控；

获取所述监控系统的性能指标，根据所述性能指标以及预先设置的参数判断所述监控系统是否通过性能测试。

可选地，所述性能指标包括以下任一项或多项：所述监控系统的数据更新频率、所述监控系统的告警反应时间、告警准确性，所述预先设置的参数包括所述监控系统的数据更新频率的阈值、告警反应时间的阈值和告警准确性阈值。

可选地，所述根据资源类型生成模拟节点，包括：

为所生成的模拟节点设置虚拟ip和虚拟接口；所述虚拟ip和虚拟接口用于供所述监控系统定位所述模拟节点，以及获取模拟节点的监控数据。

可选地，所述模拟节点为服务或进程。

可选地，所述监控数据由模拟节点自动产生，并且能根据预设情景进行调整，所述预设情景包括以下一种或多种：产生波动、模拟无法连通、模拟超过阈值。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上仅为本发明的优选实施例，当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。