网管服务器测试方法、装置与系统与流程

本申请涉及通信测试技术领域，特别是涉及一种网管服务器测试方法、装置与系统。

背景技术：

随着移动互联网和智能手机的普及，对信号无缝覆盖的要求越来越高，使得基站数量的需求越来越大，因此，对网管服务器的性能提出了更高的要求。在实际的网管服务器运行中，由于性能问题，出现内存溢出、进程挂死、响应速度慢以及上下线等情况屡见不鲜。随着信息时代的发展，网管服务器性能的测试越来越重要。

发明人发现传统技术中至少存在如下问题：传统方法在实验室环境下，性能测试环境组网困难，而且成本高。

技术实现要素：

基于此，有必要针对实验室环境下，网管服务器性能测试环境存在组网困难且成本高的问题，提供一种网管服务器测试方法、装置与系统。

为了实现上述目的，一方面，本申请实施例提供了一种网管服务器测试方法，包括：

基站模拟器单元基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息；模拟消息为基站模拟器单元根据抓取到的、用于基站与待测试网管服务器交互的真实消息包生成的。

基站模拟器单元获取性能测试结果；性能测试结果由模拟消息经待测试网管服务器处理后得到。

在其中一个实施例中，真实消息包为基站基于tr069协议生成的消息包。真实消息包包括以下消息中的任意一种或任意组合：心跳消息、性能文件、告警消息、升级消息、boot消息以及注册消息。

在其中一个实施例中，基站模拟器单元基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤之前，还包括步骤：

基站模拟器单元根据tr069协议解码真实消息包，得到模拟消息模板。

基站模拟器单元基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤包括：

基站模拟器单元基于测试场景模型，确认模拟消息的发送数量。

基站模拟器单元根据模拟消息模板，生成发送数量的模拟消息；模拟消息包括网元序列号、基站参数以及真实消息包的采集时间；基站参数包括基站的在线用户数量以及基站的吞吐量。

在其中一个实施例中，基站模拟器单元根据模拟消息模板，生成发送数量的模拟消息的步骤之后，还包括步骤：

基站模拟器单元基于测试场景模型，确认模拟消息的发送时刻；基站模拟器单元在发送时刻将发送数量的模拟消息发送给待测试网管服务器。

或，基站模拟器单元基于测试场景模型，确认模拟消息的发送时间段；基站模拟器单元在发送时间段内，将发送数量的模拟消息依次发送给待测试网管服务器。

在其中一个实施例中，模拟消息还包括消息生成时间以及组织唯一标识符。

在其中一个实施例中，基站模拟器单元基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤之后，还包括步骤：

基站模拟器单元获取待测试网管服务器在运行时间段内的运行状态信息；运行时间段包括起始点和终止点；起始点为生成模拟消息的时刻；终止点为获取到性能测试结果的时刻；运行状态信息包括吞吐量以及点击率。

在其中一个实施例中，性能测试结果包括以下数值的任意一种或任意组合：响应时间、cpu利用率以及磁盘利用率。

另一方面，本申请实施例还提供了一种网管服务器测试装置，包括：

模拟消息发送模块，用于基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息；模拟消息为根据抓取到的、用于基站与待测试网管服务器交互的真实消息包生成的消息。

测试结果获取模块，用于获取性能测试结果；性能测试结果由模拟消息经待测试网管服务器处理后得到。

在其中一个实施例中，提供了一种网管服务器测试系统，包括：待测试网管服务器，基站，以及实现如上述的网管服务器测试方法的基站模拟器单元。

基站模拟器单元分别连接待测试网管服务器以及基站。待测试网管服务器连接基站。

在其中一个实施例中，还包括交换机；基站模拟器单元包括控制机，以及至少一个的负载机。

基站通过交换机连接待测试网管服务器。控制机通过交换机分别连接待测试网管服务器、基站以及各负载机。负载机通过交换机分别连接待测试网管服务器和基站。负载机为包括至少一个虚拟网元的设备；虚拟网元用于生成模拟消息。

在其中一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的网管服务器测试方法。

上述技术方案中的一个技术方案具有如下优点和有益效果：

基站模拟器单元基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息；模拟消息为根据基站与待测试网管服务器进行交互的真实消息包生成的；获取性能测试结果；性能测试结果由模拟消息经待测试网管服务器处理后得到。采用测试场景模型以及基站模拟器单元，批量模拟基站与网管服务器通信的信息，对网管服务器形成性能压力，可准确测量出网管服务器的性能，同时，能够降低测试的组网难度和成本；根据性能指标，可测算出网管服务器能容量的设备数量，为客户的选择提供了依据。

附图说明

通过附图中所示的本申请的优选实施例的更具体说明，本申请的上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。

图1为一个实施例中网管服务器测试方法的第一示意性流程图；

图2为一个实施例中网管服务器测试方法的第二示意性流程图；

图3为一个实施例中网管服务器测试方法的第三示意性流程图；

图4为一个实施例中网管服务器测试方法的第四示意性流程图；

图5为一个实施例中网管服务器测试装置的结构示意图；

图6为一个实施例中网管服务器测试系统的第一示意性结构图；

图7为一个实施例中网管服务器测试系统的第二示意性结构图；

图8为一个实施例中网管服务器测试中性能文件的上传编码流程图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。

需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件并与之结合为一体，或者可能同时存在居中元件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

传统的网管服务器性能测试方法中，主要是在实验室搭建通信系统并进行测试。但是，实验室环境下难以搭建成千上万基站与被测设备网管进行通信的系统；大规模设备系统的搭建成本大，且系统功能复杂。

为此，本申请提出了模拟基站信息与网管服务器通信的方式，采用性能测试工具依据测试策略，模拟批量基站设备的各个行为并向网管服务器进行单个或多个的并发业务，根据网管服务器的处理情况得到网管服务器性能的测试结果。其中，基站可为用户提供语音、数据业务，批量基站完成一个区域的覆盖。网管服务器可获取该区域下的基站语音、数据业务流量情况，还能获取到该区域基站的故障情况，对监控区域下的站点进行升级、重启以及故障维护等。基站模拟器单元可为负载机，可用于模拟基站与网管服务器交互的信息；通过负载机的大量业务，可得出网管服务器能支持的性能数据；具体地，基站、基站模拟器单元、网管服务器之间可采用交换机进行相互连接。

网管服务器作为各个设备的窗口，能准确获悉设备的实时状态；连接网管服务器的设备数量越多，对网管服务器的性能要求越加严格。本申请实施例能提前测量出网管服务器的性能，根据性能指标，可测算出网管服务器能容纳的设备量，为客户的选择提供依据。

典型的网管服务器性能测试中，所涉及的模拟消息可包括心跳消息、性能文件、告警消息、升级消息、boot消息以及注册消息等。各个模拟行为可以单个业务多次每秒的模式进行发送，也可以组合业务多次每秒的模式进行发送，表1为一个实施例中网管服务器在现网中的实际性能指标。

表1.一个实施例中网管服务器在现网中的实际性能指标

在一个实施例中，提供了一种网管服务器测试方法，如图1所示，图1为一个实施例中网管服务器测试方法的第一示意性流程图，包括：

步骤s110，基站模拟器单元基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息；模拟消息为基站模拟器单元根据抓取到的、用于基站与待测试网管服务器交互的真实消息包生成的。

步骤s120，基站模拟器单元获取性能测试结果；性能测试结果由模拟消息经待测试网管服务器处理后得到。

具体而言，基站模拟器单元根据抓取到的真实消息包以及测试场景模型，生成相应数量的模拟消息，并根据测试场景模型的发送策略，将模拟消息发送给待测试网管服务器；获取网管服务器处理模拟消息时得到的性能测试结果。

需要说明的是，基站模拟器单元可用于抓取真实消息包、设置虚拟网元的数量、运行性能测试工具软件、生成模拟消息、向网管服务器发送模拟消息以及获取网管服务器的性能测试结果。具体地，基站模拟器单元可包括用于抓取真实数据包、运行性能测试工具以及发送模拟消息的控制器，以及用于生成模拟消息的负载器。应该注意的是，控制器和处理器可分属于不同的服务器，也可同属于一个服务器。

真实消息包为基站与网管服务器进行交互的消息包，由基站侧生成并可反映基站运行中的真实数据情况。本申请实施例的测试过程中，可获取至少一个真实消息包并生成相应的模拟消息，实现模拟消息的多样化，以使测试更加全面。具体地，基站模拟器单元可采集一个真实消息包并生成多条模拟消息，还可采集多个真实消息包，并基于各个真实消息包生成对应的模拟消息

模拟消息基于真实消息包生成，其消息类型可与真实消息包的类型对应，用于基站模拟器单元模拟基站与网管服务器交互的消息。具体地，模拟消息可实现基站模拟器单元与网管服务器的心跳消息、性能文件、告警消息、升级消息、boot消息以及注册消息等的交互。

在网管服务器的应用环境中，各个基站与网管服务器交互的消息类型在同一时间点不尽相同，在不同时间点网管的性能压力也不同。为此，本申请中的测试场景模型包括了发送模拟消息的类型、发送模拟消息的策略以及发送模拟消息的数量等参数。

具体地，测试场景模型可包括测试涉及的模拟消息的类型，各类型模拟消息的发送数量以及各类型模拟消息的发送时间等。例如，可按照表1的内容设置并发用户数以及压力模型，并持续关注网管服务器的性能变化。对待测试网管服务器进行多种场景测试，依据网管服务器的处理情况可得到网管服务器的性能测试结果。根据测试场景模型，基站模拟器单元可在同一时刻发送批量的模拟消息给待测试网管服务器进行测试，还可在设定时间段内分批次将模拟消息发送给待测试网管服务器进行测试。

基于真实消息包和测试场景模型，基站模拟器单元可模拟真实基站的行为方式，模拟消息全面。相对实验室测试环境中仅能使用有限的真实基站设备接入的模式，本申请实施例完善了网管服务器性能测试的方法，提高了对网管服务器性能测试的准确性。

为了网管服务器的性能测试更加充分，对模拟消息的发送可以有多种测试场景，之一为各个消息的独立批量发送；之二为根据正交试验得出几种消息有效组合后批量发送；之三为消息以压力模型为基准或大于压力模型组合后批量发送；之四为在规定时间内对单一消息或组合消息进行批量发送；根据网管处理情况得到网管性能测试结果。

传统技术采用大量真实基站来进行测试，测试环境的组网困难，并且成本昂贵，本申请的测试方法使用基站模拟器单元模拟基站消息的方法，可得到网管服务器的性能测试结果，大大的降低测试成本。

本申请实施例采用测试场景模型以及基站模拟器单元，批量模拟基站与网管服务器通信的信息，对网管服务器形成性能压力，可准确测量出网管服务器的性能，同时，能够降低测试的组网难度和成本；根据性能指标，可测算出网管服务器能容量的设备数量，为客户的选择提供了依据。

在一个实施例中，真实消息包为基站基于tr069协议生成的消息包。

真实消息包包括以下消息中的任意一种或任意组合：心跳消息、性能文件、告警消息、升级消息、boot消息以及注册消息。

具体而言，基站设备与网管服务器采用tr069协议进行通信，根据tr069协议可生成与网管服务器交互的真实消息包；模拟消息可为基于真实消息包以及tr069协议生成的消息。真实消息包包括心跳消息、性能文件、告警消息、升级消息、boot消息以及注册消息中的至少一种。基站模拟器单元抓取真实基站与网管服务器交互的真实消息包，通过性能测试工具软件编码可实现各个模拟消息与网管服务器通信；对应地，模拟消息可包括心跳消息、性能文件、告警消息、升级消息、boot消息以及注册消息等。

需要说明的是，传统技术中，基站与网管服务器进行通信采用的协议存在缺陷。以snmp协议(simplenetworkmanagementprotocol，简单网络管理协议)为例，snmp是udp协议(userdatagramprotocol，用户数据报协议)，是由网管服务器直接下发命令到设备，其中，下发命令只有set与get动作，其他则需通过设备参数来控制；网络质量不好时，采用snmp协议容易产生丢包；网管服务器下发参数到设备，设备不回复时，网管服务器并不清楚设备是否收到参数；采用snmp协议进行交互的内容简单，只能靠mib(managementinformationbase，管理信息库)节点进行操作。

本申请实施例采用的tr069协议是tcp协议(transmissioncontrolprotocol，传输控制协议)，可提供可靠的传输，避免出现差错、重复或丢失等情况。tr069支持的连接模型具有高的灵活度，网管服务器和基站设备都可发起连接请求，基站设备ip变化不会导致维护失败；同时，tr069定义了多种参数的列表和属性参数，功能强大，基于tr069协议的网管系统可以提高设备的易用性。网管服务器下发的命令可包括set、get、download、reboot等动作，并可由网管服务器来关闭连接。基站设备与网管服务器采用tr069协议进行通信，基站模拟器单元通过批量模拟基站与网管服务器的通信信息，可得到网管服务器的性能，为网管服务器的实际应用提供理论依据。

在一个实施例中，如图2所示，图2为一个实施例中网管服务器测试方法的第二示意性流程图，基站模拟器单元基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤之前，还包括步骤：

步骤s108，基站模拟器单元根据tr069协议解码真实消息包，得到模拟消息模板。

基站模拟器单元基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤包括：

步骤s112，基站模拟器单元基于测试场景模型，确认模拟消息的发送数量。

步骤s114，基站模拟器单元根据模拟消息模板，生成发送数量的模拟消息；模拟消息包括网元序列号、基站参数以及真实消息包的采集时间；基站参数包括基站的在线用户数量以及基站的吞吐量。

具体而言，基站模拟器单元抓取真实消息包，根据tr069协议对真实消息包进行解码，形成模拟消息模板。基于测试场景模型，确认需要发送的模拟消息的数量，并根据模拟消息模板生成相应发送数量的模拟消息。其中，模拟消息模板可包括文件名称、网元序列号、基站参数以及真实数据包的采集时间等。

需要说明的是，模拟消息模板根据真实消息包生成，包含真实消息包的消息类型，采集开始时间和采集结束时间，以及基站参数等信息。基站参数包括基站的在线用户数量和基站的吞吐量。

模拟消息根据模拟消息模板生成，在批量发送模拟消息给待测试网管服务器的过程中，各模拟消息可由基站模拟器单元中的各虚拟网元对应生成；基于网元序列号或真实消息包的采集时间，可区分不同的模拟消息，实现待测试网管服务器对批量模拟消息的处理。具体地，当各模拟消息对应的采集时间一样时，可由网元序列号来对模拟消息进行区分；当各模拟消息对应的网元序列号相同时，可由采集时间来对模拟消息进行区分。

不同的测试场景模型可对应不同的模拟消息发送数量，根据测试场景需求，可确认并生成相应发送数量的模拟消息。

在一个实施例中，如图3所示，图3为一个实施例中网管服务器测试方法的第三示意性流程图，基站模拟器单元根据模拟消息模板，生成发送数量的模拟消息的步骤之后，还包括步骤：

步骤s116，基站模拟器单元基于测试场景模型，确认模拟消息的发送时刻；基站模拟器单元在发送时刻将发送数量的模拟消息发送给待测试网管服务器。

或，步骤s118，基站模拟器单元基于测试场景模型，确认模拟消息的发送时间段；基站模拟器单元在发送时间段内，将发送数量的模拟消息依次发送给待测试网管服务器。

具体而言，测试场景模型可至少包括两种模拟消息发送策略，可用于对应网管服务器面临的情况。具体地，可包括：基站模拟器单元在发送时刻，将发送数量的模拟消息同时发送给待测试网管服务器，测试网管服务器对批量消息进行处理时的性能；基站模拟器单元还可在发送时间段内，分批次将模拟消息发送给待测试网管服务器，测试网管服务器在规定时间段内对多次的批量消息进行处理时的性能。

需要说明的是，测试场景模型的发送策略还可包括：单个模拟消息的独立、批量发送；不同类型的模拟消息进行有效组合后批量发送；模拟消息以压力模型为基准或大于压力模型进行组合后批量发送；在规定时间内对单一类型的模拟消息或组合消息进行批量发送等。

在一个实施例中，模拟消息还包括消息生成时间以及组织唯一标识符。

具体而言，模拟消息的消息生成时间以及组织唯一标识符均可用于待测试网管服务器对各模拟消息进行区分。

需要说明的是，生成时间、网元序列号以及组织唯一标识可设置于模拟消息的文件名称中，便于网管服务器进行区分。

在一个实施例中，如图4所示，图4为一个实施例中网管服务器测试方法的第四示意性流程图，基站模拟器单元基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤之后，还包括步骤：

步骤s130，基站模拟器单元获取待测试网管服务器在运行时间段内的运行状态信息；运行时间段包括起始点和终止点；起始点为生成模拟消息的时刻；终止点为获取到性能测试结果的时刻；运行状态信息包括吞吐量以及点击率。

具体而言，本申请实施例的测试过程中，可设置测试的起始点和终结点；具体地，生成模拟消息时上报到达起始点，开始计时；模拟消息上传完成后等待网管网管服务器回复，基站模拟器单元收到回复，得到性能测试结果时到达终止点。起始点与终止点之间即为待测试网管服务器在该测试中的运行时间；完成测试时，运行时间会在结果中反应，并且，场景会记录此段时间内待测试网管服务器的吞吐量、点击率以及响应时间等数值。

在一个实施例中，性能测试结果包括以下数值的任意一种或任意组合：响应时间、cpu利用率以及磁盘利用率。

具体而言，性能测试结果可包括响应时间、cpu利用率以及磁盘利用率中的至少一种。基站模拟器单元基于测试场景模型向待测试网管服务器发送模拟消息后，可获取网管服务器的资源利用率，如网管服务器的cpu利用率、磁盘利用率等；还可获取事务响应时间(transresponsetime)，即对请求作出响应所需要的时间：响应时间变慢，说明网管服务器性能下降；还可获取tps(transactionpersecond)，即每秒钟系统能够处理的交易或事务的数量。

本申请实施例实现了基站模拟器单元与网管服务器的心跳、性能文件、告警、升级、boot、注册等消息的交互，可模拟进行多种场景测试，并依据网管服务器的处理情况得到网管服务器的性能测试结果。采用基站模拟器单元以及基站生成的真实消息包来模拟基站的行为方式，实现模拟消息全面化并且完善了网管服务器的性能测试过程，提高了对网管服务器性能测试的准确性。同时，解决了采用真实基站来进行测试带来的环境组网困难，成本昂贵的问题，大大降低测试成本。

应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种网管服务器测试装置，如图5所示，图5为一个实施例中网管服务器测试装置的结构示意图，包括：

模拟消息发送模块110，用于基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息；模拟消息为根据抓取到的、用于基站与待测试网管服务器交互的真实消息包生成的消息。

测试结果获取模块120，用于获取性能测试结果；性能测试结果由模拟消息经待测试网管服务器处理后得到。

在一个实施例中，真实消息包为基站基于tr069协议生成的消息包。

真实消息包包括以下消息中的任意一种或任意组合：心跳消息、性能文件、告警消息、升级消息、boot消息以及注册消息。

在一个实施例中，还包括：消息包解码模块，用于根据tr069协议解码真实消息包，得到模拟消息模板。

模拟消息发送模块包括：

发送数量确认单元，用于基于测试场景模型，确认模拟消息的发送数量。

模拟消息生成单元，用于根据模拟消息模板，生成发送数量的模拟消息；模拟消息包括网元序列号、基站参数以及真实消息包的采集时间；基站参数包括基站的在线用户数量以及基站的吞吐量。

在一个实施例中，模拟消息发送模块还包括：

消息发送单元，用于基于测试场景模型，确认模拟消息的发送时刻；在发送时刻将发送数量的模拟消息发送给待测试网管服务器；或，基于测试场景模型，确认模拟消息的发送时间段；在发送时间段内，将发送数量的模拟消息依次发送给待测试网管服务器。

在一个实施例中，模拟消息还包括消息生成时间以及组织唯一标识符。

在一个实施例中，还包括：

运行状态获取模块，用于获取待测试网管服务器在运行时间段内的运行状态信息；运行时间段包括起始点和终止点；起始点为生成模拟消息的时刻；终止点为获取到性能测试结果的时刻；运行状态信息包括吞吐量以及点击率。

在一个实施例中，性能测试结果包括以下数值的任意一种或任意组合：响应时间、cpu利用率以及磁盘利用率。

关于网管服务器测试装置的具体限定可以参见上文中对于网管服务器测试方法的限定，在此不再赘述。上述网管服务器测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图6所示，图6为一个实施例中网管服务器测试系统的第一示意性结构图，提供了一种网管服务器测试系统，包括：待测试网管服务器300，基站400，以及实现如上述的网管服务器测试方法的基站模拟器单元200；基站模拟器单元200分别连接待测试网管服务器300以及基站400；待测试网管服务器300连接基站400。

基站模拟器单元200可实现以下步骤：

基于测试场景模型，向待测试网管服务器300发送相应数量的模拟消息；模拟消息为根据抓取到的、用于基站400与待测试网管服务器300交互的真实消息包生成的消息。

获取性能测试结果；性能测试结果由模拟消息经待测试网管服务器300处理后得到。

具体而言，网管服务器性能的测试组网架构可包括待测试网管服务器、基站模拟器单元以及基站等。其中，待测试网管服务器用于接收并处理基站模拟器单元统模拟消息和基站发送的真实消息；基站模拟器单元用于生成并发送模拟信息到待测试网管服务器；基站用于发送并处理待测试网管服务器发送的消息。

需要说明的是，部署基站模拟器单元和真实基站设备，通过与网管服务器建立连接，基站模拟器单元和真实基站对网管服务器形成性能压力。基站模拟器单元已部署性能测试工具软件，并且，软件包括抓取基站设备与网管交互的注册、心跳、性能文件、告警、升级、boot以及注册的脚本文件。同时，基站模拟器单元相对应的参数信息已设置完整；网管服务器的服务开启；基站设备已在网管服务器进行注册；基站模拟器单元中各虚拟网元均已在网管服务器中注册。

以基站模拟器单元为基础，采用性能测试工具软件以及上述测试方法，通过负载来实现网管服务器的性能测试，得出网管服务器的性能数据。其中，性能测试工具软件可在完成编码、实现各个场景与网管服务器交互后，更改参数化脚本里网管ip、url、性能文件上传路径以及存储路径等信息。基站模拟器单元依据消息类型、消息发送策略，将相应数量的模拟消息发送给网管服务器进行处理，根据网管服务器的处理情况，确定网管服务器的性能测试结果。

在一个实施例中，真实消息包为基站基于tr069协议生成的消息包。

真实消息包包括以下消息中的任意一种或任意组合：心跳消息、性能文件、告警消息、升级消息、boot消息以及注册消息。

在一个实施例中，基站模拟器单元执行基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤之前，还实现以下步骤：

根据tr069协议解码真实消息包，得到模拟消息模板。

基站模拟器单元执行基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤时，还实现以下步骤：

基于测试场景模型，确认模拟消息的发送数量。

根据模拟消息模板，生成发送数量的模拟消息；模拟消息包括网元序列号、基站参数以及真实消息包的采集时间；基站参数包括基站的在线用户数量以及基站的吞吐量。

在一个实施例中，基站模拟器单元执行根据模拟消息模板，生成发送数量的模拟消息的步骤之后，还实现以下步骤：

基于测试场景模型，确认模拟消息的发送时刻；在发送时刻将发送数量的模拟消息发送给待测试网管服务器；或，基于测试场景模型，确认模拟消息的发送时间段；在发送时间段内，将发送数量的模拟消息依次发送给待测试网管服务器。

在一个实施例中，模拟消息还包括消息生成时间以及组织唯一标识符。

在一个实施例中，基站模拟器单元执行基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤之后，还实现以下步骤：

获取待测试网管服务器在运行时间段内的运行状态信息；运行时间段包括起始点和终止点；起始点为生成模拟消息的时刻；终止点为获取到性能测试结果的时刻；运行状态信息包括吞吐量以及点击率。

在一个实施例中，性能测试结果包括以下数值的任意一种或任意组合：响应时间、cpu利用率以及磁盘利用率。

在一个实施例中，如图7所示，图7为一个实施例中网管服务器测试系统的第二示意性结构图，还包括交换机；基站模拟器单元包括控制机，以及至少一个的负载机。

基站通过交换机连接待测试网管服务器。控制机通过交换机分别连接待测试网管服务器、基站以及各负载机。负载机通过交换机分别连接待测试网管服务器和基站。负载机为包括至少一个虚拟网元的设备；虚拟网元用于生成模拟消息。

具体而言，交换机用于各网元之间的信息交互。网管服务器、基站以及基站模拟器单元中的负载机和控制机通过交换机实现相互通信。控制机可用于运行网管服务器测试方法；负载机包括至少一个用于生成模拟消息的虚拟网元。

需要说明的是，控制机上可运行性能测试工具软件，从性能测试工具软件中打开场景设计界面，可添加负载机；由于每台负载机所能模拟的虚拟网元数量受硬件条件限制，因此，可根据测试场景的需要，添加多台负载机。并且，控制机也可为负载机。

在一个实施例中，性能文件是基站与网管服务器进行通信传输的消息类型之一，基站模拟器单元上传性能文件可用于验证网管服务器在同一时刻处理大量的基站性能文件并进行解析呈现的能力，其实施的具体步骤包括：

基站模拟器单元抓取真实基站与网管设备交互的性能文件消息包(属于真实消息包)。基于真实消息包，根据tr069协议编解码消息包，形成性能文件模板(属于模拟消息模板)。性能文件模板可包括性能文件的名称、网元的序列号、真实消息包的采集开始时间及采集结束时间、需要上报的基站参数项和对应的参数值；将读取到的性能文件模板存储到性能测试工具中，便于后续修改性能文件模板，生成性能文件进行上传。其中，模板内容里面的参数项主要指基站的在线用户数以及吞吐量等。修改性能模板内容，可生成测试所需的多种模拟消息：根据脚本中已经参数化的参数信息，可对获取到的性能文件的内容及名称进行修改；具体地，性能文件的修改内容包含性能文件的开始和结束时间，以及性能文件的名称。其中，文件的名称可包括网元的sn(序列号)、oui(组织唯一标识符)以及生成时间组成。

在性能测试工具脚本中读取已准备好的测试场景模型，确认模拟消息的发送数量。性能测试工具脚本中使用函数在脚本中添加集合点，在测试场景中设置集合点，发送数量的性能文件全部到达集合点后同时上报，达到负载测试的要求。此外，不同测试场景可对集合点进行不同设置，例如百分比或数量方式等，当基站的性能文件模拟数量达到相应的百分比或数值时，进行性能文件的上报。

如图8所示，图8为一个实施例中网管服务器测试中性能文件的上传编码流程图，性能测试工具脚本中添加事物起始点和事物终结点，生成性能文件时到达起始点，开始计时；性能文件上传完成后等待网管服务器回复，基站模拟器单元收到回复后事物终结；运行到该事务的终结点时，此时事务的运行时间会在结果中反应，并且，场景会记录此段时间内的吞吐量、点击率以及响应时间等。

基站模拟器单元根据性能文件上传路径，批量将性能文件发送到网管服务器；网管服务器成功接收到性能文件后，返回信息给基站模拟器单元，然后关闭与基站模拟器单元的连接；根据网管服务器的处理情况，确定待测试网管服务器的性能测试结果。

应该说明的是，告警、升级等其他单一信息的处理方式和性能文件上传类似，根据待测试网管服务器的处理情况，可确定针对某一消息，网管服务器的性能测试结果。实际运行场景中，也有多个消息同时存在的情况，可按照表1内容作为典型场景，在此基础上，逐步加大业务量，根据网管服务器的处理情况确定网管服务器的性能测试结果。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息；模拟消息为根据抓取到的、用于基站与待测试网管服务器交互的真实消息包生成的消息。

获取性能测试结果；性能测试结果由模拟消息经待测试网管服务器处理后得到。

在一个实施例中，真实消息包为基站基于tr069协议生成的消息包。

真实消息包包括以下消息中的任意一种或任意组合：心跳消息、性能文件、告警消息、升级消息、boot消息以及注册消息。

在一个实施例中，计算机程序被处理器执行基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤之前，还实现以下步骤：

根据tr069协议解码真实消息包，得到模拟消息模板。

计算机程序被处理器执行基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤时，还实现以下步骤：

基于测试场景模型，确认模拟消息的发送数量。

根据模拟消息模板，生成发送数量的模拟消息；模拟消息包括网元序列号、基站参数以及真实消息包的采集时间；基站参数包括基站的在线用户数量以及基站的吞吐量。

在一个实施例中，计算机程序被处理器执行根据模拟消息模板，生成发送数量的模拟消息的步骤之后，还实现以下步骤：

基于测试场景模型，确认模拟消息的发送时刻；在发送时刻将发送数量的模拟消息发送给待测试网管服务器；或，基于测试场景模型，确认模拟消息的发送时间段；在发送时间段内，将发送数量的模拟消息依次发送给待测试网管服务器。

在一个实施例中，模拟消息还包括消息生成时间以及组织唯一标识符。

在一个实施例中，计算机程序被处理器执行基于测试场景模型，向待测试网管服务器发送相应数量的模拟消息的步骤之后，还实现以下步骤：

获取待测试网管服务器在运行时间段内的运行状态信息；运行时间段包括起始点和终止点；起始点为生成模拟消息的时刻；终止点为获取到性能测试结果的时刻；运行状态信息包括吞吐量以及点击率。

在一个实施例中，性能测试结果包括以下数值的任意一种或任意组合：响应时间、cpu利用率以及磁盘利用率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。