专利名称：一种测试网络性能参数的装置、系统及方法
技术领域：
本发明涉及测试技术，特别涉及一种测试网络性能参数的装置、系统及方法。
背景技术：
随着通信技术的迅速发展，通信用户数量迅猛增加，业务种类也变得更加丰富，使得在先建立的通信系统接入的通信用户数以及负载量大大增加，给通信系统的容量及稳定性带来了极大的问题。目前各大通信厂家都在积极地为其通信系统的成熟稳定性和满足丰富的用户需求而努力，为了提高通信系统的稳定性，需要对通信系统进行集成拨打测试，以获取该通信系统在大容量时的相关测试信息并对测试信息进行统计、分析，找出影响通信系统稳定性的因素，作为通信系统进行改进的参考。因而，在拨打测试中，尤其注重于通信系统压力测试以及通信系统网络性能参数测试，例如，大容量呼叫成功率、掉话率测试等能够反映通信系统大容量时稳定性的相关参数。图1为现有技术基于通信网络进行网络性能测试的系统结构示意图。参见图1，该系统包括用户终端、资源调配中心、中心任务管理模块、网络性能测试模块以及数据处理模块，其中，用户在用户终端设置测试任务，将测试任务信息发送至资源调配中心，资源调配中心负责调配任务资源，再由中心任务管理模块处理相关信息以及测试任务的管理，相关信息包括用户终端的地理位置及经纬度信息、系统管理员的权限信息等，在设置好测试任务后，向网络性能测试模块发送业务执行命令，网络性能测试模块执行业务命令并向中心任务管理模块返回测试数据，中心任务管理模块接收反馈的测试数据并发送至数据处理模块进行测试数据处理，得到测试结果，用户可根据测试结果对通信网络性能进行分析。由上述可见，现有的网络性能测试方法，虽然可实现网络性能测试和通信网络性能分析，但由于是对现网中的通话质量进行测试分析，无法很好地满足系统集成阶段测试的场景；进一步地，在每次测试时，测试人员需要为每个用户终端分别设置测试任务，需要耗费大量的时间，测试效率较低；而且，网络性能测试模块只能执行单次的连续测试，使得该网络性能测试系统不能实现对通信网络的大容量压力及性能测试，无法满足该场景下的测试需求。此外，目前各大通信厂家都在积极地为其通信系统的成熟稳定性和满足丰富的用户需求而努力，对其系统集成测试的要求也更加严格，其中系统压力和网络性能的测试， 如大容量呼叫成功率、掉话率测试等在系统集成测试中显得尤为重要。而这项测试工作具有一定的重复性，若要人工测试则需要很多的人力与物力，同时还存在一些靠测试人员手工测试不太可能完成的工作，因此开发一款自动化拨打测试工具，将很大程度地提高测试效率和测试质量。
发明内容
有鉴于此，本发明的主要目的在于提出一种测试网络性能参数的方法，实现对通信网络的大容量压力及性能测试，提高测试数据的测试效率。
本发明的另一目的在于提出一种测试网络性能参数的装置，实现对通信网络的大容量压力及性能测试，提高测试数据的测试效率。为达到上述目的，本发明提供了一种测试网络性能参数的装置，该装置包括通信控制模块以及应用模块，其中，通信控制模块，用于对通过外部统一接口平台接入该装置的所有用户终端进行监控管理；通过与用户终端的交互获取所有用户终端的详细信息并上报给应用模块；同时根据接收到的应用模块设定的用户终端话务模型对AT指令进行封装，输出至指定的用户终端，控制用户终端按照应用模块设定的话务模型进行测试，接收用户终端上报的测试结果， 上报给应用模块进行处理；应用模块，用于为通信控制模块提供应用界面；支持话务模型设置功能，支持同时设置多个测试任务，并控制多个测试任务按照优先级或者测试人员指定的先后顺序自动执行；同时接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数，并自动生成关键性能指标KPI统计报表和测试报告供测试人员查询。所述通信控制模块包括用户终端管理单元以及基本业务处理单元，其中，用户终端管理单元，用于监测并获取与统一接口平台相连的所有用户终端信息， 并对用户终端状态进行动态监测，输出至应用模块；基本业务处理单元，用于针对选取的用户终端，形成封装有测试业务参数的AT指令，输出至统一接口平台；接收统一接口平台输出的测试数据信息，输出至应用模块。所述基本业务处理单元进一步用于接收统一接口平台输出的所有用户终端信息， 对用户终端所支持的业务进行分类。所述应用模块包括业务组管理单元、任务管理单元、关键性能指标KPI统计和报表管理单元以及用户界面管理单元，其中，业务组管理单元，用于存储预先设置的业务组信息，并根据预先设置的业务组话务模型启动以及停止业务组；任务管理单元，用于存储预先设置的测试任务信息，并根据用户预先设置的任务话务模型启动以及停止测试任务；KPI统计和报表管理单元，用于接收来自基本业务处理单元的测试数据，对测试数据进行KPI统计、分析，获取网络性能测试参数并形成测试报告；用户界面管理单元，用于为业务组管理单元、任务管理单元以及KPI统计和报表管理单元提供图形化界面，接收输入指令，执行相应操作。所述统一接口平台设置有兼容多种接口类型的用户终端接入接口。一种测试网络性能参数的系统，该系统包括自动拨打工具服务器、统一接口平台以及用户终端，其中，自动拨打工具服务器，用于对通过外部统一接口平台接入该装置的所有用户终端进行监控管理；通过与用户终端的交互获取并呈现所有用户终端的详细信息；同时对控制用户终端执行业务的AT指令进行封装，输出至指定的用户终端，控制用户终端按照预先一定的话务模型进行测试，同时接收用户终端上报的测试结果，并对测试结果进行分析处理；统一接口平台，用于屏蔽测试终端的接口，接收自动拨打工具服务器输出的AT指令，发送给指定的用户终端，并接收用户终端返回的测试结果反馈给自动拨打工具服务器以供分析；同时统一接口平台支持平滑扩容；用户终端，用于根据接收的AT指令通过被测通信网络进行网络性能测试，并将测试数据信息，输出至统一接口平台。所述用户终端接口形态包括通用串行总线接口、串接口以及无线接口中的一种或其任意组合。所述统一接口平台进一步设置有兼容多种接口类型的用户终端接入接口。所述统一接口平台支持自动供电功能，进一步用于通过兼容的用户终端接入接口向接入的用户终端供电。所述自动拨打工具服务器包括通信控制模块以及应用模块，其中，通信控制模块，用于对通过外部统一接口平台接入该装置的所有用户终端进行监控管理；通过与用户终端的交互获取所有用户终端的详细信息并上报给应用模块；同时根据接收到的应用模块设定的用户终端话务模型对AT指令进行封装，输出至指定的用户终端，控制用户终端按照应用模块设定的话务模型进行测试，还接收用户终端上报的测试结果上报给应用模块进行处理；应用模块，用于为通信控制模块提供应用界面；支持话务模型设置功能，支持同时设置多个测试任务，并控制多个测试任务按照优先级或者测试人员指定的先后顺序自动执行；同时接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数，并自动生成KPI统计报表和测试报告供测试人员查询。所述应用模块包括业务组管理单元、任务管理单元、关键性能指标KPI统计和报表管理单元以及用户界面管理单元，其中，业务组管理单元，用于存储预先设置的业务组信息，并根据预先设置的业务组话务模型启动以及停止业务组；任务管理单元，用于存储预先设置的测试任务信息，并根据预先设置的任务话务模型启动以及停止测试任务；KPI统计和报表管理单元，用于接收来自基本业务处理单元的测试数据，对测试数据进行KPI统计、分析，获取网络性能测试参数并形成测试报告；用户界面管理单元，用于为业务组管理单元、任务管理单元以及KPI统计和报表管理单元提供图形化界面，接收输入指令，执行相应操作。所述测试任务信息包括业务组信息、业务组话务模型信息及任务话务模型信息。所述业务组话务模型信息包括业务组的开始时间、结束时间、保持时间、两次业务之间的间隔时间、每个终端发起呼叫的间隔时间信息；所述任务话务模型信息包括任务的开始时间、结束时间、业务组之间的间隔时间以及优先级信息。所述通信控制模块包括用户终端管理单元以及基本业务处理单元，其中，用户终端管理单元，用于监测并获取与统一接口平台相连的所有用户终端信息， 输出至应用模块，并对用户终端状态进行动态监测；基本业务处理单元，用于针对选取的用户终端，形成封装有业务测试参数的AT指令，输出至统一接口平台；接收统一接口平台输出的测试数据信息，输出至应用模块。一种测试网络性能参数的方法，该方法包括
自动拨打工具服务器获取与统一接口平台相连的所有用户终端的相关信息，选取支持被测通信网络的用户终端并分配统一接口平台端口号；自动拨打工具服务器支持话务模型设置功能，支持同时设置多个测试任务，形成封装有测试业务参数的AT指令，输出至统一接口平台，按照预先设置好的测试话务模型控制用户终端发起各种业务；统一接口平台接收自动拨打服务器输出的AT指令，发送给指定的用户终端，并将用户终端返回的测试结果反馈给自动拨打服务器工具以供分析；同时通过统一接口平台， 屏蔽接入用户终端的接口形态，大量不同接口的终端接入自动拨打工具服务器；用户终端根据接收的AT指令通过被测通信网络进行网络性能参数测试，并反馈测试结果；自动拨打工具服务器接收用户终端通过统一接口平台返回的测试数据信息，进行处理获取网络性能测试参数，并自动生成KPI统计报表和测试报告供测试人员查询。所述用户终端通过通用串行总线接口、串接口或无线接口接入所述统一接口平台。进一步包括在所述统一接口平台设置兼容多种接口类型的用户终端接入接口。进一步包括通过所述统一接口平台兼容的用户终端接入接口向接入的用户终端 {共 O所述自动拨打工具服务器获取与统一接口平台相连的所有用户终端的相关信息， 选取支持被测通信网络的用户终端并分配统一接口平台端口号；自动拨打工具服务器支持话务模型设置功能，支持同时设置多个测试任务，形成封装有测试业务参数的AT指令，输出至统一接口平台具体包括自动拨打工具服务器中的通信控制模块获取与外部设置有兼容多种接口类型的统一接口平台相连的多种用户终端的信息；根据获取的用户终端信息选取支持被测通信网络的用户终端并分配统一接口平台端口号，输出至自动拨打工具服务器中的应用模块；针对选取的用户终端，形成封装有测试业务参数的AT指令，输出至统一接口平台以使统一接口平台根据分配的统一接口平台端口号将AT指令输出至与该统一接口平台端口相连的用户终端；接收统一接口平台输出的测试数据信息，输出至应用模块；应用模块为通信控制模块提供应用界面；接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数。所述通信控制模块提供应用界面；接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数具体包括应用模块中的业务组管理单元存储预先设置的业务组信息，并根据预先设置的业务组话务模型启动以及停止业务组；应用模块中的任务管理单元存储预先设置的测试任务信息，并根据预先设置的任务话务模型启动以及停止测试任务；应用模块中的KPI统计和报表管理单元接收来自外部基本业务处理单元的测试数据，对测试数据进行KPI统计、分析，获取网络性能测试参数并形成测试报告；用户界面管理单元为业务组管理单元、任务管理单元以及KPI统计和报表管理单元提供图形化界面，接收输入指令，执行相应操作。
9
所述测试任务信息包括业务组信息、业务组话务模型信息及任务话务模型信息。所述业务组话务模型信息包括；业务组的开始时间、结束时间、保持时间、两次业务之间的间隔时间、每个终端发起呼叫的间隔时间信息；所述任务话务模型信息包括任务的开始时间、结束时间、业务组之间的间隔时间以及优先级信息。所述通信控制模块提供应用界面；接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数具体包括通信控制模块中的用户终端管理单元监测并获取与统一接口平台相连的多个用户终端信息，并对用户终端状态进行动态监测，输出至应用模块；通信控制模块中的基本业务处理单元针对选取的用户终端，形成封装有测试业务参数的AT指令，输出至统一接口平台；接收统一接口平台输出的测试数据信息，输出至应用模块。进一步包括所述基本业务处理单元接收统一接口平台输出的多个用户终端信息，对用户终端所支持的业务进行分类，按照分类将用户终端信息输出至应用模块。由上述的技术方案可见，本发明提供的一种测试网络性能参数的装置、系统及方法，通过自动拨打工具服务器获取与设置有兼容多种接口类型的用户终端接入接口的统一接口平台相连的多种用户终端的信息，选取支持被测通信网络的用户终端并分配统一接口平台端口号；自动拨打工具服务器针对通信控制模块选取的用户终端，形成封装有测试业务参数的AT指令，输出至统一接口平台；统一接口平台根据分配的统一接口平台端口号将 AT指令输出至与该统一接口平台端口相连的用户终端；用户终端根据接收的AT指令通过被测通信网络进行网络性能参数测试，获取测试数据信息；自动拨打工具服务器接收用户终端通过统一接口平台返回的测试数据信息，进行处理获取网络性能测试参数。同时，统一接口平台可以支持多种接口类型的用户终端接入，可以实现对通信网络的大容量压力及性能测试；进一步地，用户终端与被测通信网络直接进行网络性能参数测试，得到的测试数据可靠性高；而且，通过自动拨打工具服务器，可以为参与网络性能参数测试的所有用户终端分别设置测试任务或业务参数，并通过统一接口平台就可以控制大量用户终端进行长时间的自动化测试，测试效率高。
图1为现有技术基于通信网络进行网络性能测试的系统结构示意图。图2为本发明实施例网络性能测试系统结构示意图。图3a为本发明实施例自动拨打工具服务器框架结构示意图。图北为本发明实施例网络性能测试装置工作原理示意图。图4为本发明实施例网络性能测试方法流程示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。现有技术中，需要为每个用户终端分别设置测试任务，测试效率较低，而且，只能执行单次的连续测试，无法满足通信网络的大容量压力及性能测试要求。本发明实施例中， 通过统一接口平台，用以接入满足通信系统大容量压力及性能测试要求的大容量用户终端，然后，通过自动拨打工具服务器发送自动拨打控制指令，用以控制与统一接口平台连接的多个用户终端自动发起多种业务的拨打测试。图2为本发明实施例网络性能测试系统结构示意图。参见图2，该系统包括自动拨打工具服务器、统一接口平台以及用户终端，其中，自动拨打工具服务器，用于监测并获取与统一接口平台相连的多个或多种用户终端信息，根据获取的用户终端信息选取支持被测通信网络的用户终端并分配统一接口平台端口号，针对选取的用户终端，形成封装有测试业务参数的AT指令(Attention)中，输出至统一接口平台；接收统一接口平台输出的测试数据信息，进行处理；也就是说，自动拨打工具服务器，用于对通过外部统一接口平台接入该装置的所有用户终端进行监控管理；通过与用户终端的交互获取并呈现所有用户终端的详细信息；同时对控制用户终端执行业务的 AT指令进行封装，输出至指定的用户终端，控制用户终端按照预先一定的话务模型进行测试，同时接收用户终端上报的测试结果，并对测试结果进行分析处理。本发明实施例中，将业务参数封装在AT指令中为现有技术，具体可参见相关技术文献，在此不再赘述。实际应用中，也可以根据测试需要将不同业务的AT指令进行组合，并且根据实际测试需要修改AT指令中的相关业务参数。例如，根据实际测试需要，可以修改语音业务参数中的业务类型信息、被叫号码信息等。实际应用中，如果支持被测通信网络的用户终端数较多，也可以从中选取满足被测通信网络大容量压力及性能测试要求的用户终端即可。被测通信网络包括全球移动通信网络(GSM，Global System for Mobile communications)、时分(TD，Time Division)通信网络以及长期演化(LTE, Long Term Evolved)通信网络等，相应地，AT指令包括GSM AT指令、TD AT指令以及LTE AT指令等。用户终端信息包括用户终端标识信息、用户终端能力信息及用户终端状态信息寸。用户终端状态信息包括用户终端掉电信息、关机信息、连接信息、断开信息等状态fe息。业务为待测通信系统支持的业务，包括语音业务、视频业务、数据业务以及组合业务等。测试数据信息包括用户终端标识、信号强度、业务类型、测试状态、测试开始时间、测试结束时间以及OK、NO CARRIER、BUSY、CONNECT等AT指令的返回信息。将测试数据进行处理包括根据测试数据信息，获取网络性能测试成功次数、失败次数、掉话次数、呼叫成功率以及掉话率等网络性能测试参数信息。统一接口平台，设置有兼容多种接口类型的用户终端接入接口，通过兼容的用户终端接入接口接入多种用户终端，接收自动拨打工具服务器输出的AT指令，根据分配的统一接口平台端口号将AT指令输出至与该统一接口平台端口相连的用户终端以便各用户终端根据接收的AT指令通过被测通信网络进行拨打测试，接收用户终端返回的测试数据信息，输出至自动拨打工具服务器。也就是说，统一接口平台用于屏蔽测试终端的接口，接收自动拨打工具服务器输出的AT指令，发送给指定的用户终端，并接收用户终端返回的测试结果反馈给自动拨打工具服务器以供分析；同时统一接口平台支持平滑扩容。本发明实施例中，统一接口平台设置有兼容多种接口类型的用户终端接入接口， 支持多种接口类型的用户终端接入并支持平滑扩容，例如，支持用户终端通过通用串行总线(USB，Universal Serial Bus)接口以及串接口接入统一接口平台，或者，如果用户终端支持无线方式进行AT指令传输，则统一接口平台也支持用户终端通过无线方式接入。举例来说，支持USB接口的用户终端可以通过专用于传输用户终端AT指令的USB线连接至统一接口平台，而支持串接口的用户终端可以通过专用于传输用户终端AT指令的串口线连接至统一接口平台，支持无线方式进行AT指令传输的用户终端可以通过无线接口连接至统一接口平台。实际应用中，考虑到通信网络集成测试中的压力性能测试所需时间较长，一般在一天以上，而现有的用户终端，例如，移动电话，其连续工作的时间很难超过一天，为了避免用户终端在测试过程中由于耗电量大于供电量而导致关机，因而，本发明实施例中，对于有线连接，可以设置由统一接口平台向其连接的用户终端供电，即统一接口平台具备自主供电的功能，通过USB线或串口线向各用户终端供电，并且当其满载时，每个接口的输出电流大于用户终端执行业务过程中的平均耗电量。这样，可以长时间对接入的用户终端进行管理和控制。当然，也可以为每一接入统一接口平台的用户终端分别设置供电模块用于供电， 尤其在无线连接的情况下。实际应用中，自动拨打工具服务器以及统一接口平台也可以设置在同一物理设备中，再与用户终端以及被测通信系统构成测试网络性能参数的系统。下面对本发明实施例测试网络性能参数的系统中的各测试网络性能参数的装置进行说明。图3a为本发明实施例自动拨打工具服务器框架结构示意图。参见图3a，该自动拨打工具服务器包括通信控制模块以及应用模块，其中，通信控制模块，用于监测并获取与设置有兼容多种接口类型的用户终端接入接口的统一接口平台相连的多个或多种用户终端的信息，输出至应用模块；根据获取的用户终端信息选取支持被测通信网络的各用户终端并分配统一接口平台端口号，针对选取的用户终端，形成封装有测试业务参数的AT指令，输出至统一接口平台以使统一接口平台根据分配的统一接口平台端口号将AT指令输出至与该统一接口平台端口相连的用户终端；接收统一接口平台输出的测试数据信息，输出至应用模块；也就是说，通信控制模块用于对通过外部统一接口平台接入该装置的所有用户终端进行监控管理；通过与用户终端的交互获取所有用户终端的详细信息并上报给应用模块；同时根据接收到的应用模块设定的用户终端话务模型对AT指令进行封装，输出至指定的用户终端，控制用户终端按照应用模块设定的话务模型进行测试，接收用户终端上报的测试结果，上报给应用模块进行处理。应用模块，用于为通信控制模块提供应用界面；接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数。也就是说，应用模块用于为通信控制模块提供应用界面；支持话务模型设置功能，支持同时设置多个测试任务，并控制多个测试任务按照优先级或者测试人员指定的先后顺序自动执行；同时接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数，并自动生成关键性能指标KPI统计报表和测试报告供测试人员查询。
12
本发明实施例中，应用模块存储测试人员预先设置的用于控制用户终端进行拨打测试的各种业务参数并提供界面呈现，将业务的业务参数封装在AT指令中，接收通信控制模块输出的测试数据，对业务对应的测试数据进行相应的关键性能指标(KPI，Key Performance Indication)统计以及报表管理等处理。根据测试数据信息获取网络性能测试参数，属于现有技术，具体可参见相关技术文献，在此不再赘述。通信控制模块包括用户终端管理单元以及基本业务处理单元，其中，用户终端管理单元，用于监测并获取与统一接口平台相连的多个用户终端信息， 并对用户终端状态进行动态监测，输出至应用模块；本发明实施例中，用户终端管理单元在监测到用户终端(终端)掉电、关机或与自动拨打工具服务器连接断开时，向应用模块输出表示用户终端异常的状态信息以便应用模块将相关异常信息进行展示，相关测试人员为出现状态异常的用户终端采取必要的措施， 使得用户终端能很快恢复正常测试状态；进一步地，如果在预先设定的时间内监测到该用户终端状态一直异常，向应用模块输出表示用户终端状态持续异常的状态信息以便应用模块根据预先设置的策略从空闲的在线用户终端中选取出能力等级相同的用户终端来替代异常用户终端的测试工作，保证被测通信网络的测试冲击量。实际应用中，用户终端管理单元还可以对连接到统一接口平台的所有用户终端 (包括不同厂家的用户终端)进行统一管理，例如，进行用户终端识别、获取用户终端详细信息、生成被管理用户终端列表等，并将其输出至应用模块进行呈现。基本业务处理单元，用于接收应用模块输出的AT指令，并进行处理，输出至统一接口平台；接收统一接口平台输出的测试数据(测试结果)信息，输出至应用模块。本发明实施例中，基本业务处理单元还用于查询与统一接口平台相连的用户终端信息，对用户终端所支持的业务进行分类，按照分类将用户终端信息输出至应用模块。本发明实施例中，AT指令处理包括将AT命令进行封装形成AT指令，即在控制用户终端发起业务时，将不同的业务参数对应的AT命令封装为所需下发的AT指令，并对AT 指令的返回值进行处理。业务为待测通信系统支持的业务，包括语音业务、视频业务以及数据业务等，对于数据业务，该模块还负责将预先准备好的文件上传至网络服务器上或者将网络服务器上的文件下载至自动拨打工具所在的服务器。另外，该模块还可以对上传、下载的速率进行统计。应用模块包括业务组管理单元、任务管理单元、KPI统计和报表管理单元以及用户界面管理单元，其中，业务组管理单元，用于存储用户预先设置的业务组信息和业务组话务模型，并根据业务组话务模型启动以及停止业务组；本发明实施例中，业务组管理单元还进一步用于对设置的业务组进行更新，包括 新建、删除、修改业务组，以及，将存储的业务组列表输出至用户界面管理单元呈现。业务组信息包括用户终端信息、用户终端对应的业务类型信息、以及业务组话务模型信息。业务组话务模型信息包括业务组的测试开始时间、结束时间、保持时间、相邻业务之间的间隔时间以及用户终端发起呼叫的间隔时间等信息。
实际应用中，可以根据上报的用户终端信息建立业务组，设置支持被测通信网络、 满足测试要求的多个用户终端为业务组成员，并设置业务组的业务类型以及业务组话务模型后，可以通过用户界面管理单元启动测试。同时，在后续再次执行同样的业务组测试时， 可以直接从业务组管理单元中导入业务组信息的相关配置文件，启动测试即可，或者，修改业务组信息中相关参数后启动测试，以节约测试时间，提高测试效率。实际应用中，业务组内的不同用户终端可以发起不同的业务，为了测试被测通信网络处理大容量业务时的性能，可以设置用户终端同时通过被测通信网络发起业务，也可以设置按照一定的间隔发起业务。任务管理单元，用于存储用户预先设置的测试任务信息和任务话务模型，并根据任务话务模型启动以及停止测试任务；本发明实施例中，业务组管理单元用于为任务管理单元服务，一个测试任务中可以包含多个业务组。因而，任务管理单元也可以视作包含多个业务组管理单元，测试人员通过用户界面管理单元选择测试任务，任务管理单元通知业务组管理单元将该测试任务对应的业务组信息进行呈现，并根据业务组话务模型启动以及停止业务组。或者，测试人员通过用户界面建立任务，并为任务添加业务组和终端成员，并设置业务组话务模型和任务话务模型后，即可启动任务测试。与业务组管理单元相类似，任务管理单元还进一步用于对设置的测试任务进行统一管理，包括新建、删除、修改、查询测试任务、和/或，将存储的测试任务列表输出至用户界面管理单元呈现。测试任务信息包括业务组信息、业务组话务模型信息及任务话务模型信息，其中，业务组话务模型信息包括业务组的开始时间、结束时间、业务组保持时间、相邻业务之间的间隔时间以及业务组内每个用户终端发起呼叫的间隔时间等信息；任务话务模型信息包括任务的开始时间、结束时间、业务组之间的间隔时间以及优先级等信息。若启动任务测试时，任务下面所包含的业务组话务模型中的业务组的开始时间、 结束时间不再生效，所有业务组按照任务的开始时间、结束时间、业务组之间的间隔时间启动测试。预先设置的测试任务可以为多个，根据上报的用户终端信息，为每个测试任务添加业务组信息、业务组话务模型信息及任务话务模型信息，并可保存测试任务的配置文件， 在启动测试任务时，多个测试任务按照测试人员指定的先后顺序或者任务话务模型信息中包含的优先级自动执行。KPI统计和报表管理单元，用于接收来自基本业务处理单元的测试数据，对测试数据进行KPI统计、分析并形成测试报告。本发明实施例中，KPI统计和报表管理单元可以进一步用于将形成的测试报告输出至用户界面管理单元进行呈现。KPI统计包括统计设置任务中或设置的时间段内所有用户终端的呼叫成功率以及掉话率信息，进一步地，还可以包括AT指令发送失败或异常返回的原因值信息。KPI统计结果和测试报告支持在线查询，也支持导出到PC机查询。
呼叫成功率是指设置的时间段内，被测通信系统返回呼叫成功次数与所有用户终端向被测通信系统发起呼叫次数的比值。对AT指令发送失败的原因值信息进行统计可以在测试中，协助分析呼叫失败的原因，同时也对自动拨打工具服务器的稳定性进行验证。用户界面管理单元，用于为业务组管理单元、任务管理单元以及KPI统计和报表管理单元提供图形化界面，接收输入指令，执行相应操作。本发明实施例中，图形化界面用于供测试人员设置测试任务、查看用户终端信息、 浏览KPI报表和测试报告等，输入指令即测试人员设置测试任务、查看用户终端信息、浏览 KPI报表和测试报告的指令。 进一步地，用户界面管理单元还可以用于动态显示设置的每个任务以及每个业务组下所有用户终端执行业务时的网络性能参数信息，包括用户终端标识、信号强度、业务类型、被叫号码(仅用于语音和视频业务)、呼叫状态、呼叫开始时间、呼叫结束时间和呼叫结果等信息。上述网络性能参数信息可以随着用户终端业务的执行而自动更新，以方便测试人员实时查看测试情况。本发明实施例的测试网络性能参数的装置工作原理如下图北为本发明实施例测试网络性能参数的装置工作原理示意图。参见图北，启动测试网络性能参数的装置，用户终端管理单元识别并获取所有接入统一接口平台的用户终端信息，并将这些信息发送给用户界面管理单元，用户界面管理单元将接收的信息进行呈现，用户终端的大多数信息，例如，用户终端标识或网络标识、信号强度等信息可以通过基本业务处理单元发送AT指令获取。测试人员按照测试用例的要求，通过用户界面管理单元建立多个测试任务，并为每个测试任务添加相应业务组，设置业务组内用户终端成员，同一用户终端可以同时包含在不同的测试任务中，但在同一任务中，该用户终端只能属于一个业务组。较佳地，可以为任务设置优先级顺序信息。在设置任务以及业务组之后，通过用户界面管理单元设置任务和业务组的配置信息，包括任务话务模型、各业务组的测试业务类型以及业务组话务模型，同时，可将设置的任务和业务组的配置信息保存在任务管理单元以及业务组管理单元中，便于再次使用测试网络性能参数的装置执行相同的测试任务时，不需要重复任务建立和设置话务模型的操作，直接将原任务配置文件导入，对话务模型中的时间稍做修改后即可启动任务测试。业务类型和话务模型设置完毕后，测试人员可以通过用户界面管理单元启动任务测试，启动多个任务时，任务管理单元将按照测试人员设定的先后顺序或优先级控制多个任务自动执行，同时通过基本业务处理单元以及用户终端管理单元向任务中所有业务组下的用户终端成员发送AT指令，以控制相应用户终端按照话务模型发起业务。另外，测试人员还可以通过用户界面管理单元启动业务组测试，业务组管理单元通过基本业务处理单元以及用户终端管理单元向该业务组下的用户终端成员发送AT命令，以控制相应用户终端按照话务模型发起业务。测试期间，基本业务处理单元将所有用户终端的呼叫情况通过用户界面管理单元实时呈现给测试人员，便于测试人员掌握测试情况，同时，将测试数据反馈给KPI统计和报表管理单元，KPI统计和报表管理单元对测试数据进行统计分析，并对分析结果进行保存， 在任务结束后形成测试报告，测试人员可以通过用户界面管理单元进行查询或导出。
通过被测通信网络向用户终端返回的用于统计分析的测试数据可根据相关协议生成，一般被测通信网络的AT指令返回值主要包括0K、N0CARRIER、BUSY、CONNECT等；KPI 统计和报表管理单元可以根据接收的测试数据得到终端编号、业务类型、呼叫次数、成功次数、失败次数、掉话次数、呼叫成功率以及掉话率等信息。由上述可见，本发明实施例的测试网络性能参数的系统，自动拨打工具服务器获取与设置有兼容多种接口类型的用户终端接入接口的统一接口平台相连的多种用户终端的信息，选取支持被测通信网络的用户终端并分配统一接口平台端口号；自动拨打工具服务器针对通信控制模块选取的用户终端，形成封装有测试业务参数的AT指令，输出至统一接口平台；统一接口平台根据分配的统一接口平台端口号将AT指令输出至与该统一接口平台端口相连的用户终端以便各用户终端根据接收的AT指令通过被测通信网络进行拨打测试，接收用户终端返回的测试数据信息，输出至自动拨打工具服务器。同时，统一接口平台可以支持多种接口类型的用户终端接入，用户终端与被测通信网络直接进行网络性能测试，得到的测试数据可靠性高，适用于绝大多数支持测试通信网络的商用用户终端接入测试；进一步地，通过自动拨打工具服务器，可以为所有用户终端设置测试任务或业务参数， 并通过统一接口平台就可以控制大量用户终端进行长时间的自动化测试，为被测通信网络在系统集成阶段，尤其是在进行大容量压力和性能测试时，提供了一个适用于大量用户终端长时间进行自动化拨打测试的装置，使用该装置，能够实现对通信网络的大容量压力及性能测试，并通过系统集成阶段的网络压力和性能测试，可以更快更早的暴露和解决被测通信网络系统问题，更好地保证入网产品的版本质量；而且，测试网络性能参数的系统具有强大的测试功能和良好的可操作性，支持灵活的话务模型设置功能，例如，测试人员通过该测试网络性能参数的系统，可以按照测试用例灵活设置多个测试任务并设置任务的话务模型，并由该测试网络性能参数的系统控制设置的测试任务按照预先设置的先后顺利或者优先级自动执行，测试效率高；此外，测试网络性能参数的系统还具备自动话务分析功能，能够根据任务的执行结果自动生成测试报告，便于测试人员可以随时对测试报告进行查看并导出。图4为本发明实施例测试网络性能参数的方法流程示意图。参见图4，该流程包括步骤401，自动拨打工具服务器监测并获取与统一接口平台相连的各用户终端信息，获取支持被测通信网络的各用户终端；本步骤中，自动拨打工具服务器获取与统一接口平台相连的所有用户终端的相关信息，选取支持被测通信网络的用户终端并分配统一接口平台端口号，用户终端信息包括 用户终端标识信息、用户终端能力信息、用户终端信号强度信息及用户终端状态信息等，其中，用户终端状态信息包括用户终端掉电信息、关机信息、连接信息、断开信息等。统一接口平台设置有兼容多种接口类型的用户终端接入接口，通过兼容的用户终端接入接口接入多个或多种用户终端。步骤402，自动拨打工具服务器将控制用户终端进行测试的业务参数封装在AT指令中，输出至统一接口平台；本步骤中，自动拨打工具服务器根据接收的用户终端信息，设置测试任务以及业务组信息，将控制用户终端进行测试所需的业务参数封装在AT指令中，即自动拨打工具服务器支持话务模型设置功能，支持同时设置多个测试任务，形成封装有测试业务参数的AT 指令，输出至统一接口平台，按照预先设置好的测试话务模型控制用户终端发起各种业务。业务包括语音业务、视频业务以及数据业务。步骤403，统一接口平台将AT指令发送至相应的用户终端；步骤404，用户终端根据接收的AT指令中包含的业务参数，向被测通信网络发起网络性能测试；本步骤中，与统一接口平台相连的各用户终端，同时进行网络性能测试，从而实现对通信网络的大容量压力及性能测试，得到的测试数据信息可以真实反映被测通信系统在大容量压力下的性能。步骤405，用户终端接收被测通信网络返回的测试数据信息，通过统一接口平台输出至自动拨打工具服务器；本步骤中，将用户终端返回的测试结果反馈给自动拨打服务器工具以供分析；同时通过统一接口平台，屏蔽接入用户终端的接口形态，大量不同接口的终端接入自动拨打工具服务器。测试数据信息包括用户终端标识、信号强度、业务类型、测试状态、测试开始时间以及测试结束时间等。步骤406，自动拨打工具服务器接收测试数据信息，获取网络性能测试成功次数、 失败次数、掉话次数、呼叫成功率以及掉话率信息等网络性能参数。本步骤中，自动拨打工具服务器接收用户终端通过统一接口平台返回的测试数据信息，进行处理获取网络性能测试参数，并自动生成KPI统计报表和测试报告供测试人员查询。可以对测试数据信息进行业务分类或任务分类统计，从而获取在该业务或任务下的相关通信网络性能参数，分析，找出影响被测通信网络稳定性的因素，作为被测通信网络进行改进的参考。以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种测试网络性能参数的装置，其特征在于，该装置包括通信控制模块以及应用模块，其中，通信控制模块，用于对通过外部统一接口平台接入该装置的所有用户终端进行监控管理；通过与用户终端的交互获取所有用户终端的详细信息并上报给应用模块；同时根据接收到的应用模块设定的用户终端话务模型对AT指令进行封装，输出至指定的用户终端，控制用户终端按照话务模型进行测试，接收用户终端上报的测试结果，上报给应用模块进行处理；应用模块，用于为通信控制模块提供应用界面；支持话务模型设置功能，支持同时设置多个测试任务，并控制多个测试任务按照优先级或者测试人员指定的先后顺序自动执行； 同时接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数，并自动生成关键性能指标KPI统计报表和测试报告供测试人员查询。
2.如权利要求1所述的装置，其特征在于，所述通信控制模块包括用户终端管理单元以及基本业务处理单元，其中，用户终端管理单元，用于监测并获取与统一接口平台相连的所有用户终端信息，并对用户终端状态进行动态监测，输出至应用模块；基本业务处理单元，用于针对选取的用户终端，形成封装有测试业务参数的AT指令， 输出至统一接口平台；接收统一接口平台输出的测试数据信息，输出至应用模块。
3.如权利要求2所述的装置，其特征在于，所述基本业务处理单元进一步用于接收统一接口平台输出的所有用户终端信息，对用户终端所支持的业务进行分类。
4.如权利要求1所述的装置，其特征在于，所述应用模块包括业务组管理单元、任务管理单元、关键性能指标KPI统计和报表管理单元以及用户界面管理单元，其中，业务组管理单元，用于存储预先设置的业务组信息，并根据预先设置的业务组话务模型启动以及停止业务组；任务管理单元，用于存储预先设置的测试任务信息，并根据用户预先设置的任务话务模型启动以及停止测试任务；KPI统计和报表管理单元，用于接收来自基本业务处理单元的测试数据，对测试数据进行KPI统计、分析，获取网络性能测试参数并形成测试报告；用户界面管理单元，用于为业务组管理单元、任务管理单元以及KPI统计和报表管理单元提供图形化界面，接收输入指令，执行相应操作。
5.如权利要求1至4任一项所述的装置，其特征在于，所述统一接口平台设置有兼容多种接口类型的用户终端接入接口。
6.一种测试网络性能参数的系统，其特征在于，该系统包括自动拨打工具服务器、统一接口平台以及用户终端，其中，自动拨打工具服务器，用于对通过外部统一接口平台接入该装置的所有用户终端进行监控管理；通过与用户终端的交互获取并呈现所有用户终端的详细信息；同时对控制用户终端执行业务的AT指令进行封装，输出至指定的用户终端，控制用户终端按照预先一定的话务模型进行测试，同时接收用户终端上报的测试结果，并对测试结果进行分析处理；统一接口平台，用于屏蔽测试终端的接口，接收自动拨打工具服务器输出的AT指令， 发送给指定的用户终端，并接收用户终端返回的测试结果反馈给自动拨打工具服务器以供分析；同时统一接口平台支持平滑扩容；用户终端，用于根据接收的AT指令通过被测通信网络进行网络性能测试，并将测试数据信息，输出至统一接口平台。
7.如权利要求6所述的系统，其特征在于，所述用户终端接口形态包括通用串行总线接口、串接口以及无线接口中的一种或其任意组合。
8.如权利要求6所述的系统，其特征在于，所述统一接口平台进一步设置有兼容多种接口类型的用户终端接入接口。
9.如权利要求6所述的系统，其特征在于，所述统一接口平台支持自动供电功能，进一步用于通过兼容的用户终端接入接口向接入的用户终端供电。
10.如权利要求6至9任一项所述的系统，其特征在于，所述自动拨打工具服务器包括 通信控制模块以及应用模块，其中，通信控制模块，用于对通过外部统一接口平台接入该装置的所有用户终端进行监控管理；通过与用户终端的交互获取所有用户终端的详细信息并上报给应用模块；同时根据接收到的应用模块设定的用户终端话务模型对AT指令进行封装，输出至指定的用户终端，控制用户终端按照应用模块设定的话务模型进行测试，还接收用户终端上报的测试结果上报给应用模块进行处理；应用模块，用于为通信控制模块提供应用界面；支持话务模型设置功能，支持同时设置多个测试任务，并控制多个测试任务按照优先级或者测试人员指定的先后顺序自动执行； 同时接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数，并自动生成KPI统计报表和测试报告供测试人员查询。
11.如权利要求10所述的系统，其特征在于，所述应用模块包括业务组管理单元、任务管理单元、关键性能指标KPI统计和报表管理单元以及用户界面管理单元，其中，业务组管理单元，用于存储预先设置的业务组信息，并根据预先设置的业务组话务模型启动以及停止业务组；任务管理单元，用于存储预先设置的测试任务信息，并根据预先设置的任务话务模型启动以及停止测试任务；KPI统计和报表管理单元，用于接收来自基本业务处理单元的测试数据，对测试数据进行KPI统计、分析，获取网络性能测试参数并形成测试报告；用户界面管理单元，用于为业务组管理单元、任务管理单元以及KPI统计和报表管理单元提供图形化界面，接收输入指令，执行相应操作。
12.如权利要求11所述的系统，其特征在于，所述测试任务信息包括业务组信息、业务组话务模型信息及任务话务模型信息。
13.如权利要求12所述的系统，其特征在于，所述业务组话务模型信息包括业务组的开始时间、结束时间、保持时间、两次业务之间的间隔时间、每个终端发起呼叫的间隔时间信息；所述任务话务模型信息包括任务的开始时间、结束时间、业务组之间的间隔时间以及优先级信息。
14.如权利要求10所述的系统，其特征在于，所述通信控制模块包括用户终端管理单元以及基本业务处理单元，其中，用户终端管理单元，用于监测并获取与统一接口平台相连的所有用户终端信息，输出至应用模块，并对用户终端状态进行动态监测；基本业务处理单元，用于针对选取的用户终端，形成封装有业务测试参数的AT指令， 输出至统一接口平台；接收统一接口平台输出的测试数据信息，输出至应用模块。
15.一种测试网络性能参数的方法，其特征在于，该方法包括自动拨打工具服务器获取与统一接口平台相连的所有用户终端的相关信息，选取支持被测通信网络的用户终端并分配统一接口平台端口号；自动拨打工具服务器支持话务模型设置功能，支持同时设置多个测试任务，形成封装有测试业务参数的AT指令，输出至统一接口平台，按照预先设置好的测试话务模型控制用户终端发起各种业务；统一接口平台接收自动拨打服务器输出的AT指令，发送给指定的用户终端，并将用户终端返回的测试结果反馈给自动拨打服务器工具以供分析；同时通过统一接口平台，屏蔽接入用户终端的接口形态，大量不同接口的终端接入自动拨打工具服务器；用户终端根据接收的AT指令通过被测通信网络进行网络性能参数测试，并反馈测试结果；自动拨打工具服务器接收用户终端通过统一接口平台返回的测试数据信息，进行处理获取网络性能测试参数，并自动生成KPI统计报表和测试报告供测试人员查询。
16.如权利要求15所述的方法，其特征在于，所述用户终端通过通用串行总线接口、串接口或无线接口接入所述统一接口平台。
17.如权利要求15所述的方法，其特征在于，进一步包括在所述统一接口平台设置兼容多种接口类型的用户终端接入接口。
18.如权利要求15所述的方法，其特征在于，进一步包括通过所述统一接口平台兼容的用户终端接入接口向接入的用户终端供电。
19.如权利要求15至18任一项所述的方法，其特征在于，所述自动拨打工具服务器获取与统一接口平台相连的所有用户终端的相关信息，选取支持被测通信网络的用户终端并分配统一接口平台端口号；自动拨打工具服务器支持话务模型设置功能，支持同时设置多个测试任务，形成封装有测试业务参数的AT指令，输出至统一接口平台具体包括自动拨打工具服务器中的通信控制模块获取与外部设置有兼容多种接口类型的统一接口平台相连的多种用户终端的信息；根据获取的用户终端信息选取支持被测通信网络的用户终端并分配统一接口平台端口号，输出至自动拨打工具服务器中的应用模块；针对选取的用户终端，形成封装有测试业务参数的AT指令，输出至统一接口平台以使统一接口平台根据分配的统一接口平台端口号将AT指令输出至与该统一接口平台端口相连的用户终端；接收统一接口平台输出的测试数据信息，输出至应用模块；应用模块为通信控制模块提供应用界面；接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数。
20.如权利要求19所述的方法，其特征在于，所述通信控制模块提供应用界面；接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数具体包括应用模块中的业务组管理单元存储预先设置的业务组信息，并根据预先设置的业务组话务模型启动以及停止业务组；应用模块中的任务管理单元存储预先设置的测试任务信息，并根据预先设置的任务话务模型启动以及停止测试任务；应用模块中的KPI统计和报表管理单元接收来自外部基本业务处理单元的测试数据， 对测试数据进行KPI统计、分析，获取网络性能测试参数并形成测试报告；用户界面管理单元为业务组管理单元、任务管理单元以及KPI统计和报表管理单元提供图形化界面，接收输入指令，执行相应操作。
21.如权利要求20所述的方法，其特征在于，所述测试任务信息包括业务组信息、业务组话务模型信息及任务话务模型信息。
22.如权利要求21所述的方法，其特征在于，所述业务组话务模型信息包括业务组的开始时间、结束时间、保持时间、两次业务之间的间隔时间、每个终端发起呼叫的间隔时间信息；所述任务话务模型信息包括任务的开始时间、结束时间、业务组之间的间隔时间以及优先级信息。
23.如权利要求19所述的方法，其特征在于，所述通信控制模块提供应用界面；接收通信控制模块输出的测试数据信息，进行处理获取网络性能测试参数具体包括通信控制模块中的用户终端管理单元监测并获取与统一接口平台相连的多个用户终端信息，并对用户终端状态进行动态监测，输出至应用模块；通信控制模块中的基本业务处理单元针对选取的用户终端，形成封装有测试业务参数的AT指令，输出至统一接口平台；接收统一接口平台输出的测试数据信息，输出至应用模块。
24.如权利要求23所述的方法，其特征在于，进一步包括所述基本业务处理单元接收统一接口平台输出的多个用户终端信息，对用户终端所支持的业务进行分类，按照分类将用户终端信息输出至应用模块。
全文摘要
本发明公开了一种测试网络性能参数的装置、系统及方法。包括获取与统一接口平台相连的所有不同接口形态的用户终端的信息；支持灵活的话务模型设置功能，形成封装有测试业务参数的AT指令；输出至与该统一接口平台端口相连的用户终端，控制用户终端按照设置好的话务模型进行测试；终端根据接收的AT指令通过被测通信网络进行网络性能参数测试，并反馈测试数据信息；自动拨打服务器接收用户终端返回的测试数据信息，进行处理获取网络性能测试参数，自动生成KPI统计报表和测试报告。应用本发明，可以实现对通信网络的大容量压力及性能测试，提高测试数据的可靠性以及测试效率。
文档编号H04L12/26GK102487345SQ20101058129
公开日2012年6月6日 申请日期2010年12月6日 优先权日2010年12月6日
发明者李中天, 李丽, 米东 申请人:普天信息技术研究院有限公司