专利名称：测试系统、测试方法、管理域及操作域的制作方法
技术领域：
本发明涉及通信领域及测试领域，特别是涉及测试系统、测试方法、管理 域及操作域。
背景技术：
目前在移动通信领域，数据业务平台的测试主要采用通过与实际的相关网 元设备互连，人工执行常规业务流程来实现，同时，为了避免对现网业务的影 响，该类测试一般多在实验室环境进行。
当前的数据业务平台测试以实际业务网元配合为主。随着移动数据业务的 发展，业务平台的种类及复杂度都有了较大提高，以往的测试方式已经不能满 足现有测试的需要。
综上，现有技术不能适应数据业务平台的发展需要，而且测试任务中的测 试用例相对固定，不能根据测试需求灵活制定。
发明内容
本发明实施例才是供测试系统、测试方法、管理域及#:作域，以适应数据业 务平台的发展需要，使得可以根据测试需求灵活制定测试任务中的测试用例。
本发明实施例的一种测试系统，应用于数据业务平台的测试，包括管理
域，用于通过远程接口接收分配指令，并相应分配测试任务，以及通过局域网
将所述测试任务同步到操作域，并记录和管理操作域返回的测试结果；操作域， 用于通过远程接口接收测试指令，并执行和测试管理域同步来的相关任务，以 及通过局域网将测试结果同步到管理域。
本发明实施例的一种测试系统中的管理域，包括测试管理模块，用于通过远程接口接收分配指令，并相应分配测试任务，以及记录和管理测试结果；
操作域同步模块，用于通过局域网将所述测试任务同步到操作域，以及通过局 域网接收操作域同步来的测试结果。
本发明实施例的一种测试系统中的操作域，包括任务调度模块，用于调 度完成测试任务；测试用例緩存模块，由任务调度模块引导，用于在本地存储 测试任务中的测试用例，并提供调用接口；协议适配模块，由任务调度模块引 导，用于初始化相关协议栈，并提供通信协议调用接口；当测试用例激活后， 根据用例规定的流程与被测设备进行协议通信；数据解析模块，由任务调度模 块引导，用于采集与被测设备测的协议交互数据，并根据测试用例规定的流程 过滤并解析相应的数据流，对比解析结果与标准输出结果得出测试结果，并输 出；测试结果緩存模块，用于保存数据解析模块输出的测试结果，并关联相应 的测试用例；管理域同步模块，用于通过局域网将测试结果同步到管理域，以 及接收管理域同步来的测试任务。
本发明实施例的一种测试方法，应用于数据业务平台的测试，包括下列步 骤管理域通过远程接口接收分配指令，并相应分配测试任务；管理域通过局 域网将所述测试任务同步到操作域；操作域通过远程接口接收测试指令，并执 行和测试管理域同步来的相关任务；操作域通过局域网将测试结果同步到管理 域；管理域记录和管理测试结果。
本发明采用"域"概念，将操作和管理职能分离，通过操作域和管理域实现 两者的分治与统一，所以适应了数据业务平台的发展需要，使得可以根据测试 需求灵活制定测试任务中的测试用例，并且采用"域"概念，将操作和管理职能 分离，使得测试独立执行、全局控制和信息保存得以实现，避免数据泄漏和因 错误造成的数据丢失。
图1为本发明实施中的测试系统结构示意图；图2为本发明实施中的管理域结构示意图； 图3为本发明实施中的操作域结构示意图； 图4为本发明实施中的测试方法步骤流程图5为本发明实施中在管理域创建测试任务并分配给4乘作域的流程图； 图6为本发明实施中操作域对测试用例的执行流程图。
具体实施例方式
为了适应数据业务平台的发展需要，使得可以根据测试需求灵活制定测试 任务中的测试用例，本发明提供了一种测试系统， 一种测试系统中的管理域， 一种测试系统中的操作域，以及一种测试方法，其采用"域"概念，将操作和管 理职能分离，通过l喿作域和管理域实现两者的分治与统一。以下分别对本发明 的系统、管理域、操作域和方法逐一详述。
参见图l所示，本发明的测试系统中管理域与操作域作为核心内部组件。 管理域提供了面向移动管理人员的远程接口 (如Web接口 )，测试管理 员远程登录管理域后，可以发出分配指令来分配和管理测试任务，并且管理域 通过局域网与操作域连接，将测试任务同步到操作域，并记录和管理操作域返 回的测试结果。
操作域提供了面向厂家测试的远程接口 (如Web接口 )，测试工程师通 过远程登录操作域(如通过Internet)后，可以发出测试指令来执行和测试 管理域同步来的相关任务，并且操作域通过局域网与管理域连接，将测试结果 同步到管理域。
下面将分别介绍管理域与操作域中各模块的结构设计及功能实现。 管理域作为本发明的控制核心，从任务的建立到结束都起到管理监督职 能，每个内部模块都针对整个测试的各个细节提供相应的功能，其可以包括测 试管理模块和操作域同步模块，测试管理模块中具体包括测试任务管理子模块 和测试结果管理子模块；进一步，测试管理模块中还可包括下列子模块之一或任意组合测试问题管理子模块、测试数据管理子模块、测试日志管理子模块 和测试报告管理子模块；进一步，管理域中还可包括下列模块之一或任意组合 系统管理模块、用户管理模块、日志管理模块和管理域门户模块。
参见图2所示，以管理域包括上述所有模块和子模块为例。
其中，系统管理模块负责整个系统(管理域+操作域)的用户角色建立、 权利分配和连接设置；管理域的用户创建、用户角色分配。
其中，用户管理一莫块负责操作域的用户创建、用户角色分配；厂家信息 建立及维护，比如厂家参与测试的产品信息、软硬件信息以及更新信息等。
其中，日志管理模块负责这个系统的操作记录、错误记录等。
其中，管理域门户模块(移动Web门户)为移动人员提供的操作接口 ， 管理域所有功能的可执行界面和结果均通过web门户展现，比如管理员可在门 户上创建用户，分配测试等操:作。
其中，测试管理^^莫块该才莫块是管理域的核心才莫块，负责与具体测试相关 的所有功能，具体又分为以下6个子模块。
测试任务管理子模块负责具体测试任务的创建，包括测试用例的选择， 添加或修改，测试的周期等；同时提供通知功能，比如当测试进度超期或者测 试出现重大告警时，会通过短信或email方式通知相应测试任务的负责人。
测试结果管理子模块负责记录和管理单项测试任务中单个测试用例每一 次的执行结果，移动管理员可以查询到任何一条测试结果的详细记录。
测试问题管理子模块负责记录和管理测试过程中出现的所有问题，与测 试结果管理子模块配合调用，对于任何"未通过"的结果都将记录相应的测试现 象和测试问题定位。
测试数据管理子模块负责保存和管理每次执行测试用例的数据流，与测 试任务管理子模块、测试结果管理子模块联合调用，自动关联相应的测试用例 和执行情况。
测试日志管理子模块负责保存和管理操作域的使用记录，帮助移动管理员了解测试人员的使用情况。
测试报告管理子模块负责生成并管理测试报告(以测试任务为输出单 位)，提供测试报告的模块设计功能，可根据具体需求定义某一类测试任务的 标准测试才艮告形式，并以常用格式输出(比如txt、 doc、 xls等)；该子才莫块与 测试任务管理子模块联合调用，自动关联测试任务。
其中，操作域同步模块负责将管理域的操作命令和数据同步给操作域， 并接收来自操作域的测试结果。
操作域是本发明的执行核心，面向厂家测试工程师，负责测试具体细节及 执行环境，其可以包括任务调度模块、测试用例緩存模块、协议适配模块、数 据解析模块、测试结果緩存模块和管理域同步模块；进一步还可包括操作域门
户模块、参数配置模块、测试问题緩存模块和测试日志緩存模块。 参见图3所示，以操作域包括上述所有模块为例。
其中，操作域门户模块(厂家web门户模块)为厂家测试工程师提供的 操作接口，操作域所有功能的可执行界面和结果均通过web门户展现，比如厂 家工程师可在门户上执行设备参数配置，测试激活，测试结果查询等操作。
其中，任务调度模块操作域的核心模块，跟踪测试执行的全过程。负责 解析管理域同步的任务信息，调度测试用例緩存区同步相关测试用例、协议适 配模块初始化相应的协议栈等。
其中，测试用例緩存模块由任务调度模块引导，从管理域同步并在本地 存储相关的测试用例，为其他模块提供调用接口 。
其中，参数配置模块由任务调度模块引导，提供被测设备与测试平台连 接的参数设置接口，比如IP地址、连接密码、设备ID等。
其中，协议适配模块由任务调度模块引导，初始化相关协议栈(所述协 议栈包括寸旦不限于Webservers、 SMS—CMPP、 SMS—SMPP、 MMS—MM7、 Pushmail_cmpop、 AGPS_Ls )、关联测试用例緩存区，提供通信协议调用接口； 当测试用例激活(触发)后，根据用例规定的流程与被测设备进行协议通信。其中，数据解析模块由任务调度模块引导，关联测试用例緩存区；采集 被测设备与平台的协议交互数据，根据测试用例规定的流程过滤并解析相应的 消息流；对比解析结果与标准输出，判断协议交互的一致性和正确性；输出对 比结果至相关模块。
其中，测试结果緩存模块负责保存数据解析模块的对比结果，并关联相 应的测试用例和执行批次；对比结果异常时，同步结果给测试问题緩存模块。
其中，测试问题緩存模块根据同步的异常测试结果，查询定义的测试错 误集，匹配分析结果并记录。
其中，测试日志緩存模块负责记录测试的执行情况，如登录情况、用例 执行情况(执行覆盖率、成功率等)。
其中，管理域同步模块负责将测试执行中生成的所有数据和结果同步给 管理域，并接收来自管理域的同步数据。
本发明还提供了一种测试方法，参见图4所示，包括下列主要步骤
51、 管理域通过远程接口接收分配指令，并相应分配测试任务。
52、 管理域通过局域网将所述测试任务同步到操作域。
53、 操作域通过远程接口接收测试指令，并执行和测试管理域同步来的相 关任务。
54、 操作域通过局域网将测试结果同步到管理域。
55、 管理域记录和管理测试结果。
下面以MAS服务器测试为例，详细介绍测试的流程及各模块间的协同工 作关系。
参见图5所示，在管理域创建测试任务并分配给操作域，例如测试初期 首先由移动工程师在管理域创建测试任务并分配给相关参测厂家，具体步骤如 下
11:管理域创建厂家信息、参测产品信息，以及登录帐户； 移动工程师通过管理域门户模块登录管理域Web门户后，通过用户管理模块建立或更新厂家及其参测产品的信息，并可进行4交-险，以及分配一个登录帐 户(需要与测试厂家绑定)及其角色等。
12:管理域创建测试任务；
移动工程师可先通过测试问题管理子模块提取问题记录，并依据分析结果 向管理域中的测试任务管理子模块发出分配指令，所述分配指令包括测试任 务中的测试用例的选择指令，和/或添加指令，和/或修改指令，和/或测试周期 指令。测试任务管理子模块根据分配指令相应创建测试任务，制定测试用例和 测试周期，绑定登录帐户。比如，如果是软件补丁测试，系统会根据测试问题 记录自动加载需要的测试用例。
13:同步给操作域；
通过操作域同步模块将创建的测试任务，制定的测试用例，测试周期，以 及分配的操作域登录帐户信息同步到操作域。 14:操作域接收管理域同步来的信息；
厂家工程师通过操作域门户模块使用管理域分配的登录帐户登录操作域 Web门户，并通过管理域同步模块接收测试任务，以及测试用例緩存模块在本 地存储管理域同步来的测试任务中的测试用例。同时可以通过任务调度模块调 整测试用例的顺序，通过参数配置模块配置参测设备与测试平台的连接参数和 必要业务信息等，比如，MAS服务器测试需要厂家具体填写MAS设备的硬件 配置，核心业务软件版本，配置参测设备的ip地址、业务端口、 MASID、登 录密码、服务代码等必要信息。所有预设置正确完成后，厂家工程师可以通过 操作域提供的Web接口向操作域发出测试指令，以激活测试用例。
测试任务分配完成后，主要执行将由厂家工程师完成，在此期间，移动工 程师可以通过管理域随时了解测试进度及情况。如果测试需求有变化，也可以 在已分配的测试任务中增减测试用例并同步给:操作域。
参见图6所示，操作域对测试用例的执行，例如厂家工程师可以选择全 自动模式(自动执行测试任务中的所有测试用例，无需人为干预)和半自动模式(通过web门户人为触发单项测试用例或测试例组)，1"旦是对于每一次测试 用例的执行都有如下具体步骤 21:操作域完成协议栈配置；
测试用例激活后，如果需要配置特定参数，则任务调度模块将自动提示厂 家工程师否则继续，如果厂家工程师选择继续，则通过参数配置模块进行配置。 参数配置完毕后，协议适配模块初始化测试用例需要的协议栈，并根据测试用 例规定的交互流程自动发起业务请求或回应。
22:操作域采集分析交互的数据；
测试用例激活后，数据解析模块的采集功能开启直至一次测试用例执行结 束，并根据测试用例规定的交互流程过滤出相关交互信息，提取重要参数与标 准输出对比，检查参测设备协议交互的合法性和正确性，最终将结果提交测试 结果緩存模块。
23:操作域对测试结果进行处理；
测试结果缓存模块根据数据解析模块提交的比对结果，记录测试结果；对 于异常结果，进一步提交至测试问题緩存模块分析并记录测试问题；该步骤的 所有过程都被记录在测试日志緩存模块，包括每项测试用例的执行次数，成功 率，执行覆盖率等。
24:同步到管理域；
管理域同步模块将操作域生成的所有测试信息都同步给管理域，并由相关 模块处理，如果出现严重错误或测试进度拖延等情况，管理域的测试数据管理 子模块会自动触发通知给移动工程师(即项目负责人)。
当厂家工程师提交测试结束请求或任务时间到期，管理域的测试报告管理 子模块会根据定义好的报告模板自动生成测试报告，移动工程师可以选择以常 用格式(如txt、 doc、 xls等)下载到本地。
管理域的用户管理模块根据测试结果自动更新测试厂家的产品信息，同时 对参测的软件信息进行版本管理，为后期补丁测试或升级测试提供参考依据。综上所述，本发明实施例提供了远程访问接口，通过仿真业务网元功能与 被测平台实体实现业务交互，同时支持模拟各种非常规流程，采用自动或半自 动模式执行测试，全面解决了当前测试手段的低效性和局限性。通过本发明可
以得到以下有益效果
高扩展性由于平台采用模块化设计，支持协议栈的扩展，实现了根据业 务发展需要的可扩展能力。
高安全性采用"域隔离"机制，独立测试执行、全局控制和信息保存， 避免数据泄漏和因错误造成的数据丢失。
高智能性采用多模块关联方式，利用测试用例管理模块可以根据测试需 求或测试情况的变化，灵活制定或更新测试任务和测试策略。
高移动性由于平台采用分布式设计，B/S结构框架，摆脱了地域限制， 被测设备可以通过Internet接入平台参与测试，web门户为厂家工程师、移动 管理人员提供了即时处理的远程方式。
显然，本领域的4支术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种测试系统，应用于数据业务平台的测试，其特征在于，包括管理域，用于通过远程接口接收分配指令，并相应分配测试任务，以及通过局域网将所述测试任务同步到操作域，并记录和管理操作域返回的测试结果；操作域，用于通过远程接口接收测试指令，并执行和测试管理域同步来的相关任务，以及通过局域网将测试结果同步到管理域。
2、 如权利要求1所述的测试系统，其特征在于，所述管理域中包括 测试管理一莫块，用于通过远程接口接收分配指令，并相应分配测试任务，以及记录和管理操作域返回的测试结果；操作域同步模块，用于通过局域网将所述测试任务同步到操作域，以及通 过局域网接收操作域返回的测试结果。
3、 如权利要求2所述的测试系统，其特征在于，所述测试管理模块中包括测试任务管理子模块，用于根据所述分配指令，创建和分配测试任务； 测试结果管理子模块，用于记录和管理操作域同步来的单项测试任务中单 个测试用例每一次的测试结果。
4、 如权利要求3所述的测试系统，其特征在于，所述测试管理模块中还 包括下列子模块之一或任意组合测试问题管理子^t块，用于记录和管理测试过程中出现的问题信息，并与 测试结果管理子模块联合调用，记录不满足要求的测试结果；测试数据管理子模块，用于保存和管理每次执行测试用例的数据流，并与 测试任务管理子模块、测试结果管理子模块联合调用，自动关联相应的测试用 例和执行情况；测试日志管理子模块，用于保存和管理操作域的使用记录； 测试报告管理子模块，用于与测试任务管理子模块联合调用，自动关联测试任务，并生成和管理测试报告。
5、 如权利要求2所述的测试系统，其特征在于，所述管理域中还包括下列模块之一或任意组合系统管理模块，用于建立所述系统的用户角色、权限分配和连接设置；以 及创建管理域的用户和用户角色分配；用户管理^^块，用于创建操作域的用户和用户角色分配；以及建立和维护 被测设备信息；日志管理模块，用于保存所述系统的操作记录和/或错误记录； 管理域门户模块，用于为管理域用户提供操作接口和可执行界面，以及呈 现测试结果。
6、 如权利要求1所述的测试系统，其特征在于，所述操作域中包括 任务调度模块，用于调度完成测试任务；测试用例緩存模块，由任务调度^^莫块引导，用于在本地存储管理域同步来 的测试任务中的测试用例，并提供调用接口 ；协议适配模块，由任务调度模块引导，用于初始化相关协议栈，并提供通 信协议调用接口；当测试用例激活后，根据用例规定的流程与被测设备进行协 议通信；数据解析模块，由任务调度模块引导，用于采集所述系统与被测设备测的 协议交互数据，并根据测试用例规定的流程过滤并解析相应的数据流，对比解 析结果与标准输出结果得出测试结果，并输出；测试结果緩存模块，用于保存数据解析模块输出的测试结果，并关联相应 的测试用例；管理域同步模块，用于通过局域网将测试结果同步到管理域，以及接收管 理域同步来的测试任务。
7、 如权利要求6所述的测试系统，其特征在于，所述操作域中还包括下 列模块之一或任意组合操作域门户模块，用于为操作域用户提供操作接口和可执行界面；参数配置模块，由任务调度模块引导，用于提供设置所述系统与被测设备 之间连接参数的接口；测试问题緩存模块，用于接收测试结果緩存模块在测试结果异常时同步来 的测试结果，并相应查询定义的测试错误集，匹配分析结果并记录；测试日志緩存模块，用于记录测试的执行情况。
8、 如权利要求1所述的测试系统，其特征在于，所述远程接口为Web接口 。
9、 一种测试系统中的管理域，其特征在于，包;fe:测试管理4莫块，用于通过远程接口接收分配指令，并相应分配测试任务， 以及记录和管理测试结果；操作域同步模块，用于通过局域网将所述测试任务同步到操作域，以及通 过局域网接收才喿作域同步来的测试结果。
10、 如权利要求9所述的管理域，其特征在于，所述测试管理模块中包括 测试任务管理子模块，用于根据所述分配指令，创建和分配测试任务； 测试结果管理子模块，用于记录和管理操作域同步来的单项测试任务中单个测试用例每一次的测试结果。
11、 如权利要求10所述的管理域，其特征在于，所述测试管理模块中还 包括下列子^t块之一或任意组合测试问题管理子模块，用于记录和管理测试过程中出现的问题信息，并与 测试结果管理子才莫块联合调用，记录不满足要求的测试结果；测试数据管理子模块，用于保存和管理每次执行测试用例的数据流，并与 测试任务管理子模块、测试结果管理子模块联合调用，自动关联相应的测试用 例和执行情况；测试日志管理子模块，用于保存和管理操作域的使用记录； 测试报告管理子模块，用于与测试任务管理子模块联合调用，自动关联测试任务，并生成和管理测试"^艮告。
12、 如权利要求9所述的管理域，其特征在于，所述管理域中还包括下列 模块之一或任意组合系统管理模块，用于建立所述系统的用户角色、权限分配和连接设置；以 及创建管理域的用户和用户角色分配；用户管理模块，用于创建操作域的用户和用户角色分配；以及建立和维护 被测设备信息；曰志管理模块，用于保存所述系统的操作记录和/或错误记录； 管理域门户模块，用于为管理域用户提供操作接口和可执行界面，以及呈 现测试结果。
13、 一种测试系统中的操作域，其特征在于，包括 任务调度模块，用于调度完成测试任务；测试用例緩存模块，由任务调度模块引导，用于在本地存储测试任务中的 测试用例，并提供调用接口；协议适配模块，由任务调度模块引导，用于初始化相关协议栈，并提供通 信协议调用接口；当测试用例激活后，根据用例规定的流程与被测设备进行协 议通信；数据解析模块，由任务调度模块引导，用于采集与被测设备测的协议交互 数据，并根据测试用例规定的流程过滤并解析相应的数据流，对比解析结果与 标准输出结果得出测试结果，并输出；测试结果緩存模块，用于保存数据解析模块输出的测试结果，并关联相应 的测试用例；管理域同步才莫块，用于通过局域网将测试结果同步到管理域，以及接收管 理域同步来的测试任务。
14、 如权利要求13所述的操作域，其特征在于，所述操作域中还包括下 列模块之一或任意组合操作域门户模块，用于为操作域用户提供操作接口和可执行界面；参数配置模块，由任务调度模块引导，用于提供设置所述系统与被测设备 之间连接参数的接口；测试问题緩存模块，用于接收测试结果緩存模块在测试结果异常时同步来 的测试结果，并相应查询定义的测试错误集，匹配分析结果并记录；测试日志緩存模块，用于记录测试的执行情况。
15、 一种测试方法，应用于数据业务平台的测试，其特征在于，包括下列 步骤管理域通过远程接口接收分配指令，并相应分配测试任务； 管理域通过局域网将所述测试任务同步到操作域；操作域通过远程接口接收测试指令，并执行和测试管理域同步来的相关任务；操作域通过局域网将测试结果同步到管理域； 管理域记录和管理测试结果。
16、 如权利要求15所述的测试方法，其特征在于，所述管理域通过远程 接口收到分配指令之前还包括用户通过管理域提供的Web接口登录管理域；登录成功后，用户通过管理域提供的Web接口向管理域发出分配指令。
17、 如权利要求16所述的测试方法，其特征在于，所述分配指令包括 测试任务中的测试用例的选择指令，和/或添加指令，和/或修改指令，和/或测 试周期指令。
18、 如权利要求15所述的测试方法，其特征在于，所述操作域通过远程 接口收到测试指令之前还包括用户通过操作域提供的Web接口登录操作域；登录成功后，用户通过操作域提供的Web接口向操作域发出测试指令。
19、 如权利要求18所述的测试方法，其特征在于，所述测试指令包括修正被测设备信息的指令，和/或调整测试任务中测试用例顺序的指令，和/或 配置被测设备与系统之间连接参数的指令。
20、 如权利要求18所述的测试方法，其特征在于，随测试任务，管理域 将分配的操作域登录帐户信息同步到操作域，所述用户以该登录帐户信息登录 操作域。
21、 如权利要求15所述的测试方法，其特征在于，所述执行和测试相关 任务，具体包括测试任务中的测试用例被激活后，协议适配层初始化测试用例需要的协议 栈，并根据测试用例规定的交互流程与被测设备进行协议通信；以及数据解析层采集协议交互数据，并根据测试用例规定的流程过滤并解析相 应的数据流，对比解析结果与标准输出结果得出测试结果，并输出。
全文摘要
本发明公开了测试系统、测试方法、管理域及操作域，涉及通信领域及测试领域，以适应数据业务平台的发展需要，使得可以根据测试需求灵活制定测试任务中的测试用例。本发明的测试系统，应用于数据业务平台的测试，包括管理域，用于通过远程接口接收分配指令，并相应分配测试任务，以及通过局域网将所述测试任务同步到操作域，并记录和管理操作域返回的测试结果；操作域，用于通过远程接口接收测试指令，并执行和测试管理域同步来的相关任务，以及通过局域网将测试结果同步到管理域。
文档编号H04L12/26GK101471819SQ20071030475
公开日2009年7月1日 申请日期2007年12月29日 优先权日2007年12月29日
发明者王思源 申请人:中国移动通信集团公司