专利名称：一种基于网络堆叠系统的自动测试系统以及测试方法
技术领域：
本发明涉及网络堆叠系统领域，尤其涉及一种基于网络堆叠系统的自动测试系统以及测试方法。
背景技术：
随着数据通信技术的发展，宽带网络的持续增长，以太网交换机的堆叠技术成为目前以太网交换机扩展端口使用较多的技术，但是以太网的堆叠是一种非标准化技术。各个厂商之间不支持混合堆叠，堆叠模式也为各厂商制定，并且不支持拓扑结构。目前流行的堆叠模式主要有两种菊花链模式和星型模式。堆叠技术的最大的优点就是提供简化的本地管理，将一组交换机作为一个对象来管理。
由于堆叠交换设备是由一组单独的设备集合而成，对于系统测试而言，由原来的单台设备的测试到一组设备的集合测试，测试的复杂度以及工作量都是成几何级数增长的，堆叠系统工作的模式有原来分散控制到集中控制，设备间的同步以及相互协调成为设备能够稳定运行的关键所在，对于网络设备的系统测试来说，不但要求单台设备的功能要符合标准，协议要保持一致，并且要求堆叠后的设备同样符合要求，由于整个堆叠系统，各成员设备与主控设备，以及成员设备之间的协调工作应用到具体的测试用例当中将会是一个十分繁琐，并且需要考虑诸多因素的一个过程，在测试过程中，首先要保证单台成员设备在没有堆叠的情况下，不会存在功能，协议以及性能上的缺陷，只有在这个前提下，经过堆叠的设备才有可能在功能上不出现问题，所以一个完整的堆叠系统测试，应该包括对单台成员设备的全面功能测试，以及对整个经过堆叠后的系统进行的全面的功能测试两部分，由于一个堆叠系统需要多台设备进行，所以这样也为并行测试提供了条件，即在同一个测试系统的控制下，采用不同的测试用例同时分配到各个成员设备中，因此在测试当中，如何才能覆盖所有的测试功能点将会是不容易实现的一个步骤，这样极易导致设备在不同的堆叠规模和堆叠配置下的系统缺陷，给堆叠设备的可用性带来风险。
发明内容
本发明提供一种基于网络堆叠系统的自动测试系统以及测试方法，以解决在测试当中，如何才能覆盖所有的测试功能点的问题。
为了解决上述技术问题，本发明首先提供一种基于网络堆叠系统的自动测试系统，包括堆叠成员设备、测试用例库、日志管理模块、系统任务调度模块、系统任务执行模块、系统任务执行状态监控模块和系统任务控制模块，其中所述堆叠成员设备，与所述相连日志管理模块、系统任务执行模块和系统任务执行状态监控模块分别相连，是堆叠系统内单台成员设备，多台此设备组成堆叠系统；所述测试用例库，与所述系统任务调度模块相连，是测试用例的集合，通过增加或者删减所述测试用例来满足所需的测试要求；所述日志管理模块，与所述堆叠成员设备相连，用来记录系统运行的事件和状态，是整个系统的输出模块；所述系统任务调度模块，与所述系统任务控制模块、系统任务执行模块和测试用例库分别相连，用于对测试资源进行协调分配，测试用例进行管理，系统任务的派发；所述系统任务执行状态监控模块，与所述堆叠成员设备和系统任务控制模块分别相连，用于监控被测试设备任务的运行状况，定时向所述系统任务控制模块反馈各设备的运行状况；所述系统任务执行模块，与所述堆叠成员设备、系统任务调度模块和系统任务控制模块分别相连，用于根据系统任务调度模块的分配，进行测试用例执行，当测试任务执行失败时，接受所述系统任务控制模块的指令，清除任务失败设备的测试用例和相关的配置；
所述系统任务控制模块，与所述系统任务调度模块、系统任务执行状态监控模块和系统任务执行模块分别相连，用于对整个系统进行管理，协调上述模块的相互工作，也是整个系统的输入模块。
本发明所述系统，其中，所述系统任务调度模块，在对所述堆叠系统内单台成员设备测试时，用于进行测试用例的调度管理；在对所述堆叠系统测试时，还用于对测试资源进行协调分配。
本发明所述系统，其中，对于所述堆叠成员设备自动测试，所述系统引进同步机制，包括测试资源的独享，资源调度的合理，测试结果的传递性，测试用例批量分配的合理性，系统通知状态机，测试用例执行优先级。
进一步地，所述测试资源的独享，即在已有测试用例运行的情况下，系统不应该再下发新的测试任务；所述资源调度的合理，有限制的使用测试资源，即一个测试资源不能总被调度，而其他的测试资源总不能得到更多的调用；所述测试结果的传递性，即测试用例的交互性，当一个测试用例的输入依赖于另一个测试用例结果的输出，需要将测试用例进行合理的排队；所述测试用例批量分配的合理性，即有效的分配测试用例到指定的测试资源，相关的用例批量的分配，提高执行效率；所述系统通知状态机，用来通知测试用例的执行状态，检测测试用例的执行进度；所述测试用例执行优先级，系统可以设置测试用例的优先级，对于高优先级的测试用例，最先保证资源的分配与执行，并且支持资源的抢占式管理，即测试用例对测试资源进行竞争时，高优先级的测试用例先分配到测试资源。
本发明所述系统，其中，在所述测试系统内部，采用轮询的机制来保证测试资源得到充分的利用。
本发明所述系统，其中，所述测试系统设定一个时间片，来监控用例的执行，防止错误的发生。
本发明所述系统，其中，所述测试资源包括测试用例又包括测试设备。
本发明所述系统，其中，所述系统任务调度模块的调度策略是测试者在测试前期编辑测试用例时候预先设定的，或者是所述系统任务调度模块内置的根据测试设备的数目进行自动调整的策略。
本发明所述系统，其中，所述系统任务控制模块支持所述堆叠系统内单台成员设备和堆叠系统的工作模式切换。
本发明还提供一种基于网络堆叠系统的自动测试方法，对于堆叠系统中单独成员设备的测试，包括如下步骤(1)向测试系统输入所有成员设备的规模和拓扑结构，然后所述系统任务调度模块进行所述测试用例与测试资源的分配，并根据所述测试用例所需的条件向系统任务执行模块下发符合测试条件的不同的测试用例；(2)所述系统任务执行模块执行各个成员设备的测试用例；(3)在所述测试用例执行的过程中，系统任务执行状态监控模块轮询侦听各个成员设备的执行状态，当出现成员设备测试任务执行失败，则所述系统任务执行状态监控模块会向系统任务控制模块发送任务执行失败的消息，所述系统任务控制模块向出现执行状态异常的成员设备发送清除任务的操作，并且向系统任务调度模块重新申请测试用例，并将测试用例发送到已经清除成功的成员设备，继续执行新的测试用例；(4)当一个成员设备执行完测试任务后，系统任务状态监控模块会主动向系统任务控制模块发送资源释放的消息，此时，系统任务控制模块判断是否是最后一个测试用例，如果不是，则系统任务控制模块向系统任务调度模块申请新的测试用例并执行，直到所有测试用例执行完毕。
上述所述方法，其中，步骤(3)和(4)中，所述系统任务控制模块控制所述成员设备将测试用例的执行结果发送到日志管理模块中。
上述所述方法，其中，步骤(1)中，通过系统任务控制模块输入所述配置信息。
上述所述方法，其中，步骤(1)中，在所述系统任务调度模块进行所述测试用例与测试资源的分配前，所述系统任务调度模块根据所述成员设备的规模进行测试用例的筛选。
本发明还提供一种基于网络堆叠系统的自动测试方法，对于堆叠系统的测试，包括如下步骤(a)向测试系统输入整个堆叠系统的规模，以及拓扑结构，然后所述系统任务控制模块指定一台设备为整个系统的主设备；(b)所述系统任务控制模块向系统任务调度模块发送测试资源分配的指令，系统任务调度模块检索测试用例库，选择与系统资源符合的测试用例，并锁死该测试用例，所述系统任务调度模块向筛选的所述单个测试用例进行测试资源的调度分配；(c)对所述单个测试用例，当该测试用例在主设备内部运行成功后，将通过系统任务状态监控模块向系统任务控制模块发送运行成功的消息，此时系统任务控制模块向系统任务调度模块申请新的测试资源，系统任务调度模块根据资源使用状况将成员设备之间的资源占用，并发送同一个测试用例进行测试，以此类推，直到将该测试用例在主设备内部，成员设备与主设备之间以及成员设备之间均执行一遍；(d)此时系统任务控制模块通知系统任务调度模块释放所有的测试资源和该测试用例，并在测试用例库中检索下一用例，直到所有测试用例在所有测试资源上执行完毕。
上述所述方法，其中，步骤(c)和(d)中，所述系统任务控制模块控制所述成员设备将测试用例的执行结果发送到日志管理模块中。
上述所述方法，其中，步骤(a)中，通过系统任务控制模块输入所述配置信息。
上述所述方法，其中，步骤(a)中，所述系统任务控制模块指定一台设备为整个系统的主设备包括系统任务控制模块根据堆叠系统自动分配被测试设备的序列号，系统指定一台设备为主设备，并且向该设备发送主设备的相关配置，待整个堆叠系统稳定后，该成员设备为整个系统的主设备。
本发明所述方案对单台成员设备以及整个堆叠系统能够实现重复并且同时运行测试用例，提高测试的效率，覆盖测试的全面性。
图1为本发明实施例系统框架结构示意图；图2为本发明实施例对于堆叠系统中单独成员设备的测试流程图；
图3为本发明实施例对于堆叠系统的测试流程图。
具体实施例方式
以下结合附图和具体实施方式
对本发明的技术方案进行详细描述。
如图1所示，本发明实施例系统框架结构示意图，包括堆叠成员设备、测试用例库、日志管理模块、系统任务调度模块、系统任务执行模块、系统任务执行状态监控模块和系统任务控制模块，其中所述堆叠成员设备，与所述相连日志管理模块、系统任务执行模块和系统任务执行状态监控模块分别相连，是堆叠系统内单台成员设备，多台此设备组成堆叠系统；所述测试用例库，与所述系统任务调度模块相连，是测试用例的集合，通过增加或者删减所述测试用例来满足所需的测试要求；所述日志管理模块，与所述堆叠成员设备相连，用来记录系统运行的事件和状态，是整个系统的输出模块；所述系统任务调度模块，与所述系统任务控制模块、系统任务执行模块和测试用例库分别相连，用于对测试资源进行协调分配，测试用例进行管理，系统任务的派发；所述系统任务执行状态监控模块，与所述堆叠成员设备和系统任务控制模块分别相连，用于监控被测试设备任务的运行状况，定时向所述系统任务控制模块反馈各设备的运行状况；所述系统任务执行模块，与所述堆叠成员设备、系统任务调度模块和系统任务控制模块分别相连，用于根据系统任务调度模块的分配，进行测试用例执行，当测试任务执行失败时，接受所述系统任务控制模块的指令，清除任务失败设备的测试用例和相关的配置；所述系统任务控制模块，与所述系统任务调度模块、系统任务执行状态监控模块和系统任务执行模块分别相连，用于对整个系统进行管理，协调上述模块的相互工作，也是整个系统的输入模块。
对于本发明的自动化测试，系统首先需要引进同步机制，包括
1)测试资源的独享，即在已有测试用例运行的情况下，系统不应该再下发新的测试任务；2)资源调度的合理，有限制的使用测试资源，即一个测试资源不能总被调度，而其他的测试资源总不能得到更多的调用；3)测试结果的传递性，即测试用例的交互性，当一个测试用例的输入依赖于另一个测试用例结果的输出，需要将测试用例进行合理的排队；4)测试用例批量分配的合理性，即有效的分配测试用例到指定的测试资源，相关的用例批量的分配，提高执行效率；5)系统通知状态机，用来通知测试用例的执行状态，检测测试用例的执行进度；6)测试用例执行优先级，系统可以设置测试用例的优先级，对于高优先级的测试用例，最先保证资源的分配与执行，并且支持资源的抢占式管理，即测试用例对测试资源进行竞争时，高优先级的测试用例先分配到测试资源。
此外，在测试系统内部，采用轮询的机制来保证测试资源能够得到充分的利用，有些测试用例在运行的过程中可能会出现没有响应或者死循环的情况，这时需要系统设定一个时间片，来监控用例的执行，防止错误的发生。
如图2所示，本发明实施例对于堆叠系统中单独成员设备的测试流程，包括如下步骤步骤201，在堆叠系统没有形成前，可以认为堆叠设备的各成员设备是独立的个体，首先，向测试系统输入所有成员设备的规模和拓扑结构，一般通过系统任务控制模块输入相关的配置信息；步骤202，系统任务调度模块根据所述成员设备的规模进行测试用例的筛选；步骤203，所述系统任务调度模块进行所述测试用例与测试资源的分配；步骤204，由于在形成堆叠系统前，各个成员设备的地位是对等的，各个成员设备是相同并且独立的个体，所以系统任务调度模块根据所述测试用例所需的条件向系统任务执行模块下发符合测试条件的不同的测试用例；步骤205，所述系统任务执行模块执行各个成员设备的测试用例(1～N)；步骤206，在所述测试用例执行的过程中，系统任务执行状态监控模块轮询侦听各个成员设备的执行状态，并把结果反馈给系统任务控制模块，判断是否执行完成；如果没有完成，即出现成员设备测试任务执行失败时，所述系统任务控制模块向出现执行状态异常的成员设备发送清除任务的操作，并且向系统任务调度模块重新申请测试用例，同时所述系统任务控制模块控制所述成员设备将测试失败的结果记录发送到日志管理模块中，转步骤203；如果执行完成，则转步骤207；步骤207，当一个成员设备执行完测试任务后，系统任务状态监控模块会主动向系统任务控制模块发送资源释放的消息；步骤208，系统任务控制模块判断是否是最后一个测试用例；如果不是，则系统任务控制模块向系统任务调度模块申请新的测试用例并且同时所述系统任务控制模块控制所述成员设备向日志管理模块发送执行结果，转步骤203；如果是，则转步骤209；步骤209，所有测试用例执行完毕，测试结束。
如图3所示，本发明实施例对于堆叠系统的测试流程，包括如下步骤步骤301，向测试系统输入整个堆叠系统的规模，以及拓扑结构，一般通过系统任务控制模块输入相关的配置信息；步骤302，系统任务控制模块根据堆叠系统自动分配被测试设备的序列号，系统指定一台设备为主设备，并且向该设备发送主设备的相关配置，待整个堆叠系统稳定后，该成员设备为整个系统的主设备；步骤303，所述系统任务控制模块向系统任务调度模块发送测试资源分配的指令，系统任务调度模块检索测试用例库，选择与系统资源符合的测试用例，并锁死该测试用例；步骤304，所述系统任务调度模块向筛选的所述单个测试用例进行测试资源的调度分配，即将测试用例完全分布在不同的设备之上，将主设备与成员设备之间，各成员设备与成员设备之间以及成员设备内部三种情况全部覆盖，已保证测试的全面性；步骤305，对所述单个测试用例，当该测试用例在主设备内部运行成功后，将通过系统任务状态监控模块向系统任务控制模块发送运行成功的消息，同时所述系统任务控制模块控制所述成员设备把运行成功的消息发送到日志管理模块中，此时系统任务控制模块向系统任务调度模块申请新的测试资源，系统任务调度模块根据资源使用状况将成员设备之间的资源占用，并发送同一个测试用例进行测试，以此类推，然后判断是否在主设备与成员设备之间，各成员设备与成员设备之间以及成员设备内部均执行完，如果执行完，则转步骤306；如果没有执行完，则转步骤303；步骤306，此时系统任务控制模块通知系统任务调度模块释放所有的测试资源和该测试用例，判断是否所有测试用例在所有测试资源上执行完毕；如果是，则转步骤307；如果否，则转步骤303；步骤307，测试结束。
无论是基于整个堆叠系统的测试还是堆叠系统内单台成员设备的测试，系统任务调度模块对于测试资源的调度都是十分关键的，这里所指的资源是宏观的资源，既包括测试用例又包括测试设备两个方面，协调好这两方面的资源可以大大提高自动化测试执行的效率。测试任务的调度策略可以是测试者在测试前期编辑测试用例时候预先设定，即用户可以随意编排测试用例的执行顺序，以及测试用例的选择，也可以是系统任务调度模块内置的根据测试设备的数目进行自动调整的策略。
系统任务控制模块支持堆叠系统内单台成员设备和堆叠系统的工作模式切换，测试者既可以选择系统只工作于堆叠系统内单台成员设备测试模式，也可以只选择系统工作在堆叠系统模式，还可以选择两种模式都支持，当堆叠系统内单台成员设备模式测试完成后，系统自动切换到堆叠系统模式。
本发明所述方案，并不仅仅限于说明书和实施方式中所列运用。对本发明技术所属领域的普通技术人员来说，可根据本发明作出各种相应的改变和变形，而所有这些相应的改变和变形都属于本发明权利要求的保护范围。
权利要求
1.一种基于网络堆叠系统的自动测试系统，其特征在于，包括堆叠成员设备、测试用例库、日志管理模块、系统任务调度模块、系统任务执行模块、系统任务执行状态监控模块和系统任务控制模块，其中所述堆叠成员设备，与所述相连日志管理模块、系统任务执行模块和系统任务执行状态监控模块分别相连，是堆叠系统内单台成员设备，多台此设备组成堆叠系统；所述测试用例库，与所述系统任务调度模块相连，是测试用例的集合，通过增加或者删减所述测试用例来满足所需的测试要求；所述日志管理模块，与所述堆叠成员设备相连，用来记录系统运行的事件和状态，是整个系统的输出模块；所述系统任务调度模块，与所述系统任务控制模块、系统任务执行模块和测试用例库分别相连，用于对测试资源进行协调分配，测试用例进行管理，系统任务的派发；所述系统任务执行状态监控模块，与所述堆叠成员设备和系统任务控制模块分别相连，用于监控被测试设备任务的运行状况，定时向所述系统任务控制模块反馈各设备的运行状况；所述系统任务执行模块，与所述堆叠成员设备、系统任务调度模块和系统任务控制模块分别相连，用于根据系统任务调度模块的分配，进行测试用例执行，当测试任务执行失败时，接受所述系统任务控制模块的指令，清除任务失败设备的测试用例和相关的配置；所述系统任务控制模块，与所述系统任务调度模块、系统任务执行状态监控模块和系统任务执行模块分别相连，用于对整个系统进行管理，协调上述模块的相互工作，也是整个系统的输入模块。
2.如权利要求1所述系统，其特征在于，所述系统任务调度模块，在对所述堆叠系统内单台成员设备测试时，用于进行测试用例的调度管理；在对所述堆叠系统测试时，还用于对测试资源进行协调分配。
3.如权利要求1所述系统，其特征在于，对于所述堆叠成员设备自动测试，所述系统引进同步机制，包括测试资源的独享，资源调度的合理，测试结果的传递性，测试用例批量分配的合理性，系统通知状态机，测试用例执行优先级。
4.如权利要求3所述系统，其特征在于，所述测试资源的独享，即在已有测试用例运行的情况下，系统不应该再下发新的测试任务；所述资源调度的合理，有限制的使用测试资源，即一个测试资源不能总被调度，而其他的测试资源总不能得到更多的调用；所述测试结果的传递性，即测试用例的交互性，当一个测试用例的输入依赖于另一个测试用例结果的输出，需要将测试用例进行合理的排队；所述测试用例批量分配的合理性，即有效的分配测试用例到指定的测试资源，相关的用例批量的分配，提高执行效率；所述系统通知状态机，用来通知测试用例的执行状态，检测测试用例的执行进度；所述测试用例执行优先级，系统可以设置测试用例的优先级，对于高优先级的测试用例，最先保证资源的分配与执行，并且支持资源的抢占式管理，即测试用例对测试资源进行竞争时，高优先级的测试用例先分配到测试资源。
5.如权利要求1所述系统，其特征在于，在所述测试系统内部，采用轮询的机制来保证测试资源得到充分的利用。
6.如权利要求1所述系统，其特征在于，所述测试系统设定一个时间片，来监控用例的执行，防止错误的发生。
7.如权利要求1所述系统，其特征在于，所述测试资源包括测试用例又包括测试设备。
8.如权利要求1所述系统，其特征在于，所述系统任务调度模块的调度策略是测试者在测试前期编辑测试用例时候预先设定的，或者是所述系统任务调度模块内置的根据测试设备的数目进行自动调整的策略。
9.如权利要求1所述系统，其特征在于，所述系统任务控制模块支持所述堆叠系统内单台成员设备和堆叠系统的工作模式切换。
10.一种基于网络堆叠系统的自动测试方法，其特征在于，对于堆叠系统中单独成员设备的测试，包括如下步骤(1)向测试系统输入所有成员设备的规模和拓扑结构，然后所述系统任务调度模块进行所述测试用例与测试资源的分配，并根据所述测试用例所需的条件向系统任务执行模块下发符合测试条件的不同的测试用例；(2)所述系统任务执行模块执行各个成员设备的测试用例；(3)在所述测试用例执行的过程中，系统任务执行状态监控模块轮询侦听各个成员设备的执行状态，当出现成员设备测试任务执行失败，则所述系统任务执行状态监控模块会向系统任务控制模块发送任务执行失败的消息，所述系统任务控制模块向出现执行状态异常的成员设备发送清除任务的操作，并且向系统任务调度模块重新申请测试用例，并将测试用例发送到已经清除成功的成员设备，继续执行新的测试用例；(4)当一个成员设备执行完测试任务后，系统任务状态监控模块会主动向系统任务控制模块发送资源释放的消息，此时，系统任务控制模块判断是否是最后一个测试用例，如果不是，则系统任务控制模块向系统任务调度模块申请新的测试用例并执行，直到所有测试用例执行完毕。
11.如权利要求10所述方法，其特征在于，步骤(3)和(4)中，所述系统任务控制模块控制所述成员设备将测试用例的执行结果发送到日志管理模块中。
12.如权利要求10所述方法，其特征在于，步骤(1)中，通过系统任务控制模块输入所述配置信息。
13.如权利要求10所述方法，其特征在于，步骤(1)中，在所述系统任务调度模块进行所述测试用例与测试资源的分配前，所述系统任务调度模块根据所述成员设备的规模进行测试用例的筛选。
14.一种基于网络堆叠系统的自动测试方法，其特征在于，对于堆叠系统的测试，包括如下步骤(a)向测试系统输入整个堆叠系统的规模，以及拓扑结构，然后所述系统任务控制模块指定一台设备为整个系统的主设备；(b)所述系统任务控制模块向系统任务调度模块发送测试资源分配的指令，系统任务调度模块检索测试用例库，选择与系统资源符合的测试用例，并锁死该测试用例，所述系统任务调度模块向筛选的所述单个测试用例进行测试资源的调度分配；(c)对所述单个测试用例，当该测试用例在主设备内部运行成功后，将通过系统任务状态监控模块向系统任务控制模块发送运行成功的消息，此时系统任务控制模块向系统任务调度模块申请新的测试资源，系统任务调度模块根据资源使用状况将成员设备之间的资源占用，并发送同一个测试用例进行测试，以此类推，直到将该测试用例在主设备内部，成员设备与主设备之间以及成员设备之间均执行一遍；(d)此时系统任务控制模块通知系统任务调度模块释放所有的测试资源和该测试用例，并在测试用例库中检索下一用例，直到所有测试用例在所有测试资源上执行完毕。
15.如权利要求14所述方法，其特征在于，步骤(c)和(d)中，所述系统任务控制模块控制所述成员设备将测试用例的执行结果发送到日志管理模块中。
16.如权利要求14所述方法，其特征在于，步骤(a)中，通过系统任务控制模块输入所述配置信息。
17.如权利要求14所述方法，其特征在于，步骤(a)中，所述系统任务控制模块指定一台设备为整个系统的主设备包括系统任务控制模块根据堆叠系统自动分配被测试设备的序列号，系统指定一台设备为主设备，并且向该设备发送主设备的相关配置，待整个堆叠系统稳定后，该成员设备为整个系统的主设备。
全文摘要
本发明公开了一种基于网络堆叠系统的自动测试系统，包括堆叠成员设备、测试用例库、日志管理模块、系统任务调度模块、系统任务执行模块、系统任务执行状态监控模块和系统任务控制模块。本发明还公开了一种基于网络堆叠系统的自动测试方法，应用于堆叠系统中单独成员设备的测试。本发还公开了一种基于网络堆叠系统的自动测试方法，应用于堆叠系统的测试。本发明所述方案对单台成员设备以及整个堆叠系统能够实现重复并且同时运行测试用例，提高测试的效率，覆盖测试的全面性。
文档编号H04L12/56GK101094120SQ20071012298
公开日2007年12月26日 申请日期2007年7月4日 优先权日2007年7月4日
发明者李新双 申请人:中兴通讯股份有限公司