专利名称：自动接口测试框架的制作方法
技术领域：
本发明涉及客户端和服务器软件之间接口的验证，并且更特别地涉及开发期间NMS/EMS接口的测试。
背景技术：
在验证客户端/服务器系统中，例如NMS/EMS系统，所发现问题的隔离可能是困难的。在客户端软件、服务器软件、它们之间的接口或客户端、服务器和接口的一些组合中是否出现问题可能是完全不清楚的。在诸如Alcatel5620TM(NMS)和Alcatel AWSTM(EMS)系统之类的复杂系统中这尤其是事实。5620/AWS系统的大多数特性测试和自动测试的特性是处于系统级的。该系统应当在能够使用自动特性级别测试前结合所有的特性。
NMS和EMS之间的接口是明确定义的。当添加新特性时，接口被更新，因为NMS开发团队规定在NMS和EMS之间所需的新的交互来支持该特性。然而，在开发周期的末期和在特性测试期间，如果复杂的行为出现故障，那么将很难了解问题的出现是由于在客户端侧或在服务器侧的错误逻辑或是由于无效的接口规范。
自动测试的一种通用方法是记录一组与系统的交互，然后使用所记录的数据以再次重复测试并基于记录的数据验证响应。尽管简单，这种方法仍具有缺点。如果系统行为变了，例如通过添加新的特性，将没有记录的数据用来比较新的测试结果。只有一旦完全实施特性才能为方案捕获数据以用于测试该方案。这还需要在行的人来人工地验证用于新特性的捕获的数据。
另一种方法是功能分解。识别该系统的关键功能性方面并且编写脚本以激活那些区域。写入测试用具(test harness)，其通过调用接口的API执行一组操作。该测试用具必须功能可以返回的所有数据值进行编码，并比较所接收的响应与编码的数据组。然而，创建这样的测试用具需要大量的工作，并且该测试用具还将与操作EMS系统的环境紧密耦合。例如，如果使用CORBA作为接口，EMS和测试用具必须使用相同的ORB提供者，并且如果EMS使用任何特殊的定制或特定ORB的非标准特性，那么在能够执行测试用具前需要解决这些问题。
直接只独立地使用客户端或服务器的测试接口的简单方法将允许在系统开发周期中尽早地检测出带接口的问题。这样的方法还应当仅仅需要在测试环境和EMS之间的松散耦合，诸如在运行时间不与EMS环境链接。一旦知道接口工作正确，系统级测试即可集中在客户端或服务器中的逻辑上。这样随后将缩短软件开发周期。
发明内容
根据本发明的一个方面，提供一种用于测试网元管理系统(EMS)的NMS-EMS接口的方法。对于至少一个参数中的每一个，存储相关的规则表示，该规则表示是该参数的至少一个有效值。提示EMS以每个参数的实际值作为响应。比较每个参数的实际值与相关的规则表示。给出这个比较的结果。
根据本发明的另一个方面，提供了一种用于测试EMS的NMS-EMS接口的测试工具。该测试工具包括用户接口。该测试工具包括从EMS接收消息的装置，该消息包括参数的实际值。该测试工具包括比较参数实际值和定义参数的至少一个有效值的规则表示的装置。该测试工具包括通过用户接口给出比较结果的装置。
根据本发明的另一方面，提供一种用于测试EMS的NMS-EMS接口的系统。该系统包括EMS、测试工具和至少一个模式文件，每个模式文件包括有效参数值的至少一个规则表示。该测试工具包括用户接口、用于从EMS接收至少一个实际参数值的装置、用于读取至少一个模式文件的装置、用于比较至少一个实际参数值与有效参数值的至少一个规则表示之一的装置、以及用于给出这个比较结果的装置。
提供了一种用于实现本发明方法的设备。该方法可以作为指令被存储于计算机可读介质上。
本发明的方法和装置允许对于EMS接口的简单测试而无需EMS和NMS两者的完全开发。使用文本文件和规则表示以存储有效参数值，这使得测试环境从EMS环境中分离，并且测试设计者无需担心用于接口的特定技术。这随后允许容易地为新参数指定有效参数。新参数和它们相关的有效值可以容易地被添加到一个或多个模式文件中。现有参数的有效值可以例如通过向一列值添加值被容易地改变。
参照附图，根据下述优选实施例的详细描述，本发明的特性和优点将变得更清晰，其中图1为根据本发明的一个实施例的本发明的自动测试框架的组件图；以及图2为示例性模式文件图。
应当注意，在附图中，类似的特性具有类似的标记。
具体实施例方式
参照图1，示出根据本发明一个实施例的自动测试框架的组件图。网元管理系统(EMS)10包括代理12，其接口将被测试。代理12是标准的EMS代理，能够经DR信道16发送数据重载(DR)消息到网络管理系统(NMS)、经DS信道18发送数据同步(DS)消息到NMS、以及经DB_Notif信道20从NMS接收DB_Notif消息。EMS10与网络单元21进行通信。网络单元21可以是在用的网络单元或仿真网络单元。EMS10利用诸如SNMP之类的网络管理协议在单元管理层管理网络单元21。
测试工具22提供用于测试接口的测试逻辑。测试工具22能够从代理12接收DR消息和DS消息，并且向代理12发送DB_Notif消息。测试工具22包括用户接口24，通过该用户接口用户可以从测试工具22接收测试结果并向测试工具22提供指令。测试工具22的逻辑优选地采用软件指令的形式，所述软件指令可以被存储于计算机可读存储介质上。可选地，测试工具22可以为硬件的形式，诸如处理器或集成电路，或为软件和硬件的任意组合。
测试工具22有权访问并能够读取至少一个模式文件26。每个模式文件26被存储于由测试工具22可访问的存储器中，或者在计算机可读存储介质上。每个模式文件26包括至少一个参数的列表和规则表示的列表，每个参数具有相关的规则表示。每个规则表示是给出相关参数的至少一个允许值的格式化文本串。参考附图2，该图示出示例性模式文件。在该示例性模式文件中，通过以字符“#”开头的行来指示注解。模式文件列出若干参数，每个在独立的行中。每行包括项“PID”(参数标识)、参数的标识号、参数名、等号、以及与参数相关的规则表示。规则表示的一些例子是“3|5|6|7|8|9|13”，指示一系列可能的有效值；“.*”，指示文本串；“1”，指示唯一的值；以及，“1..40”，指示允许值的范围。项“RANGE”(范围)位于用于PID1271的等号之前以指示规则表示指示允许值的范围。只要每个列出的参数能与定义该参数的有效值的规则表示相相关，还可以采用模式文件的其他格式。任何参数及它相关的规则表示可以位于一个以上模式文件26中。
测试工具22有权访问至少一个触发文件28。每个触发文件28被存储于由测试工具22可以访问的存储器中，或者存储在计算机可读存储介质上。每个触发文件28具有与由网络管理系统(NMS)生成的DB_Notif消息类似的结构和格式。
测试工具22有权访问测试实例文件30，其可以由测试工具22从存储器或者从计算机可读存储介质中读取。测试实例文件30优选地是由用户创建的纯文本文件。测试实例文件30包括至少一个测试实例。每个测试实例包括该测试实例的名称、所需的设备配置、正被测试的信道的类型(DS或DR)以及模式文件26的名称。如果在测试实例中正被测试信道的类型为DS信道18，那么测试实例包括触发文件28的名称。如果在测试实例中正被测试信道的类型为DR信道16，那么测试实例包括由用户人工执行的一组至少一个动作。
在操作中，测试工具22建立与EMS10的DS、DR和DB_Notif会话。测试工具22访问并读取测试实例文件30。然后测试工具22为测试实例文件30中的每个测试实例执行测试。对于每个测试实例，测试工具22向用户示出所需的设备配置以便用户可以验证对于该测试实例配置EMS是适当的。如果正被测试信道的类型为DS信道18，那么测试工具22取回在测试实例中被指定的触发文件28并将触发文件28的内容作为至少一个DB_Notif消息传输到代理12。EMS执行由至少一个DB_Notif消息指定的动作，所述消息可以包括改变或询问在网络单元上一个或多个对象的值。在执行由至少一个DB_Notif消息指定的动作之后，EMS生成至少一个DS消息并经DS信道18发送该至少一个DS消息回到测试工具22。测试工具22接收该至少一个DS消息，并从该至少一个DS消息中提取出实际参数值。对于每个实际参数值，测试工具22比较该实际参数值与位于测试实例指定的模式文件中的相应规则表示。测试工具22通过用户接口24向用户给出比较的结果。测试工具22还生成或更新一个或多个日志文件32。如果测试实例失败，可以检查日志文件或日志文件32来确定对于上述失败的确切原因。这可以帮助用户报告问题和随后纠正问题。
如果正被测试信道的类型为DR信道16，那么测试工具22通知用户在EMS10上将要由用户执行或仿真的至少一个动作。例如，可以要求用户添加新的网络单元和通过EMS开始网络单元的监督。响应于所述至少一个动作，EMS10生成至少一个DR消息并传输该至少一个DR消息到测试工具22。测试工具22接收该至少一个DR消息，并从该至少一个DR消息中提取出实际参数值。对于每个实际参数值，测试工具22比较该实际参数值与位于在测试实例指定的模式文件中的相应规则表示，以确定该实际参数值是否为有效值。测试工具22通过用户接口24向用户给出比较的结果。
所给出的实施例仅仅是示例性的，本领域技术人员应当理解，在不会脱离本发明的精神的前提下，可以对上面所描述实施例作出各种变体。本发明的范围仅由附加的权利要求定义。
权利要求
1.一种用于测试网元管理系统(EMS)的网络管理系统-网元管理系统接口的方法，包括对于至少一个参数中的每一个，存储该参数的至少一个有效值的相关规则表示；提示所述网元管理系统以每个参数的实际值作为响应；以所述每个参数的实际值作为响应；比较所述每个参数的实际值与所述相关规则表示；以及给出所述每个参数的实际值与所述相关规则表示的比较结果。
2.根据权利要求1的方法，其中存储相关规则表示包括在纯文本文件中存储所述相关规则表示。
3.根据权利要求1的方法，进一步包括从所述网元管理系统向测试工具传输所述每个参数的实际值，并且其中包括由所述测试工具执行对所述每个参数的实际值的比较。
4.根据权利要求3的方法，其中提示所述网元管理系统以每个参数的实际值作为响应包括向所述网元管理系统传输至少一个DB_Notif消息，并且其中以所述每个参数的实际值作为响应包括将所述每个参数的实际值作为DS消息的一部分进行传输。
5.根据权利要求3的方法，其中提示所述网元管理系统以每个参数的实际值作为响应包括给出由用户执行的一系列至少一个动作，并且其中以所述每个参数的实际值作为响应包括将所述每个参数的实际值作为DR消息的一部分进行传输。
6.一种用于测试网元管理系统的网络管理系统-网元管理系统接口的测试工具，包括用户接口；从所述网元管理系统接收消息的装置，所述消息包括参数的实际值；比较所述参数的实际值与规则表示的装置，所述规则表示定义了该参数的至少一个有效值；以及给出上述比较装置的结果的装置。
7.根据权利要求6的测试工具，进一步包括读取模式文件的装置，所述模式文件是包括所述规则表示的纯文本文件。
8.根据权利要求7的测试工具，进一步包括读取触发文件的装置；以及从所述触发文件生成至少一个DB_Notif消息的装置，并且其中从所述网元管理系统接收消息的装置包括接收DS消息的装置。
9.根据权利要求8的测试工具，进一步包括读取测试实例文件的装置；以及通过用户接口给出至少一个由用户执行的动作的装置，其中所述从所述网元管理系统接收消息的装置进一步包括接收DR消息的装置。
10.根据权利要求7中的测试工具，进一步包括读取测试实例文件的装置；以及通过所述用户接口给出至少一个由用户执行的动作的装置，并且，其中从所述网元管理系统接收消息的装置包括接收DR消息的装置。
11.一种用于测试网元管理系统的网络管理系统-网元管理系统接口的系统，包括网元管理系统；至少一个模式文件，每个模式文件包括有效参数值的至少一个规则表示；以及测试工具，包括用户接口；用于从所述网元管理系统接收至少一个实际参数值的装置；用于读取所述至少一个模式文件的装置；用于比较所述至少一个实际参数值与所述有效参数值的至少一个规则表示之一的装置；以及用于给出所述至少一个实际参数值与所述有效参数值的至少一个规则表示之一的比较结果的装置。
全文摘要
提供一种用于验证EMS－NMS接口的方法。在测试工具中使用模式文件，该测试工具能够仿真NMS，用于测试EMS－NMS接口的各个EMS端。模式文件包括关于可以发送到EMS或从EMS接收的有效数据的说明，诸如有效数据范围、在特定设备上允许的操作和用于不同软件版本的对象的有效数据值。可以基于用于新EMS和NMS软件版本的设计接口规范来创建模式文件，因为它允许接口验证从EMS和NMS验证中分离，其提供了显著的益处，可以大大缩短新EMS/NMS软件版本的验证周期。
文档编号G06F11/36GK101013968SQ200610064100
公开日2007年8月8日 申请日期2006年11月29日 优先权日2005年11月29日
发明者R·库雷西, C·E·杜克, V·J·马霍尔 申请人:阿尔卡特公司