一种网络设备指令编排的测试方法及装置与流程

本发明涉及网络设备运维领域，尤其是一种网络设备指令编排的测试方法及装置。

背景技术：

1、随着运营商通信网络的不断升级，网络设备的技术也在不断迭代更新，网络设备的生产厂商、各厂商设备的类型与型号繁多，每个型号的设备上也有着众多的操作指令，管理这些设备的软件，也面临着对众多设备操作指令编排与脚本的执行前后的测试，测试过程包括各厂商模板脚本测试(脚本中指令是否与该厂商所有型号匹配一致、脚本语法是否通过、变量取值逻辑是否正确、是否含有可预测的预览风险、执行过程中是否存在无效执行及垃圾数据)、预览测试(程序执行预览，成功预览后预览结果每个指令匹配正确验证)、指令集合执行回显测试(预览成功后，部分预览中包括查询指令回显的验证，执行下发记录的验证)，每个细小的新增功能点都面临着全局的脚本、所有厂商、所有过程的测试，测试与开发人员在研发活动中面临的测试工作量与测试繁琐系数非常庞大，产出质量也面临着相当大的挑战。

2、当面普遍采用的方法是人工对新增功能点涉及的脚本与指令进行纯手工比对与执行验证，需要对相同功能点的所有厂商型号的设备进行一一验证，存在无法验证脚本的安全、正确的风险，指令执行前后需要根据测试人员的经验进行查找比对及问题定位，不但测试周期很长，而且对发现问题的节点存在滞后性，也存在对设备误操作的风险，在无法了解所有设备的特性与属性的情况下，生产验证时网络事故率很高。

3、综上所述，当前主要有以下问题：

4、1、模板脚本检测过程中，不能将脚本语言的语法、语言规范、指令拼装相结合来进行业务的检查；

5、2、不能有效的预测脚本中执行指令存在风险；

6、3、众多厂商与型号的模板需要一一功能测试与安全检查，暂无自动化测试模式；

7、4、预览测试时，不能快速的匹配各指令的作用，及上下指令的正确性，变量替换正确性；

8、5、预览回显与执行结果测试时，不能自动化匹配验证。

技术实现思路

1、为解决现有技术存在的上述问题，本发明提供一种网络设备指令编排的测试方法及装置，为运营商在网络设备运维中，针对网络设备的执行指令、指令脚本和执行回显的自动化测试，针对复杂的指令脚本、相同功能点的众多厂商的多套指令重复工作进行自动化验证测试，以保证指令及脚本的正确、可靠与安全，有效降低人工操作带来的下发风险，提高测试有效周期。

2、为实现上述目的，本发明采用下述技术方案：

3、在本发明一实施例中，提出了一种网络设备指令编排的测试方法，该方法包括：

4、对模板脚本进行匹配与解析和预编译检查，检查通过后进行设备执行指令拼装；

5、对设备执行指令进行测试，同时在测试点添加安全与风险检查功能；

6、对检查通过后的设备执行指令进行预览检查；

7、对下发后的设备执行指令与设备执行指令的回显进行检查。

8、进一步地，对模板脚本进行匹配与解析和预编译检查，检查通过后进行设备执行指令拼装，包括：

9、将模板脚本与功能、厂商以及型号进行关联匹配，将模板脚本中的参数进行解析与转换，形成一个可编译与执行的perl脚本；

10、将perl脚本通过perl解释器预编译，先检查perl脚本中的词法是否存在提示性的报错和不规范性的报错，再根据预定义的检查规则进行检查，若检查通过，则进入下一步，若检查不通过，且存在编译性的错误时，则输出错误的行数、错误原因以及不规范性或者提示性的问题，并继续进入下一步；

11、将模板脚本通过perl语言进行解析，将解析到的设备执行指令按顺序拼接，得到一个文本式的指令字符串，结合对应的指令字符串业务场景，形成输出指令编排集合。

12、进一步地，对设备执行指令进行测试，同时在测试点添加安全与风险检查功能，包括：

13、从指令编排集合中顺序提取指令字符串进行测试，每个分支的指令字符串中每一个执行步骤都与厂商和型号进行匹配，并结合输入的业务场景，与原子能力模板进行一一对应比较，并将变量进行参数化验证；

14、在测试点添加安全与风险检查功能，在输出指令编排集合中，备注每个指令字符串的解释语句，并提示风险级别与误操作下发带来的后果，并在全局测试点进行检查，当检查出风险级别较高时，则拼装结果字符串输出，否则进入下一步。

15、进一步地，对检查通过后的设备执行指令进行预览检查，包括：

16、对检查通过后的设备执行指令进行预览，并输出预览结果文本；

17、将预览结果文本进行格式化后，将每一行设备执行指令根据正确性规则进行查询执行报错的检查、变量替换正确性检查和业务逻辑正确性检查，任何一项检查错误，则输出错误点，并提示解释性文本，否则将检查正确的预览结果文本进行转义，并备注可读的翻译文本输出，进入下一步。

18、在本发明一实施例中，还提出了一种网络设备指令编排的测试装置，该装置包括：

19、脚本测试模块，用于对模板脚本进行匹配与解析和预编译检查，检查通过后进行设备执行指令拼装；

20、指令测试模块，用于对设备执行指令进行测试，同时在测试点添加安全与风险检查功能；

21、预览测试模块，用于对检查通过后的设备执行指令进行预览检查；

22、下发测试模块，用于对下发后的设备执行指令与设备执行指令的回显进行检查。

23、进一步地，脚本测试模块，具体用于：

24、将模板脚本与功能、厂商以及型号进行关联匹配，将模板脚本中的参数进行解析与转换，形成一个可编译与执行的perl脚本；

25、将perl脚本通过perl解释器预编译，先检查perl脚本中的词法是否存在提示性的报错和不规范性的报错，再根据预定义的检查规则进行检查，若检查通过，则进入下一步，若检查不通过，且存在编译性的错误时，则输出错误的行数、错误原因以及不规范性或者提示性的问题，并继续进入下一步；

26、将模板脚本通过perl语言进行解析，将解析到的设备执行指令按顺序拼接，得到一个文本式的指令字符串，结合对应的指令字符串业务场景，形成输出指令编排集合。

27、进一步地，指令测试模块，具体用于：

28、从指令编排集合中顺序提取指令字符串进行测试，每个分支的指令字符串中每一个执行步骤都与厂商和型号进行匹配，并结合输入的业务场景，与原子能力模板进行一一对应比较，并将变量进行参数化验证；

29、在测试点添加安全与风险检查功能，在输出指令编排集合中，备注每个指令字符串的解释语句，并提示风险级别与误操作下发带来的后果，并在全局测试点进行检查，当检查出风险级别较高时，则拼装结果字符串输出，否则进入下一步。

30、进一步地，预览测试模块，具体用于：

31、对检查通过后的设备执行指令进行预览，并输出预览结果文本；

32、将预览结果文本进行格式化后，将每一行设备执行指令根据正确性规则进行查询执行报错的检查、变量替换正确性检查和业务逻辑正确性检查，任何一项检查错误，则输出错误点，并提示解释性文本，否则将检查正确的预览结果文本进行转义，并备注可读的翻译文本输出，进入下一步。

33、在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述网络设备指令编排的测试方法。

34、在本发明一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行网络设备指令编排的测试方法的计算机程序。

35、有益效果：

36、1、本发明有效解决了在网络设备新老场景下测试效率不高的问题，并将人工测试转换为机器自动化测试，提高数据对比的正确性，人工测试或传统的指令自动化测试存在对安全性检查不足，本发明可快速扫描是否存在安全风险，提前一个阶段发现，减少事故的发生。

37、2、本发明支撑在整个指令编排的测试阶段，将每个阶段的复杂测试进行单独功能封装与解耦，做到从脚本、预览和下发的文本转义，指令执行分析，提升输出结果的生成效率。

38、3、本发明可发现词法、提示性问题、预发生问题、执行风险问题、参数问题和回显问题等，减轻测试人员的技术能力要求，减少了测试人员在此阶段的工作投入，将问题提前发现，开发人员即可在测试初期修改，整个研发活动周期可缩短，为研发团队起到了降本增效的作用。