专利名称：一种软件系统运行稳定性测试方法及装置的制作方法
技术领域：
本发明涉及自动化测试技术，特别是指一种软件系统运行稳定性测试方法及装置。
背景技术：
在软件系统的开发和版本的发布过程中，人们关心的首要问题是所开发和发布的 程序的运行是否稳定。这是因为程序运行的稳定性是一个软件系统成功的基础。一个不 稳定的软件系统，无论功能多么强大、界面多么美观漂亮，都算不上是一个成功的产品，用 户对该软件系统的信任度都必然会大打折扣。一个好的软件系统，在研发周期中的每个环节都需要有良好的控制措施，软件测 试尤其是系统测试，是软件质量保证中非常重要的一环，系统测试主要包括功能测试、性 能测试、以及稳定性测试等。现有技术中，对软件系统运行稳定性的测试，通常的做法是采用脚本测试工具编 写脚本，利用编写的脚本辅助进行测试，即反复做某些操作，观察被测程序在长时间运行、 或在突发大数据量的情况下，被测程序运行的稳定性情况。测试时间越长，测试结果就越可罪。但是，在现有的测试过程中，主要依靠人工进行测试，如此，会造成无法满足长时 间运行的要求，进而影响测试结果的可靠性，并且还会造成测试的效率偏低。
发明内容
有鉴于此，本发明的主要目的在于提供一种软件系统运行稳定性测试方法及装 置，能解决现有技术中依靠人工进行测试的缺点，提高测试结果的可信度和测试效率。为达到上述目的，本发明的技术方案是这样实现的本发明提供了一种软件系统运行稳定性测试方法，包括需要测试软件系统运行的稳定性时，执行稳定性控制脚本，由稳定性控制脚本监 测被测软件系统运行；采集被测软件系统运行中的进程参数；分析采集的被测软件系统运行中的进程参数，并输出分析结果。上述方案中，在执行稳定性脚本之前，该方法进一步包括设置稳定性控制脚本；设置采集的进程参数及所采用的输出方式。上述方案中，所述设置稳定性控制脚本，具体为录制所要进行的操作动作，生成录制脚本；对生成的录制脚本加入逻辑控制，生成稳定性控制脚本。上述方案中，所述采集被测软件系统运行中的进程参数，具体为根据设置的采集的进程参数，采集被测软件系统运行中的进程参数。
4
上述方案中，该方法进一步包括在监测过程中，自动记录所述稳定性控制脚本中每个测试步骤及测试步骤的执行 时间，生成稳定性控制脚本的运行日志。上述方案中，所述分析被测软件系统运行中的进程参数，并输出分析结果，具体 为采用设置的输出方式，输出采集的被测软件系统运行中的进程参数；扫描稳定性控制脚本的运行日志，分析运行日志，获取被测软件系统运行中的异 常点，并在输出图形对应的时间点和时间区段标注出引发异常的进程参数。本发明还提供了一种软件系统运行稳定性测试装置，包括操作控制模块、数据采 集模块、及分析模块；其中，操作控制模块，用于需要测试软件系统运行的稳定性时，执行稳定性控制脚本，由 稳定性控制脚本监测被测软件系统运行，并触发数据采集模块；数据采集模块，用于收到操作控制模块的触发信息后，采集被测软件系统运行中 的进程参数，并在采集完成后，将采集的进程参数发送给分析模块；分析模块，用于收到数据采集模块发送的进程参数后，分析采集的被测软件系统 运行中的进程参数，并输出分析结果。上述方案中，所述操作控制模块，还用于在监测过程中，自动记录所述稳定性控制 脚本中每个测试步骤及测试步骤的执行时间，生成稳定性控制脚本的运行日志。上述方案中，所述操作控制模块，还用于设置稳定性控制脚本。上述方案中，该装置进一步包括设置模块，用于设置采集的进程参数及所采用的 输出方式。上述方案中，该装置进一步包括存储模块，用于存储稳定性控制脚本、设置的采 集的进程参数及所采用的输出方式。上述方案中，该装置进一步包括管理模块，用于根据配置文件加载操作控制模 块、数据采集模块、及分析模块。本发明提供的软件系统运行稳定性的测试方法及装置，需要测试软件系统运行的 稳定性时，执行稳定性控制脚本，由稳定性控制脚本监测被测软件系统运行；采集被测软件 系统运行中的进程参数；分析采集的被测软件系统运行中的进程参数，并输出分析结果，如 此，能实现自动进行测试及分析的过程，进而提高测试结果的可信度和测试效率。另外，在输出图形对应的时间点和时间区段标注出引发异常的进程参数，如此，能 直观地看出被测软件系统在测试期间的运行情况，快速准确的判断出在什么时间点的什么 操作出现了被测软件系统的异常。
图1为本发明软件系统运行稳定性的测试装置结构示意图；图2为本发明软件系统运行稳定性测试的方法流程示意图；图3为执行稳定性控制脚本之前的方法流程示意图；图4为实施例中软件系统运行稳定性测试的方法流程示意图。
具体实施例方式下面结合附图及实施例对本发明再作进一步详细的说明。本发明软件系统运行稳定性测试装置，如图1所示，该装置包括操作控制模块 11、数据采集模块12、及分析模块13 ；其中，操作控制模块11，用于需要测试软件系统运行的稳定性时，执行稳定性控制脚本， 由稳定性控制脚本监测被测软件系统运行，并触发数据采集模块12 ；数据采集模块12，用于收到操作控制模块11的触发信息后，采集被测软件系统运 行中的进程参数，并在采集完成后，将采集的进程参数发送给分析模块13 ；分析模块13，用于收到数据采集模块12发送的进程参数后，分析采集的被测软件 系统运行中的进程参数，并输出分析结果。其中，所述操作控制模块11，还用于在监测过程中，自动记录所述稳定性控制脚本 中每个测试步骤及测试步骤的执行时间，生成稳定性控制脚本的运行日志。所述操作控制模块11，还用于设置稳定性控制脚本。该装置还可以进一步包括设置模块，用于设置采集的进程参数及所采用的输出 方式。所述数据采集模块12具体用于根据设置的采集的进程参数，采集被测软件系统 运行中的进程参数；所述分析模块13具体用于采用设置的输出方式，输出采集的被测软件系统运行 中的进程参数；扫描稳定性控制脚本的运行日志，分析运行日志，获取被测软件系统运行中 的异常点，并在输出图形对应的时间点和时间区段标注出引发异常的进程参数。上述装置中，还可以进一步包括存储模块，用于存储稳定性控制脚本、设置的采 集的进程参数及所采用的输出方式。该装置还可以进一步包括管理模块，用于根据配置文件加载操作控制模块11、 数据采集模块12、及分析模块13。基于上述装置，本发明还提供了一种软件系统运行稳定性测试的方法，如图2所 示，包括以下步骤步骤201 需要测试软件系统运行的稳定性时，执行稳定性控制脚本，由稳定性控 制脚本监测被测软件系统运行；这里，在监测过程中，会自动记录所述稳定性控制脚本中每个测试步骤及测试步 骤的执行时间，生成稳定性控制脚本的运行日志。步骤202 采集被测软件系统运行中的进程参数；这里，所述采集被测软件系统运行中的进程参数，具体为根据设置的采集的进程参数，采集被测软件系统运行中的进程参数。步骤203 分析采集的被测软件系统运行中的进程参数，并输出分析结果；这里，所述分析被测软件系统运行中的进程参数，并输出分析结果，具体为采用设置的输出方式，输出采集的被测软件系统运行中的进程参数；之后，扫描稳定性控制脚本的运行日志，分析运行日志，获取被测软件系统运行中 的异常点，并在输出图形对应的时间点和时间区段标注出引发异常的进程参数；其中，在实际应用过程中，采集被测软件系统运行中的进程参数的过程可以与输出采集的被测软件系统运行中的进程参数的过程同步进行；由于控制脚本中包含逻辑控制，因此，在执行稳定性控制脚本的过程中，可以检测 到被测软件系统的异常，所述异常可以是被测软件系统的进程退出，被测软件系统的客户 端界面菜单、或窗口异常弹出等，并在运行日志中有相应的描述。在执行步骤201之前，如图3所示，该方法还可以进一步包括步骤301 设置稳定性控制脚本，之后执行步骤302 ；这里，系统支持自定义格式的脚本及第三方语言格式的脚本；其中，所述第三方语 言格式的脚本可以是采用工具命令语言(TCL)编辑的脚本或采用Python语言编辑的脚本 等；稳定性控制脚本的制作人员可以根据实际情况选择一种格式进行设置，举个例子来说， 制作人员如果非常熟悉Python语言，则可以采用Python语言设置稳定性控制脚本，如果制 作人员不熟悉第三方语言，则可以采用系统自定义的格式设置稳定性控制脚本；所述设置稳定性控制脚本，具体为录制所要进行的操作动作，生成录制脚本；对生成的录制脚本加入逻辑控制，生成稳定性控制脚本。步骤302 设置采集的进程参数及所采用的输出方式；这里，所述进程参数包括采集间隔、采集时长、被测软件系统中待采集的进程、及 待采集进程的具体采集内容等，所述具体采集内容可以包括中央处理单元(CPU)的占用、 物理内存、虚拟内存、线程述、以及图形设备接口(GDI)资源对象数等；其中，所述采集间隔 可以依据需要进行设置，比如设置采集间隔为1秒；所述采集时长也可以依据需要进行设 置，为了确保测试结果的准确性，可以设置采集时长为24小时以上；所述输出方式可以是图形方式输出、文件方式输出、或图形方式和文件方式相结 合输出。在实际应用过程中，还可以将设置进程参数及所采用的输出方式的过程融合到录 制脚本的过程中，即在录制脚本时，将设置进程参数及所采用的输出方式也录制进去。下面以网络管理系统(NMS)稳定性测试为例，对本发明再作进一步详细的描述。本实施例的应用场景是匪S启动并正常运行后，WS中的进程包括界面进程 (gui. exe)、核心调度进程(kernel, exe)、管理者进程(manager, exe)、数据库操作子进程 (db. exe)。本实施例中软件系统运行稳定性测试的方法，如图4所示，包括以下步骤步骤401 启动匪S ；之后执行步骤402。步骤402 启动软件系统运行稳定性测试装置，之后执行步骤403 ；这里，软件系统运行稳定性测试装置启动后，会进行初始化处理，具体地，管理模 块根据配置文件加载操作控制模块、数据采集模块、及分析模块；所述配置文件包括各个 模块加载的顺序；在配置时，可以依据需要任意配置各模块加载的顺序。步骤403 设置稳定性控制脚本，之后执行步骤404 ；这里，采用系统自定义的格式设置稳定性控制脚本，录制所要进行的操作动作，生 成录制脚本；其中，所述所要进行的操作动作具体为同时对多端设备进行数据库下载；生 成的录制脚本自动保存到脚本目录下；对生成的录制脚本加入逻辑控制，生成稳定性控制脚本，即数据库下载控制脚本；其中，所述逻辑控制具体为对多端设备反复进行数据库的下载，持续时间为48小时； 生成的稳定性控制脚本自动保存到脚本目录下。步骤404 设置采集的进程参数及所采用的输出方式；具体地，所述进程参数包括采集间隔、采集时长、被测软件系统中待采集的进程、 及待采集进程的具体采集内容；其中，被测软件系统中待采集的进程具体为NMS中的gui. exe、kernel, exe、manager, exe三个进程；采集间隔为T秒，T为1秒以上；采集时长为48 小时；待采集进程的具体采集内容为CPU的占用、物理内存、虚拟内存、以及GDI资源对象 数；所采用的输出方式为图形方式输出。步骤405 执行数据库下载控制脚本，由稳定性控制脚本监测匪S运行，自动记录 所述数据库下载控制脚本中每个测试步骤及测试步骤的执行时间，并采集匪S运行中的进 程参数；这里，在测试过程中，人为杀掉gui. exe,即关闭gui. exe，此时，会记录所述数据 库下载控制脚本中对应的测试步骤及测试步骤的执行时间；相应的，由于gui. exe退出，采 集到的进程的具体采集内容全部都为零；gui. exe退出后，匪S会自动重启gui. exe，相应的，gui. exe重启后，将根据匪S的 运行情况采集进程的具体内容进行记录。步骤406 采集过程完成后，以图形方式输出采集的进程参数；这里，采集过程完成是指连续48小时的测试后。步骤407 扫描所述数据库下载脚本的运行日志，分析运行日志，获取匪S运行中 的异常点，并在输出的图形对应的时间点和时间区段标注出引发异常的进程参数，结束当 前处理流程。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在 本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护 范围之内。
权利要求
一种软件系统运行稳定性测试方法，其特征在于，该方法包括需要测试软件系统运行的稳定性时，执行稳定性控制脚本，由稳定性控制脚本监测被测软件系统运行；采集被测软件系统运行中的进程参数；分析采集的被测软件系统运行中的进程参数，并输出分析结果。
2.根据权利要求1所述的方法，其特征在于，在执行稳定性脚本之前，该方法进一步包括设置稳定性控制脚本； 设置采集的进程参数及所采用的输出方式。
3.根据权利要求2所述的方法，其特征在于，所述设置稳定性控制脚本，具体为 录制所要进行的操作动作，生成录制脚本；对生成的录制脚本加入逻辑控制，生成稳定性控制脚本。
4.根据权利要求2所述的方法，其特征在于，所述采集被测软件系统运行中的进程参 数，具体为根据设置的采集的进程参数，采集被测软件系统运行中的进程参数。
5.根据权利要求1至4任一项所述的方法，其特征在于，该方法进一步包括在监测过程中，自动记录所述稳定性控制脚本中每个测试步骤及测试步骤的执行时 间，生成稳定性控制脚本的运行日志。
6.根据权利要求5所述的方法，其特征在于，所述分析被测软件系统运行中的进程参 数，并输出分析结果，具体为采用设置的输出方式，输出采集的被测软件系统运行中的进程参数； 扫描稳定性控制脚本的运行日志，分析运行日志，获取被测软件系统运行中的异常点， 并在输出图形对应的时间点和时间区段标注出引发异常的进程参数。
7.一种软件系统运行稳定性测试装置，其特征在于，该装置包括操作控制模块、数据 采集模块、及分析模块；其中，操作控制模块，用于需要测试软件系统运行的稳定性时，执行稳定性控制脚本，由稳定 性控制脚本监测被测软件系统运行，并触发数据采集模块；数据采集模块，用于收到操作控制模块的触发信息后，采集被测软件系统运行中的进 程参数，并在采集完成后，将采集的进程参数发送给分析模块；分析模块，用于收到数据采集模块发送的进程参数后，分析采集的被测软件系统运行 中的进程参数，并输出分析结果。
8.根据权利要求7所述的装置，其特征在于，所述操作控制模块，还用于在监测过程 中，自动记录所述稳定性控制脚本中每个测试步骤及测试步骤的执行时间，生成稳定性控 制脚本的运行日志。
9.根据权利要求7或8所述的装置，其特征在于，所述操作控制模块，还用于设置稳定 性控制脚本。
10.根据权利要求9所述的装置，其特征在于，该装置进一步包括设置模块，用于设置 采集的进程参数及所采用的输出方式。
11.根据权利要求10所述的装置，其特征在于，该装置进一步包括存储模块，用于存储稳定性控制脚本、设置的采集的进程参数及所采用的输出方式。
12.根据权利要求7或8所述的装置，其特征在于，该装置进一步包括管理模块，用于 根据配置文件加载操作控制模块、数据采集模块、及分析模块。
全文摘要
本发明公开了一种软件系统运行稳定性测试方法，包括需要测试软件系统运行的稳定性时，执行稳定性控制脚本，由稳定性控制脚本监测被测软件系统运行；采集被测软件系统运行中的进程参数；分析采集的被测软件系统运行中的进程参数，并输出分析结果。本发明同时公开了一种软件系统运行稳定性测试装置，采用本发明的方法及装置，能实现自动进行测试及分析的过程，进而提高测试结果的可信度和测试效率。
文档编号G06F11/36GK101887392SQ20101021996
公开日2010年11月17日 申请日期2010年7月6日 优先权日2010年7月6日
发明者程兵旺 申请人:中兴通讯股份有限公司