一种实现大数据冲击的自动化测试的方法和系统的制作方法

专利名称：一种实现大数据冲击的自动化测试的方法和系统的制作方法
技术领域：
本发明涉及一种大数据冲击的自动化测试的方法和系统。
背景技术：
当前的TMN (电信管理网)中往往存在的故障不是基本功能故障，而 是能否承收大数据的冲击，能否在这种冲击下可以正常的工作和正确处理相 关的异常是网管软件的一个重要的性能指标，但是由于实验室的设备和资源 的限制，往往造成测试过程的瓶颈，特别是告警风暴的测试，更是比较困难， 从目前的实验室测试过程来看，对于大数据冲击的测试往往局限在简单的批 量数据发送，然后对比发送的数据条数或随机选择几个记录进行比较，对于 前台模拟程序(或者真实前台)发送的数据到后台接收到的数据是否正确的 比较，很难一一对比。另外其中有太多的人工干预过程，比如上报数据的设 置，后台数据查询等等。
以当前CDMA的告警测试为例，目前一个基站控制器(BSC)满配置 时，同时要处理上千个节点的告警数据上报，在网运行的BSC、数以百计的 BTS上所有的上万块单板(数十万个硬件单元)、数百种软件模块，甚至设 备周边环境都是故障管理的监测对象。因此对于告警模块的测试，更重要的 是能够确保告警模块是否能够及时、安全的处理这些大数据流的沖击，而在 实验室由于设备和现场资源缺乏的原因，不能真实模拟这样的大数据量的环 境，往往采用的办法就是通过模拟程序来模拟各种海量告警数据并同时发送 到后台服务器，然后通过手工点击后台界面观察告警数据。这种方式的缺点 有两个，第一，测试过程断链，由于每一次发送告警都需要手工查询，然后 再进行下一次的告警数据发送，不能保证发送数据的连续性，因此不能真实 的模拟告警风暴；第二，测试的结果存在假象，由于是人工查询接收到的告
警数据，由于每一批数据都可能是成千上万条记录，因此测试人员不可能逐 条进行匹配比较，往往都是查询一下接收到的记录条数和发送的条数是否一 致的方式来判断，这种测试难以保证接收到的告警数据的正确性。

发明内容
本发明要解决的技术问题是提出一种在大数据沖击下可以保证测试过 程的连续性，以及保证测试结果正确性的自动化测试的方法和系统。
为了解决上述技术问题，本发明提供了 一种实现大数据冲击的自动化测
试的方法，所述方法包纟舌以下步骤
步骤101，产生模拟数据并将其返回给控制装置以及将数据上报到被测 系统；
步骤102，判断是否需要再次构造下一批测试数据，如果需要构造下一 批测试数据，则执行步骤101,否则执行步骤103;
步骤103,根据发送的模拟数据和其它信息构造一个指令并发送给客户 端测试工具；
步骤104，客户端测试工具根据指令装载对应的脚本；
步骤105，在执行过程中如果发生异常则进入步骤109进行异常处理。 否则执行步骤106;
步骤106，把获取到的数据和从控制装置发送来的数据传递给匹配过程；
步骤107,如果没有找到需要的数据则继续匹配直到找到对应的数据或 超时；
步骤108,如果匹配超时则进入步骤109进行异常处理，如果没有异常 或异常处理完成，则继续执行步骤110;
步骤109，异常处理对测试过程中出现异常或匹配失败进行处理；
步骤IIO，判定客户端执行是否结束以及执行结果是否正确，如果已经 完成则返回一次侦听结束，所有侦听结束且不再发送数据则进入到结果汇总 处理单元；
步骤lll,结果汇总形成一个汇总报告，完成后结束本次的上报数椐沖 击测试过程。
进一步，上述方法还可以具有以下特点所述步骤101中，将模拟数据 返回给控制装置的同时，发送一个数据清单。
进一步，上述方法还可以具有以下特点所述数据清单用于模拟告警数 据，包括内容有构造的告警数据、告警级别、所在网元位置以及发送时间。
进一步，上述方法还可以具有以下特点所述步骤102中，采用异步并 4亍执行方式0
进一步，上述方法还可以具有以下特点所述步骤103中，所述指令指
明客户端测试工具需要执行的脚本id，需要进行匹配的测试数据类型，以及 最大延时时间和网元信息。
进一步，上述方法还可以具有以下特点所述步骤104中，装栽过程要 处理脚本格式的判定，界面组件定位信息的处理，以及界面执行操作的合成。 其中，脚本格式的判定主要是指脚本文件是否符合定义要求，比如是否会出 现一个不可识别的节点名等，界面组件定位信息的处理是指根据描述信息构 造一个控件索引对象，界面执行操作的合成是根据脚本的动作定义和参数构 造一个具体的执行操作。
进一步，上述方法还可以具有以下特点所述步骤106中，所述数据在 进行判定和过滤然后获取到需要的测试数据。所述界面数据的获取，比如告 警查询执行后，界面会出现当前的所有告警，如果是对告警时间的测试，则 把界面获取的所有告警数据的告警时间进行截取，然后和测试数据进行匹 配，如果匹配成功说明告警时间发送过程中没有出现损失，否则，匹配不成 功，说明告警时间发送过程有问题。
进一步，上述方法还可以具有以下特点所述步骤107中，匹配的方式 可以是字符匹配，也可以是某些特殊值匹配。比如在进行告警上报的匹配的 过程中，如果是告警数据匹配，就可以对每条告警记录的各个字段值进行全 匹配，所有界面获取到的被测数据和测试数据要——对应才能算是测试通 过；如果仅仅是对告警数目发送是否丟失的测试，则可以直接把发送的告警
条数和界面接收到的条数进行匹配，如果相等则是成功，如杲不相等则是失败。
进一步，上述方法还可以具有以下特点所述步骤109中，所述处理有 两个过程， 一是把异常的信息形成文档存储下来，二是保留执行操作步骤以 便于定位故障。
进一步，上述方法还可以具有以下特点所述步骤110中，侦听客户端 消息反馈过程用来判定客户端执行是否结束以及执行结果是否正确。
进一步，上述方法还可以具有以下特点所述步骤lll中，结果汇总单 元把^莫拟的数据量、成功率和失败率进行数据统计。
一种实现大数据沖击的自动化测试的系统，包括控制装置、数据模拟 器、客户端测试工具、发送器和被测系统，其中
所述控制装置连接于数据模拟器和客户端测试工具之间，负责触发数据 模拟器产生模拟数据，然后把已经模拟并发送到服务器的程序通过接口传递 给客户端测试工具，并发送一个执行指令，要求客户端测试工具执行相应的 测试过程；
所述数据模拟器连接发送器，用于形成各种模拟测试数据以及形成数据
清单；
所述客户端测试工具自动进行界面操作、侦听由服务端发来的数据、把 接收到的数据和客户端获取到的数据进行匹配告警，形成一次测试报告；
所述发送器负责把模拟形成的数据发送到被测系统；
所述被测系统连接客户端测试工具，用于将接收到的数据进行内部处理 并传递到被测系统的客户端。
进一步，上述系统还可以包括以下特征所述的控制装置包括指令发送 单元、指令构造单元、进程控制单元和结果汇总单元，其中
进程控制单元包括上冲艮数据触发器，所述触发器可以触发数据模拟器产 生各种测试数据； 指令构造单元负责产生一个执行指令，要求客户端测试工具执行相应的
测试过程；
指令发送单元负责把已经模拟并发送到服务器的程序通过接口传递给 客户端测试工具；
结果汇总单元把模拟的数据量、成功率和失败率进行数据统计形成一个 汇总报告。
进一步，上述系统还可以包括以下特征所述数据模拟器形成的所述数 据清单用于模拟告警数据，包括内容有构造的告警数据、告警级别、所在网 元位置以及发送时间。
进一步，上述系统还可以包括以下特征所述数据模拟器采用异步并行 执行方式。
进一步，上述系统还可以包括以下特征所述指令构造单元指明客户端 测试工具需要执行的脚本id，需要进行匹配的测试数据类型，以及最大延时 时间和网元信息。
进一步，上述系统还可以包括以下特征客户端测试工具装栽过程要处 理脚本格式的判定，界面组件定位信息的处理，以及界面执行操作的合成。
进一步，上述系统还可以包括以下特征所述客户端测试工具需要把从 界面获得的数据进行判定和过滤然后获取到需要的测试数据。
进一步，上述系统还可以包括以下特征所述客户端测试工具可以自动 进行界面操作，可以侦听由服务端发来的数据，可以把接收到的数据和客户 端获取到的数据进行匹配告警。
进一步，上述系统还可以包括以下特征所述结果汇总单元把4莫拟的数 据量、成功率和失败率进行数据统计。
采用本发明应用到告警测试后，告警数据上报测试过程得到了改进，减 少了测试过程中人工干预的过程，同时增强了测试过程的连续性，并且在告 警数据一致性匹配的测试方面，增强了匹配结果的正确性，同时可以纟艮方便 的实现告警风暴测试过程，真正在实验室里模拟真实的大数据流的冲击，以
检验系统在告警风暴产生时，是否能够承收数据压力并正常工作。
该发明同时也可以用于对性能数据上报、诊断测试等大数据量上报过程 的测试。


图l是实现本发明方法的系统框图。
图2是本发明方法实现大数据冲击的自动化测试流程图。
具体实施例方式
本发明采用一种提供前后台的数据消息通讯的方法，同时实现后台的自 动化测试过程，保证测试数据的信息能够从前台传递到后台，同时后台测试 平台接收到指令后能够主动查询并匹配测试数据，完成一次测试过程。同时 为了实现风暴测试的效果，前后台的测试程序需要异步并行执行，以保证前 台测试程序不会因为后台的查询过程而处于等待状态。
图l是实现本发明方法的系统框图。如图1所示，所述系统由控制装置、 数据模拟器、客户端测试工具、发送器和被测系统组成。
所述控制装置包括指令发送单元、指令构造单元、进程控制单元和结果 汇总单元，所述控制装置连接于数据^t拟器和客户端测试工具之间，负责触 发数据模拟器发送模拟数据，然后把已经模拟并发送到服务器的程序通过接
口传递给客户端测试工具，并发送一个执行指令，要求客户端测试工具执行 相应的测试过程。
其中，所述进程控制单元包括上:^艮数据触发器，该触发器可以触发数据 模拟器产生各种测试数据；指令构造单元负责构造一个执行指令，要求客户 端测试工具执行相应的测试过程；指令发送单元负责把已经模拟并发送到服 务器的程序通过接口传递给客户端测试工具；结果汇总单元把本次模拟的数 据量、成功率和失败率进行数据统计形成一个汇总报告。从数据模拟器到测 试工具的数据流，这条线路保证测试数据没有被消费过，是用来给测试工具
验证消费后的数据是否正确的依据。
数据模拟器连接发送器，主要形成各种模拟测试数据以及形成用于模拟 告警数据的数据清单。
客户端测试工具可以自动进行界面操作，可以侦听由服务端发来的数 据，可以把接收到的数据和客户端获取到的数据进行匹配告警，形成一次测 试报告。
发送器负责4e^莫拟形成的数据发送到被测系统。
被测系统连接客户端测试工具，用于将接收到的数据进行内部处理并传 递到被测系统的客户端。其中由数据模拟器到被测系统再到测试工具的数据 流，主要是希望测试数据能够通过被测系统后再回到测试工具，是一个被测 试系统消费过的数据流。
图2为图1中本发明所述系统实现大数据上报自动化测试方法的执行流
程，包括以下步骤
步骤IOI由控制装置中上报数据触发器触发数据模拟器上报数据，然 后数据模拟器产生模拟数据并形成发送数据清单，所述数据清单用于模拟告 警数据，包括内容有构造的告警数据、告警级别、所在网元位置以及发送时 间。接着扭4莫拟后形成的数据和数据清单返回给控制装置，通过单板或发送 程序将数据上报到被测系统和客户端测试工具。
步骤102判断是否需要再次构造下一批测试数据，如果需要构造下一 批测试数据，则执行步骤101，否则执行步骤103。由于上报的数据可能数 据量很大，而且发送次数可能很多，为了不中断其连续性，在此采用并行执 行方式。
步骤103完成对模拟数据的上报，然后根据发送的模拟数据和其它信 息构造一个指令，该指令需要指明客户端测试工具需要执行的脚本id,需要 进行匹配的测试数据类型，以及最大延时时间和网元信息等等；构造完成后 发送给客户端测试工具。
步骤104客户端测试工具接收到控制装置发送的执行指令后，根据指 定的脚本id装载对应的脚本，装载过程应该处理脚本格式的判定，界面组
件定位信息的处理，以及界面执行操作的合成。
脚本格式的判定主要是指脚本文件是否符合定义要求，比如是否会出现 一个不可识别的节点名等，界面组件定位信息的处理是指根据描述信息构造 一个控件索引对象，界面执行操作的合成是根据脚本的动作定义和参数构造 一个具体的执行操作。
步骤105在执行过程中如果发生异常则进入步骤109进行异常处理。 否则执行步骤106。
步骤106由界面测试工具通过脚本的执行获得界面接收到的数据。所 述数据需要进行判定和过滤然后获取到需要的测试数据，把从界面获取到的 数据和从控制装置发送来的数据传递给匹配过程。
其中，界面数据的获取，比如告警查询执行后，界面会出现当前的所有 告警，如果是对告警时间的测试，则把界面获取的所有告警数据的告警时间 进行截取，然后和测试数据(真实发送的告警数据)进行匹配，如果匹配成功 说明告警时间发送过程中没有出现损失，否则，匹配不成功，说明告警时间 发送过程有问题。
步骤107 匹配过程接收到数据后进行数据匹配，包括测试数据各项信 息的值匹配，如果没有找到需要的数据则继续匹配直到找到对应的数据或超时。
其中，匹配的方式可以是字符匹配，也可以是某些特殊值匹配。比如在 进行告警上报的匹配的过程中，如果是告警数据匹配，就可以对每条告警记 录的各个字段值进行全匹配，所有界面获取到的被测数据和测试数据要一一 对应才能算是测试通过；如果仅仅是对告警数目发送是否丢失的测试，则可 以直接把发送的告警条数和界面接收到的条数进行匹配，如果相等则是成 功，如果不相等则是失败。
步骤108 如果匹配超时则进入步骤109进行异常处理，如果没有异常 或异常处理完成，则继续执行步骤110。
步骤109异常处理主要是对客户端测试工具测试过程中出现异常或匹 配失败的处理，该处理有两个过程， 一是把异常的信息形成文档存储下来， 二是保留执行操作步骤以便于定位故障。
步骤110侦听客户端消息反馈过程则主要判定客户端执行是否结束以
及执行结果是否正确，如杲已经完成则返回一次侦听结束，所有侦听结束且 不再发送数据则进入到结果汇总处理单元。
步骤lll结果汇总把本次模拟的数据量、成功率和失败率进行数据统 计形成一个汇总报告，完成后结束本次的上l艮数据冲击测试过程。
虽然结合示图上述应用详细描述了本发明的实施例，但这并不是本发明 实际应用唯一方法，对于本领域的熟练技术人员来说，仍可以对上述实施方 式作出修改而不改变本发明的实质和范围。
对于本发明，影响本发明实现的关键因素有四个， 一个是需要模拟的网 元类型和个数，随着网元数目的增多，需要构造的数据类型就越多，匹配的
复杂度也会增加； 一个是延时的设置，即数据上报的最长等待时间，根据数 据类型的不同应该有不同的延时限制； 一个是指令的结构体， 一个指令的结 构体的好坏直接影响到该系统的效率和扩展性；最后一个是客户端测试工具 才喿作的复杂度，界面操作过程的简化是增强测试效果的另外一个途径。
权利要求
1、一种实现大数据冲击的自动化测试的方法，所述方法包括以下步骤步骤101，产生模拟数据并将其返回给控制装置以及将数据上报到被测系统；步骤102，判断是否需要再次构造下一批测试数据，如果需要构造下一批测试数据，则执行步骤101，否则执行步骤103；步骤103，根据发送的模拟数据和信息构造一个指令并发送给客户端测试工具；步骤104，客户端测试工具根据指令装载对应的脚本；步骤105，在执行过程中如果发生异常则进入步骤109进行异常处理，否则执行步骤106；步骤106，把获取到的数据和从控制装置发送来的数据传递给匹配过程；步骤107，如果没有找到需要的数据则继续匹配直到找到对应的数据或超时；步骤108，如果匹配超时则进入步骤109进行异常处理，如果没有异常或异常处理完成，则继续执行步骤110；步骤109，异常处理对测试过程中出现异常或匹配失败进行处理；步骤110，判定客户端执行是否结束以及执行结果是否正确，如果已经完成则返回一次侦听结束，所有侦听结束且不再发送数据则进入到结果汇总处理单元；步骤111，结果汇总形成一个汇总报告，完成后结束本次的上报数据冲击测试过程。
2、 如权利要求l所述的方法，其特征在于所述步骤101中，将模拟数据返回给控制装置的同时，发送一个数据清 单；所述数据清单用于模拟告警数据，包括内容有构造的告警数据、告警级 别、所在网元位置以及发送时间。
3、 如权利要求l所述的方法，其特征在于所述步骤103中，所述指令指明客户端测试工具需要执行的脚本id,需 要进行匹配的测试数据类型，以及最大延时时间和网元信息。
4、 如权利要求l所述的方法，其特征在于所述步骤104中，装载过程要处理脚本格式的判定，界面组件定位信息 的处理，以及界面执行操作的合成。
5、 如权利要求l所述的方法，其特征在于所述步骤109中，所述处理有两个过程， 一是把异常的信息形成文档存 储下来，二是保留执行操作步骤以便于定位故障。
6、 如权利要求l所述的方法，其特征在于所述步骤110中，侦听客户端消息反馈过程用来判定客户端执行是否结 束以及执行结果是否正确。
7、 如权利要求l所述的方法，其特征在于所述步骤lll中，结果汇总单元把模拟的数据量、成功率和失败率进行 数据统计。
8、 一种实现大数据沖击的自动化测试的系统，包括控制装置、数据 模拟器、客户端测试工具、发送器和被测系统，其中所述控制装置连接于数据模拟器和客户端测试工具之间，负责触发数据 模拟器产生模拟数据，然后把已经模拟并发送到服务器的程序通过接口传递 给客户端测试工具，并发送一个执行指令，要求客户端测试工具执行相应的 测试过程；所述数据^^拟器连接发送器，用于形成各种模拟测试数据以及形成数据清单；所述客户端测试工具自动进行界面操作、侦听由服务端发来的数据、把 接收到的数据和客户端获取到的数据进行匹配告警，形成一次测试报告；所述发送器负责4&#拟形成的数据发送到被测系统； 所述被测系统连接客户端测试工具，用于将接收到的数据进行内部处理并传递到净皮测系统的客户端。
9、 如权利要求8所述的自动化测试的系统，其特征在于所述的控制 装置包括指令发送单元、指令构造单元、进程控制单元和结果汇总单元，其 中进程控制单元包括上报数据触发器，所述触发器可以触发数据模拟器产 生各种测试数据；指令构造单元负责产生一个执行指令，要求客户端测试工具执行相应的 测试过程；指令发送单元负责把已经模拟并发送到服务器的程序通过接口传递给 客户端测试工具；结果汇总单元把模拟的数据量、成功率和失败率进行数据统计形成一个 汇总报告。
10、 如权利要求8所述的自动化测试的系统，其特征在于所述数据模拟器形成的所述数据清单用于模拟告警数据，包括内容有构 造的告警数据、告警级别、所在网元位置以及发送时间。
11、 如权利要求8所述的自动化测试的系统，其特征在于所述指令构造单元指明客户端测试工具需要执行的脚本id，需要进行匹 配的测试数据类型，以及最大延时时间和网元信息。
12、 如权利要求8所述的自动化测试的系统，其特征在于所述客户端测试工具装载过程要处理脚本格式的判定，界面组件定位信 息的处理，以及界面执行操作的合成。
13、 如权利要求8所述的自动化测试的系统，其特征在于 所述客户端测试工具可以自动进行界面操作，可以侦听由服务端发来的数据，可以把接收到的数据和客户端获取到的数据进行匹配告警。
14、 如权利要求8所述的自动化测试的系统，其特征在于 所述结果汇总单元把^莫拟的数据量、成功率和失败率进行数据统计。
全文摘要
本发明提供了一种实现大数据冲击的自动化测试的方法和系统，首先构造上报数据模拟器，控制程序根据测试要求触发数据模拟器产生数据并返回给控制程序，控制程序将数据和测试执行指令发给客户端测试工具，把从界面获取到的数据和从控制装置发送来的数据传递给匹配过程，并上报匹配结果。采用本发明应用到告警测试后，告警数据上报测试过程得到了改进，增强了测试过程的连续性和匹配结果的正确性。
文档编号H04Q7/34GK101098259SQ200610090760
公开日2008年1月2日 申请日期2006年6月30日 优先权日2006年6月30日
发明者李龙江, 彪 鄢, 鑫 金, 骆昌勤 申请人:中兴通讯股份有限公司