一种测试数据处理方法、装置以及相关设备与流程

文档序号:18301447发布日期:2019-07-31 10:11阅读:176来源:国知局
一种测试数据处理方法、装置以及相关设备与流程

本发明涉及计算机技术领域,尤其涉及一种测试数据处理方法、装置以及相关设备。



背景技术:

随着移动互联网技术的飞速发展,使得智能终端用户的数量不断增加,用户通过智能终端中的app(application,计算机应用程序)就可以满足通信交流、网络购物等基本需求。用户在使用app过程中,智能终端就会产生大量关于app的行为数据,智能终端将这些行为数据上报至服务器,后续服务器可以基于该上报数据分析用户行为,以改进app质量,因此上报数据的准确性具有重要价值。

当测试人员需要测试智能终端向服务器上报的数据是否存在异常上报时,现有技术主要是通过从服务器的上报日志文件中查找测试数据,并分析该测试数据,具体过程为:测试人员在客户端中通过测试用例生成多个测试数据,客户端上报该测试数据至服务器,待服务器接收到的上报数据达到数量要求时,服务器将多个上报数据写入上报日志文件中。后续测试人员再从上报日志文件中查找测试人员对应的测试数据,并分析该测试数据是否存在异常。

服务器要接收到多个上报数据后才会执行一次生成上报日志文件的操作,就会造成测试人员花费大量的时间等待上报日志文件的生成,同时在存储有大量上报数据的日志文件中查找并提取出测试数据,同样会耗费大量时间,直接造成测试上报数据的效率低下。



技术实现要素:

本发明实施例提供一种测试数据处理方法、装置以及相关设备,可以提高测试客户端上报数据的效率。

本发明实施例一方面提供了一种测试数据处理方法,包括:

测试服务器接收目标服务器发送的测试上报数据;所述测试上报数据是目标上报数据中用于测试的上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据;所述目标上报数据是所述目标服务器根据目标客户端发送的应用行为数据生成的;所述测试上报数据包括多个测试业务数据;

所述测试服务器对所述多个测试业务数据进行异常检测处理,得到异常业务数据和正常业务数据;

所述测试服务器输出所述异常业务数据和所述正常业务数据。

本发明实施例另一方面提供了一种测试数据处理方法,包括:

目标服务器接收目标客户端发送的应用行为数据,解析并填充所述应用行为数据,得到目标上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据;

所述目标服务器从所述目标上报数据中提取用于测试的测试上报数据;

所述目标服务器将所述测试上报数据发送至测试服务器,以使所述测试服务器输出所述测试上报数据中的异常业务数据和正常业务数据;所述异常业务数据和所述正常业务数据是所述测试服务器通过对所述测试上报数据中的多个测试业务数据进行异常检测处理后确定的。

本发明实施例另一方面提供了一种测试数据处理装置,包括:

第一接收模块,用于接收目标服务器发送的测试上报数据;所述测试上报数据是目标上报数据中用于测试的上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据;所述目标上报数据是所述目标服务器根据目标客户端发送的应用行为数据生成的;所述测试上报数据包括多个测试业务数据;

检测模块,用于对所述多个测试业务数据进行异常检测处理,得到异常业务数据和正常业务数据;

输出模块,用于输出所述异常业务数据和所述正常业务数据。

本发明实施例另一方面提供了一种测试数据处理装置,包括:

第二接收模块,用于接收目标客户端发送的应用行为数据,解析并填充所述应用行为数据,得到目标上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据;

第二提取模块,用于从所述目标上报数据中提取用于测试的测试上报数据;

发送模块,用于将所述测试上报数据发送至测试服务器,以使所述测试服务器输出所述测试上报数据中的异常业务数据和正常业务数据;所述异常业务数据和所述正常业务数据是所述测试服务器通过对所述测试上报数据中的多个测试业务数据进行异常检测处理后确定的。

本发明实施例另一方面提供了一种电子设备,包括:处理器和存储器;

所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如本发明实施例中一方面中的方法。

本发明实施例另一方面提供了一种电子设备,包括:处理器和存储器;

所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如本发明实施例中另一方面中的方法。

本发明实施例另一方面提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如本发明实施例中一方面中的方法。

本发明实施例另一方面提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如本发明实施例中另一方面中的方法。

本发明实施例通过在目标服务器将所有的目标上报数据写入数据仓库前,就将其中的测试上报数据转发至测试服务器,后续测试服务器就可以对测试上报数据进行异常检测,确定是否存在异常数据,并输出该异常数据,以完成对上报数据的测试。上述可知,通过直接从目标服务器旁路测试上报数据至测试服务器,而不是待目标上报数据生成上报日志文件后再从上报日志文件中提取其中的测试上报数据,可以节省目标上报数据生成上报日志文件的时间,也可以节省在上报日志文件中查找测试上报数据的时间,即缩短获取测试客户端上报数据的时间,进而提高测试客户端上报数据的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种测试数据处理的系统架构图;

图2是本发明实施例提供的一种测试数据处理方法的流程示意图;

图3是本发明实施例提供的一种可视化界面示意图;

图4是本发明实施例提供的另一种测试数据处理方法的流程示意图;

图5是本发明实施例提供的一种转发测试上报数据的示意图;

图6是本发明实施例提供的一种测试数据处理方法的交互示意图;

图7是本发明实施例提供的一种测试数据处理方法的组件结构图;

图8是本发明实施例提供的一种测试数据处理装置的结构示意图;

图9是本发明实施例提供的一种目标服务器的结构示意图;

图10是本发明实施例提供的一种电子设备的结构示意图;

图11是本发明实施例提供的另一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参见图1,是本发明实施例提供的一种测试数据处理的系统架构图。目标服务器通过交换机10d与用户终端集群建立连接,用户终端集群可以包括:用户终端10a、用户终端10b、...、用户终端10c,其中用户终端10a是测试人员所使用的测试终端,且测试终端10a(用户终端10a)所生成的上报数据是根据测试用例所生成的测试上报数据。

用户终端10a、用户终端10b、...、用户终端10c将各自生成的应用行为数据上报至目标服务器,目标服务器从接收到的应用行为数据中,提取出用于测试的应用行为数据,作为测试上报数据(也就是用户终端10a所生成的应用行为数据)。目标服务器将测试上报数据发送至测试服务器,测试服务器检测上述测试上报数据中是否存在异常上报,并输出测试上报数据中的正常数据和异常数据。后续目标服务器可以再将所有的应用行为数据写入数据仓库,用于存储。也可以是在目标服务器将测试上报数据发送至测试服务器的同时,并行地将所有用户终端的上报数据(应用行为数据)写入数据仓库。

其中,图1所示的用户终端10a、用户终端10b、用户终端10c等可以包括手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mid,mobileinternetdevice)、可穿戴设备(例如智能手表、智能手环等)等。

请参见图2,是本发明实施例提供的一种测试数据处理方法的流程示意图。如图2所示,测试数据处理方法可以包括:

步骤s101,测试服务器接收目标服务器发送的测试上报数据;所述测试上报数据是目标上报数据中用于测试的上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据;所述目标上报数据是所述目标服务器根据目标客户端发送的应用行为数据生成的;所述测试上报数据包括多个测试业务数据。

具体的,测试服务器(如上述图1对应实施例中的测试服务器)接收目标服务器(如上述图1对应实施例中的目标服务器)发送的测试上报数据,其中测试上报数据是目标上报数据中用于测试的上报数据,且目标上报数还没有写入目标服务器对应的数据仓库中,即目标上报数据还未入库。

换句话说,目标服务器在将所有的目标上报数据写入对应的数据仓库前,先从目标上报数据中选择并拷贝出测试上报数据,然后将该测试上报数据发送至测试服务器。后续目标服务器可以再将目标上报数据(当然是包括测试上报数据的)写入对应的数据仓库中(当然这个过程也可以并行,即目标服务器既向测试服务器发送测试上报数据,同时也将目标上报数据写入数据仓库,需要强调的是,目标服务器在未确定出测试上报数据前,目标上报数据暂不被写入数据仓库)。

与目标服务器对应的客户端称为目标客户端,目标上报数据是目标服务器接收到目标客户端发送的应用行为数据后,对该应用行为数据进行解析和填充后的数据。其中每个应用行为数据包括多个原始业务数据,每个原始业务数据是用于记录目标客户端中事件的发生或者描述状态,例如按钮点击的次数、运行目标客户端的时长等,目标客户端生成多个原始业务数据后,将多个原始业务数据打包为一个应用行为数据(即每个原始业务数据都是独立的),并发送至目标服务器,这样可以减少目标客户端和目标服务器之间的交互次数,降低目标服务器的负载。

下面对测试服务器如何接收目标服务器发送的测试上报数据进行具体的说明:测试服务器接收目标服务器发送的至少一个原始测试数据(即是前述中对应用行为数据解析和填充后的数据)。下述以一个原始测试数据为例进行说明,测试服务器根据原始测试数据所携带的系统路径信息,确定该原始测试数据的来源系统(不同app对应不同的来源系统,app上报数据的服务器可以都称为目标服务器)。

测试服务器根据该来源系统的系统类型,调整该原始测试数据的数据格式,使得调整后原始测试数据的数据格式与该来源系统匹配(例如,将所有的数据类型都转换为整数型,或者字符串型)。测试服务器再将数据格式调整后的原始测试数据中所包含的内容数据转换为数据交换格式(例如,json格式)的数据,得到满足目标存储格式的目标测试数据,其中具有数据交换格式的目标测试数据相比原始测试数据,易于用户阅读和编写,同时也易于机器解析和存储。

若存在多个原始测试数据,可以按照上述方式,将每个原始测试数据转换为对应的目标测试数据。

测试服务器获取业务配置条件,根据目标测试数据对应的数据类型以及业务类型,从至少一个目标测试数据中提取满足该业务配置条件的目标测试数据,作为测试上报数据,当然,其余不满足业务配置条件的目标测试数据可以被过滤。

举例来说,现有3个目标测试数据(与之对应的存在3个原始测试数据),且目标测试数据1的来源系统是系统a,目标测试数据2的来源系统是系统a,目标测试数据3的来源系统是系统c。业务配置条件为来源系统是系统a,因此上述3个目标测试数据中只有目标测试数据1和目标测试数据2是满足业务配置条件的,即目标测试数据1和目标测试数据2是测试上报数据。

测试服务器读取测试上报数据中所包含的多个测试业务数据,并将多个测试业务数据存储于测试服务器对应的目标数据库中。需要说明的,每个目标测试数据都包含多个测试业务数据(与前述中的原始业务数据对应),这是因为目标客户端生成了多个原始业务数据后才会向目标服务器上报一次应用行为数据。

可选的,测试服务器将每个测试业务数据所包含的字段称为目标字段(例如,uid,pathid,uname的均属于目标字段)。测试服务器获取用户输入的字段,作为输入字段,并在多个目标字段中查找与上述输入字段相同的目标字段,将查找到的目标字段对应的测试业务数据作为显示业务数据,在目标可视化界面中显示该显示业务数据。若输入字段的数量不止一个,测试服务器就将具有任一输入字段的测试业务数据作为显示业务数据。

请一并参见图3,是本发明实施例提供的一种可视化界面示意图,如图3所示,目标可视化界面30a中包括6种个目标字段,分别为:字段“用户id”、字段“用户名”、字段“路径信息”、字段“账户余额”、字段“数据时间戳”、字段“歌曲id”,测试服务器获取用户选择的字段作为输入字段,即4个输入字段包括:字段“用户id”、字段“路径信息”、字段“数据时间戳”、字段“歌曲id”,测试服务器将具有任一输入字段的测试业务数据作为显示业务数据,在目标可视化界面30a中显示该显示业务数据,如目标可视化界面30a所示,在界面中显示4条测试业务数据。

步骤s102,所述测试服务器对所述多个测试业务数据进行异常检测处理,得到异常业务数据和正常业务数据。

具体的,测试服务器在多个测试业务数据中,检测是否存在相同的测试业务数据,相同的测试业务数据是指两个测试业务数据所包含的目标字段相同,且同一个目标字段的两个测试业务数据的取值是相同的。

若存在相同的测试业务数据,测试服务器将相同的测试业务数据作为异常业务数据;对应地,测试服务器将所有测试业务数据中,除异常业务数据以外的测试业务数据作为正常业务数据。

举例来说,测试业务数据1为:[001(字段为用户id),1.1.12(字段为路径信息),70(字段为路径id)];测试业务数据2为:[001(字段为用户id),1.1.12(字段为网络地址),70(字段为路径id)],即上述两个测试业务数据是相同的测试业务数据,那么测试业务数据1与测试业务数据2是异常业务数据。

可选的,测试服务器分别提取出每个测试业务数据所包含的路径信息,称为目标路径信息。测试服务器在多个目标路径信息中查找不满足路径规则的目标路径信息,并将查找到的目标路径信息对应的测试业务数据作为异常业务数据;对应的,测试服务器将在多个目标路径信息中满足路径规则的目标路径信息,作为正常业务数据。

例如,测试业务数据1的目标路径信息为:个人主页\我的关注\日韩女歌手,路径规则为:个人主页\日韩歌手\日韩女歌手,即只有通过“日韩歌手”这个页面才能访问“日韩女歌手”页面,而测试业务数据1通过“我的关注”页面就可以访问“日韩女歌手”页面,因此测试业务数据1的目标路径信息是不满足路径规则的,因此测试业务数据1是异常业务数据。

可选的,用户可以自定义检测规则(称为输入规则),在多个测试业务数据中提取满足输入规则的测试业务数据,作为正常业务数据;对应地在多个测试业务数据中提取不满足输入规则的测试业务数据,作为异常业务数据。

可选的,每个业务测试数据中都存在页面标识(称为目标页面标识),该目标页面标识用于表征生成该业务测试数据所在的页面。当所有的测试业务数据是针对具有层级关系的多个目标页面的测试数据时,测试服务器根据每个测试业务数据包含的目标页面标识,以及曝光标识,统计每个目标页面的曝光量,目标页面的曝光量是指在目标客户端所在智能终端的屏幕中展示目标页面的次数,曝光标识用于表征对应目标页面是否被曝光。

测试服务器根据每个目标页面的曝光量,对多个目标页面进行排序,得到目标页面序列,其中目标页面序列可以是升序序列也可以是降序序列,当然若目标页面序列是升序序列,那么曝光量越大的目标页面排序就越靠前;若目标页面序列是降序序列,那么曝光量越小的目标页面排序就越靠前。测试服务器获取多个目标页面的标准页面序列,若标准页面序列与目标页面序列不同,可以将多个测试业务数据确定为异常业务数据;对应的,若标准页面序列与目标页面序列相同,可以将多个测试业务数据确定为正常业务数据。

举例来说,目标页面2是目标页面1的子页面,也就是说想要访问目标页面2必须先访问目标页面1,即目标页面1的曝光量应用大于或者目标页面2的曝光量。若根据测试业务数据1、测试业务数据2以及测试业务数据3分别对应的页面标识、曝光标识统计到目标页面1的曝光量小于目标页面2,说明测试业务数据1、测试业务数据2以及测试业务数据3是异常业务数据。

可选的,多个测试业务数据包括属于第一测试用例的第一定向数据和属于第二测试用例的第二定向数据,其中第一测试用例和第二测试用例可以属于自动测试用例。测试服务器获取第一测试用例的用例参数(称为第一用例参数)和第二测试用例的用例参数(第二用例参数),用例参数可以包括用例开始时间、用例结束时间和目标客户端所在智能终端的媒体访问控制地址(也称为mac地址)。测试服务器可以根据第一测试用例参数和第二测试用例参数,将多个测试业务数据划分为属于第一测试用例的第一定向测试数据和属于第二测试用例的第二定向测试数据。换句话说,即使测试服务器接收到不同智能终端、基于不同测试用例发送的测试上报数据(多个测试业务数据),也可以根据智能终端的mac地址、测试用例的用例开始时间、用例结束时间等用例参数将多个测试业务数据准确划分为属于不同智能终端、不同测试用例的测试上报数据。此处的第一测试用例和第二测试用例不限定于只有两个测试用例,只是为了对多个测试用例进行区别,即第一测试用例可以包含多个测试用例,第二测试用例也可以包含多个测试用例。

测试服务器根据第一定向测试数据所包含的测试业务数据对应的操作行为,以及上述每个测试业务数据的生成时间戳(称为数据时间戳,即生成每个测试业务数据的时间戳),对第一定向测试数据包含的操作行为进行排序,得到第一目标行为序列,其中第一目标行为序列可以是升序也可以是降序;对应地,测试服务器根据第二定向测试数据所包含的测试业务数据对应的操作行为,以及每个测试业务数据的数据时间戳,对第二定向测试数据包含的操作行为进行排序,得到第二目标行为序列,其中第二目标行为序列可以是升序也可以是降序。

测试服务器获取第一测试用例包含的操作行为的行为顺序,作为第一标准行为序列,再获取第二测试用例包含的操作行为的行为顺序,作为第二标准行为序列。

若第一目标行为序列与第一标准行为序列不同,且第二目标行为序列与第二标准行为序列也不同,测试服务器可以将第一定向测试数据和第二定向测试数据(即是所有的测试业务数据)均确定为异常业务数据。

若第一目标行为序列与第一标准行为序列不同,且第二目标行为序列与第二标准行为序列相同,测试服务器可以将多个测试业务数据中的第一定向测试数据确定为异常业务数据,并将剩余的第二定向测试数据确定为正常业务数据。

若第一目标行为序列与第一标准行为序列相同,且第二目标行为序列与第二标准行为序列不同,测试服务器可以将多个测试业务数据中的第一定向测试数据确定为正常业务数据,并将第二定向测试数据确定为异常业务数据。

若第一目标行为序列与第一标准行为序列相同,且第二目标行为序列与第二标准行为序列相同,测试服务器可以将第一定向测试数据和第二定向测试数据(即是所有的测试业务数据)均确定为正常业务数据。

换句话说,第一目标行为序列与第一标准行为序列是否相同,会决定第一定向测试数据是否为异常业务数据;第二目标行为序列与第二标准行为序列是否相同,会决定第二定向测试数据是否为异常业务数据。

需要说明的,前述中涉及通过是否有相同测试业务数据、路径规则、页面曝光量、行为序列等检测方式来确定多个测试业务数据中的异常业务数据和正常业务数据。还可以对上述检测方式进行任意顺序的组合叠加,以作为检测多个测试业务数据中是否存在异常业务数据的手段。例如,可以先通过是否存在相同测试业务数据检测出异常业务数据和正常业务数据,然后在进一步地通过路径规则再在正常业务数据中检测是否存在异常业务数据,通过一步一步的精确检测,可以准确识别出多个测试业务数据中的异常业务数据。

步骤s103,所述测试服务器输出所述异常业务数据和所述正常业务数据。

具体的,测试服务器数据输出识别出来的异常业务数据和正常业务数据,例如,可以在屏幕中以网页的方式显示异常业务数据,或者根据异常业务数据生成异常提示消息,用于提示用户异常业务数据,以方便用户后续排查上述异常业务数据所对应的功能模块,或者可以根据异常业务数据生成邮件,并将包含异常业务数据的邮件发送至对应的测试人员。

可选的,测试服务器还可以检测出老版本客户端所上报的数据中是否存在遗漏上报数据。具体过程为:测试服务器拉取参考业务数据,其中参考业务数据与多个测试业务数据是不同版本的目标客户端执行相同的系统测试用例所生成的测试数据,其中参考业务数据对应的版本时间戳小于多个测试业务数据对应的版本时间戳。

也可以理解为,参考业务数据是老版本目标客户端执行系统测试用例后上报的数据,多个测试业务数据是新版本目标客户端执行系统测试用例后上报的数据。测试服务器提取参考业务数据中所包含的页面标识,作为参考页面标识,当然测试业务数据也是包含页面标识的(即是前述中的目标页面标识)。

测试服务器从多个测试业务数据中,将具有该参考页面标识的测试业务作为标准业务数据,通过筛选相同的页面标识,使得标准业务数据与参考业务数据是对应于同一功能模块的测试数据。测试服务器从标准业务数据中提取不属于参考业务数据的测试业务数据,作为遗漏业务数据(遗漏业务数据就是存在于新版本对应的测试数据中,但不存在与老版本对应的测试数据中),并输出(可以网页展示,也可以将遗漏业务数据邮件发送至对应的测试人员)该遗漏业务数据。

举例来说,多个测试业务数据包括:业务数据a1、业务数据a2、业务a3以及测试业务数据a4,且业务数据a1、业务数据a2、业务a3的页面标识为页面1,业务数据a4的页面标识为页面2。拉取的参考业务数据为:业务数据a1、业务数据a2,且业务数据a1、业务数据a2的页面标识为页面1,因此在多个测试业务数据中可以确定业务数据a1、测试业务数据a2、测试业务a3是标准业务数据,属于标准测试业务数据但不属于参考业务数据的是:业务数据a3,因此业务数据a3是遗漏业务数据。

上述可知,通过直接从目标服务器旁路测试上报数据至测试服务器,而不是待测试上报数据从目标服务器写入数据仓库后再从数据仓库中提取,可以节省大量测试上报数据入库、在数据仓库中查找测试上报数据的时间,,即缩短测试客户端上报数据的时间,进而提高测试客户端上报数据的效率。

请参见图4,是本发明实施例提供的另一种测试数据处理方法的流程示意图,如图4所示,测试数据处理方法包括如下步骤:

步骤s201,目标服务器接收目标客户端发送的应用行为数据,解析并填充所述应用行为数据,得到目标上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据。

具体的,目标客户端生成多个原始业务数据,将多个原始业务数据打包压缩为应用行为数据,并将该应用行为数据发送至与该目标客户端对应的目标服务器。

目标服务器接收到应用行为数据后,若应用行为数据中的原始业务数据存在空白字段,首先解析空白字段然后在对应的目标文件中查找空白字段的取值,将查找到取值填充入原始业务数据中,对所有的原始业务数据进行上述处理后,可以得到与应用行为数据对应的目标上报数据,目标上报数据包括多个解析数据,每个解析数据是指对每个原始业务数据解析、填充后的数据。

步骤s202,所述目标服务器从所述目标上报数据中提取用于测试的测试上报数据。

具体的,当目标上报数据包括至少一个单位上报数据时(即目标上报数据的数量为多个),目标客户端需要从至少一个单位上报数据中提取出用于测试的测试上报数据。具体过程为:目标服务器检测自身的网络地址,作为测试网络地址。若该测试网络地址存在于内网地址列表中,说明该目标服务器处于测试环境或者说是处于内网环境,目标服务器将所有的单位上报数据确定为测试上报数据,也就是说,根据处于测试环境的服务器所接收到的应用行为数据所生成的目标上报数据,都是用于测试的测试上报数据,这是因为处于测试环境的服务器只会与处于测试环境的目标客户端进行通信。

若测试网络地址不存在于内网地址列表中,测试服务器分别提取每个单位上报数据的中所包含多个解析数据中的目标用户标识(需要说明的是,每个单位上报数据中都包含了多个解析数据(解析数据是对原始上报数据解析、填充后的数据),但属于同一个单位上报数据中的解析数据的目标用户标识是相同的),将存在于测试用户标识列表中的目标用户标识对应的单位上报数据,作为测试上报数据。

举例来说,目标上报数据包括:单位上报数据1(单位上报数据1中所有解析数据的目标用户标识均为用户1)、单位上报数据2(单位上报数据2中所有解析数据的目标用户标识均为用户2)以及单位上报数据3(单位上报数据3中所有解析数据的目标用户标识均为用户3),若测试服务器的测试网络地址不存在于内网地址列表中,且测试用户标识列表中包括用户1与用户3,因此单位上报数据1与单位上报数据3为测试上报数据。

步骤s203,所述目标服务器将所述测试上报数据发送至测试服务器,以使所述测试服务器输出所述测试上报数据中的异常业务数据和正常业务数据;所述异常业务数据和所述正常业务数据是所述测试服务器通过对所述测试上报数据中的多个测试业务数据进行异常检测处理后确定的。

具体的,目标服务器包括通用网关接口(commongatewayinterface,cgi)和后台发送接口,上述两个接口都是用于发送目标客户端的应用行为数据至目标服务器对应的数据仓库中,且后台发送接口位于通用网关接口之后,数据流顺序是:目标客户端→通用网关接口→后台发送接口→数据仓库。

测试上报数据的发送类型包括第一发送类型和第二发送类型,当需要将测试上报数据发送至目标数据仓库时,若测试上报数据是直接从通用网关接口发送至数据仓库,那么该测试上报数据的发送类型属于第一类型;若测试上报数据是从通用网关接口和后台发送接口发送至数据仓库,那么该测试上报数据的发送类型属于第二类型。当测试上报数据属于第一发送类型时,目标服务器中的通用网关接口直接将测试上报数据发送至测试服务器,当测试上报数据属于第二发送类型时,目标服务器中的通用网关接口和后台发送接口将测试上报数据发送至测试服务器。

请一并参见图5,是本发明实施例提供的一种转发测试上报数据的示意图,如图5所示,目标服务器包括通用网关接口以及后台发送接口,且后台发送接口位于通过网关接口之后。目标客户端将测试上报数据发送至通用网关接口后,若目标服务器检测到该测试上报数据后续是直接从通用网关接口发送至数据仓库,那么说明该测试上报数据属于第一发送类型,因此目标服务器中的通用网关接口将上述测试上报数据直接转发至测试服务器,测试服务器接收并存储该测试上报数据。若目标服务器检测到该测试上报数据后续是经由通用网关接口、后台发送接口发送至数据仓库,那么说明该测试上报数据属于第二发送类型,因此目标服务器中的通用网关接口、后台发送接口将上述测试上报数据转发至测试服务器,测试服务器接收并存储该测试上报数据

请参见图6,是本发明实施例提供的一种测试数据处理方法的交互示意图。测试服务器包括数据接收器和上报分析器,测试数据处理方法包括:

步骤s301,自动测试接口向测试服务器中的数据接收器发送任务开始消息。

具体的,自动测试接口可以驱使对应的目标客户端自动执行自动测试用例(如前述中的第一测试用例和第二测试用例),以生成测试上报数据。自动测试接口创建测试任务,并向数据接收器发送任务开始消息,该任务开始消息携带任务id。

步骤s302,数据接收器向自动测试接口反馈同意任务的回复消息。

步骤s303,自动测试接口向数据接收器发送开始执行自动测试用例的消息。

具体的,自动测试接口向数据接收器发送开始执行自动测试用例的用例开始消息,该用例开始消息中携带该用例开始消息所属任务的任务id,执行该自动测试用例的目标客户端所在的智能终端的mac地址,以及目标客户端执行该自动测试用例的用例开始时间。

步骤s304,数据接收器向自动测试接口反馈同意执行自动测试用例的回复消息。

步骤s305,自动测试接口通知目标客户端执行自动测试用例。

步骤s306,目标客户端执行自动测试用例,并向目标服务器发送测试上报数据。

具体的,目标客户端根据自动测试接口发送的通知,自动执行自动测试用例,并向目标服务器发送执行自动测试用例后所生成的应用行为数据。

步骤s307,目标服务器向数据接收器发送测试上报数据。

具体的,由于执行自动测试用例的目标客户端是处于测试环境的,且处于测试环境的目标客户端所交互的目标服务器也是处于测试环境的,因此目标服务器可以检测到自身处于测试环境。目标服务器可以将应用行为数据据解析并填充为目标上报数据后,直接将目标上报数据确定为测试上报数据,目标服务器再将该测试上报数据发送至数据接收器。其中,目标服务器根据应用行为数据生成目标上报数据,并近一步确定测试上报数据的具体过程可以参见上述图4对应实施例中的步骤s201-步骤s202。

步骤s308,目标客户端通知自动测试接口自动测试用例执行完毕。

步骤s309,自动测试接口向数据接收器发送任务结束消息。

具体的,自动测试接口向数据接收器发送用例结束消息,该用例结束消息中携带该用例结束消息所属任务的任务id,执行该自动测试用例的目标客户端所在的智能终端的mac地址,以及目标客户端执行该自动测试用例的用例结束时间。

步骤s310,数据接收器向自动测试接口反馈同意结束自动测试用例的回复消息。

步骤s311,自动测试接口向数据接收器发送任务结束消息。

步骤s312,数据接收器向自动测试接口反馈同意结束任务的回复消息。

步骤s313,数据接收器通知上报分析器分析测试上报数据。

具体的,数据接收器通知测试服务器中的上报分析器分析测试上报数据,上报分析器用于分析测试上报数据中的多个测试业务数据中是否存在异常业务数据,若上报分析器检测到存在异常业务数据,可以将异常业务数据通过邮件发送至测试人员所绑定的智能终端。其中,上报分析器检测是否存在异常业务数据的具体过程可以参见上述图2对应实施例中的步骤s102。

请参见图7,是本发明实施例提供的一种测试数据处理方法的组件结构图,如图7所示,目标服务器中的测试上报数据转发组件接收来自处于外网环境的目标客户端所生成的测试上报数据,或者日常测试所生成的测试上报数据以及通过执行自动测试用例所生成的测试上报数据,目标服务器中的测试上报数据转发组件将接收到的测试上报数据转发至测试服务器中的测试上报数据接收组件。测试服务器中的监控及分析模块对接收到的测试上报数据进行异常检测,以确定测试上报数据中多个测试业务数据中的正常业务数据和异常业务数据,其中可以通过查询遗漏业务数据,统计分析每日数据、分析自动化测试用例所生成的测试上报数据中操作行为序列,以及基于规则的方式确定异常业务数据和正常业务数据,且用户可以通过规则录入模块自定义规则,以及通过表格解析模块确定规则,上述所涉及的异常检测的具体过程可以参见上述图2对应实施例中的步骤s102。监控及分析模块检测出异常业务数据和正常业务数据后,可以基于存储模块将异常业务数据和正常业务数据分开存储,同时基于展示模块网页展示(或者邮件通知测试人员)异常业务数据和正常业务数据。

上述可知,通过直接从目标服务器旁路测试上报数据至测试服务器,而不是待测试上报数据从目标服务器写入数据仓库后再从数据仓库中提取,可以节省大量测试上报数据入库、在数据仓库中查找测试上报数据的时间,,即缩短测试客户端上报数据的时间,进而提高测试客户端上报数据的效率。

进一步的,请参见图8,是本发明实施例提供的一种测试数据处理装置的结构示意图。如图8所示,测试数据处理装置1可以应用于上述图2-图7对应实施例中的测试服务器,测试数据处理装置1可以包括:第一接收模块11、检测模块12、输出模块13。

第一接收模块11,用于接收目标服务器发送的测试上报数据;所述测试上报数据是目标上报数据中用于测试的上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据;所述目标上报数据是所述目标服务器根据目标客户端发送的应用行为数据生成的;所述测试上报数据包括多个测试业务数据;

检测模块12,用于对所述多个测试业务数据进行异常检测处理,得到异常业务数据和正常业务数据;

输出模块13,用于输出所述异常业务数据和所述正常业务数据。

其中,第一接收模块11、检测模块12、输出模块13的具体功能实现方式可以参见上述图2对应实施例中的步骤s101-步骤s103,这里不再进行赘述。

请参见图8,第一接收模块11可以包括:接收单元111、第一提取单元112、读取单元113。

接收单元111,用于接收所述目标服务器发送的至少一个原始测试数据,并根据原始测试数据对应的来源系统,将所述至少一个原始测试数据分别转换为目标存储格式的目标测试数据;

第一提取单元112,用于根据所述目标测试数据的数据类型和业务类型,从至少一个目标测试数据中提取满足业务配置条件的目标测试数据,作为所述测试上报数据;

读取单元113,用于读取所述测试上报数据中所包含的多个测试业务数据,并将所述多个测试业务数据依次存储于目标数据库中。

其中,接收单元111、第一提取单元112、读取单元113的具体功能实现方式可以参见上述图2对应实施例中的步骤s101,这里不再进行赘述。

请参见图8,测试数据处理装置1可以包括:第一接收模块11、检测模块12、输出模块13,还可以包括:组合模块14、第一获取模块15、显示模块16。

组合模块14,用于提取每个测试业务数据所包含的目标字段;

第一获取模块15,用于获取输入字段,并将在多个目标字段中与所述输入字段相同的目标字段对应的测试业务数据,作为显示业务数据;

显示模块16,用于在目标可视化界面中显示所述显示业务数据。

其中,组合模块14、第一获取模块15、显示模块16的具体功能实现方式可以参见上述图2对应实施例中的步骤s101,这里不再进行赘述。

请参见图8,检测模块12可以包括:提取单元121、第一确定单元122。

提取单元121,用于在所述多个测试业务数据中,提取相同的测试业务数据,作为所述异常业务数据;

第一确定单元122,用于将在所述多个测试业务数据中除所述异常业务数据以外的测试业务数据作为所述正常业务数据。

其中,提取单元121、第一确定单元122的具体功能实现方式可以参见上述图2对应实施例中的步骤s102,这里不再进行赘述。

请参见图8,检测模块12可以包括:组合单元123、第二确定单元124。

组合单元123,用于提取每个测试业务数据包含的目标路径信息;

第二确定单元124,用于将在多个目标路径信息中不满足路径规则的目标路径信息对应的测试业务数据,作为所述异常业务数据;

所述第二确定单元124,还用于将在所述多个目标路径信息中满足所述路径规则的目标路径信息对应的测试业务数据,作为所述正常业务数据。

其中,组合单元123、第二确定单元124的具体功能实现方式可以参见上述图2对应实施例中的步骤s102,这里不再进行赘述。

请参见图8,所述多个测试业务数据是针对具有层级关系的多个目标页面的测试数据;

检测模块12可以包括:统计单元125、第三确定单元126。

统计单元125,用于根据每个测试业务数据包含的目标页面标识,统计每个目标页面的曝光量,并根据所述曝光量对所述多个目标页面进行排序,得到目标页面序列;

所述统计单元125,还用于获取所述多个目标页面的标准页面序列;

第三确定单元126,用于若所述标准页面序列与所述目标页面序列不同,则将所述多个测试业务数据确定为所述异常业务数据;

所述第三确定单元126,还用于若所述标准页面序列与所述目标页面序列相同,则将所述多个测试业务数据确定为所述正常业务数据。

其中,统计单元125、第三确定单元126的具体功能实现方式可以参见上述图2对应实施例中的步骤s102,这里不再进行赘述。

请参见图8,所述多个测试业务数据包括第一定向测试数据和第二定向测试数据

检测模块12可以包括:获取单元127、划分单元128、识别单元129。

获取单元127,用于获取第一测试用例的第一用例参数和第二测试用例的第二用例参数;

划分单元128,用于根据所述第一用例参数和所述第二用例参数,将所述多个测试业务数据划分为属于第一测试用例的第一定向测试数据,和第二测试用例的第二定向测试数据;

所述划分单元128,还用于根据所述第一定向测试数据对应的数据时间戳,确定所述第一定向测试数据包含的第一目标行为序列,并根据所述第二定向测试数据对应的数据时间戳,确定所述第二定向测试数据包含的第二目标行为序列;

所述划分单元128,还用于获取与所述第一测试用例对应的第一标准行为序列,并获取与所述第二测试用例对应的第二标准行为序列;

识别单元129,用于根据所述第一目标行为序列、第二目标行为序列、第一标准行为序列以及第二标准行为序列,识别所述多个测试业务数据中的异常业务数据和正常业务数据。

其中,获取单元127、划分单元128、识别单元129的具体功能实现方式可以参见上述图2对应实施例中的步骤s102,这里不再进行赘述。

请参见图8,识别单元129可以包括:第一确定子单元1291、第二确定子单元1292。

第一确定子单元1291,用于若所述第一目标行为序列与所述第一标准行为序列不同,且所述第二目标行为序列与所述第二标准行为序列不同,则将所述多个测试业务数据确定为所述异常业务数据;

所述第一确定子单元1291,还用于若所述第一目标行为序列与所述第一标准行为序列相同,且所述第二目标行为序列与所述第二标准行为序列不同,则将所述第一定向测试数据确定为正常业务数据,并将所述第二定向测试数据确定为异常业务数据;

第二确定子单元1292,用于若所述第一目标行为序列与所述第一标准行为序列不相同,且所述第二目标行为序列与所述第二标准行为序列相同,则将所述第一定向测试数据确定为异常业务数据,并将所述第一定向测试数据确定为正常业务数据;

所述第二确定子单元1292,还用于若所述第一目标行为序列与所述第一标准行为序列相同,且所述第二目标行为序列与所述第二标准行为序列相同,则将所述多个测试业务数据确定为所述正常业务数据。

其中,第一确定子单元1291、第二确定子单元1292的具体功能实现方式可以参见上述图2对应实施例中的步骤s102,这里不再进行赘述。

请参见图8,测试数据处理装置1可以包括:第一接收模块11、检测模块12、输出模块13、组合模块14、第一获取模块15、显示模块16,还可以包括:第二获取模块17、确定模块18。

第二获取模块17,用于获取参考业务数据;所述参考业务数据与所述多个测试业务数据是不同版本的目标客户端执行系统测试用例所生成的测试数据,且所述参考业务数据对应的版本时间戳小于所述多个测试业务数据对应的版本时间戳;

确定模块18,用于从所述参考业务数据中提取参考页面标识,并将具有所述参考页面标识的测试业务数据,作为标准业务数据;

所述确定模块18,还用于在所述标准业务数据中提取不属于所述参考业务数据的测试业务数据,作为遗漏业务数据,并输出所述遗漏业务数据。

其中,第二获取模块17、确定模块18的具体功能实现方式可以参见上述图2对应实施例中的步骤s103,这里不再进行赘述。

进一步的,请参见图9,是本发明实施例提供的一种目标服务器的结构示意图,目标服务器包括:测试数据处理装置2和通用网关接口以及后台发送接口。如图9所示,测试数据处理装置2可以包括:第二接收模块21、第二提取模块22、发送模块23。

第二接收模块21,用于接收目标客户端发送的应用行为数据,解析并填充所述应用行为数据,得到目标上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据;

第二提取模块22,用于从所述目标上报数据中提取用于测试的测试上报数据;

发送模块23,用于将所述测试上报数据发送至测试服务器,以使所述测试服务器输出所述测试上报数据中的异常业务数据和正常业务数据;所述异常业务数据和所述正常业务数据是所述测试服务器通过对所述测试上报数据中的多个测试业务数据进行异常检测处理后确定的。

其中,第二接收模块21、第二提取模块22、发送模块23的具体功能实现方式可以参见上述图4对应实施例中的步骤s201步骤s203,这里不再进行赘述。

请参见图9,目标上报数据包括至少一个单位上报数据;

第二提取模块22可以包括:地址确定单元221、数据确定单元222。

地址确定单元221,用于获取所述目标服务器的网络地址,作为测试网络地址;

数据确定单元222,用于若所述测试网络地址存在于内网地址列表中,则将所述至少一个单位上报数据确定为所述测试上报数据;

所述数据确定单元222,还用于若所述测试网络地址不存在于内网地址列表中,则从所述至少一个单位上报数据中分别提取目标用户标识,并将存在于测试用户标识列表中的目标用户标识对应的单位上报数据,确定为所述测试上报数据。

其中,地址确定单元221、数据确定单元222的具体功能实现方式可以参见上述图4对应实施例中的步骤s202,这里不再进行赘述。

请参见图9,目标服务器包括通用网关接口和后台发送接口;

当所述测试上报数据属于第一发送类型时,通过所述通用网关接口将所述测试上报数据发送至所述测试服务器;所述第一发送类型是指从所述通用网关接口发送至所述目标服务器中的数据仓库的发送类型;

当所述测试上报数据属于第二发送类型时,通过所述通用网关接口和所述后台发送接口将所述测试上报数据发送至所述测试服务器;所述第二发送类型是指从所述通用网关接口和所述后台发送接口发送至所述数据仓库的发送类型。

进一步地,请参见图10,是本发明实施例提供的一种电子设备的结构示意图。上述图2-图7对应实施例中的测试服务器可以为电子设备1000,如图10所示,所述电子设备1000可以包括:用户接口1002、处理器1004、编码器1006以及存储器1008。信号接收器1016用于经由蜂窝接口1010、wifi接口1012、...、或nfc接口1014接收或者发送数据。编码器1006将接收到的数据编码为计算机处理的数据格式。存储器1008中存储有计算机程序,处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。存储器1008可包括易失性存储器(例如,动态随机存取存储器dram),还可以包括非易失性存储器(例如,一次性可编程只读存储器otprom)。在一些实例中,存储器1008可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至电子设备1000。用户接口1002可以包括:接收机1018和显示器1020。

在图10所示的电子设备1000中,处理器1004可以用于调用存储器1008中存储计算机程序,以实现:

接收目标服务器发送的测试上报数据;所述测试上报数据是目标上报数据中用于测试的上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据;所述目标上报数据是所述目标服务器根据目标客户端发送的应用行为数据生成的;所述测试上报数据包括多个测试业务数据;

对所述多个测试业务数据进行异常检测处理,得到异常业务数据和正常业务数据;

输出所述异常业务数据和所述正常业务数据。

应当理解,本发明实施例中所描述的电子设备1000可执行前文图2到图3所对应实施例中对所述测试数据处理方法的描述,也可执行前文图8所对应实施例中对所述测试数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。

此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的测试数据处理装置1所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图2到图3所对应实施例中对所述测试数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。

进一步地,请参见图11,是本发明实施例提供的另一种电子设备的结构示意图。上述图2-图7对应实施例中的目标服务器可以为电子设备2000,如图11所示,所述电子设备2000可以包括:用户接口2002、处理器2004、编码器2006以及存储器2008。信号接收器2016用于经由蜂窝接口2010、wifi接口2012、...、或nfc接口2014接收或者发送数据。编码器2006将接收到的数据编码为计算机处理的数据格式。存储器2008中存储有计算机程序,处理器2004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。存储器2008可包括易失性存储器(例如,动态随机存取存储器dram),还可以包括非易失性存储器(例如,一次性可编程只读存储器otprom)。在一些实例中,存储器2008可进一步包括相对于处理器2004远程设置的存储器,这些远程存储器可以通过网络连接至电子设备2000。用户接口2002可以包括:接收机2018和显示器2020。

电子设备2000还可以包括:通用网关接口2021和后台发送接口2022,通用网关接口2021和后台发送接口2022用于发送数据。

在图11所示的电子设备2000中,处理器2004可以用于调用存储器2008中存储计算机程序,以实现:

接收目标客户端发送的应用行为数据,解析并填充所述应用行为数据,得到目标上报数据;所述目标上报数据是指未在所述目标服务器中入库的数据;

从所述目标上报数据中提取用于测试的测试上报数据;

将所述测试上报数据发送至测试服务器,以使所述测试服务器输出所述测试上报数据中的异常业务数据和正常业务数据;所述异常业务数据和所述正常业务数据是所述测试服务器通过对所述测试上报数据中的多个测试业务数据进行异常检测处理后确定的。

应当理解,本发明实施例中所描述的电子设备2000可执行前文图4-图7所对应实施例中对所述测试数据处理方法的描述,也可执行前文图9所对应实施例中对所述测试数据处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。

此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的测试数据处理装置2所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图4-图7所对应实施例中对所述测试数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1