一种数据处理方法、装置、电子设备及存储介质与流程

1.本发明涉及信息采集及处理领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。


背景技术：

2.随着互联网技术的快速进步，支持业务的后台系统也变得越来越复杂。当面临系统重构、拆分时，业务回归测试显得尤为重要。尽管现在已经有很多的自动化回归测试方案，但是这些方案都是建立在需要工作人员自行编写准备大而全的回归测试用例才能进行正常的回归测试，否则若回归测试的测试用例数量不足，则无法起到测试的目的。故而准备回归测试用例还是目前的一大难题。


技术实现要素：

3.有鉴于此，本发明提供一种数据处理方法、装置、电子设备及存储介质，至少部分解决现有技术中存在的问题。
4.根据本技术的一个方面，提供一种数据处理方法，应用于数据采集服务器，所述数据采集服务器与请求响应服务器通讯连接，所述请求响应服务器与至少一个客户端通讯连接；所述方法包括：从所述请求响应服务器获取待处理信息；所述待处理信息包括所述客户端向所述请求响应服务器发送的请求数据a以及所述请求响应服务器针对所述请求数据反馈给所述客户端的原始响应数据b0；确定所述请求数据对应的目标接口；所述目标接口属于所述请求响应服务器；在所述请求响应服务器的生产环境中，以第一时间间隔向所述目标接口间隔发送两次a，分别得到第一响应数据b1和第二响应数据b2；获取f(b1,b2)，f()为预设的存储在配置文件中的第一比较函数；在所述请求响应服务器的灰度环境中，向所述目标接口发送一次a，得到第三响应数据b3；获取g(b1,b3)，g()为预设的存储在配置文件中的第二比较函数；在g(b1,b3)小于或等于f(b1,b2)的情况下，将待处理信息作为测试样例存入样例集合中，并建立所述待处理信息和所述目标接口的关联关系，所述样例集合中的每一测试样例均具有对应的目标接口。
5.在本技术的一种示例性实施例中，在所述确定所述请求数据对应的目标接口之前，所述方法还包括：通过标识生成器为所述待处理信息生成标识信息；将所述标识信息嵌入所述待处理信息的请求数据a中；所述建立所述待处理信息和所述目标接口的关联关系，包括：
将所述待处理信息对应的标识信息储存至标识列表，并建立所述标识信息与所述目标接口的关联关系。
6.在本技术的一种示例性实施例中，在所述从所述请求响应服务器获取待处理信息之后，所述方法还包括：确定所述待处理信息是否包含对应的标识信息；若不包含，则抛弃所述待处理信息。
7.在本技术的一种示例性实施例中，所述方法还包括：接收待上线数据包；所述待上线数据包用于在所述请求响应服务器进行安装；将所述待上线数据包安装至所述响应服务器的灰度环境内；根据所述待上线数据包确定待测试接口；根据所述标识列表，确定所述待测试接口对应的若干目标标识信息，所述目标标识信息均与所述待测试接口具有关联关系；从所述样例集合中依次获取每一目标标识信息对应的测试样例，并根据所述测试样例对所述待测试接口进行接口测试；生成所述待测试接口对应的测试报告，所述测试报告中包括测试样例数量y1、测试成功数量y2和测试失败数量y3。
8.在本技术的一种示例性实施例中，所述根据所述测试样例对所述待测试接口进行接口测试，包括：在所述请求响应服务器的灰度环境中，将所述测试样例中的请求数据发送至所述待测试接口；获取所述请求响应服务器根据所述测试样例的请求数据反馈的第四响应数据c1；获取h(c0,c1)，其中，c0为所述测试样例中的原始响应数据，h()为预设的存储在配置文件中的第三比较函数；在h(c0,c1)大于α的情况下，将所述测试样例标记为测试失败；在h(c0,c1)小于等于α的情况下，将所述测试样例标记为测试成功。
9.在本技术的一种示例性实施例中，所述方法还包括：获取k(y1,y2,y3)，其中，k()为预设的存储在配置文件中的处理函数；在k(y1,y2,y3)大于β的情况下，将所述待上线数据包安装至所述请求响应服务器。
10.在本技术的一种示例性实施例中，所述方法还包括：在k(y1,y2,y3)小于或等于β的情况下，根据被标记为测试失败的测试样例，生成参考数据集合。
11.根据本技术的一个方面，提供一种数据处理装置，应用于数据采集服务器，所述数据采集服务器与请求响应服务器通讯连接，所述请求响应服务器与至少一个客户端通讯连接；所述装置包括：获取模块，用于从所述请求响应服务器获取待处理信息；所述待处理信息包括所述客户端向所述请求响应服务器发送的请求数据a以及所述请求响应服务器针对所述请求数据反馈给所述客户端的原始响应数据b0；
确定模块，用于确定所述请求数据对应的目标接口；所述目标接口属于所述请求响应服务器；第一发送模块，用于在所述请求响应服务器的生产环境中，以第一时间间隔向所述目标接口间隔发送两次a，分别得到第一响应数据b1和第二响应数据b2；第一比较模块，用于获取f(b1,b2)，f()为预设的存储在配置文件中的第一比较函数；第二发送模块，用于在所述请求响应服务器的灰度环境中，向所述目标接口发送一次a，得到第三响应数据b3；第二比较模块，用于获取g(b1,b3)，g()为预设的存储在配置文件中的第二比较函数；存储模块，用于在g(b1,b3)小于或等于f(b1,b2)的情况下，将待处理信息作为测试样例存入样例集合中，并建立所述待处理信息和所述目标接口的关联关系，所述样例集合中的每一测试样例均具有对应的目标接口。
12.根据本技术的一个方面，提供一种电子设备，包括处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行上述任一项所述方法的步骤。
13.根据本技术的一个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行上述任一项所述方法的步骤。
14.本技术提供的数据处理方法，能够自动从请求响应服务器获取待处理信息，并通过将待处理信息中的请求数据a分别在生产环境向目标端口发送两次、灰度环境向目标端口发送一次，以此的到b1、b2、b3，并根据g(b1,b3)和f(b1,b2)的比较结果，确定待处理信息是否能够用作测试样例，已达到自动生成测试样例的效果。避免了工作人员人为编写大量测试样例的问题。
附图说明
15.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
16.图1为本实施例提供的一种数据处理方法的流程图。
具体实施方式
17.下面结合附图对本发明实施例进行详细描述。
18.需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
19.需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。
举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
20.请参考图1所示，根据本技术的一个方面，提供一种数据处理方法，应用于数据采集服务器，所述数据采集服务器与请求响应服务器通讯连接，所述请求响应服务器与至少一个客户端通讯连接；所述方法包括：步骤s100，从所述请求响应服务器获取待处理信息。所述待处理信息包括所述客户端向所述请求响应服务器发送的请求数据a以及所述请求响应服务器针对所述请求数据反馈给所述客户端的原始响应数据b0。
21.具体的，本实施例中，从请求响应服务器获取待处理信息可以看作为对线上流量进行流量录制，也就是获取请求响应服务器和客户端之间的通讯数据，并将一组对应的请求数据和原始响应数据作为一条数据也就是待处理信息。具体的可以基于jvm-sandbox-repeater工具实现线上流量录制功能，当用户访问app（即客户端）时，用户的请求数据会通过gateway网关进入到服务器内部系统。其中，可以利用kafka充当数据管道，接收线上用户请求数据，再将所有数据转发给flink，由flink进行实时处理后存储至数据库中。
22.步骤s200，确定所述请求数据对应的目标接口。所述目标接口属于所述请求响应服务器。
23.在用于通过客户端对一些功能进行访问时，其实是将请求数据发送到请求响应服务对应的接口，以使请求访问服务器生成对应的响应数据并反馈。本实施例中，可以通过对请求数据进行分析，确定请求数据访问的功能，从而确定出目标接口。可以直接通过待处理消息中直接嵌入的端口信息确定目标接口，其中，待处理消息中嵌入的端口信息可以是请求响应服务器在生成待处理消息时直接嵌入的。
24.步骤s300，在所述请求响应服务器的生产环境中，以第一时间间隔向所述目标接口间隔发送两次a，分别得到第一响应数据b1和第二响应数据b2。其中，第一时间间隔可以为0.1s-10s。
25.步骤s400，获取f(b1,b2)，f()为预设的存储在配置文件中的第一比较函数。
26.步骤s500，在所述请求响应服务器的灰度环境中，向所述目标接口发送一次a，得到第三响应数据b3。
27.步骤s600，获取g(b1,b3)，g()为预设的存储在配置文件中的第二比较函数。
28.其中，第一比较函数用于比较b1和b2中的内容不同的字段的数量，第二比较函数用于比较b1和b3中的内容不同的字段的数量。第一比较函数和第二比较函数可以是相同的也可以是不同的。其中，内容不同的字段可以是时间戳、随机生成的数字等对应的字段。本实施例中，第一比较函数和第二比较函数是相同的。
29.步骤s700，在g(b1,b3)小于或等于f(b1,b2)的情况下，将待处理信息作为测试样例存入样例集合中，并建立所述待处理信息和所述目标接口的关联关系，所述样例集合中的每一测试样例均具有对应的目标接口。
30.回归测试是将不同迭代中同一接口的响应数据进行对比，若结果中存在差异，则本条测试样例执行失败。而实际上，真实的响应数据中可能会涉及到时间戳、随机生成的数
字等动态信息，这些动态信息导致的差异不应该影响测试结果。因此我们需要对确定待处理信息是否适合作为测试样例。本实施例中，通过在不同的时间和不同的环境下向目标接口发送相同的请求数据，并根据每次发送对应的响应信息之间的不同点的数量（即f(b1,b2),g(b1,b3)）之间的关系，来确定不同点是否是时间戳或随机数等固定位置的每次都是不同的数据，而不是每次不同位置和不同数量均不同的高随机数量。如此，则只需要进行简单的同字段对比，则可确定出适合作为测试样例的待处理信息。而不用单独设置分析函数对每一待处理信息的每一字段根据待处理信息对应的功能等进行精确分析才能确定出适合作为测试样例的待处理信息，大大减小了服务器的工作压力，提高了处理速度。
31.本技术提供的数据处理方法，能够自动从请求响应服务器获取待处理信息，并通过将待处理信息中的请求数据a分别在生产环境向目标端口发送两次、灰度环境向目标端口发送一次，以此的到b1、b2、b3，并根据g(b1,b3)和f(b1,b2)的比较结果，确定待处理信息是否能够用作测试样例，已达到自动生成测试样例的效果。避免了工作人员人为编写大量测试样例的问题。
32.根据本技术的一个方面，在所述确定所述请求数据对应的目标接口之前，所述方法还包括：通过标识生成器为所述待处理信息生成标识信息；将所述标识信息嵌入所述待处理信息的请求数据a中；相应的，所述建立所述待处理信息和所述目标接口的关联关系，包括：将所述待处理信息对应的标识信息储存至标识列表，并建立所述标识信息与所述目标接口的关联关系。
33.本实施例中，通过标识生成器（可以为traceid生成器），为每一待处理信息分配唯一的标识信息（traceid）。同时，将待处理信息对应的标识信息储存至标识列表，并建立所述标识信息与所述目标接口的关联关系。使得后续根据接口确定对应的测试样例时，可以直接根据数据量较小的标识列表进行搜索，即直接将标识信息作为测试样例的索引，这样就降低了搜索时需要遍历的数据量，提高了搜索的速度。
34.根据本技术的一个方面，在所述从所述请求响应服务器获取待处理信息之后，所述方法还包括：确定所述待处理信息是否包含对应的标识信息；若包含，则执行后续步骤；若不包含，则抛弃所述待处理信息。
35.本实施例中，在对待处理信息进行处理分析其是否适合作为测试样例之前，会可以直接根据待处理信息的请求数据中是否包含标识信息，从而确定待处理信息是否是新产生的来自用户的数据（里面没有标识信息），还是用于进行回归测试测试样例（里面有标识信息），避免了在使用测试样例进行回归测试时，依然把测试样例当做新信息判断其是否适合作为测试样例之前，减少重复且无效的工作，提高工作效率，减小资源浪费。
36.根据本技术的一个方面，所述方法还包括：接收待上线数据包。所述待上线数据包用于在所述请求响应服务器进行安装。
37.将所述待上线数据包安装至所述响应服务器的灰度环境内。
38.根据所述待上线数据包确定待测试接口。
39.根据所述标识列表，确定所述待测试接口对应的若干目标标识信息，所述目标标识信息均与所述待测试接口具有关联关系。
40.从所述样例集合中依次获取每一目标标识信息对应的测试样例，并根据所述测试样例对所述待测试接口进行接口测试。
41.生成所述待测试接口对应的测试报告，所述测试报告中包括测试样例数量y1、测试成功数量y2和测试失败数量y3。
42.本技术提供的数据处理方法还可以直接接受待上线数据包，并不直接将数据包进行上线。而是自动将待上线数据包安装至所述响应服务器的灰度环境内。并确定出待上线数据包对应的待测试接口，即待上线数据包在实际工作中需要调用的接口。具体的，待测试接口可以为一个也可以为多个，本实施例中，待测试接口为多个时，每一待测试接口对应的处理过程可以并行的分别独立进行处理。
43.通过将样例集合中，每一待测试接口对应的所有或至少部分测试样例对待测试接口进行接口测试（即回归测试），并根据测试结果生成测试报告，以供后续处理或工作人员观看和分析。
44.具体的，本实施例中提供一种接口测试的方法，用于上述的测试过程。根据本技术的一个方面，所述根据所述测试样例对所述待测试接口进行接口测试，包括：在所述请求响应服务器的灰度环境中，将所述测试样例中的请求数据发送至所述待测试接口；获取所述请求响应服务器根据所述测试样例的请求数据反馈的第四响应数据c1；获取h(c0,c1)，其中，c0为所述测试样例中的原始响应数据，h()为预设的存储在配置文件中的第三比较函数。第三比较函数可以和第一比较函数相同。
45.在h(c0,c1)大于α的情况下，将所述测试样例标记为测试失败；其中，α=f(b1,b2)。
46.在h(c0,c1)小于等于α的情况下，将所述测试样例标记为测试成功。
47.以此根据每一待测试接口针对与其对应的所有测试样例的测试结果生成测试报告。以此完成对每一待测试接口的接口测试。
48.根据本技术的一个方面，所述方法还包括：获取k(y1,y2,y3)，其中，k()为预设的存储在配置文件中的处理函数；在k(y1,y2,y3)大于β的情况下，将所述待上线数据包安装至所述请求响应服务器。其中，k(y1,y2,y3)可以为(y2-y3)/y1。β的取值范围为0.8-1。
49.在k(y1,y2,y3)小于或等于β的情况下，根据被标记为测试失败的测试样例，生成参考数据集合。
50.本实施例中，在k(y1,y2,y3)大于β的情况下，可以视为测试通过，故可直接对待上线数据包进行上线。在k(y1,y2,y3)大于β的情况下，可以视为测试不通过，此时，本方法会将测记为失败的测试样例及其对应的原始响应数据和第四响应数据共同生成参考数据集合。以供后续的失败原因分析等工作使用。
51.根据本技术的一个方面，提供一种数据处理装置，应用于数据采集服务器，所述数据采集服务器与请求响应服务器通讯连接，所述请求响应服务器与至少一个客户端通讯连接；所述装置包括：
获取模块，用于从所述请求响应服务器获取待处理信息；所述待处理信息包括所述客户端向所述请求响应服务器发送的请求数据a以及所述请求响应服务器针对所述请求数据反馈给所述客户端的原始响应数据b0；确定模块，用于确定所述请求数据对应的目标接口；所述目标接口属于所述请求响应服务器；第一发送模块，用于在所述请求响应服务器的生产环境中，以第一时间间隔向所述目标接口间隔发送两次a，分别得到第一响应数据b1和第二响应数据b2；第一比较模块，用于获取f(b1,b2)，f()为预设的存储在配置文件中的第一比较函数；第二发送模块，用于在所述请求响应服务器的灰度环境中，向所述目标接口发送一次a，得到第三响应数据b3；第二比较模块，用于获取g(b1,b3)，g()为预设的存储在配置文件中的第二比较函数；存储模块，用于在g(b1,b3)小于或等于f(b1,b2)的情况下，将待处理信息作为测试样例存入样例集合中，并建立所述待处理信息和所述目标接口的关联关系，所述样例集合中的每一测试样例均具有对应的目标接口。
52.此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
53.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是cd-rom，u盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本公开实施方式的方法。
54.在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
55.所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
56.根据本发明的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
57.电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件（包括储存器和处理器）的总线。
58.其中，所述储存器存储有程序代码，所述程序代码可以被所述处理器执行，使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
59.储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器（ram）和/或
高速缓存储存器，还可以进一步包括只读储存器（rom）。
60.储存器还可以包括具有一组（至少一个）程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
61.总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
62.电子设备也可以与一个或多个外部设备（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（i/o）接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络（例如局域网（lan），广域网（wan）和/或公共网络，例如因特网）通信。如图所示，网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
63.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是cd-rom，u盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备等）执行根据本公开实施方式的方法。
64.在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
65.所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
66.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
67.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
68.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（lan）或广域网（wan），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
69.此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
70.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
71.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。