产品测试方法及装置与流程

本申请涉及软件测试技术领域，尤其涉及一种产品测试方法及装置。

背景技术：

产品测试是产品开发过程中的一个重要环节，在产品不同版本迭代过程中，由于策略优化，会使的最新版本的产品与线上版本(在先版本)产品的影响面或收益会发生变化，通常在最新版本的产品的影响面和收益达到一定程度后，才能将最新版本的产品替换在先产品。

目前，为了实现对不同版本产品的测试，工作人员通常首先抓取一定时间段内线上所有query(查询语句)的集合，然后将该集合在不同版本的产品上运行，将运行结果进行纯文字比对，确定diff query(不同查询语句)的集合(即在不同版本产品中的结果不同的query的集合)，然后根据diff query占所有query的比重确定最新版本的产品与线上版本产品的影响面，并将diff query在不同版本中的结果进行文字对比，确定不同版本中diff query对应的gsb(好中差)的比重。

但是，上述测试方法的测试过程，获取的diff query针对性差，从而根据diff query得到的测试结果的过程复杂，且准确率低。

技术实现要素：

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种产品测试方法，该方法通过抽取目标日志，并将目标日志转化为结构化数据，使获得的diff query仅与优化策略相关，且diff query与不同维度关联，提高了diff query的针对性，为工作人员根据diff query确定不同版本的产品的优劣提供了条件，节省了对不同版本产品的分析时间。

本申请的第二个目的在于提出一种产品测试装置。

本申请的第三个目的在于提出一种产品测试终端。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

本申请的第五个目的在于提出一种计算机程序产品。

为达上述目的，本申请第一方面实施例提出了一种产品测试方法，包括：获取用户行为日志，所述用户行为日志中包括用户在预设时间段内的所有查询语句；根据设定的抽取策略，从所述用户行为日志中抽取目标日志；将所述目标日志转化为不同维度下的结构化数据；将所述结构化数据，在不同版本的产品上运行，确定不同维度下的不同查询语句的集合。

本申请实施例的产品测试方法，首先获取用户行为日志，然后根据设定的抽取策略，抽取目标日志，再将目标日志转化为不同维度下的结构化数据，然后将结构化数据在不同版本的产品上运行，确定不同维度下的diff query。由此，通过抽取目标日志，并将目标日志转化为结构化数据，使获得的diff query仅与优化策略相关，且diff query与不同维度关联，提高了diff query的针对性，为工作人员根据diff query确定不同版本的产品的优劣提供了条件，节省了对不同版本产品的分析时间。

为达上述目的，本申请第二方面实施例提出了一种产品测试装置，包括：获取模块，用于获取用户行为日志，所述用户行为日志中包括用户在预设时间段内的所有查询语句；抽取模块，用于根据设定的抽取策略，从所述用户行为日志中抽取目标日志；转化模块，用于将所述目标日志转化为不同维度下的结构化数据；第一确定模块，用于将所述结构化数据，在不同版本的产品上运行，确定不同维度下的不同查询语句的集合。

本申请实施例的产品测试装置，首先获取用户行为日志，然后根据设定的抽取策略，抽取目标日志，再将目标日志转化为不同维度下的结构化数据，然后将结构化数据在不同版本的产品上运行，确定不同维度下的diff query。由此，通过抽取目标日志，并将目标日志转化为结构化数据，使获得的diff query仅与优化策略相关，且diff query与不同维度关联，提高了diff query的针对性，为工作人员根据diff query确定不同版本的产品的优劣提供了条件，节省了对不同版本产品的分析时间。

为达上述目的，本申请第三方面实施例提出了一种产品测试终端，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中的指令，以进行执行如下操作：

获取用户行为日志，所述用户行为日志中包括用户在预设时间段内的所有查询语句；

根据设定的抽取策略，从所述用户行为日志中抽取目标日志；

将所述目标日志转化为不同维度下的结构化数据；

将所述结构化数据，在不同版本的产品上运行，确定不同维度下的不同查询语句的集合。

为达上述目的，本申请第四方面实施例提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种产品测试方法，所述方法包括：获取用户行为日志，所述用户行为日志中包括用户在预设时间段内的所有查询语句；根据设定的抽取策略，从所述用户行为日志中抽取目标日志；将所述目标日志转化为不同维度下的结构化数据；将所述结构化数据，在不同版本的产品上运行，确定不同维度下的不同查询语句的集合。

为达上述目的，本申请第五方面实施例提出一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行一种产品测试方法，所述方法包括：获取用户行为日志，所述用户行为日志中包括用户在预设时间段内的所有查询语句；根据设定的抽取策略，从所述用户行为日志中抽取目标日志；将所述目标日志转化为不同维度下的结构化数据；将所述结构化数据，在不同版本的产品上运行，确定不同维度下的不同查询语句的集合。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请一个实施例的产品测试方法的流程图；

图2是本申请另一个实施例的产品测试方法的流程图；

图3为根据本申请提供的产品测试方法确定的diff query示意图；

图4为根据本申请提供的产品测试方法确定的diff query分类示意图；

图5为同一diff query在不同版本的产品中分别召回的系统答复的样式；

图6是本申请一个实施例的产品测试装置的结构示意图；

图7是本申请另一个实施例的产品测试装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的产品测试方法及装置。

图1是本申请一个实施例的产品测试方法的流程图。

如图1所示，该产品测试方法包括：

步骤101，获取用户行为日志，所述用户行为日志中包括用户在预设时间段内的所有查询语句。

具体地，本发明实施例提供的产品测试方法的执行主体为产品测试装置，该产品测试装置可以应用于具有产品测试功能的终端设备中。其中，终端设备的类型很多，例如：智能手机、平板电脑，计算机等。

其中，预设的时间段可以根据需要选择，比如为一天、一周等等。用户行为日志中，可以包括用户在预设的时间段内，在产品中进行的所有操作的信息，比如用户名、日志时间、产品系统版本、用户所在城市、客户端类型、查询语句(query)、查询结果(answer)等信息。

步骤102，根据设定的抽取策略，从所述用户行为日志中抽取目标日志。

具体的，由于用户行为日志中包括在预设时间段内，用户通过各种类型的终端，在各个版本的产品中进行的操作的信息，而最新版本的产品仅是针对产品的某一个版本的某一项功能或几项功能的更新或完善，或者针对产品在某种类型的终端中使用进行的改进，因此，可以首先根据最新版本的产品的优化策略，确定对应的抽取策略，进而从用户行为日志中，抽取目标日志。

举例来说，若仅为了确定百度嗨的5.1.3.3的版本与线上版本5.1.3.2区别，那么即可仅从用户行为日志中，抽取在版本5.1.3.2中进行的操作的日志数据；或者，若仅对百度嗨的安卓版进行了更改，那么即可仅从用户行为日志中抽取客户端类型为安卓系统的日志作为目标日志。

步骤103，将所述目标日志转化为不同维度下的结构化数据。

步骤104，将所述结构化数据，在不同版本的产品上运行，确定不同维度下的不同查询语句diff query的集合。

其中，不同维度包括：用户名、日志时间、产品版本、客户端类型、输入方式、系统垂类。

具体的，由于产品的迭代通常是产品某一项功能或几项功能的更新或完善，因此，为了准确的确认最新版本的产品与线上版本产品的差异，本实施例中，首先将目标日志转化为结构化数据，然后再在不同版本的产品上运行结构化的目标日志，从而可以得到由优化策略带来的不同维度下的diff query的集合，从而使工作人员可以根据diff query直观的确定不同版本的产品在不同维度下的差别，进而确定不同版本产品的优劣，简化了测试过程。

其中，上述步骤103，可以通过多种方式实现：

示例一：

根据预设的维度类别，将所述目标日志转化为不同维度下的结构化数据。

具体的，产品测试装置中，可以提前预设维度类别，从而在获取目标日志后，即可从目标日志中分别抽取不同维度对应的数据，构造结构化数据。

示例二：

根据所述目标日志中包括的信息类型，将所述目标日志转化为不同维度下的结构化数据。

具体的，由于不同产品的目标日志中包括的信息类型可能不同，因此也可以根据目标日志中包括的各种类型的信息，比如用户名、客户端类型、产品版本、输入方式、系统垂类等，从而产品测试装置，即可根据目标日志中包括的信息类型，将目标日志转化为不同维度下的结构化数据。

本申请实施例的产品测试方法，首先获取用户行为日志，然后根据设定的抽取策略，抽取目标日志，再将目标日志转化为不同维度下的结构化数据，然后将结构化数据在不同版本的产品上运行，确定不同维度下的diff query。由此，通过抽取目标日志，并将目标日志转化为结构化数据，使获得的diff query仅与优化策略相关，且diff query与不同维度关联，提高了diff query的针对性，为工作人员根据diff query确定不同版本的产品的优劣提供了条件，节省了对不同版本产品的分析时间。

通过上述分析可知，可以根据设定的抽取策略，从用户行为日志中抽取目标日志，并将目标日志转化为结构化数据，从而即可确定不同版本产品在不同维度下的diff query，从而使获得的diff query更有针对性。由于不同版本的产品对系统答复的召回能力可能不同，因此，为了进一步提高diff query的针对性，还可以根据不同版本的系统答复的召回能力，将diff query进行进一步的分类，下面结合图2对上述过程进行详细描述。

图2是本申请另一个实施例的产品测试方法的流程图。

如图2所示，该产品测试方法可以包括以下步骤：

步骤201，获取用户行为日志，所述用户行为日志中包括用户在预设时间段内的所有查询语句。

步骤202，根据最新版本产品的优化策略，确定所述设定的抽取策略。

步骤203，根据设定的抽取策略，从所述用户行为日志中抽取目标日志。

步骤204，根据所述目标日志中包括的信息类型，将所述目标日志转化为不同维度下的结构化数据。

步骤205，将所述结构化数据，在不同版本的产品上运行，确定不同维度下的diff query的集合。

步骤206，根据所述结构化数据，在不同版本的产品上运行时的召回状态，确定所述不同查询语句对应的召回状态信息。

其中，召回状态信息包括：扩召回、均召回和缩召回。扩召回即线上版本的产品没有召回系统答复，而最新版本的产品召回了系统答复；均召回指两者都召回了系统答复；缩召回指线上版本产品召回了系统答复，而新版本的产品没有召回系统答复。

具体的，可以在将结构化数据在不同版本的产品上运行时，根据不同的运行结果，确定不同版本产品在不同query下的召回能力，进而根据运行结果确定diff query后，即可确定与diff query对应的召回状态信息。

举例来说，图3为根据本申请提供的产品测试方法确定的diff query示意图。

如图3所示，通过根据产品的垂类、客户端、操作系统、版本等抽取目标日志，并在线上版本和线下版本(最新版本)上分别运行后，即可得到的不同查询语句对应的日志存储地址及召回状态。从而使产品开发人员可直观的确定最新版本产品与线上版本产品的优劣。

进一步地，若某一diff query在不同版本的产品中，均能召回系统答复，为了进一步对该diff query进行区分，还可以判断该diff query在不同版本的产品上运行时召回的系统答复的样式差别，即该方法还包括：

步骤207，判断所述不同查询语句对应的召回状态是否为均召回。

其中，均召回是指diff query在不同版本的产品上运行时均能召回系统答复。

步骤208，若是，则确定所述不同查询语句在不同版本的产品上，召回的系统答复的样式差别。

其中，系统答复的样式，包括以下信息中的至少一个：卡片数量、卡片样式、卡片顺序、卡片对应的实体个数及卡片对应的实体。

系统答复的样式差别，是指diff query在不同版本的产品上运行时，召回的系统答复中包含的卡片的数量是否不同、卡片的样式或顺序是否不同、卡片对应的实体个数是否不同等等，从而即可对diff query进行进一步的分类。

如图4所示，图4为根据本申请提供的产品测试方法确定的diff query分类示意图。如图4所示，召回状态相同的diff query可能包括的卡片数量不同、卡片的样式或顺序不同、卡片对应的实体数不同等，从而使得到diff query针对性更强，更能直观的显示最新版本产品与线上版本产品的差异，从而可以准确的对产品的影响面及最新版本的产品效果进行准确的评估。

进一步地，工作人员还可以利用确定的diff query的分类结果，将diff Query对应的召回状态信息，在模拟的平台中展示diff query，以使工作人员根据直观的显示结果，对产品的优劣进行进一步地评估。

具体的，可以根据目标日志中包括的客户端信息，模拟平台，从而使模拟的环境更贴近真实的使用。相应的，该方法还可以包括：

确定所述不同维度下不同查询语句分别对应的客户端信息；

根据所述不同查询语句分别对应的客户端信息，构建所述不同查询语句分别对应的运行平台；

在构建的运行平台上，搭载不同版本的产品；

在所述不同版本的产品中，分别运行所述结构化数据，确定并显示不同查询语句分别召回的系统答复的样式。

举例来说，若目标日志对应的客户端为“手机百度”，则可以根据手机百度的运行环境，构建对应的运行平台，然后在构建的平台上搭载不同版本的“手机百度”后，再运行结构化数据，并显示不同的查询语句分别对应的系统答复样式，如图5所示，图5为同一diff query在不同版本的产品中分别召回的系统答复的样式。

如图5所示，diff query为通过键盘输入的“杨幂和刘恺威离婚了吗”，对应的系统垂类为电影，通过最新版本的产品召回的系统答复如图5a所示，通过线上产品召回的系统答复如图5b所示,由图5a和5b可以看出，最新版本的产品召回的系统答复中不包括电影，而线上产品召回的系统答复包括电影，即对于“电影”垂类而言，最新版本的产品与线上产品相比为缩召回。

工作人员根据显示的系统答复的样式，对产品进行好、中、差评估，比如从产品的形态，即系统答复是以卡片、文字、图标等那种形式显示的；卡片的样式，即系统答复是以一张卡片，还是多种卡片显示；产品的体验，系统答复中是否包括用户对产品的体验评论等，对diff query进行全面评估，并打上标签和评分，以便后续对产品作问题统计和分析。通过模拟显示最新版本产品和线上产品的系统答复样式，让工作人员可以更加直观的看出diff query间的差异，更直观评gsb，节省工作人员的评估时间以及降低出错率。

本申请实施例的产品测试方法，在获取用户行为日志后，根据最新版本产品的优化策略，从用户行为日志中抽取目标日志，然后将目标日志转化为不同维度下的结构化数据，再将结构化数据在不同版本的产品上运行，确定不同维度下的不同查询语句的集合，然后根据不同查询语句对应的召回状态，将不同查询语句进行分类分析，并在模拟的平台上，展示不同查询语句对应用的系统答复样式。由此，实现了确定的diff query仅与产品的优化策略相关，提高了diff query的针对性和准确性，且将diff query进行分类分析后，在模拟的展示平台上展示，使得工作人员可以直观的看出diff query在不同版本产品中召回的系统答复的差异，节省了工作人员对不同版本产品进行评估的时间，降低了出错率。

为了实现上述实施例，本申请还提出一种产品测试装置。

图6是本申请一个实施例的产品测试装置的结构示意图。

如图6所示，该产品测试装置包括：

获取模块61，用于获取用户行为日志，所述用户行为日志中包括用户在预设时间段内的所有查询语句；

抽取模块62，用于根据设定的抽取策略，从所述用户行为日志中抽取目标日志；

转化模块63，用于将所述目标日志转化为不同维度下的结构化数据；

第一确定模块64，用于将所述结构化数据，在不同版本的产品上运行，确定不同维度下的不同查询语句的集合。

其中，所述不同维度包括：用户名、日志时间、产品版本、客户端属性、输入方式、系统垂类。

在本实施例一种可能的实现形式中，上述转化模块63，具体用于：根据预设的维度类别，将所述目标日志转化为不同维度下的结构化数据。

在本实施例另一种可能的实现形式中，上述转化模块63，具体用于：根据所述目标日志中包括的信息类型，将所述目标日志转化为不同维度下的结构化数据。

需要说明的是，前述对产品测试方法实施例的解释说明也适用于该实施例的产品测试装置，此处不再赘述。

本申请实施例的产品测试装置，首先获取用户行为日志，然后根据设定的抽取策略，抽取目标日志，再将目标日志转化为不同维度下的结构化数据，然后将结构化数据在不同版本的产品上运行，确定不同维度下的diff query。由此，通过抽取目标日志，并将目标日志转化为结构化数据，使获得的diff query仅与优化策略相关，且diff query与不同维度关联，提高了diff query的针对性，为工作人员根据diff query确定不同版本的产品的优劣提供了条件，节省了对不同版本产品的分析时间。

基于上述实施例，图7是本申请另一个实施例的产品测试装置的结构示意图。

如图7所示，在上述图6所示的基础上，该产品测试装置，还包括：

第二确定模块71，用于根据最新版本产品的优化策略，确定所述设定的抽取策略。

进一步地，为了使工作人员可以直观的根据diff query确定不同版本的产品间的差异性，该装置，还包括：

第三确定模块72，用于根据所述结构化数据，在不同版本的产品上运行时的召回状态，确定所述不同查询语句对应的召回状态信息。

在本实施例一种可能的实现形式中，对于召回状态相同的diff query而言，为了进一步对diff query进行区分，该装置，还可以包括：

判断模块73，用于判断所述不同查询语句对应的召回状态是否为均召回；

第四确定模块74，用于若不同查询语句对应的召回状态为均召回，则确定所述不同查询语句在不同版本的产品上，召回的系统答复的样式差别。

其中，所述系统答复的样式，包括以下信息中的至少一个：卡片数量、卡片样式、卡片顺序、卡片对应的实体个数及卡片对应的实体。

进一步地，为了使工作人员可以直观的看到diff query在不同版本的产品中的显示效果，该装置还可以根据目标日志中的客户端信息，模拟运行平台，运行并显示各diff query召回的系统答复样式，即所述目标日志中还包括：各个查询语句对应的客户端信息；

相应的，该装置，还包括：

第五确定模块75，用于确定所述不同维度下不同查询语句分别对应的客户端信息；

构建模块76，用于根据所述不同查询语句分别对应的客户端信息，构建所述不同查询语句分别对应的运行平台；

搭载模块77，用于在构建的运行平台上，搭载不同版本的产品；

显示模块78，用于在所述不同版本的产品中，分别运行所述结构化数据，确定并显示不同查询语句分别召回的系统答复的样式。

需要说明的是，前述对产品测试方法实施例的解释说明也适用于该实施例的产品测试装置，此处不再赘述。

本申请实施例的产品测试装置，在获取用户行为日志后，根据最新版本产品的优化策略，从用户行为日志中抽取目标日志，然后将目标日志转化为不同维度下的结构化数据，再将结构化数据在不同版本的产品上运行，确定不同维度下的不同查询语句的集合，然后根据不同查询语句对应的召回状态，将不同查询语句进行分类分析，并在模拟的平台上，展示不同查询语句对应用的系统答复样式。由此，实现了确定的diff query仅与产品的优化策略相关，提高了diff query的针对性和准确性，且将diff query进行分类分析后，在模拟的展示平台上展示，使得工作人员可以直观的看出diff query在不同版本产品中召回的系统答复的差异，节省了工作人员对不同版本产品进行评估的时间，降低了出错率。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。