一种众包测试报告的处理方法及装置与流程

本发明涉及软件测试的技术领域，尤其涉及一种众包测试报告的处理方法及装置。

背景技术：

随着移动互联网和移动设备的飞速发展，移动应用已经应用到社会生活的各个方面。在推广使用前，需要测试应用效果与功能，传统的测试是通过专家或专业测试人员进行测试。但此方式的测试成本较高，难以无法满足移动应用版本多样、迭代快等特点。

因此，为了满足移动应用的测试需求，目前其中一种常用的移动应用程序测试是众包测试。众包测试是指测试人员将测试任务发布到众包平台，并由平台上的大规模众包工人进行人工测试。

然而，由于众测人员数量多、众测人员在测试进行中也缺乏交流与协作，导致每个测试人员提交的测试报告均相互独立且质量参差不齐，若逐一阅读测试报告，会耗费大量时间，大大降低测试效率，而且由于测试项目大多相同，提交的报告中包含大量重复内容，不但对后续测试报告审查形成了很大障碍，还进一步降低了后续审查的效率。

技术实现要素：

本发明提出一种众包测试报告的处理方法及装置，所述方法将测试报告进行分类和排序，减少开发人员阅读测试报告的数量和时间，从而提高处理效率。

本发明实施例的第一方面提供了一种众包测试报告的处理方法，所述方法包括：

获取若干份测试报告；

分别对每份所述测试报告作分析处理，得到若干个处理信息；

基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值；

根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到多个聚合集合；

获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。

在第一方面的一种可能的实现方式中，所述根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，包括：

分别将预设的n个阈值与所述若干份测试报告两两之间的相似值作比较；

当所述若干份测试报告两两之间的相似值大于第一阈值且小于第二阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告聚合，并生成与所述第一阈值对应的聚合集合，其中，第二阈值大于第一阈值；

当所述若干份测试报告两两之间的相似值大于第二阈值且小于第n-1阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合，以及与第二阈值对应的聚合集合，其中，第n-1阈值大于第二阈值；

当所述若干份测试报告两两之间的相似值大于第n-1阈值且小于第n阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合以及与第n-1阈值对应的聚合集合，其中，第n阈值大于第n-1阈值；

当所述若干份测试报告两两之间的相似值大于第n阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合、与第n-1阈值对应的聚合集合以及与第n阈值对应的聚合集合，其中，第n阈值大于第n-1阈值。

在第一方面的一种可能的实现方式中，所述处理信息包括文本向量集合；

所述分别对每份所述测试报告作分析处理，得到若干个处理信息，包括：

分别将每份所述测试报告的文本信息转换为文本向量；

对所述文本向量进行加权处理得到词频向量；

采用预设的逆文本频率指数对所述词频向量进行第二次加权处理得到文本向量，集合所有文本向量得到文本向量集合。

在第一方面的一种可能的实现方式中，所述处理信息包括日志原始向量；

所述分别对每份所述测试报告作分析处理，得到若干个处理信息，包括：

根据所述词频向量对软件日志进行全文词频向量检索、日志内容提取和上下文语意分析处理，从所述测试报告中提取日志原始向量。

在第一方面的一种可能的实现方式中，所述处理信息包括关键图像和特征图像；

所述分别对每份所述测试报告作分析处理，得到若干个处理信息，包括：

获取每份所述测试报告对应的错误图像；

通过预设的转换算法从所述错误图像中提取特征图像；

通过预设的图像识别技术从所述错误图像截取对应的关键图像，其中，所述关键图像包括软件菜单图像、按钮的文字图像。

在第一方面的一种可能的实现方式中，所述基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值，具体为：

采用如下公式计算相似值：

similarityss＝α*ss′+β*stps

similarity(d1，d2)＝γ×ts+δ×ls+ε×ss

其中，similaritts表示文本描述相似度，γ″n、γ″m表示文本向量；similarityls表示软件日志相似度，ln、lm表示日志原始向量；similarityss表示错误截图相似度，ss′表示图片相似度，stps表示图片关键字相似度；similarity(d1，d2)表示任意两份缺陷报告的相似度，α、β、γ、δ、ε为相对应的权重。

在第一方面的一种可能的实现方式中，所述方法还包括：

分别融合每一个所述聚合集合所包含的处理信息，并分别生成多个反馈报告。

本发明实施例的第二方面提供了一种众包测试报告的处理装置，所述装置包括：

获取模块，用于获取若干份测试报告；

分析模块，用于分别对每份所述测试报告作分析处理，得到若干个处理信息；

计算模块，用于基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值；

聚合模块，用于根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到多个聚合集合；

排序模块，用于获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。

相比于现有技术，本发明实施例提供的众包测试报告的处理方法及装置，其有益效果在于：本发明可以通过对测试报告进行处理，得到报告相似度，进行报告聚类融合，再对融合后的测试报告进行修订和评测，最后根据评测结果进行报告优先级排序，从而大大减少开发人员阅读报告的数据以及阅读的时间，提高开发人员查看测试报告的效率。

附图说明

图1是本发明一实施例提供的一种众包测试报告的处理方法的流程示意图；

图2是本发明一实施例提供的相似值计算的操作流程图；

图3是本发明一实施例提供的测试报告排序的操作流程图；

图4是本发明一实施例提供的一种众包测试报告的处理方法的操作流程图；

图5是本发明一实施例提供的一种众包测试报告的处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于目前的众测人员数量多、众测人员在测试进行中也缺乏交流与协作，导致每个测试人员提交的测试报告均相互独立且质量参差不齐，若逐一阅读测试报告，会耗费大量时间，大大降低测试效率，而且由于测试项目大多相同，提交的报告中包含大量重复内容，不但对后续测试报告审查形成了很大障碍，还进一步降低了后续审查的效率。

为了解决上述问题，下面将通过以下具体的实施例对本申请实施例提供的一种众包测试报告的处理方法进行详细介绍和说明。

参照图1，示出了本发明一实施例提供的一种众包测试报告的处理方法的流程示意图。

其中，作为示例的，所述众包测试报告的处理方法，可以包括：

s11、获取若干份测试报告。

在本实施例中，可以选取多个众测工人的测试报告，得到若干份测试报告；也可以从多个不同的软件系统中收集了若干份众包的测试报告，对每一份测试报告添加多种标签，以作区分。其中，测试报告数量从1个到1000份不等。

s12、分别对每份所述测试报告作分析处理，得到若干个处理信息。

该分析处理可以是特征提取、筛选和检测等处理。

为了能加快测试报告的分类与整理，可以分别对每一份测试报告作分析处理，从每一份测试报告中提取对应的处理信息，再基于处理信息进行分类，可以大大缩短测试报告的处理时间，提高处理效率。

在其中一种实施例中，所述处理信息包括文本向量集合；其中，作为示例的，步骤s12可以包括以下子步骤：

子步骤s121、分别将每份所述测试报告的文本信息转换为文本向量。

子步骤s122、对所述文本向量进行第一次加权处理得到词频向量。

子步骤s123、采用预设的逆文本频率指数对所述词频向量进行第二次加权处理得到文本向量，集合所有文本向量得到文本向量集合。

具体地，可以使用nlp技术来对测试报告的文本信息的进行处理，并将测试报告的文本信息表示为向量，并进行加权处理得到词频向量，获取到每一个测试报告的向量ri后，将对向量的每个维度进行第一次加权处理，接着再采用逆文本频率指数进行第二次加权处理得到向量ri，

最后将每一个测试报告r以文本向量集合r＝{tf1，tf2，tf3，...，tfn}来表达。

在实际操作中，采用逆文本频率指数进行第二次加权处理如下式所示：其中n为测试报告集中报告的总个数，n(wi)则代表有多少个不同报告包含了词wi

其中n等于测试报告中所包含的全部有效词w的个数，tfi则为从整个测试报告中得到的第i个有效词wi在此测试报告中出现的频率。

在本实施例中，将测试报告中的文本信息表示为向量，并进行加权处理得到词频，从而可以对测试报告中的文本信息进行词条分类、词性标注和词性筛选(例如，名词、动词、形容词、数词、量词、副词、介词、连词等)，从而得到各个类型词语的向量集合，方便作后续的处理。

在又一种实施例中，所述处理信息还包括日志原始向量；

其中，作为示例的，步骤s12可以包括以下子步骤：

子步骤s124、根据所述词频向量对软件日志进行全文词频向量检索、日志内容提取和上下文语意分析处理，从所述测试报告中提取日志原始向量。

在实际操作中，对软件日志的分类可以直接使用由词频所组成的原始向量l_n＝{tf1，tf2，tf3，...，tfn}，得到日志原始向量。

根据词频向量对软件日志进行全文词频向量检索、日志内容提取、上下文语意分析等处理，可以为测试报告相似度分析提取摘要信息，从而可以缩短后续的处理时间。

在又一种实施例中，所述处理信息还包括截取图像；

其中，作为示例的，步骤s12可以包括以下子步骤：

子步骤s125、获取每份所述测试报告对应的错误图像。

该错误图像可以是用户从测试报告中采集的错误图像。用户可以预先抽查测试报告，并从测试报告中截取对应的错误图像。该错误图像是用户发现测试报告错误区域的图像。

子步骤s126、通过预设的转换算法从所述错误图像中提取特征图像。

在实际操作中，可以使用尺度不变特征转换算法(sift)对错误图像进行特征提取，得到特征图像。

子步骤s127、通过预设的图像识别技术从所述错误图像截取对应的关键图像，其中，所述关键图像包括软件菜单图像、按钮的文字图像。

在实际操作中，通过orc算法从错误图像截取软件菜单图像、按钮的文字图像。

s13、基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值。

在本实施例中，可以分别计算测试报告两两之间的相似值。例如，有10份测试报告，可以分别计算第1份与第2、第3至第10份报告之间的相似值，接着计算第2份与第3、第4至第10份报告之间的相似值，如此类推。

参照图2，示出了本发明一实施例提供的相似值计算的操作流程图。其中，作为示例的，步骤s13具体为：

采用如下公式计算相似值：

similarityss＝α*ss′+β*stps

similarity(d1，d2)＝γ×ts+δ×ls+ε×ss

其中，similarityts表示文本描述相似度，γ″n、γ″m表示文本向量；similarityls表示软件日志相似度，ln、lm表示日志原始向量；similarityss表示错误截图相似度，ss′表示图片相似度，stps表示图片关键字相似度；similarit(d1，d2)表示任意两份缺陷报告的相似度，α、β、γ、δ、ε为相对应的权重。

s14、根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到n个聚合集合，其中，n为大于或等于1的正整数。

其中，作为示例的，步骤s14可以包括以下子步骤：

子步骤s141、分别将预设的n个阈值与所述若干份测试报告两两之间的相似值作比较。

子步骤s142、当所述若干份测试报告两两之间的相似值大于第一阈值且小于第二阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告聚合，并生成与所述第一阈值对应的聚合集合，其中，第二阈值大于第一阈值；

子步骤s143、当所述若干份测试报告两两之间的相似值大于第二阈值且小于第n-1阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合，以及与第二阈值对应的聚合集合，其中，第n-1阈值大于第二阈值；

子步骤s144、当所述若干份测试报告两两之间的相似值大于第n-1阈值且小于第n阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合以及与第n-1阈值对应的聚合集合，其中，第n阈值大于第n-1阈值；

子步骤s145、当所述若干份测试报告两两之间的相似值大于第n阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合、与第n-1阈值对应的聚合集合以及与第n阈值对应的聚合集合，其中，第n阈值大于第n-1阈值。

在本实施例中，可以将所有测试报告按照相似度进行聚合与分类(简称：聚类)，从而可以将测试报告进行分类处理。

具体地，用户可以预先设定n个阈值(相似度系数)，当任意两份测试报告的相似值大于阈值(相似度系数)时，则可以将该相似值对应的两份测试报告聚合为同一类测试报告。最后每一个类别可以对应多个报告，一份报告也可能属于多个类别。

例如，有10份测试报告，第一份测试报告与其余第二至第九份测试报告之间的相似值分别为1、2、3、4、5、6、7、8、9。阈值(相似度系数)设有3个，分别为0.5、3.5、7.5。其中，第一份测试报告与第二份测试报告、第三份测试报告和第四份测试报告的相似值均大于阈值0.5且小于阈值3.5，则将第一份测试报告、第二份测试报告、第三份测试报告和第四份测试报告聚合成阈值0.5对应的一个聚合集合；第一份测试报告与第五份测试报告、第六份测试报告、第七份测试报告和第八份测试报告的相似值大于3.5且小于7.5，则分别将第一份测试报告、第五份测试报告、第六份测试报告、第七份测试报告和第八份测试报告聚合生成阈值0.5对应的一个聚合集合，以及将第一份测试报告、第五份测试报告、第六份测试报告、第七份测试报告和第八份测试报告聚合生成阈值3.5对应的一个聚合集合，得到两个聚合集合；第一份测试报告与第九份测试报告和第十份测试报告的相似值大于7.5，则分别将第一份测试报告、第九份测试报告和第十份测试报告聚合生成阈值0.5对应的一个聚合集合，接着将第一份测试报告、第九份测试报告和第十份测试报告聚合生成阈值3.5对应的一个聚合集合，再将第一份测试报告、第九份测试报告和第十份测试报告聚合生成阈值7.5对应的一个聚合集合，得到三个聚合集合。

通过聚合和分类，可以将各个测试报告进行分类管理，从而可以让用户根据需求对每一类别的测试报告进行审查，而无需阅读所有测试报告，减少用户的阅读时间，提高处理效率。

另外，为了方便操作，可以将多个生成的聚合集合(α，β)进行集合，再传输给测试人员作审核。

s15、获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。

在生成每个聚合集合后，可以将聚合集合发送给测试人员，由测试人员对聚合集合内的测试报告进行评分或查漏补缺或审核，并在审核后获取测试人员对每个聚合集合的缺陷分数。该缺陷分数为测试人员对聚合集合内的测试报告作的评价缺陷重要等级。

参照图3，示出了本发明一实施例提供的测试报告排序的操作流程图。评级操作如图3所示。

在实际操作中，测试人员可以对聚合集合内的测试报告进行修订与评级，测试人员是可以预先选择专业众测人员作为此类聚合集合内的测试报告的管理员。对于后续加入的众测人员，众测人员可以提示测试报告与已有报告相似和相异的部分，并对该测试报告进行修改，做出的修改后将提示管理员做批准，如果出现意见不统一的情况，众测人员可以经过平台交流讨论，如图3所示。

另外，当有多个众测人员时，该缺陷分数可以是多个众测人员对该份测试报告的缺陷分数的均值。由于缺陷分数是代表测试报告按缺陷数目及缺陷严重等级程度(测试报告的一个属性)，分数越低，说明聚合集合内的测试报告数量较小，且包含的缺陷也更小，属于方便用户阅读的优质报告。

在获取缺陷分数后，可以根据分数的大小进行排序，以方便用户在后续进行审核和处理。

通过对测试报告中的文本描述、软件日志和错误截图进行处理，得到报告相似度，根据相似度进行报告聚类融合，群智协作对融合后的测试报告进行修改，最后进行优先级排序，从而提高开发人员查看测试报告的效率。

为了方便用户观看各个聚合集合的测试报告以及测试报告中的内容，其中，作为示例的，所述方法还可以包括：

s16、分别融合每一个所述聚合集合所包含的处理信息，并分别生成多个反馈报告。

具体地，可以将聚合集合内的每份测试报告所包含的文字描述、软件日志、错误截图等信息进行融合，并生成一份反馈报告，最后将反馈报告发送至服务器与测试人员，供测试人员进行审阅。

另外，在生成反馈报告后，可以在反馈报告的基础版本，然后再经过信息去重和上下文语义分析，从而得到一份较为完整的报告。

参照图4，示出了本发明一实施例提供的一种众包测试报告的处理方法的操作流程图。

具体地，可以获取多份测试报告，计算测试报告两两之间的相似值，然后根据相似值将测试报告进行聚合和融合，接着将聚合后的测试报告发送至测试人员，供测试人员进行修订和评测，最后根据评测结果进行排序。

在本实施例中，本发明实施例提供了一种众包测试报告的处理方法，其有益效果在于：本发明可以通过对测试报告进行处理，得到报告相似度，进行报告聚类融合，再对融合后的测试报告进行修订和评测，最后根据评测结果进行报告优先级排序，从而大大减少开发人员阅读报告的数据以及阅读的时间，提高开发人员查看测试报告的效率。

本发明实施例还提供了一种众包测试报告的处理装置，参见图5，示出了本发明一实施例提供的一种众包测试报告的处理装置的结构示意图。

其中，作为示例的，所述众包测试报告的处理装置可以包括：

获取模块501，用于获取若干份测试报告；

分析模块502，用于分别对每份所述测试报告作分析处理，得到若干个处理信息；

计算模块503，用于基于所述若干个处理信息分别计算所述若干份测试报告两两之间的相似值；

聚合模块504，用于根据所述若干份测试报告两两之间的相似值对将所述若干份测试报告进行聚合，得到多个聚合集合；

排序模块505，用于获取每个所述聚合集合的缺陷分数，基于所述缺陷分数的数值大小对所述多个聚合集合进行排序。

可选地，所述聚合模块还用于：

分别将预设的n个阈值与所述若干份测试报告两两之间的相似值作比较；

当所述若干份测试报告两两之间的相似值大于第一阈值且小于第二阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告聚合，并生成与所述第一阈值对应的聚合集合，其中，第二阈值大于第一阈值；

当所述若干份测试报告两两之间的相似值大于第二阈值且小于第n-1阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合，以及与第二阈值对应的聚合集合，其中，第n-1阈值大于第二阈值；

当所述若干份测试报告两两之间的相似值大于第n-1阈值且小于第n阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合以及与第n-1阈值对应的聚合集合，其中，第n阈值大于第n-1阈值；

当所述若干份测试报告两两之间的相似值大于第n阈值时，将所述若干份测试报告两两之间的相似值对应的测试报告分别聚合，并分别生成与第一阈值对应的聚合集合、与第二阈值对应的聚合集合、与第n-1阈值对应的聚合集合以及与第n阈值对应的聚合集合，其中，第n阈值大于第n-1阈值。

可选地，所述处理信息包括文本向量集合；

所述分析模块还用于：

分别将每份所述测试报告的文本信息转换为文本向量；

对所述文本向量进行加权处理得到词频向量；

采用预设的逆文本频率指数对所述词频向量进行第二次加权处理得到文本向量，集合所有文本向量得到文本向量集合。

可选地，所述处理信息包括日志原始向量；

所述分析模块还用于：

根据所述词频向量对软件日志进行全文词频向量检索、日志内容提取和上下文语意分析处理，从所述测试报告中提取日志原始向量。

可选地，所述处理信息包括关键图像和特征图像；

所述分析模块还用于：

获取每份所述测试报告对应的错误图像；

通过预设的转换算法从所述错误图像中提取特征图像；

通过预设的图像识别技术从所述错误图像截取对应的关键图像，其中，所述关键图像包括软件菜单图像、按钮的文字图像。

可选地，所述计算模块还用于：

采用如下公式计算相似值：

similarityss＝a*ss′+β*stps

similarity(d1，d2)＝γ×ts+δ×ls+ε×ss

其中，similaritts表示文本描述相似度，γ″n、β″m表示文本向量；similarityls表示软件日志相似度，ln、lm表示日志原始向量；similarityss表示错误截图相似度，ss′表示图片相似度，stps表示图片关键字相似度；similarity(d1，d2)表示任意两份缺陷报告的相似度，α、β、γ、δ、ε为相对应的权重。

可选地，所述装置还包括：

反馈模块，用于分别融合每一个所述聚合集合所包含的处理信息，并分别生成多个反馈报告。

进一步的，本申请实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例所述的众包测试报告的处理方法。

进一步的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述实施例所述的众包测试报告的处理方法。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。