一种软件产品的评测方法及装置与流程

本申请涉及评测技术领域，尤其涉及一种软件产品的评测方法及装置。

背景技术：

随着互联网技术的发展，为提高用户使用软件产品(如，应用程序和网站)的用户体验，研发人员对软件产品不断地进行更新换代，以对软件产品进行优化。

在对软件产品进行研发设计或版本更新时，研发人员需要对软件产品进行评测，以预测用户对设计的软件产品是否满意或在用户的那个可视区域放置广告最有效，以及确定用户在使用软件产品时，用户的各个操作的转化路径，以便对软件产品的布局进行设计，从而可以更有效地引导用户完成付费。其中，所谓评测是指获取对软件产品的用户体验数据或者判断软件产品是否达到预期目标。

现有技术下，对软件产品进行评测时，通常采用以下方式；

第一种方式为：对用户使用指定软件产品的用户体验进行调研，并根据调研数据，获得评测结果。

但是，采用这种方式，由于样本的数量较少，获得的评测结果精度不高，并且时间成本较高。

第二种方式为：采用灰度发布测试或a/b版测试，即仅对部分用户使用的指定软件产品进行更新，获得部分用户的用户操作数据，并根据用户操作数据，获得评测结果。

但是，采用这种方式，会耗费大量的时间成本，并且评测的周期较长，造成软件产品错过最佳发布时机。

第三种方式为：迭代式更新，对用户使用当前版本的用户操作数据进行分析，并根据获得的评测结果，对下一个版本进行相应的更新。

但是，采用这种方式，对当前版本进行设计时，缺乏相应的研发决策。

第四种方式为：通过基于人工智能技术的虚拟用户进行评测，获得评测结果。

但是，采用这种方式，并不能反映用户真实的想法，获得的评测结果不精确。

第五种方式为：通过脚本程序对软件产品进行测试，获得测试结果。

但是，采用这种方式，仅能获取对软件产品的产品质量进行测试额测试结果，并非评测结果。

技术实现要素：

本申请实施例提供一种软件产品的评测方法及装置，用于在对软件产品进行评测时，降低时间成本和数据分析成本，提高评测的真实度和精度。

本申请实施例提供的具体技术方案如下：

第一方面，一种软件产品的评测方法，包括：

获取用户的各个会话集合，其中，一个会话集合中包含一个用户对一个软件产品在一次会话中执行的多个操作的操作事件；

基于预设的操作事件与语义标签之间的关联关系，确定各个会话集合中包含的操作事件对应的语义标签，分别获得每一个会话集合的事件标签队列，其中，一个会话集合的事件标签队列包含一个会话集合对应的各个语义标签；

获取待测软件产品中设置的各个操作事件，并基于关联关系，以及待测软件产品的各个操作事件之间的转化关系，获得待测软件产品的各个操作事件对应的语义标签组成的事件树，其中，待测软件产品的事件树表示待测软件产品各个语义标签之间的转化方向和转化路径；

分别将每一个会话集合的事件标签队列，与待测软件产品的事件树进行匹配，并基于获得的匹配结果，确定待测软件产品的各个语义标签之间的转化率，以及对获取的各个转化率进行分析，获得评测结果。

较佳的，在获取用户的各个会话集合之前，进一步包括：

获取指定软件产品的各个操作事件的描述信息，其中，一个操作事件的描述信息包括触发软件产品的一个元素后产生的事件的业务目标、功能、属性、名称以及重要性；

分别基于每一个操作事件的描述信息中包含的业务目标、功能、属性、名称以及重要性，设定相应的语义标签；

基于各个操作事件以及获取的各个语义标签，建立操作事件与语义标签之间的关联关系。

较佳的，获取用户的各个会话集合，具体包括：

获取各个用户对待测软件产品的进行的操作的会话集合，或者，

获取各个用户对与待测软件产品类似的指定软件产品进行的操作的会话集合；或者，

获取指定的用户群对待测软件产品或与待测软件产品类似的指定软件产品进行操作的会话集合。

较佳的，基于预设的操作事件与语义标签之间的关联关系，确定各个会话集合中包含的操作事件对应的语义标签，分别获得每一个会话集合的事件标签队列，具体包括：

基于关联关系，分别确定各个会话集合中每一个操作事件的语义标签；

针对每一个会话集合执行以下步骤：按照一个会话集合中包含的各个操作事件的执行顺序，将一个会话集合中包含的各个操作事件对应的语义标签进行排序，获得包含一个会话集合的各个语义标签的事件标签队列。

较佳的，基于获得的匹配结果，确定待测软件产品的各个语义标签之间的转化率，以及对获取的各个转化率进行分析，获得评测结果，具体包括：

将待测软件产品的各个语义标签进行两两分组；

分别确定包含每一组语义标签并且匹配结果表征匹配成功的事件标签队列的个数，与匹配结果表征匹配成功的各个事件标签队列的总数的比值，获得每一组语义标签对应的转化率；

对获取的各组语义标签的转化率进行分析，获得评测结果。

第二方面，一种软件产品的评测装置，包括：

获取单元，用于获取用户的各个会话集合，其中，一个会话集合中包含一个用户对一个软件产品在一次会话中执行的多个操作的操作事件；

获得单元，用于基于预设的操作事件与语义标签之间的关联关系，确定各个会话集合中包含的操作事件对应的语义标签，分别获得每一个会话集合的事件标签队列，其中，一个会话集合的事件标签队列包含一个会话集合对应的各个语义标签；

转化单元，用于获取待测软件产品中设置的各个操作事件，并基于关联关系，以及待测软件产品的各个操作事件之间的转化关系，获得待测软件产品的各个操作事件对应的语义标签组成的事件树，其中，待测软件产品的事件树表示待测软件产品各个语义标签之间的转化方向和转化路径；

评测单元，用于分别将每一个会话集合的事件标签队列，与待测软件产品的事件树进行匹配，并基于获得的匹配结果，确定待测软件产品的各个语义标签之间的转化率，以及对获取的各个转化率进行分析，获得评测结果。

较佳的，在获取用户的各个会话集合之前，获取单元还用于：

获取指定软件产品的各个操作事件的描述信息，其中，一个操作事件的描述信息包括触发软件产品的一个元素后产生的事件的业务目标、功能、属性、名称以及重要性；

分别基于每一个操作事件的描述信息中包含的业务目标、功能、属性、名称以及重要性，设定相应的语义标签；

基于各个操作事件以及获取的各个语义标签，建立操作事件与语义标签之间的关联关系。

较佳的，在获取用户的各个会话集合时，获取单元具体用于：

获取各个用户对待测软件产品的进行的操作的会话集合，或者，

获取各个用户对与待测软件产品类似的指定软件产品进行的操作的会话集合；或者，

获取指定的用户群对待测软件产品或与待测软件产品类似的指定软件产品进行操作的会话集合。

较佳的，在基于预设的操作事件与语义标签之间的关联关系，确定各个会话集合中包含的操作事件对应的语义标签，分别获得每一个会话集合的事件标签队列时，转化单元具体用于：

基于关联关系，分别确定各个会话集合中每一个操作事件的语义标签；

针对每一个会话集合执行以下步骤：按照一个会话集合中包含的各个操作事件的执行顺序，将一个会话集合中包含的各个操作事件对应的语义标签进行排序，获得包含一个会话集合的各个语义标签的事件标签队列。

较佳的，在基于获得的匹配结果，确定待测软件产品的各个语义标签之间的转化率，以及对获取的各个转化率进行分析，获得评测结果时，评测单元具体用于：

将待测软件产品的各个语义标签进行两两分组；

分别确定包含每一组语义标签并且匹配结果表征匹配成功的事件标签队列的个数，与匹配结果表征匹配成功的各个事件标签队列的总数的比值，获得每一组语义标签对应的转化率；

对获取的各组语义标签的转化率进行分析，获得评测结果。

第三方面，一种电子设备，包括：一个或多个处理器；以及

一个或多个计算机可读介质，可读介质上存储有用于软件产品的评测程序，其中，程序被一个或多个处理器执行时，实现上述第一方面中任一项的方法的步骤。

第四方面，一个或多个计算机可读介质，可读介质上存储有用于软件产品的评测程序，其中，程序被一个或多个处理器执行时，使得通信设备执行上述第一方面中任一项的方法。

本申请实施例中，获取包含若干操作事件的各个会话集合，并根据预设的操作事件与语义标签之间的关联关系，分别确定每一个操作事件对应的语义标签，并分别建立包含每一个会话集合的各个语义标签的事件标签队列；基于上述关联关系，以及待测软件产品中设置的各个操作事件之间的转化关系，获得待测软件产品的各个语义标签组成的事件树；根据各个事件标签队列与事件树的匹配结果，确定各个操作事件之间的转化率，获得评测结果。这样，将用户对软件产品的各个操作事件抽象为易于理解的语义标签，通过语义标签可以简单明了的获知用户的一系列操作，便于评测分析，并通过各个用户对一个软件产品的各个会话集合，对与上述软件产品相同或类似的待测软件产品进行评测，可以实现对软件产品的预测，节约了时间，拓宽了数据的应用维度，获得的评测结果的精度较高，分析成本较少。

附图说明

图1a为本申请实施例中软件产品的评测方法的流程图；

图1b为本申请实施例中待测软件产品的事件树示意图；

图2为本申请实施例中软件产品的评测装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了在对软件产品进行评测时，降低时间成本和分析成本，提高评测的真实度和精度，本申请实施例中，设计了一种软件产品的评测方法，该方法为获取包含用户对软件产品的各个操作事件的各个会话集合，并根据预设的操作事件与语义标签之间的关联关系，确定每一个会话集合对应的各个语义标签，获得相应的事件标签队列，以及基于上述关联关系，以及待测软件产品中设置的各个操作事件之间的转化关系，获得待测软件产品中设置的操作事件对应的语义标签组成的事件树，进一步地，基于各个事件标签队列与事件树之间的匹配结果，获得各个语义标签之间的转化率，进而获得待测软件产品的评测结果。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本申请实施例中，在对软件产品进行评测之前，建立操作事件与语义标签之间的关联关系，具体步骤如下：

首先，终端获取指定软件产品的各个操作事件的描述信息。

其中，操作事件是指用户对软件产品的页面中的任意元素，如，按钮，链接等，进行触发操作后产生的事件。

其中，一个操作事件的描述信息包括操作事件的业务目标、功能、属性、名称以及等重要性等信息。一个操作事件的业务目标可以为广告、支付、结束或者查询等。

然后，用户根据各个操作事件的描述信息中包含的业务目标、功能、属性、名称以及重要性，分别为每一个操作事件设定相应的语义标签。。

例如，操作事件a的描述信息中包含的业务目标为登录，功能为登录，属性为按钮，名称为登录，重要性为高，则用户设定操作事件a的语义标签为登录。

进一步地，终端基于各个操作事件和获取的各个语义标签，建立操作事件与语义标签之间的关联关系。

在建立操作事件与语义标签之间的关联关系之后，通过在各个终端的应用程序中植入用户操作数据的采集程序，或在各个终端的网站的页面中植入相应的js代码，对不同用户在各个终端上对软件产品的操作事件进行采集，获得各个用户的各个会话集合。

其中，终端对用户的操作事件进行采集时，以用户的会话为单位，用户的一个会话集合包含用户在一个软件产品中从开始会话到会话结束之间的各个操作事件。

例如，用户a的一个会话集合包括的各个操作事件为：登录、查看、收藏、购买、支付以及退出。

终端对用户的会话集合进行存储时，按照软件产品的类型、用户的标识以及会话集合的三级结构进行存储。

这样，终端就可以根据上述操作事件与语义标签之间的关联关系，以及采集的不同用户的各个会话集合，在后续的步骤中，对与指定软件产品相同或类似的待测软件产品进行评测，获得评测结果。

参阅图1a所示，为软件产品的评测流程图，本申请实施例中，对软件产品的评测具体流程如下：

步骤100：终端获取各个用户的会话集合。

具体的，终端获取各个用户的会话集合时，可以采用以下几种方式：

第一种方式为：终端直接获取待测软件产品的各个用户的会话集合。

采用这种方式，可以直接获取各个用户对待测软件产品的用户操作数据，并在后续的步骤中，通过获取的用户操作数据对待测软件产品进行评测，这用于对一个已经发布的软件产品的当前版本，进行评测。

第二种方式为：终端获取使用与待测软件产品类似的指定软件产品的各个用户的会话集合。

可选的，指定软件产品可以是设置的操作事件与待测软件产品中设置的操作事件有较多相同的软件产品，或者，指定软件产品与待测软件产品的版本不同的软件产品。

采用这种方式，在待测软件产品还未发布时，可以通过与待测软件类似的软件产品的会话集合，对待测软件产品进行预测，进而指导研发人员进行研发。

第三种方式为：终端获取指定的用户群对待测软件产品或与待测软件产品类似的指定软件产品的会话集合。

采用这种方式，可以选取指定的用户群，如，学生或老师等用户群，对指定软件产品或待测软件产品进行使用时的会话集合，以便在后续的步骤中，针对特定的用户群获得相应的评测结果。

这样，就可以根据不同的应用场景，获取相应的用户数据，进而对待测软件产品进行评测。

步骤101：终端基于预设的操作事件与语义标签之间的关联关系，分别确定各个会话集合中包含的每一个操作事件对应的语义标签。

这样，就可以根据操作事件的语义，目标等，将用户的各个操作事件抽象为简单明了的语义标签，以通俗易懂的语义标签进行描述，便于后续的分析和评测。

步骤102：终端基于各个会话集合的语义标签，分别建立每一个会话集合的事件标签队列。

具体的，以一个会话集合为例，终端建立一个会话集合的事件标签队列的步骤如下：

按照一个会话集合中的各个操作事件的执行顺序，对上述一个会话集合的各个操作事件对应的语义标签进行排序，并基于排序后的语义标签，获得上述一个会话集合的事件标签队列。

例如，一个事件标签队列为：登录、查看、播放、暂停以及退出。

本申请实施例中，仅以一个会话集合为例，对建立一个会话集合的事件标签队列进行说明，其它会话集合均可以根据相同的原理，建立相应的事件标签队列，在此不再赘述。

这样，就可以将用户对软件产品进行操作的各个步骤，抽象为相应的操作的事件标签队列。

步骤103：终端获得待测软件产品中设置的各个操作事件，并基于上述关联关系，确定设置的各个操作事件的语义标签。

具体的，执行步骤103时，一个软件产品的各个页面中的各个元素，均对应相应的操作事件，终端在待测软件产品的配置信息中，获得各个操作事件。

步骤104：终端按照待测软件产品的各个操作事件之间的转化关系，获得待测软件产品的各个操作事件对应的语义标签组成的事件树。

具体的，执行步骤104时，事件树通过各个语义标签表示各个操作事件之间的转化方向和转化路径。

参阅图1b所示，为一个待测软件产品的事件树示意图，包括待测软件产品的所有语义标签，以及各个语义标签之间的转化方向和转化路径。

步骤105：终端分别将每一个会话集合的事件标签队列，与待测试软件产品的事件树进行匹配。

例如，待测试软件产品的事件树a为参阅图1b所示的事件树，会话a的事件标签队列a为：启动、标签1、标签2和目标b，则终端将事件树a与事件标签队列a的进行匹配，获得匹配成功的匹配结果。

进一步地，若事件标签队列中仅有一部分语义标签与事件树匹配成功，则选取匹配成功的部分语义标签组成新的事件标签队列，并在后续的评测步骤中，采用更新后的事件标签队列进行评测。

步骤106：终端基于获得的匹配结果，确定待测软件产品的各个操作事件之间的转化率，获得评测结果。

具体的，首先，终端将待测试软件产品的各个语义标签进行两两分组。

接着，终端分别确定包含每一组语义标签并且匹配结果表征匹配成功的事件标签队列的个数，与匹配结果表征匹配成功的各个事件标签队列的总数的比值，获得每一组语义标签包含的两个语义标签之间的转化率。

最后，终端对获取的各组语义标签的转化率进行分析，获得评测结果。

例如，待测软件产品的事件树a为参阅图1b所示的事件树，终端获取了5个事件标签队列。其中，事件标签队列a为：启动、标签1、标签2和目标2。事件标签队列b为：启动、标签3和目标3。事件标签队列c为启动、标签4、标签5和目标2。事件标签队列d为启动、标签1和目标3。事件标签队列e为启动、标签1、标签6和目标1。

则终端将上述5个事件标签队列分别与事件树a进行匹配，确定事件标签队列e匹配失败，匹配成功的事件标签队列的总数为4，并确定包含启动和目标2的事件标签队列为事件标签队列a和事件标签队列c，个数为2，终端判定启动与目标2之间的转化率为2/4＝0.5。

这样，就可以获取用户到达目标的语义标签的各个转化路径以及转化率，从而确定用户在使用软件产品时的用户习惯以及是否达到目标效果。

比如，应用程序a页面包含3个页面链接，即链接b、链接c和链接d，根据获得的应用程序的各个语义标签的转化率，确定用户在页面a中，点击链接b的概率为0.8，点击链接c的概率为0.15，点击链接d的概率为0.05，则判定链接b的页面位置较佳，或者链接b的内容较佳。

本申请实施例中，一种电子设备，包括：一个或多个处理器；以及

一个或多个计算机可读介质，可读介质上存储有用于软件产品的评测的程序，其中，程序被一个或多个处理器执行时，实现上述实施例中的各个步骤。

本申请实施例中，一个或多个计算机可读介质，可读介质上存储有用于软件产品的评测的程序，其中，程序被一个或多个处理器执行时，使得通信设备可以执行上述实施例中的各个步骤。

基于上述实施例，参阅图2所示，软件产品的评测装置的结构示意图，本申请实施例中，软件产品的评测装置具体包括：

获取单元20，用于获取用户的各个会话集合，其中，一个会话集合中包含一个用户对一个软件产品在一次会话中执行的多个操作的操作事件；

获得单元21，用于基于预设的操作事件与语义标签之间的关联关系，确定各个会话集合中包含的操作事件对应的语义标签，分别获得每一个会话集合的事件标签队列，其中，一个会话集合的事件标签队列包含一个会话集合对应的各个语义标签；

转化单元22，用于获取待测软件产品中设置的各个操作事件，并基于关联关系，以及待测软件产品的各个操作事件之间的转化关系，获得待测软件产品的各个操作事件对应的语义标签组成的事件树，其中，待测软件产品的事件树表示待测软件产品各个语义标签之间的转化方向和转化路径；

评测单元23，用于分别将每一个会话集合的事件标签队列，与待测软件产品的事件树进行匹配，并基于获得的匹配结果，确定待测软件产品的各个语义标签之间的转化率，以及对获取的各个转化率进行分析，获得评测结果。

较佳的，在获取用户的各个会话集合之前，获取单元20还用于：

获取指定软件产品的各个操作事件的描述信息，其中，一个操作事件的描述信息包括触发软件产品的一个元素后产生的事件的业务目标、功能、属性、名称以及重要性；

分别基于每一个操作事件的描述信息中包含的业务目标、功能、属性、名称以及重要性，设定相应的语义标签；

基于各个操作事件以及获取的各个语义标签，建立操作事件与语义标签之间的关联关系。

较佳的，在获取用户的各个会话集合时，获取单元20具体用于：

获取各个用户对待测软件产品的进行的操作的会话集合，或者，

获取各个用户对与待测软件产品类似的指定软件产品进行的操作的会话集合；或者，

获取指定的用户群对待测软件产品或与待测软件产品类似的指定软件产品进行操作的会话集合。

较佳的，在基于预设的操作事件与语义标签之间的关联关系，确定各个会话集合中包含的操作事件对应的语义标签，分别获得每一个会话集合的事件标签队列时，转化单元20具体用于：

基于关联关系，分别确定各个会话集合中每一个操作事件的语义标签；

针对每一个会话集合执行以下步骤：按照一个会话集合中包含的各个操作事件的执行顺序，将一个会话集合中包含的各个操作事件对应的语义标签进行排序，获得包含一个会话集合的各个语义标签的事件标签队列。

较佳的，在基于获得的匹配结果，确定待测软件产品的各个语义标签之间的转化率，以及对获取的各个转化率进行分析，获得评测结果时，评测单元20具体用于：

将待测软件产品的各个语义标签进行两两分组；

分别确定包含每一组语义标签并且匹配结果表征匹配成功的事件标签队列的个数，与匹配结果表征匹配成功的各个事件标签队列的总数的比值，获得每一组语义标签对应的转化率；

对获取的各组语义标签的转化率进行分析，获得评测结果。

本申请实施例中，获取包含若干操作事件的各个会话集合，并根据预设的操作事件与语义标签之间的关联关系，分别确定每一个操作事件对应的语义标签，并分别建立包含每一个会话集合的各个语义标签的事件标签队列；基于上述关联关系，以及待测软件产品中设置的各个操作事件之间的转化关系，获得待测软件产品的各个语义标签组成的事件树；根据各个事件标签队列与事件树的匹配结果，确定各个操作事件之间的转化率，获得评测结果。这样，将用户对软件产品的各个操作事件抽象为易于理解的语义标签，通过语义标签可以简单明了的获知用户的一系列操作，便于评测分析，并通过各个用户对一个软件产品的各个会话集合，对与上述软件产品相同或类似的待测软件产品进行评测，可以实现对软件产品的预测，节约了时间，拓宽了数据的应用维度，获得的评测结果的精度较高，分析成本较少。

本领域内的技术人员应明白，本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样，倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内，则本申请实施例中也意图包含这些改动和变型在内。