一种方案测试的方法及服务器与流程

本发明涉及计算机技术领域，特别涉及一种方案测试的方法及服务器。

背景技术：

所谓AB测试，就是为同一个目标制定两个方案(比如两个页面)，让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，看哪个方案更符合设计目标。

在视频直播网站中，为了提升在观看视频直播过程中的用户体验，网站会频繁地通过各种方法和策略来对产品和系统做调整，这时需要快速得到用户反馈，这样可以对新方案的效果做出及时调整，根据用户的反馈数据去迭代更新方案，如果用户对产品和系统的方案反馈结果不理想，甚至需要及时放弃当前新方案，所以AB测试在视频直播系统中就显得非常重要，是数据驱动产品的核心基础。

AB测试流程中，会同时并行两套方案：Control(基准方案)和Treatment(实验方案)，实验方案的生效过程越短，“实验方案用户群集(Treatment User Set)”对新方案试用的反馈会越精准。在实验方案的生效过程中，用户在网站的流入和流失是完全不可预知的，需要在测试时缩短实验方案的生效时间。并且，对于视频直播类网站，新方案调整频繁，AB测试频率高，这样对于AB测试系统使用的友好程度显得格外重要，这样不仅可以让更多的非技术人员参与到AB测试过程中，而且可以降低AB测试策略的出错概率。

通常在AB测试中，获取实验方案用户群集并让该用户群集即时生效极其重要。在视频直播领域，对用户画像的主要是根据用户在网站上的用户行为，包括：用户观看行为、弹幕信息、关注行为、礼物赠送行为、用户地理位置、用户设备等信息，根据特定的数据模型，对用户打上各种标签，例如：对某款游戏观看时间占比大，则给用户打上某款游戏重度观看标签；在观看视频直播中习惯发送弹幕，则给这类用户打上多弹幕标签，并根据弹幕量多少，细分出更多用户标签。简言之，通过标签获取实验方案用户群集，能更精准评估实验方案的效果。

在视频直播网站中，在触发特定功能请求响应内容时，客户端(Client)会向服务器提交HTTP请求，该请求会先进入网站网关服务器(Gateway Server)，然后由网关服务器根据URL中信息完成请求路由功能。然后将该用户请求分发到负责处理当前用户的功能接口中。然后由功能接口负责解析处理该请求。如何及时高效地配置用户请求的路由规则显得格外重要。

现有的AB测试方法，如果需要修改“实验方案用户群集(Treatment User Set)”，一般需要由运营部分发起修改用户群集的需求，然后由数据团队根据需求统计分析出满足需求的用户集，交给“系统功能”研发部门，将统计得到的用户集导入到功能接口中，甚至需要重新发布该系统功能应用，使得新导入的用户群集能在后续进入的用户请求中能尽快生效。整个过程，涉及到的人员过多，操作复杂，分发策略容易出错，并且生效过程长。

技术实现要素：

本发明实施例提供了一种方案测试的方法及服务器，动态配置用户群集分流策略并在服务器内存中直接更新，使得用户群集分流策略可以实时生效，提高了AB测试精准度。

第一方面，本申请提供过一种方案测试的方法，该方法应用于服务器，该方法包括：

获取预先生成用于AB测试的用户标签与用户标识对应的描述文件；

根据所述描述文件及预设的虚拟物品实例列表，得到用户标识和虚拟物品对应关系的路由信息描述文件，所述路由信息描述文件中包括目标用户群集中的用户与目标虚拟物品的对应关系；

在确定所述路由信息描述文件符合预设的读入条件后，读入所述路由信息描述文件；

将所述路由信息描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；

在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的用户群集分流策略，以根据用户群集进行虚拟物品分发的AB测试。

优选的，在所述获取预先生成的用于AB测试的用户标签与用户标识对应的描述文件的步骤之前，所述方法还包括：

生成用于AB测试的用户标签与用户标识对应的描述文件。

优选的，所述生成用于AB测试的用户标签与用户标识对应的描述文件的步骤包括：

获取测试设定的待测试用户标签；

获取所述待测试用户标签对应的用户群集；

根据待测试用户标签及用户群集中的用户标识生成用户标签与用户标识对应的描述文件。

优选的，若生成所述路由信息描述文件的生成时间大于上次读入路由信息描述文件的读入时间，则确定所述路由信息描述文件符合预设的读入条件。

优选的，所述路由信息描述文件为json格式的配置文件；

所述将所述路由信息描述文件组装成内部结构体的步骤，包括：

读取所述json格式配置文件；

将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。

优选的，在根据用户群集进行虚拟物品分发的AB测试之后，所述方法还包括：

收集用户行为特征或者用户对分发的目标虚拟物品的使用体验反馈；

根据所述用户行为特征或所述使用体验反馈，调整用户群集分流策略，生成新的路由信息描述文件，更新到所述服务器内存中。

第二方面，本申请提供一种服务器，该服务器包括：

第一获取单元，用于获取预先生成用于AB测试的用户标签与用户标识对应的描述文件；

第二获取单元，用于根据所述描述文件及预设的虚拟物品实例列表，得到用户标识和虚拟物品对应关系的路由信息描述文件，所述路由信息描述文件中包括目标用户群集中的用户与目标虚拟物品的对应关系；

读入单元，用于在确定所述路由信息描述文件符合预设的读入条件后，读入所述路由信息描述文件；

组装单元，用于将所述路由信息描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；

更新单元，用于在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的用户群集分流策略，以根据用户群集进行虚拟物品分发的AB测试。

优选的，所述服务器还包括：

生成单元，用于在所述获取预先生成的用于AB测试的用户标签与用户标识对应的描述文件的步骤之前，生成用于AB测试的用户标签与用户标识对应的描述文件。

优选的，所述生成单元具体用于

获取测试设定的待测试用户标签；

获取所述待测试用户标签对应的用户群集；

根据待测试用户标签及用户群集中的用户标识生成用户标签与用户标识对应的描述文件。

优选的，若生成所述路由信息描述文件的生成时间大于上次读入路由信息描述文件的读入时间，则确定所述路由信息描述文件符合预设的读入条件。

优选的，所述路由信息描述文件为json格式的配置文件；

所述组装单元具体用于：

读取所述json格式配置文件；

将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。

优选的，所述服务器还包括用户反馈单元；

所述用户反馈单元用于在根据用户群集进行虚拟物品分发的AB测试之后，收集用户行为特征或者用户对分发的目标虚拟物品的使用体验反馈；

所述更新单元还用于根据所述用户行为特征或所述使用体验反馈，调整用户群集分流策略，生成新的路由信息描述文件，更新到所述服务器内存中。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例通过获取预先生成用于AB测试的用户标签与用户标识对应的描述文件；根据所述描述文件及预设的虚拟物品实例列表，得到用户标识和虚拟物品对应关系的路由信息描述文件，在确定所述路由信息描述文件符合预设的读入条件后，读入所述路由信息描述文件；将所述路由信息描述文件组装成内部结构体，向预置的访问添加策略接口发送访问请求；在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的用户群集分流策略，以根据用户群集进行虚拟物品分发的AB测试。本发明实施例通过动态配置用户群集分流策略，并在服务器内存中直接更新，因此用户群集分流策略可以实时生效，提高了AB测试精准度。

附图说明

图1是本发明实施例中方案测试的方法的一个实施例示意图；

图2是本发明实施例中方案测试的方法的一个实施例示意图；

图3是本发明实施例中方案测试的方法的一个实施例示意图；

图4是本发明实施例中方案测试的方法的一个步骤的具体示意图；

图5是本发明实施例中服务器的一个实施例示意图；

图6是本发明实施例中服务器的一个实施例示意图；

图7是本发明实施例中服务器的一个实施例示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，为本发明实施例中方案测试实现场景的硬件架构示意图，本发明实施例中方案测试的方法应用于图1中的网关服务器，本发明实施例中服务器端可以包括网关服务器和应用服务器两个部分，网关服务器和应用服务器可以是一个硬件主体，也可以是分离的硬件主体。其中网关服务器分别与应用服务器和用户终端网络连接。

请参阅图2，本发明实施例中方案测试的方法的一个实施例包括：

S201、获取预先生成用于AB测试的用户标签与用户标识对应的描述文件；

S202、根据所述描述文件及预设的虚拟物品实例列表，得到用户标识和虚拟物品对应关系的路由信息描述文件；

其中，所述路由信息描述文件中包括目标用户群集中的用户与目标虚拟物品的对应关系；目标用户群集为待实验测试的用户群集，目标虚拟物品为即将推出的待实验测试虚拟产品。

S203、在确定所述路由信息描述文件符合预设的读入条件后，读入所述路由信息描述文件；

S204、将所述路由信息描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求；

其中，所述访问请求中包括所述内部结构体；所述访问请求中包括所述内部结构体；向预置的访问添加策略接口发送访问请求具体可以是，图1中的网关服务器以HTTP接口暴露服务，向预置的访问添加策略接口(HTTP接口)发送POST请求，其中该POST请求体中包含有前一步骤中生成的分发策略内部结构体。

S205、在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的用户群集分流策略，以根据用户群集进行虚拟物品分发的AB测试。

本发明实施例通过获取预先生成用于AB测试的用户标签与用户标识对应的描述文件；根据所述描述文件及预设的虚拟物品实例列表，得到用户标识和虚拟物品对应关系的路由信息描述文件，在确定所述路由信息描述文件符合预设的读入条件后，读入所述路由信息描述文件；将所述路由信息描述文件组装成内部结构体，向预置的访问添加策略接口发送访问请求；在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的用户群集分流策略，以根据用户群集进行虚拟物品分发的AB测试。本发明实施例通过动态配置用户群集分流策略，并在服务器内存中直接更新，因此用户群集分流策略可以实时生效，提高了AB测试精准度。

优选的，如图3所示，在所述获取预先生成的用于AB测试的用户标签与用户标识对应的描述文件的步骤之前，所述方法还包括：

S206、生成用于AB测试的用户标签与用户标识对应的描述文件。

优选的，如图4所示，所述生成用于AB测试的用户标签与用户标识对应的描述文件的步骤包括：

S2061、获取测试设定的待测试用户标签；

S2062、获取所述待测试用户标签对应的用户群集；

具体的例如，产品团队会根据网站的用户特征，针对特定特征的用户测试实验方案的有效性。举例说明：现在需要在网站直播间新增一个价值礼物，需要验证金额设置的合理性，可以根据历史付费模型，获取特定标签对应的用户群集，标签包括：拥有特定高端品牌手机、付费能力强等标签，这样拥有这类标签的用户会在直播间页面中看到新价值礼物。观察这批用户对这个新版块直播间的付费情况，根据用户对新价值礼物的使用情况分析，酌情判断是否需要做进一步优化调整。

S2063、根据待测试用户标签及用户群集中的用户标识生成用户标签与用户标识对应的描述文件。

用户标签与用户标识对应的描述文件即用户标签与用户ID(UID)对应的描述文件，一个具体数据格式如下：

{"tag":"版块A",

"uid_list":"uid1,uid2,uid3"

}

此时，根据所述描述文件及预设的虚拟物品实例列表，得到用户标识和虚拟物品对应关系的路由信息描述文件可以是，根据所述描述文件及预设的虚拟物品实例列表，可以得到每个用户标识与对应的虚拟物品的对应关系，进而得到用户标识和虚拟物品对应关系的路由信息描述文件，例如根据用户标签与用户ID(UID)对应的描述文件，和在线礼物列表服务器实例列表，可以计算得出一个用户ID(UID)-礼物服务器ID”的路由信息描述文件，该路由信息描述文件的一个实施例格式如下：

{"RoomGiftMainListServer":"Server_A",

"uid_list":"uid1,uid2,uid3"

}

本发明实施例中，由于是通过Web UI(图形化操作)操作设置特定用户标签的实验方案用户群集，将新配置的该用户群集分流策略写入网关服务器工作区域的数据结构中，让该用户群集分流策略及时生效，该过程完全可以由提出用户群集分流策略调整的非技术同事操作，大大降低出差概率。

优选的，若生成所述路由信息描述文件的生成时间大于上次读入路由信息描述文件的读入时间，则确定所述路由信息描述文件符合预设的读入条件。

优选的，所述路由信息描述文件为json格式的配置文件；

所述将所述路由信息描述文件组装成内部结构体的步骤，包括：

读取所述json格式配置文件；

将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。

下面以一具体实施例描述利用所述内部结构体更新所述服务器内存中的用户群集分流策略，根据用户群集进行虚拟物品分发的AB测试的具体过程，在利用所述内部结构体更新所述服务器内存中的用户群集分流策略之后，当用户通过用户终端(如手机或电脑等)进入网站(例如网页直播间，下面以直播间为例进行描述)时，需要请求该房间的礼物类型列表，用户终端中的客户端(Client)会向服务器提交URL格式的HTTP请求，该请求会先进入网站网关服务器(Gateway Server)，然后由网关服务器根据URL中信息完成请求路由功能。

首先，根据HTTP请求的相对路径(例如/gift/web_list_main)，能得知该请求是请求直播间礼物主列表；其次，根据UID获取“用户ID(UID)-礼物服务器(即图1中的应用服务器)ID”路由信息，然后获取到处理该请求的礼物服务器ID，将该用户请求分发到负责处理当前用户礼物服务器(RoomGiftMainListServer)中。然后由该接口负责解析处理该请求。

如果该用户ID属于实验方案用户群集，则需要返回新配置的新价值礼物类型，否则，将继续返回普通礼物列表。完成此次AB测试的请求分发。

本发明实施例中，命中实验方案的用户(即上述目标群集中的用户)，会使用实验方案生效的网站新功能(例如推送目标虚拟物品)，在使用过程中可以通过用户行为特征或者反馈功能，收集用户对实验功能的使用体验，业务团队根据收集的用户反馈，可以及时调整实验方案策略，迭代优化，持续提高用户体验。

即优选的，在根据用户群集进行虚拟物品分发的AB测试之后，所述方法还包括：

收集用户行为特征或者用户对分发的目标虚拟物品的使用体验反馈；

根据所述用户行为特征或所述使用体验反馈，调整用户群集分流策略，生成新的路由信息描述文件，更新到所述服务器内存中。

下面介绍本发明实施例中服务器的实施例，本发明实施例中服务器即图1中所述网关服务器。

请参阅图5，为本发明实施例中服务器的一个实施例，该服务器中包括：

第一获取单元501，用于获取预先生成用于AB测试的用户标签与用户标识对应的描述文件；

第二获取单元502，用于根据所述描述文件及预设的虚拟物品实例列表，得到用户标识和虚拟物品对应关系的路由信息描述文件，所述路由信息描述文件中包括目标用户群集中的用户与目标虚拟物品的对应关系；

读入单元503，用于在确定所述路由信息描述文件符合预设的读入条件后，读入所述路由信息描述文件；

组装单元504，用于将所述路由信息描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；

更新单元505，用于在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的用户群集分流策略，以根据用户群集进行虚拟物品分发的AB测试。

优选的，所述服务器还包括：

生成单元506，用于在所述获取预先生成的用于AB测试的用户标签与用户标识对应的描述文件的步骤之前，生成用于AB测试的用户标签与用户标识对应的描述文件。

优选的，所述生成单元506具体用于

获取测试设定的待测试用户标签；

获取所述待测试用户标签对应的用户群集；

根据待测试用户标签及用户群集中的用户标识生成用户标签与用户标识对应的描述文件。

优选的，若生成所述路由信息描述文件的生成时间大于上次读入路由信息描述文件的读入时间，则确定所述路由信息描述文件符合预设的读入条件。

优选的，所述路由信息描述文件为json格式的配置文件；

所述组装单元504具体用于：

读取所述json格式配置文件；

将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。

优选的，所述服务器还包括用户反馈单元507；

所述用户反馈单元507用于在根据用户群集进行虚拟物品分发的AB测试之后，收集用户行为特征或者用户对分发的目标虚拟物品的使用体验反馈；

所述更新单元505还用于根据所述用户行为特征或所述使用体验反馈，调整用户群集分流策略，生成新的路由信息描述文件，更新到所述服务器内存中。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。