一种方案测试的方法及服务器与流程

本发明涉及计算机技术领域，特别涉及一种方案测试的方法及服务器。

背景技术：

所谓AB测试，就是为同一个目标制定两个方案(比如两个页面)，让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，看哪个方案更符合设计目标。

在视频直播网站中，为了提升在观看视频直播过程中的用户体验，网站会频繁地通过各种方法和策略来对产品和系统做调整，这时需要快速得到用户反馈，这样可以对新方案的效果做出及时调整，根据用户的反馈数据去迭代更新方案，如果用户对产品和系统的方案反馈结果不理想，甚至需要及时放弃当前新方案，所以AB测试在视频直播系统中就显得非常重要，是数据驱动产品的核心基础。

一般AB测试流程中，会同时并行两套方案：Control(基准方案)和Treatment(实验方案)，实验方案的生效过程越短，测试用户群对新方案试用的反馈会越精准。在实验方案的生效过程中，用户在网站的流入和流失是完全不可预知的，需要在测试时缩短实验方案的生效时间。并且，对于视频直播类网站，新方案调整频繁，AB测试频率高，这样对于AB测试系统使用的友好程度显得格外重要，这样不仅可以让更多的非技术人员参与到AB测试过程中，而且可以降低AB测试策略的出错概率。

在视频直播网站中，用户的HTTP请求会先进入网站网关服务器(Gateway Server)，然后由网关服务器根据请求的IP范围(特定地区的用户)特征，分发给特定的后台服务器(Service Server)来处理。如何配置网关服务器中IP策略显得格外重要。现有的AB测试方法，如果需要修改IP分发策略，由公司业务团队指定用户的地理范围，限定某些地区的人员才能使用到新功能，提交给技术团队后，技术团队会输出一个配置文件内容交给运维团队操作，并且需要重启网关服务器，使得网站服务器对新进入的HTTP请求生效，如果命中新配置的IP范围，会将HTTP请求分发到新方案对应的后台服务器中处理。整个过程，涉及到的人员过多，分发策略容易出错，并且生效过程长。

技术实现要素：

本发明实施例提供了一种方案测试的方法及服务器，动态配置IP分发策略并在服务器内存中直接更新，使得IP分发策略可以实时生效，提高了AB测试精准度。

第一方面，本申请提供一种方案测试的方法，该方法应用于服务器，该方法包括：

获取预先生成的用于AB测试的IP分发策略的描述文件；

在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；

将所述IP分发策略的描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；

在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。

优选的，在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，所述方法还包括：

生成用于AB测试的IP分发策略的描述文件。

优选的，所述生成用于AB测试的IP分发策略的描述文件的步骤，包括：

图形化操作用户地图获取操作人员选取的AB测试的地理范围；

根据所述地理范围获取所述地理范围对应的IP段地址范围；

根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。

优选的，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。

优选的，所述IP分发策略的描述文件为json格式的配置文件；

所述将所述IP分发策略的描述文件组装成内部结构体的步骤，包括：

读取所述json格式配置文件；

将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。

优选的，所述方法还包括：

收集用户行为特征或者用户对实验功能的使用体验反馈；

根据所述用户行为特征或所述使用体验反馈，调整IP分发策略，生成新的用于AB测试的IP分发策略的描述文件，更新到所述服务器内存中。

第二方面，本申请提供一种服务器，该服务器包括：

获取单元，用于获取预先生成的用于AB测试的IP分发策略的描述文件；

读入单元，用于在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；

组装单元，用于将所述IP分发策略的描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；

更新单元，用于在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。

优选的，所述服务器还包括：

生成单元，用于在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，生成用于AB测试的IP分发策略的描述文件。

优选的，所述生成单元具体用于：

图形化操作用户地图获取操作人员选取的AB测试的地理范围；

根据所述地理范围获取所述地理范围对应的IP段地址范围；

根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。

优选的，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。

优选的，所述IP分发策略的描述文件为json格式的配置文件；

所述组装单元具体用于：

读取所述json格式配置文件；

将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。

优选的，所述服务器还包括：

用户反馈单元，用于收集用户行为特征或者用户对实验功能的使用体验反馈；

所述更新单元还用于根据所述用户行为特征或所述使用体验反馈，调整IP分发策略，生成新的用于AB测试的IP分发策略的描述文件，更新到所述服务器内存中。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例通过获取预先生成的用于AB测试的IP分发策略的描述文件；在确定IP分发策略的描述文件符合预设的读入条件后，读入IP分发策略的描述文件；将IP分发策略的描述文件组装成内部结构体，向预置的访问添加策略接口发送访问请求；在访问策略接口接收到访问请求时，利用内部结构体更新服务器内存中的IP分发策略，以进行IP分发的AB测试。本发明实施例通过动态配置IP分发策略，并在服务器内存中直接更新，因此IP分发策略可以实时生效，提高了AB测试精准度。

附图说明

图1是本发明实施例中方案测试的方法的一个实施例示意图；

图2是本发明实施例中方案测试的方法的另一个实施例示意图；

图3是本发明实施例中方案测试的方法的另一个实施例示意图；

图4是本发明实施例中方案测试的方法的一个步骤的具体示意图；

图5是本发明实施例中服务器的一个实施例示意图；

图6是本发明实施例中服务器的另一个实施例示意图；

图7是本发明实施例中服务器的另一个实施例示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，为本发明实施例中方案测试实现场景的硬件架构示意图，本发明实施例中方案测试的方法应用于图1中的网关服务器，本发明实施例中服务器端可以包括网关服务器和应用服务器两个部分，网关服务器和应用服务器可以是一个硬件主体，也可以是分离的硬件主体。其中网关服务器分别与应用服务器和用户终端网络连接。

请参阅图2，本发明实施例中方案测试的方法的一个实施例包括：

S201、获取预先生成的用于AB测试的IP分发策略的描述文件；

S202、在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；

S203、将所述IP分发策略的描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求；

其中，所述访问请求中包括所述内部结构体；向预置的访问添加策略接口发送访问请求具体可以是，图1中的网关服务器可以以HTTP接口暴露服务，向预置的访问添加策略接口(HTTP接口)发送POST请求，其中该POST请求体中包含有前一步骤中生成的分发策略内部结构体。

S204、在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。

本发明实施例通过获取预先生成的用于AB测试的IP分发策略的描述文件；在确定IP分发策略的描述文件符合预设的读入条件后，读入IP分发策略的描述文件；将IP分发策略的描述文件组装成内部结构体，向预置的访问添加策略接口发送访问请求；在访问策略接口接收到访问请求时，利用内部结构体更新服务器内存中的IP分发策略，以进行IP分发的AB测试。本发明实施例通过动态配置IP分发策略，并在服务器内存中直接更新，因此IP分发策略可以实时生效，提高了AB测试精准度。

优选的，如图3所示，在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，所述方法还包括：

S205、生成用于AB测试的IP分发策略的描述文件。

优选的，如图4所示，所述步骤S205具体包括：

S2051、图形化操作用户地图获取操作人员选取的AB测试的地理范围；

例如，产品团队会根据网站的用户特征，针对特定地区的用户测试实验方案的有效性，首先会确定一个针对该方案的地理范围。举例说明：现在需要在网站直播间新增一个价值礼物，需要验证金额设置的合理性，可以根据历史付费模型，获取付费能力强的上海电信用户优先试用，这样新价值礼物仅对上海用户可见，观察一周内上海用户对这个新价值礼物额度设置的使用反馈情况，酌情判断是否需要做进一步调整。

本发明实施例中，可以根据用户在服务器中预置的User Map(用户地图)的分布，选取AB测试对应的地理范围。

S2052、根据所述地理范围获取所述地理范围对应的IP段地址范围；

例如，在选择北京，杭州，上海三个地理范围后，则获取择北京，杭州，上海对应的IP段地址范围，每个地理范围对应的IP段可以预先预置在服务器中，在确定地理范围后，直接查询得到。

S2053、根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。

优选的，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。

本发明实施例中，由于是通过Web UI(图形化操作)操作用户地图获取操作人员选取的AB测试的地理范围，生成用于AB测试的IP分发策略的描述文件，该过程完全可以由提出IP分发策略调整的非技术同事操作，大大降低出差概率。

优选的，所述IP分发策略的描述文件为json格式的配置文件；

所述将所述IP分发策略的描述文件组装成内部结构体的步骤，包括：

读取所述json格式配置文件；

将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。

如下为json格式配置文件的一个具体IP分发策略的数据格式：

进一步的，所述服务器中可以保存多个IP分发策略，每个IP分发策略都对应一个优先级，可以根据数字或字母定义优先级高低，例如从1开始，级别为1的IP分发策略优先级最高，一个具体示例如下所示：

在上述示例中，优先级代号为1的IP分发策略优先级最高。

在网关服务器更新完IP分发策略后，根据新进入的用户HTTP请求所属的IP地址，匹配内存中的IP分发策略，如果匹配当前的IP分发策略，则将该HTTP请求提交到实验方案对应的应用服务器(Application Server)。完成此次AB测试的请求分发。

本发明实施例中，对于命中IP分流策略的用户，会使用导实验方案生效的网站新功能，在使用过程中可以通过用户行为特征或者反馈功能，收集用户对实验功能的使用体验，业务团队根据收集的用户反馈，可以及时调整实验方案策略，迭代优化，持续提高用户体验。

因此优选的，所述方法还包括：

收集用户行为特征或者用户对实验功能的使用体验反馈；

根据所述用户行为特征或所述使用体验反馈，调整IP分发策略，生成新的用于AB测试的IP分发策略的描述文件，更新到所述服务器内存中。

下面介绍本发明实施例中服务器的实施例，本发明实施例中服务器即图1中所述网关服务器。

请参阅图5，为本发明实施例中服务器的一个实施例，该服务器中包括：

获取单元501，用于获取预先生成的用于AB测试的IP分发策略的描述文件；

读入单元502，用于在确定所述IP分发策略的描述文件符合预设的读入条件后，读入所述IP分发策略的描述文件；

组装单元503，用于将所述IP分发策略的描述文件的内容组装成内部结构体，向预置的访问添加策略接口发送访问请求，所述访问请求中包括所述内部结构体；

更新单元504，用于在访问策略接口接收到所述访问请求时，利用所述内部结构体更新所述服务器内存中的IP分发策略，以进行IP分发的AB测试。

优选的，如图6所示，所述服务器还包括：

生成单元505，用于在所述获取预先生成的用于AB测试的IP分发策略的描述文件的步骤之前，生成用于AB测试的IP分发策略的描述文件。

优选的，所述生成单元505具体用于：

图形化操作用户地图获取操作人员选取的AB测试的地理范围；

根据所述地理范围获取所述地理范围对应的IP段地址范围；

根据IP段地址范围生成用于AB测试的IP分发策略的描述文件。

优选的，若生成所述IP分发策略文件的生成时间大于上次读入IP分发策略的描述文件的读入时间，则确定所述IP分发策略的描述文件符合预设的读入条件。

优选的，所述IP分发策略的描述文件为json格式的配置文件；

所述组装单元503具体用于：

读取所述json格式配置文件；

将所述json格式配置文件中不同字段赋值到预设的内部结构体的各个对象属性中。

优选的，如图7所示，所述服务器还包括：

用户反馈单元506，用于收集用户行为特征或者用户对实验功能的使用体验反馈；

所述更新单元还用于根据所述用户行为特征或所述使用体验反馈，调整IP分发策略，生成新的用于AB测试的IP分发策略的描述文件，更新到所述服务器内存中。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。