一种基于随机分流的A/B测试方法与流程

本发明涉及互联网技术领域，特别涉及一种基于随机分流的a/b测试方法。

背景技术：

a/b测试是一种为同一个目标制定两个方案比如两个页面，让一部分用户使用一种方案，另一部分用户使用另一种方案，记录下用户的使用情况，筛选出更符合设计目标的方案。在实际操作过程之中往往设置单一变量进行多个方案并行测试，通过一定的筛选条件选出最理想的方案。

现有技术中a/b测试方法展现在用户面前的客户端页面只有一种方案，也就是说用户只能看到一种客户端页面版本，看不到与其对比的其他客户端页面版本的方案。现有技术由于a/b测试方法在用户面前展示的上述情况，往往会出现针对同一用户虽然对其中一种方案的客户端页面进行了访问点击，但是并不能确定该用户偏好于该方案，该用户仍然存在对另一种方案更加偏好的可能性，从而造成客户端页面系统测试的不精确性。

因此，为了解决上述问题，需要能够本能够科学地验证用户对不同的客户端页面倾向性，使选出的客户端页面更加合理的一种基于随机分流的a/b测试方法

技术实现要素：

本发明的目的在于提供一种基于随机分流的a/b测试方法，所述方法包括如下步骤：

a)在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有所述测试变量的各个版本中引入sdk；

b)客户端页面上线，对访问所述各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器；

c)每个所述服务器中的所有用户根据用户操作进行第二次分流，按照所述测试变量的标签将具有相同操作的用户作为一组；

d)根据步骤c)中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。

优选地，所述各个版本的每两个版本的的客户端页面系统之间配置单一测试变量。

优选地，所述测试变量为客户端页面系统的可视化操作部件。

优选地，所述第一次分流为随机分流。

优选地，步骤d)中所述效果测试按照如下方法进行测试：

d1)计算不同组之间的测试平均效果估计值；

d2)根据计算得到的平均效果估计值，得到测试结果。

优选地，所述平均效果估计值通过计算，其中p为平均效果估计值，为第一组用户对第二组用户操作的测试变量的平均潜在值，为第二组用户相对于第一组用户操作的测试变量的平均潜在值。

优选地，所述第一组用户对第二组用户操作的测试变量的平均潜在值通过如下方式计算：

其中n1为第一组用户的数目，y1i为第一组用户中第i个用户对第二组用户操作的测试变量的平均潜在值。

优选地，所述第二组用户对第一组用户操作的测试变量的平均潜在值通过如下方式计算：

其中n2为第二组用户的数目，y2i为第二组用户中第i个用户对第一组用户操作的测试变量的平均潜在值。

优选地，若所述平均效果估计值p＞0，则第二组用户操作的测试变量所属的客户端页面系统胜出；

若所述平均效果估计值p＜0，则第一组用户操作的测试变量所属的客户端页面系统胜出。

本发明提供的一种基于随机分流的a/b测试方法能够科学地验证用户对产品不同的客户端页面倾向性，更加准确地对不同版本的客户端页面进行筛选，使选出的客户端页面更加合理。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示意性示出了本发明基于随机分流的a/b测试方法的流程框图；

图2示出了本发明基于随机分流的a/b测试方法的第一次分流和第二次分流的示意图；

图3示出了本发明平均效果估计的示意图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例，相关技术术语应当是本领域技术人员所熟知的。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤，除非另有说明。

下面通过具体的实施例对本发明提供的一种基于随机分流的a/b测试方法进行说明，在如下实施例中，本领域技术人员可以理解的是a/b测试过程中并不限于两个客户端页面系统，可以是多个客户端页面系统并行测试，实施例中为了更加清楚简洁的将本发明的内容进行阐释选用两个客户端页面系统进行说明。如图1所示本发明基于随机分流的a/b测试方法的流程框图，本发明提供的一种基于随机分流的a/b测试方法包括如下步骤：

s101、客户端页面系统配置测试变量

a/b测试方法的测试过程中需要对进行测试的不同客户端页面系统的版本配置测试变量，以便确定出何种客户端页面系统更加具有用户的倾向性。优选地，测试变量为客户端页面系统的可视化操作部件。

根据本发明，实施例中在各个版本的客户端页面系统中配置测试变量，并对所述测试变量设置不同的标签，对具有测试变量的各个版本中引入sdk(软件开发工具包)。各个版本的每两个版本的的客户端页面系统之间配置单一测试变量。sdk用于服务器调用客户端，获取客户端页面的用户操作数据。

进一步地说明，本实施例中以客户端a和客户端b两个版本的客户端页面系统为例，客户端a页面系统的展示页面中测试变量为圆形操作按钮，客户端b页面系统的展示页面中测试变量的矩形操作按钮。客户端a和客户端b的页面系统其它内容和完全一样，仅仅为上述的单一变量不同。根据本发明，对圆形操作按钮和矩形操作按钮分别选用不同的标签，以方便在后续的第二次分流中分选出不同组的用户。

s102、用户第一次分流

客户端页面上线，将上述的两个不同版本的客户端上线，本领域技术人员应当理解每一个用户仅仅面对一个版本的客户端(客户端a或客户端b)。对访问各个版本客户端页面的用户进行第一次分流，将分流后的用户分别传输到不同的服务器，第一次分流为随机分流。如图2所示本发明基于随机分流的a/b测试方法的第一次分流和第二次分流的示意图，本实施例中使用客户端a和客户端b的用户总共有n个用户，分别为1号用户、2号用户、…、n号用户。将n个用户随机分流，在一些实施例中可以采用伯努利分布的方式进行向不同服务器分配，在另一些实施例中也可以按用户的顺序依次循环向服务器分配，例如：1号用户分配给ⅰ号服务器，2号用户分配给ⅱ服务器，3号用户分配给ⅰ号服务器，4号用户分配给ⅱ号服务器，…。

s103、用户第二次分流

每个所述服务器中的所有用户根据用户操作进行第二次分流，按照测试变量的标签将具有相同操作的用户作为一组。本实施例中示例性地以ⅰ号服务器中的所有用户进行第二次分流，ⅱ号服务器中的第二次分流以及下文中的测试过程与ⅰ号服务器相同，这里不再累述。

ⅰ号服务器内的所有用户根据用户的按照用户对测试变量的操作进行分组，将具有相同操作的用户作为一组。本发明测试变量设置有标签，利用标签对用户分组，本实施例中对客户端a页面的圆形操作按钮进行点击的用户作为a组，对客户端b页面的矩形操作按钮进行点击的用户作为b组，对既未对客户端a页面的圆形操作按钮进行点击，也未对客户端b页面的矩形操作按钮进行点击的用户剔除。需要说明的是本发明只有两组用户的数目为同一数量级，才进行下文步骤s104的测试分析。

s104、测试分析，筛选客户端页面系统

根据步骤s103中的分组进行客户端页面系统的不同版本进行测试分析，选出最佳的客户端页面系统。具体通过如下的方法进行测试分析：

s401、计算不同组之间的测试平均效果估计值

由于第二次分流后的用户依然具有对另一客户端页面的操作按钮点击的潜在性，需要通过计算测试平均效果估计值来进行精确测试分析，不同组之间的测试平均效果估计值通过计算，其中p为平均效果估计值，为第一组用户对第二组用户操作的测试变量的平均潜在值，为第二组用户相对于第一组用户操作的测试变量的平均潜在值。如图3所示本发明平均效果估计的示意图，a组用户为点击客户端a页面的圆形操作按钮的第一组用户，b组用户为点击客户端b页面的矩形操作按钮的第二组用户。

a组中的用户依然存在点击客户端b页面的矩形操作按钮的潜在性，b组中的用户依然存在点击客户端a页面的圆形操作按钮的潜在性。本发明通过第一组用户对第二组用户操作的测试变量的平均潜在值第二组用户相对于第一组用户操作的测试变量的平均潜在值的差值得到测试平均效果估计值。

根据本发明，实施例中第一组用户对第二组用户操作的测试变量的平均潜在值通过如下方式计算：

其中n1为第一组用户的数目，y1i为第一组用户中第i个用户对第二组用户操作的测试变量的平均潜在值。本实施例中a组用户中利用每一个用户点击客户端b页面的矩形操作按钮的潜在值计算a组用户点击客户端b页面的矩形操作按钮的潜在值。

第二组用户对第一组用户操作的测试变量的平均潜在值通过如下方式计算：

其中n2为第二组用户的数目，y2i为第二组用户中第i个用户对第一组用户操作的测试变量的平均潜在值。本实施例中b组用户中利用每一个用户点击客户端a页面的圆形操作按钮的潜在值计算b组用户点击客户端a页面的圆形操作按钮的潜在值。

对于上述测试平均效果估计值的计算，在测试过程中每一组中的用户数目保持固定不变。例如随着测试的时间推移，a组中的用户数目始终为n1，b组中的用户数目始终为n2。

s402、根据计算得到的平均效果估计值，得到测试结果。

若平均效果估计值p＞0，则第二组用户操作的测试变量所属的客户端页面系统胜出；

若平均效果估计值p＜0，则第一组用户操作的测试变量所属的客户端页面系统胜出。

优选地，本发明若ⅰ号服务器与ⅱ号服务器中胜出的客户端页面系统一致，则该客户端页面系统为胜出的客户端页面系统；若ⅰ号服务器与ⅱ号服务器中胜出的客户端页面系统不一致，则比较ⅰ号服务器与ⅱ号服务器计算得到的平均效果估计值p的绝对值的大小，大者为胜出的客户端页面系统。

本发明提供的一种基于随机分流的a/b测试方法能够科学地验证用户对产品不同的客户端页面倾向性，更加准确地对不同版本的客户端页面进行筛选，使选出的客户端页面更加合理。本发明一种基于随机分流的a/b测试方法采用两次分流，利用多个服务器进行测试分析降低测试过程服务器的压力。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。