AB实验方法、装置、计算机设备及计算机可读存储介质与流程

本发明涉及计算机，尤其涉及一种ab实验方法、装置、计算机设备及计算机可读存储介质。

背景技术：

1、目前在web(网页)或app(应用程序)的策略迭代上，广泛使用ab实验的结果作为决策依据。它的核心原理是在同一时间内，相似的用户被随机分流，分别访问不同策略生效的网页或应用程序，分析师通过收集不同组用户的行为数据和业务数据，分析评估出策略的最佳版本。货运场景涉及用户、订单和司机三个分流对象，对一个元素的简单随机分流不能保证实验同质性，而且随机分流在大样本上效果较好，货运市场存在样本量受限的情况，且货运调度匹配复杂，对同一分流对象存在多个实验并存的现象，因此，简单的随机分流并不能满足货运的复杂场景，尤其是在存在多个实验层交叉时。

技术实现思路

1、本发明的目的在于提供一种ab实验方法、装置、计算机设备及计算机可读存储介质，旨在解决货运场景下ab实验存在多个实验层交叉时的问题。

2、第一方面，本发明提供了一种ab实验方法，包括：

3、s101、确定ab实验的实验层数；

4、s102、当所述ab实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；

5、s103、当所述ab实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐；每一层采用时间片固定顺序轮播与隔天反转的实验方式；

6、s104、根据所述ab实验回收周期进行数据回收。

7、第二方面，本发明提供了一种ab实验装置，包括：

8、判断模块，用于确定ab实验的实验层数；

9、单层实施模块，用于当所述ab实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；

10、多层实施模块，用于当所述ab实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐。每一层采用时间片固定顺序轮播与隔天反转的实验方式；

11、回收模块，用于根据所述ab实验回收周期进行数据回收。

12、第三方面，本发明提供了一种计算机设备，包括：

13、一个或多个处理器；

14、存储器；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上所述ab实验方法的步骤。

15、第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的ab实验方法的步骤。

16、在本发明中提供了一种ab实验方法，对于单层实验采用时间片固定顺序轮播且隔天反转的实验方式，增加了实验组别之间的同质性，以及保证各组流量与预期一致，相比于一般的时间片实验，可以缩短实验观察周期。对于多层嵌套实验，实现了流量高效利用，科学处理了不同实验层间的干扰，后期实验数据分析可以根据嵌套结构计算多个实验叠加的效果，量化上一层实验对下一层产生影响。

技术特征：

1.一种ab实验方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述方法还包括：当所述ab实验新增实验层时，判断是否可进行嵌套实验，当可以嵌套时，将新增实验嵌套入当前ab实验中；当不可以嵌套时，实施隔离实验。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：当所述ab实验需要扩量时，根据所述ab实验的收益性质确定扩量。

4.如权利要求1所述的方法，其特征在于，所述ab实验回收周期包括短期回收周期和长期回收周期，所述短期回收周期的下限是在当前观察周期下，当前层的实验组和对照组之间的流量达到同质所需的最短时间，所述长期回收周期是考虑实验其他层的干扰后达到同质所需的最短时间。

5.如权利要求2所述的方法，其特征在于，当所述ab实验新增实验层时，判断是否可进行嵌套实验，当全部满足以下条件时可进行嵌套实验：新实验加入后ab实验总层数不超过四层、新实验的时间片轮播周期起点是每天0点、以及新实验加入后每层实验的分组数目不变；否则不可以进行嵌套实验，实施隔离实验，具体是将城市分成同质的两类，一类只做嵌套实验，另一类只做隔离实验。

6.如权利要求3所述的方法，其特征在于，当所述ab实验需要扩量时，根据所述ab实验的收益性质确定扩量，包括：

7.如权利要求1所述的方法，其特征在于，所述实验每一层时间片长度确定的步骤包括：

8.一种ab实验装置，其特征在于，所述装置包括：

9.一种计算机设备，包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的ab实验方法的步骤。

技术总结
本发明提供了一种AB实验方法，包括：确定AB实验的实验层数；当AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；当AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐。每一层采用时间片固定顺序轮播与隔天反转的实验方式；根据AB实验回收周期进行数据回收。本发明提供的AB实验方法对于单层实验增加了实验组别间的同质性，缩短了实验观察周期；对于多层嵌套实验，实现了流量高效利用，科学处理了不同实验层间的干扰，后期实验数据分析可以根据嵌套结构计算多个实验叠加的效果，量化上一层实验对下一层产生影响。

技术研发人员：夏天,林肯,吴腾枫
受保护的技术使用者：深圳依时货拉拉科技有限公司
技术研发日：
技术公布日：2024/1/16