一种在中等日活跃用户数量下的双端无偏分组方法与流程

本发明属于染色ab测试，具体涉及一种在中等日活跃用户数量下的双端无偏分组方法，尤其适用于匹配类游戏的软件更新测试。

背景技术：

1、目前的软件ab测试包括单端染色abtest方法和普通abtest方法两种。如图1所示，单端染色abtest方法在进行abtest时，只保留通过hash分流函数随机选择的一个实验组为染色种子组，其他全为待染色(或者部分染色)的中间组。在不更改游戏正常匹配算法，且不进行匹配上的拆分时，当中间组玩家在匹配时遇到染色种子组时，便会采用染色种子组配置；若一局游戏中没有染色种子组的玩家，则采用无实验组的实验配置。当实验进行一段时间后，待染色中间组会存在部分从来没有接触到实验组的玩家(即所有配置均为一直没有实验组的策略)，将这一部分中间组玩家作为对照组。将实验组与对照组结合起来比较实验效果。在图1中，试验后的灰色部分即为对照组，黑色部分为实验组，斜线部分为杂音。普通abtest方法是将现有活跃玩家直接进行ab组拆分，一组为实验组，采用一直有实验组的策略，另一组为对照组，为一直没有实验组的策略。并且保证ab两组玩家不在一起匹配，即不会进入同一个对局。实验一段时间后，比较ab组玩家的表现。例如，公开号为cn112907128a的发明中公开了一种基于ab测试结果的数据分析方法、装置、设备及介质，在第一时间段内，将测试应用和当前应用分别提供给实验组和对照组进行ab测试，其中，测试应用与当前应用之间具有至少一项差异应用功能；根据实验组和对照组在第一时间段内的留存率，预测实验组和对照组在第二时间段内的留存率指标值，第一时间段小于第二时间段；根据实验组和对照组在第二时间段内的留存率指标值，计算实验组和对照组之间的留存率指标绝对差值；根据留存率指标绝对差值，确定测试应用中所述差异应用功能的效果，可以综合性对且长期性对更新应用功能的测试应用进行效果衡量。又例如，公开号为cn115048284a的发明中公开了一种用于测试系统的应用的方法、计算设备和存储介质，获取用于测试应用的实验配置信息，响应于确定用户不属于白名单，基于实验配置项过滤用户，以便确定实验用户；基于实验配置项，为每个实验用户确定关联的类别标签；针对每一个类别标签，经由哈希算法，将与每一个类别标签相关联的实验用户分别分配至对应的实验桶；基于预定流量占比，确定实验组落组用户和对照组落组用户；以及基于实验组落组用户针对第二版本应用的第二测试指标项数据和对照组落组用户针对第一版本应用的第一测试指标项数据的比较确定测试结果。

2、然而，目前的单端染色abtest方法和普通abtest方法均不适用匹配类游戏的测试。具体地，单端染色abtest对照组与实验组有天然区别；由于单端染色abtest中的对照组是从来没有与染色种子组匹配到同一局游戏的玩家，而且该abtest并未在匹配算法上进行修改，所以使得低活跃玩家(参与的匹配次数少)的玩家更容易被筛选入对照组。而实验组为随机选择，所以会导致对照组与实验组在玩家性质上有所区别，使得实验效力大大降低。而传统abtest的在中等dau下直接分组会导致同一个匹配分桶的人数过少，无法正常匹配。

技术实现思路

1、解决的技术问题：本发明公开了一种在中等日活跃用户数量下的双端无偏分组方法，通过双端染色的方法，解决了传统染色算法可能的分组与玩家活跃度相关，而导致两个分组基础特性不同的问题；并且通过保留广大的待染色中间组，保证了匹配效率，解决了在中等dau下，传统abtest分组可能导致两个组都无法满足匹配所需最小人数的问题。

2、技术方案：

3、一种在中等日活跃用户数量下的双端无偏分组方法，所述双端无偏分组方法用于匹配类游戏的软件更新测试：所述双端无偏分组方法包括以下步骤：

4、根据测试要求，通过hash分流函数随机选择染色种子组、纯净对照组以及中间组；染色种子组、纯净对照组的数量比例相当，且远小于中间组的数量比例；

5、其中，染色种子组所在游戏局均采用实验策略，纯净对照组所在游戏局均不采用实验策略，在匹配时染色种子组和纯净对照组不匹配入同一局游戏。

6、进一步地，所述染色种子组、纯净对照组的数量比例小于等于10％。

7、进一步地，通过hash分流函数随机选择染色种子组、纯净对照组以及中间组包括：

8、采用hash生成器，输入玩家openid，生成相应的整体均匀分布的256位数字号码作为其所对应的hash代码，根据hash代码的指定位的取值将玩家分入染色种子组、纯净对照组或者中间组。

9、进一步地，所述双端无偏分组方法还包括以下步骤：

10、根据测试要求，通过hash分流函数随机选择多个染色种子组，不同的染色种子组对应不同的实验策略。

11、进一步地，所述双端无偏分组方法还包括以下步骤：

12、s1，游戏开局匹配时，判断请求匹配的组队玩家中是否同时包括染色种子组和纯净对照组成员，如果是，将本局标签设置为受污染的对局，上报局内标签情况，结束流程；否则，继续判断请求匹配的组队玩家中是否只包括中间组成员，如果不是，则进入步骤s2，否则，将本局标签设置为中间组对应的b类，上报局内标签情况，结束流程；

13、s2，判断请求匹配的组队玩家中是否有属于染色种子组的成员，如果是，将本局标签设置为染色种子组对应的a类，完成实验策略对应的实验游戏配置，将本局所有纯净对照组的玩家安排至时间最近的纯净组对局中，转入步骤s4，如果不是，转入步骤s3；

14、s3，将本局标签设置为纯净组对应的c类，完成不采用实验策略时的常规游戏配置，将本局所有染色种子组的玩家安排至时间最近的染色种子组对局中；

15、s4，进入游戏，上报局内各种游戏数据。

16、进一步地，所述双端无偏分组方法还包括以下步骤：

17、从中间组玩家中再随机分出一部分玩家组成参照组，参照组的数量占比与染色种子组和纯净对照组成员的数量占比相同；

18、统计染色种子组和纯净组之间以及染色种子组和参照组之间的匹配组队效率，分析两者的匹配组队效率差异，根据分析结果对染色种子组和纯净组的分组进行优化。

19、有益效果：

20、第一，本发明的在中等日活跃用户数量下的双端无偏分组方法，做到了染色abtest能在中等dau下进行，而不会出现因为进行abtest而导致匹配无法正常进行，保证了匹配效率，且实验组与对照组均可以在实验前预先设定。本发明能够同时保证染色的统一性、分组的无偏性以及匹配效率。

21、第二，本发明的在中等日活跃用户数量下的双端无偏分组方法，能够进行多组abtest并行实验。

技术特征：

1.一种在中等日活跃用户数量下的双端无偏分组方法，其特征在于，所述双端无偏分组方法用于匹配类游戏的软件更新测试；所述双端无偏分组方法包括以下步骤：

2.根据权利要求1所述的在中等日活跃用户数量下的双端无偏分组方法，其特征在于，所述染色种子组、纯净对照组的数量比例小于等于10％。

3.根据权利要求1所述的在中等日活跃用户数量下的双端无偏分组方法，其特征在于，通过hash分流函数随机选择染色种子组、纯净对照组以及中间组包括：

4.根据权利要求1所述的在中等日活跃用户数量下的双端无偏分组方法，其特征在于，所述双端无偏分组方法还包括以下步骤：

5.根据权利要求1所述的在中等日活跃用户数量下的双端无偏分组方法，其特征在于，所述双端无偏分组方法还包括以下步骤：

6.根据权利要求1所述的在中等日活跃用户数量下的双端无偏分组方法，其特征在于，所述双端无偏分组方法还包括以下步骤：

技术总结
本发明公开了一种在中等日活跃用户数量下的双端无偏分组方法，包括：根据测试要求，通过hash分流函数随机选择染色种子组、纯净对照组以及中间组；染色种子组、纯净对照组的数量比例相当，且远小于中间组的数量比例；其中，染色种子组所在游戏局均采用实验策略，纯净对照组所在游戏局均不采用实验策略，在匹配时染色种子组和纯净对照组不匹配入同一局游戏。本发明能够同时保证染色的统一性、分组的无偏性以及匹配效率。

技术研发人员：王瑞达,陈杨
受保护的技术使用者：王瑞达
技术研发日：
技术公布日：2024/1/15