数据处理方法、介质、装置及计算设备与流程

本公开的实施方式涉及计算机，更具体地，本公开的实施方式涉及数据处理方法、介质、装置及计算设备。

背景技术：

1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、ab实验本质上为对照实验，在互联网应用场景中特指在线对照实验，例如将某一目标应用程序的线上用户中的一部分用户随机均匀的划分不同的组，为实验组用户对应的应用程序提供预设功能，记录用户行为形成实验数据，最后通过统计的手段评估实验效果，即通过对比某一指标数据来判断实验效果是否显著，从而确定是否将该预设功能应用到该目标应用程序上。

3、在判定实验效果是否显著时，通常做法是根据ab实验后的样本指标进行双样本假设检验，具体的，将线上的用户随机均匀的分为实验组和对照组，在向实验组用户对应的目标应用程序提供预设功能后，分别统计每天实验组和对照组的样本指标，基于两组样本的均值、方差以及样本量计算出p值，基于p值来判定实验效果是否显著。

4、上述方法中，由于线上分流的随机性和用户特征的多样性，样本指标数据不可避免的具有较大的方差，根据检验统计量的计算方式可知，当分母较大时，也就是实验后实验组和对照组的样本均值的差的方差越大时，检验统计量的值往往较小，p值往往较大，此时很难说明实验效果显著，即检测的灵敏度较低。

技术实现思路

1、本公开提供一种数据处理方法、介质、装置及计算设备，以修正实验后实验组和对照组的样本均值差，从而降低修正后的样本均值差对应的方差，提高对实验检测的灵敏度。

2、在本公开实施方式的第一方面中，提供了一种数据处理方法，所述方法包括：

3、确定使用目标应用程序的对照组用户和实验组用户，分别获取两组用户在实验开始前n天中每天的第一指标数据以及实验后m天中每天的第二指标数据；其中，实验开始后，所述目标应用程序向实验组用户提供预设功能；

4、针对实验后的任一天，根据两组用户分别对应的第二指标数据确定第一差异，根据两组用户分别对应的第一指标数据对所述第一差异进行修正，得到第二差异；

5、根据所述第二差异确定实验后任一天对应的假设检验判断指标，根据实验后m天的假设检验判断指标输出是否在所述目标应用程序上应用所述预设功能的指示信息。

6、在本公开实施方式的第二方面，提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如第一方面提供的方法。

7、在本公开实施方式的第三方面，提供了一种数据处理装置，所述装置包括：

8、用户确定模块，用于确定使用目标应用程序的对照组用户和实验组用户，分别获取两组用户在实验开始前n天中每天的第一指标数据以及实验后m天中每天的第二指标数据；其中，实验开始后，所述目标应用程序向实验组用户提供预设功能；

9、修正模块，针对实验后的任一天，用于根据两组用户分别对应的第二指标数据确定第一差异，根据两组用户分别对应的第一指标数据对所述第一差异进行修正，得到第二差异；

10、输出模块，用于根据所述第二差异确定实验后任一天对应的假设检验判断指标，根据实验后m天的假设检验判断指标输出是否在所述目标应用程序上应用所述预设功能的指示信息。

11、在本公开实施方式的第四方面，提供了一种计算设备，包括：至少一个处理器和存储器；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面提供的方法。

12、在本公开实施方式中，通过确定使用目标应用程序的对照组用户和实验组用户分别在实验开始前的第一指标数据以及实验后的第二指标数据；实验开始后，目标应用程序向实验组用户提供预设功能；针对实验后的任一天，根据两组用户分别对应的第二指标数据确定第一差异，根据两组用户分别对应的第一指标数据对第一差异进行修正，得到第二差异；根据第二差异确定实验后任一天对应的假设检验判断指标，根据假设检验判断指标输出是否在目标应用程序上应用预设功能的指示信息，通过采用实验前的第一指标数据对实验后的第一差异进行修正，实现第二差异的方差相比于第一差异的方差缩减，以提高实验检测的灵敏度，此外，该方法还可以更加高效准确的确定是否向目标应用程序提供预设功能，使得最终预设功能的上线可以符合客户的需求，提升用户的体验。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据两组用户分别对应的第一指标数据对所述第一差异进行修正，得到第二差异，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述差值对所述第一差异进行修正，得到第二差异，包括：

4.根据权利要求3所述的方法，其特征在于，根据所述第二差异确定实验后任一天对应的假设检验判断指标，包括：

5.根据权利要求4所述的方法，其特征在于，确定实验后任一天对应的修正系数的取值，包括：

6.根据权利要求4或5所述的方法，其特征在于，所述假设检验判断指标为p值；根据所述修正系数的取值确定实验后任一天对应的假设检验判断指标，包括：

7.根据权利要求4或5所述的方法，其特征在于，所述假设检验判断指标为置信区间；根据所述修正系数的取值确定实验后任一天对应的假设检验判断指标，包括：

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的方法。

9.一种数据处理装置，其特征在于，所述装置包括：

10.一种计算设备，其特征在于，包括：至少一个处理器和存储器；

技术总结
本公开的实施方式提供了一种数据处理方法、介质、装置及计算设备，通过确定使用目标应用程序的对照组用户和实验组用户分别在实验开始前的第一指标数据以及实验后的第二指标数据；实验开始后，目标应用程序向实验组用户提供预设功能；针对实验后的任一天，根据两组用户分别对应的第二指标数据确定第一差异，根据两组用户分别对应的第一指标数据对第一差异进行修正，得到第二差异；根据第二差异确定实验后任一天对应的假设检验判断指标，从而输出是否应用预设功能的指示信息，通过对实验后的第一差异进行修正，实现方差缩减，提高实验检测的灵敏度，且可以更加高效准确的确定是否上线预设功能，使得预设功能的上线符合客户的需求，提升用户体验。

技术研发人员：郭先文,卜天宇,李方健,吴官林
受保护的技术使用者：杭州网易云音乐科技有限公司
技术研发日：
技术公布日：2024/1/13