一种目标对象验证方法及装置与流程
本申请涉及计算机技术领域，尤其涉及一种目标对象验证方法及装置。
背景技术：
目前，随着计算机通信技术的发展，互联网服务和应用广泛使用a/b测试来对比评估不同交互设计、策略逻辑或算法模型的效果。
然而，现有方案中在使用a/b测试在从两个或多个产品的优化方案中选出最优方案的过程中，普遍采用基于假设检验的方法，其弊端为：对于固定量级假设检验，其需要在获取样本量(流量)之前，确定验证过程中所需要的样本量(流量)，如果提前结束验证，很容易得出假阳性结论。此外，为了确定出最优的方案，在对两个或多个产品的优化方案进行样本验证的过程中，采用基于假设的检验方法不能给出最直接最明确的结论，非常容易得出错误的结论；而且，在多重检验(分组超过2个)中，需要采用额外方法控制假发现率，增加验证过程的复杂度。
由此可知，现有方案中在从两个或多个产品的优化方案中确定最优方案的过程中，需要提前预估验证过程中所需的样本量(流量)，而这难以准确预估，如果高估，则不能提前停止验证(即停止实验)会浪费流量，如果低估，则验证结束(即实验结束)仍不能得出可靠结论，此外，在多重检验中，需要采用额外方法控制假发现率，增加了验证过程的复杂度。
技术实现要素：
本申请实施例的目的是提供一种目标对象验证方法及装置，无需预先对样本数量进行预估，解决了因样本数量预估有偏差而导致验证结果不准确的问题，还提高了目标对象的验证效率，并且能够自动进行验证终止条件的识别，提高了验证终止时机的精准度。
为解决上述技术问题，本申请实施例是这样实现的：
本申请实施例提供了一种目标对象验证方法，包括：
针对每个待验证的目标对象，获取分配给该目标对象的多个样本用户的使用行为数据，其中，所述多个样本用户的比例是基于针对所述目标对象的上一轮验证所确定的验证结果进行动态调整的；
根据所述多个样本用户的所述使用行为数据，确定各预设业务指标的特征值，其中，所述预设业务指标是根据所述目标对象对应的应用场景确定的；
利用经验贝叶斯方法根据各所述预设业务指标的先验概率分布和所述特征值，确定各所述预设业务指标的后验概率分布；
利用蒙特卡罗方法根据所述后验概率分布，确定针对所述目标对象的验证结果；其中，所述验证结果包括：用于表征目标对象相对优势的机会值和用于表征目标对象用于提供线上用户使用的潜在损失的风险值；
若所述验证结果满足预设验证终止条件，则根据各所述目标对象的所述验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象。本申请实施例提供了一种目标对象验证装置，包括：
行为数据获取模块，用于针对每个待验证的目标对象，获取分配给该目标对象的多个样本用户的使用行为数据，其中，所述多个样本用户的比例是基于针对所述目标对象的上一轮验证所确定的验证结果进行动态调整的；
特征值确定模块，用于根据所述多个样本用户的所述使用行为数据，确定各预设业务指标的特征值，其中，所述预设业务指标是根据所述目标对象对应的应用场景确定的；
后验概率分布确定模块，用于利用经验贝叶斯方法根据各所述预设业务指标的先验概率分布和所述特征值，确定各所述预设业务指标的后验概率分布；
验证结果确定模块，用于利用蒙特卡罗方法根据所述后验概率分布，确定针对所述目标对象的验证结果；其中，所述验证结果包括：用于表征目标对象相对优势的机会值和用于表征目标对象用于提供线上用户使用的潜在损失的风险值；
第一处理模块，用于若所述验证结果满足预设验证终止条件，则根据各所述目标对象的所述验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象。
本申请实施例提供了一种目标对象验证设备，包括：处理器；以及
被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现以下流程：
针对每个待验证的目标对象，获取分配给该目标对象的多个样本用户的使用行为数据，其中，所述多个样本用户的比例是基于针对所述目标对象的上一轮验证所确定的验证结果进行动态调整的；
根据所述多个样本用户的所述使用行为数据，确定各预设业务指标的特征值，其中，所述预设业务指标是根据所述目标对象对应的应用场景确定的；
利用经验贝叶斯方法根据各所述预设业务指标的先验概率分布和所述特征值，确定各所述预设业务指标的后验概率分布；
利用蒙特卡罗方法根据所述后验概率分布，确定针对所述目标对象的验证结果；其中，所述验证结果包括：用于表征目标对象相对优势的机会值和用于表征目标对象用于提供线上用户使用的潜在损失的风险值；
若所述验证结果满足预设验证终止条件，则根据各所述目标对象的所述验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象。本申请实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现以下流程：
针对每个待验证的目标对象，获取分配给该目标对象的多个样本用户的使用行为数据，其中，所述多个样本用户的比例是基于针对所述目标对象的上一轮验证所确定的验证结果进行动态调整的；
根据所述多个样本用户的所述使用行为数据，确定各预设业务指标的特征值，其中，所述预设业务指标是根据所述目标对象对应的应用场景确定的；
利用经验贝叶斯方法根据各所述预设业务指标的先验概率分布和所述特征值，确定各所述预设业务指标的后验概率分布；
利用蒙特卡罗方法根据所述后验概率分布，确定针对所述目标对象的验证结果；其中，所述验证结果包括：用于表征目标对象相对优势的机会值和用于表征目标对象用于提供线上用户使用的潜在损失的风险值；
若所述验证结果满足预设验证终止条件，则根据各所述目标对象的所述验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象。本申请实施例中的目标对象验证方法及装置，利用经验贝叶斯方法并结合各业务指标的先验概率分布，得到相应的后验概率分布，再利用蒙特卡罗方法并基于该后验概率分布，得到针对各目标对象的验证结果，同时根据验证结果能够自动识别是否满足预设验证终止条件，进而选取用于提供线上用户使用的目标对象；针对不满足预设验证终止条件的情况，再根据验证结果动态调整分配给各目标对象的样本用户的比例，并基于重新分配的样本用户比例进行下一轮验证，直到验证结果满足预设验证终止条件，这样无需预先对样本数量进行预估，解决了因样本数量预估有偏差而导致验证结果不准确的问题，还提高了目标对象的验证效率，并且能够自动进行验证终止条件的识别，提高了验证终止时机的精准度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的目标对象验证方法的第一种流程示意图；
图2为本申请实施例提供的目标对象验证方法的第二种流程示意图；
图3为本申请实施例提供的目标对象验证方法的第三种流程示意图；
图4为本申请实施例提供的目标对象验证方法的第四种流程示意图；
图5为本申请实施例提供的目标对象验证方法的第五种流程示意图；
图6为本申请实施例提供的目标对象验证方法的第六种流程示意图；
图7为本申请实施例提供的目标对象验证装置的模块组成示意图；
图8为本申请实施例提供的目标对象验证设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请实施例提供了一种目标对象验证方法及装置，利用经验贝叶斯方法并结合各业务指标的先验概率分布，得到相应的后验概率分布，再利用蒙特卡罗方法并基于该后验概率分布，得到针对各目标对象的验证结果，同时根据验证结果能够自动识别是否满足预设验证终止条件，进而选取用于提供线上用户使用的目标对象；针对不满足预设验证终止条件的情况，再根据验证结果动态调整分配给各目标对象的样本用户的比例，并基于重新分配的样本用户比例进行下一轮验证，直到验证结果满足预设验证终止条件，这样无需预先对样本数量进行预估，解决了因样本数量预估有偏差而导致验证结果不准确的问题，还提高了目标对象的验证效率，并且能够自动进行验证终止条件的识别，提高了验证终止时机的精准度。
图1为本申请一实施例提供的目标对象验证方法的第一种流程示意图，图1中的方法能够由服务器执行，服务器自动执行目标对象验证的具体实现步骤。如图1所示，该方法至少包括以下步骤：
s101，针对每个待验证的目标对象，获取分配给该目标对象的多个样本用户的使用行为数据，其中，针对首轮验证，多个样本用户的比例是按照样本用户等比例分配确定的，针对非首轮验证，多个样本用户的比例是基于针对目标对象的上一轮验证所确定的验证结果进行动态调整的，多个目标对象包括：多个版本的目标应用程序、或者针对目标应用程序的多个信息推荐算法；
具体的，例如：以移动终端个性化视频应用为例，使用场景为，用户打开应用程序后，浏览视频列表，并点击感兴趣的视频观看。该应用程序有三个版本，要测试这三个版本中哪个版本能够更有效提高用户使用粘度，需要将这三个版本的视频应用均作为待测试的目标对象，并获取分配给各目标对象的多个样本用户的使用行为数据，服务器用于通过对获取到的各目标对象的多个样本用户的使用行为数据进行分析；
或者，例如，以移动端个性化视频应用为例，使用场景为，用户打开应用后，浏览推荐视频列表，并点击感兴趣的视频观看。视频列表当前的个性化推荐算法为a，现在需要测试两种新的推荐算法b和c是否可以提高推荐质量和用户粘度，需要将这三个推荐算法各自所对应的视频应用作为待测试的目标对象，并获取分配给各目标对象的多个样本用户的使用行为数据，服务器用于通过对获取到的各目标对象的多个样本用户的使用行为数据进行分析；
s102，根据多个样本用户的使用行为数据，确定各预设业务指标的特征值，其中，预设业务指标是根据目标对象对应的应用场景确定的；
具体的，针对待验证的目标对象，根据该目标对象的应用场景，确定该目标对象的指定评价指标；根据该目标对象的指定评价指标，确定该目标对象的各预设业务指标；其中，针对待验证的多个目标对象的首轮验证过程，分配给各目标对象的多个样本用户的比例为将指定数量的样本用户等比例分配，即将样本用户按照1:1的比例分配各多个目标对象；具体的，将样本用户的总数除以目标对象的数量确定为分配给各目标对象的样本用户的数量；针对待验证的多个目标对象的非首轮验证过程，分配给各目标对象的多个样本用户的比例为基于针对目标对象的上一轮验证所确定的验证结果进行动态调整的；针对预设业务指标的特征值的确定过程，对于每个目标对象而言，根据获取到的本轮验证分配给该目标对象的多个样本用户的使用行为数据，确定各预设业务指标的特征值，其中，本轮验证是指首轮验证或非首轮验证，上述特征值是获取到的预设时间段内的各预设业务指标所对应的样本用户的使用行为数据总数；
以待验证目标对象为a/b/c三个版本的视频应用为例，要从这三个版本的视频应用中选取出用户更倾向使用的版本；针对待验证的目标对象为视频应用程序，根据该视频应用程序的应用场景，将人均视频播放时长确定为该视频应用程序的指定评价指标，通过判断a/b/c三个版本所对应的人均视频播放时长的长短，能够初步判断用户更倾向于使用a/b/c三个版本中的哪个版本的视频应用程序，其中，人均视频播放时长越长的视频应用版本为用户更倾向使用的版本；由于用户在使用视频应用时所发生的行为路径为浏览视频、点击视频、播放视频，因此，根据该视频应用的指定评价指标即人均视频播放时长，将浏览量、点击量、播放时长确定为该人均视频播放时长的预设业务指标；
例如，选取的指定数量的样本用户总数为996，000，由于目标对象为a/b/c三个版本的视频应用程序，在首轮验证时，将样本用户总数按照1:1:1的比例平均分为三组，即a/b/c三个版本的视频应用程序各对应332,000个样本用户；根据预设时间段内收集到的本轮验证分配给各个版本的样本用户的使用行为数据，分别确定针对各个版本所需确定的预设业务指标的特征值，即总浏览量、总点击量、总播放时长；例如，a组总活跃用户量na为332,000，总浏览量ka为9,860,000，总点击量ca为1,680,000，总播放时长ta为26,550,000秒；b组总活跃用户量nb为332,000，总浏览量kb为9,750,000，总点击量cb为1,670,000，总播放时长tb为26,600,000秒；c组总活跃用户量nc为332,000，总浏览量kc为9,880,000，总点击量cc为1,685,000，总播放时长tc为26,520,000秒；在非首轮验证时，基于针对各目标对象的上一轮验证所确定的验证结果确定分配给各目标对象的多个样本用户的比例，根据预设时间段内收集到的本轮验证分配给各个版本的样本用户的使用行为数据，分别确定针对各个版本所需确定的预设业务指标的特征值，即总浏览量，总点击量、总播放时长。
s103，利用经验贝叶斯方法根据各预设业务指标的先验概率分布和特征值，确定各预设业务指标的后验概率分布；
具体的，以待验证目标对象为a/b/c三个版本的视频应用为例，用户在使用视频应用的行为路径为浏览视频、点击视频、播放视频，由于用户浏览视频行为服从泊松分布，即ki←poisson(λk)，点击视频行为服从伯努利分布，即cij←bernoulli(p)，播放视频行为服从指数分布，即tij←exponential(λt)，其中，其中ki为用户i浏览的视频数量，cij为用户i是否点击了视频j，1表示发生了点击，0表示未点击，tij表示用户i播放视频j的时长，如果未点击，则为0。那么人均视频播放时长为
根据贝叶斯公式
以λk为例，
先验概率分布的参数ak、bk、ap、bp、at、bt可以根据历史数据确定：近期活跃用户量n0(包含重复)，总浏览量k0，总点击量c0，得到λk～gamma(k0,n0)，p～beta(1+c0,1+k0-c0)，λt～gamma(c0,t0)；
确定某预设时间段内的历史数据得到活跃用户量n0为1,000,000，总浏览量k0为30,000,000，总点击量c0为5,000,000，总播放时长t0为80,000,000秒，可以确定出各预设业务指标的先验概率分布，总浏览量k0的先验概率分布λk～gamma(30000000,1000000)，总点击量c0的先验概率分布p～beta(5000001,25000001)，总播放时长t0的先验概率分布为λt～gamma(5000000,80000000)。
利用共轭关系得到目标对象所对应的分组x的各预设业务指标的后验概率分布：即得到总浏览量k0、总点击量c0以及总播放时长t0的后验概率分布：
根据确定出的各个版本所对应的预设业务指标的特征值：总浏览量、总点击量、总播放时长；例如，针对首轮验证的过程，如果确定出a组总活跃用户量na为332,000，总浏览量ka为9,860,000，总点击量ca为1,680,000，总播放时长ta为26,550,000秒；b组总活跃用户量nb为332,000，总浏览量kb为9,750,000，总点击量cb为1,670,000，总播放时长tb为26,600,000秒；c组总活跃用户量nc为332,000，总浏览量kc为9,880,000，总点击量cc为1,685,000，总播放时长tc为26,520,000秒；以及上述总浏览量k0、总点击量c0以及总播放时长t0的先验概率分布，得到a版本所对应的各预设业务指标：即总浏览量k0、总点击量c0以及总播放时长t0的后验概率分布：分别为
s104，利用蒙特卡罗方法根据后验概率分布，确定针对目标对象的验证结果；其中，所述验证结果包括：用于表征目标对象相对优势的机会值和用于表征目标对象用于提供线上用户使用的潜在损失的风险值；具体的，针对每个预设业务指标，对该预设业务指标的后验概率分布进行随机抽样处理，得到预设业务指标的随机抽样数据；根据该预设业务指标的随机抽样数据，确定目标对象的指定评价指标的后验概率采样结果，利用蒙特卡罗方法根据后验概率采样结果，确定针对目标对象的验证结果。
s105，若验证结果满足预设验证终止条件，则根据各目标对象的验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象，其中，上述验证结果满足预设验证终止条件是指至少一个目标对象的验证结果满足预设验证终止条件。
其中，上述目标对象验证方法即为针对多个目标实验对象的在线随机对照实验分析方法，利用经验贝叶斯方法并结合各业务指标的先验概率分布，得到相应的后验概率分布，再利用蒙特卡罗方法并基于该后验概率分布，得到针对各目标实验对象的分析结果，同时根据分析结果能够自动判断实验是否满足预设终止条件，进而选取用于提供线上用户使用的目标实验对象；针对不满足预设验证终止条件的情况，再根据分析结果动态调整分配给各目标对象的样本用户的比例，并基于重新分配的样本用户比例进行下一轮验证，直到分析结果满足预设终止条件，这样能够充分基于实时采集的样本用户的使用行为数据对多个目标实验对象的优劣进行实验分析，得到相应的分析结果，降低了对实验所需样本量的预估要求，根据分析结果自动判断实验是否满足预设终止条件，进一步提高了实验效率，解决了实验效率低的问题；
本申请实施例中，利用经验贝叶斯方法并结合各业务指标的先验概率分布，得到相应的后验概率分布，再利用蒙特卡罗方法并基于该后验概率分布，得到针对各目标对象的验证结果，同时根据验证结果能够自动识别是否满足预设验证终止条件，进而选取用于提供线上用户使用的目标对象；针对不满足预设验证终止条件的情况，再根据验证结果动态调整分配给各目标对象的样本用户的比例，并基于重新分配的样本用户比例进行下一轮验证，直到验证结果满足预设验证终止条件，这样无需预先对样本数量进行预估，解决了因样本数量预估有偏差即无法准确预估实验所需样本数量而导致验证结果不准确的问题，还提高了目标对象的验证效率，并且能够自动进行验证终止条件的识别，提高了验证终止时机的精准度。
其中，在对多个目标对象进行使用效果最优验证的过程中，可能需要结合样本用户的使用行为数据进行多轮验证，如图2所示，上述方法还包括：
s106，若验证结果不满足预设验证终止条件，则根据各目标对象的验证结果，确定针对待验证的多个目标对象进行下一轮验证时分配给各目标对象的样本用户的比例，并继续执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤，直到确定出满足预设验证终止条件，其中，上述验证结果不满足预设验证终止条件是指各目标对象的验证结果均不满足预设验证终止条件。
具体的，在对多个目标对象进行使用效果最优验证的过程中，可能需要结合样本用户的使用行为数据进行多轮验证，直到验证结果满足预设验证终止条件，才停止针对待验证的多个目标对象的多轮验证过程；其中，针对每一轮验证均执行上述步骤s101至步骤s104，得到本轮验证对应的验证结果，若验证结果满足预设验证终止条件，则执行s105，根据各目标对象的验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象；若验证结果不满足预设验证终止条件，则执行s106，根据各目标对象的验证结果，确定针对待验证的多个目标对象进行下一轮验证时分配给各目标对象的样本用户的比例，并继续执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤，直到确定出满足预设验证终止条件。
针对待验证的多个目标对象的首轮验证过程，分配给各目标对象的样本用户的比例为将指定数量的样本用户进行均分确定的，即将样本用户按照1:1的比例分配各多个目标对象，具体的，将样本用户的总数除以目标对象的数量确定为分配给各目标对象的样本用户的数量；后续针对待验证的多个目标对象的下一轮验证(即非首轮验证)过程，根据上一轮的验证结果，动态调整分配给各目标对象的样本用户的比例。
其中，如图3所示，在上述s104，利用蒙特卡罗方法根据后验概率分布，确定针对目标对象的验证结果之后，还包括：
s107，根据各目标对象的验证结果，判断是否满足预设验证终止条件；
若判断结果为是，则执行s105，根据各目标对象的验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象；其中，该判断结果为是即存在机会值和风险值均满足预设阈值条件的至少一个目标对象；
若判断结果为否，则执行s106，根据各目标对象的验证结果，确定针对待验证的多个目标对象进行下一轮验证时分配给各目标对象的样本用户的比例，并继续执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤，直到确定出满足预设验证终止条件；其中，该判断结果为否即不存在机会值和风险值满足预设阈值条件的至少一个目标对象。
其中，为了提高验证效率，使样本用户集中于机会值较大的目标对象，以使机会值较大的目标对象更快区分出优劣，上述s106，根据各目标对象的验证结果，确定针对待验证的多个目标对象进行下一轮验证时分配给各目标对象的样本用户的比例，包括：
根据各目标对象的机会值的大小关系，确定针对待验证的多个目标对象进行下一轮验证时分配给各目标对象的样本用户的比例；
其中，目标对象的机会值与分配给该目标对象的样本用户的比例成正比。
具体的，以待验证目标对象为a/b/c三个版本的视频应用为例，若确定出的a版本的视频应用的验证结果中机会值为40％，b版本的视频应用的验证结果中机会值为30％，c版本的视频应用的验证结果中机会值为30％，在首轮验证中分配给a/b/c三个版本的视频应用的样本用户量的比例为1:1:1，分配给a/b/c三个版本的视频应用的样本用户量即均为332,000；对应的，在针对a/b/c三个版本的视频应用的非首轮验证时，则根据各版本视频应用的机会值大小，将分配给a/b/c三个版本的视频应用的样本用户量的比例，调整为所对应的机会值的比例，即4:3:3，得到下一轮验证时分配给a/b/c三个版本的视频应用的样本用户量分别为：398，000、298，000、298,000；这样，机会值低的视频应用版本将分到更少的样本用户，使样本用户集中于机会值较大的视频应用版本，可以使得机会值较大的视频应用版本，更快区分出优劣，提高了验证过程样本用户利用效率。
其中，如图4所示，上述s104，利用蒙特卡罗方法根据后验概率分布，确定针对目标对象的验证结果，包括：
s1041，针对每个预设业务指标，对该预设业务指标的后验概率分布进行随机抽样处理，得到预设业务指标的随机抽样数据；
具体的，例如，设定蒙特卡罗采样的大小为m，以待验证目标对象为a/b/c三个版本的视频应用为例，针对a版本的视频应用的各项预设业务指标：即总浏览量k0、总点击量c0以及总播放时长t0的后验概率分布：分别为
同理，针对b版本的视频应用的各项预设业务指标，从各项预设业务指标的后验概率分布
同理，针对c版本的视频应用的各项预设业务指标，从各项预设业务指标的后验概率分布
s1042，利用蒙特卡罗方法根据各预设业务指标的随机抽样数据，确定目标对象的指定评价指标的后验概率采样结果；
具体的，以待验证目标对象为a/b/c三个版本的视频应用为例，根据人均视频播放时长为
确定dx的均值可以得到e(d)，确定dx中m个采样的第2.5百分位值和第97.5百分位值，可以得到人均视频播放时长dx的95％可信区间；例如：
取随机抽样个数m＝1,000,000，可以确定出a版本的人均视频播放时长e(da)为79.99秒，95％可信区间为79.91～80.08秒。类似的，可以确定出b版本的人均视频播放时长e(db)为80.03秒，95％可信区间为79.94～80.12秒，c版本的人均视频播放时长e(dc)为79.97秒，95％可信区间为79.88～80.06秒。
s1043，利用蒙特卡罗方法根据后验概率采样结果，确定针对目标对象的验证结果；
其中，以待验证目标对象为a/b/c三个版本的视频应用为例，要对比a/b/c三个版本的指定评价指标即人均视频播放时长，需要确定每个版本所对应的人均视频播放时长优于其他版本人均视频播放时长的概率，即确定a/b/c三个版本分别是最优版本的概率，称为各版本的机会值；
具体的，利用蒙特卡罗方法根据后验概率采样结果，确定该目标对象所对应的指定评价指标优于其他目标对象的指定评价指标的概率值，并将该概率值确定为该目标对象的机会值；
其中，在预设时间段内，随着服务器获取的样本用户的行为数据不断增多，真实的最优目标对象可能与当前的判断不一致，因此在任一时刻，如果选择某个目标对象为最优目标对象结束验证，都会存在判断错误的风险，为了确保服务器能够根据验证结果确定出最优目标对象的风险可控，必须量化确定最优目标对象结束验证的潜在损失，称为目标对象的风险值；
具体的，利用蒙特卡罗方法根据后验概率采样结果，确定该目标对象为最优目标对象的风险值的过程为：针对每个目标对象，利用蒙特卡罗方法根据该目标对象的后验概率采样结果，确定该目标对象与潜在最优的目标对象的指定评价指标的取值的差值的数学期望；将数学期望确定为针对目标对象的风险值。
具体的，如图5所示，上述s1043，利用蒙特卡罗方法根据后验概率采样结果，确定针对目标对象的验证结果，包括：
s10431，针对每个目标对象，利用蒙特卡罗方法根据该目标对象的后验概率采样结果，确定该目标对象的指定评价指标优于其他目标对象的概率值；将概率值确定为针对目标对象的机会值；
具体的，根据后验概率分布采样，通过蒙特卡罗方法，确定
s10432，针对每个目标对象，利用蒙特卡罗方法根据该目标对象的后验概率采样结果，确定该目标对象与潜在最优的目标对象的指定评价指标的取值的差值的数学期望；将数学期望确定为针对目标对象的风险值，其中，潜在最优的目标对象是指待验证的多个目标对象的指定评价指标的取值最大的目标对象；
具体的，根据后验概率分布采样，通过蒙特卡罗方法，确定
例如：当i＝1时,
当i＝2时,
当i＝m时，假设m为100，
确定max1+……+max100的值为max，然后用max除以100，得到a组的风险值；
应用上述例子(5+0+….+20)/100，得到的结果就是a组的风险值。
其中，如图6所示，上述s107，根据各目标对象的验证结果，判断是否满足预设验证终止条件，包括：
s1071，判断是否存在机会值和风险值均满足预设阈值条件的至少一个目标对象，其中，所述预设阈值条件为所述机会值大于第一预设阈值且所述风险值小于第二预设阈值；
若存在满足预设阈值条件的至少一个目标对象，则执行s1072，确定验证结果满足预设验证终止条件；
具体的，以待验证目标对象为a/b/c三个版本的视频应用为例，若预设阈值条件为目标对象的机会值大于40％，且风险值小于0.1；a版本的视频应用的机会值为45％，风险值为0.0509，b版本的视频应用的机会值为41％，风险值为0.0134，c版本的视频应用的机会值为14％，风险值为0.0735；由于，存在机会值和风险值均满足预设阈值条件的两个目标对象，即a版本的视频应用和b版本的视频应用，因此，确定验证结果满足预设验证终止条件；
对应的，上述s105，根据各目标对象的验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象，包括：
s1051，在满足预设阈值条件的至少一个目标对象中，将机会值最大的目标对象确定为用于提供线上用户使用的目标对象。
具体的，由于上述a版本的视频应用的机会值为45％，大于b版本的视频应用的机会值41％，因此，将a版本的视频应用确定为用于提供线上用户使用的目标对象；
若不存在满足预设阈值条件的至少一个目标对象，则执行s1073，确定验证结果不满足预设验证终止条件，以及，执行s106，根据各目标对象的验证结果，确定针对待验证的多个目标对象进行下一轮验证时分配给各目标对象的样本用户的比例，并继续执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤，直到确定出满足预设验证终止条件；
其中，为了保证服务器确定出的用于提供线上用户使用的目标对象的准确性，避免出现服务器获取的样本用户在一天中存在早晚行为差异，所造成的获取到的样本用户行为数据的不准确性，在上述s101，获取分配给该目标对象的多个样本用户的使用行为数据之前，还包括：
步骤一，针对每个待验证的目标对象，判断针对本轮验证进行样本用户的使用行为数据的采集时间是否大于预设时间阈值；
具体的，服务器在获取分配给该目标对象的多个样本用户的使用行为数据之前，需要确保针对每个目标对象均接收到一定的样本用户的使用行为数据，需要保证针对本轮验证进行样本用户的使用行为数据的采集时间大于预设时间阈值，例如：预设时间阈值可以为24小时；这样做的目的是，避免由于用户使用行为存在时间段差异，而造成得出的验证结果不准确的问题；例如：由于用户早晚行为存在差异，例如：一些用户倾向于早上浏览新闻，晚上倾向于浏览美食视频；或者存在早上活跃的用户(例如老年人)和晚上活跃的用户(例如青年人)；以针对a/b/c三个版本视频应用的推荐算法为例，如果实验的时间太短，可能会存在针对不同类型的视频和不同样本用户获取到的样本用户行为数据差异较大的情况，因此，如果实验的时间太短，最终得到的a/b/c三个版本视频应用的推荐算法的优劣结果可能会存在很大的误差；
因此，在确定使用行为数据的采集时间大于预设时间阈值之后，此时说明采集到的样本用户的使用行为数据比较全面，才针对本轮验证确定各目标对象的验证结果，否则针对本轮验证进行样本用户的使用行为数据的采集，直到采集时间大于预设时间阈值；
步骤二，若判断结果为是，则执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤；
步骤三，若判断结果为否，则继续针对本轮验证进行样本用户的使用行为数据的采集，直到采集时间大于预设时间阈值，执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤。
具体的，上述多个所述目标对象包括：多个版本的目标应用程序、或者针对目标应用程序的多个信息推荐算法；
预设业务指标包括：多媒体信息的点击参数、浏览参数、播放参数中至少一项，其中，该多媒体信息包括：应用程序中显示的网页、视频、图片、文章等。
本申请实施例中的目标对象验证方法，利用经验贝叶斯方法并结合各业务指标的先验概率分布，得到相应的后验概率分布，再利用蒙特卡罗方法并基于该后验概率分布，得到针对各目标对象的验证结果，同时根据验证结果能够自动识别是否满足预设验证终止条件，进而选取用于提供线上用户使用的目标对象；针对不满足预设验证终止条件的情况，再根据验证结果动态调整分配给各目标对象的样本用户的比例，并基于重新分配的样本用户比例进行下一轮验证，直到验证结果满足预设验证终止条件，这样无需预先对样本数量进行预估，解决了因样本数量预估有偏差而导致验证结果不准确的问题，还提高了目标对象的验证效率，并且能够自动进行验证终止条件的识别，提高了验证终止时机的精准度。
对应上述图1至图6描述的目标对象验证方法，基于相同的技术构思，本申请实施例还提供了一种目标对象验证装置，图7为本申请实施例提供的目标对象验证装置的模块组成示意图，该装置用于执行图1至图6描述的目标对象验证方法，如图7所示，该装置包括：
行为数据获取模块701，用于针对每个待验证的目标对象，获取分配给该目标对象的多个样本用户的使用行为数据，其中，所述多个样本用户的比例是基于针对所述目标对象的上一轮验证所确定的验证结果进行动态调整的；
特征值确定模块702，用于根据所述多个样本用户的所述使用行为数据，确定各预设业务指标的特征值，其中，所述预设业务指标是根据所述目标对象对应的应用场景确定的；
后验概率分布确定模块703，用于利用经验贝叶斯方法根据各所述预设业务指标的先验概率分布和所述特征值，确定各所述预设业务指标的后验概率分布；
验证结果确定模块704，用于利用蒙特卡罗方法根据所述后验概率分布，确定针对所述目标对象的验证结果；其中，所述验证结果包括：用于表征目标对象相对优势的机会值和用于表征目标对象用于提供线上用户使用的潜在损失的风险值；
第一处理模块705，用于若所述验证结果满足预设验证终止条件，则根据各所述目标对象的所述验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象。
本申请实施例提供的目标对象验证装置，利用经验贝叶斯方法并结合各业务指标的先验概率分布，得到相应的后验概率分布，再利用蒙特卡罗方法并基于该后验概率分布，得到针对各目标对象的验证结果，同时根据验证结果能够自动识别是否满足预设验证终止条件，进而选取用于提供线上用户使用的目标对象；针对不满足预设验证终止条件的情况，再根据验证结果动态调整分配给各目标对象的样本用户的比例，并基于重新分配的样本用户比例进行下一轮验证，直到验证结果满足预设验证终止条件，这样无需预先对样本数量进行预估，解决了因样本数量预估有偏差而导致验证结果不准确的问题，还提高了目标对象的验证效率，并且能够自动进行验证终止条件的识别，提高了验证终止时机的精准度。
可选地，上述装置还包括第二处理模块，用于：
若验证结果不满足预设验证终止条件，则根据各所述目标对象的所述验证结果，确定针对待验证的多个目标对象进行下一轮验证时分配给各所述目标对象的样本用户的比例，并继续执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤，直到确定出满足预设验证终止条件。
可选地，所述第二处理模块，具体用于：
根据各所述目标对象的所述机会值的大小关系，确定针对待验证的多个目标对象进行下一轮验证时分配给各所述目标对象的样本用户的比例；
其中，目标对象的机会值与分配给该目标对象的样本用户的比例成正比。
可选地，所述验证结果确定模块704，具体用于：
针对每个所述预设业务指标，对该预设业务指标的所述后验概率分布进行随机抽样处理，得到所述预设业务指标的随机抽样数据；
利用蒙特卡罗方法根据各所述预设业务指标的所述随机抽样数据，确定所述目标对象的指定评价指标的后验概率采样结果；
利用蒙特卡罗方法根据所述后验概率采样结果，确定针对所述目标对象的验证结果。
所述验证结果确定模块704，进一步具体用于：
针对每个所述目标对象，利用蒙特卡罗方法根据该目标对象的所述后验概率采样结果，确定该目标对象的所述指定评价指标优于其他目标对象的概率值；将所述概率值确定为针对所述目标对象的机会值；
针对每个所述目标对象，利用蒙特卡罗方法根据该目标对象的所述后验概率采样结果，确定该目标对象与潜在最优的目标对象的所述指定评价指标的取值的差值的数学期望；将所述数学期望确定为针对所述目标对象的风险值，其中，所述潜在最优的目标对象是指待验证的多个目标对象的指定评价指标的取值最大的目标对象。
可选地，所述装置还包括终止条件判断模块，用于：
判断是否存在所述机会值和所述风险值均满足预设阈值条件的至少一个目标对象，其中，所述预设阈值条件为所述机会值大于第一预设阈值且所述风险值小于第二预设阈值；
若存在满足预设阈值条件的至少一个目标对象，则确定所述验证结果满足预设验证终止条件；
对应的，所述第一处理模块705，具体用于：
在满足预设阈值条件的至少一个目标对象中，将机会值最大的目标对象确定为用于提供线上用户使用的目标对象。
可选地，上述装置还包括采集参数判断模块，用于：
针对每个待验证的目标对象，判断针对本轮验证进行样本用户的使用行为数据的采集时间是否大于预设时间阈值；
若判断结果为是，则执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤；
若判断结果为否，则继续针对本轮验证进行样本用户的使用行为数据的采集，直到采集时间大于预设时间阈值，执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤。
可选地，多个所述目标对象包括：多个版本的目标应用程序、或者针对目标应用程序的多个信息推荐算法；
所述预设业务指标包括：多媒体信息的点击参数、浏览参数、播放参数中至少一项。
本申请实施例中的目标对象验证装置，利用经验贝叶斯方法并结合各业务指标的先验概率分布，得到相应的后验概率分布，再利用蒙特卡罗方法并基于该后验概率分布，得到针对各目标对象的验证结果，同时根据验证结果能够自动识别是否满足预设验证终止条件，进而选取用于提供线上用户使用的目标对象；针对不满足预设验证终止条件的情况，再根据验证结果动态调整分配给各目标对象的样本用户的比例，并基于重新分配的样本用户比例进行下一轮验证，直到验证结果满足预设验证终止条件，这样无需预先对样本数量进行预估，解决了因样本数量预估有偏差而导致验证结果不准确的问题，还提高了目标对象的验证效率，并且能够自动进行验证终止条件的识别，提高了验证终止时机的精准度。
需要说明的是，本申请实施例提供的目标对象验证装置与本申请实施例提供的目标对象验证方法基于同一发明构思，因此该实施例的具体实施可以参见前述目标对象验证方法的实施，重复之处不再赘述。
进一步地，对应上述图1至图6所示的方法，基于相同的技术构思，本申请实施例还提供了一种目标对象验证设备，该设备用于执行上述的目标对象验证方法，图8为本申请实施例提供的目标对象验证设备的结构示意图。
如图8所示，目标对象验证设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对目标对象验证设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在目标对象验证设备上执行存储器802中的一系列计算机可执行指令。目标对象验证设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806等。
在一个具体的实施例中，目标对象验证设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对目标对象验证设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
针对每个待验证的目标对象，获取分配给该目标对象的多个样本用户的使用行为数据，其中，所述多个样本用户的比例是基于针对所述目标对象的上一轮验证所确定的验证结果进行动态调整的；
根据所述多个样本用户的所述使用行为数据，确定各预设业务指标的特征值，其中，所述预设业务指标是根据所述目标对象对应的应用场景确定的；
利用经验贝叶斯方法根据各所述预设业务指标的先验概率分布和所述特征值，确定各所述预设业务指标的后验概率分布；
利用蒙特卡罗方法根据所述后验概率分布，确定针对所述目标对象的验证结果；其中，所述验证结果包括：用于表征目标对象相对优势的机会值和用于表征目标对象用于提供线上用户使用的潜在损失的风险值；
若所述验证结果满足预设验证终止条件，则根据各所述目标对象的所述验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象。
可选地，计算机可执行指令在被执行时，还包含用于进行以下计算机可执行指令：
若所述验证结果不满足预设验证终止条件，则根据各所述目标对象的所述验证结果，确定针对待验证的多个目标对象进行下一轮验证时分配给各所述目标对象的样本用户的比例，并继续执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤，直到确定出满足预设验证终止条件。
可选地，计算机可执行指令在被执行时，所述根据各所述目标对象的所述验证结果，确定针对待验证的多个目标对象进行下一轮验证时分配给各所述目标对象的样本用户的比例，包括：
根据各所述目标对象的所述机会值的大小关系，确定针对待验证的多个目标对象进行下一轮验证时分配给各所述目标对象的样本用户的比例；
其中，目标对象的机会值与分配给该目标对象的样本用户的比例成正比。
可选地，计算机可执行指令在被执行时，所述利用蒙特卡罗方法根据所述后验概率分布，确定针对所述目标对象的验证结果，包括：
针对每个所述预设业务指标，对该预设业务指标的所述后验概率分布进行随机抽样处理，得到所述预设业务指标的随机抽样数据；
利用蒙特卡罗方法根据各所述预设业务指标的所述随机抽样数据，确定所述目标对象的指定评价指标的后验概率采样结果；
利用蒙特卡罗方法根据所述后验概率采样结果，确定针对所述目标对象的验证结果。
可选地，计算机可执行指令在被执行时，所述利用蒙特卡罗方法根据所述后验概率采样结果，确定针对所述目标对象的验证结果，包括：
针对每个所述目标对象，利用蒙特卡罗方法根据该目标对象的所述后验概率采样结果，确定该目标对象的所述指定评价指标优于其他目标对象的概率值；将所述概率值确定为针对所述目标对象的机会值；
针对每个所述目标对象，利用蒙特卡罗方法根据该目标对象的所述后验概率采样结果，确定该目标对象与潜在最优的目标对象的所述指定评价指标的取值的差值的数学期望；将所述数学期望确定为针对所述目标对象的风险值，其中，所述潜在最优的目标对象是指待验证的多个目标对象的指定评价指标的取值最大的目标对象。
可选地，计算机可执行指令在被执行时，还包含用于进行以下计算机可执行指令：在利用蒙特卡罗方法根据所述后验概率分布，确定针对所述目标对象的验证结果之后，还包括：
判断是否存在所述机会值和所述风险值均满足预设阈值条件的至少一个目标对象，其中，所述预设阈值条件为所述机会值大于第一预设阈值且所述风险值小于第二预设阈值；
若存在满足预设阈值条件的至少一个目标对象，则确定所述验证结果满足预设验证终止条件；
对应的，所述根据各所述目标对象的所述验证结果，在待验证的多个目标对象中选取用于提供线上用户使用的目标对象，包括：
在满足预设阈值条件的至少一个目标对象中，将机会值最大的目标对象确定为用于提供线上用户使用的目标对象。
可选地，计算机可执行指令在被执行时，还包含用于进行以下计算机可执行指令：在获取分配给该目标对象的多个样本用户的使用行为数据之前，还包括：
针对每个待验证的目标对象，判断针对本轮验证进行样本用户的使用行为数据的采集时间是否大于预设时间阈值；
若判断结果为是，则执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤；
若判断结果为否，则继续针对本轮验证进行样本用户的使用行为数据的采集，直到采集时间大于预设时间阈值，执行获取分配给该目标对象的多个样本用户的使用行为数据的步骤。
可选地，计算机可执行指令在被执行时，多个所述目标对象包括：多个版本的目标应用程序、或者针对目标应用程序的多个信息推荐算法；
所述预设业务指标包括：多媒体信息的点击参数、浏览参数、播放参数中至少一项。
本申请实施例中的目标对象验证设备，利用经验贝叶斯方法并结合各业务指标的先验概率分布，得到相应的后验概率分布，再利用蒙特卡罗方法并基于该后验概率分布，得到针对各目标对象的验证结果，同时根据验证结果能够自动识别是否满足预设验证终止条件，进而选取用于提供线上用户使用的目标对象；针对不满足预设验证终止条件的情况，再根据验证结果动态调整分配给各目标对象的样本用户的比例，并基于重新分配的样本用户比例进行下一轮验证，直到验证结果满足预设验证终止条件，这样无需预先对样本数量进行预估，解决了因样本数量预估有偏差而导致验证结果不准确的问题，还提高了目标对象的验证效率，并且能够自动进行验证终止条件的识别，提高了验证终止时机的精准度。
优选的，本申请实施例还提供一种目标对象验证设备，包括处理器801，存储器802，存储在存储器802上并可在处理器801上运行的计算机程序，该计算机程序被处理器801执行时实现上述目标对象验证方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
进一步地，对应上述图1至图6所示的方法，基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述目标对象验证方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
- 还没有人留言评论。精彩留言会获得点赞！