一种算法服务评估方法和装置与流程

本发明涉及算法服务领域，尤其涉及算法服务评估方法和装置。

背景技术：

1、目前结合业务评估算法效果，多是通过线上流量a/b测试，观测一些业务指标的升降实现的。比如对于广告算法服务，一般使用广告收入、ecpm(effective cost per mille，千次展示有效收益)、ctr(click through rate，点击通过率)等指标衡量，其中：

2、ecpm等于：(广告总费用/广告展示量总数)*1000；

3、ctr等于：实际点击次数/广告展示量总数。

4、然而，这些指标的前提都是策略返回结果已曝光，因此缺失了算法调用召回环节，且关注的只是单个算法服务的效果，无法对算法服务全局把控。而实际上，有些算法服务，召回数很少，所以广告展示量必然很少，ecpm指标、ctr指标都是根据广告展示量来计算，较难发现召回的问题，效果评估出现断层。为了解决以上的缺点/问题，亟需提出一种新型的算法服务评估方法

技术实现思路

1、为克服相关技术中存在的问题，本发明的实施例提供一种算法服务评估方法和装置。技术方案如下：

2、根据本发明的实施例的第一方面，提供一种算法服务评估方法，包括：

3、获取多个算法服务中每个算法服务的指标值；其中，所述指标值基于预设指标的值、算法服务调用次数来确定，所述多个算法服务对应同一预设指标；

4、根据每个算法服务的指标值，计算每个算法服务的正态分布值；

5、根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务。

6、在一个实施例中，所述获取多个算法服务中每个算法服务的指标值，包括：根据以下公式计算算法服务的指标值：

7、(预设指标的值/算法服务调用次数)*1000。

8、在一个实施例中，所述根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务，包括：

9、根据每个算法服务的正态分布值，绘制频率分布直方图和正态分布曲线；

10、根据频率分布直方图和正态分布曲线，确定所述多个算法服务中的待改进算法服务。

11、在一个实施例中，所述方法还包括：

12、根据预设的算法服务和策略映射关系，获取算法服务对应的策略；

13、获取算法服务对应的策略的预设指标的值之和作为算法服务的预设指标的值；

14、获取算法服务对应的策略的调用量之和作为算法服务调用次数。

15、在一个实施例中，所述方法还包括：

16、存储算法服务的指标值；

17、算法服务更新后，根据算法服务更新前后的指标值，确定算法服务的效果；和/或，在预设时长后计算算法服务的指标值，根据新旧两个指标值，确定算法服务的效果；

18、在算法服务的效果低于预期时，发送监控通知。

19、根据本发明的实施例的第二方面，提供一种算法服务评估装置，包括：

20、第一获取模块，用于获取多个算法服务中每个算法服务的指标值；其中，所述指标值基于预设指标的值、算法服务调用次数来确定，所述多个算法服务对应同一预设指标；

21、计算模块，用于根据每个算法服务的指标值，计算每个算法服务的正态分布值；

22、确定模块，用于根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务。

23、所述第一获取模块用于：根据以下公式计算算法服务的指标值：

24、(预设指标的值/算法服务调用次数)*1000。

25、在一个实施例中，所述确定模块用于：

26、根据每个算法服务的正态分布值，绘制频率分布直方图和正态分布曲线；

27、根据频率分布直方图和正态分布曲线，确定所述多个算法服务中的待改进算法服务。

28、在一个实施例中，所述装置还包括：

29、第二获取模块，用于根据预设的算法服务和策略映射关系，获取算法服务对应的策略；

30、所述第一获取模块，用于：获取算法服务对应的策略的预设指标的值之和作为算法服务的预设指标的值；获取算法服务对应的策略的调用量之和作为算法服务调用次数。

31、根据本发明的实施例的第三方面，提供一种算法服务评估装置，包括：

32、处理器；

33、用于存储处理器可执行指令的存储器；

34、其中，处理器被配置为：

35、获取多个算法服务中每个算法服务的指标值，其中，所述指标值基于预设指标的值、算法服务调用次数来确定；其中，所述多个算法服务对应同一预设指标；

36、根据每个算法服务的指标值，计算每个算法服务的正态分布值；

37、根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务。

38、根据本发明的实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现本发明的实施例的第一方面中任一项方法的步骤。

39、本发明的实施例提供的技术方案，是面向全局多个算法服务的，根据分布评估算法服务的效果；并且，算法服务的指标值不依赖算法服务的曝光量，而是采用算法服务调用次数，实现从算法调用召回、曝光展示、用户点击(扣费)等全链路的评估，实现工程调用和业务指标的联通评估。对于调用量很高，曝光很少，收入很少算法服务，现有的ecpm指标不会有感知，但本发明提出的指标值会有明显感知。本发明提出的指标值中的预设指标可结合业务特性动态设置指标。

40、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

技术特征：

1.一种算法服务评估方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，其中，

3.根据权利要求1所述的方法，其特征在于，所述根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.一种算法服务评估装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，

8.根据权利要求6所述的装置，其特征在于，所述确定模块用于：

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

10.一种算法服务评估装置，其特征在于，包括：

11.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-5任一项所述方法的步骤。

技术总结
本发明是关于算法服务评估方法和装置，方法包括：获取多个算法服务中每个算法服务的指标值；其中，所述指标值基于预设指标的值、算法服务调用次数来确定，所述多个算法服务对应同一预设指标；根据每个算法服务的指标值，计算每个算法服务的正态分布值；根据每个算法服务的正态分布值，确定所述多个算法服务中的待改进算法服务。实现了面向全局多个算法服务的评估；并且实现从算法调用召回、曝光展示、用户点击等全链路的评估。

技术研发人员：韩笑
受保护的技术使用者：无线生活（杭州）信息科技有限公司
技术研发日：
技术公布日：2024/1/12