针对推荐系统的算力优化的方法和装置与流程

本说明书一个或多个实施例涉及计算机领域，尤其涉及针对推荐系统的算力优化的方法和装置。

背景技术：

1、推荐系统常常被用于从待推荐对象的候选集中筛选出预定数目的待推荐对象。上述待推荐对象可以是商品、门店或服务等。随着候选集的规模的逐渐增大，例如，候选集的规模达到数千个或数万个，以及推荐系统所采用的算法模型的规模的逐渐增大，例如，算法模型的规模达到100gb以上，对推荐系统的算力的要求成数量级式上涨，仅凭不断增加机器预算和硬件的升级演化已经不能满足场景的诉求。算法模型的输入数据可以为数据拥有方的隐私数据，需要保护隐私数据不被泄露。

2、通常的算力分配方案中，推荐系统在不同的时间段，以及对于不同的推荐请求采用固定的算力。一方面，机器资源均以高峰流量评估，导致非高峰时段，系统流量较低，整体资源利用率偏低，形成了大量的冗余算力；另一方面，由于每一个推荐请求对于推荐的需求是不同的，当前对每一条推荐请求同等分配算力，造成在高需求流量上算力分配不足，低需求流量上存在浪费大量算力的现象。

3、算力的分配会影响能源的消耗，算力的分配已经成为国力发展、智能化、数字化发展水平的集中体现，是数字化应用建设与发展的底层基础。因此需要针对推荐系统进行算力优化，在业务效果不变的情况下，降低算力消耗，且具备很高的准确性和时效性。

技术实现思路

1、本说明书一个或多个实施例描述了一种针对推荐系统的算力优化的方法和装置，能够在业务效果不变的情况下，降低算力消耗，且具备很高的准确性和时效性。

2、第一方面，提供了一种针对推荐系统的算力优化的方法，所述推荐系统包括对应于多个推荐决策步骤的多个节点，任一所述节点具有其对应的多个候选算力档位，该方法包括：

3、获取目标推荐请求；

4、响应于所述目标推荐请求，确定所述多个节点中的全部或部分节点构成的若干候选链路；

5、基于所述若干候选链路包括的各节点，对各节点的候选算力档位进行组合得到多个全局算力档位；

6、预估分别采用所述多个全局算力档位执行所述目标推荐请求的各算力消耗；

7、预估所述目标推荐请求分别在所述多个全局算力档位对应的各价值预估分；

8、根据各算力消耗和各价值预估分，从所述多个全局算力档位中选择出目标全局算力档位，作为执行所述目标推荐请求的算力档位。

9、在一种可能的实施方式中，所述确定所述多个节点中的全部或部分节点构成的若干候选链路，包括：

10、确定所述目标推荐请求对应的请求场景；

11、读取预先配置的所述请求场景对应的所述若干候选链路。

12、在一种可能的实施方式中，所述预估分别采用所述多个全局算力档位执行所述目标推荐请求的各算力消耗之前，所述方法还包括：

13、获取各节点所依赖硬件设备当前的算力指标值；

14、确定所述算力指标值属于预先设定的正常取值区间。

15、在一种可能的实施方式中，所述多个全局算力档位包括第一全局档位，所述第一全局档位包括，针对第一节点的第一档位指标值；所述预估分别采用所述多个全局算力档位执行所述目标推荐请求的各算力消耗，包括：

16、根据当前的并发请求数和所述第一档位指标值，利用第一算力量化模型，计算针对所述目标推荐请求执行第一节点的子算力消耗；

17、根据所述第一全局档位中涉及的各个节点的子算力消耗，计算采用所述第一全局档位执行所述目标推荐请求的算力消耗。

18、进一步地，所述第一节点用于对待推荐对象进行排序；所述第一档位指标值为待推荐对象的数目。

19、进一步地，所述第一算力量化模型采用如下方式训练：

20、通过定时异步触发批量推荐请求获得训练数据，所述训练数据包括，批量推荐请求对应的并发请求数，针对所述批量推荐请求执行第一节点时的样本档位指标值和样本算力消耗；

21、利用所述训练数据，进行线性拟合得到所述第一算力量化模型的模型参数。

22、在一种可能的实施方式中，所述预估所述目标推荐请求分别在所述多个全局算力档位对应的各价值预估分，包括：

23、利用所述目标推荐请求对应的用户在业务平台的行为数据，预估用户当前对所述业务平台中的目标业务对象的点击率；

24、利用所述点击率、用户针对所述目标业务对象的行为数据，以及所述目标业务对象对应于各节点的使用效率和所述多个全局算力档位，确定所述目标推荐请求分别在所述多个全局算力档位对应的各价值预估分。

25、在一种可能的实施方式中，所述根据各算力消耗和各价值预估分，从所述多个全局算力档位中选择出目标全局算力档位，包括：

26、确定所述多个全局算力档位对应的多个档位分数，其中任意全局算力档位对应的档位分数正相关于其价值预估分，负相关于其算力消耗与干预系数的乘积；

27、将档位分数最高的全局算力档位确定为所述目标算力档位。

28、在一种可能的实施方式中，所述推荐系统用于从第一数目的待推荐对象中确定出第二数目的待推荐对象，所述第一数目大于第二数目。

29、在一种可能的实施方式中，所述多个节点包括：

30、召回节点、粗排节点、精排节点、重排节点。

31、在一种可能的实施方式中，所述各节点的候选算力档位，包括：

32、对应不同候选队列长度的算力档位；和/或，

33、对应不同模型的算力档位。

34、第二方面，提供了一种针对推荐系统的算力优化的装置，所述推荐系统包括对应于多个推荐决策步骤的多个节点，任一所述节点具有其对应的多个候选算力档位，该装置包括：

35、获取单元，用于获取目标推荐请求；

36、确定单元，用于响应于所述获取单元获取的目标推荐请求，确定所述多个节点中的全部或部分节点构成的若干候选链路；

37、组合单元，用于基于所述确定单元确定的若干候选链路包括的各节点，对各节点的候选算力档位进行组合得到多个全局算力档位；

38、第一预估单元，用于预估分别采用所述组合单元得到的多个全局算力档位执行所述目标推荐请求的各算力消耗；

39、第二预估单元，用于预估所述目标推荐请求分别在所述组合单元得到的多个全局算力档位对应的各价值预估分；

40、选择单元，用于根据所述第一预估单元得到的各算力消耗和所述第二预估单元得到的各价值预估分，从所述组合单元得到的多个全局算力档位中选择出目标全局算力档位，作为执行所述目标推荐请求的算力档位。

41、第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

42、第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

43、通过本说明书实施例提供的方法和装置，推荐系统包括对应于多个推荐决策步骤的多个节点，任一所述节点具有其对应的多个候选算力档位。首先获取目标推荐请求；然后响应于所述目标推荐请求，确定所述多个节点中的全部或部分节点构成的若干候选链路；接着基于所述若干候选链路包括的各节点，对各节点的候选算力档位进行组合得到多个全局算力档位；再预估分别采用所述多个全局算力档位执行所述目标推荐请求的各算力消耗；预估所述目标推荐请求分别在所述多个全局算力档位对应的各价值预估分；最后根据各算力消耗和各价值预估分，从所述多个全局算力档位中选择出目标全局算力档位，作为执行所述目标推荐请求的算力档位。由上可见，本说明书实施例，在确定执行目标推荐请求的算力档位时，不是针对每个节点单独确定该节点的算力档位，而是通过全局算力决策，综合确定若干候选链路中的推荐链路及推荐链路上各节点的算力档位的决策结果，时效性高；并且，该方案配置灵活，可灵活扩展节点个数及候选算力档位，适配各复杂推荐链路的算力决策需求；同时该方案针对一个目标推荐请求，通过预估各算力消耗和各价值预估分，决策执行所述目标推荐请求的算力档位，时效性强，准确性高。能够在业务效果不变的情况下，降低算力消耗，且具备很高的准确性和时效性。