一种点击率预估系统的制作方法

本发明涉及一种点击率预估系统，尤其涉及一种采用端到端实现特征工程的点击率预估系统。

背景技术：

1、点击率(ctr，click-through rate)以及派生的各种用户行为概率(如商品购买率、推荐好友接受率、短视频3s曝光率等，以下统称“点击率”)预估是指对某个内容将要在某个情形下展现前，预估该内容可能被点击概率。如果有很大概率被点击，就展示该内容；如果概率低，就不展示。点击率预估是广告、推荐、搜索等互联网应用的关键技术，其准确性对于在线广告的推荐具有非常重要的作用。

2、在上线服务之前，点击率预估模型通常需要经过特征工程和模型训练两个过程。现有技术中，特征工程与模型训练由不同的系统独立完成，如图1所示：特征工程系统2通过独立的机器学习算法实现对数据的处理和特征提取，模型训练系统1(常见为dnn网络)利用特征工程的结果根据独立算法再进行训练。

3、该方法的弊端在于：首先，独立的特征工程系统产出的特征，与模型训练所用的特征可能会产生偏差；其次，特征提取系统提取到的特征，是一种机器学习的结果，本身没有实际的物理意义，很难为业务的调整提供反馈信息；最后，模型训练系统的dnn网络是一种逐层表示的结构，其自身也是一种特征，但这种特征无法被特征工程系统所统计。

4、此外，在ctr建模中，用户之间往往有差异性，例如成年人和未成年人的差异性，导致预估需要采用两个模型。传统的解决方案一般可以分为两类。一类可以看做硬切换(hard- switch)，即设置完全两个独立模型，分别服务两类用户。第二类是软切换(soft-switch)，即在模型结构中使用与用户类别相关的参数，例如部分网络参数是根据用户特征进行实时计算的。第一种方案的可维护性较差，往往需要同时训练和部署多个模型，第二种方案需要根据用户特征实时计算一部分参数，因此性能会有一定损失。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明提供一种点击率预估系统，其特征在于，包括：模型训练系统，所述模型系统包括dnn网络和特征工程系统；所述特征工程系统通过如下方法获得：对id类特征进行独热编码，获得稀疏矩阵；根据所述稀疏矩阵获得嵌入表示；通过自动微分方法实现特征工程。

2、优选地，上述点击率预估系统中，所述自动微分方法所使用的损失函数为loss＝xs(x-y)，其中x表示当前的嵌入表示，y表示期望的嵌入表示，s是停止梯度算子。

3、优选地，上述点击率预估系统中，还包括自适应切换结构，用于动态切换所述预估系统所使用的参数集；所述自适应切换结构包括至少两个独立参数集和控制器。

4、优选地，上述点击率预估系统中，所述控制器采用策略梯度算法强化学习训练得到。

5、优选地，上述点击率预估系统中，所述强化学习训练方法包括：将训练数据划分为与所述独立参数集对应的n个数据集；将所述数据集的训练目标d定义为：

6、，

7、其中ψ是用户间共享的参数，πφ代表所述控制器的取值，l代表输入特征x的情况下所述点击率预估系统f所估计的概率与训练水平y之间的损失；根据πφ和蒙特卡罗数据样本集进行迭代，最小化所述损失l。

8、优选地，上述点击率预估系统中，所述最小化所述损失l的步骤中，使用如下迭代函数：

9、

10、其中是πφ选择参数集θi的概率，γ≧0是超参，为回报函数。

技术特征：

1.一种点击率预估系统，其特征在于，包括：

2.根据权利要求1所述的点击率预估系统，其特征在于，所述自动微分方法所使用的损失函数为loss＝xs(x-y)，其中x表示当前的嵌入表示，y表示期望的嵌入表示，s是停止梯度算子。

3.根据权利要求1所述的点击率预估系统，其特征在于，还包括自适应切换结构，用于动态切换所述预估系统所使用的参数集；所述自适应切换结构包括至少两个独立参数集和控制器。

4.根据权利要求3所述的点击率预估系统，其特征在于，所述控制器采用策略梯度算法强化学习训练得到。

5.根据权利要求4所述的点击率预估系统，其特征在于，所述强化学习训练方法包括：

6.根据权利要求5所述的点击率预估系统，其特征在于，所述最小化所述损失l的步骤中，使用如下迭代函数：

技术总结
本发明提供一种点击率预估系统，其特征在于，包括：模型训练系统，所述模型系统包括DNN网络和特征工程系统；所述特征工程系统通过如下方法获得：对ID类特征进行独热编码，获得稀疏矩阵；根据所述稀疏矩阵获得嵌入表示；通过自动微分方法实现特征工程。本发明的一种点击率预估系统，能有效地避免现有技术中采用独立的特征工程与模型训练系统引发的种种弊端，且根据优选实施方式，在处理不同的用户特征时，无需要独立的模型系统就可以实现灵活切换模型参数。

技术研发人员：缪义云,黄彦华
受保护的技术使用者：小红书科技有限公司
技术研发日：
技术公布日：2024/1/15