一种基于多层次混合模式点击率预估的方法与流程

[0001]
本发明涉及计算广告/推荐系统点击率预估领域，特别涉及一种基于多层次混合模式点击率预估的方法。


背景技术：

[0002]
推荐和计算广告为互联网非常重要的两大产品，基本上所有互联网公司都囊括，在近十余年里一直保持高增长，给互联网巨头带来非常高的收益和流量直接变现的渠道，未来几十年也可预见数字技术正在持续改变我们的生活，推荐系统和计算广告也开始进入精细化发展，如何在有限的资源获取最大化广告收益是一个复杂的系统问题，点击率预估是其中非常重要的一环，直接影响流量变现和营收，甚至是公司市值，在最近几年也获得长足的发展和创新，结合互联网用户特有的长尾特征以及丰富的个性化需求，深度学习在点击率预估算法的变革发挥至关重要的作用。
[0003]
传统的ctr模型优势：简单，解释性强，易并行，支持千亿级别特征训练，缺点：特征工程要求高，无法捕获特征组合；fm算法直接将两两组合特征引入模型，缺点就是不够精细化，大量稀疏矩阵和易造成维度爆炸；lr+gbdt,深度模型无法发挥效果。


技术实现要素：

[0004]
本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于多层次混合模式点击率预估的方法，模型结构上，混合了横向和纵向以及交叉的方式，更加细腻的对特征进行加工，提升模型的表达能力；feature embedding层，不同的输入组单独进行处理，降低处理复杂度，使逻辑更加简单和清晰；进行多模态特征提取，囊括基础特征，长短兴趣，图像特征，用户属性/商品属性，更加细粒度刻画用户兴趣，大幅提升点击率和转化率。
[0005]
为了解决上述技术问题，本发明提供了如下的技术方案：
[0006]
本发明一种基于多层次混合模式点击率预估的方法，mmcn处在推荐系统模型算法召回/排序阶段，包含三部分：数据输入，特征embedding,以及特征提取网络三部分，具体如下所示：
[0007]
一、数据输入：包含基础数据，历史典籍数据，物品图片数据，用户长期兴趣和短期兴趣；
[0008]
二、特征embedding：包含基础数据的embedding,历史点击数据embedding,图片数据的embedding,以及长短兴趣的embedding；
[0009]
三、多层次混合网络的特征提取：包含横向模型，纵向模型，多模态模型提取；
[0010]
其中，多层次混合网络的构建具体如下所示：
[0011]
a)横向模型采用fm模型，充分挖基础数据交叉信息
[0012]
[0013]
b)纵向模型采用5*bilstm,进一步提取序列信息；
[0014]
c)模态1提取用户历史点击行为和用户本身个性化信息，dnn采用两层隐藏层，模态2提取产品的属性和图片属性，dnn采用两层隐藏层，image encoder采用resnet50进行特征提取。
[0015]
与现有技术相比，本发明的有益效果如下：
[0016]
1.模型结构上，混合了横向和纵向以及交叉的方式，更加细腻的对特征进行加工，提升模型的表达能力；
[0017]
2.feature embedding层，不同的输入组单独进行处理，降低处理复杂度，使逻辑更加简单和清晰；
[0018]
3.进行多模态特征提取，囊括基础特征，长短兴趣，图像特征，用户属性/商品属性，更加细粒度刻画用户兴趣，大幅提升点击率和转化率。
附图说明
[0019]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0020]
图1是本发明的原理结构示意图；
[0021]
图2是本发明的实施例示意图之一；
[0022]
图3是本发明的实施例示意图之二；
[0023]
图4是本发明的实施例示意图之三；
[0024]
图5是本发明的实施例示意图之四。
具体实施方式
[0025]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0026]
实施例1
[0027]
如图1-5所示，本发明提供一种基于多层次混合模式点击率预估的方法，mmcn处在推荐系统模型算法召回/排序阶段，包含三部分：数据输入，特征embedding,以及特征提取网络三部分(如图1)，具体如下所示：
[0028]
一、数据输入：包含基础数据，历史典籍数据，物品图片数据，用户长期兴趣和短期兴趣；
[0029]
二、特征embedding：包含基础数据的embedding,历史点击数据embedding,图片数据的embedding,以及长短兴趣的embedding；
[0030]
三、多层次混合网络的特征提取：包含横向模型，纵向模型，多模态模型提取(如图2所示)；
[0031]
其中，多层次混合网络的构建具体如下所示：
[0032]
a)横向模型采用fm模型，充分挖基础数据交叉信息
[0033]
[0034]
b)纵向模型采用5*bilstm,进一步提取序列信息；
[0035]
c)模态1提取用户历史点击行为和用户本身个性化信息，dnn采用两层隐藏层，模态2提取产品的属性和图片属性，dnn采用两层隐藏层，image encoder采用resnet50进行特征提取(如图3所示)。
[0036]
与现有技术相比，本发明的有益效果如下：
[0037]
1.模型结构上，混合了横向和纵向以及交叉的方式，更加细腻的对特征进行加工，提升模型的表达能力；
[0038]
2.feature embedding层，不同的输入组单独进行处理，降低处理复杂度，使逻辑更加简单和清晰；
[0039]
3.进行多模态特征提取，囊括基础特征，长短兴趣，图像特征，用户属性/商品属性，更加细粒度刻画用户兴趣，大幅提升点击率和转化率。
[0040]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。