一种基于多种特征交互的点击率预测技术

1.本发明涉推荐系统的点击率预测领域，尤其是一种基于多种特征交互的点击率预测技术。


背景技术：

2.点击率预测技术这些年已经从萌芽趋于成熟，而在点击率预测技术中，特征交互又起了至关重要的作用。特征交互指的是两个或者两个以上的原始特征之间的相互组合。例如，一个三阶特征交互可以是 (用户性别＝男，物品分类＝深度学习，地点＝北京)，他表示一个男性的用户在北京点击了一个分类为深度学习的物品。如何准确地获取这些特征之间的交互结果成为了点击率预测的关键问题。
3.在传统的特征交互中，存在着几个问题：首先是原始数据中通常包含了大量的稀疏特征，例如用户和物品的id，特征交互的维度空间是这些特征维度的乘积(如点积、内积和哈达玛积)，因此这样很容易导致参数爆炸的问题。其次，特征的重要性是与当前的应用场景息息相关的，针对于每一种特定的应用场景，如何选择重要的特征和如何组合特征是对最后的结果起决定性因素的存在。
4.因此，学习特征交互是很有意义的。目前的大部分研究工作是基于全连接神经网络去自动的学习特征交互的。但是这种方法的缺点就是学习到的特征交互是高阶隐式的交互特征，其形式是未知的、不可控的和不够有效的。深度交叉网络旨在显式地学习高阶特征交互，其优点是模型非常轻巧高效，但是该模型最终的表现形式是一种很特殊的向量扩张，因此该模型的泛化能力不足。除此之外，目前的绝大部分工作的局限性在于没有区分特征交互的类型和阶数，对不同类型和不同阶数的特征交互一概而论，从而无法有效的提取各类特征交互的结果。


技术实现要素：

5.针对上述现有技术的不足，本发明提供一种基于多种特征交互的点击率预测技术。其目的在于解决以往方法中存在的特征交互分析不足及准确率低的问题。
6.为了实现上述目的，本发明提供了一种基于多种特征交互的点击率预测技术，包括以下步骤：
7.a1、降维
8.a2、提取低阶交互作用(low)
9.a3、提取高阶隐式交互作用(high-implicit)
10.a4、提取高阶显示交互作用(high-explicit)
11.a5、预测输出
12.本发明提供了一种基于多种特征交互的点击率预测技术。与现有技术相比，具备以下有益效果：
13.本方案是采用三种不同的特征交互作用，即低阶交互、高阶隐式交互和高阶显式
交互。通过对不同阶数和不同类型的特征交互进行分析已经得到证实是有效的。利用特征交互的差异性，使用不同的特征向量去提取不同的特征交互，单独分析每一种特征交互，而不受其他类型的交互的影响。得到的这些不同的特征交互的结果信息可以被进一步地处理，以提取最终的完整信息，从而有助于点击率预测的准确率的提高。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
15.图1是基于多种特征交互的点击率预测技术的框图。
16.图2是不区分特征交互的embedding层和本技术提出的区分特征交互的embedding层的对比。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
18.下面结合说明书附图以及具体的实施方式对本发明作详细的说明。如图1所示，一种基于多种特征交互的点击率预测技术包括步骤a1～a5：
19.a1、降维
20.a2、提取低阶交互作用(low)
21.a3、提取高阶隐式交互作用(high-implicit)
22.a4、提取高阶显示交互作用(high-explicit)
23.a5、预测输出
24.下面对各个步骤进行详细描述。
25.在步骤a1中，在推荐系统点击率预测中，输入数据通常都是用 one-hot向量来表示，从而导致输入向量的维度很高并且十分稀疏。其次根据后续的三种不同交互：低阶、高阶隐式和高阶显式，将每一个输入数据xi都降维成三个不同的低维向量：
[0026][0027]
在步骤a2中，给定输入获得低阶交互的结果：其中w0表示全局偏置，wi表示第i个特征的权重，xi表示第i个特征的原始稀疏输入表示，y
l
表示低阶交互作用的输出：
[0028][0029]
在步骤a3中，给定输入获得高阶隐式交互的结果：其中h
(0)
将所有的输入数据拼接在一起，输入到神经网络中， h
(l+1)
表示第l层神经网络的输出，σ
表示激活函数，w
(l)
和b
(l)
分别表示第l层神经网络的权重和偏置，y
hi
表示高阶隐式交互作用的输出：
[0030][0031]h(l+1)
＝σ(w
(l)h(l)
+b
(l)
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0032]yhi
＝h
(l)
＝σ(w
(l-1)h(l-1)
+b
(l-1)
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0033]
在步骤a4中，给定输入获得高阶隐式交互的结果：其中x0将所有的输入拼接在一起，输入一个压缩交互网络中。 x
l
表示第l层网络的输出，，表示第l层网络的第h个子块的权重，表示第l层池化层的输出，y
he
表示显式交互作用的输出：
[0034][0035][0036]yhe
＝p
+
＝[p1,p2,
…
,p
l
,
…
,p
l
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0037]
在步骤a5中，通过一个全连接层对a2、a3和a4得到的结果进行综合和输出，并且采用log loss作为损失函数：其中表示输出层的结果，σ表示激活函数，y
l
表示a2即低阶交互作用的输出，y
hi
表示a3即高阶隐式交互作用的输出，y
he
表示a4即高阶显式交互作用的输出，w
l
、和b表示可训练的参数，n表示样本总数，yi∈ {0,1}表示实例xi被点击的概率：
[0038][0039][0040]
本发明实施本发明提出了一种基于多种特征交互的点击率预测的方法，创新点包括：
[0041]
提出了一种基于多种特征交互的点击率预测的方法。该方法利用对不同类型和不同阶数的特征交互进行单独分析，从而更好的提取特征交互的结果，并且本方法采用了提取高阶显式交互作用更为有效的网络-压缩交互网络。从而弥补了传统方法对特征交互分析的不足，进一步提高了点击率预测的准确率。
[0042]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。