预测模型的训练方法、信息预测方法、服务器及存储介质与流程

1.本技术实施例涉及信息处理技术领域，尤其涉及一种预测模型的训练方法、 信息预测方法、预测模型的训练装置、信息预测装置、服务器以及存储介质。


背景技术：

2.随着信息技术的飞速发展，新闻、视频等多种信息媒介充斥着人们的生活。 人们能够获取的信息和各种信息的生产者时时刻刻面对着信息过载，信息有效 分配获取的问题。因此推荐系统应运而生。推荐系统是在用户与信息交互的基 础上，通过信息召回，粗排，精排等步骤，从丰富的信息池中筛选出用户当前 比较喜欢的内容。为了使推荐效果更加个性化，推荐系统的结构越来越复杂， 数据和数据之间，数据和模型之间以及模型多目标之间的冲突越来越明显。尤 其多目标传统训练的时候，每个目标都会用自己的数据独立建模，并且训练过 程中，在有些领域，多目标之间其实是有紧密的依赖关系，甚至彼此影响。因 此，多目标预测模型中如何训练预测模型，对预测结果准确性十分重要。


技术实现要素：

3.本技术实施例提供一种预测模型的训练方法、信息预测方法、预测模型的 训练装置、信息预测装置、服务器以及存储介质。
4.本技术实施例第一方面提供的预测模型的训练方法，包括：
5.输入样本用户的用户特征信息至所述预测模型的共享嵌入层网络，所述用 户特征信息至少包括用户进行点击操作的操作信息；
6.基于第一网络在所述共享嵌入层网络中提取所述用户特征信息中的第一特 征信息，及基于所述第一特征信息，训练所述第一网络，输出用户点击率向量， 其中所述第一特征信息为所述用户特征信息中与所述用户进行点击操作有关的 特征信息；
7.基于第二网络在所述共享嵌入层网络中提取所述用户特征信息中的第二特 征信息，及基于所述第二特征信息，训练所述第二网络，输出用户转化率向量， 其中所述第二特征信息为所述用户特征信息中与所述用户进行点击转化有关的 特征信息；
8.基于自适应权重网络，在所述共享嵌入层网络中提取所述用户特征信息中 的所述第一特征信息及所述第二特征信息，训练所述自适应权重网络，输出与 所述第一特征信息对应的第一向量权重及与所述第二特征信息对应的第二向量 权重；
9.基于所述用户转化率向量，经所述第二向量权重加权，得到加权后的用户 转化率向量；
10.基于由所述加权后的用户转化率向量构建得到的转化损失函数，作为目标 优化函数，训练所述第二网络。
11.在一个实施例中，所述训练方法还包括：
12.基于所述用户点击率向量，经所述第一向量权重加权，得到加权后的用户 点击率向量；
13.基于所述加权后的用户点击率向量及所述加权后的用户转化率向量，拟合 得到点击转化率；
14.基于所述点击转化率，构建点击转化损失函数；
15.基于所述转化损失函数及所述点击转化损失函数，构建第一损失函数；
16.所述基于由所述加权后的用户转化率向量构建得到的转化损失函数，作为 目标优化函数，训练所述第二网络，包括：基于所述第一损失函数作为所述目 标优化函数，训练所述第二网络。
17.在一个实施例中，所述训练方法还包括：
18.基于所述加权后的用户点击率向量，构建点击损失函数；
19.基于所述点击损失函数及所述点击转化损失函数，构建第二损失函数；
20.基于所述第二损失函数作为所述目标优化函数，训练所述第一网络。
21.在一个实施例中，训练方法还包括：
22.基于所述点击损失函数、所述转化损失函数及所述点击转化损失函数，构 建第三损失函数；
23.基于所述第三损失函数，作为所述目标优化函数，训练所述自适应权重网 络。
24.在一个实施例中，所述训练方法还包括：
25.预先确定出所述样本用户对应点击操作的点击标签、所述样本用户对应转 化的转化标签及所述样本用户对应点击转化的点击转化标签；
26.所述基于所述加权后的用户点击率向量，构建点击损失函数，包括：基于 所述加权后的用户点击率向量及所述样本用户对应点击操作的点击标签，构建 所述点击损失函数；
27.所述基于所述点击转化率，构建点击转化损失函数，包括：基于所述点击 转化率及所述样本用户对应点击转化的点击转化标签，构建所述点击转化损失 函数；
28.所述方法还包括：基于所述加权后的用户转化率向量及所述样本用户对应 转化的转化标签，构建所述转化损失函数。
29.在一个实施例中，所述方法还包括：
30.根据所述点击标签对应的张量，确定出与所述点击损失函数对应的第一自 适应权重；
31.根据所述转化标签对应的张量，确定出与所述转化损失函数对应的第二自 适应权重；
32.根据所述点击转化标签对应的张量，确定出与所述点击转化损失函数对应 的第三自适应权重；
33.所述基于所述点击损失函数及所述点击转化损失函数，构建第二损失函数， 包括：
34.对所述点击损失函数进行第一自适应权重加权；
35.对点击转化损失函数进行第三自适应权重加权；
36.基于所述第一自适应权重加权后的点击损失函数、所述第三自适应权重加 权后的点击转化损失函数，构建所述第二损失函数；
37.所述基于所述转化损失函数及所述点击转化损失函数，构建第一损失函数， 包
括：
38.对所述转化损失函数进行第二自适应权重加权；
39.基于所述第二自适应权重加权后的转化损失函数、所述第三自适应权重加 权后的点击转化损失函数，构建所述第一损失函数；
40.所述基于所述点击损失函数、所述转化损失函数及所述点击转化损失函数， 构建第三损失函数，包括：
41.基于所述第一自适应权重加权后的点击损失函数、所述第二自适应权重加 权后的转化损失函数、所述第三自适应权重加权后的点击转化损失函数，构建 所述第三损失函数。
42.本技术实施例第二方面提供的一种信息预测方法，包括：
43.获取待预测的用户的用户特征信息，所述用户特征信息至少包括用户进行 点击操作的操作信息；
44.输入所述用户特征信息至上述第一方面实施例所述的预测模型；
45.基于所述预测模型中的第一网络，预测所述用户的点击率；
46.基于所述预测模型中的第二网络，预测所述用户点击操作的转化率，其中， 所述第二网络由所述加权后的用户转化率向量构建得到的转化损失函数，作为 目标优化函数，训练得到。
47.本技术实施例第三方面提供的一种信息预测模型，包括：
48.共享嵌入层网络，用于输入样本用户的用户特征信息，其中所述用户特征 信息至少包括用户进行点击操作的操作信息；
49.第一网络，与所述共享嵌入层网络连接，用于在所述共享嵌入层网络中提 取所述用户特征信息中的第一特征信息，及基于所述第一特征信息，训练输出 用户点击率向量，其中所述第一特征信息为所述用户特征信息中与所述用户进 行点击操作有关的特征信息；
50.第二网络，与所述共享嵌入层网络连接，用于在所述共享嵌入层网络中提 取所述用户特征信息中的第二特征信息，及基于所述第二特征信息，训练输出 用户转化率向量，其中所述第二特征信息为所述用户特征信息中与所述用户进 行点击转化有关的特征信息；
51.自适应权重网络，与所述共享嵌入层网络连接，用于在所述共享嵌入层网 络中提取所述用户特征信息中的所述第一特征信息及所述第二特征信息，训练 输出与所述第一特征信息对应的第一向量权重及与所述第二特征信息对应的第 二向量权重；其中，所述第二向量权重用于对所述第二网络输出的用户转化率 向量加权，构建用于优化所述第二网络的转化损失函数；所述第一向量权重用 于对所述第一网络输出的用户点击率向量加权，构建用于优化所述第一网络的 点击损失函数；及
52.所述第一网络输出的用户点击率向量进行所述第一向量权重加权和所述第 二网络输出的用户转化率向量进行所述第二向量权重加权，构建用于优化所述 自适应权重网络的点击转化损失函数。
53.本技术实施例第四方面提供的一种预测模型的训练装置，包括：
54.第一处理单元，用于输入样本用户的用户特征信息至所述预测模型的共享 嵌入
层网络，所述用户特征信息至少包括用户进行点击操作的操作信息；
55.第二处理单元，用于基于第一网络在所述共享嵌入层网络中提取所述用户 特征信息中的第一特征信息，及基于所述第一特征信息，训练所述第一网络， 输出用户点击率向量，其中所述第一特征信息为所述用户特征信息中与所述用 户进行点击操作有关的特征信息；
56.第三处理单元，用于基于第二网络在所述共享嵌入层网络中提取所述用户 特征信息中的第二特征信息，及基于所述第二特征信息，训练所述第二网络， 输出用户转化率向量，其中所述第二特征信息为所述用户特征信息中与所述用 户进行点击转化有关的特征信息；
57.第四处理单元，用于基于自适应权重网络，在所述共享嵌入层网络中提取 所述用户特征信息中的所述第一特征信息及所述第二特征信息，训练所述自适 应权重网络，输出与所述第一特征信息对应的第一向量权重及与所述第二特征 信息对应的第二向量权重；
58.第五处理单元，用于基于所述用户转化率向量，经所述第二向量权重加权， 得到加权后的用户转化率向量；
59.第六处理单元，用于基于由所述加权后的用户转化率向量构建得到的转化 损失函数，作为目标优化函数，训练所述第二网络。
60.在一个实施例中，所述第五处理单元，用于
61.基于所述用户点击率向量，经所述第一向量权重加权，得到加权后的用户 点击率向量；
62.基于所述加权后的用户点击率向量及所述加权后的用户转化率向量，拟合 得到点击转化率；
63.基于所述点击转化率，构建点击转化损失函数；
64.基于所述转化损失函数及所述点击转化损失函数，构建第一损失函数；
65.所述第六处理单元，用于
66.基于所述第一损失函数作为所述目标优化函数，训练所述第二网络。
67.在一个实施例中，所述第五处理单元，用于
68.基于所述加权后的用户点击率向量，构建点击损失函数；
69.基于所述点击损失函数及所述点击转化损失函数，构建第二损失函数；
70.所述第六处理单元，用于
71.基于所述第二损失函数作为所述目标优化函数，训练所述第一网络。
72.在一个实施例中，所述第五处理单元，用于
73.基于所述点击损失函数、所述转化损失函数及所述点击转化损失函数，构 建第三损失函数；
74.所述第六处理单元，用于
75.基于所述第三损失函数，作为所述目标优化函数，训练所述自适应权重网 络。
76.在一个实施例中，所述第五处理单元，用于
77.预先确定出所述样本用户对应点击操作的点击标签、所述样本用户对应转 化的转化标签及所述样本用户对应点击转化的点击转化标签；
78.基于所述加权后的用户点击率向量及所述样本用户对应点击操作的点击标 签，
构建所述点击损失函数；
79.基于所述点击转化率及所述样本用户对应点击转化的点击转化标签，构建 所述点击转化损失函数；
80.基于所述加权后的用户转化率向量及所述样本用户对应转化的转化标签， 构建所述转化损失函数。
81.在一个实施例中，所述第五处理单元，用于
82.根据所述点击标签对应的张量，确定出与所述点击损失函数对应的第一自 适应权重；
83.根据所述转化标签对应的张量，确定出与所述转化损失函数对应的第二自 适应权重；
84.根据所述点击转化标签对应的张量，确定出与所述点击转化损失函数对应 的第三自适应权重；
85.对所述点击损失函数进行第一自适应权重加权；
86.对点击转化损失函数进行第三自适应权重加权；
87.基于所述第一自适应权重加权后的点击损失函数、所述第三自适应权重加 权后的点击转化损失函数，构建所述第二损失函数；
88.对所述转化损失函数进行第二自适应权重加权；
89.基于所述第二自适应权重加权后的转化损失函数、所述第三自适应权重加 权后的点击转化损失函数，构建所述第一损失函数；
90.基于所述第一自适应权重加权后的点击损失函数、所述第二自适应权重加 权后的转化损失函数、所述第三自适应权重加权后的点击转化损失函数，构建 所述第三损失函数。
91.本技术实施例第五方面提供的一种信息预测装置，包括：
92.第一处理单元，用于获取待预测的用户的用户特征信息，所述用户特征信 息至少包括用户进行点击操作的操作信息；
93.第二处理单元，用于输入所述用户特征信息至上述第一方面实施例所述的 预测模型；
94.第三处理单元，用于基于所述预测模型中的第一网络，预测所述用户的点 击率；
95.第四处理单元，用于基于所述预测模型中的第二网络，预测所述用户点击 操作的转化率，其中，所述第二网络由所述加权后的用户转化率向量构建得到 的转化损失函数，作为目标优化函数，训练得到。
96.本技术实施例第六方面提供的一种服务器，包括：处理器和用于存储能够 在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算 机程序时，执行上述第一方面和第二方面实施例所述方法的步骤。
97.本技术实施例第七方面提供的一种计算机可读存储介质，其上存储有计算 机程序，其特征在于，所述计算机程序被处理器执行时实现上述第一方面和第 二方面实施例所述方法的步骤。
98.本技术实施例的预测模型的训练方法，包括：输入样本用户的用户特征信 息至所述预测模型的共享嵌入层网络，所述用户特征信息至少包括用户进行点 击操作的操作信
息；基于第一网络在所述共享嵌入层网络中提取所述用户特征 信息中的第一特征信息，及基于所述第一特征信息，训练所述第一网络，输出 用户点击率向量，其中所述第一特征信息为所述用户特征信息中与所述用户进 行点击操作有关的特征信息；基于第二网络在所述共享嵌入层网络中提取所述 用户特征信息中的第二特征信息，及基于所述第二特征信息，训练所述第二网 络，输出用户转化率向量，其中所述第二特征信息为所述用户特征信息中与所 述用户进行点击转化有关的特征信息；基于自适应权重网络，在所述共享嵌入 层网络中提取所述用户特征信息中的所述第一特征信息及所述第二特征信息， 训练所述自适应权重网络，输出与所述第一特征信息对应的第一向量权重及与 所述第二特征信息对应的第二向量权重；基于所述用户转化率向量，经所述第 二向量权重加权，得到加权后的用户转化率向量；基于由所述加权后的用户转 化率向量构建得到的转化损失函数，作为目标优化函数，训练所述第二网络。 本技术中在进行多目标训练时，在预测模型中采用自适应权重网络自适应提取 用户特征信息中的与所述用户进行点击操作有关的第一特征信息及与所述用户 进行点击转化有关的第二特征信息，训练输出与第二特征信息对应的第二向量 权重。通过自适应权重网络自适应训练得到的第二向量权重能够用于调整样本 数据中用户点击操作及未点击操作对应的样本数据对用户点击操作后转换率预 测的影响，来减少训练样本数据与实际预测数据由于数据分布不同造成的对转 换率预测时存在的数据选择偏差。然后通过用户转化率向量，经所述第二向量 权重加权，得到加权后的用户转化率向量；基于由所述加权后的用户转化率向 量构建得到的转化损失函数，作为目标优化函数，训练所述第二网络。如此， 通过结合已经减少了训练样本数据与实际预测数据由于数据分布不同造成的对 转换率预测时存在的数据选择偏差获得的转化损失函数来作为目标优化函数， 训练所述第二网络，有利于提高第二网络的训练质量，提高通过训练的第二网 络对实际预测数据进行预测时的准确度。
附图说明
99.图1是根据一示例性实施例示出的推荐转化时的样本集合示意图；
100.图2是根据一示例性实施例示出的预测模型的训练方法流程图；
101.图3是根据一示例性实施例示出的预测模型的结构示意图；
102.图4是根据一示例性实施例示出的预测模型的训练装置的结构示意图；
103.图5是根据一示例性实施例示出的信息预测装置结构示意图；
104.图6是根据一示例性实施例示出的终端结构示意图。
具体实施方式
105.以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐 述。
106.随着信息技术的飞速发展，新闻、视频等多种信息媒介充斥着人们的生活。 人们能够获取的信息和各种信息的生产者时时刻刻面对着信息过载，信息有效 分配获取的问题。因此推荐系统应运而生。推荐系统是在用户与信息交互的基 础上，通过信息召回，粗排，精排等步骤，从丰富的信息池中筛选出用户当前 比较喜欢的内容。为了使推荐效果更加个性化，推荐系统的结构越来越复杂， 数据和数据之间，数据和模型之间以及模型多目标之间的冲突越来越明显。
107.多目标传统训练的时候，每个目标都会用自己的数据独立建模，并且训练 过程中，目标预测还有损失计算都是固定的权重，甚至在有些领域，多目标之 间其实是有紧密的依赖关系，如广告领域的ctr点击率和cvr转换率目标。
108.传统的多目标方式处理ctr cvr会导致两个问题：1)数据选择偏差问题，图 1是根据一示例性实施例示出的推荐转化时的样本集合示意图。如图1所示， 推理空间内包含有显示样本。显示样本中包含有点击样本和转化样本。训练空 间内对点击样本和转化样本进行训练。多目标训练的时候ctr训练样本和预测样 本都是impression显示集合，所以样本偏差影响较小。但cvr训练就会有偏差， 因为转化是“有可能”在点击之后发生的，当独立建模的时候，cvr模型只是用 点击数据作为训练集，其中点击未转化为负样本，点击后转化为正样本。但是 训练好的cvr模型实际使用时，则是对整个空间的样本进行预估，即impression 空间中进行预估。训练数据与实际要预测的数据来自不同分布，这一定程度上 违背了机器学习中独立同分布的假设。2)不同目标都是独立硬计算，包括目标 输出和损失loss的计算。例如，损失函数的计算是经过预测值与实际值的偏差， 再将结果直接求和，这个偏差在多目标训练的过程中会凸显出来。
109.针对数据选择偏差问题，经常采用在传统的多目标训练过程中，添加样本 采样的方式，例如针对cvr任务除了使用点击后的样本，还会选择曝光-未点击 的采样作为负样本，这种采样的方式虽然补充样本空间，但是还是存在偏差， 不能自适应调节。
110.本技术提供一种预测模型的训练方法。图2是根据一示例性实施例示出的 预测模型的训练方法流程图。如图2所示，预测模型的训练方法，包括：
111.步骤10、输入样本用户的用户特征信息至所述预测模型的共享嵌入层网 络，所述用户特征信息至少包括用户进行点击操作的操作信息；
112.步骤11、基于第一网络在所述共享嵌入层网络中提取所述用户特征信息中 的第一特征信息，及基于所述第一特征信息，训练所述第一网络，输出用户点 击率向量，其中所述第一特征信息为所述用户特征信息中与所述用户进行点击 操作有关的特征信息；
113.步骤12、基于第二网络在所述共享嵌入层网络中提取所述用户特征信息中 的第二特征信息，及基于所述第二特征信息，训练所述第二网络，输出用户转 化率向量，其中所述第二特征信息为所述用户特征信息中与所述用户进行点击 转化有关的特征信息；
114.步骤13、基于自适应权重网络，在所述共享嵌入层网络中提取所述用户特 征信息中的所述第一特征信息及所述第二特征信息，训练所述自适应权重网络， 输出与所述第一特征信息对应的第一向量权重及与所述第二特征信息对应的第 二向量权重；
115.步骤14、基于所述用户转化率向量，经所述第二向量权重加权，得到加权 后的用户转化率向量；
116.步骤15、基于由所述加权后的用户转化率向量构建得到的转化损失函数， 作为目标优化函数，训练所述第二网络。
117.在示例性实施例中，图3是根据一示例性实施例示出的预测模型的结构示 意图。如图3所示，输入预测模型的样本用户的用户特征信息至少包括用户特 征、用户点击操作对应的项目特征及与项目相关的其他特征，包括生成要素特 征等。用户特征包括用户年龄、性别、工作等。用户点击操作对应的项目特征 包括文字、视频等用来承载广告信息的特征等。与项目相关的生成要素特征包 括发布广告的位置、方式、时间等。
118.在示例性实施例中，针对多目标训练的独立硬计算问题，比如mmoe (modeling task relationships in multi-task learning with multi-gatemixture-of-experts，多任务学习模型)等框架，本技术中自适应权重网络会根 据样本，第一特征信息及所述第二特征信息生成ctr、cvr的模型权重表示，即 与所述第一特征信息对应的第一向量权重及与所述第二特征信息对应的第二向 量权重。将模型的输出结果进行调整，其中生成ctr、cvr权重的特征并不是根 据人工经验选择的，而是根据自适应权重网络中的feature select gate特征选择 门自动选择。每个目标有自己个性化的特征筛选，并且随着训练而自适应改变 特征的比重。权重网络筛选完特征后，会经过一个低阶+全链接的网络进行训练， 相比于全连接网络会考虑特征的低阶表示，最终权重和目标结合生成与所述第 一特征信息对应的第一向量权重及与所述第二特征信息对应的第二向量权重。 此时cvr的模型即第二网络训练因为自适应权重网络也可以学习到展示空间的 样本分布，并且在预测的时候，cvr的预测使用的是第二向量权重调节后的cvr 第二网络模型，因为考虑了ctr的部分影响，更符合cvr实际偏差，因此解决了 数据偏差的问题。
119.本技术实施例的预测模型的训练方法，包括：输入样本用户的用户特征信 息至所述预测模型的共享嵌入层网络，所述用户特征信息至少包括用户进行点 击操作的操作信息；基于第一网络在所述共享嵌入层网络中提取所述用户特征 信息中的第一特征信息，及基于所述第一特征信息，训练所述第一网络，输出 用户点击率向量，其中所述第一特征信息为所述用户特征信息中与所述用户进 行点击操作有关的特征信息；基于第二网络在所述共享嵌入层网络中提取所述 用户特征信息中的第二特征信息，及基于所述第二特征信息，训练所述第二网 络，输出用户转化率向量，其中所述第二特征信息为所述用户特征信息中与所 述用户进行点击转化有关的特征信息；基于自适应权重网络，在所述共享嵌入 层网络中提取所述用户特征信息中的所述第一特征信息及所述第二特征信息， 训练所述自适应权重网络，输出与所述第一特征信息对应的第一向量权重及与 所述第二特征信息对应的第二向量权重；基于所述用户转化率向量，经所述第 二向量权重加权，得到加权后的用户转化率向量weight_pcvr；基于由所述加权 后的用户转化率向量构建得到的转化损失函数，作为目标优化函数，训练所述 第二网络。本技术中在进行多目标训练时，在预测模型中采用自适应权重网络 自适应提取用户特征信息中的与所述用户进行点击操作有关的第一特征信息及 与所述用户进行点击转化有关的第二特征信息，训练输出与第二特征信息对应 的第二向量权重。通过自适应权重网络自适应训练得到的第二向量权重能够用 于调整样本数据中用户点击操作及未点击操作对应的样本数据对用户点击操作 后转换率预测的影响，来减少训练样本数据与实际预测数据由于数据分布不同 造成的对转换率预测时存在的数据选择偏差。然后通过用户转化率向量，经所 述第二向量权重加权，得到加权后的用户转化率向量；基于由所述加权后的用 户转化率向量构建得到的转化损失函数，作为目标优化函数，训练所述第二网 络。如此，通过结合已经减少了训练样本数据与实际预测数据由于数据分布不 同造成的对转换率预测时存在的数据选择偏差获得的转化损失函数来作为目标 优化函数，训练所述第二网络，有利于提高第二网络的训练质量，提高通过训 练的第二网络对实际预测数据进行预测时的准确度。
120.在示例性实施例中，如图3所示，针对上述三种网络结构，在训练的时候， 底层特征通过特征转化，生成统一的共享特征。ctr模型第一网络训练的时候， 从中选取ctr的第
一特征信息进行模型训练，产生pctr用户点击率结果。
121.cvr第二网络从share embedding共享嵌入层网络中选取cvr的第二特征信 息进行网络训练，产生pcvr用户转化率结果。
122.自适应权重网络从share embedding共享嵌入层网络中经过ctr or cvrfeature selected gate分别筛选出不同目标所需要的特征，相较于人工选择更自 适应，通过一个低级+全连接的网络训练生成两个k维度的向量，分别与ctr第 一网络和cvr第二网络的k维度向量进行计算，产生出加权后的用户点击率向 量和加权后的用户转化率向量，自适应权重网络不仅仅利用了全连接的高级表 示，还融合了特征的低阶表示。
123.在一个实施例中，所述训练方法还包括：
124.基于所述用户点击率向量，经所述第一向量权重加权，得到加权后的用户 点击率向量；
125.基于所述加权后的用户点击率向量及所述加权后的用户转化率向量，拟合 得到点击转化率；
126.基于所述点击转化率，构建点击转化损失函数；
127.基于所述转化损失函数及所述点击转化损失函数，构建第一损失函数；
128.所述基于由所述加权后的用户转化率向量构建得到的转化损失函数，作为 目标优化函数，训练所述第二网络，包括：基于所述第一损失函数作为所述目 标优化函数，训练所述第二网络。
129.在示例性实施例中，在训练第二网络时，作为第二网络的目标优化函数可 以是转化损失函数，也可以是基于转化损失函数及所述点击转化损失函数构建 得到的第一损失函数。
130.在确定第一损失函数时，可以是点击转化损失函数累加转化损失函数得到 第一损失函数。点击转化损失函数可以通过点击转化率与对应的点击转化标签 得到。
131.点击转化率可通过经第一向量权重加权后的用户点击率向量weight_pctr及 经第二向量权重加权后的用户转化率向量weight_pcvr，在融合网络中通过网络 拟合输出点击转化率。例如，在融合网络中，经第一向量权重加权后的用户点 击率向量weight_pctr及经第二向量权重加权后的用户转化率向量weight_pcvr， 进行非线性变换，输出点击转化率。
132.在一个实施例中，所述训练方法还包括：
133.基于所述加权后的用户点击率向量，构建点击损失函数；
134.基于所述点击损失函数及所述点击转化损失函数，构建第二损失函数；
135.基于所述第二损失函数作为所述目标优化函数，训练所述第一网络。
136.在示例性实施例中，构建点击损失函数时，可通过第一向量权重加权后的 用户点击率向量与用户点击率对应的点击标签，构建点击损失函数。点击损失 函数与所述点击转化损失函数累加，得到第二损失函数。将第二损失函数作为 所述目标优化函数，训练所述第一网络。由于第一向量权重为自适应权重网络 训练得到，使得通过加权后的用户点击率向量构建的点击损失函数，能够更好 的优化第一网络。
137.在一个实施例中，训练方法还包括：
138.基于所述点击损失函数、所述转化损失函数及所述点击转化损失函数，构 建第三
损失函数；
139.基于所述第三损失函数，作为所述目标优化函数，训练所述自适应权重网 络。
140.在示例性实施例中，在训练自适应权重网络时，可将第三损失函数作为目 标优化函数，来优化自适应权重网络。第三损失函数可通过累加点击损失函数、 所述转化损失函数及所述点击转化损失函数得到。
141.在示例性实施例中，所述训练方法还包括：
142.预先确定出所述样本用户对应点击操作的点击标签、所述样本用户对应转 化的转化标签及所述样本用户对应点击转化的点击转化标签；
143.所述基于所述加权后的用户点击率向量，构建点击损失函数，包括：基于 所述加权后的用户点击率向量及所述样本用户对应点击操作的点击标签，构建 所述点击损失函数；
144.所述基于所述点击转化率，构建点击转化损失函数，包括：基于所述点击 转化率及所述样本用户对应点击转化的点击转化标签，构建所述点击转化损失 函数；
145.所述方法还包括：基于所述加权后的用户转化率向量及所述样本用户对应 转化的转化标签，构建所述转化损失函数。
146.在一个实施例中，所述方法还包括：
147.根据所述点击标签对应的张量，确定出与所述点击损失函数对应的第一自 适应权重；
148.根据所述转化标签对应的张量，确定出与所述转化损失函数对应的第二自 适应权重；
149.根据所述点击转化标签对应的张量，确定出与所述点击转化损失函数对应 的第三自适应权重；
150.所述基于所述点击损失函数及所述点击转化损失函数，构建第二损失函数， 包括：
151.对所述点击损失函数进行第一自适应权重加权；
152.对点击转化损失函数进行第三自适应权重加权；
153.基于所述第一自适应权重加权后的点击损失函数、所述第三自适应权重加 权后的点击转化损失函数，构建所述第二损失函数；
154.在示例性实施例中，基于所述第一自适应权重加权后的点击损失函数累加 所述基于第三自适应权重加权后的点击转化损失函数，得到第二损失函数。
155.所述基于所述转化损失函数及所述点击转化损失函数，构建第一损失函数， 包括：
156.对所述转化损失函数进行第二自适应权重加权；
157.基于所述第二自适应权重加权后的转化损失函数、所述第三自适应权重加 权后的点击转化损失函数，构建所述第一损失函数；
158.在示例性实施例中，基于所述第二自适应权重加权后的转化损失函数累加 第三自适应权重加权后的点击转化损失函数，得到所述第一损失函数。
159.所述基于所述点击损失函数、所述转化损失函数及所述点击转化损失函数， 构建第三损失函数，包括：
160.基于所述第一自适应权重加权后的点击损失函数、所述第二自适应权重加 权后的转化损失函数、所述第三自适应权重加权后的点击转化损失函数，构建 所述第三损失函数。
161.在示例性实施例中，基于所述第一自适应权重加权后的点击损失函数、基 于所述第二自适应权重加权后的转化损失函数与基于所述第三自适应权重加权 后的点击转化损失函数，这三者累加得到第三损失函数。
162.在示例性实施例中，最终反向传播的模型损失由三部分组成：
163.total loss＝ctr loss*ctr trainable loss weight+cvr loss*cvr trainable loss weight +ctcvr loss*ctcvr trainable loss weight；其中，total loss为最终的损失函数，ctrloss为点击损失函数，cvr loss为转化损失函数，ctcvr loss为点击转化损失函数， ctr trainable loss weight为第一自适应权重，cvr trainable loss weight为第二自适 应权重，ctcvr trainable loss weight为第三自适应权重。
164.其中：ctr trainable loss weight和cvr trainable loss weight和ctcvr trainable lossweight分别是三个可训练的loss权重。loss权重是独立，可训练的，例如可通 过如下方式k*exp(-weight[label])，计算得到loss的权重，其中weight[label]会 根据label标签选择ctr or cvr or ctcvr的对应tensor张量。在示例性实施例中也 可以直接选择ctr or cvr or ctcvr的对应tensor张量作为loss权重。例如，tensor1 作为ctr trainable loss weight，tensor2作为cvr trainable loss weight，tensor3作为 ctcvr trainable loss weight等。也可以确定tensor后，经过k*exp(-weight[label]) 计算，得到对应的loss权重，此时tensor为weight[label]中的一个变量。此时 k*exp(-weight[label])等于loss的权重。例如，选择ctr对应tensor1张量，输入 tensor1至k*exp(-weight[label])，输出得到ctr trainable loss weight。
[0165]
本技术中转化损失函数不仅学习到了整个空间的数据分布，还将ctr模型的 影响添加到cvr的预测。
[0166]
此外，优化模型还对不同目标的损失loss也都会乘以一个可训练的权重， 传统的多目标权重都是针对目标的输出进行调整，loss都是简单的求和后进行 反向传播。本方法除此之外，会单独在loss上乘以一个trainable loss weight。它 不同于上一部分的目标权重，loss权重是不依赖特征的可训练tensor,反向传播 的时候会进行更新。自适应调节多目标的loss损失，结合模型的输出权重，恰 好解决了多目标独立硬计算的问题。
[0167]
针对传统多目标模型的数据偏差以及目标独立硬耦合的问题，本技术提出 了一种基于自适应权重优化的多目标训练框架，消除了数据的偏差，同时目标 之间通过自适应目标权重，自适应loss权重得到更好的训练。
[0168]
本技术实施例第二方面提供的一种信息预测方法，包括：
[0169]
获取待预测的用户的用户特征信息，所述用户特征信息至少包括用户进行 点击操作的操作信息；
[0170]
输入所述用户特征信息至上述第一方面实施例所述的预测模型；
[0171]
基于所述预测模型中的第一网络，预测所述用户的点击率；
[0172]
基于所述预测模型中的第二网络，预测所述用户点击操作的转化率，其中， 所述第二网络由所述加权后的用户转化率向量构建得到的转化损失函数，作为 目标优化函数，
训练得到。
[0173]
本技术实施例第三方面提供的一种信息预测模型，如图3所示，包括：
[0174]
共享嵌入层网络，用于输入样本用户的用户特征信息，其中所述用户特征 信息至少包括用户进行点击操作的操作信息；
[0175]
第一网络，与所述共享嵌入层网络连接，用于在所述共享嵌入层网络中提 取所述用户特征信息中的第一特征信息，及基于所述第一特征信息，训练输出 用户点击率向量，其中所述第一特征信息为所述用户特征信息中与所述用户进 行点击操作有关的特征信息；
[0176]
第二网络，与所述共享嵌入层网络连接，用于在所述共享嵌入层网络中提 取所述用户特征信息中的第二特征信息，及基于所述第二特征信息，训练输出 用户转化率向量，其中所述第二特征信息为所述用户特征信息中与所述用户进 行点击转化有关的特征信息；
[0177]
自适应权重网络，与所述共享嵌入层网络连接，用于在所述共享嵌入层网 络中提取所述用户特征信息中的所述第一特征信息及所述第二特征信息，训练 输出与所述第一特征信息对应的第一向量权重及与所述第二特征信息对应的第 二向量权重；其中，所述第二向量权重用于对所述第二网络输出的用户转化率 向量加权，构建用于优化所述第二网络的转化损失函数；所述第一向量权重用 于对所述第一网络输出的用户点击率向量加权，构建用于优化所述第一网络的 点击损失函数；及
[0178]
所述第一网络输出的用户点击率向量进行所述第一向量权重加权和所述第 二网络输出的用户转化率向量进行所述第二向量权重加权，构建用于优化所述 自适应权重网络的点击转化损失函数。
[0179]
在示例性实施例中，如图3所示，输入预测模型的样本用户的用户特征信 息至少包括用户特征、用户点击操作对应的项目特征及与项目相关的其他特征， 包括生成要素特征等。用户特征包括用户年龄、性别、工作等。用户点击操作 对应的项目特征包括文字、视频等用来承载广告信息的特征等。与项目相关的 生成要素特征包括发布广告的位置、方式、时间等。
[0180]
在示例性实施例中，针对多目标训练的独立硬计算问题，比如mmoe (modeling task relationships in multi-task learning with multi-gatemixture-of-experts，多任务学习模型)等框架，本技术中自适应权重网络会根 据样本，第一特征信息及所述第二特征信息生成ctr、cvr的模型权重表示，即 与所述第一特征信息对应的第一向量权重及与所述第二特征信息对应的第二向 量权重。将模型的输出结果进行调整，其中生成ctr、cvr权重的特征并不是根 据人工经验选择的，而是根据自适应权重网络中的feature select gate特征选择 门自动选择。每个目标有自己个性化的特征筛选，并且随着训练而自适应改变 特征的比重。权重网络筛选完特征后，会经过一个低阶+全链接的网络进行训练， 相比于全连接网络会考虑特征的低阶表示，最终权重和目标结合生成与所述第 一特征信息对应的第一向量权重及与所述第二特征信息对应的第二向量权重。 此时cvr的模型即第二网络训练因为自适应权重网络也可以学习到展示空间的 样本分布，并且在预测的时候，cvr的预测使用的是第二向量权重调节后的cvr 第二网络模型，因为考虑了ctr的部分影响，更符合cvr实际偏差，因此解决了 数据偏差的问题。
[0181]
本技术实施例的信息预测模型用于：输入样本用户的用户特征信息至所述 预测模型的共享嵌入层网络，所述用户特征信息至少包括用户进行点击操作的 操作信息；基于第一网络在所述共享嵌入层网络中提取所述用户特征信息中的 第一特征信息，及基于所述第一特征信息，训练所述第一网络，输出用户点击 率向量，其中所述第一特征信息为所述用户特征信息中与所述用户进行点击操 作有关的特征信息；基于第二网络在所述共享嵌入层网络中提取所述用户特征 信息中的第二特征信息，及基于所述第二特征信息，训练所述第二网络，输出 用户转化率向量，其中所述第二特征信息为所述用户特征信息中与所述用户进 行点击转化有关的特征信息；基于自适应权重网络，在所述共享嵌入层网络中 提取所述用户特征信息中的所述第一特征信息及所述第二特征信息，训练所述 自适应权重网络，输出与所述第一特征信息对应的第一向量权重及与所述第二 特征信息对应的第二向量权重；基于所述用户转化率向量，经所述第二向量权 重加权，得到加权后的用户转化率向量weight_pcvr；基于由所述加权后的用户 转化率向量构建得到的转化损失函数，作为目标优化函数，训练所述第二网络。 本技术中在进行多目标训练时，在预测模型中采用自适应权重网络自适应提取 用户特征信息中的与所述用户进行点击操作有关的第一特征信息及与所述用户 进行点击转化有关的第二特征信息，训练输出与第二特征信息对应的第二向量 权重。通过自适应权重网络自适应训练得到的第二向量权重能够用于调整样本 数据中用户点击操作及未点击操作对应的样本数据对用户点击操作后转换率预 测的影响，来减少训练样本数据与实际预测数据由于数据分布不同造成的对转 换率预测时存在的数据选择偏差。然后通过用户转化率向量，经所述第二向量 权重加权，得到加权后的用户转化率向量；基于由所述加权后的用户转化率向 量构建得到的转化损失函数，作为目标优化函数，训练所述第二网络。如此， 通过结合已经减少了训练样本数据与实际预测数据由于数据分布不同造成的对 转换率预测时存在的数据选择偏差获得的转化损失函数来作为目标优化函数， 训练所述第二网络，有利于提高第二网络的训练质量，提高通过训练的第二网 络对实际预测数据进行预测时的准确度。
[0182]
本技术实施例第四方面提供的一种预测模型的训练装置。图4是根据一示 例性实施例示出的预测模型的训练装置的结构示意图。如图4所示，包括：
[0183]
第一处理单元41，用于输入样本用户的用户特征信息至所述预测模型的共 享嵌入层网络，所述用户特征信息至少包括用户进行点击操作的操作信息；
[0184]
第二处理单元42，用于基于第一网络在所述共享嵌入层网络中提取所述用 户特征信息中的第一特征信息，及基于所述第一特征信息，训练所述第一网络， 输出用户点击率向量，其中所述第一特征信息为所述用户特征信息中与所述用 户进行点击操作有关的特征信息；
[0185]
第三处理单元43，用于基于第二网络在所述共享嵌入层网络中提取所述用 户特征信息中的第二特征信息，及基于所述第二特征信息，训练所述第二网络， 输出用户转化率向量，其中所述第二特征信息为所述用户特征信息中与所述用 户进行点击转化有关的特征信息；
[0186]
第四处理单元44，用于基于自适应权重网络，在所述共享嵌入层网络中提 取所述用户特征信息中的所述第一特征信息及所述第二特征信息，训练所述自 适应权重网络，输出与所述第一特征信息对应的第一向量权重及与所述第二特 征信息对应的第二向量权
整样本数据中用户点击操作及未点击操作对应的样本数据对用户点击操作后转 换率预测的影响，来减少训练样本数据与实际预测数据由于数据分布不同造成 的对转换率预测时存在的数据选择偏差。然后通过用户转化率向量，经所述第 二向量权重加权，得到加权后的用户转化率向量；基于由所述加权后的用户转 化率向量构建得到的转化损失函数，作为目标优化函数，训练所述第二网络。 如此，通过结合已经减少了训练样本数据与实际预测数据由于数据分布不同造 成的对转换率预测时存在的数据选择偏差获得的转化损失函数来作为目标优化 函数，训练所述第二网络，有利于提高第二网络的训练质量，提高通过训练的 第二网络对实际预测数据进行预测时的准确度。
[0192]
在一个实施例中，所述第五处理单元，用于
[0193]
基于所述用户点击率向量，经所述第一向量权重加权，得到加权后的用户 点击率向量；
[0194]
基于所述加权后的用户点击率向量及所述加权后的用户转化率向量，拟合 得到点击转化率；
[0195]
基于所述点击转化率，构建点击转化损失函数；
[0196]
基于所述转化损失函数及所述点击转化损失函数，构建第一损失函数；
[0197]
所述第六处理单元，用于
[0198]
基于所述第一损失函数作为所述目标优化函数，训练所述第二网络。
[0199]
在一个实施例中，所述第五处理单元，用于
[0200]
基于所述加权后的用户点击率向量，构建点击损失函数；
[0201]
基于所述点击损失函数及所述点击转化损失函数，构建第二损失函数；
[0202]
所述第六处理单元，用于
[0203]
基于所述第二损失函数作为所述目标优化函数，训练所述第一网络。
[0204]
在一个实施例中，所述第五处理单元，用于
[0205]
基于所述点击损失函数、所述转化损失函数及所述点击转化损失函数，构 建第三损失函数；
[0206]
所述第六处理单元，用于
[0207]
基于所述第三损失函数，作为所述目标优化函数，训练所述自适应权重网 络。在示例性实施例中，在训练自适应权重网络时，可将第三损失函数作为目 标优化函数，来优化自适应权重网络。第三损失函数可通过累加点击损失函数、 所述转化损失函数及所述点击转化损失函数得到。
[0208]
在示例性实施例中，所述第五处理单元，用于
[0209]
预先确定出所述样本用户对应点击操作的点击标签、所述样本用户对应转 化的转化标签及所述样本用户对应点击转化的点击转化标签；
[0210]
基于所述加权后的用户点击率向量及所述样本用户对应点击操作的点击标 签，构建所述点击损失函数；
[0211]
基于所述点击转化率及所述样本用户对应点击转化的点击转化标签，构建 所述点击转化损失函数；
[0212]
基于所述加权后的用户转化率向量及所述样本用户对应转化的转化标签， 构建所述转化损失函数。
[0213]
在示例性实施例中，所述第五处理单元，用于
[0214]
根据所述点击标签对应的张量，确定出与所述点击损失函数对应的第一自 适应权重；
[0215]
根据所述转化标签对应的张量，确定出与所述转化损失函数对应的第二自 适应权重；
[0216]
根据所述点击转化标签对应的张量，确定出与所述点击转化损失函数对应 的第三自适应权重；
[0217]
对所述点击损失函数进行第一自适应权重加权；
[0218]
对点击转化损失函数进行第三自适应权重加权；
[0219]
基于所述第一自适应权重加权后的点击损失函数、所述第三自适应权重加 权后的点击转化损失函数，构建所述第二损失函数；
[0220]
对所述转化损失函数进行第二自适应权重加权；
[0221]
基于所述第二自适应权重加权后的转化损失函数、所述第三自适应权重加 权后的点击转化损失函数，构建所述第一损失函数；
[0222]
基于所述第一自适应权重加权后的点击损失函数、所述第二自适应权重加 权后的转化损失函数、所述第三自适应权重加权后的点击转化损失函数，构建 所述第三损失函数。
[0223]
本技术实施例第五方面提供的一种信息预测装置。图5是根据一示例性实 施例示出的信息预测装置结构示意图。如图5所示，包括：
[0224]
第一处理单元51，用于获取待预测的用户的用户特征信息，所述用户特征 信息至少包括用户进行点击操作的操作信息；
[0225]
第二处理单元52，用于输入所述用户特征信息至上述第一方面实施例所述 的预测模型；
[0226]
第三处理单元53，用于基于所述预测模型中的第一网络，预测所述用户的 点击率；
[0227]
第四处理单元54，用于基于所述预测模型中的第二网络，预测所述用户点 击操作的转化率，其中，所述第二网络由所述加权后的用户转化率向量构建得 到的转化损失函数，作为目标优化函数，训练得到。
[0228]
本技术实施例第六方面提供的一种服务器，包括：处理器和用于存储能够 在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算 机程序时，执行上述第一方面和第二方面实施例所述方法的步骤。
[0229]
本技术实施例第七方面提供的一种计算机可读存储介质，其上存储有计算 机程序，其特征在于，所述计算机程序被处理器执行时实现上述第一方面和第 二方面实施例所述方法的步骤。
[0230]
本技术还提供一种服务器。图6是根据一示例性实施例示出的服务器结构 示意图。如图6所示，本技术实施例提供的服务器，包括：处理器530和用于 存储能够在处理器上运行的计算机程序的存储器520，其中，所述处理器530 用于运行所述计算机程序时，执行上述各实施例提供所述方法的步骤。
[0231]
本技术还提供一种计算机可读存储介质。本技术实施例提供的计算机可读 存储
介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各 实施例提供所述方法的步骤。
[0232]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法， 可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如， 所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分 方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特 征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、 或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通 信连接，可以是电性的、机械的或其它形式的。
[0233]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作 为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方， 也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部 单元来实现本实施例方案的目的。
[0234]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块 中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集 成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用 硬件加软件功能单元的形式实现。
[0235]
在一些情况下，上述任一两个技术特征不冲突的情况下，可以组合成新 的方法技术方案。
[0236]
在一些情况下，上述任一两个技术特征不冲突的情况下，可以组合成新 的设备技术方案。
[0237]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读 取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述 的存储介质包括：移动存储设备、只读存储器(read-only memory，rom)、 随机存取存储器(random access memory，ram)、磁碟或者光盘等各种 可以存储程序代码的介质。
[0238]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护 范围应以所述权利要求的保护范围为准。