针对内容的预测方法及装置、预测模型的训练方法及装置与流程

1.本公开涉及信息推荐技术领域，尤其涉及一种针对内容的预测方法及装置、预测模型的训练方法及装置。


背景技术：

2.在信息推荐领域中，向用户推荐更符合其需求的内容，能够提高推荐效率，既可减少对用户的干扰，又可助力推广效果。为此，现有技术中提出了一些预测模型，用于预测某推荐内容推荐给用户后的转化情况。
3.由于用户往往需要先触发(例如点击)推荐内容，然后才会做出转化行为，所以相关技术中，常采用两阶段方式来预测推荐内容的转化情况。具体来说，就是分别预测推荐内容被用户触发的可能和触发后发生转化的可能，再结合二者预测推荐内容发生转化的可能。然而推荐内容的转化数据通常由推荐内容的提供方统计，而非由展示推荐内容的平台统计，因而存在提供方误将其他平台发生的转化数据归入本平台的可能，此时由于平台统计到该推荐内容未被触发，所以会将该推荐内容统计为未转化，导致大量正样本丢失，影响了预测准确率。


技术实现要素：

4.本公开提供一种针对内容的预测方法及装置、预测模型的训练方法及装置，以至少解决相关技术中的预测准确率低的问题，也可不解决任何上述问题。
5.根据本公开的第一方面，提供了一种针对内容的预测方法，包括：获取针对候选对象的候选推荐内容的特征数据；其中，所述特征数据包括对应于所述候选推荐内容的内容特征和对应于所述候选对象的对象特征；将所述特征数据输入经过训练的预测模型，通过所述预测模型得到第一转化值和第二转化值；其中，所述第一转化值反映所述候选推荐内容被所述候选对象触发且发生转化的可能，所述第二转化值反映所述候选推荐内容未被所述候选对象触发且发生转化的可能；根据所述第一转化值和所述第二转化值，确定所述候选推荐内容对应于所述候选对象的预测转化信息。
6.可选地，所述预测模型包括第一预测网络和第二预测网络；其中，所述将所述特征数据输入经过训练的预测模型，通过所述预测模型得到第一转化值和第二转化值，包括：将所述特征数据输入所述第一预测网络，通过所述第一预测网络得到预测触发值；将所述特征数据输入所述第二预测网络，通过所述第二预测网络得到转化参数，所述转化参数反映所述候选推荐内容在不同的触发情况下发生转化的可能；根据所述预测触发值和所述转化参数，确定所述第一转化值和所述第二转化值。
7.可选地，所述转化参数包括预测触发转化值和预测无触发转化值，所述预测触发转化值反映所述候选推荐内容在被所述候选对象触发的情况下发生转化的可能，所述预测无触发转化值反映所述候选推荐内容在未被所述候选对象触发的情况下发生转化的可能。
8.可选地，所述第二预测网络包括第一子网络和第二子网络；其中，所述将所述特征
数据输入所述第二预测网络，通过所述第二预测网络得到转化参数，包括：将所述特征数据输入所述第一子网络，通过所述第一子网络得到所述预测触发转化值；将所述特征数据输入所述第二子网络，通过所述第二子网络得到所述预测无触发转化值。
9.可选地，所述根据所述预测触发值和所述转化参数，确定所述第一转化值和所述第二转化值，包括：确定所述预测触发值和所述预测触发转化值的乘积，作为所述第一转化值；根据所述预测触发值，确定预测无触发值；确定所述预测无触发值和所述预测无触发转化值的乘积，作为所述第二转化值。
10.可选地，所述第一转化值反映所述候选推荐内容被所述候选对象触发且发生转化的概率，所述第二转化值反映所述候选推荐内容未被所述候选对象触发且发生转化的概率；其中，所述根据所述第一转化值和所述第二转化值，确定预测转化信息，包括：确定所述第一转化值和所述第二转化值的和值，基于所述和值确定所述所述预测转化信息。
11.可选地，所述特征数据还包括交叉特征，所述交叉特征反映所述候选对象与所述候选推荐内容之间的关联。
12.根据本公开的第二方面，提供了一种预测模型的训练方法，所述预测模型包括第一预测网络和第二预测网络，所述训练方法包括：获取推荐样本的特征数据和样本标记；其中，所述推荐样本包括样本推荐内容和所述样本推荐内容针对的样本对象，所述特征数据包括对应于所述样本推荐内容的内容特征和对应于所述样本对象的对象特征；若确定所述样本标记为触发标记，将所述特征数据输入所述第一预测网络，通过所述第一预测网络得到第一预测触发值，根据所述触发标记和所述第一预测触发值，训练所述第一预测网络；其中，所述触发标记用于反映所述样本推荐内容是否被所述样本对象触发；若确定所述样本标记包括转化标记，将所述特征数据输入所述第一预测网络和所述第二预测网络，通过所述第一预测网络和所述第二预测网络得到所述样本推荐内容对应于所述样本对象的预测转化信息，根据所述样本标记和所述预测转化信息，训练所述第二预测网络；其中，所述转化标记用于反映所述样本推荐内容是否发生对应于所述样本对象的转化。
13.可选地，所述将所述特征数据输入所述第一预测网络和所述第二预测网络，通过所述第一预测网络和所述第二预测网络得到所述样本推荐内容对应于所述样本对象的预测转化信息，包括：将所述特征数据输入所述第一预测网络，通过所述第一预测网络得到第二预测触发值；将所述特征数据输入所述第二预测网络，通过所述第二预测网络得到预测触发转化值和预测无触发转化值，其中，所述预测触发转化值反映所述样本推荐内容在被所述样本对象触发的情况下发生转化的可能，所述预测无触发转化值反映所述样本推荐内容在未被所述样本对象触发的情况下发生转化的可能；根据所述第二预测触发值、所述预测触发转化值和所述预测无触发转化值，确定第一转化值和第二转化值；其中，所述第一转化值反映所述样本推荐内容被所述样本对象触发且发生转化的可能，所述第二转化值反映所述样本推荐内容未被所述样本对象触发且发生转化的可能；根据所述第一转化值和所述第二转化值，确定所述预测转化信息。
14.可选地，带有所述转化标记的所述推荐样本同时带有所述触发标记，所述根据所述样本标记和所述预测转化信息，训练所述第二预测网络，包括：根据所述触发标记、所述转化标记、所述第一转化值和所述第二转化值，训练所述第二预测网络。
15.可选地，获取所述推荐样本的所述样本标记，包括：获取所述样本推荐内容被推荐
给所述样本对象后的第一时长内的触发数据，根据所述触发数据，确定所述触发标记；其中，所述触发数据是所述样本推荐内容被所述样本对象触发时产生的数据；获取所述样本推荐内容被推荐给所述样本对象后的第二时长内的转化数据，根据所述转化数据，确定所述转化标记；其中，所述转化数据是所述样本推荐内容发生转化时产生的数据，所述第二时长大于所述第一时长。
16.根据本公开的第三方面，提供了一种针对内容的预测装置，包括：获取单元，被配置为：获取针对候选对象的候选推荐内容的特征数据；其中，所述特征数据包括对应于所述候选推荐内容的内容特征和对应于所述候选对象的对象特征；预测单元，被配置为：将所述特征数据输入经过训练的预测模型，通过所述预测模型得到第一转化值和第二转化值；其中，所述第一转化值反映所述候选推荐内容被所述候选对象触发且发生转化的可能，所述第二转化值反映所述候选推荐内容未被所述候选对象触发且发生转化的可能；确定单元，被配置为：根据所述第一转化值和所述第二转化值，确定所述候选推荐内容对应于所述候选对象的预测转化信息。
17.可选地，所述预测模型包括第一预测网络和第二预测网络，所述预测单元还被配置为：将所述特征数据输入所述第一预测网络，通过所述第一预测网络得到预测触发值；将所述特征数据输入所述第二预测网络，通过所述第二预测网络得到转化参数，所述转化参数反映所述候选推荐内容在不同的触发情况下发生转化的可能；根据所述预测触发值和所述转化参数，确定所述第一转化值和所述第二转化值。
18.可选地，所述转化参数包括预测触发转化值和预测无触发转化值，所述预测触发转化值反映所述候选推荐内容在被所述候选对象触发的情况下发生转化的可能，所述预测无触发转化值反映所述候选推荐内容在未被所述候选对象触发的情况下发生转化的可能。
19.可选地，所述第二预测网络包括第一子网络和第二子网络，所述预测单元还被配置为：将所述特征数据输入所述第一子网络，通过所述第一子网络得到所述预测触发转化值；将所述特征数据输入所述第二子网络，通过所述第二子网络得到所述预测无触发转化值。
20.可选地，所述预测单元还被配置为：确定所述预测触发值和所述预测触发转化值的乘积，作为所述第一转化值；根据所述预测触发值，确定预测无触发值；确定所述预测无触发值和所述预测无触发转化值的乘积，作为所述第二转化值。
21.可选地，所述第一转化值反映所述候选推荐内容被所述候选对象触发且发生转化的概率，所述第二转化值反映所述候选推荐内容未被所述候选对象触发且发生转化的概率，其中，所述确定单元还被配置为：确定所述第一转化值和所述第二转化值的和值，基于所述和值确定所述所述预测转化信息。
22.可选地，所述特征数据还包括交叉特征，所述交叉特征反映所述候选对象与所述候选推荐内容之间的关联。
23.根据本公开的第四方面，提供了一种预测模型的训练装置，所述预测模型包括第一预测网络和第二预测网络，所述训练装置包括：获取单元，被配置为：获取推荐样本的特征数据和样本标记；其中，所述推荐样本包括样本推荐内容和所述样本推荐内容针对的样本对象，所述特征数据包括对应于所述样本推荐内容的内容特征和对应于所述样本对象的对象特征；第一训练单元，被配置为：若确定所述样本标记为触发标记，将所述特征数据输
入所述第一预测网络，通过所述第一预测网络得到第一预测触发值，根据所述触发标记和所述第一预测触发值，训练所述第一预测网络；其中，所述触发标记用于反映所述样本推荐内容是否被所述样本对象触发；第二训练单元，被配置为：若确定所述样本标记包括转化标记，将所述特征数据输入所述第一预测网络和所述第二预测网络，通过所述第一预测网络和所述第二预测网络得到所述样本推荐内容对应于所述样本对象的预测转化信息，根据所述样本标记和所述预测转化信息，训练所述第二预测网络；其中，所述转化标记用于反映所述样本推荐内容是否发生对应于所述样本对象的转化。
24.可选地，所述第二训练单元还被配置为：将所述特征数据输入所述第一预测网络，通过所述第一预测网络得到第二预测触发值；将所述特征数据输入所述第二预测网络，通过所述第二预测网络得到预测触发转化值和预测无触发转化值，其中，所述预测触发转化值反映所述样本推荐内容在被所述样本对象触发的情况下发生转化的可能，所述预测无触发转化值反映所述样本推荐内容在未被所述样本对象触发的情况下发生转化的可能；根据所述第二预测触发值、所述预测触发转化值和所述预测无触发转化值，确定第一转化值和第二转化值；其中，所述第一转化值反映所述样本推荐内容被所述样本对象触发且发生转化的可能，所述第二转化值反映所述样本推荐内容未被所述样本对象触发且发生转化的可能；根据所述第一转化值和所述第二转化值，确定所述预测转化信息。
25.可选地，带有所述转化标记的所述推荐样本同时带有所述触发标记，所述第二训练单元还被配置为：根据所述触发标记、所述转化标记、所述第一转化值和所述第二转化值，训练所述第二预测网络。
26.可选地，所述获取单元还被配置为：获取所述样本推荐内容被推荐给所述样本对象后的第一时长内的触发数据，根据所述触发数据，确定所述触发标记；其中，所述触发数据是所述样本推荐内容被所述样本对象触发时产生的数据；获取所述样本推荐内容被推荐给所述样本对象后的第二时长内的转化数据，根据所述转化数据，确定所述转化标记；其中，所述转化数据是所述样本推荐内容发生转化时产生的数据，所述第二时长大于所述第一时长。
27.根据本公开的第五方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的针对内容的预测方法或预测模型的训练方法。
28.根据本公开的第六方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的针对内容的预测方法或预测模型的训练方法。
29.根据本公开的第七方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的针对内容的预测方法或预测模型的训练方法。
30.本公开的实施例提供的技术方案至少带来以下有益效果：
31.根据本公开的实施例的针对内容的预测方法、针对内容的预测装置、预测模型的训练方法、训练装置，预测模型能够分别预测推荐内容被触发且发生转化的可能和未被触发且发生转化的可能，进而预测推荐内容被转化的可能，能够统计到无触发但转化的情况，
解决了正样本丢失的问题，从而弥补了现有模型的缺陷，有助于提升预测准确率。
32.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
33.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
34.图1是示出根据本公开的示例性实施例的针对内容的预测方法的流程图。
35.图2是示出根据本公开的示例性实施例的预测模型的结构示意图。
36.图3是示出根据本公开的示例性实施例的预测模型的训练方法的流程图。
37.图4是示出根据本公开的示例性实施例的样本构建逻辑示意图。
38.图5是示出根据本公开的示例性实施例的针对内容的预测装置的框图。
39.图6是示出根据本公开的示例性实施例的预测模型的训练装置的框图。
40.图7是根据本公开的示例性实施例的电子设备的框图。
具体实施方式
41.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
42.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
43.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
44.对于激活等后链路应用推荐，用户的行为链路为：曝光
→
触发(例如点击，又如发出触发的语音指令)
→
转化，其中转化对于电商类推荐可以是购买，对于应用类推荐可以是下载应用后的安装、打开、注册、激活、次日打开/付费等等。
45.对于曝光，用户在执行一些预定操作(例如进入某个配置有推荐内容的网页，又如点开某个配置有推荐内容的视频)时，客户端会向服务端发送曝光请求。服务端响应于该请求，会筛选出适合的推荐内容并反馈到相应的客户端。客户端展示接收到的推荐内容，就产生了一次曝光。
46.对于触发下载等行为，一般发生在展示后的几分钟，基本上不会超过20分钟。下载之后的行为，则一般不是马上进行的。用户可能下载后，几分钟到几小时，甚至几天不等，才会安装对应的应用，并注册激活。
47.推荐模型系统是基于用户的一系列行为，预估一次曝光请求准确的转化率(指曝光请求产生了转化行为的概率，转化行为指下载之后的行为，例如注册、激活等)，来估计不同推荐内容给推荐平台带来的收益(例如千次展示收益ecpm，effective cost per mille)，通过ecpm排序得出该次曝光请求应该采用哪一条推荐内容。而模型需要基于在线获取的样本数据训练得到。
48.相关技术中，常采用两种方式来计算转化率。
49.一种是两阶段方式，参考的行为链路为：曝光
→
触发
→
转化。换言之，就是分别确定曝光被触发的概率，例如点击率pctr，以及触发后转化的概率，例如点击转化率pcvr，由此得到转化率pscvr＝pctr*pcvr。为此，需要获取曝光对应的触发数据和转化数据，以了解曝光是否被触发以及是否发生转化。由于转化数据通常由推荐内容的提供方统计，而非由展示推荐内容的平台统计，因而存在提供方误将其他平台发生的转化数据归入本平台的可能，导致出现无触发但转化的情况，此时会将相应的曝光统计为未转化，导致转化能归因到曝光而归因不到触发，丢失掉很大一部分样本，这种模型本身的缺陷引起的正样本丢失，会造成训练出的模型预测准确率低。
50.另一种是单阶段方式，直接预估曝光被转化的概率，即转化率pscvr。这种方式虽然解决了归因不到触发导致的正样本缺失问题，但会带来另外一个问题。之前的触发正样本延迟基本上在20分钟以内，而切换到单阶段的模型后，其延迟时间则和转化标记一样，基本上延迟在半天以上。而根据数据分析，触发正样本延迟超过1小时后，auc(area under the curve，roc(receiver operating characteristic curve，受试者操作特征)曲线下的面积，反映模型打分时将正例分数排在反例前面的概率)会有百分点的下降。因此，切换到单阶段方式后，模型本身的缺陷会造成原来的触发部分也跟着转化部分延迟，进而也影响了最终的预测准确率。
51.根据本公开的示例性实施例提出一种针对内容的预测策略及所使用的预测模型的训练策略，预测模型能够分别预测推荐内容被触发且发生转化的可能和未被触发且发生转化的可能，进而预测推荐内容被转化的可能，能够统计到无触发但转化的情况，解决了正样本丢失的问题，从而弥补了现有模型的缺陷，有助于提升预测准确率。此外，预测模型包括用于得到预测触发值的第一预测网络，以及用于结合第一预测网络得到预测转化信息的第二预测网络。训练该模型时，通过在线获取推荐样本的触发标记和转化标记，一方面能够及时利用刚获取的触发标记及相应的推荐样本来训练第一预测网络，有助于得到较高的auc，从而保障第一预测网络的预测准确率；另一方面可利用转化标记及相应的推荐样本来训练第二预测网络，可以降低正样本丢失的风险，保障了第二预测网络的预测准确率。这两方面相结合，提升了预测模型的最终预测准确率。经测试，应用根据本公开的示例性实施例提供的预测模型后，预期cpm可提升11％。
52.下面，将参照图1至图7具体描述根据本公开的示例性实施例的针对内容的预测方法和针对内容的预测装置以及预测模型的训练方法和训练装置。其中，预测模型包括第一预测网络和第二预测网络。
53.图1是示出根据本公开的示例性实施例的针对内容的预测方法的流程图。图2是示出根据本公开的示例性实施例的预测模型的结构示意图。应理解，根据本公开的示例性实施例的针对内容的预测方法可以在诸如智能手机、平板电脑、个人电脑(pc)的终端设备(作
为客户端)中实现，也可以在诸如服务器的设备(作为服务端)中实现。
54.参照图1，在步骤101，获取针对候选对象的候选推荐内容的特征数据。当候选对象的操作触发了客户端的推荐请求(对应于前文的曝光请求)时，响应于该请求，推荐系统(可以运行于客户端，也可以运行于服务端)会先获取若干个候选推荐内容(本公开对具体的获取方式不作限制)，根据本公开的示例性实施例的预测方法就能够对这些候选推荐内容分别进行转化情况的预测，以便于最终选出合适的候选推荐内容，在客户端向候选对象进行展示。
55.应理解，为了实现预测，可以仅获取针对候选对象的候选推荐内容的特征数据，而无需获取候选推荐内容，以减少获取的数据量，当然，可以获取候选推荐内容id(或推荐请求id)和针对的候选对象id，以区分不同的候选推荐内容及候选对象。
56.参照图2，特征数据包括对应于候选推荐内容的内容特征和对应于候选对象的对象特征。内容特征包括但不限于：候选推荐内容id、候选推荐内容提供方名称、候选推荐内容提供方行业类别、候选推荐内容的尺寸、基于视觉算法得到的候选推荐内容嵌入特征等，能够充分反映候选推荐内容本身的特点。对象特征包括但不限于候选对象的id、年龄、性别、地域、上网ip、所使用终端的机型、历史触发过的推荐内容、历史转化过的推荐内容(即历史做出过转化行为的推荐内容)、不喜欢的推荐内容，对于推荐平台是多媒体平台的情况，对象特征还可以包括基于候选对象浏览过的多媒体资源(例如视频)得到的嵌入特征等，能够充分反映将要向其展示推荐内容的候选对象的特点。通过提取这些特征，能够为候选推荐内容与候选对象的匹配预测提供依据，从而保障预测的可靠进行。此外，由于获取了对象特征，所以预测模型可以天然提取到候选对象的个性化需求，使得模型可以应用于任意候选对象，而不必针对每个候选对象分别训练模型，提高了模型的普适性，提升了对新出现的候选对象的适应性，并提升了预测响应速率，降低了存储海量模型带来的存储压力。
57.可选地，参照图2，特征数据还包括交叉特征，交叉特征反映候选对象与候选推荐内容之间的关联，例如可以是反映候选对象对候选推荐内容执行过的历史行为的特征，具体如候选对象在该候选推荐内容的历史触发特征、历史转化特征，能够为候选推荐内容与候选对象的匹配预测提供更进一步的依据。特征数据还可包括其他模型提取到的可以应用的其他特征，例如前述的推荐系统所提取的特征，以提供更丰富的信息。
58.参照图2，对于以上各项特征数据，可以通过提取相应信息(如内容信息、对象信息、交叉信息)的嵌入特征的形式提取其特征，对于前述的其他特征，由于已经是模型提取到的特征，故可不再进行二次提取。然后将这些特征进行拼接，即可得到输入预测模型的特征数据。
59.在步骤102，将特征数据输入经过训练的预测模型，通过预测模型得到第一转化值和第二转化值。其中，第一转化值反映候选推荐内容被候选对象触发且发生转化的可能，第二转化值反映候选推荐内容未被候选对象触发且发生转化的可能。通过分别预测第一转化值和第二转化值，能够统计到无触发但转化的情况，解决了正样本丢失的问题，从而弥补了现有模型的缺陷，有助于提升预测准确率。
60.可选地，预测模型包括第一预测网络和第二预测网络。相应地，参照图2，步骤102可具体包括如下三步。
61.第一步，将特征数据输入第一预测网络(参考图2内中部的虚线框)，通过第一预测
网络得到预测触发值。预测触发值用于反映一个候选推荐内容被所针对的候选对象触发的可能，示例性地，预测触发值可采用概率的形式，也可采用分数的形式，即按照一定的分数制进行打分，还可采用布尔值，用0代表未触发，用1代表触发。通过专门利用第一预测网络来得到预测触发值，能够在模型训练阶段及时利用刚获取的触发数据来训练第一预测网络，降低延迟风险，有助于得到较高的auc，从而弥补了现有模型缺陷，保障了第一预测网络的预测准确率，最终提升了预测模型的预测准确率。
62.第二步，将特征数据输入第二预测网络，通过第二预测网络得到转化参数，转化参数反映候选推荐内容在不同的触发情况下发生转化的可能。第二预测网络能够针对不同的触发情况进行转化预测，因而能够统计到无触发但转化的情况，解决了正样本丢失的问题，弥补了现有模型的缺陷，有助于提升预测准确率。
63.可选地，转化参数包括预测触发转化值和预测无触发转化值，预测触发转化值反映候选推荐内容在被候选对象触发的情况下发生转化的可能，预测无触发转化值反映候选推荐内容在未被候选对象触发的情况下发生转化的可能，可以涵盖不同的触发情况。
64.相应地，第二预测网络包括第一子网络(参考图2内左侧的虚线框)和第二子网络(参考图2内右侧的虚线框)，第三步具体包括：将特征数据输入第一子网络，通过第一子网络得到预测触发转化值；将特征数据输入第二子网络，通过第二子网络得到预测无触发转化值。通过分别配置独立的子网络来得到预测触发转化值和预测无触发转化值，能够令两个子网络各司其事，减少相互干扰，有助于提升预测准确率。
65.第三步，根据预测触发值和转化参数，确定第一转化值和第二转化值。通过结合第一预测网络和第二预测网络的输出结果，可得到第一转化值和第二转化值，实现数据汇总。
66.可选地，基于转化参数包括上述的预测触发转化值和预测无触发转化值，第三步可包括：确定预测触发值和预测触发转化值的乘积，作为第一转化值；根据预测触发值，确定预测无触发值；确定预测无触发值和预测无触发转化值的乘积，作为第二转化值。预测触发值反映候选推荐内容被候选对象触发的可能，预测触发转化值反映候选推荐内容在被候选对象触发的情况下发生转化的可能，综合二者，就可以反映候选推荐内容被候选对象触发且发生转化的可能，得到第一转化值。由预测触发值确定的预测无触发值反映候选推荐内容未被候选对象触发的可能，预测无触发转化值反映候选推荐内容在未被候选对象触发的情况下发生转化的可能，综合二者，就可以反映候选推荐内容未被候选对象触发且发生转化的可能，得到第二转化值。通过明确对应关系，可保障得到的第一转化值和第二转化值结果可靠。以采用概率形式且触发操作是点击为例，可确定预测点击率pctr和预测点击转化率pcvr1的乘积，作为第一转化率pscvr1；根据第二预测点击率pctr，确定预测无点击率1-pctr；确定预测无点击率1-pctr和预测无点击转化率pcvr0的乘积，作为第二转化率pscvr0。
67.在步骤103，根据第一转化值和第二转化值，确定候选推荐内容对应于候选对象的预测转化信息。通过最终汇总第一转化值和第二转化值，即可得到预测转化信息，有效预测候选推荐内容的转化情况。
68.在一些实施例中，可以先根据第一转化值和第二转化值确定预测转化值，再基于预测转化值确定预测转化信息。
69.预测转化值用于反映候选对象基于相应的候选推荐内容发生转化行为的可能，类
似于预测触发值，预测转化值也可以采用概率、分数、布尔值等形式，采用概率的形式时，预测转化值例如为预测转化率。可选地，第一转化值反映候选推荐内容被候选对象触发且发生转化的概率，第二转化值反映候选推荐内容未被候选对象触发且发生转化的概率，预测转化值为第一转化值和第二转化值的和值，既便于计算，又能够有效反映候选推荐内容的转化情况。仍以采用概率形式且触发操作是点击为例，可以确定第一转化率pscvr1和第二转化率pscvr0的和值，作为预测转化率pscvr，即pscvr＝pscvr1+pscvr0。
70.对于预测转化信息的确定，可以直接将预测转化值作为预测转化信息，也可做进一步处理，得到预测转化信息。例如预测转化值是预测转化率pscvr，预测转化信息是预测布尔值，可以配置一个转化率阈值，若预测转化率pscvr大于或等于转化率阈值，就认为预测结果是有转化，预测布尔值为1，若预测转化率pscvr小于转化率阈值，就认为预测结果是无转化，预测布尔值为0。
71.在另一些实施例中，可以将第一转化值和第二转化值共同作为预测转化信息，而不做进一步的计算处理。
72.图3是示出根据本公开的示例性实施例的预测模型的训练方法的流程图。预测模型包括第一预测网络和第二预测网络。图4是示出根据本公开的示例性实施例的样本构建逻辑示意图。应理解，根据本公开的示例性实施例的预测模型的训练方法可以在诸如智能手机、平板电脑、个人电脑(pc)的终端设备中实现，也可以在诸如服务器的设备中实现训练。
73.参照图3，在步骤301，获取推荐样本的特征数据和样本标记。其中，推荐样本包括样本推荐内容和样本推荐内容针对的样本对象。当样本对象的客户端发起推荐请求后，客户端会进行相应的样本推荐内容展示，并产生表征这个展示行为的推荐数据。推荐样本可在线获取，也就是在平台实际运行的过程中，基于样本对象对样本推荐内容(或者说对推荐数据)所做出的行为，实时生成样本标记，得到推荐样本，以实现预测模型的在线训练。
74.应理解，为了实现模型训练，可以仅获取推荐样本的特征数据和样本标记，而无需获取推荐样本中的样本推荐内容，以减少获取的数据量，当然，可以获取推荐样本的标识，例如样本推荐内容id(或推荐请求id)和针对的样本对象id，以区分不同的推荐样本。
75.特征数据包括对应于样本推荐内容的内容特征和对应于样本对象的对象特征。内容特征包括但不限于：样本推荐内容id、样本推荐内容提供方名称、样本推荐内容提供方行业类别、样本推荐内容的尺寸、基于视觉算法得到的样本推荐内容嵌入特征等，能够充分反映样本推荐内容本身的特点。对象特征包括但不限于样本对象的id、年龄、性别、地域、上网ip、所使用终端的机型、历史触发过的推荐内容、历史转化过的推荐内容(即历史做出过转化行为的推荐内容)、不喜欢的推荐内容，对于推荐平台是多媒体平台的情况，对象特征还可以包括基于样本对象浏览过的多媒体资源(例如视频)得到的嵌入特征等，能够充分反映将要向其展示推荐内容的样本对象的特点。通过提取这些特征，能够为样本推荐内容与样本对象的匹配预测提供依据，从而保障预测的可靠进行。此外，由于获取了对象特征，所以预测模型可以天然提取到样本对象的个性化需求，使得模型可以应用于任意样本对象，而不必针对每个样本对象分别训练模型，提高了模型的普适性，有助于降低模型训练成本。
76.可选地，特征数据还包括交叉特征，交叉特征反映样本对象与样本推荐内容之间的关联，例如可以是反映样本对象对样本推荐内容执行过的历史行为的特征，具体如样本
对象在该样本推荐内容的历史触发特征、历史转化特征，能够为样本推荐内容与样本对象的匹配预测提供更进一步的依据。特征数据还可包括其他模型提取到的可以应用的其他特征，以提供更丰富的信息。对于以上各项特征数据，可以通过提取相应信息的嵌入特征的形式提取其特征，对于前述的其他特征，由于已经是模型提取到的特征，故可不再进行二次提取。然后将这些特征进行拼接，即可得到输入预测模型的特征数据。
77.可选地，步骤301中，获取推荐样本的样本标记的操作包括：获取样本推荐内容被推荐给样本对象后的第一时长内的触发数据，根据触发数据，确定触发标记。其中，触发数据是样本推荐内容被样本对象触发时产生的数据，触发标记用于反映样本推荐内容是否被样本对象触发。样本推荐内容被推荐的时刻也就是产生推荐数据的时刻。通过留出第一时长，统计第一时长内的触发数据，能够为触发行为的统计提供第一时长的延迟等待。若在第一时长内产生了触发数据，即样本对象触发了样本推荐内容，则可由此确定触发标记为正标记；若在第一时长内没有产生触发数据，则可由此确定触发标记为负标记。从而得到了触发标记。在线训练时，可能一次会统计到多个样本推荐内容，对于其中样本标记为触发标记的样本推荐内容，可汇总记为推荐触发流。具体地，第一时长例如可为10分钟、20分钟、30分钟、40分钟。以20分钟为例，对于每一条推荐数据，等待20分钟，如果20分钟有触发行为，则产生触发数据，将相应的推荐数据标记为触发正样本，否则标记为触发负样本，从而构建20分钟延迟等待的推荐触发流样本数据。
78.可选地，步骤301中，获取推荐样本的样本标记的操作还包括：获取样本推荐内容被推荐给样本对象后的第二时长内的转化数据，根据转化数据，确定转化标记。其中，转化数据是样本推荐内容发生转化时产生的数据，转化标记用于反映样本推荐内容是否发生转化，第二时长大于第一时长。转化往往发生在触发之后。通过留出大于第一时长的第二时长，统计第二时长内的转化数据，能够为转化行为的统计提供第二时长的延迟等待。若在第二时长内产生了转化数据，即样本对象对样本推荐内容做出了转化行为，则可由此确定转化标记为正标记；若在第二时长内没有产生转化数据，则可由此确定转化标记为负标记。从而得到了转化标记。在线训练时，对于统计到的样本标记包括转化标记的样本推荐内容，可汇总记为推荐触发转化流。进一步地，推荐触发转化流的样本标记还可包括触发标记，与转化标记相结合，可以反映相应的样本推荐内容是否有触发以及转化，同时可反映有转化的样本推荐内容是否有触发，以区分是否发生了转化数据误统计。具体地，第二时长的长短可根据推荐内容的不同可做适应性的设置，例如可为6小时、8小时、12小时、24小时、72小时。以6小时为例，对于每一条推荐数据，如果6小时有转化行为，则产生转化数据，将相应的推荐数据标记为转化正样本，否则标记为转化负样本，从而构建6小时延迟等待的推荐触发转化流样本数据。
79.具体执行时，可在线获取平台上的全部推荐数据、触发数据和转化数据，这些数据都与推荐请求相关联，因此可基于推荐请求id，将触发数据和转化数据拼接到推荐数据上。若一条推荐数据拼接有第一时长内产生的触发数据，就确定其为触发正样本；若一条推荐数据未拼接触发数据，但已经生成超过第一时长，就确定其为触发负样本。由此构建推荐触发流。若一条推荐数据拼接有第二时长内产生的转化数据，就确定其为转化正样本；若一条推荐数据未拼接转化数据，但已经生成超过第二时长，就确定其为转化负样本。由此构建推荐触发转化流。此外，对于对应于推荐触发转化流的推荐样本，可以根据其推荐数据是否拼
接有触发数据，来确定有转化的推荐样本是否有触发。参照图4，将两个数据流进行合并(例如采用归并排序算法merge)，可得到混合流，并增加一个字段来区分数据来自哪个流，可将混合流的特征数据直接输入预测模型，而不必对两个数据流做有区分的输入，可提升训练效率。应理解，由于混合流是在线获取的，因此并不一定每次获取的混合流都同时包含推荐触发流和推荐触发转化流，极端情况下，也可能只包含推荐触发流，或只包含推荐触发转化流。此外，虽然混合流中涉及多个推荐样本，但每次计算，输入预测模型的仅为一个推荐样本的特征数据。
80.返回参照图3，在步骤302，若确定样本标记为触发标记，将特征数据输入第一预测网络，通过第一预测网络得到第一预测触发值，根据触发标记和第一预测触发值，训练第一预测网络。
81.样本标记为触发标记，就意味着当前计算的推荐样本来自于推荐触发流，可将其特征数据输入第一预测网络(参考图2内中部的虚线框)，得到第一预测触发值。预测触发值用于反映一个样本推荐内容被所针对的样本对象触发的可能，示例性地，预测触发值可采用概率的形式，例如为预测点击率pctr，也可采用分数的形式，即按照一定的分数制进行打分，还可采用布尔值，用0代表未触发，用1代表触发。
82.通过将来自推荐触发流的推荐样本的触发标记与第一预测触发值做对比，可算得相应的第一损失函数，基于该第一损失函数，可调整第一预测网络的参数，实现其训练。应理解，由于步骤302中没有将特征数据输入第二预测网络，所以不会产生相应的网络输出值，也就不会得到相应的损失函数，从而不会调整第二预测网络，既减少了训练计算量，又能够及时利用刚获取的触发标记及相应的推荐样本来训练第一预测网络，降低延迟风险，有助于得到较高的auc，从而保障第一预测网络的预测准确率，最终提升了预测模型的预测准确率。
83.返回参照图3，在步骤303，若确定样本标记包括转化标记，将特征数据输入第一预测网络和第二预测网络，通过第一预测网络和第二预测网络得到样本推荐内容对应于样本对象的预测转化信息，根据样本标记和预测转化信息，训练第二预测网络。
84.样本标记为转化标记，就意味着当前计算的样本推荐内容来自于推荐触发转化流，可将其特征数据输入第一预测网络和第二预测网络，得到预测转化信息。应用训练得到的预测模型时，也是按照该流程，综合第一预测网络和第二预测网络来得到预测转化信息，因此训练时也将特征数据同时输入这两个网络，可保证训练与后期的应用相符合，确保后期应用模型时的预测准确率。步骤303可利用推荐触发转化流来训练第二预测网络，可以降低正样本丢失的风险，保障了第二预测网络的预测准确率。同时，步骤303仅训练第二预测网络，可确保应用推荐触发流训练出的第一预测网络不受影响，实现了第一预测网络和第二预测网络的独立训练。
85.可选地，参照图2，步骤303中，将特征数据输入第一预测网络和第二预测网络，通过第一预测网络和第二预测网络得到样本推荐内容对应于样本对象的预测转化信息的操作，具体包括四个步骤。
86.第一步，将特征数据输入第一预测网络，通过第一预测网络得到第二预测触发值。应理解，这里的第二预测触发值是为了与训练第一预测网络时输出的第一预测触发值做区分，二者的区别在于所使用的样本推荐内容来自哪个数据流，但最终得到的都是预测触发
值。应用网络时可理解为只计算第二预测触发值，而不会仅输出一个第一预测触发值，即第一预测触发值仅用于第二预测网络的训练。
87.第二步，将特征数据输入第二预测网络，通过第二预测网络得到预测触发转化值和预测无触发转化值。其中，预测触发转化值反映样本推荐内容在被样本对象触发的情况下发生转化的可能，预测无触发转化值反映样本推荐内容在未被样本对象触发的情况下发生转化的可能。具体地，第二预测网络包括第一子网络(参考图2内左侧的虚线框)和第二子网络(参考图2内右侧的虚线框)，特征数据可同时输入这两个子网络，以分别得到预测触发转化值和预测无触发转化值。
88.第三步，根据第二预测触发值、预测触发转化值和预测无触发转化值，确定第一转化值和第二转化值。其中，第一转化值反映样本推荐内容被样本对象触发且发生转化的可能，第二转化值反映样本推荐内容未被样本对象触发且发生转化的可能。以采用概率形式且触发操作是点击为例，可确定第二预测点击率pctr和预测点击转化率pcvr1的乘积，作为第一转化率pscvr1；根据第二预测点击率pctr，确定预测无点击率1-pctr；确定预测无点击率1-pctr和预测无点击转化率pcvr0的乘积，作为第二转化率pscvr0。
89.第四步，根据第一转化值和第二转化值，确定预测转化信息。
90.在一些实施例中，可以先根据第一转化值和第二转化值确定预测转化值，再基于预测转化值确定预测转化信息。对于预测转化值的确定，仍以采用概率形式且触发操作是点击为例，可以确定第一转化率pscvr1和第二转化率pscvr0的和值，作为预测转化率pscvr，即pscvr＝pscvr1+pscvr0。对于预测转化信息的确定，可以直接将预测转化值作为预测转化信息，也可做进一步处理，得到预测转化信息。例如预测转化值是预测转化率pscvr，预测转化信息是预测布尔值，可以配置一个转化率阈值，若预测转化率pscvr大于或等于转化率阈值，就认为预测结果是有转化，预测布尔值为1，若预测转化率pscvr小于转化率阈值，就认为预测结果是无转化，预测布尔值为0。应用模型时，即可据此预测转化信息，作为预测模型的输出值。
91.在另一些实施例中，可以将第一转化值和第二转化值共同作为预测转化信息，而不做进一步的计算处理。
92.可选地，带有转化标记的推荐样本同时带有触发标记，步骤303中，根据样本标记和预测转化信息训练第二预测网络的操作包括：根据触发标记、转化标记、第一转化值和第二转化值，训练第二预测网络。训练操作具体可为，根据转化标记和触发标记，确定推荐触发转化标记和推荐无触发转化标记；根据推荐触发转化标记、推荐无触发转化标记、第一转化值和第二转化值，训练第二预测网络。作为示例，参考表1和表2，在样本推荐内容被样本对象触发且发生转化时，推荐触发转化标记为正，否则为负；在样本推荐内容未被样本对象触发且发生转化时，推荐无触发转化标记为正，否则为负。
93.表1推荐触发转化标记
[0094] 触发标记为正触发标记为负转化标记为正正负转化标记为负负负
[0095]
表2推荐无触发转化标记
[0096] 触发标记为正触发标记为负
转化标记为正负正转化标记为负负负
[0097]
在训练第二预测网络时，可将推荐触发转化标记与第一转化值做对比，得到相应的第二损失函数，再根据该第二损失函数调整第二预测网络中的第一子网络的参数；将推荐无触发转化标记与第二转化值做对比，得到相应的第三损失函数，再根据该第三损失函数调整第二预测网络中的第二子网络的参数。此外，为避免调整第一预测网络的参数，可添加相应的隔离指令。
[0098]
图5是示出根据本公开的示例性实施例的针对内容的预测装置的框图。应理解，根据本公开的示例性实施例的针对内容的预测装置可以在诸如智能手机、平板电脑、个人电脑的终端设备中以软件、硬件或软件硬件结合的方式实现，也可以在诸如服务器的设备中实现。
[0099]
参照图5，针对内容的预测装置500包括获取单元501、预测单元502、确定单元503。
[0100]
获取单元501可获取针对候选对象的候选推荐内容的特征数据。当候选对象的操作触发了客户端的推荐请求(对应于前文的曝光请求)时，响应于该请求，推荐系统(可以运行于客户端，也可以运行于服务端)会先获取若干个候选推荐内容(本公开对具体的获取方式不作限制)，根据本公开的示例性实施例的针对内容的预测装置500就能够对这些候选推荐内容分别进行转化情况的预测，以便于最终选出合适的候选推荐内容，在客户端向候选对象进行展示。
[0101]
应理解，为了实现预测，可以仅获取针对候选对象的候选推荐内容的特征数据，而无需获取候选推荐内容，以减少获取的数据量，当然，可以获取候选推荐内容id(或推荐请求id)和针对的候选对象id，以区分不同的候选推荐内容及候选对象。
[0102]
特征数据包括对应于候选推荐内容的内容特征和对应于候选对象的对象特征。由于获取了对象特征，所以预测模型可以天然提取到候选对象的个性化需求，使得模型可以应用于任意候选对象，而不必针对每个候选对象分别训练模型，提高了模型的普适性，提升了对新出现的候选对象的适应性，并提升了预测响应速率，降低了存储海量模型带来的存储压力。
[0103]
可选地，特征数据还包括交叉特征，交叉特征反映候选对象与候选推荐内容之间的关联，能够为候选推荐内容与候选对象的匹配预测提供更进一步的依据。特征数据还可包括其他模型提取到的可以应用的其他特征，以提供更丰富的信息。对于以上各项特征数据，可以通过提取相应信息的嵌入特征的形式提取其特征，对于前述的其他特征可不再进行二次提取。然后将这些特征进行拼接，即可得到输入预测模型的特征数据。
[0104]
预测单元502可将特征数据输入经过训练的预测模型，通过预测模型得到第一转化值和第二转化值。其中，第一转化值反映候选推荐内容被候选对象触发且发生转化的可能，第二转化值反映候选推荐内容未被候选对象触发且发生转化的可能。通过分别预测第一转化值和第二转化值，能够统计到无触发但转化的情况，解决了正样本丢失的问题，从而弥补了现有模型的缺陷，有助于提升预测准确率。
[0105]
可选地，预测模型包括第一预测网络和第二预测网络。相应地，预测单元502执行的操作可具体包括如下三步。
[0106]
第一步，将特征数据输入第一预测网络，通过第一预测网络得到预测触发值。预测
触发值用于反映一个候选推荐内容被所针对的候选对象触发的可能。通过专门利用第一预测网络来得到预测触发值，能够在模型训练阶段及时利用刚获取的触发数据来训练第一预测网络，降低延迟风险，有助于得到较高的auc，从而弥补了现有模型缺陷，保障了第一预测网络的预测准确率，最终提升了预测模型的预测准确率。
[0107]
第二步，将特征数据输入第二预测网络，通过第二预测网络得到转化参数，转化参数反映候选推荐内容在不同的触发情况下发生转化的可能。第二预测网络能够针对不同的触发情况进行转化预测，因而能够统计到无触发但转化的情况，解决了正样本丢失的问题，弥补了现有模型的缺陷，有助于提升预测准确率。
[0108]
可选地，转化参数包括预测触发转化值和预测无触发转化值，预测触发转化值反映候选推荐内容在被候选对象触发的情况下发生转化的可能，预测无触发转化值反映候选推荐内容在未被候选对象触发的情况下发生转化的可能，可以涵盖不同的触发情况。
[0109]
相应地，第二预测网络包括第一子网络和第二子网络，第三步具体包括：将特征数据输入第一子网络，通过第一子网络得到预测触发转化值；将特征数据输入第二子网络，通过第二子网络得到预测无触发转化值。通过分别配置独立的子网络来得到预测触发转化值和预测无触发转化值，能够令两个子网络各司其事，减少相互干扰，有助于提升预测准确率。
[0110]
第三步，根据预测触发值和转化参数，确定第一转化值和第二转化值。通过结合第一预测网络和第二预测网络的输出结果，可得到第一转化值和第二转化值，实现数据汇总。
[0111]
可选地，基于转化参数包括上述的预测触发转化值和预测无触发转化值，第三步可包括：确定预测触发值和预测触发转化值的乘积，作为第一转化值；根据预测触发值，确定预测无触发值；确定预测无触发值和预测无触发转化值的乘积，作为第二转化值。预测触发值反映候选推荐内容被候选对象触发的可能，预测触发转化值反映候选推荐内容在被候选对象触发的情况下发生转化的可能，综合二者，就可以反映候选推荐内容被候选对象触发且发生转化的可能，得到第一转化值。由预测触发值确定的预测无触发值反映候选推荐内容未被候选对象触发的可能，预测无触发转化值反映候选推荐内容在未被候选对象触发的情况下发生转化的可能，综合二者，就可以反映候选推荐内容未被候选对象触发且发生转化的可能，得到第二转化值。通过明确对应关系，可保障得到的第一转化值和第二转化值结果可靠。
[0112]
确定单元503可根据第一转化值和第二转化值，确定候选推荐内容对应于候选对象的预测转化信息。通过最终汇总第一转化值和第二转化值，即可得到预测转化信息，有效预测候选推荐内容的转化情况。
[0113]
在一些实施例中，可以先根据第一转化值和第二转化值确定预测转化值，再基于预测转化值确定预测转化信息。预测转化值用于反映候选对象基于相应的候选推荐内容发生转化行为的可能。可选地，第一转化值反映候选推荐内容被候选对象触发且发生转化的概率，第二转化值反映候选推荐内容未被候选对象触发且发生转化的概率，预测转化值为第一转化值和第二转化值的和值，既便于计算，又能够有效反映候选推荐内容的转化情况。对于预测转化信息的确定，可以直接将预测转化值作为预测转化信息，也可做进一步处理，得到预测转化信息。
[0114]
在另一些实施例中，可以将第一转化值和第二转化值共同作为预测转化信息，而
不做进一步的计算处理。
[0115]
图6是示出根据本公开的示例性实施例的预测模型的训练装置的框图。应理解，根据本公开的示例性实施例的预测模型的训练装置可以在诸如智能手机、平板电脑、个人电脑的终端设备中以软件、硬件或软件硬件结合的方式实现，也可以在诸如服务器的设备中实现训练。
[0116]
参照图6，预测模型的训练装置600包括获取单元601、第一训练单元602、第二训练单元603。
[0117]
获取单元601可获取推荐样本的特征数据和样本标记。其中，推荐样本包括样本推荐内容和样本推荐内容针对的样本对象。当样本对象的客户端发起推荐请求后，客户端会进行相应的样本推荐内容展示，并产生表征这个展示行为的推荐数据。推荐样本可在线获取，也就是在平台实际运行的过程中，基于样本对象对样本推荐内容(或者说对推荐数据)所做出的行为，实时生成样本标记，得到推荐样本，以实现预测模型的在线训练。
[0118]
应理解，为了实现模型训练，可以仅获取推荐样本的特征数据和样本标记，而无需获取推荐样本中的样本推荐内容，以减少获取的数据量，当然，可以获取推荐样本的标识，例如样本推荐内容id(或推荐请求id)和针对的样本对象id，以区分不同的推荐样本。
[0119]
特征数据包括对应于样本推荐内容的内容特征和对应于样本对象的对象特征。由于获取了对象特征，所以预测模型可以天然提取到样本对象的个性化需求，使得模型可以应用于任意样本对象，而不必针对每个样本对象分别训练模型，提高了模型的普适性，有助于降低模型训练成本。
[0120]
可选地，特征数据还包括交叉特征，交叉特征反映样本对象与样本推荐内容之间的关联，能够为样本推荐内容与样本对象的匹配预测提供更进一步的依据。特征数据还可包括其他模型提取到的可以应用的其他特征，以提供更丰富的信息。对于以上各项特征数据，可以通过提取相应信息的嵌入特征的形式提取其特征，对于前述的其他特征可不再进行二次提取。然后将这些特征进行拼接，即可得到输入预测模型的特征数据。
[0121]
可选地，获取单元601获取推荐样本的样本标记的操作包括：获取样本推荐内容被推荐给样本对象后的第一时长内的触发数据，根据触发数据，确定触发标记。其中，触发数据是样本推荐内容被样本对象触发时产生的数据，触发标记用于反映样本推荐内容是否被样本对象触发。样本推荐内容被推荐的时刻也就是产生推荐数据的时刻。通过留出第一时长，统计第一时长内的触发数据，能够为触发行为的统计提供第一时长的延迟等待。若在第一时长内产生了触发数据，即样本对象触发了样本推荐内容，则可由此确定触发标记为正标记；若在第一时长内没有产生触发数据，则可由此确定触发标记为负标记。从而得到了触发标记。在线训练时，可能一次会统计到多个样本推荐内容，对于其中样本标记为触发标记的样本推荐内容，可汇总记为推荐触发流。
[0122]
可选地，获取单元601获取推荐样本的样本标记的操作还包括：获取样本推荐内容被推荐给样本对象后的第二时长内的转化数据，根据转化数据，确定转化标记。其中，转化数据是样本推荐内容发生转化时产生的数据，转化标记用于反映样本推荐内容是否发生转化，第二时长大于第一时长。转化往往发生在触发之后。通过留出大于第一时长的第二时长，统计第二时长内的转化数据，能够为转化行为的统计提供第二时长的延迟等待。若在第二时长内产生了转化数据，即样本对象对样本推荐内容做出了转化行为，则可由此确定转
化标记为正标记；若在第二时长内没有产生转化数据，则可由此确定转化标记为负标记。从而得到了转化标记。在线训练时，对于统计到的样本标记包括转化标记的样本推荐内容，可汇总记为推荐触发转化流。进一步地，推荐触发转化流的样本标记还可包括触发标记，与转化标记相结合，可以反映相应的样本推荐内容是否有触发以及转化，同时可反映有转化的样本推荐内容是否有触发，以区分是否发生了转化数据误统计。
[0123]
第一训练单元602可执行为，若确定样本标记为触发标记，将特征数据输入第一预测网络，通过第一预测网络得到第一预测触发值，根据触发标记和第一预测触发值，训练第一预测网络。
[0124]
样本标记为触发标记，就意味着当前计算的推荐样本来自于推荐触发流，可将其特征数据输入第一预测网络，得到第一预测触发值。预测触发值用于反映一个样本推荐内容被所针对的样本对象触发的可能。
[0125]
通过将来自推荐触发流的推荐样本的触发标记与第一预测触发值做对比，可算得相应的第一损失函数，基于该第一损失函数，可调整第一预测网络的参数，实现其训练。应理解，由于第一训练单元602没有将特征数据输入第二预测网络，所以不会产生相应的网络输出值，也就不会得到相应的损失函数，从而不会调整第二预测网络，既减少了训练计算量，又能够及时利用刚获取的触发标记及相应的推荐样本来训练第一预测网络，降低延迟风险，有助于得到较高的auc，从而保障第一预测网络的预测准确率，最终提升了预测模型的预测准确率。
[0126]
第二训练单元603可执行为，若确定样本标记包括转化标记，将特征数据输入第一预测网络和第二预测网络，通过第一预测网络和第二预测网络得到样本推荐内容对应于样本对象的预测转化信息，根据样本标记和预测转化信息，训练第二预测网络。
[0127]
样本标记为转化标记，就意味着当前计算的样本推荐内容来自于推荐触发转化流，可将其特征数据输入第一预测网络和第二预测网络，得到预测转化信息。应用训练得到的预测模型时，也是按照该流程，综合第一预测网络和第二预测网络来得到预测转化信息，因此训练时也将特征数据同时输入这两个网络，可保证训练与后期的应用相符合，确保后期应用模型时的预测准确率。第二训练单元603可利用推荐触发转化流来训练第二预测网络，可以降低正样本丢失的风险，保障了第二预测网络的预测准确率。同时，第二训练单元603仅训练第二预测网络，可确保应用推荐触发流训练出的第一预测网络不受影响，实现了第一预测网络和第二预测网络的独立训练。
[0128]
可选地，第二训练单元603将特征数据输入第一预测网络和第二预测网络，通过第一预测网络和第二预测网络得到样本推荐内容对应于样本对象的预测转化信息的操作，具体包括四个步骤。
[0129]
第一步，将特征数据输入第一预测网络，通过第一预测网络得到第二预测触发值。应理解，这里的第二预测触发值是为了与训练第一预测网络时输出的第一预测触发值做区分，二者的区别在于所使用的样本推荐内容来自哪个数据流，但最终得到的都是预测触发值。应用网络时可理解为只计算第二预测触发值，而不会仅输出一个第一预测触发值，即第一预测触发值仅用于第二预测网络的训练。
[0130]
第二步，将特征数据输入第二预测网络，通过第二预测网络得到预测触发转化值和预测无触发转化值。其中，预测触发转化值反映样本推荐内容在被样本对象触发的情况
下发生转化的可能，预测无触发转化值反映样本推荐内容在未被样本对象触发的情况下发生转化的可能。具体地，第二预测网络包括第一子网络和第二子网络，特征数据可同时输入这两个子网络，以分别得到预测触发转化值和预测无触发转化值。
[0131]
第三步，根据第二预测触发值、预测触发转化值和预测无触发转化值，确定第一转化值和第二转化值。其中，第一转化值反映样本推荐内容被样本对象触发且发生转化的可能，第二转化值反映样本推荐内容未被样本对象触发且发生转化的可能。作为示例，可确定第二预测触发值和预测触发转化值的乘积，作为第一转化值；根据第二预测触发值，确定预测无触发值；确定预测无触发值和预测无触发转化指的乘积，作为第二转化值。
[0132]
第四步，根据第一转化值和第二转化值，确定预测转化信息。
[0133]
在一些实施例中，可以先根据第一转化值和第二转化值确定预测转化值，例如将二者的和值确定为预测转化值，再基于预测转化值确定预测转化信息。对于预测转化信息的确定，可以直接将预测转化值作为预测转化信息，也可做进一步处理，得到预测转化信息。
[0134]
在另一些实施例中，可以将第一转化值和第二转化值共同作为预测转化信息，而不做进一步的计算处理。
[0135]
可选地，带有转化标记的推荐样本同时带有触发标记，第二训练单元603根据样本标记和预测转化信息训练第二预测网络的操作包括：根据触发标记、转化标记、第一转化值和第二转化值，训练第二预测网络。训练操作具体可为，根据转化标记和触发标记，确定推荐触发转化标记和推荐无触发转化标记；根据推荐触发转化标记、推荐无触发转化标记、第一转化值和第二转化值，训练第二预测网络。在训练第二预测网络时，可将推荐触发转化标记与第一转化值做对比，得到相应的第二损失函数，再根据该第二损失函数调整第二预测网络中的第一子网络的参数；将推荐无触发转化标记与第二转化值做对比，得到相应的第三损失函数，再根据该第三损失函数调整第二预测网络中的第二子网络的参数。此外，为避免调整第一预测网络的参数，可添加相应的隔离指令。
[0136]
图7是根据本公开的示例性实施例的电子设备的框图。
[0137]
参照图7，电子设备700包括至少一个存储器701和至少一个处理器702，所述至少一个存储器701中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器702执行时，执行根据本公开的示例性实施例的针对内容的预测方法或预测模型的训练方法。
[0138]
作为示例，电子设备700可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备700并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备700还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
[0139]
在电子设备700中，处理器702可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0140]
处理器702可运行存储在存储器701中的指令或代码，其中，存储器701还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可
采用任何已知的传输协议。
[0141]
存储器701可与处理器702集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器701可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器701和处理器702可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器702能够读取存储在存储器中的文件。
[0142]
此外，电子设备700还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备700的所有组件可经由总线和/或网络而彼此连接。
[0143]
根据本公开的示例性实施例，还可提供一种计算机可读存储介质，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的针对内容的预测方法或预测模型的训练方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
[0144]
根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品包括计算机指令，计算机指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的针对内容的预测方法或预测模型的训练方法。
[0145]
根据本公开的实施例的针对内容的预测方法、针对内容的预测装置、预测模型的训练方法、训练装置，预测模型能够分别预测推荐内容被触发且发生转化的可能和未被触发且发生转化的可能，进而预测推荐内容被转化的可能，能够统计到无触发但转化的情况，解决了正样本丢失的问题，从而弥补了现有模型的缺陷，有助于提升预测准确率。
[0146]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0147]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。