多媒体资源召回方法、装置、电子设备以及存储介质与流程

1.本公开涉及多媒体技术领域，尤其涉及一种多媒体资源召回方法、装置、电子设备以及存储介质。


背景技术：

2.随着计算机技术和互联网的飞速发展，网络中多媒体资源的数量不断增加，面对海量的多媒体资源，系统往往会采用推荐的方式向用户展示多媒体资源。广告也可以采用多媒体资源的形式，越来越多的商家通过在线投放广告向用户推荐商品。在广告投放的过程中，商家会将需要投放的广告和定向信息输入广告系统，广告系统将多个商家的广告获取为广告的候选集，并基于相关算法，从候选集中对少量的广告进行召回，再进一步从召回的广告中筛选出向用户推荐的广告进行投放。目前，召回广告的方法为：通过点击率预测模型和转化率预测模型，对候选集中广告的点击率和转化率进行预测，并基于点击率和转化率来进行广告召回。
3.上述技术中，需要将两个模型输出的数据进行多次点乘和映射操作，计算过程复杂，导致广告召回的效率低下。


技术实现要素：

4.本公开提供一种多媒体资源召回方法、装置、电子设备以及存储介质，能够高效率的对多媒体资源进行召回。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种多媒体资源召回方法，该方法包括：
6.将多个多媒体资源的用户相关信息和资源相关信息输入第一预测模型，得到该多个多媒体资源的第一用户向量和第一资源向量；
7.将该多个多媒体资源的用户相关信息和资源相关信息输入第二预测模型，得到该多个多媒体资源的第二用户向量和第二资源向量，其中，该第一预测模型和该第二预测模型在同一样本空间中联合训练得到；
8.获取每个该多媒体资源的第一拼接向量和第二拼接向量，该第一拼接向量由该多媒体资源的第一用户向量和第二用户向量拼接得到，该多媒体资源的第二拼接向量由该第一资源向量和该第二资源向量拼接得到；
9.基于每个该多媒体资源的第一拼接向量和第二拼接向量，得到每个该多媒体资源的召回信息。
10.在一些实施例中，该将多个多媒体资源的用户相关信息和资源相关信息输入第一预测模型，得到该多个多媒体资源的第一用户向量和第一资源向量包括：
11.对于任一多媒体资源，获取该多媒体资源的多个用户特征向量和多个资源特征向量，该多个用户特征向量用于表示该多媒体资源的用户相关信息中多个不同类别的信息，该多个资源特征向量用于表示该多媒体资源的资源相关信息中多个不同类别的信息；
12.将该多媒体资源的多个用户特征向量输入第一预测模型的第一深度神经网络，对
该多媒体资源的多个用户特征向量进行融合，得到点击率空间内的该第一用户向量；
13.将该多媒体资源的多个资源特征向量输入第一预测模型的第二深度神经网络，对该多媒体资源的多个资源特征向量进行融合，得到点击率空间内的该第一资源向量。
14.所获取的第一用户向量用于表示用户相关信息对多个多媒体资源的点击率的影响，第一资源向量用于表示资源相关信息对多个多媒体资源的点击率的影响，为后续进行多媒体资源召回起到了指导作用。
15.在一些实施例中，该将该多个多媒体资源的用户相关信息和资源相关信息输入第二预测模型，得到该多个多媒体资源的第二用户向量和第二资源向量包括：
16.对于任一多媒体资源，获取该多媒体资源的多个用户特征向量和多个资源特征向量，该多个用户特征向量用于表示该多媒体资源的用户相关信息中多个不同类别的信息，该多个资源特征向量用于表示该多媒体资源的资源相关信息中多个不同类别的信息；
17.将该多媒体资源的多个用户特征向量输入第二预测模型的第三深度神经网络，对该多媒体资源的多个用户特征向量进行融合，得到转化率空间内的该第二用户向量；
18.将该多媒体资源的多个资源特征向量输入第二预测模型的第四深度神经网络，对该多媒体资源的多个资源特征向量进行融合，得到转化率空间内的该第二资源向量。
19.所获取的第二用户向量用于表示用户相关信息对多个多媒体资源的转化率的影响，第二资源向量用于表示资源相关信息对多个多媒体资源的转化率的影响，为后续进行多媒体资源召回起到了指导作用。
20.在一些实施例中，该基于每个该多媒体资源的第一拼接向量和第二拼接向量，得到每个该多媒体资源的召回信息包括：
21.将该每个多媒体资源的第一拼接向量和第二拼接向量进行点乘，将点乘的结果映射到目标空间，得到该每个多媒体资源被点击后的转化率；
22.将该每个多媒体资源被点击后的转化率与该每个多媒体资源对应的虚拟货币资源相乘，得到该每个多媒体资源的召回信息，该虚拟货币资源用于对该多媒体资源进行发布。
23.在获取召回信息的过程中，参考了多媒体资源的虚拟货币资源对召回信息的影响，使得后续步骤中所召回的多媒体资源能够实现利益最大化。
24.在获取每个多媒体资源的召回信息的过程中，仅执行了一次点乘操作、一次映射操作和一次乘法操作，降低了运算次数，由于在进行多媒体资源召回的过程中，需要获取百万数量级的多媒体资源的召回信息，因此简化召回信息的获取过程能够大大降低计算量，从而提高了资源召回的效率。
25.在一些实施例中，该基于每个该多媒体资源的第一拼接向量和第二拼接向量，得到每个该多媒体资源的召回信息之后，该方法还包括：
26.对召回信息符合条件的该多媒体资源进行召回。
27.在一些实施例中，该第一预测模型和该第二预测模型，是基于多个第一样本数据和对应的点击样本标签、多个第二样本数据和对应的转化标签进行联合训练得到；
28.其中，该第一样本数据和该第二样本数据包括样本用户特征向量和样本资源特征向量，该点击标签用于表示该第一样本数据所对应的多媒体资源是否被对应用户点击，该转化标签用于表示该第二样本数据所对应的多媒体资源是否在被对应用户点击后发生转
化。
29.通过在同一样本空间对第一预测模型与第二预测模型进行联合训练，使得基于第一预测模型与第二预测模型所得到的多个向量属于同一样本空间，为后续进行多媒体资源召回起到了良好的指导作用。
30.在一些实施例中，该第一预测模型和该第二预测模型，基于多个第一样本数据和对应的点击样本标签、多个第二样本数据和对应的转化标签进行联合训练的过程包括：
31.在该联合训练的任一次迭代过程中，获取m个第一样本数据和对应的点击标签、n个第二样本数据和对应的转化标签，m和n均为大于0的整数；
32.分别将该m个第一样本数据和该n个第二样本数据输入该第一预测模型和该第二预测模型，得到m个第一样本用户向量、m个第一样本资源向量、n个第二样本用户向量和n个第二样本资源向量；
33.基于该m个第一样本用户向量、该m个第一样本资源向量和对应的点击标签，得到点击率损失值，基于该n个第二样本用户向量、该n个第二样本广告向量和对应的转化标签，得到转化率损失值；
34.基于该点击率损失值与该转化率损失值，调整该第一预测模型的参数、该第二预测模型的参数、该m个第一样本数据和该n个第二样本数据，用调整后的m个第一样本数据替换该多个第一样本数据中对应的第一样本数据，用调整后的n个第二样本数据替换该多个第二样本数据中对应的第二样本数据，基于调整后的模型，执行下一次迭代过程，直到达到训练结束条件为止。
35.在一些实施例中，该基于该点击率损失值与该转化率损失值，调整该第一预测模型的参数、该第二预测模型的参数、该m个第一样本数据和该n个第二样本数据包括：
36.基于该点击率损失值，调整该第一预测模型中第一深度神经网络的参数和第二深度神经网络的参数；
37.基于该转化率损失值，调整该第二预测模型中第三深度神经网络的参数和第四深度神经网络的参数；
38.基于该点击率损失值，调整该m个第一样本数据，基于该转化率损失值，调整该n个第二样本数据，该m个第一样本数据和该n个第二样本数据部分相同或不同。
39.本公开实施例提供的技术方案，通过将多个多媒体资源的用户相关信息和资源相关信息分别输入第一预测模型和第二预测模型，得到第一用户向量、第一资源向量、第二用户向量和第二资源向量，由于第一预测模型和第二预测模型在同一样本空间中联合训练得到，因此能够将第一用户向量和第二用户向量、第一资源向量和第二资源向量进行拼接，所得到的第一拼接向量能够同时表示用户相关信息对点击率和转化率的影响，所得到的第二拼接向量能够同时表示资源相关信息对点击率和转化率的影响，从而仅需对第一拼接向量和第二拼接向量进行处理即可得到多个多媒体资源的召回信息，简化了获取召回信息的过程，从而提高了多媒体资源召回的效率。
40.根据本公开实施例的第二方面，提供一种多媒体资源召回装置，该装置包括：
41.输入单元，被配置为执行将多个多媒体资源的用户相关信息和资源相关信息输入第一预测模型，得到该多个多媒体资源的第一用户向量和第一资源向量；
42.该输入单元，被配置为执行将该多个多媒体资源的用户相关信息和资源相关信息
输入第二预测模型，得到该多个多媒体资源的第二用户向量和第二资源向量，其中，该第一预测模型和该第二预测模型在同一样本空间中联合训练得到；
43.获取单元，被配置为执行获取每个该多媒体资源的第一拼接向量和第二拼接向量，该第一拼接向量由该多媒体资源的第一用户向量和第二用户向量拼接得到，该多媒体资源的第二拼接向量由该第一资源向量和该第二资源向量拼接得到；
44.该获取单元，被配置为执行基于每个该多媒体资源的第一拼接向量和第二拼接向量，得到每个该多媒体资源的召回信息。
45.在一些实施例中，该输入单元，被配置为执行对于任一多媒体资源，获取该多媒体资源的多个用户特征向量和多个资源特征向量，该多个用户特征向量用于表示该多媒体资源的用户相关信息中多个不同类别的信息，该多个资源特征向量用于表示该多媒体资源的资源相关信息中多个不同类别的信息；将该多媒体资源的多个用户特征向量输入第一预测模型的第一深度神经网络，对该多媒体资源的多个用户特征向量进行融合，得到点击率空间内的该第一用户向量；将该多媒体资源的多个资源特征向量输入第一预测模型的第二深度神经网络，对该多媒体资源的多个资源特征向量进行融合，得到点击率空间内的该第一资源向量。
46.在一些实施例中，该输入单元，被配置为执行对于任一多媒体资源，获取该多媒体资源的多个用户特征向量和多个资源特征向量，该多个用户特征向量用于表示该多媒体资源的用户相关信息中多个不同类别的信息，该多个资源特征向量用于表示该多媒体资源的资源相关信息中多个不同类别的信息；将该多媒体资源的多个用户特征向量输入第二预测模型的第三深度神经网络，对该多媒体资源的多个用户特征向量进行融合，得到转化率空间内的该第二用户向量；将该多媒体资源的多个资源特征向量输入第二预测模型的第四深度神经网络，对该多媒体资源的多个资源特征向量进行融合，得到转化率空间内的该第二资源向量。
47.在一些实施例中，该获取单元，被配置为执行将该每个多媒体资源的第一拼接向量和第二拼接向量进行点乘，将点乘的结果映射到目标空间，得到该每个多媒体资源被点击后的转化率；将该每个多媒体资源被点击后的转化率与该每个多媒体资源对应的虚拟货币资源相乘，得到该每个多媒体资源的召回信息，该虚拟货币资源用于对该多媒体资源进行发布。
48.在一些实施例中，该装置还包括：
49.召回单元，被配置为执行对召回信息符合条件的该多媒体资源进行召回。
50.在一些实施例中，该第一预测模型和该第二预测模型，是基于多个第一样本数据和对应的点击样本标签、多个第二样本数据和对应的转化标签进行联合训练得到；其中，该第一样本数据和该第二样本数据包括样本用户特征向量和样本资源特征向量，该点击标签用于表示该第一样本数据所对应的多媒体资源是否被对应用户点击，该转化标签用于表示该第二样本数据所对应的多媒体资源是否在被对应用户点击后发生转化。
51.在一些实施例中，该获取单元，被配置为执行在该联合训练的任一次迭代过程中，获取m个第一样本数据和对应的点击标签、n个第二样本数据和对应的转化标签，m和n均为大于0的整数；
52.该输入单元，被配置为执行分别将该m个第一样本数据和该n个第二样本数据输入
该第一预测模型和该第二预测模型，得到m个第一样本用户向量、m个第一样本资源向量、n个第二样本用户向量和n个第二样本资源向量；
53.该获取单元，被配置为执行基于该m个第一样本用户向量、该m个第一样本资源向量和对应的点击标签，得到点击率损失值，基于该n个第二样本用户向量、该n个第二样本广告向量和对应的转化标签，得到转化率损失值；
54.该装置还包括：
55.调整单元，被配置为执行基于该点击率损失值与该转化率损失值，调整该第一预测模型的参数、该第二预测模型的参数、该m个第一样本数据和该n个第二样本数据，用调整后的m个第一样本数据替换该多个第一样本数据中对应的第一样本数据，用调整后的n个第二样本数据替换该多个第二样本数据中对应的第二样本数据，基于调整后的模型，执行下一次迭代过程，直到达到训练结束条件为止。
56.在一些实施例中，该调整单元，被配置为执行基于该点击率损失值，调整该第一预测模型中第一深度神经网络的参数和第二深度神经网络的参数；基于该转化率损失值，调整该第二预测模型中第三深度神经网络的参数和第四深度神经网络的参数；基于该点击率损失值，调整该m个第一样本数据，基于该转化率损失值，调整该n个第二样本数据，该m个第一样本数据和该n个第二样本数据部分相同或不同。
57.根据本公开实施例的第三方面，提供一种电子设备，该电子设备包括：
58.一个或多个处理器；
59.用于存储该处理器可执行程序代码的存储器；
60.其中，该处理器被配置为执行该程序代码，以实现上述的多媒体资源召回方法。
61.根据本公开实施例的第四方面，提供一种计算机可读存储介质，该计算机可读存储介质包括：当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备能够执行上述的多媒体资源召回方法。
62.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的多媒体资源召回方法。
63.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
64.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
65.图1是根据一示例性实施例示出的一种多媒体资源召回方法的实施环境示意图；
66.图2是根据一示例性实施例示出的一种多媒体资源召回方法的流程图；
67.图3是根据一示例性实施例示出的一种模型训练的示意图；
68.图4是根据一示例性实施例示出的一种多媒体资源召回方法的流程图；
69.图5是根据一示例性实施例示出的一种多媒体资源召回装置的框图；
70.图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
71.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
72.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
73.本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据。
74.图1是本公开实施例提供的一种多媒体资源召回方法的实施环境示意图，参见图1，该实施环境中包括：终端101和服务器102。
75.终端101可以为智能手机、智能手表、台式电脑、手提电脑、虚拟现实终端、增强现实终端、无线终端和膝上型便携计算机等设备中的至少一种，终端101具有通信功能，可以接入互联网，终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。终端101运行有能够展示多媒体资源的应用程序，该应用程序可以是视频应用程序、音乐应用程序、社交应用程序等。
76.服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式文件系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102可以关联有数据库，该数据库用于存储多媒体资源、多媒体资源的用户相关数据和资源相关数据、多媒体资源的用户特征向量和资源特征向量。服务器102与终端101可以通过有线或无线通信方式进行直接或间接的连接，本技术实施例对此不作限定。可选地，上述服务器102的数量可以更多或更少，本技术实施例对此不加以限定。当然，服务器102还可以包括其他功能服务器，以便提供更全面且多样化的服务。
77.图2是根据一示例性实施例示出的一种多媒体资源召回方法的流程图，该方法由服务器执行，如图2所示，该多媒体资源召回方法包括以下步骤：
78.在步骤201中，服务器将多个多媒体资源的用户相关信息和资源相关信息输入第一预测模型，得到该多个多媒体资源的第一用户向量和第一资源向量。
79.其中，该第一预测模型为点击率预测模型，该多个多媒体资源为用户上传的多媒体资源，以在广告场景下为例进行说明，该多个多媒体资源为多个广告主上传的用于进行商品推荐的广告，响应于服务器接收到广告主上传的广告，服务器将所接收到的广告存储到数据库中，以供后续基于数据库中的多个广告进行广告召回。
80.其中，对于任一多媒体资源，该多媒体资源的用户相关信息包括：该多媒体资源的用户点击信息和用户转化信息，该用户点击信息和用户转化信息为对该多媒体资源进行过点击或转化的用户的用户标识和用户画像信息，用户画像信息包括用户年龄、用户性别、用户爱好等。可选地，该用户相关信息还包括该多媒体资源对应的账号下，其他多媒体资源的用户点击信息和用户转化信息，使得在后续对该多媒体资源的点击率和转化率进行预测的
过程中，服务器能够同时参考同一账号下多个多媒体资源的用户点击信息和用户转化信息，从而提高了预测的点击率和转化率的准确性，对后续进行多媒体资源召回起到了良好的指导作用。
81.其中，对于任一多媒体资源，该多媒体资源的资源相关信息包括：该多媒体资源的图像信息、音频信息、文字信息、多媒体资源类别等。
82.其中，第一用户向量用于表示用户相关信息对多个多媒体资源的点击率的影响，第一资源向量用于表示资源相关信息对多个多媒体资源的点击率的影响。
83.在步骤202中，服务器将该多个多媒体资源的用户相关信息和资源相关信息输入第二预测模型，得到该多个多媒体资源的第二用户向量和第二资源向量，其中，该第一预测模型和该第二预测模型在同一样本空间中联合训练得到。
84.其中，该第二预测模型为转化率预测模型，第二用户向量用于表示用户相关信息对多个多媒体资源的转化率的影响，第二资源向量用于表示资源相关信息对多个多媒体资源的转化率的影响。
85.在步骤203中，服务器获取每个该多媒体资源的第一拼接向量和第二拼接向量，该第一拼接向量由该多媒体资源的第一用户向量和第二用户向量拼接得到，该多媒体资源的第二拼接向量由该第一资源向量和该第二资源向量拼接得到。
86.在步骤204中，服务器基于每个该多媒体资源的第一拼接向量和第二拼接向量，得到每个该多媒体资源的召回信息。
87.本公开实施例提供的技术方案，通过将多个多媒体资源的用户相关信息和资源相关信息分别输入第一预测模型和第二预测模型，得到第一用户向量、第一资源向量、第二用户向量和第二资源向量，由于第一预测模型和第二预测模型在同一样本空间中联合训练得到，因此能够将第一用户向量和第二用户向量、第一资源向量和第二资源向量进行拼接，所得到的第一拼接向量能够同时表示用户相关信息对点击率和转化率的影响，所得到的第二拼接向量能够同时表示资源相关信息对点击率和转化率的影响，从而仅需对第一拼接向量和第二拼接向量进行处理即可得到多个多媒体资源的召回信息，简化了获取召回信息的过程，从而提高了多媒体资源召回的效率。
88.图2中所涉及的第一预测模型和第二预测模型，是在同一样本空间中基于多任务学习(multi
‑
task learning，mtl)方法进行联合训练得到的，在同一样本空间中基于mtl方法进行联合训练是指，该第一预测模型与第二预测模型共享部分训练数据，第一预测模型和第二预测模型分别基于对应的训练数据得到点击率损失值和转化率损失值，并分别基于对应的损失值进行模型参数的调整和训练数据的调整。通过在同一样本空间中训练第一预测模型与第二预测模型，使得基于第一预测模型与第二预测模型所得到的多个向量也属于同一样本空间，为后续进行多媒体资源召回起到了良好的指导作用。其中，该第一预测模型和第二预测模型均为双塔结构，第一深度神经网络和第二深度神经网络为第一预测模型的两个分支，第三深度神经网络和第四深度神经网络为第二预测模型的两个分支，该第一预测模型和第二预测模型的两个分支均会并行的对输入的数据进行处理。
89.图3是根据一示例性实施例示出的一种模型训练的示意图，下面结合图3，对该联合训练的过程进行说明，该联合训练的过程包括以下两个部分：
90.(1)样本数据准备。服务器从数据库中获取多个样本数据，样本数据包括样本用户
特征向量和样本资源特征向量，将所获取的多个样本数据分为多个第一样本数据和多个第二样本数据，第一样本数据为第一预测模型的训练数据，第二样本数据为第二预测模型的训练数据，为多个第一样本数据标注对应的点击标签，该点击标签用于表示第一样本数据所对应的多媒体资源是否被对应用户点击，为多个第二样本数据标注对应的转化标签，该转化标签用于表示第二样本数据所对应的多媒体资源是否在被对应用户点击后发生转化。
91.(2)联合训练。服务器基于得到的多个第一样本数据和对应的点击标签、多个第二样本数据和对应的转化标签，对第一预测模型和第二预测模型进行联合训练，该联合训练通过多次迭代实现，在每一次迭代的过程中，服务器从多个第一样本数据中随机获取部分第一样本数据和对应的点击标签，从多个第二样本数据中随机获取部分第二样本数据和对应的转化标签，将所获取的数据作为本次迭代过程的训练数据。
92.示例性地，在任一次迭代的过程中，服务器获取m个第一样本数据和对应的点击标签、n个第二样本数据和对应的转化标签，m和n均为大于0的整数，分别将m个第一样本数据和n个第二样本数据输入第一预测模型和第二预测模型，得到m个第一样本用户向量、m个第一样本资源向量、n个第二样本用户向量和n个第二样本资源向量，例如，服务器将m个第一样本数据中的样本用户特征向量输入第一预测模型的第一深度神经网络，得到m个第一样本用户向量，将m个第一样本数据中的样本资源特征向量输入第一预测模型的第二深度神经网络，得到m个第一样本资源向量，将n个第二样本数据中的样本用户特征向量输入第二预测模型的第三深度神经网络，得到n个第二样本用户向量，将n个第二样本数据中的样本资源特征向量输入第二预测模型的第四深度神经网络，得到n个第二样本资源向量。服务器基于m个第一样本用户向量、m个第一样本资源向量和点击标签，得到点击率损失值，基于n个第二样本用户向量、n个第二样本广告向量和转化标签，得到转化率损失值，基于点击率损失值与转化率损失值，调整第一预测模型的参数、第二预测模型的参数、m个第一样本数据和n个第二样本数据，用调整后的m个第一样本数据替换多个第一样本数据中对应的第一样本数据，用调整后的n个第二样本数据替换多个第二样本数据中对应的第二样本数据，基于调整后的模型，执行下一次迭代过程，直到达到训练结束条件为止。可选地，该训练结束条件为：最终损失值小于第一阈值，该最终损失值为对点击率损失值和转化率损失值进行加权求和得到，或者，迭代次数达到第二阈值。
93.其中，服务器得到点击率损失值的方法为：分别将m个第一样本用户向量和m个第一样本资源向量进行点乘，并基于sigmoid函数分别将m个点乘结果映射到0到1的区间内，得到m个预测点击率，基于m个预测点击率、对应的点击标签和损失函数，得到m个第一损失值，将该m个第一损失值的平均值作为点击率损失值。可选地，该损失函数为交叉熵函数。
94.其中，服务器得到转化率损失值的方法为：分别将n个第二样本用户向量和n个第二样本资源向量进行点乘，并基于sigmoid函数分别将n个点乘结果映射到0到1的区间内，得到n个预测转化率，基于n个预测转化率、对应的转化标签和损失函数，得到n个第二损失值，将该n个第二损失值的平均值作为转化率损失值。可选地，该损失函数为交叉熵函数。
95.其中，服务器调整第一预测模型的参数、第二预测模型的参数、m个第一样本数据和n个第二样本数据的方法为：基于点击率损失值，调整第一预测模型中第一深度神经网络的参数和第二深度神经网络的参数，基于转化率损失值，调整第二预测模型中第三深度神经网络的参数和第四深度神经网络的参数，基于点击率损失值，调整m个第一样本数据，基
于转化率损失值，调整n个第二样本数据。
96.需要说明的是，m个第一样本数据与n个第二样本数据部分相同或不同，服务器会基于点击率损失值和转化率损失值，对m个第一样本数据与n个第二样本数据中相同的数据进行2次调整，例如，若任一第一样本数据对应的多媒体资源与任一第二样本数据对应的多媒体资源为同一多媒体资源，则该第一样本数据与该第二样本数据中包含相同的用户特征向量和资源特征向量，服务器会基于点击率损失值和转化率损失值，对该用户特征向量和资源特征向量进行2次调整。
97.图4是根据一示例性实施例示出的一种多媒体资源召回方法的流程图，如图4所示，基于经过训练的第一预测模型和第二预测模型，该多媒体资源召回方法的具体步骤包括：
98.在步骤401中，服务器将多个多媒体资源的用户相关信息和资源相关信息输入第一预测模型，得到该多个多媒体资源的第一用户向量和第一资源向量。
99.在一些实施例中，本步骤401基于以下步骤401a至步骤401c实现：
100.在步骤401a中，对于任一多媒体资源，服务器获取该多媒体资源的多个用户特征向量和多个资源特征向量，该多个用户特征向量用于表示该多媒体资源的用户相关信息中多个不同类别的信息，该多个资源特征向量用于表示该多媒体资源的资源相关信息中多个不同类别的信息。
101.在一些实施例中，服务器基于该多媒体资源的资源标识，从数据库中获取该多媒体资源的用户相关信息和资源相关信息，分别对该用户相关信息中多个类别的信息进行向量化表示，得到该多媒体资源的多个用户特征向量，例如，以用户相关信息中的用户性别为例，服务器用第一向量表示用户性别为女，用第二向量表示用户性别为男，对于任一多媒体资源的用户相关信息，若该用户相关信息中用户性别为女，则服务器将第一向量作为该多媒体资源对应于用户性别的用户特征向量。服务器基于深度学习模型，分别对资源相关信息中的图像信息和音频信息进行特征提取，得到该多媒体资源的多个资源特征向量，可选地，该深度学习模型为卷积神经网络。
102.在一些实施例中，服务器中存储有该多个多媒体资源的多个用户特征向量和多个资源特征向量，基于该多媒体资源的资源标识，从数据库中获取该多媒体资源的多个用户特征向量和多个资源特征向量，从而大大降低了服务器的计算压力。
103.在步骤401b中，服务器将该多媒体资源的多个用户特征向量输入第一预测模型的第一深度神经网络，对该多媒体资源的多个用户特征向量进行融合，得到点击率空间内的第一用户向量，该点击率空间用于对多媒体资源的点击率进行度量，该第一用户向量用于表示用户相关信息对该多媒体资源的点击率的影响。可选地，该第一深度神经网络包含3个隐藏层。
104.示例性地，以该多媒体资源是广告为例，服务器将该广告的多个用户特征向量输入第一预测模型的第一深度神经网络，得到该广告的第一用户向量，记作cvr_u。
105.在步骤401c中，服务器将该多媒体资源的多个资源特征向量输入第一预测模型的第二深度神经网络，对该多媒体资源的多个资源特征向量进行融合，得到点击率空间内的第一资源向量，该点击率空间用于对多媒体资源的点击率进行度量，该第一资源向量用于表示资源相关信息对该多媒体资源的点击率的影响。可选地，该第二深度神经网络包含3个
隐藏层。
106.示例性地，以该多媒体资源是广告为例，服务器将该广告的多个资源特征向量输入第一预测模型的第二深度神经网络，得到该广告的第一资源向量，记作cvr_i。
107.需要说明的是，上述步骤401b和步骤401c是并行执行的。
108.在步骤402中，服务器将该多个多媒体资源的用户相关信息和资源相关信息输入第二预测模型，得到该多个多媒体资源的第二用户向量和第二资源向量。
109.在一些实施例中，本步骤402基于以下步骤402a至步骤402c实现：
110.在步骤402a中，对于任一多媒体资源，服务器获取该多媒体资源的多个用户特征向量和多个资源特征向量，该多个用户特征向量用于表示该多媒体资源的用户相关信息中多个不同类别的信息，该多个资源特征向量用于表示该多媒体资源的资源相关信息中多个不同类别的信息。
111.在一些实施例中，服务及基于与401a同理的方法，获取该多媒体资源的多个用户特征向量和多个资源特征向量，在此不再赘述。
112.在步骤402b中，服务器将该多媒体资源的多个用户特征向量输入第二预测模型的第三深度神经网络，对该多媒体资源的多个用户特征向量进行融合，得到转化率空间内的第二用户向量，该转化率空间用于对多媒体资源的转化率进行度量，该第二用户向量用于表示用户相关信息对该多媒体资源的转化率的影响。可选地，该第三深度神经网络包含3个隐藏层。
113.示例性地，以该多媒体资源是广告为例，服务器将该广告的多个用户特征向量输入第二预测模型的第三深度神经网络，得到该广告的第二用户向量，记作ctr_u。
114.在步骤402c中，服务器将该多媒体资源的多个资源特征向量输入第二预测模型的第四深度神经网络，对该多媒体资源的多个资源特征向量进行融合，得到转化率空间内的第二资源向量，该转化率空间用于对多媒体资源的转化率进行度量，该第二资源向量用于表示资源相关信息对该多媒体资源的转化率的影响。可选地，该第四深度神经网络包含3个隐藏层。
115.示例性地，以该多媒体资源是广告为例，服务器将该广告的多个资源特征向量输入第二预测模型的第四深度神经网络，得到该广告的第二资源向量，记作ctr_i。
116.需要说明的是，上述步骤402b和步骤402c是并行执行的。
117.在步骤403中，服务器将该多个多媒体资源的第一用户向量和第二用户向量拼接，得到该多个多媒体资源的第一拼接向量。
118.示例性地，对于任一多媒体资源，以该多媒体资源是广告为例，服务器将该广告的第一用户向量和第二用户向量进行拼接，得到该广告的第一拼接向量，记作u＝concat(ctr_u,cvr_u)。
119.在步骤404中，服务器将该多个多媒体资源的第一资源向量和第二资源向量拼接，得到该多个多媒体资源的第二拼接向量。
120.示例性地，对于任一多媒体资源，以该多媒体资源是广告为例，服务器将该广告的第一用户向量和第二用户向量进行拼接，得到该广告的第一拼接向量，记作i＝concat(ctr_i,cvr_i)。
121.需要说明的是，对于步骤403至步骤404，由于第一预测模型和第二预测模型在同
一样本空间中联合训练得到，因此能够将第一用户向量和第二用户向量、第一资源向量和第二资源向量进行拼接，对于任一多媒体资源，拼接后得到的第一拼接向量能够同时表示用户相关信息对该多媒体资源的点击率和转化率的影响，拼接后所得到的第二拼接向量能够同时表示资源相关信息对该多媒体资源的点击率和转化率的影响。
122.在步骤405中，服务器基于每个多媒体资源的第一拼接向量和第二拼接向量，得到每个多媒体资源的召回信息。
123.在一些实施例中，服务器将每个多媒体资源的第一拼接向量和第二拼接向量进行点乘，将点乘的结果映射到目标空间，得到每个多媒体资源被点击后的转化率，将每个多媒体资源被点击后的转化率与每个多媒体资源对应的虚拟货币资源相乘，得到每个多媒体资源的召回信息，该虚拟货币资源用于对多媒体资源进行发布。可选地，该目标空间为0到1的区间，服务器基于sigmoid函数将点乘结果映射到目标空间。在获取召回信息的过程中，参考了多媒体资源的虚拟货币资源对召回信息的影响，使得后续步骤中所召回的多媒体资源能够实现利益最大化。
124.示例性地，以该多媒体资源是广告为例，服务器将该广告的第一拼接向量和第二拼接向量进行点乘，并基于sigmoid函数将点乘结果映射到目标空间，得到该广告被点击后的转化率，记作score＝sigmoid(u*i)，将该广告被点击后的转化率与该广告的虚拟货币资源相乘，得到该广告的召回信息，记作ecpm＝score*bid。
125.在本步骤405中，服务器在获取每个多媒体资源的召回信息的过程中，仅执行了一次点乘操作、一次映射操作和一次乘法操作，降低了运算次数，由于在进行多媒体资源召回的过程中，需要获取百万数量级的多媒体资源的召回信息，因此简化召回信息的获取过程能够大大降低计算量，从而提高了资源召回的效率。
126.在步骤406中，服务器对召回信息符合条件的多媒体资源进行召回。
127.在一些实施例中，服务器按照召回信息从大到小的顺序，对位于前k位的多媒体资源进行召回，k为大于1的整数。
128.在一些实施例中，以多媒体资源是广告为例进行说明，在进行广告推荐的过程中，服务器基于数据库中存储的多个广告进行广告召回，进一步从召回的广告中确定推荐的广告，将确定的推荐广告发送给终端进行曝光，由于广告的推荐具有时效性，每个广告展现在应用程序页面上的时间有限，因此迅速的进行广告推荐十分重要，基于本发明所提出的方案，能够大大提高广告召回的效率，从而能够提高广告的推荐速度。
129.本公开实施例提供的技术方案，通过将多个多媒体资源的用户相关信息和资源相关信息分别输入第一预测模型和第二预测模型，得到第一用户向量、第一资源向量、第二用户向量和第二资源向量，由于第一预测模型和第二预测模型在同一样本空间中联合训练得到，因此能够将第一用户向量和第二用户向量、第一资源向量和第二资源向量进行拼接，所得到的第一拼接向量能够同时表示用户相关信息对点击率和转化率的影响，所得到的第二拼接向量能够同时表示资源相关信息对点击率和转化率的影响，从而仅需对第一拼接向量和第二拼接向量进行处理即可得到多个多媒体资源的召回信息，简化了获取召回信息的过程，从而提高了多媒体资源召回的效率。
130.图5是根据一示例性实施例示出的一种多媒体资源召回装置的框图。参照图5，该装置包括：输入单元501和获取单元502。
131.输入单元501，被配置为执行将多个多媒体资源的用户相关信息和资源相关信息输入第一预测模型，得到该多个多媒体资源的第一用户向量和第一资源向量；
132.该输入单元501，被配置为执行将该多个多媒体资源的用户相关信息和资源相关信息输入第二预测模型，得到该多个多媒体资源的第二用户向量和第二资源向量，其中，该第一预测模型和该第二预测模型基于在同一样本空间中联合训练得到；
133.获取单元502，被配置为执行获取每个该多媒体资源的第一拼接向量和第二拼接向量，该第一拼接向量基于该多媒体资源的第一用户向量和第二用户向量拼接得到，该多媒体资源的第二拼接向量基于该第一资源向量和该第二资源向量拼接得到；
134.该获取单元502，被配置为执行基于每个该多媒体资源的第一拼接向量和第二拼接向量，获取每个该多媒体资源的召回信息。
135.在一些实施例中，该输入单元501，被配置为执行对于任一多媒体资源，获取该多媒体资源的多个用户特征向量和多个资源特征向量，该多个用户特征向量用于表示该多媒体资源的用户相关信息中多个不同类别的信息，该多个资源特征向量用于表示该多媒体资源的资源相关信息中多个不同类别的信息；将该多媒体资源的多个用户特征向量输入第一预测模型的第一深度神经网络，对该多媒体资源的多个用户特征向量进行融合，得到点击率空间内的该第一用户向量；将该多媒体资源的多个资源特征向量输入第一预测模型的第二深度神经网络，对该多媒体资源的多个资源特征向量进行融合，得到点击率空间内的该第一资源向量。
136.在一些实施例中，该输入单元501，被配置为执行对于任一多媒体资源，获取该多媒体资源的多个用户特征向量和多个资源特征向量，该多个用户特征向量用于表示该多媒体资源的用户相关信息中多个不同类别的信息，该多个资源特征向量用于表示该多媒体资源的资源相关信息中多个不同类别的信息；将该多媒体资源的多个用户特征向量输入第二预测模型的第三深度神经网络，对该多媒体资源的多个用户特征向量进行融合，得到转化率空间内的该第二用户向量；将该多媒体资源的多个资源特征向量输入第二预测模型的第四深度神经网络，对该多媒体资源的多个资源特征向量进行融合，得到转化率空间内的该第二资源向量。
137.在一些实施例中，该获取单元502，被配置为执行将该每个多媒体资源的第一拼接向量和第二拼接向量进行点乘，将点乘的结果映射到目标空间，得到该每个多媒体资源被点击后的转化率；将该每个多媒体资源被点击后的转化率与该每个多媒体资源对应的虚拟货币资源相乘，得到该每个多媒体资源的召回信息，该虚拟货币资源用于对该多媒体资源进行发布。
138.在一些实施例中，该装置还包括：
139.召回单元，被配置为执行对召回信息符合条件的该多媒体资源进行召回。
140.在一些实施例中，该第一预测模型和该第二预测模型，是基于多个第一样本数据和对应的点击样本标签、多个第二样本数据和对应的转化标签进行联合训练得到；其中，该第一样本数据和该第二样本数据包括样本用户特征向量和样本资源特征向量，该点击标签用于表示该第一样本数据所对应的多媒体资源是否被对应用户点击，该转化标签用于表示该第二样本数据所对应的多媒体资源是否在被对应用户点击后发生转化。
141.在一些实施例中，该获取单元502，被配置为执行在该联合训练的任一次迭代过程
中，获取m个第一样本数据和对应的点击标签、n个第二样本数据和对应的转化标签，m和n均为大于0的整数；
142.该输入单元501，被配置为执行分别将该m个第一样本数据和该n个第二样本数据输入该第一预测模型和该第二预测模型，得到m个第一样本用户向量、m个第一样本资源向量、n个第二样本用户向量和n个第二样本资源向量；
143.该获取单元502，被配置为执行基于该m个第一样本用户向量、该m个第一样本资源向量和对应的点击标签，得到点击率损失值，基于该n个第二样本用户向量、该n个第二样本广告向量和对应的转化标签，得到转化率损失值；
144.该装置还包括：
145.调整单元，被配置为执行基于该点击率损失值与该转化率损失值，调整该第一预测模型的参数、该第二预测模型的参数、该m个第一样本数据和该n个第二样本数据，用调整后的m个第一样本数据替换该多个第一样本数据中对应的第一样本数据，用调整后的n个第二样本数据替换该多个第二样本数据中对应的第二样本数据，基于调整后的模型，执行下一次迭代过程，直到达到训练结束条件为止。
146.在一些实施例中，该调整单元，被配置为执行基于该点击率损失值，调整该第一预测模型中第一深度神经网络的参数和第二深度神经网络的参数；基于该转化率损失值，调整该第二预测模型中第三深度神经网络的参数和第四深度神经网络的参数；基于该点击率损失值，调整该m个第一样本数据，基于该转化率损失值，调整该n个第二样本数据，该m个第一样本数据和该n个第二样本数据部分相同或不同。
147.需要说明的是：上述实施例提供的多媒体资源召回装置在多媒体资源召回时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的多媒体资源召回装置与多媒体资源召回方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
148.上述实施例是以电子设备为服务器为例进行说明，下面对该电子设备的结构进行说明。图6是根据一示例性实施例示出的一种电子设备的框图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(central processing units，cp u)601和一个或多个的存储器602，其中，该一个或多个存储器602中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器601加载并执行以实现上述各个方法实施例提供的多媒体资源召回方法中电子设备执行的过程。当然，该电子设备600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该电子设备600还可以包括其他用于实现设备功能的部件，在此不做赘述。
149.在示例性实施例中，还提供了一种包括程序代码的计算机可读存储介质，例如包括程序代码的存储器602，上述程序代码可由电子设备600的处理器601执行以完成上述多媒体资源召回方法。可选地，计算机可读存储介质可以是只读内存(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、只读光盘(compact
‑
disc read
‑
only memory，cd
‑
rom)、磁带、软盘和光数据存储设备等。
150.在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的多媒体资源召回方法。
151.在一些实施例中，本技术实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
152.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
153.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。