一种标签生成方法、装置、计算机设备及存储介质与流程

1.本公开涉及计算机技术领域，具体而言，涉及一种标签生成方法、装置、计算机设备及存储介质。


背景技术：

2.对于视频、网页等多媒体内容，其中包含的具体信息较多，为了更容易地对多媒体内容进行标注以进行分类整理或者有针对性的推送，可以为多媒体内容确定标签，以利用简短的标签清楚容易地表达多媒体内容反应的信息。
3.在为多媒体内容生成标签时，可以对多媒体内容进行特征提取，并利用特征提取的结果生成标签，但当前在进行特征提取时存在繁琐且耗时的问题，就会导致生成标签的效率较低。


技术实现要素：

4.本公开实施例至少提供一种标签生成方法、装置、计算机设备及存储介质。
5.第一方面，本公开实施例提供了一种标签生成方法，包括：获取待处理的多媒体内容，并从所述多媒体内容中提取多个内容维度下的待处理信息；将所述待处理信息输入目标特征提取网络的第一层网络节点进行特征提取，得到第一特征信息，并将所述第一特征信息存储在特征库中；所述目标特征提取网络为基于多个网络节点之间的依赖关系构建的多层网络；利用所述目标特征提取网络的至少一个第n层网络节点，对所述特征库中存储的第n-1层网络节点输出的特征信息分别进行特征提取，并将提取的特征信息存储在所述特征库中；其中，n为大于1的正整数；基于获取的特征配置列表，从所述特征库中提取目标特征信息，并基于所述目标特征信息确定所述多媒体内容对应的标签生产结果。
6.一种可选的实施方式中，在将所述待处理信息输入目标特征提取网络的第一层网络节点进行特征提取，得到第一特征信息前，所述方法还包括：基于所述多媒体内容的资源类型，从预设的多个特征提取网络中确定所述目标特征提取网络。
7.一种可选的实施方式中，基于所述多媒体内容的资源类型，从预设的多个特征提取网络中确定所述目标特征提取网络，包括：基于所述多媒体内容的资源类型，确定针对所述多媒体内容对应的多个标注维度；基于确定的多个标注维度，从预设的多个特征提取网络中，分别确定与每个所述标注维度对应的所述目标特征提取网络。
8.一种可选的实施方式中，将提取的特征信息存储在所述特征库中，包括：将所述特征信息以及所述特征信息对应的特征标识存储在所述特征库中；其中，所述特征信息对应的特征标识与提取所述特征信息的网络节点和/或所述特征信息的特征类型相关联。
9.一种可选的实施方式中，采用下述方式训练所述目标特征提取网络：获取所述目标特征提取网络对应的样本多媒体内容；所述样本多媒体内容包括样本待处理信息以及所述样本多媒体内容对应的样本标签；利用所述样本多媒体内容对待训练的目标特征提取网络进行训练，得到所述目标特征提取网络。
10.一种可选的实施方式中，所述标签生产结果包括生成的多个标签以及每个标签对应的置信度；所述方法还包括：基于多个标签以及每个标签对应的置信度，和获取的与目标业务方匹配的标签生产策略，确定与所述多媒体内容匹配的目标标签。
11.一种可选的实施方式中，获取待处理的多媒体内容，包括：接收多个多媒体内容，并基于预设筛选条件从所述多个多媒体内容中选取所述待处理的多媒体内容。
12.第二方面，本公开实施例还提供一种标签生成装置，包括：获取模块，用于获取待处理的多媒体内容，并从所述多媒体内容中提取多个内容维度下的待处理信息；第一处理模块，用于将所述待处理信息输入目标特征提取网络的第一层网络节点进行特征提取，得到第一特征信息，并将所述第一特征信息存储在特征库中；所述目标特征提取网络为基于多个网络节点之间的依赖关系构建的多层网络；第二处理模块，用于利用所述目标特征提取网络的至少一个第n层网络节点，对所述特征库中存储的第n-1层网络节点输出的特征信息分别进行特征提取，并将提取的特征信息存储在所述特征库中；其中，n为大于1的正整数；生成模块，用于基于获取的特征配置列表，从所述特征库中提取目标特征信息，并基于所述目标特征信息确定所述多媒体内容对应的标签生产结果。
13.一种可选的实施方式中，在将所述待处理信息输入目标特征提取网络的第一层网络节点进行特征提取，得到第一特征信息前，所述第一处理模块还用于：基于所述多媒体内容的资源类型，从预设的多个特征提取网络中确定所述目标特征提取网络。
14.一种可选的实施方式中，所述第一处理模块在基于所述多媒体内容的资源类型，从预设的多个特征提取网络中确定所述目标特征提取网络时，用于：基于所述多媒体内容的资源类型，确定针对所述多媒体内容对应的多个标注维度；基于确定的多个标注维度，从预设的多个特征提取网络中，分别确定与每个所述标注维度对应的所述目标特征提取网络。
15.一种可选的实施方式中，第一处理模块将提取的特征信息存储在所述特征库中时，用于：将所述特征信息以及所述特征信息对应的特征标识存储在所述特征库中；其中，所述特征信息对应的特征标识与提取所述特征信息的网络节点和/或所述特征信息的特征类型相关联。
16.一种可选的实施方式中，采用下述方式训练所述目标特征提取网络：获取所述目标特征提取网络对应的样本多媒体内容；所述样本多媒体内容包括样本待处理信息以及所述样本多媒体内容对应的样本标签；利用所述样本多媒体内容对待训练的目标特征提取网络进行训练，得到所述目标特征提取网络。
17.一种可选的实施方式中，所述标签生产结果包括生成的多个标签以及每个标签对应的置信度；所述装置还包括第三处理模块，用于：基于多个标签以及每个标签对应的置信度，和获取的与目标业务方匹配的标签生产策略，确定与所述多媒体内容匹配的目标标签。
18.一种可选的实施方式中，所述获取模块在获取待处理的多媒体内容时，用于：接收多个多媒体内容，并基于预设筛选条件从所述多个多媒体内容中选取所述待处理的多媒体内容。
19.第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器
执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
20.第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
21.本公开实施例提供的一种标签生成方法，在对多媒体内容中的待处理信息进行特征提取时，对于用于特征提取的目标特征提取网络中的多层网络，将各层网络中的网络节点输出的数据均存储于特征库中，则若存在多个网络节点所需输入的特征信息相同时，可以直接从特征库中得到该特征信息，而并不需要由输出该特征信息的网络节点多次重复进行相同特征信息的输出，因此可以减少进行特征提取时所需耗费的时间，从而使得生成标签的效率提高。
22.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
23.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
24.图1示出了本公开实施例所提供的一种标签生成方法的流程图；
25.图2示出了本公开实施例所提供的一种目标特征提取网络的示意图；
26.图3示出了本公开实施例所提供的一种用于生成多媒体内容的模块化系统的示意图；
27.图4示出了本公开实施例所提供的一种标签生成装置的示意图；
28.图5示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
29.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
30.经研究发现，为多媒体内容生成标签后，可以利用标签表达多媒体内容包含的信息，并进一步用于分类整理或推送。在为多媒体内容生成标签时，具体通过多个特征提取模型构成的融合模型进行特征提取，而其中的部分特征提取模型之间存在需要共享的特征作为输入数据，为了使这些特征提取模型均能够获取到作为输入数据的特征以进行特征提取，则需要多次生成该特征，这种需要多次生成同一特征以作为不同特征提取模型的输入
数据的方式，较为繁琐且需要耗费大量时间，就会导致生成标签的效率较低。
31.基于上述研究，本公开提供了一种标签生成方法，在对多媒体内容中的待处理信息进行特征提取时，对于用于特征提取的目标特征提取网络中的多层网络，将各层网络中的网络节点输出的数据均存储于特征库中，则若存在多个网络节点所需输入的特征信息相同时，可以直接从特征库中得到该特征信息，而并不需要由输出该特征信息的网络节点多次重复进行相同特征信息的输出，因此可以减少进行特征提取时所需耗费的时间，从而使得生成标签的效率提高。
32.针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
33.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
34.为便于对本实施例进行理解，首先对本公开实施例所公开的一种标签生成方法进行详细介绍，本公开实施例所提供的标签生成方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该标签生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
35.下面对本公开实施例提供的标签生成方法加以说明。本公开实施例提供的标签生成方法可以用于为视频、网页、音频、直播等多种不同的多媒体内容生成对应的标签。此处说明的多媒体内容的标签可以表征多媒体内容的分类或内容。在利用标签标注分类时，在不同的分类标准下可以得到的标注不同，比如按照多媒体内容的消费能力，分类为高热度内容、高质量内容等，或者按照信息类别，分类为文娱内容、要闻内容等。在通过内容进行标注分类时，也可以分类为家居类、美妆类、服饰类等，以具体反应在多媒体内容中涉及到的具体内容。
36.在为多媒体内容生成对应的标签后，可以利用标签对多媒体视频进行概括和标识，并进一步利用标签对多媒体内容进行分类整理和推送等操作。比如，对于视频播放平台，若用户选取了对某一类视频的播放，或者可以确定用户对某一类视频感兴趣，则可以从当前已有的多个视频中选取该类视频对应的标签下的其他视频进行播放，这样即能够利用标签进行筛选和有针对性的推送。
37.参见图1所示，为本公开实施例提供的一种标签生成方法的流程图，所述方法包括步骤s101～s104，其中：
38.s101：获取待处理的多媒体内容，并从所述多媒体内容中提取多个内容维度下的待处理信息；
39.s102：将所述待处理信息输入目标特征提取网络的第一层网络节点进行特征提取，得到第一特征信息，并将所述第一特征信息存储在特征库中；所述目标特征提取网络为基于多个网络节点之间的依赖关系构建的多层网络；
40.s103：利用所述目标特征提取网络的至少一个第n层网络节点，对所述特征库中存
储的第n-1层网络节点输出的特征信息分别进行特征提取，并将提取的特征信息存储在所述特征库中；其中，n为大于1的正整数；
41.s104：基于获取的特征配置列表，从所述特征库中提取目标特征信息，并基于所述目标特征信息确定所述多媒体内容对应的标签生产结果。
42.下面对上述s101～s104加以详细说明。
43.针对上述s101，待处理的多媒体内容具体可以包括上述说明的视频、网页、音频、直播等多种不同的多媒体内容。下面以多媒体内容包括视频为例进行说明。在一种可能的情况下，对于短视频平台等应用环境，多媒体内容在不断的大量产出，比如持续地产出短视频，这些不断产出的视频例如可以形成视频流。由于视频流下的视频数量较多，逐一为各个视频添加标签的方式会耗费较长时间，并且也并非是所有的视频都需要通过模型标注的方式确定标签，比如一些视频在上传时已预先标注了标签，或者广告视频等一些特殊类别的视频，由于是会广泛投放的视频，因此也可以不为其添加标签。因此，对于获取到的视频流，可以先进行筛选处理，从中选取得到待处理的视频，作为本公开实施例中说明的待处理的多媒体内容。
44.在具体实施中，可以接收多个多媒体内容，并基于预设筛选条件从所述多个多媒体内容中选取所述待处理的多媒体内容。此处，多个多媒体内容例如上述说明的视频流。预设筛选条件可以是预先确定的，比如按照目标业务方的实际需求确定预设筛选条件。目标业务方是指使用多媒体内容的标签，并且可以进一步利用多媒体内容的标签对多媒体内容进行分组、推送等处理的业务方。实际需求具体可以是上述说明的不对已有标签的多媒体内容重复确定标签，或者不对广告视频、或者平台活动下的宣传视频确定标签。根据上述列举出的实际需求，可以确定预设筛选条件，比如预设筛选条件包括的从视频流中筛除具有标签的视频以及广告视频。
45.这样，对于基数较大的视频流，可以先通过筛选的方式从中获取具体需要生成标签的部分视频，作为待处理的多媒体内容，以减少需要生成标签的视频的数量，也能够减少在重复标注标签以及进行不必要的标签标注时可能造成的时间浪费和资源浪费。
46.在得到待处理的多媒体内容的情况下，为了给多媒体内容生成对应的标签，还需要获取可以表达多媒体内容的特征的待处理信息。以多媒体内容包括视频为例，可以用于进行特征提取的信息具体可以包括视频的视频标题、视频字幕、作者信息等，其中视频标题和作者信息可以直接获取，视频字幕可以通过光学字符识别的方式在线或离线获取。而对于多媒体内容包括网页的情况，可以用于进行特征提取的信息具体可以包括网页中的文字信息、图像信息、来源信息等，其中文字信息比如是网页中具体记录的内容，图像信息可以包括图片的图片注释，来源信息可以包括作者信息以及网页所属网站的相关信息。
47.也即，对于不同类型的多媒体内容，其中可以反应多媒体内容特征的具体内容不同，但可以在多媒体内容的不同类型下从对应的多个内容维度下分别提取得到。比如对于上述示例中说明的视频，可以确定多个内容维度为视频标题、视频字幕、作者信息。
48.示例性的，若待处理的多媒体内容为视频v1，例如可以在视频标题的内容维度下提取得到“本年度发布的两款轿车”，在视频字幕的内容维度下提取得到“轿车a在1月发售，为小型轿车，轿车b在2月发售，为中型轿车”，并在作者信息的内容维度下提取得到“汽车博主”、“百万粉丝量”等。此处，在多种不同内容维度下提取得到的信息，也即用于提取特征的
待处理信息。
49.这样，根据上述步骤，即可以确定待处理以生成标签的多媒体信息，以及筛选后的多媒体信息中用于进行特征提取以确定标签的待处理信息。
50.针对上述s102以及s103，对于在上述步骤中确定的多媒体内容的待处理信息，可以通过目标特征提取网络进行特征提取，得到用于生成多媒体内容对应的标签的目标特征信息。
51.此处，目标特征提取网络具体为基于多个网络节点之间的依赖关系构建的多层网络。其中，网络节点具体可以是用于进行特征提取的网络模型，比如深度学习模型等；网络节点之间具有依赖关系，这种依赖关系具体可以表现为一个网络节点的输入数据来源于多个网络节点的输出数据，或者多个网络节点的输入数据均来源于一个网络节点的输出数据。这种网络节点之间的依赖关系可以构成有向无环图(directed acyclic graph，dag)。根据网络节点之间的依赖关系，可以将目标特征提取网络划分为多层网络，相邻两层网络之间的网络节点具有依赖关系。
52.也即，在本公开实施例中多媒体内容中提取得到的待处理信息会在一个方向的流向下经过多个网络节点，并在多个网络节点中具有对应的输出数据，在下游的网络节点具体依赖于上游节点的输出数据作为该下游网络节点的输入数据，继续进行特征提取的过程。
53.在具体实施中，由于在实际应用中可能具有不同平台下的多媒体内容的标注需求以及在同一平台下对不同分类或内容下的标签生产需求，因此可以用于进行标签生成的特征提取网络可以有多个。对于某一具体的多媒体内容，可以相应的选取对应的特征提取网络进行对其中包含的待处理信息的特征提取。
54.具体地，可以基于多媒体内容的资源类型，从预设的多个特征提取网络中确定所述目标特征提取网络。此处，多媒体内容的资源类型具体可以是与业务相关的资源类型，比如是与多个不同的播放平台分别对应的资源类型；或者，也可以是与视频、网页、音频、直播等不同的体裁对应的资源类型。在多媒体内容的资源类型不同时，多媒体内容在添加标签时的侧重不同，或者具体采用的待处理信息的内容维度不同，因此具体选用的特征提取网络也具有区别。
55.另外，根据上述说明，在具体的资源类型下，还可以确定对家居类、美妆类、服饰类等的具体分类下的标注。在本公开实施例中，将这些分类或与之相似的多分类方式称为标注维度。在不同的标注维度下具有与之相对应的特征提取网络，以得到用于生成对应标注维度下标签的特征信息。因此，在确定对多媒体内容的具体标注维度的情况下，可以从各个标注维度下分别对应的特征提取网络中，确定与确定的具体标注维度对应的特征提取网络，作为目标特征提取网络。
56.在确定目标特征提取网络后，即可以利用目标特征提取网络对多媒体内容的待处理信息进行特征提取，以得到用于生成标签的目标特征信息。下面为便于说明，提供一种简化的目标特征提取网络的示例，其中具体包括三层网络层，分别表示为l1、l2、以及l3；其中第一层网络层具有一个网络节点，也即第一层网络节点共1个；第二层网络层和第三层网络层分别具有两个网络节点，也即第二层网络节点与第三层网络节点均为2个。
57.参见图2所示，为本公开实施例提供的一种目标特征提取网络的示意图，其中各网
络层的网络节点以圆圈表示，并以其中标注的英文字母表示对应的网络节点；各网络节点之间的依赖关系通过网络节点对应的圆圈之间的连接箭头表示。示例性的，第一层网络层l1包括网络节点a，第一层网络层l2包括网络节点b、c，第三层网络层l3包括网络节点d、e，其中第二层网络节点b、c依赖于第一层网络节点a，第三层网络节点d、e依赖于第二层网络节点b。
58.对于上述待处理的多媒体内容中提取得到的待处理信息，首先输入至目标特征提取网络的第一层网络节点，例如上述示例中第一层网络节点a。第一层网络接节点a输出的特征信息在本公开实施例中称为第一特征信息。第一特征信息会存储在特征库中，以便依赖于第一层网络节点的第二层网络节点从特征库中调用作为输入数据。
59.此处，特征库例如为预设存储空间，用于存储目标特征提取网络的多个网络节点产生的特征信息。为了便于对各网络节点产生的特征信息进行存储、查找和读取，在特征信息存储在特征信息库中时，可以将特征信息以及特征信息对应的特征标识存储在特征库中，以利用特征标识快速地确定特征信息。在为特征信息确定对应的特征标识时，特征标识可以与提取特征信息的网络节点和/或特征信息的特征类型相关联。
60.下面对上述两种不同的确定特征标识的方式进行举例说明。在一种可能的情况下，可以利用网络节点作为特征标识，比如对网络节点a输出的特征信息确定特征标识为“a”。这种方式下，对于下游的网络节点，在确定上游依赖的网络节点的情况下，通过与网络节点相同命名的特征标识即可以从特征库中获取特征信息。
61.在另一种可能的情况下，还可以利用特征信息的特征类型作为特征标识。具体地，在通过网络节点进行特征提取的每一阶段中，各网络节点产生的特征信息的特征类型是不同的，因此可以选取与特征类型相关联的特征标识作为特征信息在特征库中存储时使用的特征标识。在这种方式下，对于下游的网络节点，可以根据自身在进行特征处理时的实际处理需求，从特征库中获取实际处理需求下的相应特征类型的特征信息。
62.上述两种方式仅是从网络节点之间的依赖关系、以及网络节点处理数据时特征信息的特征类型两种角度下，对特征信息的不同存储方式。其他具有相似存储逻辑的标注方式也均在本公开实施例的保护范围内，在此不再逐一列举。
63.对于除第一层网络节点外的其他网络，在获取输入数据时，在本公开实施例中具体选取从特征库中提取依赖的上一网络节点输出的特征信息，并继续将得到的特征信息存储至特征库中。
64.延续上述示例，对于第二层网络节点b、c，依赖于第一层网络节点a，因此第二层网络节点b、c从特征库中将第一层网络节点输出的特征信息作为输入信息进行特征提取，并将各自输出的特征信息相应的存储在特征库中。而对于第三层网络节点d、e，依赖于第二层网络节点b，因此第三层网络节点d、e从特征库中将第二层网络节点输出的特征信息作为输入信息进行特征提取，并将各自输出的特征信息相应的存储在特征库中。
65.也即，在具体实施中，利用所述目标特征提取网络的至少一个第n层网络节点，对所述特征库中存储的第n-1层网络节点输出的特征信息分别进行特征提取，并将提取的特征信息存储在所述特征库中；其中，n为大于1的正整数。
66.在这种方式下，由于对于除第一层网络节点外的其他层网络节点，在获取输入数据时，可以直接从特征库中获取，相较于传统方式下直接将上一层网络节点输出的特征信
息传递给具有依赖关系的相邻层网络节点的方式，避免了在存在多个依赖于同一上游网络节点的下游网络节点时，需要将该上游网络节点输出的特征信息传递给多个下游网络节点，而需要生成多个特征信息的传输通道，进而需要使该上游网络节点重复多次特征提取过程，以得到多个向不同下游网络节点传输的特征信息。也即，本公开实施例提供的为网络节点获取输入的特征信息的方式，可以节省目标特征提取网络中部分节点重复多次进行特征提取的过程，因而可以有效的节省时间，提高效率。而特征库中由于仅需要存储各层网络节点输出的特征信息，实际占用的存储量较小，也并不会对存储空间造成较大的占用。
67.这样，通过目标特征提取网络中的多个网络节点，即可以完成对待处理的多媒体内容中待处理信息的特征提取，并将各网络节点输出的特征信息存储至特征库中。
68.在本公开另一实施例中，还可以采用下述方式训练目标特征提取网络：获取所述目标特征提取网络对应的样本多媒体内容；所述样本多媒体内容包括样本待处理信息以及所述样本多媒体内容对应的样本标签；利用所述样本多媒体内容对待训练的目标特征提取网络进行训练，得到所述目标特征提取网络。
69.其中，为了对目标特征提取网络进行训练，可以获取训练使用的样本数据，在本公开实施例中称为样本多媒体内容。在一种可能的情况下，样本多媒体内容包括样本待处理信息，具体可以如上述示例中待处理信息相似的具有多个内容维度。另外，可以对目标特征提取网络进行有监督的训练，因此样本多媒体内容还可以具有相对应的标签。因此，用于对目标特征提取网络进行训练的样本多媒体内容为多个不同维度下的信息拼接得到的。利用样本多媒体内容对待训练的目标特征提取网络进行训练，可以得到实际用于提取待处理信息的目标特征提取网络。
70.针对上述s104，对于上述为多媒体内容的待处理信息提取出的特征信息，可以进一步地用于生成多媒体内容对应的标签。具体地，可以基于获取的特征配置列表，从特征库中提取目标特征信息，并基于目标特征信息确定多媒体内容对应的标签生产结果。
71.在具体实施中，在提取目标特征信息时，可以先确定预先确定的特征配置列表，此处的特征配置列表中包括用于确定标签生产结果的多个特征信息对应的特征标识。在一种可能的情况下，确定标签生产结果的多个特征信息可以并不仅是来源于目标特征提取网络中的最后一层网络节点，在特征提取过程中的中间网络层中也可能会存在部分产生的特征信息需要用于确定标签生产结果。而由于在本公开实施例中，各网络节点生成的特征数据均存储在特征库中，因此在确定需要使用哪些特征信息后，根据这些特征信息对应的特征标识，就可以从特征库中相应的获取这些特征信息。
72.这样，通过特征配置列表就可以容易地从特征库中获取特征信息。而若选取直接从网络节点中获取输出的特征数据的方式，由于输出的特征数据可能还需要进行下一层网络节点的处理，因此再次获取特征信息以确定标签生产结果时，就需要再次重复生产得到，这就会浪费处理时间并且降低生产标签的效率。
73.在从特征库中提取目标特征信息后，可以基于目标特征信息确定多媒体内容对应的标签生产结果。此处，标签生产结果包括生成的多个标签以及每个标签对应的置信度。示例性的，目标特征提取网络例如可以对三个标签进行预测，三个标签分别为美食、汽车以及旅游，在对待处理的多媒体内容中的待处理信息进行特征提取后，得到在三个标签下分别对应的置信度为美食-40％，汽车-90％，以及旅游-60％。其中，任一标签的置信度表示待处
理的多媒体内容中确实可以具有该标签的概率，也即多媒体内容中待处理信息具体包含有的该标签下相应内容的概率。
74.此处，得到的标签生产结果也即模型所能得到的特征处理结果，这种标签生产结果并不能直接的表达出多媒体内容实际具备的标签，而是通过置信度为可能确定的标签进行数值上的参考标定。因此，在本公开实施例中具体还可以采用下述方式为多媒体内容确定匹配的目标标签：基于多个标签以及每个标签对应的置信度，和获取的与目标业务方匹配的标签生产策略，确定与所述多媒体内容匹配的目标标签。
75.这里，目标业务方也即上述说明的具体运用标签的业务方，比如播放和推送多媒体内容的实际软件平台。目标业务方对多媒体内容的标签标注方式一般具有实际的要求，比如为了使多媒体内容能更容易的通过搜索信息搜索到而设置多个标签，又或者为了实现精确地分类和有针对性的推送，选取为多媒体内容设置更准确且最具有代表性的标签。在上述两个示例中，对于前者更关注于为多媒体内容添加的标签数量，后者则更关注于添加的标签对应的准确性。因此，在目标业务方实际对标签的标注需求不同时，匹配的标签生产策略不同。
76.延续上述示例，在一种可能的情况下，若目标业务方的标注需求包括为多媒体内容确定两个标签，则相匹配的标签生产策略可以包括选取对应置信度排序靠前的两个标签，作为多媒体内容对应的目标标签。则可以首先按照各标签对应的置信度进行对标签的排序，确定标签的顺序为汽车、旅游、美食；然后选取靠前的两个标签作为目标标签，也即汽车和旅游。
77.在另一种可能的情况下，若目标业务方的标注需求包括为多媒体内容确定准确的标签，这种准确性可以通过设置的标签对应的置信度是否超过某一阈值的方式衡量，比如标签对应的置信度若超过85％，则可以认为该标签可以准确地对多媒体内容进行标注。则在上述三个标签中，选取对应的置信度超过85％的标签“汽车”作为目标标签。
78.在本公开实施例中，选取将确定标签生产结果的过程与确定目标标签的过程分离，也即将模型生产过程与业务生产过程分离，这种方式下可以根据目标业务方在实际应用下对标签的不同标注需求，进行不影响模型生产过程的调整，这种方式下在更换不同的标签生产策略时也更加灵活。
79.在本公开另一实施例中，还提供了一种以模块化的系统生成多媒体内容对应的目标标签的具体实施例。参见图3所示，为本公开实施例提供的一种用于生成多媒体内容的模块化系统的示意图。在该示例中，以多媒体内容包括视频为例进行说明。模块化系统实际上也反应了对多媒体内容生成标签时的多个步骤组成的整体过程。
80.在示意图中，数据流即为本公开实施例中说明的可获取的视频流，视频流中的各视频具有对应的标识码(id)，根据标识码可以获取到具体的视频。视频流会流向标签流程入口(tag entry)。在标签流程入口中配置有触发器(trigger)，可以根据视频流中各视频对应的标识码获取视频，并通过预先配置的过滤函数对视频进行过滤，比如将视频流中包含的广告视频筛除，并将筛选后得到的视频作为待处理的多媒体内容。对于得到的待处理的多媒体内容，触发器还可以获取其中在多个内容维度下的待处理信息，具体可以是字段信息，比如视频标题、作者信息、以及其中的图片等。
81.另外，触发器也可以在预设的多个特征提取网络中确定用于对视频中待处理信息
进行特征提取的目标特征提取网络。在模块化系统中，由于需要可以对不同类型的多媒体内容进行特征提取，因此特征提取网络具有多个，具体可以表现为模块化系统中特征生产器(feature provider)包括多个网络。
82.特征生产器中包括的网络是由多个特征提取模型之间的依赖关系生成的。各特征提取模型具体可以用于获取多模态特征、检索近邻信息、对通用的特征和/或结果进行存储、获取和更新等。在对特征生产器进行配置时，由于多个特征提取模型之间存在依赖关系，因此还会对各特征提取模型之间的依赖关系进行配置，表现在将各特征提取模型作为有向无环图中的各个网络节点。另外，由于对不同的多媒体内容进行特征提取时，特征生产器中实际选用的网络不同，因此也会对网络进行命名。对于上述说明的触发器，在确定具体使用的特征生产器中的网络时，可以通过相应的命名确定相应的具体网络。
83.特征生产器在对待处理信息进行处理时，其中各节点下生成的特征信息均会存储在特征库(feature bank)中。对于下游节点，在将依赖的上游节点对应的输出数据作为输入数据进行处理时，也会相应的从特征库中获取对应的特征信息。为了可以对各节点产生的特征信息进行有效的存储，可以通过对应网络节点进行命名，或者通过特征信息的特征类型进行命名，这样也可以在从特征库中获取相应的特征信息时，能够根据命名容易地查找到。特征库具体可以仅设置一个，特征生产器中不同的特征提取网络均可以将各自网络节点中输出的特征信息存储在一个特征库中。另外，特征库还可以对特征信息进行编码处理等，以对特征信息进行规范化存储，另外也可以支持版本管理等其他基础功能。
84.对于在特征库中存储的特征，可以由特征组装模块(feature assembler)进行提取，具体可以根据预先配置的特征配置列表(feature list)，从特征库中将相应存储的特征信息提取出。这一过程也可以被称为特征消费过程。特征组装模块的配置可以作为全局的数据配置，具体可以使下述说明的融合特征数据打包模块(fusion pack)、融合训练模块(fusion train)以及融合预测模块(fusion predict)的数据均在相同的数据配置下。另外，特征组装模块通过特征配置列表得到的特征信息，可以进一步交由融合预测模块以得到标签生产结果。
85.此处，提及到的融合特征数据打包模块可以对样本多媒体内容中各内容维度下的待处理信息进行打包，得到用于训练的多维度数据；并发调用特征组装模块，生成用于融合模型训练的数据格式。对于融合训练模块，可以支持多种特征类型的处理，并支持多种特征融合方式。其中多种特征类型的数据可以包括如标签模型分数等数值特征、视频时长和作者粉丝数等的标量特征、作者标识等标识特征、基于近邻检索得到的列表等近邻信息特征。在特征融合时，可以采用近邻池化融合(neighbor pool)、深度神经网络融合(deep neural network，dnn)以及自注意力融合(transformer)等，具体可以根据实际情况选取，在此不再赘述。另外，由于融合特征数据打包模块和融合训练模块具体涉及到训练过程而非实际应用过程，因此通过虚线边框表示。
86.对于融合预测模块，可以继续触发标签生成模块(tag map)，标签生成模块根据目标业务方匹配的标签生产策略，最终确定多媒体内容匹配的目标标签(tag result)。根据此处融合预测模块与标签生成模块作为两个独立模块的连接关系，也可以容易地确定模型生产过程与业务生产过程是分离的，也即是标签生成模块具体表达出了业务逻辑而非特征处理逻辑。此处可以通过标签生成模块得到目标标签，也即完成了对多媒体内容的标签生
产过程。
87.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
88.基于同一发明构思，本公开实施例中还提供了与标签生成方法对应的标签生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述标签生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
89.参照图4所示，为本公开实施例提供的一种标签生成装置的示意图，所述装置包括：获取模块41、第一处理模块42、第二处理模块43、以及生成模块44；其中，
90.获取模块41，用于获取待处理的多媒体内容，并从所述多媒体内容中提取多个内容维度下的待处理信息；
91.第一处理模块42，用于将所述待处理信息输入目标特征提取网络的第一层网络节点进行特征提取，得到第一特征信息，并将所述第一特征信息存储在特征库中；所述目标特征提取网络为基于多个网络节点之间的依赖关系构建的多层网络；
92.第二处理模块43，用于利用所述目标特征提取网络的至少一个第n层网络节点，对所述特征库中存储的第n-1层网络节点输出的特征信息分别进行特征提取，并将提取的特征信息存储在所述特征库中；其中，n为大于1的正整数；
93.生成模块44，用于基于获取的特征配置列表，从所述特征库中提取目标特征信息，并基于所述目标特征信息确定所述多媒体内容对应的标签生产结果。
94.一种可选的实施方式中，在将所述待处理信息输入目标特征提取网络的第一层网络节点进行特征提取，得到第一特征信息前，所述第一处理模块42还用于：基于所述多媒体内容的资源类型，从预设的多个特征提取网络中确定所述目标特征提取网络。
95.一种可选的实施方式中，所述第一处理模块42在基于所述多媒体内容的资源类型，从预设的多个特征提取网络中确定所述目标特征提取网络时，用于：基于所述多媒体内容的资源类型，确定针对所述多媒体内容对应的多个标注维度；基于确定的多个标注维度，从预设的多个特征提取网络中，分别确定与每个所述标注维度对应的所述目标特征提取网络。
96.一种可选的实施方式中，第一处理模块42将提取的特征信息存储在所述特征库中时，用于：将所述特征信息以及所述特征信息对应的特征标识存储在所述特征库中；其中，所述特征信息对应的特征标识与提取所述特征信息的网络节点和/或所述特征信息的特征类型相关联。
97.一种可选的实施方式中，采用下述方式训练所述目标特征提取网络：获取所述目标特征提取网络对应的样本多媒体内容；所述样本多媒体内容包括样本待处理信息以及所述样本多媒体内容对应的样本标签；利用所述样本多媒体内容对待训练的目标特征提取网络进行训练，得到所述目标特征提取网络。
98.一种可选的实施方式中，所述标签生产结果包括生成的多个标签以及每个标签对应的置信度；所述装置还包括第三处理模块45，用于：基于多个标签以及每个标签对应的置信度，和获取的与目标业务方匹配的标签生产策略，确定与所述多媒体内容匹配的目标标签。
99.一种可选的实施方式中，所述获取模块41在获取待处理的多媒体内容时，用于：接收多个多媒体内容，并基于预设筛选条件从所述多个多媒体内容中选取所述待处理的多媒体内容。
100.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
101.本公开实施例还提供了一种计算机设备，如图5所示，为本公开实施例提供的计算机设备结构示意图，包括：
102.处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：
103.获取待处理的多媒体内容，并从所述多媒体内容中提取多个内容维度下的待处理信息；将所述待处理信息输入目标特征提取网络的第一层网络节点进行特征提取，得到第一特征信息，并将所述第一特征信息存储在特征库中；所述目标特征提取网络为基于多个网络节点之间的依赖关系构建的多层网络；利用所述目标特征提取网络的至少一个第n层网络节点，对所述特征库中存储的第n-1层网络节点输出的特征信息分别进行特征提取，并将提取的特征信息存储在所述特征库中；其中，n为大于1的正整数；基于获取的特征配置列表，从所述特征库中提取目标特征信息，并基于所述目标特征信息确定所述多媒体内容对应的标签生产结果。
104.上述存储器20包括内存210和外部存储器220；这里的内存210也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器220交换的数据，处理器10通过内存210与外部存储器220进行数据交换。
105.上述指令的具体执行过程可以参考本公开实施例中所述的标签生成方法的步骤，此处不再赘述。
106.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的标签生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
107.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的标签生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
108.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
109.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦
合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
110.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
111.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
112.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
113.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。