媒体全局信息提取方法、装置、计算机设备和存储介质与流程

本技术涉及计算机，特别是涉及一种媒体全局信息提取方法、装置、计算机设备和存储介质。

背景技术：

1、随着互联网技术的高速发展，长文本和视频等媒体数据集急剧增长，如何从大量媒体数据集中检索出需要的媒体数据集成为了一个研究热点。

2、目前，对于多个媒体数据集中的当前媒体数据集，主要是确定当前媒体数据集中的每个媒体数据各自对应的特征表示，并将当前媒体数据集中的每个媒体数据各自对应的特征表示的平均池化结果，作为当前媒体数据集的媒体全局信息。从而基于表征当前媒体数据集的媒体全局信息，来确定当前媒体数据集是否是需要从多个媒体数据集中筛选出目标媒体数据集。

3、然而，由于媒体数据所对应的特征表示中包含的媒体数据集的信息是有限的，使得基于各媒体数据各自对应的特征表示所确定的媒体全局信息并不准确。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升所提取的媒体全局信息的准确性的媒体全局信息提取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种媒体全局信息提取方法，所述方法包括：

3、获取媒体数据集和所述媒体数据集初始的全局时空特征；所述媒体数据集中的多个媒体数据在时序上具有先后关联关系；所述媒体数据中的多个元素在空间上具有位置关联关系；所述全局时空特征用于记载所述媒体数据集的时序信息和空间信息；

4、根据所述初始的全局时空特征，确定与所述媒体数据集的多个媒体数据对应的多个媒体特征序列；每个所述媒体特征序列包括所述初始的全局时空特征；

5、基于所述多个媒体特征序列确定初始的挖掘特征序列，并基于所述初始的挖掘特征序列进行多轮次的挖掘，获得输出的挖掘特征序列；其中，每轮次的挖掘，是基于前个轮次获得的挖掘特征序列中与每个所述媒体数据各自对应的全局时空特征，对所述媒体数据集进行时序信息和空间信息的信息提取；

6、根据所述输出的挖掘特征序列中与所述媒体数据集中的多个媒体数据各自对应的全局时空特征，确定与所述媒体数据集相对应的媒体全局信息。

7、第二方面，本技术还提供了一种媒体全局信息提取装置，所述装置包括：

8、模型输入生成模块，用于获取媒体数据集和所述媒体数据集初始的全局时空特征；根据所述初始的全局时空特征，确定与所述媒体数据集的多个媒体数据对应的多个媒体特征序列；每个所述媒体特征序列包括所述初始的全局时空特征；所述媒体数据集中的多个媒体数据在时序上具有先后关联关系；所述媒体数据中的多个元素在空间上具有位置关联关系；所述全局时空特征用于记载所述媒体数据集的时序信息和空间信息；

9、模型处理模块，用于基于所述多个媒体特征序列确定初始的挖掘特征序列，并基于所述初始的挖掘特征序列进行多轮次的挖掘，获得输出的挖掘特征序列；其中，每轮次的挖掘，是基于前个轮次获得的挖掘特征序列中与每个所述媒体数据各自对应的全局时空特征，对所述媒体数据集进行时序信息和空间信息的信息提取；

10、媒体全局信息生成模块，用于根据所述输出的挖掘特征序列中与所述媒体数据集中的多个媒体数据各自对应的全局时空特征，确定与所述媒体数据集相对应的媒体全局信息。

11、在其中一个实施例中，在所述媒体数据集为视频的情况下，所述媒体数据集中的多个媒体数据为所述视频中的连续的视频帧，所述元素为相应视频帧中的图像块。

12、在其中一个实施例中，在所述媒体数据集为文本序列的情况下，所述媒体数据集中的多个媒体数据为所述文本序列中的连续的文本句，所述元素为相应文本句中的字符。

13、在其中一个实施例中，所述模型输入生成模块用于，确定所述媒体数据集中的每个媒体数据各自对应的初始特征序列；根据所述初始的全局时空特征和所述每个媒体数据各自对应的初始特征序列，确定所述媒体数据集中的每个媒体数据各自对应的媒体特征序列。

14、在其中一个实施例中，所述模型输入生成模块，用于针对所述媒体数据集中的每个媒体数据，对所针对的媒体数据进行划分，得到所述针对的媒体数据所对应的元素集；针对所述元素集中的每个元素，对所针对的元素进行特征映射，得到所述针对的元素所对应的元素特征；综合特征映射得到的所述元素集中的每个元素各自对应的元素特征，得到所针对的媒体数据所对应的初始特征序列。

15、在其中一个实施例中，所述模型输入生成模块，用于对于所述媒体数据集中的每个媒体数据，在当前媒体数据所对应的初始特征序列中增加所述初始的全局时空特征，得到所述当前媒体数据所对应的中间特征序列；在所述中间特征序列中的每个元素特征中分别增加空间位置编码和时序位置编码，得到所述当前媒体数据所对应的媒体特征序列。

16、在其中一个实施例中，所述模型输入生成模块，用于针对所述中间特征序列中的每个元素特征，确定与所述针对的元素特征相对应的元素在所述当前媒体数据中的空间位置，并根据所述空间位置生成所述针对的元素特征所对应的空间位置编码，在所述针对的元素特征中增加生成的所述空间位置编码；确定所述当前媒体数据在所述媒体数据集中的时序位置，并对所述时序位置进行编码的，得到所述针对的元素特征相对应的时序位置编码，在所述针对的元素特征中增加所述时序位置编码。

17、在其中一个实施例中，所述模型处理模块，用于获取信息挖掘模型，并将所述多个媒体特征序列输入至所述信息挖掘模型，获得所述信息挖掘模型输出的初始的挖掘特征序列；确定当前轮次，将所述信息挖掘模型在前一轮次输出的挖掘特征序列输入至所述信息挖掘模型，获得所述信息挖掘模型在当前轮次输出的挖掘特征序列；将下一轮次作为当前轮次，并返回至将所述信息挖掘模型在前一轮次输出的挖掘特征序列输入至所述信息挖掘模型，获得所述信息挖掘模型在当前轮次输出的挖掘特征序列的步骤继续执行，直至满足停止条件时停止。

18、在其中一个实施例中，所述模型处理模块，用于将所述信息挖掘模型在前一轮次输出的挖掘特征序列输入至所述信息挖掘模型，通过所述信息挖掘模型，对前一轮次输出的挖掘特征序列进行的全局时空信息挖掘处理，得到当前轮次的所述媒体数据集中的每个媒体数据各自对应的全局时空特征；通过所述信息挖掘模型，对所述前一轮次输出的挖掘特征序列进行空间信息挖掘处理，得到当前轮次的所述媒体数据集中的每个媒体数据各自对应的空间信息挖掘特征序列；分别将对应于相同媒体数据的当前轮次的全局时空特征和当前轮次的空间信息挖掘特征序列进行拼接，得到当前轮次的所述媒体数据集中的每个媒体数据各自对应的挖掘特征。

19、在其中一个实施例中，所述模型处理模块，用于从所述前一轮次输出的挖掘特征序列中的每个挖掘特征中提取出全局时空特征，得到特征提取集合；将所述特征提取集合中的每个所述全局时空特征，与所述前一轮次输出的挖掘特征序列中的每个挖掘特征进行交互，得到当前轮次的所述媒体数据集中的每个媒体数据各自对应的全局时空特征。

20、在其中一个实施例中，所述模型处理模块，用于对所述特征提取集合和所述前一轮次输出的挖掘特征序列进行第一多头注意力处理，得到当前轮次的所述媒体数据集中的每个媒体数据各自对应的全局时空特征；其中，在进行第一注意力处理时，所述特征提取集合作为查询元素；所述前一轮次输出的挖掘特征序列，分别作为键元素和值元素。

21、在其中一个实施例中，所述模型处理模块，用于针对所述前一轮次输出的挖掘特征序列中每个挖掘特征，提取所针对的挖掘特征中的多个元素特征，得到前一轮次的空间信息挖掘特征序列；将所述前一轮次的空间信息挖掘特征序列与所述针对的挖掘特征进行交互，获得当前轮次的与所述针对的挖掘特征相对应的空间信息挖掘特征序列；将获得的当前轮次的空间信息挖掘特征序列，作为当前轮次的与所述针对的挖掘特征相对应的媒体数据所对应的空间信息挖掘特征序列。

22、在其中一个实施例中，所述模型处理模块，用于对所述前一轮次的空间信息挖掘特征序列和所述针对的挖掘特征进行第二多头注意力处理，得到当前轮次的与所述针对的挖掘特征相对应的空间信息挖掘特征序列；其中，在第二多头注意力处理中，所述元素特征序列作为查询元素；所述针对的挖掘特征，分别作为键元素和值元素。

23、在其中一个实施例中，所述媒体数据集为视频，所述媒体全局信息提取装置还包括检索模块，用于获取检索文案，并提取所述检索文案的信息，得到检索文案信息；确定所述媒体数据集的媒体全局信息与所述检索文案信息之间的相似度；当所述相似度大于或等于预设相似度阈值时，将所述媒体数据集作为与所述检索文案相匹配的目标视频。

24、在其中一个实施例中，所述媒体数据集包括于预设数据库；所述媒体全局信息提取装置还包括相似度确定模块，用于获取所述预设数据库中的每个媒体数据集各自对应的全局信息；根据所述每个媒体数据集各自对应的全局信息，确定所述预设数据库中的每个媒体数据集之间的相似度。

25、在其中一个实施例中，所述媒体数据集为视频；所述媒体全局信息提取装置还包括推荐信息生成模块，用于获取与所述媒体数据集语义关联的关联文案；提取所述关联文案的信息，得到关联文案信息；获取信息生成模型，通过所述信息生成模型，并根据包括所述文案信息和所述媒体全局信息的多模态信息，生成与所述关联文案和所述媒体数据集相匹配的推荐信息。

26、第三方面，本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本技术实施例提供的任一种媒体全局信息提取方法中的步骤。

27、第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本技术实施例提供的任一种媒体全局信息提取方法中的步骤。

28、第五方面，本技术还提供了一种计算机程序产品，所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本技术实施例提供的任一种媒体全局信息提取方法中的步骤。

29、上述媒体全局信息提取方法、装置、计算机设备、存储介质和计算机程序产品，通过获取媒体数据集和初始的全局时空特征，可生成携带有该初始的全局时空特征的媒体特征序列。通过生成多个媒体特征序列，可基于生成的多个媒体特征序列生成初始的挖掘特征序列，并基于初始的挖掘特征序列进行多轮次的时序信息和空间信息的挖掘，以得到输出的挖掘特征序列，如此，便可根据输出的挖掘特征序列中的多个媒体数据各自对应的全局时空特征，确定与媒体数据集相对应的媒体全局信息。通过设置多个全局时空特征，相比于仅设置一个全局时空特征，可通过多个全局时空特征提取更为丰富的时序信息和空间信息。通过多轮次的对媒体数据集进行时序信息和空间信息的挖掘，可使得每个媒体数据各自对应的全局时空特征均能够学习到更为准确、丰富的时序信息和空间信息。由于各全局时空特征均能够学习到更为准确、丰富的时序信息和空间信息的全局时空信息，使得基于全局时空信息得到的媒体全局信息能够更为准确。