一种多媒体数据查询方法、装置、设备及可读存储介质与流程

本技术涉及数据处理，尤其涉及一种多媒体数据查询方法、装置、设备及可读存储介质。

背景技术：

1、随着计算机技术的发展，互联网中的图像、音频和视频等各类多媒体数据的规模也越来越大，且各类多媒体数据往往分类存储到不同的多媒体数据库中，现有技术主要针对各类多媒体数据进行单一检索，如何从大规模跨类型数据库中快速检索得到目标数据，是目前亟待解决的问题。

技术实现思路

1、本技术提供了一种多媒体数据查询方法、装置、设备及可读存储介质，如下：

2、一种多媒体数据查询方法，包括：

3、获取检索关键词集合，所述检索关键词集合包括至少一个检索关键词；

4、将所述检索关键词与各个分类词进行相似度计算，得到目标分类词，每一个所述分类词通过对多个数据类型的多媒体数据的标签分类得到，所述数据类型至少包括图像、音频以及视频；

5、基于目标标签集合，获取候选多媒体数据，所述候选多媒体数据为至少存在一个标签属于所述目标标签集合的多媒体数据，所述目标标签集合为所述目标分类对应的标签集合；

6、获取所述候选多媒体数据的标签集合，作为待比对标签集合；

7、获取所述待比对标签集合和所述检索关键词集合的匹配度；

8、若所述匹配度大于预设的匹配度阈值，则确定所述候选多媒体数据为检索结果。

9、可选地，所述获取检索关键词集合包括：

10、获取待检索数据，所述待检索数据包括图像数据、文本数据、音频数据以及视频数据中的一项或多项；

11、识别得到所述待检索数据的至少一个关键词，作为检索关键词；

12、基于各个所述检索关键词，得到所述检索关键词集合。

13、可选地，多媒体数据查询方法还包括：

14、获取多个数据类型的多媒体数据；

15、分别获取各个多媒体数据的多个标签，得到各个多媒体数据的标签集合；

16、对全部数据类型的多媒体数据的标签进行分类，得到多个分类词以及各个所述分类词对应的标签集合，所述分类词的标签集合包括属于所述分类词的多个标签；

17、对应存储所述分类词和所述分类词的标签集合；

18、对应存储多媒体数据的标识和标签集合。

19、可选地，获取图像数据的标签集合，包括：

20、使用光学字符识别ocr技术识别所述图像数据中的文字，得到所述图像数据的文字数据，提取所述图像数据的文字数据的关键词，作为文字标签，所述文字数据的关键词包括语义关键词和情感关键词；

21、使用图像识别技术识别所述图像数据中的对象要素，并识别所述对象要素的图像特征，基于所述图像特征得到图像标签；

22、获取所述图像数据的标签集合，所述图像数据的标签集合包括所述图像数据的文字标签和图像标签。

23、可选地，获取音频数据的标签集合，包括：

24、使用语音识别技术，提取所述音频数据中的文字，得到所述音频数据的文字数据，提取所述音频数据的文字数据的关键词，作为文字标签，所述文字数据的关键词包括语义关键词和情感关键词；

25、获取所述音频数据的音频特征，基于所述音频数据的音频特征得到音频标签；

26、获取所述音频数据的标签集合，所述音频数据的标签集合包括所述音频数据的文字标签和音频标签。

27、可选地，获取视频数据的标签集合，包括：

28、提取所述视频数据的音频作为待识别音频；

29、使用语音识别技术，提取所述待识别音频中的文字，得到所述待识别音频的文字数据，提取所述待识别音频的文字数据的关键词，作为文字标签，所述文字数据的关键词包括语义关键词和情感关键词；

30、获取所述待识别音频的音频特征，基于所述待识别音频的音频特征得到音频标签；

31、提取所述视频数据的预设关键帧的图像，作为待识别图像；

32、使用光学字符识别ocr技术识别所述待识别图像中的文字，得到所述待识别图像的文字数据，提取所述待识别图像的文字数据的关键词，作为文字标签，所述文字数据的关键词包括语义关键词和情感关键词；

33、使用图像识别技术识别所述待识别图像中的对象要素，并识别所述对象要素的图像特征，基于所述图像特征得到图像标签；

34、获取所述视频数据的标签集合，所述视频数据的标签集合包括所述待识别音频的文字标签和音频标签、以及所述待识别图像的文字标签和图像标签。

35、可选地，获取所述待比对标签集合和所述检索关键词集合的匹配度，包括：

36、获取所述待比对标签集合与所述检索关键词集合的文本相似度；

37、获取所述候选多媒体数据和所述检索关键词集合的关联度，所述关联度与所述候选多媒体数据作为所述检索关键词集合的检索结果的次数成正相关；

38、基于所述文本相似度和所述关联度，确定所述待比对标签集合和所述检索关键词集合的匹配度，所述匹配度分别与所述文本相似度和所述关联度成正相关。

39、一种多媒体数据查询装置，包括：

40、检索信息获取单元，用于获取检索关键词集合，所述检索关键词集合包括至少一个检索关键词；

41、分类检索单元，用于将所述检索关键词与各个分类词进行相似度计算，得到目标分类词，每一个所述分类词通过对多个数据类型的多媒体数据的标签分类得到，所述数据类型至少包括图像、音频以及视频；

42、数据筛选单元，用于基于目标标签集合，获取候选多媒体数据，所述候选多媒体数据为至少存在一个标签属于所述目标标签集合的多媒体数据，所述目标标签集合为所述目标分类对应的标签集合；

43、待比对数据获取单元，用于获取所述候选多媒体数据的标签集合，作为待比对标签集合；

44、匹配单元，用于获取所述待比对标签集合和所述检索关键词集合的匹配度；

45、检索结果获取单元，用于若所述匹配度大于预设的匹配度阈值，则确定所述候选多媒体数据为检索结果。

46、一种多媒体数据查询设备，包括：存储器和处理器；

47、所述存储器，用于存储程序；

48、所述处理器，用于执行所述程序，实现如上所述的多媒体数据查询方法的各个步骤。

49、一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的多媒体数据查询方法的各个步骤。

50、由上述技术方案可以看出，本技术实施例提供的多媒体数据查询方法、装置、设备及可读存储介质，获取检索关键词集合，检索关键词集合包括至少一个检索关键词。将检索关键词与各个分类词进行相似度计算，得到目标分类词，基于目标标签集合，获取候选多媒体数据，获取候选多媒体数据的标签集合，作为待比对标签集合。获取待比对标签集合和检索关键词集合的匹配度。若匹配度大于预设的匹配度阈值，则确定候选多媒体数据为检索结果。由于，分类词通过对多个数据类型的多媒体数据的标签分类得到，候选多媒体数据为至少存在一个标签属于目标分类的标签集合的多媒体数据，可见本技术通过预先对多个数据类型的多媒体数据的标签进行分类将不同数据类型的多媒体数据关联，实现跨数据类型的多媒体数据的高效检索。