一种多模态数据处理方法、装置、电子设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种多模态数据处理方法、装置、电子设备及存储介质。

背景技术：

1、在当前大数据时代，数据呈现巨量化，多样化特点，如何有效存储和处理这些数据，使数据价值最大化的同时满足合规性要求，是构建多模态机器智能的核心诉求。

2、在传统的数据处理领域，基本上都是围绕着结构化数据进行计算分析，针对非结构化数据，比如视频、图像、音频基本上都是依托采集的特征数据进行存储和分析应用。没有直接关联的多模态数据往往无法有效的进行有效的处理分析，这类资源的实际价值没有得到有效的发挥。

技术实现思路

1、有鉴于此，本申请实施例提供了一种多模态数据处理方法、装置、电子设备及存储介质，能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供一种多模态数据处理方法，包括以下步骤：

4、获取目标数据，其中，所述目标数据中包括不同模态的待处理数据；

5、针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，其中，所述特征提取结果为结构化数据；

6、将所述特征提取结果进行关联性匹配，得到匹配结果；

7、基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，其中，所述融合数据为结构化数据。

8、在一种可能的实施方式中，所述不同模态的待处理数据包括结构化数据、图像数据、视频数据、音频数据、文件数据中的至少两种，所述获取目标数据，包括：

9、从与所述待处理数据对应的采集设备中获取对应的所述待处理数据，或者，从不同的数据源中获取对应模态的待处理数据。

10、在一种可能的实施方式中，所述针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，包括：

11、根据所述目标数据中所述待处理数据的模态类型，确定至少一条所述处理链路，其中，所述处理链路用于从对应模态的所述待处理数据中提取出所述特征提取结果；

12、将所述待处理数据输入对应的所述处理链路中，得到对应的所述特征提取结果。

13、在一种可能的实施方式中，所述将所述特征提取结果进行关联性匹配，得到匹配结果，包括：

14、将所述特征提取结果输入同一数据空间，其中，所述特征提取结果包括特征类型；

15、在所述数据空间中，基于预设的至少一种匹配方式，对所述特征提取结果进行关联性匹配，得到匹配结果，其中，所述至少一种匹配方式中每种匹配方式关联了预设的至少一种特征类型。

16、在一种可能的实施方式中，所述对所述特征提取结果进行关联性匹配，得到匹配结果，包括：

17、对待匹配的所述特征提取结果的相似度进行计算，得到待匹配的所述特征提取结果的相似度值；

18、当待匹配的所述特征提取结果的所述相似度值大于预设的相似度阈值时，将该待匹配的所述特征提取结果确定为关联数据。

19、在一种可能的实施方式中，所述基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，包括：

20、将相匹配的所述待处理数据进行关联，并在相匹配的所述待处理数据中标注对应的特征提取结果。

21、在一种可能的实施方式中，所述方法还包括：

22、将所述融合数据进行存储于存储组件中，其中所述存储组件包括以下组件至少之一：

23、jdbc数据库、kafka、hdfs、minio。

24、第二方面，本申请实施例还提供一种多模态数据处理装置，所述装置包括：

25、获取模块，用于获取目标数据，其中，所述目标数据中包括不同模态的待处理数据；

26、提取模块，用于针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，其中，所述特征提取结果为结构化数据；

27、匹配模块，用于将所述特征提取结果进行关联性匹配，得到匹配结果；

28、融合模块，用于基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，其中，所述融合数据为结构化数据。

29、第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的多模态数据处理方法。

30、第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的多模态数据处理方法。

31、本申请实施例具有以下有益效果：

32、通过获取包括不同模态的待处理数据，接着针对不同模态的待处理数据，通过对应模态的处理链路对待处理数据进行特征提取，得到不同模态待处理数据对应的特征提取结果，提取到的特征提取结果为结构化数据，这样，可以将特征提取结果进行关联性匹配，得到匹配结果，最后基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。

技术特征：

1.一种多模态数据处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述不同模态的待处理数据包括结构化数据、图像数据、视频数据、音频数据、文件数据中的至少两种，所述获取目标数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述特征提取结果进行关联性匹配，得到匹配结果，包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述特征提取结果进行关联性匹配，得到匹配结果，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种多模态数据处理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一项所述的多模态数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的多模态数据处理方法。

技术总结
本申请提供了一种多模态数据处理方法、装置、电子设备及存储介质，该方法包括：获取目标数据，针对不同模态的待处理数据，通过对应模态的处理链路对待处理数据进行特征提取，得到不同模态的待处理数据对应的特征提取结果，将特征提取结果进行关联性匹配，得到匹配结果，基于匹配结果将相匹配的待处理数据进行融合处理，得到融合数据。本申请能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。

技术研发人员：李小龙,洪挺
受保护的技术使用者：北京远舢智能科技有限公司
技术研发日：
技术公布日：2024/1/13