一种多模态数据处理方法、电子设备和存储介质

本发明涉及计算机技术应用领域，特别是涉及一种多模态数据处理方法、电子设备和存储介质。

背景技术：

1、在一些应用场景中，需要对目标环境下的多模态数据进行处理，例如，需要对非图像形式的模态数据和图像形式的模态数据进行融合操作，以获得所需要的数据。现有的多模态数据处理方案中，非图像形式的模态数据会存在噪声，使得与图像形式的模态数据很难有效的融合，因此，融合效果不够理想。

技术实现思路

1、针对上述技术问题，本发明采用的技术方案为：

2、根据本发明第一方面，提供了一种多模态数据处理方法，所述方法包括如下步骤：

3、s100，获取多模态数据，所述多模态数据包括非图像形式的第一模态数据和图像形式的第二模态数据。

4、s200，对所述第一模态数据进行第一模态编码，得到第一模态数据对应的第一模态编码数据fc1，以及对所述第二模态数据进行第二模态编码，得到第二模态数据对应的第二模态编码数据fp1，并对fc1和fp1进行融合操作，得到对应的中间融合数据fm1；设置变量r=1。

5、s300，如果r≤（m-1），执行s400，如果r=m，执行s600；m为预设次数阈值。

6、s400，对第r中间融合数据fmr进行第一模态编码，得到对应的第一模态编码数据fmer，以及对第r第二模态编码数据fpr进行第二模态编码，得到对应的第二模态编码数据fper。

7、s500，对fmer和fpr进行融合操作，得到对应的中间融合数据fmr；设置r=r+1；执行s300。

8、s600，对fmr进行第一模态解码，得到对应的第一模态解码数据fcd，以及对fpr进行第二模态解码，得到对应的第二模态解码数据fpd。

9、s700，对fcd和fpd进行融合操作，得到多模态融合数据。

10、其中，第一模态编码至少包括对第一模态数据进行数据增强处理。

11、根据本发明第二方面，提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行本发明第一方面所述的方法。

12、根据本发明第三方面，提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机指令用于执行本发明第一方面所述的方法。

13、本发明至少具有以下有益效果：

14、本发明实施例提供的多模态数据处理方法，通过对第一模态数据进行数据增强，以减少第一模态数据中的噪声，从而能够与第二模态数据更好的融合，进而提高融合效果。

15、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种多模态数据处理方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，第一模态编码包括：

3.根据权利要求2所述的方法，其特征在于，所述第一模态数据为点云数据。

4.根据权利要求3所述的方法，其特征在于，s12具体包括：

5.根据权利要求1所述的方法，其特征在于，还包括如下步骤：

6.根据权利要求3所述的方法，其特征在于，所述融合操作包括：

7.根据权利要求6所述的方法，其特征在于，s24具体包括：

8.根据权利要求6所述的方法，其特征在于，s26具体包括：

9.一种电子设备，其特征在于，包括处理器和存储器；

10.一种非瞬时性计算机可读存储介质，其特征在于，所述非瞬时性计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至8任一项所述方法的步骤。

技术总结
本发明涉及计算机技术应用领域，特别是涉及一种多模态数据处理方法、电子设备和存储介质，包括：对第一模态数据和第二模态数据分别进行第一模态编码和第二模态编码，其中，第一模态数据编码后的数据跟第二模态数据编码后的数据进行融合之后作为下一次第一模态编码的输入，在达到预设编码次数之后，第一模态数据和第二模态数据的编码后的数据解码后再次进行融合，得到最终的融合数据，其中，在第一模态编码过程中，会对第一模态数据进行数据增强操作。本发明能对第一模态数据进行数据增强，能够使得第一模态数据和第二模态数据更好的融合。

技术研发人员：冯霞,梁宇龙,左海超,卢敏,吕宗磊
受保护的技术使用者：中国民航大学
技术研发日：
技术公布日：2024/4/22