图像处理方法及相关设备与流程

本申请涉及图像处理和人工智能，具体而言，本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术：

1、在图像处理技术中，姿态估计、图像分割、对象识别等属于较为重要的研究方向。在现有技术中，一般仅采用单一模态的信息来进行图像处理。然而，面对复杂的实例，采用单一模态的信息进行图像处理，往往导致处理结果的精度非常低。

技术实现思路

1、本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，可以解决相关技术中图像处理结果精度低的技术问题。所述技术方案如下：

2、根据本申请实施例的一个方面，提供了一种图像处理方法，该方法包括：

3、基于彩色图像和深度图像，获取三维特征信息和二维特征信息；

4、基于注意力机制，融合所述三维特征信息和二维特征信息，得到融合特征信息；

5、基于所述融合特征信息进行图像处理。

6、根据本申请实施例的另一个方面，提供了一种图像处理装置，该装置包括：

7、获取模块，用于基于彩色图像和深度图像，获取三维特征信息和二维特征信息；

8、融合模块，用于基于注意力机制，融合所述三维特征信息和二维特征信息，得到融合特征信息；

9、处理模块，用于基于所述融合特征信息进行图像处理。

10、根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括：

11、一个或多个处理器；

12、存储器；

13、一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于：执行上述图像处理方法。

14、根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，所述计算机存储介质用于存储计算机指令，当所述计算机指令在计算机上运行时，使得计算机可以执行上述图像处理方法。

15、根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述图像处理方法的步骤。

16、本申请实施例提供的技术方案带来的有益效果是：

17、本申请提供一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，具体地，本申请针对输入图像，首先基于输入图像的彩色图像和深度图像获取三维特征信息和二维特征信息，继而将三维特征和二维特征信息进行特征融合后，可以得到融合特征信息，其中，特征融合采用注意力机制实现；进而，基于融合特征信息进行图像处理；该方案的实施通过特征融合获得多模态的融合特征信息，以实现基于多模态信息的图像处理，相对于基于单一模态信息的图像处理，本申请方案的实施有利于提高图像处理的精度。另外，在一些特定的场景，如增强现实的应用场景，本方案的实施还有利于提高对三维信息的感知能力，进而提高系统的处理效率和鲁棒性。

技术特征：

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于注意力机制，融合所述三维特征信息和二维特征信息，得到融合特征信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于注意力机制，针对至少一个尺度的三维特征信息和至少一个尺度的二维特征信息进行融合，得到融合特征信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于注意力机制，融合所述三维特征信息和二维特征信息，得到融合特征信息，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于注意力机制，根据所述点云体素特征信息、体素位置特征信息和/或第一图像体素特征信息进行特征融合，得到融合特征信息，包括以下其中一项：

6.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征信息进行图像处理，包括以下至少一项：

7.根据权利要求6所述的方法，其特征在于，所述基于所述融合特征信息进行形状重建和/或分割，包括：

8.一种图像处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当所述计算机指令在计算机上运行时，使得计算机可以执行上述权利要求1至7中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

技术总结
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及图像处理和人工智能技术领域。其中，图像处理方法包括：基于彩色图像和深度图像，获取三维特征信息和二维特征信息；基于注意力机制，融合三维特征信息和二维特征信息，得到融合特征信息；基于融合特征信息进行图像处理。该方法的实施通过多模态信息进行图像处理，有利于提高图像处理的精度。同时，由电子设备执行的上述图像处理方法可以使用人工智能模型来执行。

技术研发人员：汪昊,李炜明,王强,金知姸,张现盛,洪性勋
受保护的技术使用者：北京三星通信技术研究有限公司
技术研发日：
技术公布日：2024/1/12