一种图像处理方法、装置、电子设备、芯片及介质与流程

本公开涉及计算机视觉领域，尤其涉及一种图像处理方法、装置、电子设备、芯片及 介质。

背景技术：

1、随着图像处理数据量的激增，人们对机器对图像的理解和识别能力提出了更高的要 求。越来越多的应用场景需要更高效率和精度的图像处理技术。

2、图像处理中一个重要的基本问题是图像分割，其关系着智能系统对应用场景的理解能 力，在自动驾驶、无人机应用、增强现实、安防和遥感测控等应用中具有重要作用。图像 语义分割的目标是在像素级别理解图像，即为图像中的每个像素分配一个对象类。

3、目前的图像语义分割技术大多是基于深度神经网络的算法。现有的图像语义处理算法 如ppm,dappm等，针对语义分割主干网络中最小尺度的特征图进行语义信息提取，得到丰富的上下文语义信息。这些方法着重于从最小尺寸的特征图上获取全局信息，但忽略了对其他尺度的特征图携带的图像语义信息的探究，图像语义分割的性能受到限制。

技术实现思路

1、本公开提供一种图像处理方法、装置、电子设备、芯片及介质，以解决相关技术中的 问题，通过对不同尺度的语义信息进行融合，获得有丰富语义信息的特征图，提高分割算 法的性能。

2、本公开的第一方面实施例提出了一种图像处理方法，该方法包括：获取初始图像，提 取初始图像的不同尺度的多个语义特征；将不同尺度的多个语义特征进行串联，得到初始 图像的串联特征图；将串联特征图输入至语义特征融合模型进行融合处理，得到初始图像 的语义信息；对语义信息进行解码处理，得到初始图像的对应分割图像。

3、在本公开的一些实施例中，获取初始图像，提取初始图像的不同尺度的多个语义特征 包括：获取初始图像对应的初始特征图；使用平均池化算子，对初始特征图进行不同尺度 的下采样，得到初始图像的不同尺度的多个语义特征。

4、在本公开的一些实施例中，将串联特征图输入至语义特征融合模型进行融合处理，得 到初始图像的语义信息包括：将串联特征输入至第一融合模型，得到第一融合结果，其中， 第一融合模型为多头注意力模型；将第一融合结果输入第二融合模型，得到第二融合结果， 其中，第二融合模型为前馈网络，前馈网络具有两个全连接卷积层和一个可分离卷积层， 且可分离卷积层位于全连接卷积层中间；减少第二融合结果的语义信息通道个数，得到初 始图像的语义信息。

5、在本公开的一些实施例中，将串联特征输入至第一融合模型，得到第一融合结果，以 及将第一融合结果输入第二融合模型，得到第二融合结果时，该方法还包括：使用残差网 络对语义信息进行语义增强处理。

6、在本公开的一些实施例中，对语义信息进行解码处理，得到初始图像对应的分割图像 包括：基于语义信息，使用分类器对初始图像的每一个像素进行分类处理，得到初始图像 对应的分割图像。

7、本公开的第二方面实施例提出了一种图像处理模型训练方法，该方法包括：获取图像 训练数据，其中，图像训练数据中包含预定类别的多个图像；提取图像训练数据的语义信 息，其中，语义信息为多个尺度的语义特征串联得到的；将语义信息输入图像处理模型， 对图像处理模型进行训练。

8、本公开的第三方面实施例提出了一种图像处理装置，该装置包括：获取模块，用于获 取初始图像，提取初始图像的不同尺度的多个语义特征；串联模块，用于将不同尺度的多 个语义特征进行串联，得到初始图像的串联特征图；融合模块，用于将串联特征图输入至 语义特征融合模型进行融合处理，得到初始图像的语义信息；解码模块，用于对语义信息 进行解码处理，得到初始图像对应的分割图像。

9、本公开的第四方面实施例提出了一种电子设备，包括：至少一个处理器；以及与至少 一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指 令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例或第二方 面实施例中描述的方法。

10、本公开的第五方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介 质，其中，计算机指令用于使计算机执行本公开第一方面实施例或第二方面实施例中描述 的方法。

11、本公开的第六方面实施例提出了一种计算机程序产品，包括计算机程序，计算机程序 在被处理器执行时实现本公开第一方面实施例或第二方面实施例中描述的方法。

12、本公开的第七方面实施例提出了一种芯片，该芯片包括一个或多个接口电路和一个或 多个处理器；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包 括存储器中存储的计算机指令，当处理器执行计算机指令时，使得电子设备执行本空开第 一方面实施例或第二方面实施例中描述的方法。

13、综上，根据本公开提出的图像处理方法，获取初始图像，提取初始图像的不同尺度的 多个语义特征，将不同尺度的多个语义特征进行串联，得到初始图像的串联特征图，将串 联特征图输入至语义特征融合模型进行融合处理，得到初始图像的语义信息，对语义信息 进行解码处理，得到初始图像的对应分割图像，通过对网络中不同尺度的语义信息进行融 合，充分利用图像分割模型生成的各级语义特征，使最终生成的语义特征图具有更加丰富 的语义信息，改善了分割性能。

14、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限 制本公开。

技术特征：

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取初始图像，提取所述初始图像的不同尺度的多个语义特征包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述串联特征图输入至语义特征融合模型进行融合处理，得到所述初始图像的语义信息包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述串联特征输入至第一融合模型，得到第一融合结果，以及将所述第一融合结果输入第二融合模型，得到第二融合结果时，所述方法还包括：

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述对所述语义信息进行解码处理，得到所述初始图像对应的分割图像包括：

6.一种图像处理模型训练方法，其特征在于，所述方法包括：

7.一种图像处理装置，其特征在于，所述装置包括：

8.一种电子设备，其特征在于，包括：

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-5或权利要求6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5或权利要求6中任一项所述的方法。

11.一种芯片，其特征在于，包括一个或多个接口电路和一个或多个处理器；所述接口电路用于从电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的计算机指令，当所述处理器执行所述计算机指令时，使得所述电子设备执行权利要求1-5或权利要求6中任一项所述的方法。

技术总结
本公开提供一种图像处理方法、装置、电子设备、芯片及介质，涉及计算机视觉领域。该图像处理方法包括：获取初始图像，提取初始图像的不同尺度的多个语义特征，将不同尺度的多个语义特征进行串联，得到初始图像的串联特征图，将串联特征图输入至语义特征融合模型进行融合处理，得到初始图像的语义信息，对语义信息进行解码处理，得到初始图像的对应分割图像，通过对网络中不同尺度的语义信息进行融合，充分利用图像分割模型生成的各级语义特征，使最终生成的语义特征图具有更加丰富的语义信息，改善了分割性能。

技术研发人员：汪松,韩炳男,伦朝林,尹玄武
受保护的技术使用者：上海玄戒技术有限公司
技术研发日：
技术公布日：2024/3/12