图像语义分割方法和装置与流程

本发明涉及计算机，尤其涉及一种图像语义分割方法和装置。

背景技术：

1、图像语义分割技术指的是将一张图像中的不同物体划分成不同的区域，每个区域都互不重叠并拥有自己的特征或相似性。在深度学习还未兴起之前，图像分割方法一般使用基于边缘检测的分割方法、基于阈值的分割方法以及基于区域的分割方法等传统图像语义分割方法。随着大数据时代的推进和深度学习的发展，基于深度学习的图像语义分割方法成为了主流，但现有的基于深度学习的图像语义分割方法往往准确率不高。

技术实现思路

1、有鉴于此，本发明实施例提供一种图像语义分割方法和装置，能够较准确地对图像进行语义分割。

2、第一方面，本发明实施例提供了一种图像语义分割方法，包括：

3、获取待分割图像；

4、确定所述待分割图像的结果特征图，所述结果特征图用于表征所述待分割图像的语义信息；

5、确定所述待分割图像的多个尺度特征图，并利用所述多个尺度特征图，生成所述待分割图像的融合特征图；

6、根据所述结果特征图和所述融合特征图，得到所述待分割图像的增强特征图；

7、利用所述增强特征图，得到所述待分割图像的图像语义分割结果。

8、可选地，所述确定所述待分割图像的结果特征图，包括：

9、利用骨干网络，确定所述待分割图像的输出特征图；

10、确定多个目标空洞卷积核；

11、针对每个所述目标空洞卷积核：利用所述目标空洞卷积核，对所述输出特征图进行卷积处理，得到空洞特征图；

12、根据多个所述空洞特征图，生成所述待分割图像的结果特征图。

13、可选地，所述根据多个所述空洞特征图，生成所述待分割图像的结果特征图，包括：

14、对所述输出特征图进行池化处理，得到所述待分割图像的池化特征图；

15、拼合多个所述空洞特征图及所述池化特征图，生成所述待分割图像的结果特征图。

16、可选地，所述利用所述多个尺度特征图，生成所述待分割图像的融合特征图，包括：

17、根据分辨率的大小，按照从小到大的顺序，对所述多个尺度特征图进行排序；

18、从所述多个尺度特征图中，确定出分辨率最小的尺度特征图作为当前特征图；

19、从排序后的多个尺度特征图中，确定出所述当前特征图的后一特征图；

20、对所述当前特征图进行上采样处理，以使处理后的当前特征图的分辨率与所述后一特征图的分辨率相等；

21、将所述处理后的当前特征图与所述后一特征图进行合并处理，并将合并结果确定为所述后一特征图的输出特征图；

22、根据所述后一特征图的输出特征图，生成所述待分割图像的融合特征图。

23、可选地，所述根据所述后一特征图的输出特征图，生成所述待分割图像的融合特征图，包括：

24、将所述后一特征图确定为当前特征图；

25、从排序后的多个尺度特征图中，确定出所述当前特征图的后一特征图；

26、对所述当前特征图的输出特征图进行上采样处理，以使处理后的输出特征图的分辨率与所述后一特征图的分辨率相等；

27、将所述处理后的输出特征图与所述后一特征图进行合并处理，并将合并结果确定为所述后一特征图的输出特征图；

28、以此类推，直至得到所述多个尺度特征图中分辨率最大的尺度特征图的输出特征图；

29、将所述分辨率最大的尺度特征图的输出特征图，确定为所述待分割图像的融合特征图。

30、可选地，所述根据所述结果特征图和所述融合特征图，得到所述待分割图像的增强特征图，包括：

31、对所述结果特征图进行下采样处理；

32、将下采样处理后的结果特征图与所述融合特征图进行拼接处理，以生成所述待分割图像的增强特征图。

33、可选地，所述利用所述增强特征图，得到所述待分割图像的图像语义分割结果，包括：

34、将所述增强特征图输入至注意机制模块，得到所述待分割图像的注意力特征图，所述注意机制模块包括：通道注意力模块和/或空间注意力模块，所述通道注意力模块用于对所述增强特征图在空间维度上进行压缩，所述空间注意力模块用于对所述增强特征图在通道维度上进行压缩；

35、利用所述注意力特征图，得到所述待分割图像的图像语义分割结果。

36、第二方面，本发明实施例提供了一种图像语义分割装置，包括：

37、图像获取模块，用于获取待分割图像；

38、第一确定模块，用于确定所述待分割图像的结果特征图，所述结果特征图用于表征所述待分割图像的语义信息；

39、第二确定模块，用于确定所述待分割图像的多个尺度特征图，并利用所述多个尺度特征图，生成所述待分割图像的融合特征图；

40、增强模块，用于根据所述结果特征图和所述融合特征图，得到所述待分割图像的增强特征图；

41、语义分割模块，用于利用所述增强特征图，得到所述待分割图像的图像语义分割结果。

42、第三方面，本发明实施例提供了一种电子设备，包括：

43、一个或多个处理器；

44、存储装置，用于存储一个或多个程序，

45、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。

46、第四方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。

47、上述发明中的一个实施例具有如下优点或有益效果：现有技术中的基于深度学习的图像语义分割方法，通常只是直接将编码各个阶段的特征信息输出到解码阶段，忽略了图像在浅层卷积阶段与深层卷积阶段产生的融合特征信息带来的影响。

48、本发明实施例的方案中，利用待分割图像的多个尺度特征图，生成待分割图像的融合特征图。多个尺度特征图中可包括图像在浅层卷积阶段和深层卷积阶段的特征信息。利用待分割图像的多个尺度特征图，生成待分割图像的融合特征图。融合特征图中包括图像在浅层卷积阶段与深层卷积阶段产生的融合特征信息。根据待分割图像的结果特征图和融合特征图生成增强特征图。由于增强特征图中包含了图像在浅层卷积阶段与深层卷积阶段产生的融合特征信息，利用增强特征图，能够较准确地对图像进行语义分割。

49、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

技术特征：

1.一种图像语义分割方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述待分割图像的结果特征图，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据多个所述空洞特征图，生成所述待分割图像的结果特征图，包括：

4.根据权利要求1所述的方法，其特征在于，所述利用所述多个尺度特征图，生成所述待分割图像的融合特征图，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述后一特征图的输出特征图，生成所述待分割图像的融合特征图，包括：

6.根据权利要求1所述的方法，其特征在于，所述根据所述结果特征图和所述融合特征图，得到所述待分割图像的增强特征图，包括：

7.根据权利要求1所述的方法，其特征在于，所述利用所述增强特征图，得到所述待分割图像的图像语义分割结果，包括：

8.一种图像语义分割装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

技术总结
本发明公开了一种图像语义分割方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待分割图像；确定所述待分割图像的结果特征图；确定所述待分割图像的多个尺度特征图，并利用所述多个尺度特征图，生成所述待分割图像的融合特征图；根据所述结果特征图和所述融合特征图，得到所述待分割图像的增强特征图；利用所述增强特征图，得到所述待分割图像的图像语义分割结果。该实施方式能够较准确地对图像进行语义分割。

技术研发人员：张雷,马泽国,冯玉敏
受保护的技术使用者：北京沃东天骏信息技术有限公司
技术研发日：
技术公布日：2024/1/14