一种基于信息交互增强的小样本语义分割方法

本发明属于计算机视觉，具体涉及一种基于信息交互增强的小样本语义分割方法。

背景技术：

1、得益于一系列基于监督的卷积神经网络架构的快速发展，深度学习在语义分割方便取得了重大进展。然而，大多数的模型采用全监督学习的方案进行学习，模型的性能不仅要依赖标记数据的质量和数量，而且在分割未知类别上的泛化能力差。特别对于密集型预测任务，数据的收集和标注需要消耗大量的时间和成本。在此背景下小样本学习技术被专家学者引入到语义分割之中，小样本语义分割方法应运而生，有效缓解了上述问题。

2、小样本语义分割是利用若干张包含相同类别的支持图像及其掩膜对查询图像中的目标物体进行分割。因此，如何有效的提取并利用支持图像提供的信息，来指导查询图像的分割，是影响小样本语义分割性能的一个关键因素。目前最流行的是基于原型的结构，通过对支持图像中目标区域进行掩膜平均池化，提取出具有代表性的原型，利用得到的原型与查询图像进行特征匹配来指导目标对象的分割。这种方法也被证明是有效的，如pfenet、panet、asgnet等。但是这种方法也存在不足之处，由于生成的支持原型单一缺乏空间信息，当支持和查询图像中目标物体的外观或者形状存在较大差异时，直接使用原型会导致语义模糊的问题，造成对目标物体分割不准确。虽然有的方法生成了多个类别的原型，如pmms、pam，但是它们在支持原型与查询特征进行像素级特征匹配过程中却不是最好的，并且没有考虑到充分利用支持图像和查询图像包含的语义信息进行交互以弥补类内差异、增加模型的泛化能力。

3、因此，有必要提供一种尽可能充分利用支持图像与查询图像语义信息、增强两者信息交互、增强模型鲁棒性的小样本语义分割方法。

技术实现思路

1、针对现有技术存在的不足，本发明提出了一种基于信息交互增强的小样本语义分割方法，该方法包括：

2、s1：获取支持图像以及对应的真值掩码、带分割的查询图像；

3、s2：采用resnet作为骨干特征提取网络对支持图像和查询图像进行处理，得到支持中级特征、支持高级特征、查询中级特征和查询高级特征；

4、s3：采用查询先验生成模块对支持图像的真值掩码、支持中级特征、支持高级特征和查询高级特征进行处理，得到查询先验掩码和支持原型特征向量；

5、s4：采用引导注意力模块对支持图像的真值掩码和支持中级特征进行处理，得到注意力特征图；

6、s5：采用空间信息交互注意力模块对支持图像的真值掩码、支持中级特征和查询中级特征进行处理，得到最终查询特征；

7、s6：将查询先验掩码、支持原型特征向量、注意力特征图和最终查询特征输入到多尺度融合网络中进行处理，得到精细化查询特征；

8、s7：将细化查询特征输入到解码器中进行处理，得到查询图像的预测分割结果。

9、优选的，步骤s3具体包括：

10、将支持高级特征与支持图像的真值掩码进行哈达玛乘积之后再与查询高级特征进行像素级的余弦相似度计算，得到查询先验掩码；

11、将支持中级特征与支持图像的真值掩码进行掩膜平均池化，得到支持原型特征向量。

12、进一步的，得到支持原型特征向量的公式为：

13、

14、其中，vs表示支持原型特征向量，ζ表示调整ms大小与大小匹配的函数，ms表示支持图像对应的真值掩码，表示支持中级特征，⊙表示哈达玛乘积，map(·)表示掩膜平均池化操作。

15、优选的，步骤s4具体包括：

16、将支持中级特征与支持图像的真值掩码进行掩膜平均池化，得到支持原型特征向量；

17、对支持原型特征向量进行卷积操作和特征激活，得到注意力向量；

18、将支持中级特征和注意力向量进行哈达玛乘积，得到注意力特征图。

19、优选的，步骤s5具体包括：

20、将支持图像的真值掩码和支持中级特征进行哈达玛乘积，得到支持特征；

21、对支持特征进行线性映射，得到支持线性特征；对查询中级特征进行线性映射，得到第一查询线性特征和第二查询线性特征；

22、将支持线性特征和第一查询线性特征进行矩阵乘法计算，得到亲和矩阵；

23、将亲和矩阵与第二查询线性特征进行矩阵乘法计算，并与查询中级特征作残差连接，得到第一查询特征；

24、对第一查询特征在通道维度上分别进行平均池化和最大池化操作，拼接两种池化特征，得到拼接特征；

25、对拼接特征进行卷积操作和特征激活，得到空间注意力图；

26、将空间注意力图和查询中级特征进行哈达玛乘积，得到第二查询特征；

27、融合第一查询特征和第二查询特征，得到最终查询特征；

28、进一步的，融合第一查询特征和第二查询特征的公式为：

29、

30、其中，表示最终查询特征，表示第一查询特征，表示第二查询特征，表示拼接操作，f1×1(·)表示卷积核大小为1×1卷积操作。

31、优选的，步骤s6具体包括：

32、对最终查询特征和注意力特征图进行下采样，得到4种不同尺度的新查询特征和4种不同尺度的新注意力特征图；

33、将支持原型特征向量扩展成与4种不同尺度的新查询特征的形状相同，得到4种不同尺度的新支持原型特征向量；

34、将查询先验掩码调整成与4种不同尺度的新注意力特征图的空间大小相同，得到4种不同尺度的新查询先验掩码；

35、在通道维度上拼接新查询特征、新注意力特征图、新支持原型特征向量和新查询先验掩码，将拼接结果进行卷积，得到4种不同尺度的粗略查询特征；

36、对4种不同尺度的粗略查询特征进行特征交互处理，得到4种初始精细化查询特征；

37、拼接4种初始细化查询特征，将拼接结果通过卷积进行特征融合以及降维，得到最终的精细化查询特征。

38、优选的，所述解码器包括带有残差连接的3×3卷积和一个分类器。

39、本发明的有益效果为：本发明所提供的基于信息交互增强的小样本语义分割方法，在少量标注的数据下便可以实现对目标物体进行分割，减少了数据采集、标注的时间和成本；通过高效的空间信息交互注意力网络，增强支持图像和查询图像的语义信息交互，进一步丰富了查询图像特征同时使待分割的目标类像素更加显著，从而减小类内带来的负面影响；通过支持图像的掩码对支持特征进行引导，使网络更加偏向于对类相关信息的学习，可以有效地减轻分割过程中新类信息被基类信息抑制的问题，提高了模型的泛化性；通过不同尺度的特征信息进行交互，得到的查询图像特征更加丰富和精细，有效地提高模型的准确性。

技术特征：

1.一种基于信息交互增强的小样本语义分割方法，其特征在于，包括：

2.根据权利要求1所述的一种基于信息交互增强的小样本语义分割方法，其特征在于，步骤s3具体包括：

3.根据权利要求2所述的一种基于信息交互增强的小样本语义分割方法，其特征在于，得到支持原型特征向量的公式为：

4.根据权利要求1所述的一种基于信息交互增强的小样本语义分割方法，其特征在于，步骤s4具体包括：

5.根据权利要求1所述的一种基于信息交互增强的小样本语义分割方法，其特征在于，步骤s5具体包括：

6.根据权利要求5所述的一种基于信息交互增强的小样本语义分割方法，其特征在于，融合第一查询特征和第二查询特征的公式为：

7.根据权利要求1所述的一种基于信息交互增强的小样本语义分割方法，其特征在于，步骤s6具体包括：

8.根据权利要求1所述的一种基于信息交互增强的小样本语义分割方法，其特征在于，所述解码器包括带有残差连接的3×3卷积和一个分类器。

技术总结
本发明属于计算机视觉技术领域，具体涉及一种基于信息交互增强的小样本语义分割方法；包括：获取支持图像以及对应的真值掩码、带分割的查询图像；采用ResNet对支持图像和查询图像进行处理，得到支持中、高级特征和查询中、高级特征；采用查询先验生成模块、引导注意力模块、空间信息交互注意力模块对支持图像的真值掩码、支持中级特征、支持高级特征、查询中级特征和查询高级特征进行处理，得到四种输出特征；将三个模块的四种输出特征输入到多尺度融合网络中进行处理，得到精细化查询特征；将细化查询特征输入到解码器中进行处理，得到查询图像的预测分割结果；本发明能够使模型更加具有鲁棒性，更好的对目标对象进行分割。

技术研发人员：王诗言,谢博,张驰,徐慧玲,王译苹
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/3/21