一种多层级边缘增强融合的伪装目标分割方法

本发明属于计算机视觉，具体涉及一种多层级边缘增强融合的伪装目标分割方法。

背景技术：

1、伪装目标分割是近年来计算机视觉新兴的一个领域，也是计算机视觉分割任务的一个重要分支，在近年来受到许多研究者的关注。伪装目标指的是那些与背景高度相似，或被背景所遮挡的对象，他们通常会与环境巧妙的融合在一起，让自身的颜色，姿态等与环境高度相似，从而使自身伪装起来，使他们难以被发现。例如，生活在沙漠中的变色龙，冰层上的北极熊以及穿着迷彩服的士兵等，他们都被称为是伪装目标。而伪装目标分割旨在检测出在视觉场景的伪装目标，并将他们与背景分割开来，提取出有用的伪装目标信息。伪装目标分割可以被用于许多应用，除本身具有的科学研究价值外，还可以用于计算机视觉(用于搜救工作，珍惜动物的发现)，医学图像分割(如息肉分割，肺部感染分割，视网膜图像分割)，农业(灾害检测，蝗虫检测)，艺术(逼真混合，娱乐艺术)，军事勘察等。现有的伪装目标分割方法已有几十种，早期的伪装目标分割效果不好，并且工作量较大。最近几年由于深度学习的发展，基于深度学习所提出的方法大大提升了分割效果。早期的伪装目标识别任务是采用启发式先验特征提取来生成分割图。这些先验特征一般包括颜色对比、纹理信息和中心先验等。然而，这些手工特征的提取难度较大、先验特征的选取具有很强的主观性，并且难以获取到语义信息与内容信息之间的联系，在现实场景下，这些方法往往会失效，并且泛化性能较低。在最近几年，为了解决这一问题，基于深度学习的伪装目标分割方法逐渐被提出，并展现出了卷积神经网络出色的性能。这些基于深度学习网络的模型框架通常以resnet,vggnet,以及transformer为骨干网络，这些骨干网络能够提取不同尺度下的图像特征，并且能提取高层次下的语义信息，从而能够挖掘出图像中更为有效的特征，最后再通过不同模块之间的融合以及图像还原，来生成最后的伪装目标的分割图像。

2、尽管上述等方法在伪装目标分割上取得了良好的效果与提升，但是大多数方法在面对一些具有挑战性的场景的情况下，它们的检测性能会下降。主要是由于：一、高层的特征图提取网络的层数过深，以及池化层的使用，会让特征图损失掉部分高层语义信息，导致检测结果不理想，并且，高层语义信息在向浅层网络传递时，浅层网络获取到的高级语义信息不足，从而导致网络的检测能力下降，全局信息的获取不足成为了一个问题，如何减少高层次语义信息的丢失成为了探索的新方向；二、骨干网络提取的特征图充满了噪声。三、由于边缘的缺失或伪装目标边缘与环境的高度融合，现有的方法常常很难完整的将伪装目标分割开来，不能很好的克服边缘模糊的问题。对于伪装目标来说，前景和背景高度相似，伪装目标与背景之间的高度相似性使得在提取特征时图像噪声更多，边界信息提取困难，并且尺度信息获取较少，这使得多尺度特征在进行融合时也将噪声加入进去，使得融合不充分，导致性能下降问题。综上所述，本课题针对伪装目标检测方法存在的问题，对现有的方法在全局信息获取不充分，浅层网络获取全局信息较少，多尺度特征融合不充分，上下文信息提取不充分等导致伪装目标分割性能不佳的问题，利用深度学习方法，开展在多层次特征融合与高层次特征提取优化方面的伪装目标分割方法的研究，对于伪装目标分割在计算机视觉领域方面的发展有着重要意义。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种多层级边缘增强融合的伪装目标分割方法解决了现有方法由于边缘的缺失或伪装目标边缘与环境的高度融合，难以完整的将伪装目标分割开来，导致边缘模糊的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：一种多层级边缘增强融合的伪装目标分割方法，包括以下步骤：

3、s1、提取输入图像的多层次特征，所述多层次特征包括第二～第五特征，将第二～第五特征输入边缘提取模块，得到边缘特征；

4、s2、将第二～第五特征输入残差纹理增强模块，得到精细化的第二～第五特征；

5、s3、将第五特征输入金字塔池化模块，得到全局先验信息；

6、s4、将边缘特征、精细化的第二～第五特征和全局先验信息输入边缘引导融合模块，通过边缘引导融合模块进行自上而下地融合操作，得到最终的伪装目标预测结果，完成伪装目标分割。

7、进一步地：所述s1中，通过res2net-50网络提取输入图像的多层次特征，所述第二～第五特征的通道数分别为256、512、1024和2048。

8、进一步地：所述s1中，得到边缘特征fe的表达式具体为：

9、

10、式中，fo为集成特征，其通过第二～第五特征集成得到，conv1×1为1×1卷积操作，为相乘操作，σ为sigmoid函数，gap(·)为全局平均池化操作，conv1d(·)为卷积核为k的一维卷积操作，k为自适应卷积核大小，其表达式具体为下式：

11、

12、式中，c为设定的通道数，|·|odd为取最近的奇数通式。

13、上述进一步方案的有益效果为：本发明计算边缘特征的方法考虑局部通道注意力，突出关键通道，从而去除了冗余的通道与噪声，具有更小的复杂性，对于在充满噪声的特征中的探索有效的边缘语义起到了关键性作用。

14、进一步地：所述集成特征fo的表达式具体为：

15、fo＝conv3×3(cat(f′2,f′3,f′4,f′5))

16、f′2＝conv1×1(f2)

17、f′3＝up(conv1×1(f3))

18、f′4＝up(conv1×1(f4))

19、f′5＝up(conv1×1(f5))

20、式中，cat(·)为拼接操作，conv3×3为3×3卷积操作，up(·)为上采样操作，f2为第二特征，f3为第三特征，f4为第四特征，f5为第五特征，f′2为通道数为64的第二特征，f′3为通道数为64的第三特征，f′4为通道数为64的第四特征，f′5为通道数为64的第五特征。

21、进一步地：所述s2中，残差纹理增强模块包括主分支和第一～第四负分支，其中，所述主分支和第一负分支的输入为输入特征，所述第二～第四负分支的输入为前一个负分支上采样后的输出与输入特征的相加结果；

22、其中，所述输入特征为第二特征、第三特征、第四特征或第五特征；

23、得到精细化的第二～第五特征的方法具体为得到精细化的输入特征的方法，其具体为：

24、将第一～第四负分支的输出进行拼接后，将拼接结果进行3×3卷积并与组分支的输出相加，将相加结果输入至relu函数，得到精细化的输入特征。

25、上述进一步方案的有益效果为：由于骨干网络使用大量的卷积运算，无法提取包含丰富上下文信息的特征，不利于伪装目标的分割，所以在使用骨干网络提取的特征时，需要先进行特征的精细化，因此本发明在tem的基础上设计残差纹理增强模块对骨干网络的特征进行精细化，以在后续的融合中提供更有效的先验信息。

26、进一步地：所述第一～第四负分支的扩张率分别为1、3、5和7；

27、所述主分支和第一负分支均设置有1×1卷积；

28、所述第二负分支包括依次连接的1×1卷积、1×3卷积、3×1卷积和3×3卷积；

29、所述第三负分支包括依次连接的1×1卷积、1×5卷积、5×1卷积和5×5卷积；

30、所述第四负分支包括依次连接的1×1卷积、1×7卷积、7×1卷积和7×7卷积。

31、进一步地：所述s4中，所述边缘引导融合模块进行第一～第三层次的自上而下地融合操作，每个层次的自上而下地融合操作均得到对应的融合特征和伪装目标预测结果；

32、所述s4包括以下分步骤：

33、s41、将边缘特征和全局先验信息输入边缘引导融合模块，将精细化的第四特征和精细化的第五特征分别作为低分辨率特征和高分辨率特征输入边缘引导融合模块，进行第一层次的自上而下地融合操作，得到第一层次的融合特征，并将其作为第一伪装目标预测；

34、s42、将边缘特征和全局先验信息输入边缘引导融合模块，将精细化的第三特征和第一层次的融合特征分别作为低分辨率特征和高分辨率特征输入边缘引导融合模块，进行第二层次的自上而下地融合操作，得到第二层次的融合特征，并将其作为第二伪装目标预测；

35、s43、将边缘特征和全局先验信息输入边缘引导融合模块，将精细化的第二特征和第二层次的融合特征分别作为低分辨率特征和高分辨率特征输入边缘引导融合模块，进行第三层次的自上而下地融合操作，得到第三层次的融合特征，并将其作为第三伪装目标预测；

36、s44、将第三伪装目标预测作为最终的伪装目标预测结果，完成伪装目标分割。

37、上述进一步方案的有益效果为：边缘引导融合模块用于将所提取到的边缘特征融入到网络中指导学习，以及融合不同层次的特征。边缘引导融合模块能够融合不同层次的特征，利用多尺度信息缓解不同先验信息融合时候带来的尺度变化，使聚合后的特征更加平滑，得到一个最综合的特征表示，从而增强伪装目标分割能力。

38、进一步地：进行所述第一～第三层次的自上而下地融合操作的方法相同，其具体为：

39、sa1、根据边缘特征、低分辨率特征和高分辨率特征计算边缘增强后的特征；

40、sa2、根据边缘增强后的特征、全局先验信息、低分辨率特征和高分辨率特征计算融合特征，完成第一～第三层次的自上而下地融合操作。

41、进一步地：所述sa1中，计算边缘增强后的特征f′e的表达式具体为：

42、

43、式中，fl为低分辨率特征，fh为高分辨率特征，up(·)为上采样操作，⊕为相加操作，fe为边缘特征；

44、所述sa2中，计算融合特征fb的表达式具体为：

45、

46、式中，fp为全局先验信息，为相减操作，为相乘操作，conv3×3(·)为3×3卷积操作，m(·)为多尺度通道注意力模块。

47、进一步地：所述s4中，边缘引导融合模块进行自上而下地融合操作受到真值图的监督，所述真值图的监督的损失函数ltotal的表达式具体为：

48、

49、式中，为加权二值交叉熵损失，为加权交并比损失，ldice(·)为dice损失，p2为第一伪装目标预测，p3为第二伪装目标预测，p4为第三伪装目标预测，pe为边缘预测，g为真值图，ge为边缘真值图，为权衡参数。

50、本发明的有益效果为：本发明提供了一种多层级边缘增强融合的伪装目标分割方法，利用边缘特征指导学习，显著提高伪装目标检测的性能，通过残差纹理增强模块来细化骨干特征，通过边缘提取模块来获取边缘特征，最后通过边缘引导融合模块来融合边缘特征与全局先验信息，使最后的结果边缘更加精细，结构更加完整，能够完整的将伪装目标分割开来，避免边缘模糊。在三个具有挑战性的基准数据集上进行的大量实验表明，在四个广泛使用的评估指标下，本发明的伪装目标分割方法优于近年来多个前沿模型的预测结果，取得了先进的效果。