基于双分支嵌入信息交互的渐进监督语义分割网络及方法

本发明涉及图像数据处理，具体涉及一种基于双分支嵌入信息交互的渐进监督语义分割网络及方法。

背景技术：

1、图像语义分割作为计算机视觉领域中的热点问题，在多个领域均有广泛的应用。图像语义分割算法包括传统语义分割算法和基于学习的语义分割算法。

2、传统语义分割算法通常基于特定的特征与分类器，例如基于阈值的方法其目标分割指标过于单一，缺乏通用性，而对于复杂场景图像其分割精度往往较差。传统语义分割算法的输入需要图像具有一定的分辨率、光照及对比度，对于低质量图像的分割效果较差。同时对整个图像进行像素级别的分类，针对高分辨率的图像处理速度更需进一步提升。对基于区域的分割方法，噪声的存在容易形成空白区域。对基于学习的语义分割算法，广泛使用基于卷积神经网络增大感受野的学习方法，此类方法在图像分辨率减少的同时会造成部分特征的丢失，且循环利用空洞卷积扩大感受野，会造成明显的棋盘效应，此类方法也会占用过多的运行空间，消耗大量的内存。

技术实现思路

1、本发明的目的是解决现有基于卷积神经网络的语义分割算法通常以牺牲空间细节提升分割网络的推理速度会造成明显的棋盘效应以及占用过多运行空间的不足之处，而提供一种基于双分支嵌入信息交互的渐进监督语义分割网络及方法。

2、为了解决上述现有技术所存在的不足之处，本发明提供了如下技术解决方案：

3、一种基于双分支嵌入信息交互的渐进监督语义分割网络，其特殊之处在于：包括编码器、边缘细化模块、信息交互模块、特征分类模块和辅助优化模块；

4、所述编码器包括依次连接的卷积块、a个倒置残差模块和aspp模块，aspp模块用于输出高水平上下文语义特征；a为大于3的整数；

5、所述边缘细化模块用于输出低水平空间细节特征，边缘细化模块的输入端与第三个倒置残差模块的输出端连接；

6、所述信息交互模块用于将高水平上下文语义特征嵌入低水平空间细节特征中，进而精准匹配无噪声实例边缘，使高水平上下文语义特征及低水平空间细节特征以交互方式共同作用激活特征响应，信息交互模块包括依次连接的平均池化块和提取模块，平均池化块的输入端连接aspp模块的输出端，提取模块的输出端连接边缘细化模块的输出端，用于将提取模块的输出与边缘细化模块的输出逐像素相乘；平均池化块用于基于局部面片上提取到的特征进行映射，聚合来自局部面片的上下文信息，提取模块用于对平均池化块的输出进行通道注意力的提取；

7、所述特征分类模块用于输出分类预测，特征分类模块包括第一分类器和第二分类器，第一分类器的输入端连接信息交互模块的输出端，第二分类器的输入端连接边缘细化模块的输出端；

8、所述辅助优化模块用于在训练阶段增强高水平上下文语义特征表示，辅助优化模块的输入端连接第一分类器的输出端。

9、进一步地，所述边缘细化模块包括三个卷积层，以及relu，边缘细化模块的输出如下：

10、

11、式中，s为第三个倒置残差模块的输出，表示边缘细化模块的输出；conv1、conv2和conv3分别表示三个卷积层的卷积操作。

12、进一步地，所述信息交互模块中的平均池化块的输出如下：

13、

14、式中，fhigh_c(i，j)表示第c个通道在像素点(i，j)处的高水平上下文语义特征，hp及wp表示平均池化操作滤波窗口的高度和宽度；

15、所述信息交互模块中的提取模块的输出如下：

16、ap＝σ(convi(δ(convr(fp))))

17、式中，convr和convi分别表示按预设的缩放因子进行信道压缩和信道扩充，δ和σ分别表示relu和sigmoid激活函数；

18、所述信息交互模块的输出femb如下：

19、femb＝flow×ap

20、式中，flow为低水平空间细节特征。

21、进一步地，所述第一分类器的输出oemb如下：

22、oemb＝classifier0(femb)

23、所述第二分类器的输出olow如下：

24、olow＝classifier1(flow)

25、所述特征分类模块的输出o如下：

26、o＝oemb+olow。

27、进一步地，a的取值为17。

28、进一步地，每个所述倒置残差模块包括依次连接的普通卷积块、深度卷积块、普通卷积块；第一个普通卷积块包括依次连接的卷积核为1×1的卷积层和归一化层，第二个普通卷积块包括依次连接的卷积核为1×1的卷积层、归一化层和relu6激活函数，所述深度卷积块包括依次连接的卷积核为3×3的卷积层、归一化层和relu6激活函数；

29、步长为1时，所述倒置残差模块采用残差映射；步长为2时，所述倒置残差模块中使用批归一化层加速网络收敛，每个倒置残差模块的输出端使用线性拟合操作。

30、进一步地，所述aspp模块包括依次设置的第一卷积块、扩张率分别为6、12、18的三个空洞卷积块、第二卷积块和第三卷积块；所述第一卷积块用于利用1×1卷积对特征的通道数进行调整；所述第二卷积块用于首先利用全局平均池化关注通道特征，再利用1×1卷积对通道数进行调整；第一卷积块、三个空洞卷积块和第二卷积块均含有批归一化层及relu激活函数，用于加速网络收敛同时执行非线性拟合；所述第三卷积块用于对第一卷积块、三个空洞卷积块和第二卷积块的输出按通道维度进行拼接，将拼接后的多感受野特征利用1×1卷积执行信道压缩，将特征映射回原始通道数，第三卷积块包含概率为0.1的dropout，用于防止网络过拟合。

31、同时，本发明还提供一种基于双分支嵌入信息交互的渐进监督语义分割方法，其特殊之处在于，包括如下步骤：

32、步骤1、构建上述渐进监督语义分割网络；

33、步骤2、使用训练集对步骤1构建的渐进监督语义分割网络进行训练，并使用交叉熵损失函数作为网络优化项，得到训练完成的渐进监督语义分割网络；

34、步骤3、将待处理的测试集输入步骤2得到的渐进监督语义分割网络，得到训练集样本的分类预测，完成渐进监督语义分割。

35、进一步地，步骤2中，所述使用交叉熵损失函数作为网络优化项具体为：

36、在训练阶段使用两个损失项进行网络优化，如下：

37、loss＝lossmain+α·lossaux

38、lossmain为主损失函数，用于最小化特征分类模块的输出o与训练集的样本标签labels间的距离，如下：

39、lossmain＝criterion(o，labels)

40、criterion为交叉熵损失函数，如下：

41、

42、p为真实概率分布，q为预测概率分布，x为样本，n为类别数量；

43、lossaux为辅助损失函数，用于最小化辅助优化模块的输出和训练集的样本标签labels间的距离，如下：

44、lossaux＝criterion(otrain，labels)

45、α为对辅助损失函数使用的加权系数，如下：

46、

47、式中，epochcurr表示当前的迭代轮数，epochs表示总迭代轮数。

48、与现有技术相比，本发明的有益效果是：

49、(1)本发明一种基于双分支嵌入信息交互的渐进监督语义分割网络，包括编码器、边缘细化模块、信息交互模块、特征分类模块和辅助优化模块，在编码器中卷积块、前三个倒置残差模块构成了空间细节分支，整个编码器构成了上下文语义分支，空间细节分支利用较小的感受野保持图像的空间细节，上下文语义分支采用较大的感受野获得足够的上下文信息。边缘细化模块用于强调低水平空间细节特征，信息交互模块用于聚合样本上各个面片的局部统计信息突出局部面片上的相关信息，在不牺牲空间细节的情况下，将处理后的高水平上下文语义特征嵌入到低水平空间细节特征中，引导低水平空间细节特征关注高水平上下文语义特征的注意力，进而实现提升图像语义分割的识别精度，同时提升语义分割的推理速度的目的。

50、(2)本发明一种基于双分支嵌入信息交互的渐进监督语义分割网络，提出了一个简单有效的边缘细化模块作用于空间细节分支中，进一步细化实例分割边缘，提供细化后的实例边缘用于匹配相应的上下文语义，提升实例目标边缘的定位能力，解决了低水平特征包含太多的噪声而无法提供相对清晰的语义边缘用于匹配高水平语义的技术问题，该边缘细化模块能够取代神经网络模型和条件随机场的耦合关系，被融入到整个语义分割网络中，以端到端的方式进行训练。

51、(3)本发明一种基于双分支嵌入信息交互的渐进监督语义分割网络中，特征分类模块包括第一分类器和第二分类器，分别用于信息交互模块输出的预测和边缘细化模块输出的预测，第一分类器和第二分类器的输出共同激活最终输出响应，实现逐像素预测。

52、(4)本发明一种基于双分支嵌入信息交互的渐进监督语义分割网络中，辅助优化模块用于在训练阶段增强高水平上下文语义特征表示，该模块在推理阶段被丢弃，推理阶段不增加任何计算复杂度。

53、(5)本发明一种基于双分支嵌入信息交互的渐进监督语义分割方法，基于双分支信息交互的多监督策略，交互使用丰富的空间细节信息与充分的上下文信息提升网络性能。与传统的渐进式融合网络不同，本发明在网络训练层面而不是网络架构层面执行渐进式监督学习，低水平空间细节特征在实例边界的优化中能够实现更好的性能，逐步减弱仅信息交互模块对网络输出的预测值的贡献。