一种基于内外部蒸馏的持续语义分割方法

本发明属于计算机视觉，具体涉及一种持续语义分割方法。

背景技术：

1、语义分割是计算机视觉中的一个基本问题，其目标是为图像中的每个像素分配标签。现有的基于深度学习的方法通常需要数据集中所有类别的先验知识，并在训练期间利用所有可用数据。然而，这样的设置将与现实脱节，分割模型不具有在现实场景中不断学习并获取新知识的能力，当新数据出现时，需要从头开始重新训练。文献“基于边缘优化和全局建模的多路径语义分割，计算机科学，2023，50(s1)，pp 431-437”公开了一种基于边缘优化和全局建模的多路径语义分割方法。该方法提出了多路径邻近错位融合的网络进行高分辨率路径尾部与低分辨率路径首部间的语义信息交融，同时，使用自适应边缘特征模块得到边缘特征，融入网络中间层和深度监督层，增强边缘特征的表达能力和细小物体的分割效果。文献所述方法是使用边缘算法和注意力机制的卷积神经网络方法，该方法没有持续学习的能力，面对新的分割任务时需要从头训练，不能利用学过的知识，实时性差。此外，在动态环境下，该方法不能持续地进行分割任务，在快速变化的场景下灵活应对，实用性不高。

技术实现思路

1、为了克服现有技术的不足，本发明提供了一种基于内外部蒸馏的持续语义分割方法，首先利用特征的统计信息对新旧模型进行内部蒸馏，对于不同尺度特征的外部蒸馏，采用多尺度卷积注意力来捕获不同尺度特征之间的关系，最终通过解码器上采样得到分割图像。本发明的方法更符合现实需要，能够保留学过的知识并学习新知识从而达到持续进行语义分割的目的。

2、本发明解决其技术问题所采用的技术方案包括如下步骤：

3、步骤1：将当前任务t的图像it输入到旧模型编码器et-1中，得到中间特征

4、所述旧模型是经过任务t-1训练过的模型，能够分割任务0：t-1中所有类别；所述旧模型编码器et-1是由4个卷积组成，中间特征是4个卷积的输出，如下所示：

5、

6、式中，是旧模型编码器et-1中第i个卷积层，为当前任务t的图像it；

7、步骤2：将当前任务t的图像it输入到新模型编码器et中，经过两个卷积层后分别得到中间特征f1和f2；

8、所述新模型能够分割任务0：t中所有类别的模型，结构与旧模型相同，且由旧模型进行参数初始化；

9、任务t的图像it输入到新模型编码器et中，经过编码器中第一个卷积层得到第一个中间特征f1，特征f1经过编码器中第二个卷积层得到第二个中间特征f2，过程如下所示：

10、

11、

12、步骤3：计算新旧模型相邻特征的注意力图和并计算它们之间的l2距离；

13、步骤3-1：在模型层之间引入注意机制并进行外部特征蒸馏；对于新模型的特征fl-1和fl，对应的注意力图通过以下操作得到：首先通过1×1卷积运算调整它们的维度使其匹配并进行连接操作，过程如下：

14、flc＝concat(fl，conv1×1(fl-1))    (4)

15、式中，l表示层中的索引，1×1表示卷积核大小为1，concat(·)表示连接操作；

16、步骤3-2：通过利用逐元素乘法的多尺度卷积注意力msca实现空间感知特征提取；msca写为：

17、

18、式中，convdw(·)表示深度卷积，scalei(·)对特征进行多尺度处理，多尺度处理的特征经过1×1卷积得到注意力图；

19、步骤3-3：同理，旧模型的特征和经过同样操作得到注意力图

20、步骤3-4：计算新旧模型相邻特征的注意力图和之间的l2距离作为外部特征蒸馏损失lext以防止遗忘，表示如下：

21、

22、步骤4：将计算的新模型特征注意力图与特征f2相乘得到特征

23、将计算的新模型特征注意力图融入对应特征中，对于f1和f2，根据步骤3计算出注意力图为将与特征f2相乘，得到特征过程如下：

24、

25、其中，表示矩阵乘法；

26、步骤5：特征进入新模型编码器的第三个卷积，得到f3，并重复上述过程得到f4；

27、特征进入新模型编码器的第三个卷积，得到f3，f3与f2计算特征注意力图并与f3相乘得到经过新模型编码器的第四个卷积得到f4；

28、步骤6：新模型的中间特征fl与对应的旧模型中间特征进行内部蒸馏，并计算内部蒸馏损失lint；

29、步骤6-1：对特征进行混合池化处理；

30、令x表示fl中某一特征，其大小为h×w×c；使用φ函数提取特征x的最大值、最小值和平均值信息，并连接x的h×c宽度混合池切片和w×c高度混合池切片：

31、

32、式中，concat(.)表示通道维度的串联；

33、ω(x)是求最大值和最小值并根据对应的维数进行组合的操作，其计算过程如下：

34、ω(x[：，w，：])＝concat(max(x[：，w，：])，min(x[：，w，：]))    (9)

35、步骤6-2：在以不同尺度提取的多个区域上计算宽度和高度混合的池化切片来保留局部信息，其中尺度为{1/2s}s＝0...s；给定尺度s，特征x，则在该尺度下特征x的混合池化切片ψs(x)表示如下：

36、

37、式中，这是特征x的一个子区域，对于该子区域的大小为h/s×w/s；

38、步骤6-3：沿着通道维度连接每个尺度s的混合特征切片ψs(x)，获得最终的混合特征切片ψ(x)：

39、ψ(x)＝concat(ψ1(x)，...，ψs(x))    (11)

40、步骤6-4：计算旧模型和当前模型的多个层l∈{1，...，l}的混合特征切片，然后训练时最小化在多个层计算的混合特征切片之间的l2距离；内部特征蒸馏损失lint定义为：

41、

42、步骤7：新模型编码器提取的特征f4通过解码器上采样得到分割图像

43、新模型编码器提取的特征f4通过上采样后，得到最终分割图像过程如下所示：

44、

45、式中，upsample(·)表示上采样操作。

46、本发明的有益效果如下：

47、本发明将持续学习与语义分割结合，同时使用内外部蒸馏的方法解决持续语义分割中的遗忘问题。首先利用特征的统计信息对新旧模型进行内部蒸馏，有效避免了同尺度下的干扰。此外，对于不同尺度特征的外部蒸馏，采用多尺度卷积注意力来捕获不同尺度特征之间的关系，并确保它们在新旧任务中的一致性来保留学过的知识。本发明的方法更符合现实需要，能够保留学过的知识并学习新知识从而达到持续进行语义分割的目的。

技术特征：

1.一种基于内外部蒸馏的持续语义分割方法，其特征在于，包括如下步骤：

技术总结
本发明公开了一种基于内外部蒸馏的持续语义分割方法，首先利用特征的统计信息对新旧模型进行内部蒸馏，对于不同尺度特征的外部蒸馏，采用多尺度卷积注意力来捕获不同尺度特征之间的关系，最终通过解码器上采样得到分割图像。本发明的方法更符合现实需要，能够保留学过的知识并学习新知识从而达到持续进行语义分割的目的。

技术研发人员：张艳宁,闫庆森,刘胜强,朱宇,孙瑾秋
受保护的技术使用者：西北工业大学
技术研发日：
技术公布日：2024/1/16