一种基于知识蒸馏的半监督语义分割方法及装置与流程

本技术涉及深度学习，尤其涉及一种基于知识蒸馏的半监督语义分割方法及装置。

背景技术：

1、随着深度学习技术领域的发展，深度学习技术已经广泛应用于自动驾驶领域，在深度学习技术领域中语义分割尤为重要，语义分割可以提取图像中的人、建筑、车辆等物体信息，提取出的物体信息可以为自动驾驶系统提供更多的有效信息，从而根据这些信息来决定车的行动，可见，语义分割在自动驾驶领域的重要性。

2、目前，自动驾驶领域中，通常使用轻量级语义分割模型，但是现有轻量级语义分割模型自训练方法中教师模型和学生模型为同一模型，是通过训练好的目标模型本身作为教师模型来完成训练的，这种通过自身迭代的方式，使得模型无法取得更好的训练效果，导致学生模型的语义分割性能差。

技术实现思路

1、有鉴于此，本技术实施例提供了一种基于知识蒸馏的半监督语义分割方法及装置，旨在提升模型的语义分割性能。

2、第一方面，本技术实施例提供了一种基于知识蒸馏的半监督语义分割方法，所述方法包括：

3、根据预设迭代算法对教师网络和学生网络进行训练，直至训练后的学生模型满足预设分割条件；

4、所述预设迭代算法包括通过第一教师模型对第一无监督数据集进行图像标注，获得第一标注数据集，所述第一教师模型是通过有监督数据集训练所述教师网络得到的；

5、根据所述第一标注数据集和所述有监督数据集训练所述学生网络，获得第一学生模型，并根据所述第一标注数据集和所述有监督数据集训练所述教师网络，获得第二教师模型，所述教师网络的容量大于所述学生网络的容量；

6、通过第二教师模型对第二无监督数据集进行图像标注，获得第二标注数据集，所述第二无监督数据集为所述第一无监督数据集和所述第一标注数据集的差值；

7、根据所述第一标注数据集、所述第二标注数据集和所述有监督数据集训练所述学生网络，获得第二学生模型。

8、可选地，所述根据第一标注数据集和所述有监督数据集训练所述学生网络，获得第一学生模型，还包括：

9、根据所述第一标注数据集和所述有监督数据集训练所述学生网络，对所述学生网络的输出结果进行知识蒸馏，获得第一学生模型。

10、可选地，所述通过第一教师模型对第一无监督数据集进行图像标注，获得第一标注数据集，所述第一教师模型是通过有监督数据集训练所述教师网络得到的，还包括：

11、通过多个第一教师模型对第一无监督数据集进行图像标注，获得多个标注数据集；

12、根据所述多个第一教师模型中满足预设稳定性条件的第一教师模型对所述多个标注数据集的交集进行图像标注，获得第一标注数据集，所述第一教师模型是通过有监督数据集训练所述教师网络得到的。

13、可选地，所述根据所述第一标注数据集和所述有监督数据集训练所述学生网络，对所述学生网络的输出结果进行知识蒸馏，获得第一学生模型，之前还包括：

14、对所述第一标注数据集进行数据增强，获得数据增强后的第一标注数据集；

15、所述根据所述第一标注数据集和所述有监督数据集训练所述学生网络，对所述学生网络的输出结果进行知识蒸馏，获得第一学生模型，包括：

16、根据所述数据增强后的第一标注数据集和所述有监督数据集训练所述学生网络，对所述学生网络的输出结果进行知识蒸馏，获得第一学生模型。

17、可选地，所述通过第一教师模型对第一无监督数据集进行图像标注，获得第一标注数据集，所述第一教师模型是通过有监督数据集训练所述教师网络得到的，包括：

18、通过第一教师模型对第一无监督数据集中的图像进行标注，获得所述图像的伪标签；

19、获取所述第一教师模型在训练过程中不同阶段时的模型权重，根据所述不同的模型权重分别对所述图像进行标注，获得不同的预测标签；

20、根据所述不同的预测标签分别和所述伪标签计算所述图像的评价指标，获得不同的评价指标，并根据所述不同的评价指标获得所述图像的评价指标的平均值；

21、分别计算所述第一无监督数据集中剩余图像的评价指标的平均值，获得所述第一无监督数据集的评价指标的均值集合；

22、获取所述评价指标的均值集合中符合预设条件的图像，所述符合预设条件的图像的伪标签为第一标注数据集。

23、可选地，所述获取所述评价指标的均值集合中符合预设条件的图像，所述符合预设条件的图像的伪标签为第一标注数据集，包括：

24、对所述评价指标的均值集合进行排列，获取排列后的均值集合中预设数量的图像，所述预设数量的图像的伪标签为所述第一标注数据集，所述预设数量的图像是根据所述评价指标的均值从大到小的顺序获取的。

25、第二方面，本技术实施例提供了一种基于知识蒸馏的半监督语义分割装置，所述装置包括：

26、第一训练模块，用于根据预设迭代算法对教师网络和学生网络进行训练，直至训练后的学生模型满足预设分割条件；

27、第一标注模块，用于所述预设迭代算法包括通过第一教师模型对第一无监督数据集进行图像标注，获得第一标注数据集，所述第一教师模型是通过有监督数据集训练所述教师网络得到的；

28、第二训练模块，用于根据所述第一标注数据集和所述有监督数据集训练所述学生网络，获得第一学生模型，并根据所述第一标注数据集和所述有监督数据集训练所述教师网络，获得第二教师模型，所述教师网络的容量大于所述学生网络的容量；

29、第二标注模块，用于通过第二教师模型对第二无监督数据集进行图像标注，获得第二标注数据集，所述第二无监督数据集为所述第一无监督数据集和所述第一标注数据集的差值；

30、第三训练模块，用于根据所述第一标注数据集、所述第二标注数据集和所述有监督数据集训练所述学生网络，获得第二学生模型。

31、可选地，所述第二训练模块，还包括：

32、第一训练单元，用于根据所述第一标注数据集和所述有监督数据集训练所述学生网络，对所述学生网络的输出结果进行知识蒸馏，获得第一学生模型。

33、可选地，所述第一标注模块，还包括：

34、第一标注单元，用于通过多个第一教师模型对第一无监督数据集进行图像标注，获得多个标注数据集；

35、第二标注单元，用于根据所述多个第一教师模型中满足预设稳定性条件的第一教师模型对所述多个标注数据集的交集进行图像标注，获得第一标注数据集，所述第一教师模型是通过有监督数据集训练所述教师网络得到的。

36、可选地，所述第一训练单元，还包括：

37、数据增强单元，用于对所述第一标注数据集进行数据增强，获得数据增强后的第一标注数据集；

38、第二训练单元，用于根据所述数据增强后的第一标注数据集和所述有监督数据集训练所述学生网络，对所述学生网络的输出结果进行知识蒸馏，获得第一学生模型。

39、可选地，所述第一标注模块，包括：

40、第三标注单元，用于通过第一教师模型对第一无监督数据集中的图像进行标注，获得所述图像的伪标签；

41、第四标注单元，用于获取所述第一教师模型在训练过程中不同阶段时的模型权重，根据所述不同的模型权重分别对所述图像进行标注，获得不同的预测标签；

42、第一计算单元，用于根据所述不同的预测标签分别和所述伪标签计算所述图像的评价指标，获得不同的评价指标，并根据所述不同的评价指标获得所述图像的评价指标的平均值；

43、第二计算单元，用于分别计算所述第一无监督数据集中剩余图像的评价指标的平均值，获得所述第一无监督数据集的评价指标的均值集合；

44、获取单元，用于获取所述评价指标的均值集合中符合预设条件的图像，所述符合预设条件的图像的伪标签为第一标注数据集。

45、可选地，所述获取单元，包括：

46、排列单元，用于对所述评价指标的均值集合进行排列，获取排列后的均值集合中预设数量的图像，所述预设数量的图像的伪标签为所述第一标注数据集，所述预设数量的图像是根据所述评价指标的均值从大到小的顺序获取的。

47、第三方面，本技术实施例提供了一种基于知识蒸馏的半监督语义分割设备，所述设备包括：

48、存储器，用于存储计算机程序；

49、处理器，用于执行所述计算机程序，以使所述设备执行前述第一方面所述的基于知识蒸馏的半监督语义分割方法。

50、第四方面，本技术实施例提供了一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被运行时，运行所述计算机程序的设备实现前述第一方面所述的基于知识蒸馏的半监督语义分割方法。

51、相较于现有技术，本技术实施例具有以下有益效果：

52、本技术实施例提供了一种基于知识蒸馏的半监督语义分割方法及装置，首先根据预设迭代算法对教师网络和学生网络进行训练，直至训练后的学生模型满足预设分割条件，其中预设迭代算法包括通过第一教师模型对第一无监督数据集进行图像标注，获得第一标注数据集，第一教师模型是通过有监督数据集训练教师网络得到的。然后根据第一标注数据集和有监督数据集训练学生网络，获得第一学生模型，并根据第一标注数据集和有监督数据集训练教师网络，获得第二教师模型，教师网络的容量大于学生网络的容量。通过第二教师模型对第二无监督数据集进行图像标注，获得第二标注数据集，第二无监督数据集为第一无监督数据集和第一标注数据集的差值。最后，根据第一标注数据集、第二标注数据集和有监督数据集训练学生网络，获得第二学生模型。可见，本技术中的预设迭代算法，是将每次新训练出的大模型作为新一轮的教师模型来完成模型训练的，直至最后训练出的学生模型符合预设分割条件。将大模型作为教师模型引入到半监督训练中，通过大模型迭代的方式，使得学生模型学习到了更加丰富的特征提取能力，提升了模型的语义分割性能。