小样本语义分割方法、装置、设备及存储介质

本发明涉及图像处理的，尤其涉及一种小样本语义分割方法、装置、设备及存储介质。

背景技术：

1、语义分割场景中往往需要大量的像素级别精确标注的数据对模型进行训练，这给数据收集造成一定的困难，因此这也给深度学习模型在语义分割及相关领域的应用带来一定的挑战。

2、小样本语义分割模型是一种不需要太多的标注数据就可以取得较好的分割效果的模型，可以很好地应对训练样本少的问题。现有的小样本语义分割模型主要包括基于微调的分割模型和基于元学习的分割模型，然而以上两种模型在训练过程中，由于经过编码器部分的信息压缩，高层特征存在的基础类别的偏好信息被保留下来直接传入解码器，导致解码器中信息也存在对基础类别相关的偏好，限制了小样本语义分割模型的效果。

技术实现思路

1、本发明的主要目的在于提供一种小样本语义分割方法、装置、设备及计算机可读存储介质，旨在提高小样本语义分割的准确性。

2、为实现上述目的，本发明提供一种小样本语义分割方法，该小样本语义分割方法包括以下步骤：

3、获取待分割图片，并获取基于编码-解码结构构建的目标分割模型；

4、通过所述目标分割模型的编码器对所述待分割图片进行特征提取得到目标特征；

5、通过所述目标分割模型对所述待分割图片进行前景分割和背景分割得到背景分割图，并融合所述目标特征和所述背景分割图得到分割特征；

6、通过所述目标分割模型的解码器对所述分割特征进行解码得到特征图像，并将所述特征图像输入所述目标分割模型中的分类器得到标注类别的分割结果。

7、可选地，在所述获取基于编码-解码结构构建的目标分割模型的步骤之前，所述方法还包括：

8、获取已标注类别的待训练数据集，并获取初始的编码-解码模型；

9、通过所述待训练数据集对所述初始的编码-解码模型进行训练，得到训练完成的编码-解码模型；

10、基于所述训练完成的编码-解码模型构建初始分割模型；

11、基于所述待训练数据集，通过所述初始分割模型学习前景分割任务和背景分割任务得到目标分割模型。

12、可选地，所述初始的编码-解码模型中的编码器包括编码网络和卷积块；

13、所述通过所述待训练数据集对初始的编码-解码模型进行训练的步骤，包括：

14、将所述待训练数据集输入所述编码网络进行特征提取得到提取特征；

15、将所述提取特征输入所述卷积块进行卷积得到中间特征，并通过所述编码-解码模型中的编码器对所述中间特征进行解码得到中间图像；

16、将所述中间图像输入所述初始的编码-解码模型中的分类器得到训练集预测结果；

17、基于第一损失函数，根据所述训练集预测结果和所述待训练数据集的标注对初始的编码-解码模型中的参数进行调整，得到训练完成的编码-解码模型。

18、可选地，所述编码网络包括三层编码块；

19、所述将所述待训练数据集输入所述编码网络进行特征提取得到提取特征的步骤，包括：

20、将所述训练数据集输入所述编码网络，通过所述编码网络中的三层编码块依次进行特征提取得到各层编码块各自提取的编码特征，其中，三层编码块中上一个编码块的输出数据为下一个编码块的输入数据；

21、融合第二层编码块提取的编码特征和第三层编码块提取的编码特征得到提取特征。

22、可选地，所述基于所述待训练数据集，通过所述初始分割模型学习前景分割任务和背景分割任务得到目标分割模型的步骤，包括：

23、将所述待训练数据集分成支持集和查询集；

24、基于所述支持集，通过所述初始分割模型学习前景分割任务和背景分割任务调整所述初始分割模型的参数得到测试分割模型；

25、将所述查询集输入所述测试分割模型得到测试结果；

26、基于第二损失函数，根据所述测试结果和所述查询集的标注对所述待测试模型的参数进行调整得到目标分割模型。

27、可选地，所述测试分割模型包括所述训练完成的编码-解码模型和前景分割块；

28、所述将所述查询集输入所述测试分割模型得到测试结果的步骤，包括：

29、将所述查询集输入所述测试分割模型，通过所述训练完成的编码-解码模型中的编码器对所述查询集进行特征提取得到第一特征；

30、通过所述前景分割块对所述查询集进行掩码处理得到查询集掩码图，融合所述第一特征与所述查询集掩码图得到查询集前景特征；

31、将所述查询集前景特征与所述第一特征融合得到查询集背景特征，并通过所述测试分割模型的解码器对所述查询集背景特征进行解码得到查询集特征图像；

32、将所述查询集特征图像输入所述测试分割模型的分类器得到测试结果。

33、可选地，所述测试分割模型还包括数据增强块；

34、在所述通过所述训练完成的编码-解码模型中的编码器对所述查询集进行特征提取得到第一特征的步骤之前，所述方法还包括：

35、通过所述数据增强块对所述查询集进行数据增强得到数据增强后的查询集；

36、将所述数据增强后的查询集作为所述查询集，并执行所述通过所述训练完成的编码-解码模型中的编码器对所述查询集进行特征提取得到第一特征的步骤。

37、此外，为实现上述目的，本发明还提供一种小样本语义分割装置，该小样本语义分割装置包括：

38、获取模块，用于获取待分割图片，并获取基于编码-解码结构构建的目标分割模型；

39、特征提取模块，用于通过所述目标分割模型的编码器对所述待分割图片进行特征提取得到目标特征；

40、融合模块，用于通过所述目标分割模型对所述待分割图片进行前景分割和背景分割得到背景分割图，并融合所述目标特征和所述背景分割图得到分割特征；

41、分割模块，用于通过所述目标分割模型的解码器对所述分割特征进行解码得到特征图像，并将所述特征图像输入所述目标分割模型中的分类器得到标注类别的分割结果。

42、此外，为实现上述目的，本发明还提供一种小样本语义分割设备，所述小样本语义分割设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的小样本语义分割程序，所述小样本语义分割程序被所述处理器执行时实现上述小样本语义分割方法的步骤。

43、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有小样本语义分割程序，所述小样本语义分割程序被处理器执行时实现上述的小样本语义分割方法的步骤。

44、本发明中，获取待分割图片，并获取基于编码-解码结构构建的目标分割模型，通过目标分割模型的编码器对待分割图片进行特征提取得到目标特征，通过目标分割模型对待分割图片进行前景分割和背景分割得到背景分割图，并融合目标特征和背景分割图得到分割特征，通过目标分割模型的解码器对分割特征进行解码得到特征图像，并将特征图像输入目标分割模型中的分类器得到标注类别的分割结果。本发明中通过对待分割图片进行前景分割和背景分割，让小样本语义分割模型能够适应新类别，从而减少小样本分割模型对基础类表征的偏好性，提高了小样本分割模型的准确性。