基于语义分割的无监督实例分割方法、系统、设备和介质

本发明属于图像识别领域，具体涉及一种基于语义分割的无监督实例分割方法、系统、设备和介质。

背景技术：

1、实例分割是计算机视觉和多媒体领域的基础和关键研究任务之一，旨在预测给定图像的像素级语义类别和实例级对象掩码。近年来，实例分割得到了广泛的关注，在医学图像分析、工业机器人和自动驾驶车辆等众多场景中得到了实际应用。

2、近年来，随着深度卷积神经网络的重大发展，基于深度学习的实例分割取得了巨大的进展。各类分割方法大致可以分为两种，其中一类是指，例如mask r-cnn，panet，condinst等，它们通过检测边界框来定位单个实例，并为框中的相关像素分配语义类别。另一类是指，例如sgn，rpe，e2ec等，它们则是先预测像素掩码，然后根据实例线索(如像素对关系或实例边界)将实例级对象分组在一起。然而，前者的方法存在一定的局限性，不适用于一些特定场景。相比之下，我们提出的无监督实例分割属于后者的方法，可以解决上述问题。

3、目前，主流的全监督实例分割方法都已经取得了令人满意的性能，但是，这些模型的训练不仅需要昂贵的实例级和像素级标注，其训练的过程也较为困难。对于上述问题，最直观的解决方法是弱监督实例分割(即使用图像级别的类标签或点标签)，但这同样难以满足实际场景的准确性和召回率要求。

技术实现思路

1、基于上述问题，本发明提供一种基于语义分割的无监督实例分割方法、系统、设备和介质。

2、本发明的技术方案如下：

3、一种基于语义分割的无监督实例分割方法，所述方法包括以下步骤：

4、s1获取图片数据集，并对所述图片数据集进行预处理；

5、s2将预处理后的图片数据集输入语义分割模型中得到语义分割掩膜；

6、s3通过主干特征提取网络，从所述语义分割掩膜中提取多层抽象特征；

7、s4将所述多层抽象特征输入到位移场检测模块得到实例掩膜；将所述多层抽象特征输入到类边界细化模块得到边界信息；

8、s5将所述实例掩膜和边界信息传入语义感知模块，并通过取数组最大值索引的操作生成实例分割掩膜。

9、进一步地，所述s1具体为：

10、首先对数据集进行切片划分，切割成为尺寸为512×512的统一尺寸；在切割过程中添加随机裁剪、随机缩放的数据增强方法，实现数据集的预处理。

11、进一步地，所述语义分割模型为任意语义分割模型。

12、进一步地，所述将多层抽象特征输入到位移场检测模块得到实例掩膜具体为：

13、首先，多层特征层分别经过一个1×1卷积，如果初始通道数大于256，则统一到256通道，如果通道数小于256，则统一到64通道；随后将自上而下数前三个特征层组合到一起，将后两个特征层组合到一起。将上层组合后的特征层经过一个1×1卷积后再与下层组合后的特征层进行再组合，最后再经过3个连续的1×1卷积生成通道数为2的特征图；

14、其次采样成对像素并根据类等价性将采样结果分为二个子集；对于属于前景对象的像素对，用l1 loss来最小化它们之间的差异；而对于属于背景的像素对，抑制对其分散质心的估算；

15、在优化位移场后，采用连通分量标记算法提取每个实例的质心，并通过聚类方法得到每个实例的二进制掩膜；最后，通过与提供相应类标签的输入语义掩码进行像素点点乘，可以得到类明确的实例掩膜。

16、进一步地，所述多层抽象特征输入到类边界细化模块得到边界信息具体为：

17、首先多层抽象特征经过1×1的卷积层，将特征图的通道统一为32，并通过上采样统一特征图的尺寸，之后将这些特征图从通道维度上组合到一起，最后经过一个1×1的卷积层输出单通道的边界图；然后通过计算像素对的语义相似度，并用l1 loss最小化与语义分割标签的差距，来得到边界信息。

18、本发明还提供一种基于语义分割的无监督实例分割系统，包括：

19、数据采集单元，用于获取图片数据集，并对所述图片数据集进行预处理；

20、语义分割模型单元，用于将预处理后的图片数据集输入语义分割模型中得到语义分割掩膜；

21、特征提取单元，用于通过主干特征提取网络，从所述语义分割掩膜中提取多层抽象特征；

22、特征处理单元，用于将所述多层抽象特征输入到位移场检测模块得到实例掩膜；将所述多层抽象特征输入到类边界细化模块得到边界信息；

23、结果生成单元，用于将所述实例掩膜和边界信息传入语义感知模块，并通过取数组最大值索引的操作生成实例分割掩膜。

24、一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至5中任一项所述的基于语义分割的无监督实例分割方法。

25、一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于语义分割的无监督实例分割方法。

26、本发明的技术效果：

27、本发明提出一种新的实例分割范式，称为无监督实例分割，它旨在从用现有的语义分割模型预测的图像掩码中取得令人满意的实例分割结果。所述方法不需要重新训练语义分割或实例分割模型，可以部署在现有的语义分割模型上而无需改动其网络结构。更重要的是，无监督实例分割省去了现有实例分割模型对实例级图像标注的要求，因此具有更高的效率。

技术特征：

1.一种基于语义分割的无监督实例分割方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的基于语义分割的无监督实例分割方法，其特征在于，所述s1具体为：

3.根据权利要求1所述的基于语义分割的无监督实例分割方法，其特征在于，所述语义分割模型为任意语义分割模型。

4.根据权利要求1所述的基于语义分割的无监督实例分割方法，其特征在于，所述将多层抽象特征输入到位移场检测模块得到实例掩膜具体为：

5.根据权利要求1所述的基于语义分割的无监督实例分割方法，其特征在于，所述多层抽象特征输入到类边界细化模块得到边界信息具体为：

6.一种基于语义分割的无监督实例分割系统，其特征在于，包括：

7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至5中任一项所述的基于语义分割的无监督实例分割方法。

8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于语义分割的无监督实例分割方法。

技术总结
一种基于语义分割的无监督实例分割方法，所述方法包括以下步骤：获取图片数据集，并对所述图片数据集进行预处理；将预处理后的图片数据集输入语义分割模型中得到语义分割掩码；通过主干特征提取网络，从所述语义分割掩码中提取多层抽象特征；将所述多层抽象特征输入到位移场检测模块得到实例掩膜；将所述多层抽象特征输入到类边界细化模块得到边界信息；将所述实例掩膜和边界信息传入语义感知模块，并通过取数组最大值索引的操作生成实例分割掩膜。本发明不需要重新训练语义分割或实例分割模型，可以部署在现有的语义分割模型上而无需改动其网络结构，无监督实例分割省去了现有实例分割模型对实例级图像标注的要求，因此具有更高的效率。

技术研发人员：业巧林,沈雨晨,范习健,李兴
受保护的技术使用者：南京林业大学
技术研发日：
技术公布日：2024/2/21