一种开放集语义分割方法、装置及电子设备与流程

本发明涉及语义分割，尤其涉及一种开放集语义分割方法、装置及电子设备。

背景技术：

1、开放集语义分割旨在识别超出训练数据范围的类别。与传统的语义分割相比，开放集语义分割构成了一个更实用且更具挑战性的场景。其中可能的语义类别或标签的集合在训练阶段并未预定义或限制。开放集场景为机器学习模型提供了处理未见输入的灵活性，增强了适应性和性能。它提高了模型在现实世界应用中的稳健性和稳定性。

2、尽管现有的模型在开放集语义分割方面取得了出色的性能，但所有模型仍然需要大量的高质量训练数据进行训练或微调，这无法有效且高效地适应计算资源有限的特定任务应用。

3、因此，如何基于少量样本实现开放集语义分割，降低模型优化的算法复杂程度是目前亟待解决的技术问题。

技术实现思路

1、本发明提供了一种开放集语义分割方法、装置及电子设备，以通过基于少量样本实现开放集语义分割，降低算法复杂程度。

2、根据本发明的一方面，提供了一种开放集语义分割方法，包括：

3、获取目标域的图像样本，将所述图像样本输入至源域对应的待使用语义分割模型，得到所述待使用语义分割模型输出的掩膜建议和视觉特征；

4、确定所述图像样本对应的文本标签特征，基于所述视觉特征和所述文本标签特征计算所述图像样本对应的特征相似度；

5、确定所述掩膜建议和真实掩膜之间的掩膜相关度，基于所述特征相似度和所述掩膜相关度对所述待使用语义分割模型优化，得到目标开放集语义分割模型。

6、根据本发明的另一方面，提供了一种开放集语义分割装置，包括：

7、掩膜建议确定模块，用于获取目标域的图像样本，将所述图像样本输入至源域对应的待使用语义分割模型，得到所述待使用语义分割模型输出的掩膜建议和视觉特征；

8、相似度确定模块，用于确定所述图像样本对应的文本标签特征，基于所述视觉特征和所述文本标签特征计算所述图像样本对应的特征相似度；

9、分割模型优化模块，用于确定所述掩膜建议和真实掩膜之间的掩膜相关度，基于所述特征相似度和所述掩膜相关度对所述待使用语义分割模型优化，得到目标开放集语义分割模型。

10、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及，

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的开放集语义分割方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的开放集语义分割方法。

15、本发明实施例的技术方案，通过获取目标域的图像样本，将图像样本输入至源域对应的待使用语义分割模型，得到待使用语义分割模型输出的掩膜建议和视觉特征；确定图像样本对应的文本标签特征，基于视觉特征和所述文本标签特征计算图像样本对应的特征相似度；确定掩膜建议和真实掩膜之间的掩膜相关度，基于特征相似度和掩膜相关度对所述待使用语义分割模型优化，得到目标开放集语义分割模型，通过少量样本实现开放集语义分割，降低算法复杂程度。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种开放集语义分割方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在将所述图像样本输入至源域对应的待使用语义分割模型之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述视觉特征包括视觉特征向量。

4.根据权利要求3所述的方法，其特征在于，确定所述图像样本对应的文本标签特征，包括：

5.根据权利要求4所述的方法，其特征在于，所述图像样本的数量为至少两个，在基于所述视觉特征和所述文本标签特征投影计算所述图像样本对应的特征相似度之前，还包括：

6.根据权利要求5所述的方法，其特征在于，基于所述视觉特征和所述文本标签特征计算所述图像样本对应的特征相似度，包括：

7.根据权利要求1所述的方法，其特征在于，确定所述掩膜建议和真实掩膜之间的掩膜相关度，包括：

8.根据权利要求1所述的方法，其特征在于，基于所述特征相似度和所述掩膜相关度对所述待使用语义分割模型优化，得到目标开放集语义分割模型，包括：

9.一种开放集语义分割装置，其特征在于，包括：

10.一种电子设备，其特征在于，所述电子设备包括：

技术总结
本发明公开了一种开放集语义分割方法、装置及电子设备。该方法包括：获取目标域的图像样本，将图像样本输入至源域对应的待使用语义分割模型，得到待使用语义分割模型输出的掩膜建议和视觉特征；确定图像样本对应的文本标签特征，基于视觉特征和文本标签特征计算图像样本对应的特征相似度；确定掩膜建议和真实掩膜之间的掩膜相关度，基于特征相似度和掩膜相关度对待使用语义分割模型优化，得到目标开放集语义分割模型。基于少量的样本，在开放集语义分割场景中实现高效的域适应。

技术研发人员：张可颖,吴新桥,覃平,刘岚,卢铭翔,陈远,谢煜铨,吴滋坤,张宸瑞,沈家旭
受保护的技术使用者：南方电网数字电网科技(广东)有限公司
技术研发日：
技术公布日：2024/5/9