一种图像的实例分割方法、装置、存储介质及电子设备与流程

本说明书涉图像处理领域，尤其涉及一种图像的实例分割方法、装置、存储介质及电子设备。

背景技术：

1、随着互联网技术的发展，越来越多的场景需要应用实例分割，即对图像进行处理，以获取仅包含目标物的图像，该图像可能包含个人隐私数据。例如，仅获取图像中某一目标物的图像，因此，如何对图像进行实例分割是个亟待解决的问题。

2、基于此，本说明书提供一种图像的实例分割方法。

技术实现思路

1、本说明书提供一种图像的实例分割方法、装置、存储介质及电子设备，以至少部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供一种图像的实例分割方法，预先训练的分割模型包括编码端和解码端，所述解码端由扩散模型实现，所述方法包括：

4、获取待分割图像以及若干待调整定位框；

5、将所述待分割图像输入所述编码端，以通过所述编码端提取所述待分割图像的多尺度特征；

6、将多尺度特征输入所述解码端，以通过所述解码端基于所述多尺度特征检测所述待分割图像中的各目标；

7、针对每个目标，将各待调整定位框作为包含噪声的定位框输入所述解码端，以通过所述解码端基于该目标对各待调整定位框进行去噪，得到用于定位该目标的标准定位框；所述噪声为导致各待调整定位框相对于该目标的标准定位框存在差异的噪声；

8、根据该目标的标准定位框和所述多尺度特征，从所述待分割图像中分割该目标。

9、可选地，根据该目标的标准定位框和所述多尺度特征，从所述待分割图像中分割该目标，具体包括：

10、融合所述多尺度特征得到融合后的特征图，作为融合图像；

11、根据该目标的标准定位框、所述多尺度特征及所述融合图像，从所述待分割图像中分割该目标。

12、可选地，根据该目标的标准定位框、所述多尺度特征及所述融合图像，从所述待分割图像中分割该目标，具体包括：

13、根据所述待分割图像中位于该目标的标准定位框的部分及所述多尺度特征，确定该目标的特征向量；

14、根据所述特征向量及所述融合图像，从所述待分割图像中分割该目标。

15、可选地，根据所述特征向量及所述融合图像，从所述待分割图像中分割该目标，具体包括：

16、根据所述特征向量确定该目标对应的卷积核；

17、利用所述卷积核对所述融合图像进行卷积，以确定该目标的二值化掩膜；

18、根据该目标的二值化掩膜，从所述待分割图像中分割该目标。

19、可选地，训练所述分割模型，具体包括：

20、获取样本图像、所述样本图像的标签以及各待调整样本定位框，所述标签包括所述样本图像中各目标的掩膜；

21、将所述样本图像输入所述分割模型的编码端，以通过所述编码端提取所述样本图像的多尺度特征；

22、将所述样本图像的多尺度特征输入所述分割模型的解码端，以通过所述解码端基于所述样本图像的多尺度特征检测所述样本图像中的各目标；

23、针对所述样本图像中的每个目标，将各待调整样本定位框输入所述解码端，以通过所述解码端基于该目标对各待调整样本定位框进行去噪，得到用于定位该目标的第一定位框；

24、根据该目标的第一定位框和所述样本图像的多尺度特征，确定所述分割模型输出的该目标的掩膜；

25、根据所述样本图像中每个目标的掩膜及所述标签，对所述分割模型进行训练。

26、可选地，获取各待调整样本定位框，具体包括：

27、获取对样本图像中已标注出的各目标对应的标准定位框；

28、对所述标准定位框加入噪声，得到各待调整样本定位框。

29、可选地，所述分割模型还用于对所述样本图像中的各目标进行分类；

30、所述标签还包括所述样本图像中各目标对应的标准定位框及各目标的类别；

31、根据所述样本图像中每个目标的掩膜及所述标签，对所述分割模型进行训练，具体包括：

32、根据所述分割模型对所述样本图像中检测出的各目标进行分类的分类结果及所述标签，确定分类损失；

33、根据所述样本图像中每个目标的掩膜及所述标签，确定第一损失；

34、根据所述标签及所述样本图像中每个目标的第一定位框，确定第二损失；

35、根据所述分类损失、所述第一损失和所述第二损失，确定综合损失；

36、以最小化所述综合损失为训练目标，对所述分割模型进行训练。

37、本说明书提供了一种图像的实例分割装置，预先训练的分割模型包括编码端和解码端，所述解码端由扩散模型实现，所述装置包括：

38、图像获取模块，用于获取待分割图像以及若干待调整定位框；

39、特征提取模块，用于将所述待分割图像输入所述编码端，以通过所述编码端提取所述待分割图像的多尺度特征；

40、目标确定模块，用于将多尺度特征输入所述解码端，以通过所述解码端基于所述多尺度特征检测所述待分割图像中的各目标；

41、去噪模块，用于针对每个目标，将各待调整定位框作为包含噪声的定位框输入所述解码端，以通过所述解码端基于该目标对各待调整定位框进行去噪，得到用于定位该目标的标准定位框；所述噪声为导致各待调整定位框相对于该目标的标准定位框存在差异的噪声；

42、目标分割模块，用于根据该目标的标准定位框和所述多尺度特征，从所述待分割图像中分割该目标。

43、可选地，所述目标分割模块具体用于，融合所述多尺度特征得到融合后的特征图，作为融合图像；根据该目标的标准定位框、所述多尺度特征及所述融合图像，从所述待分割图像中分割该目标。

44、可选地，所述目标分割模块具体用于，根据所述待分割图像中位于该目标的标准定位框的部分及所述多尺度特征，确定该目标的特征向量；根据所述特征向量及所述融合图像，从所述待分割图像中分割该目标。

45、可选地，所述目标分割模块具体用于，根据所述特征向量确定该目标对应的卷积核；利用所述卷积核对所述融合图像进行卷积，以确定该目标的二值化掩膜；根据该目标的二值化掩膜，从所述待分割图像中分割该目标。

46、可选地，所述装置还包括：

47、模型训练模块，用于获取样本图像、所述样本图像的标签以及各待调整样本定位框，所述标签包括所述样本图像中各目标的掩膜；将所述样本图像输入所述分割模型的编码端，以通过所述编码端提取所述样本图像的多尺度特征；将所述样本图像的多尺度特征输入所述分割模型的解码端，以通过所述解码端基于所述样本图像的多尺度特征检测所述样本图像中的各目标；针对所述样本图像中的每个目标，将各待调整样本定位框输入所述解码端，以通过所述解码端基于该目标对各待调整样本定位框进行去噪，得到用于定位该目标的第一定位框；根据该目标的第一定位框和所述样本图像的多尺度特征，确定所述分割模型输出的该目标的掩膜；根据所述样本图像中每个目标的掩膜及所述标签，对所述分割模型进行训练。

48、可选地，所述模型训练模块，具体用于获取对样本图像中已标注出的各目标对应的标准定位框；对所述标准定位框加入噪声，得到各待调整样本定位框。

49、可选地，所述标签还包括所述样本图像中各目标对应的标准定位框及各目标的类别；所述模型训练模块具体用于，根据所述分割模型对所述样本图像中检测出的各目标进行分类的分类结果及所述标签，确定分类损失；根据所述样本图像中每个目标的掩膜及所述标签，确定第一损失；根据所述标签及所述样本图像中每个目标的第一定位框，确定第二损失；根据所述分类损失、所述第一损失和所述第二损失，确定综合损失；以最小化所述综合损失为训练目标，对所述分割模型进行训练。

50、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像的实例分割方法。

51、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像的实例分割方法。

52、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

53、在本说明书提供的图像的实例分割方法中，预先训练的分割模型包括编码端和解码端，所述解码端由扩散模型实现，获取待分割图像以及若干待调整定位框；将所述待分割图像输入所述编码端，以通过所述编码端提取所述待分割图像的多尺度特征；将多尺度特征输入所述解码端，以通过所述解码端基于所述多尺度特征检测所述待分割图像中的各目标；针对每个目标，将各待调整定位框作为包含噪声的定位框输入所述解码端，以通过所述解码端基于该目标对各待调整定位框进行去噪，得到用于定位该目标的标准定位框；所述噪声为导致各待调整定位框相对于该目标的标准定位框存在差异的噪声；根据该目标的标准定位框和所述多尺度特征，从所述待分割图像中分割该目标。

54、从上述方法中可以看出，本方法通过扩散模型对包含待调整定位框的图像除去噪声，得到待分割图像中各目标的标准定位框，通过标准定位框及多尺度特征，实现对待分割图像进行实例分割。