基于掩码和自编码的图像分割大模型构建方法、图像分割方法及相关设备与流程

本发明涉及计算机图像处理领域，尤其涉及一种基于掩码和自编码的图像分割大模型构建方法、图像分割方法、装置及相关设备。

背景技术：

1、随着计算机技术的发展，在行人识别、智能打卡、家畜监控等领域，需要对场景中的各个目标进行检测，在检测分割之后进行识别，以实现特定目标。现有的分割大模型，可以通过交互，使用多种类型的提示(点、框、文本、图像等)去引导分割。分割一切大模型(segment anything model，sam)支持点和框交互提示，不支持高级语义分割任务，因为它不输出语义标签。一次分割所有大模型(segment everything everywhere model，seem)也是一种交互提示方法，只是将提示多样化，是将不同提示进行组合。

2、发明人在实现本发明的过程中发现，现有方式sam模型更倾向于去分割轮廓边缘比较清晰的整个物体或者是物体的主体部分，很难去细粒度分割物体内部，尤其是当前景背景差异不明显，更难去区分。不管是sam还是seem都使用了交互，这种交互式分割具有针对性，通常对单个物体的分割效果也较优，不适合语义分割和全景分割。因而，现有的分割大模型对部分类型的图像存在分割精准程度不高的问题。

技术实现思路

1、本发明实施例提供一种基于掩码和自编码的图像分割大模型构建方法、图像分割方法、装置、计算机设备和存储介质，以提高图像分割精准度。

2、为了解决上述技术问题，本技术实施例提供一种基于掩码和自编码的图像分割大模型构建方法，包括：

3、获取训练图像及训练对应的分割标注数据，并进行预处理操作，得到初始训练数据；

4、构建初始分割模型，所述初始分割模型由编码模块和解码模块组成；

5、采用所述初始训练数据对所述初始分割模型进行迭代训练，得到训练好的分割模型，其中，在每次所述迭代训练的过程中，将编码模块之后序列中的掩码部分对应的编码特征随机初始化，与没有掩码部分对应的编码特征结果按各自在拼接图中的位置顺序进行拼接，作为目标编码，并采用所述目标编码进行解码。

6、可选地，所述初始分割模型为分割大模型segtransformer，所述编码模块为视觉大模型结构vision transformer，所述解码模块由6个转换器块transformer block组成，1个block由1个多头注意力模块mutil-head attention和1个前馈模块feed forward组成。

7、可选地，所述获取训练图像及训练对应的分割标注数据，并进行预处理操作，得到初始训练数据包括：

8、将所述训练图像和所述训练图像对应的分割标注图像进行拼接，得到拼接图像；

9、将所述拼接图像按照预设方式进行分块，得到块；

10、从所述拼接图像的分割标注图像部分中，随机抽取预设比例的块进行掩码处理并进行图像重建，得到掩码后的分割标注图；

11、将所述拼接图像和所述掩码后的分割标注图中的无掩码的块，按照从左到右从上到下的顺序组成序列，将所述序列作为所述初始训练数据。

12、可选地，所述采用所述初始训练数据对所述初始分割模型进行迭代训练，得到训练好的分割模型包括：

13、将所述初始训练数据输入到所述初始分割模型，通过编码模块得到编码特征；

14、冻结所述编码模块，并基于编码特征初始化特征向量，所述特征向量与所述编码特征的数量相同；

15、将编码特征与所述特征向量进行拼接，得到拼接特征；

16、采用所述解码模块对所述拼接特征进行解码，得到预测结果，所述预测结果包括预测的训练图像和预测的拼接图像；

17、基于所述训练图像、所述拼接图像、所述预测的训练图像和预测的拼接图像，进行损失计算，并根据损失对解码模块的参数进行微调迭代，得到所述训练好的分割模型。

18、可选地，在微调阶段，对从所述拼接图像的分割标注图像是所有块进行掩码处理并进行图像重建，得到掩码后的分割标注图。

19、为了解决上述技术问题，本技术实施例还提供一种图像分割方法，包括：

20、获取待分割图像；

21、将所述待分割图像输入到训练好的图像分割模型中进行识别训练，得到图像分割结果，其中，所述训练好的图像分割模型根据上述基于掩码和自编码的图像分割大模型构建方法训练得到。

22、为了解决上述技术问题，本技术实施例还提供一种基于掩码和自编码的图像分割大模型构建装置，包括：

23、初始训练数据获取模块，用于获取训练图像及训练对应的分割标注数据，并进行预处理操作，得到初始训练数据；

24、初始分割模型构建模块，用于构建初始分割模型，所述初始分割模型由编码模块和解码模块组成；

25、分割模型迭代训练模块，用于采用所述初始训练数据对所述初始分割模型进行迭代训练，得到训练好的分割模型，其中，在每次所述迭代训练的过程中，将编码模块之后序列中的掩码部分对应的编码特征随机初始化，与没有掩码部分对应的编码特征结果按各自在拼接图中的位置顺序进行拼接，作为目标编码，并采用所述目标编码进行解码。

26、可选地，所述初始训练数据获取模块包括：

27、拼接单元，用于将所述训练图像和所述训练图像对应的分割标注图像进行拼接，得到拼接图像；

28、分块单元，用于将所述拼接图像按照预设方式进行分块，得到块；

29、掩码单元，用于从所述拼接图像的分割标注图像部分中，随机抽取预设比例的块进行掩码处理并进行图像重建，得到掩码后的分割标注图；

30、序列重组单元，用于将所述拼接图像和所述掩码后的分割标注图中的无掩码的块，按照从左到右从上到下的顺序组成序列，将所述序列作为所述初始训练数据。

31、可选地，所述分割模型迭代训练模块包括：

32、编码单元，用于将所述初始训练数据输入到所述初始分割模型，通过编码模块得到编码特征；

33、初始化特征向量单元，用于冻结所述编码模块，并基于编码特征初始化特征向量，所述特征向量与所述编码特征的数量相同；

34、向量拼接单元，用于将编码特征与所述特征向量进行拼接，得到拼接特征；

35、解码预测单元，用于采用所述解码模块对所述拼接特征进行解码，得到预测结果，所述预测结果包括预测的训练图像和预测的拼接图像；

36、微调迭代单元，用于基于所述训练图像、所述拼接图像、所述预测的训练图像和预测的拼接图像，进行损失计算，并根据损失对解码模块的参数进行微调迭代，得到所述训练好的分割模型。

37、为了解决上述技术问题，本技术实施例还提供一种图像分割装置，包括：

38、图像获取模块，用于获取待分割图像；

39、图像分割模块，用于将所述待分割图像输入到训练好的图像分割模型中进行识别训练，得到图像分割结果，其中，所述训练好的图像分割模型根据上述基于掩码和自编码的图像分割大模型构建方法训练得到。

40、为了解决上述技术问题，本技术实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于掩码和自编码的图像分割大模型构建方法的步骤。

41、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于掩码和自编码的图像分割大模型构建方法的步骤。

42、本发明实施例提供的基于掩码和自编码的图像分割大模型构建方法、图像分割方法、装置、计算机设备及存储介质，获取训练图像及训练对应的分割标注数据，并进行预处理操作，得到初始训练数据；构建初始分割模型，初始分割模型由编码模块和解码模块组成；采用初始训练数据对初始分割模型进行迭代训练，得到训练好的分割模型，其中，在每次迭代训练的过程中，将编码模块之后序列中的掩码部分对应的编码特征随机初始化，与没有掩码部分对应的编码特征结果按各自在拼接图中的位置顺序进行拼接，作为目标编码，并采用目标编码进行解码，实现采用图生图的分割方法，通过将图像与分割标注拼接后再掩码重建，从而得到图像的分割图，针对不同类型的图像分割稳健性较佳，采用本发明提高了图像分割的精准性。