图像分割模型训练方法与相关方法、装置、介质及设备与流程

本技术涉及计算机视觉，具体涉及一种图像分割模型训练方法与相关方法、装置、介质及设备。

背景技术：

1、计算机视觉技术中经常需要分割给定图像中特定物体的准确轮廓，在相关技术中，一般是通过大量的自然图像对图像分割模型进行训练，得到可以从给定图像中直接分割出特定物体的准确轮廓的图像分割模型。

2、但是，对于与自然图像差异比较大的非自然图像，例如医疗图像，往往由于训练样本不足，无法在医疗影像上实现准确的物体分割效果，一般而言，为了克服训练样本不足的缺陷，可以将在自然图像上训练得到的图像分割模型，再在医疗图像上进行微调训练。

3、然而，这样的微调训练方式会导致图像分割模型灾难性遗忘，即导致图像分割模型遗忘掉自然图像上学习到的分割知识，因此，上述微调训练后的图像分割模型对于非自然图像上的物体的分割准确率仍然较低。

技术实现思路

1、本技术实施例提供一种图像分割模型训练方法与相关方法、装置、介质及设备，可以提升训练出的模型的分割准确率。

2、为解决上述技术问题，本技术实施例提供以下技术方案：

3、一种图像分割模型训练方法，包括：

4、获取待训练图像样本以及图像分割模型，所述图像分割模型至少由预设编码器、预训练后的自然图像分割模型和预设解码器构成；

5、将所述待训练图像样本输入所述预设编码器进行图像卷积处理，得到所述预设编码器经过图像卷积处理后输出的中间图像特征；

6、将所述中间图像特征输入所述预训练后的自然图像分割模型进行图像分割处理，并提取所述预训练后的自然图像分割模型在图像分割处理下生成的高层图像特征；

7、将所述高层图像特征输入所述预设编码器进行特征卷积处理，通过特征卷积处理将所述高层图像特征转化为预测分割结果；

8、根据所述预测分割结果和分割标签之间的关系，生成相应的损失函数；

9、基于所述损失函数对所述图像分割模型中的所述预设编码器和所述预设解码器进行迭代训练，直至所述损失函数满足预设条件，得到训练后的图像分割模型，所述训练后的图像分割模型至少由训练后的预设编码器、所述预训练后的自然图像分割模型和训练后的预设解码器构成。

10、一种图像处理方法，包括：

11、获取待识别图像和根据上述图像分割模型训练方法进行训练得到的训练后的图像分割模型，所述训练后的图像分割模型至少由训练后的预设编码器、预训练后的自然图像分割模型和训练后的预设解码器构成；

12、将所述待识别图像输入所述训练后的预设编码器进行图像卷积处理，得到所述训练后的预设编码器输出的待识别中间图像特征；

13、将所述待识别中间图像特征输入所述预训练后的自然图像分割模型进行图像分割处理，并提取所述预训练后的自然图像分割模型在图像分割处理下生成的待识别高层图像特征；

14、将所述待识别高层图像特征输入训练后的预设解码器进行特征卷积处理，通过特征卷积处理将所述待识别高层图像特征转化为目标分割结果输出。

15、一种图像分割模型训练装置，包括：

16、获取单元，用于获取待训练图像样本以及图像分割模型，所述图像分割模型至少由预设编码器、预训练后的自然图像分割模型和预设解码器构成；

17、第一输入单元，用于将所述待训练图像样本输入所述预设编码器进行图像卷积处理，得到所述预设编码器经过图像卷积处理后输出的中间图像特征；

18、第二输入单元，用于将所述中间图像特征输入所述预训练后的自然图像分割模型进行图像分割处理，并提取所述预训练后的自然图像分割模型在图像分割处理下生成的高层图像特征；

19、第三输入单元，用于将所述高层图像特征输入所述预设编码器进行特征卷积处理，通过特征卷积处理将所述高层图像特征转化为预测分割结果；

20、生成单元，用于根据所述预测分割结果和分割标签之间的关系，生成相应的损失函数；

21、训练单元，用于基于所述损失函数对所述图像分割模型中的所述预设编码器和所述预设解码器进行迭代训练，直至所述损失函数满足预设条件，得到训练后的图像分割模型，所述训练后的图像分割模型至少由训练后的预设编码器、所述预训练后的自然图像分割模型和训练后的预设解码器构成。

22、在一些实施方式中，所述第一输入单元，包括：

23、第一提取子单元，用于将所述待训练图像样本输入预设编码器进行图像卷积处理；

24、第二提取子单元，用于提取所述预设编码器经过图像卷积处理后倒数第二个卷积模块生成的图像特征作为中间图像特征。

25、在一些实施方式中，所述第一提取子单元，包括：

26、二维处理子模块，用于当所述待训练图像样本为二维图像时，将所述待训练图像样本输入预设编码器进行图像卷积处理。

27、在一些实施方式中，所述预设编码器包括下采样模块、连接模块和上采样模块；所述二维处理子模块，用于：

28、当所述待训练图像样本为二维图像时，将所述待训练图像样本输入所述下采样模块进行下采样卷积处理，得到第一图像特征；

29、将所述第一图像特征输入所述连接模块进行卷积处理，得到相应的第二图像特征；

30、将所述第二图像特征输入所述上采样模块进行上采样卷积处理，并结合所述第一图像特征进行特征融合，得到第三图像特征；

31、所述第二提取子单元，用于：

32、提取所述上采样模块经过上采样卷积处理后输出的第三图像特征作为中间图像特征。

33、在一些实施方式中，所述该第一提取子单元，还包括：

34、降维子模块，用于当所述待训练图像样本为三维图像时，将所述待训练图像样本进行降维处理，得到多个二维图像特征；

35、图像卷积处理子模块，用于将每个二维图像特征输入预设编码器进行图像卷积处理。

36、在一些实施例中，所述预设编码器包括降维模块，所述降维模块至少包括三维卷积层和目标池化层；所述降维子模块，还用于：

37、当所述待训练图像样本为三维图像时，将所述待训练图像样本输入所述三维卷积层进行三维卷积处理，得到三维图像特征，所述三维图像特征由多个初始二维图像特征组成；

38、将所述三维图像特征输入所述目标池化层，进行不同层的初始二维图像特征之间的空间关系表征处理，得到目标三维图像特征；

39、获取所述目标三维图像特征相应的多个二维图像特征。

40、在一些实施例中，所述预设编码器还包括下采样模块、连接模块和上采样模块；所述特征提取子模块，用于：

41、将每个二维图像特征依次输入所述下采样模块进行下采样卷积处理，得到第四图像特征；

42、将所述第四图像特征输入所述连接模块进行卷积处理，得到相应的第五图像特征；

43、将所述第五图像特征输入所述上采样模块进行上采样卷积处理，并结合相应的所述第四图像特征进行特征融合，得到第六图像特征；

44、所述第二提取子单元，用于：

45、提取所述上采样模块经过上采样卷积处理后输出的第六图像特征作为中间图像特征。

46、在一些实施例中，所述第三输入单元，用于：

47、将所述高层图像特征输入预设编码器进行特征卷积处理，通过特征卷积处理将所述高层图像特征转化为每个二维图像特征相应的分割结果；

48、获取每个二维图像特征的三维位置信息；

49、根据所述三维位置信息将每个二维图像特征的分割结果进行拼接，得到预测分割结果。

50、在一些实施例中，所述第二输入单元，包括：

51、输入子单元，用于将所述中间图像特征输入预训练后的自然图像分割模型的第二个卷积模块进行图像分割处理；

52、提取子单元，用于提取所述预训练后的自然图像分割模型在图像分割处理下倒数第二个卷积模块生成的图像特征作为高层图像特征。

53、在一些实施例中，所述预训练后的自然图像分割模型至少包括图像编码器和掩码解码器，该输入子单元，用于：

54、将所述中间图像特征输入所述图像编码器的第二个卷积模块进行编码处理，得到编码处理后的目标中间图像特征；

55、将所述目标中间图像特征输入所述掩码解码器进行图像分割处理。

56、在一些实施例中，所述图像分割模型还包括预设提示编码器，所述装置，还包括语句输入单元，用于：

57、接收目标语句样本；

58、将所述目标语句样本输入预设提示编码器，输出相应的文本向量；

59、所述输入子单元，还用于：

60、将所述中间图像特征输入图像编码器的第二个卷积模块进行编码处理，得到编码处理后的目标中间图像特征；

61、将所述目标中间图像特征和所述文本向量一并输入掩码解码器进行图像分割处理。

62、在一些实施例中，所述训练单元，用于：

63、基于所述损失函数对所述图像分割模型中的所述预设编码器、所述预设解码器和所述预设提示编码器进行迭代训练，直至所述损失函数满足预设条件，得到训练后的图像分割模型，所述训练后的图像分割模型至少由训练后的预设编码器、训练后的预设提示编码器、所述预训练后的自然图像分割模型和训练后的预设解码器构成。

64、在一些实施例中，所述提取子单元，还用于：

65、提取所述掩码解码器在图像分割处理下倒数第二个卷积模块生成的图像特征作为高层图像特征。

66、在一些实施例中，所述生成单元，用于：

67、获取所述预测分割结果和分割标签的交集面积；

68、计算所述预测分割结果和所述分割标签的面积之和，得到目标面积；

69、根据所述交集面积和所述目标面积，构建相应的损失函数。

70、一种图像处理装置，包括：

71、获取单元，用于获取待识别图像和根据上述图像分割模型训练方法进行训练得到的训练后的图像分割模型，所述训练后的图像分割模型至少由训练后的预设编码器、预训练后的自然图像分割模型和训练后的预设解码器构成；

72、第一输入单元，用于将所述待识别图像输入所述训练后的预设编码器进行图像卷积处理，得到所述训练后的预设编码器输出的待识别中间图像特征；

73、第二输入单元，用于将所述待识别中间图像特征输入所述预训练后的自然图像分割模型进行图像分割处理，并提取所述预训练后的自然图像分割模型在图像分割处理下生成的待识别高层图像特征；

74、第三输入单元，用于将所述待识别高层图像特征输入训练后的预设解码器进行特征卷积处理，通过特征卷积处理将所述待识别高层图像特征转化为目标分割结果输出。

75、在一些实施方式中，所述装置还包括语句处理单元，用于：

76、接收输入的待识别语句；

77、将所述待识别语句输入预设编码器，输出相应的目标文本向量；

78、所述第二输入单元，还用于：

79、将所述待识别中间图像特征和所述目标文本向量一并输入所述预训练后的自然图像分割模型进行图像分割处理，并提取所述预训练后的自然图像分割模型在图像分割处理下生成的待识别高层图像特征。

80、一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述图像分割模型训练方法或图像处理方法。

81、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像分割模型训练方法或图像处理方法。

82、一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令，处理器执行所述计算机指令，使得实现上述图像分割模型训练方法或图像处理方法。

83、本技术实施例通过获取待训练图像样本以及图像分割模型，图像分割模型至少由预设编码器、预训练后的自然图像分割模型和预设解码器构成；将待训练图像样本输入预设编码器进行图像卷积处理，得到预设编码器经过图像卷积处理后输出的中间图像特征；将中间图像特征输入预训练后的自然图像分割模型进行图像分割处理，并提取预训练后的自然图像分割模型在图像分割处理下生成的高层图像特征；将高层图像特征输入预设编码器进行特征卷积处理，通过特征卷积处理将高层图像特征转化为预测分割结果；根据预测分割结果和分割标签之间的关系，生成相应的损失函数；基于损失函数对图像分割模型中的预设编码器和预设解码器进行迭代训练，直至损失函数满足预设条件，得到训练后的图像分割模型，训练后的图像分割模型至少由训练后的预设编码器、预训练后的自然图像分割模型和训练后的预设解码器构成。以此，通过固定预训练后的自然图像分割模型的模型参数，利用其分割能力，对预设编码器的特征提取能力进行训练，对预设解码器的分割能力进行训练，相对于相关技术在自然图像上训练得到的图像分割模型，再在医疗图像上进行微调训练的方案，本技术实施例可以避免灾难性遗忘，极大提升了训练后的图像分割模型的分割准确率。

84、本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。