图像分割模型生成方法和装置、图像分割方法和装置与流程

1.本公开涉及人工智能技术领域，具体涉及深度学习、图像处理、计算机视觉等技术领域，可应用于ocr等场景，尤其涉及一种图像分割模型生成方法和装置、图像分割方法和装置、电子设备、计算机可读介质以及计算机程序产品。


背景技术：

2.对于不同场景下的分割任务，尤其是医学图像的分割，在通过深度学习实现图像分割时，若待分割图像尺寸过大，直接缩小图像尺寸会丢失图像细节。


技术实现要素：

3.提供了一种图像分割模型生成方法和装置、图像分割方法和装置、电子设备、计算机可读介质以及计算机程序产品。
4.根据第一方面，提供了一种图像分割方法，该方法包括：获取待分割图像；将所述待分割图像输入预训练完成的图像分割模型中进行分块和级联，得到所述待分割图像中目标的分割结果。
5.根据第二方面，提供了一种图像分割模型生成方法，该方法包括：获取预置的图像样本集；获取预先构建的图像分割网络，图像分割网络包括：分割模块和判别模块；执行以下训练步骤：从图像样本集中选取图像样本；将图像样本输入分割模块进行分块分割后再与图像样本进行特征级联，得到对应图像样本的分割结果；将分割结果和图像样本同时输入判别模块，得到判别结果；计算图像分割网络的总体损失值；基于总体损失值，得到对应分割模块的图像分割模型。
6.根据第三方面，提供了一种图像分割装置，该装置包括：图像获取单元，被配置成获取待分割图像；结果得到单元，被配置成将所述待分割图像输入预训练完成的图像分割模型中进行分块和级联，得到所述待分割图像中目标的分割结果。
7.根据第四方面，提供了一种图像分割模型生成装置，该装置包括：样本获取单元，被配置成获取预置的图像样本集；网络获取单元，被配置成获取预先构建的图像分割网络，图像分割网络包括：分割模块和判别模块；选取单元，被配置成从图像样本集中选取图像样本；级联单元，被配置成将图像样本输入分割模块进行分块分割后再与图像样本进行特征级联，得到对应图像样本的分割结果；判别单元，被配置成将分割结果和图像样本同时输入判别模块，得到判别结果；计算单元，被配置成计算图像分割网络的总体损失值；模型得到单元，被配置成基于总体损失值，得到对应分割模块的图像分割模型。
8.根据第五方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。
9.根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计
算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。
10.根据第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面任一实现方式描述的方法。
11.本实施例提供的图像分割方法和装置，首先，获取待分割图像，其次将待分割图像输入预训练完成的图像分割模型，可以有效识别待分割图像中的目标的轮廓，提高了目标分割的效率。
12.本公开的实施例提供的图像分割模型生成方法和装置，首先，获取预置的图像样本集；其次，获取预先构建的图像分割网络，图像分割网络包括：分割模块和判别模块；再次，从图像样本集中选取图像样本；从次，将图像样本输入分割模块进行分块分割后再与图像样本进行特征级联，得到对应图像样本的分割结果；然后，将分割结果和图像样本同时输入判别模块，得到判别结果；最后，计算图像分割网络的总体损失值；基于总体损失值，得到对应分割模块的图像分割模型。由此，先分块分割图像再融合成完整的分割结果，可将图像剪裁为若干小尺寸图像进行分割，缓解输入图像直接降采样导致的细节丢失问题。训练过程中，使用生成对抗网络中的判别思想，对现有的分割结果进行判别，充分利用对抗策略实现了半监督训练过程，无需生成伪标签，提高了模型训练速度。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案，不构成对本公开的限定。其中：
15.图1是根据本公开图像分割方法的一个实施例的流程图；
16.图2a是本公开实施例中光学相干图像的原图；
17.图2b是本公开实施例中光学相干图像中目标器官的轮廓；
18.图2c是本公开实施例中眼的鼻侧或颞侧的一种原图；
19.图2d是本公开实施例中眼的鼻侧或颞侧的一种分割结果图；
20.图2e是本公开实施例中眼的鼻侧或颞侧的另一种原图；
21.图2f是本公开实施例中眼的鼻侧或颞侧的另一种分割结果图；
22.图3是根据本公开图像分割模型生成方法的一个实施例的流程图；
23.图4是本公开实施例中分割模块的一种结构示意图；
24.图5是本公开实施例中计算图像分割网络的总体分割损失的一种结构示意图；
25.图6是本公开实施例中计算图像分割网络的总体损失值的一种结构示意图；
26.图7是根据本公开图像分割装置的实施例的结构示意图；
27.图8是根据本公开图像分割模型生成装置的实施例的结构示意图；
28.图9是用来实现本公开实施例的图像分割模型生成方法、图像分割方法的电子设备的框图。
具体实施方式
29.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识
到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
30.本实施例中，“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
31.图1示出了本公开图像分割方法的一个实施例的流程图100，上述图像分割方法包括以下步骤：
32.步骤101，获取待分割图像。
33.在本实施例中，图像分割方法的执行主体可以通过多种方式来获取待分割图像。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的待分割图像。再例如，执行主体也可以接收终端或其他设备实时采集的待分割图像。
34.在本实施例中，待分割图像为待提取图像中目标中的轮廓的图像，待分割图像可以是彩色图像和/或灰度图像等等，且该待分割图像的格式在本公开中也不限制。并且待分割图像可以是包括目标的图像，通过预训练完成的图像分割模型，可以分割待分割图像中的目标，得到待分割图像中目标的分割结果，该分割结果包括目标的轮廓。
35.步骤102，将待分割图像输入预训练完成的图像分割模型中进行分块和级联，得到待分割图像中目标的分割结果。
36.在本实施例中，执行主体可以将步骤101中获取的待分割图像输入预训练完成的图像分割模型中，从而得到图像分割模型输出的待分割图像中目标的分割结果。其中，待分割图像中的目标可以是待分割图像中的人物、动物、景色等，通过图像分割模块得到的目标的分割结果可以是目标的轮廓、轮廓在待分割图像中的位置等信息。
37.可选地，目标的分割结果还可以包括：目标的类型、目标在待分割图像中的图像特征等。
38.在本实施例中，图像分割模型可以是采用本公开实施例所描述的图像分割模型生成方法而生成的。具体生成过程可以参见下面实施例的相关描述，在此不再赘述。
39.本实施例中，图像分割模型是对分割模块和判别模块共同训练完成之后，得到的对应分割模块的模型。
40.需要说明的是，本实施例图像分割方法可以用于测试下述各实施例所生成的图像分割模型。进而根据图像分割结果可以不断地优化图像分割模型。该方法也可以是下述各实施例所生成的图像分割模型的实际应用方法。采用下述各实施例所生成的图像分割模型，来进行图像中目标的轮廓的分割，有助于提高图像分割的性能。
41.本实施例提供的图像分割方法可以用于任何一种图像分割的场景，如自动驾驶中道路情况分析，医学影像辅助诊疗中了解目标器官状态，监测领域中卫星、遥感图像目标区域分析。以医疗图像分割为例，该方法可应用到影像辅助闭角型青光眼诊断、影像辅助眼前节结构测量、眼前节结构可视化等产品中。
42.本实施例提供的图像分割方法，获取待分割图像，将待分割图像输入预训练完成的图像分割模型，可以有效识别待分割图像中的目标的轮廓，提高了目标分割的效率。
43.在本实施例的一些可选实现方式中，上述将待分割图像输入预训练完成的图像分割模型中进行分块和级联，得到待分割图像中目标的分割结果，包括：将待分割图像输入图
像分割模型；图像分割模型将待分割图像进行分块裁剪，得到多个图像块；提取各个图像块的图像语义特征，得到各个图像块的分割结果；将所有图像块的分割结果进行级联后编码，得到分割特征；对待分割图像进行编码，得到图像特征；对分割特征和图像特征进行级联后解码，得到待分割图像中目标的分割结果。
44.如图2a-2f所示，图像分割模型可以对待分割图像的原图(如图2a所示)进行分块，得到多个图像块(如图2c、2e所示的原图)，进一步提取多个图像块的语义特征，得到各个图像块的分割结果(如图2d、2f所示，图2d是图2c中目标的分割结果，图2f是图2e中目标的分割结果)，对分割特征和图像特征进行级联后解码，得到待分割图像中目标的分割结果(如图2b所示)。
45.本可选实现方式提供的得到待分割图像中目标的分割结果的方法，图像分割模型可以实现对待分割图像的分割，并且图像分割模型还可以在将待分割图像分块裁剪之后，采集多个图像块的特征，基于多个图像块的分割特征以及待分割图像的图像特征进行待分割图像中目标的轮廓提取，可以综合各尺度信息，提高了分割结果得到的可靠性。
46.可选地，上述将待分割图像输入预训练完成的图像分割模型中进行分块和级联，得到待分割图像中目标的分割结果，可以包括：将待分割图像输入图像分割模型；图像分割模型将待分割图像进行分块裁剪，得到多个图像块；提取各个图像块的图像语义特征，得到各个图像块的分割结果；将所有图像块的分割结果进行级联，得到待分割图像中目标的分割结果。
47.在本实施例的一些可选实现方式中，待分割图像包括光学相干图像，分割结果包括：光学相干图像中目标器官的轮廓。
48.本可选实现方式中，光学相干图像可以是具有目标器官的图像，如光学相干图像为as-oct图像中的眼前节结构(如图2a所示)，其中眼前节结构属于目标器官，眼前节结构近似对称，图像的左侧和右侧(如图2c、2e所示的原图)在生理结构上，对应眼的鼻侧或颞侧。
49.本公开提供的图像分割方法，可以将光学相干图像中的目标器官分割为多个图像块，之后生成整个目标器官的分割结果，为医学图像中目标的分割提供了一种可靠的实现方式。
50.在本实施例的一些可选实现方式中，待分割图像包括：遥感图像或卫星图像；分割结果包括：遥感图像或卫星图像中目标区域的轮廓。
51.本公开提供的图像分割方法，可以将遥感图像或卫星图像中的目标区域分割为多个图像块，之后生成整个目标区域的分割结果，为遥感卫星图像中目标区域的分割提供了一种可靠的实现方式。
52.在本实施例的一些可选实现方式中，待分割图像包括：自动驾驶道路图像；分割结果包括：自动驾驶道路图像中的道路目标的轮廓。
53.本可选实现方式中，道路目标可以是道路中车道线、道路指示牌、红绿灯等。
54.本公开提供的图像分割方法，可以将自动驾驶道路图像中的道路目标分割为多个图像块，之后生成整个道路目标的分割结果，为自动驾驶道路图像中道路目标的分割提供了一种可靠的实现方式。
55.图3示出了根据本公开图像分割模型生成方法的一个实施例的流程300，上述图像
分割模型生成方法包括以下步骤：
56.步骤301，获取预置的图像样本集。
57.本实施例中，样本图像为图像分割模型生成方法运行于其上的执行主体获取的图像，执行主体可以通过有线连接方式或无线连接方式从数据库中获取图像样本集，也可以接受终端或者其他设备实时采集的图像样本集，图像样本集包括至少一个图像样本，每一个图像样本可以是带分割标签的图像，也可以不带分割标签的图像，其中，分割标签为图像分割模型分割图像样本的真值，或者分割标签为图像分割模型在训练时的可以识别的图像样本的标注值，通过该标注值可以确定模型对图像样本的分割效果。
58.本实施例中，每个图像样本中具有至少一个目标，通过训练得到的图像分割模型，可以将图像样本中的目标的整体轮廓分割出来。目标可以图像样本中的人物、动物、景色等。
59.步骤302，获取预先构建的图像分割网络。
60.本实施例中，图像分割网络包括：分割模块和判别模块；其中，分割模块用于对图像进行分块分割，得到至少一个图像块；对所有图像块和该图像进行编码并提取所有图像块和该图像的特征，将所有提取出的特征进行级联以及解码，得到分割结果。
61.本实施例中，分割结果是对图像中的目标进行轮廓识别之后得到的对应该图像的目标的轮廓的识别结果，通过分割模块的分块分割以及特征级联可以最大限度的保留该图像的细节。
62.本实施例中，判别模块用于判别分割模块的分割结果是不是与该图像是否相吻合，或者用于判断分割结果是否与图像的分割标签的匹配度达到预设匹配值(例如80％以上)，即判断分割结果得到的目标的轮廓是否为图像中的目标的轮廓，通过判别模块可以确定分割模块的分割效果，以此在分割网络训练过程中对分割模块的参数进行优化，直至分割模块的参数达到最优。
63.步骤303，从图像样本集中选取图像样本。
64.本实施例中，在本实施例中，执行主体可以从步骤301中获取的样本集中选取样本，以及执行步骤303至步骤307的训练步骤，实现图像分割网络的一次迭代训练，在图像分割网络的每次迭代训练过程中，可以对图像分割网络的参数进行调整，直至经过多次迭代训练图像分割网络的总体损失值达到最优。其中，样本的选取方式和选取数量在本技术中并不限制。例如可以是随机选取至少一个样本，也可以是从中选取清晰度较好(即像素较高)的样本。
65.在图像分割网络每次迭代训练过程中，从图像样本集中选取的图像样本可以是一张也可以是多张，该图像样本可以仅仅是不带分割标签的图像，或者仅仅是带分割标签的图像，可选地，该图像样本也可以是混合有带分割标签的图像以及不带分割标签的图像。当选取的图像样本是混合有带分割标签的图像和不带分割标签的图像时，在图像分割网络中会判断图像样本是否带标签，并针对带标签的图像和不带标签的图像进行不同的损失度计算，并综合所有的损失度得到总体损失值。
66.步骤304，将图像样本输入分割模块进行分块分割后再与图像样本进行特征级联，得到对应图像样本的分割结果。
67.本实施例中，图像样本输入分割模块，在分割模块中对图像样本进行分块分割，得
到两个以上的图像块，提取所有图像块以及图像样本的特征，并将所有图像块的特征与图像样本的特征分别级联，得到图像样本的分割结果。
68.本实施例中，为了检测分割模块对图像样本的分割效果，在图像样本中带分割标签时，可以通过图像样本的分割标签计算分割模块的分割损失；在图像样本不带分割标签时，可以通过判别模块对分割结果进行检测，并在迭代训练过程中，基于分割网络的总体损失值调整分割网络的参数。
69.步骤305，将分割结果和图像样本同时输入判别模块，得到判别结果。
70.本实施例中，将分割结果和图像样本输入判别模块，判别模块基于图像样本的特征，检测分割结果是否属于图像样本，在判断到分割结果属于图像样本时，输出真的判别结果；在判断到分割结果不属于图像样本时，输出假的判别结果，通过判别模块可以将分割结果中与图像样本的分割标签不对应的图像样本区分开。
71.本技术的判别模块可以采用经典的生成式对抗网络中的判别网络，例如判别模块若判定分割结果是上述分割模块所输出的图像样本的特征，则可以输出1；若判定分割结果不是上述分割模块所输出的图像样本的特征，则可以输出0。需要说明的是，判别模块也可以基于预先设定是输出其他数值，不限于1和0。
72.步骤306，计算图像分割网络的总体损失值。
73.本实施例中，总体损失值为图像分割网络通过损失函数进行计算得到损失值，总体损失值可以等于以下至少一项：通过分割模块对应的损失函数计算得到的损失值；通过判别模块对应的损失函数计算得到的损失值；可由分割模块对应的损失函数计算得到的损失值和判别模块对应的损失函数计算得到的损失值共同得到。基于从图像样本集中选取的图像样本是否带分割标签，分割模块的损失值可以是零。由此，在从图像样本集中选取的图像样本完全不带分割标签时，图像分割网络的总体损失值等于判别模块的损失值；在从图像样本集中选取的图像样本全部带分割标签时，图像分割网络的总体损失值可以等于分割模块的损失值。
74.可选地，在从图像样本集中选取的图像样本既有带分割标签的图像又有不带分割标签的图像时，图像分割网络的总体损失值等于分割模块的损失值与判别模块的损失值之和。
75.步骤307，基于总体损失值，得到对应分割模块的图像分割模型。
76.本实施例中，基于总体损失值，训练图像分割网络，待整个图像分割网络满足训练完成条件，则确定图像分割网络中对应分割模块的部分为图像分割模型，采用该图像分割模型，在输入具有目标的图像之后，可以得到图像分割模型输出的目标的分割结果。
77.在本实施例中，训练完成条件包括以下至少一项：图像分割网络的训练迭代次数达到预定迭代阈值，总体损失值小于预定损失值阈值，判别模块的判别准确率在预定范围内。例如，训练迭代达到5千次。总体损失值小于0.05，判别模块的判别准确率达到50％。训练完成后只保留分割模块作为图像分割模型。设置训练完成条件可以加快模型收敛速度。
78.若图像分割网络不满足训练完成条件，则调整图像分割网络中的相关参数使得总体损失值收敛，基于调整后的图像分割网络，继续执行步骤303-307。
79.在本实施例中，若训练未完成，则调整分割模块或判别模块的参数来使得图像分割网络的总体损失值收敛。其中，可先保持判别模块的参数不变，反复执行步骤303至步骤
307，调整对应分割模块的参数，使得总体损失值逐渐变小直至稳定。然后再保持分割模块的参数不变，反复执行步骤303至步骤307，调整判别模块的参数，使得总体损失值逐渐变小直至稳定。交替训练生成分割模块和判别模块的参数，直至图像分割网络的总体损失值收敛。
80.本公开的实施例提供的图像分割模型生成方法，首先，获取预置的图像样本集；其次，获取预先构建的图像分割网络，图像分割网络包括：分割模块和判别模块；再次，从图像样本集中选取图像样本；从次，将图像样本输入分割模块进行分块分割后再与图像样本进行特征级联，得到对应图像样本的分割结果；然后，将分割结果和图像样本同时输入判别模块，得到判别结果；最后，计算图像分割网络的总体损失值；基于总体损失值，得到对应分割模块的图像分割模型。由此，先分块分割图像再融合成完整的分割结果，可将图像剪裁为若干小尺寸图像进行分割，缓解了输入图像直接降采样导致的细节丢失问题。训练过程中，使用生成对抗网络中的判别思想，对现有的分割结果进行判别，充分利用对抗策略实现了半监督训练过程，无需生成伪标签，提高了模型训练速度，提高了模型训练效果。
81.在本实施例的一些可选实现方式中，上述将图像样本输入分割模块进行分块分割后再与图像样本进行特征级联，得到对应图像样本的分割结果，包括：对图像样本进行分块裁剪，得到多个图像块；提取各个图像块的图像语义特征，得到各个图像块的分割结果；将所有图像块的分割结果进行级联后编码，得到分割特征；对图像样本进行编码，得到原图特征；对分割特征和原图特征进行级联后解码，得到图像样本的分割结果。
82.如图4所示，分割模块包括：分块剪裁子模块、语义分割子模块、第一级联子模块、第一编码器、第二编码器、第二级联子模块、解码器，其中，分块剪裁子模块用于将图4中的图像样本分块分割为多个图像块，需要说明的是，当图像样本是带分割标签的图像时，分割标签也要在分块剪裁子模块进行与图像样本相同的分块分割操作，得到各个图像块的分割标注，如图5中，当图像样本为带分割标签的输入图像时，分割模块中的分块裁剪子模块对该输入图像进行分块分割操作之后，得到图像块1～图像块n(n为大于1的自然数)，相应地，还可以得到图像块1分割标注～图像块n分割标注。
83.语义分割子模块用于对分块剪裁子模块输出的各个图像块进行语义分割，得到各个图像块的分割结果；第一级联子模块用于对所有图像块的分割结果进行级联，得到分割特征；第一编码器用于对分割特征进行编码，第二编码器用于对图像样本进行编码；第二级联子模块用于拼接编码后的分割特征和编码后的图像样本，得到对应图像样本的分割结果的编码值；解码器用于对编码值进行解码，得到分割结果。
84.本实施例中，分块裁剪子模块可以对图像样本进行不重叠的图像均分剪裁或可重叠的等尺寸图像剪裁。语义分割子模块可以采用u-net(convolutional networks for biomedical image segmentation，生物医学图像分割的卷积神经网络)、resnet(residual neural network，残差网络)、densenet(densely connected convolutional networks，)、efficientnet(复合缩放网络)等网络结构。编码器和解码器可采用计算机视觉中的传统模型，如resnet、xception(deep learning with depthwise separable convolutions，深度学习与深度卷积网络)等。
85.本实施例中，图像样本的分割结果可以是图像样本中多个目标的分割结果，每个目标的分割结果包括目标的轮廓，轮廓输入不同目标的置信度等。
86.本可选实现方式提供的图像样本的分割结果得到方法，首先对图像样本进行分块裁剪，将将分块裁剪得到所有图像块特征与图像样本的特征进行级联，缓解了输入图像直接降采样导致的细节丢失问题，提高了图像的分割效果。
87.在本实施例的一些可选实现方式中，上述图像样本为带分割标签的图像，计算图像分割网络的总体损失值，包括：计算分割模块的总体分割损失；基于分割结果、图像样本，计算判别模块的总体判别损失；基于总体分割损失和总体判别损失，计算得到总体损失值。
88.如图5的实线所示部分，当图像样本为带分割标签的输入图像时，分割模块中的分块裁剪子模块对该输入图像进行分块分割操作之后，得到图像块1～图像块n(n为大于1的自然数)，以及图像块1分割标注～图像块n分割标注。将各个图像块输入语义分割子模块，得到各个图像块的图像块分割结果，针对各个图像块，将该图像块分割结果与该图像块分割标注输入损失函数进行分割损失计算，得到该图像块的分割损失；将所有图像块的分割损失相加，得到分割模块的总体分割损失。图5中，实线箭头为有标注数据(带分割标签的图像样本)训练流，虚线箭头为无标注数据(不带分割标签的图像样本)训练流。圆角框代表输入、输出或中间结果等数据，方角框为操作模块。
89.本实施例中，在进行目标的轮廓分割时，带分割标签的图像样本上的分割标签为目标的实际轮廓，也是图像分割模型训练过程要实现的分割结果。
90.本实施例中，上述基于总体分割损失和总体判别损失，计算得到总体损失值包括：将总体分割损失和总体判别损失相加，得到总体损失值。
91.可选地，上述基于总体分割损失和总体判别损失，计算得到总体损失值包括：分别为总体分割损失、总体判别损失赋第一权重值和第二权重值，其中，第一权重值和第二权重值可以是固定值，也可以是随图像样本的变化而变化，将第一权重值和总体分割损失的乘积与第二权重值和总体判别损失的乘积相加，得到总体损失值。
92.本可选实现方式提供的计算总体损失值的方法，在图像样本为带分割标签的图像时，计算总体分割损失和总体判别损失，基于总体分割损失和总体判别损失计算总体损失值，提高了带分割标签的图像的损失值计算的可靠性。
93.在本实施例的一些可选实现方式中，上述计算分割模块的总体分割损失，包括：基于分割结果，计算图像样本的整体分割损失；基于图像样本中各个图像块，计算各个图像块的分体分割损失；基于整体分割损失以及所有图像块的分体分割损失，计算分割模块的总体分割损失。
94.本可选实现方式中，上述基于分割结果，计算图像样本的整体分割损失，包括：将图像样本的分割结果与图像样本的分割标签输入交叉熵损失函数，得到图像样本的整体分割损失。
95.本实施例中，分割结果是分割模块输出的、对图像样本进行分割之后的结果，该分割结果与分割标签相对应，当分割结果越接近分割标签，确定分割模块的分割效果越好。
96.在本实施例的一些可选实现方式中，判别模块包括：分割判别子模块和形状判别子模块；基于分割结果、图像样本，计算判别模块的总体判别损失，包括：
97.基于图像样本和分割结果组成的第一输入对、图像样本和图像样本的分割标签组成的第二输入对，计算第一输入对在分割判别子模块的分割判别损失；基于分割结果以及图像样本的分割标签之外的标签，计算分割结果在形状判别子模块的形状判别损失；基于
分割判别损失和形状判别损失，计算得到总体判别损失。
98.本实施例中，分割判别子模块和形状判别子模块具有不同的功能，其中，分割判别子模块用于在第一输入对与第二输入对两个输入对输入之后，判别第一输入对与第二输入对之间的差别，当两者差别越小，说明分割模块的参数越好，分割模块越接近图像分割模型。
99.形状判别子模块用于判别当前图像样本的分割结果与其他图像样本的分割标签之间的差别，当两者的差别越小，说明从分割模块获得的分割结果越接近分割目标形状，即分割模块的参数越好，分割模块越接近图像分割模型。通过形状判别子模块可以使分割结果接近真实的分割标签，该分割标签不一定是分割结果对应的标签。
100.本可选实现方式提供的计算判别模块的总体判别损失的方法，通过分割判别损失和形状判别损失共同作用，计算判别模块的总体判别损失，提高了判别模块的参数调整的可靠性。
101.可选地，判别模块包括：分割判别子模块，上述基于分割结果、图像样本，计算判别模块的总体判别损失，包括：基于图像样本和分割结果组成的第一输入对、图像样本和图像样本的分割标签组成的第二输入对，计算第一输入对在分割判别子模块的总体判别损失。
102.在本实施例的一些可选实现方式中，上述图像样本可以是不带分割标签的图像，上述计算图像分割网络的总体损失值，包括：基于分割结果、图像样本，计算判别模块的形状判别损失；将形状判别损失作为总体损失值。
103.如图5的虚线箭头所示部分，当图像样本为不带分割标签的输入图像时，分割模块中的分块裁剪子模块对该输入图像进行分块分割操作之后，得到图像块1～图像块n(n为大于1的自然数)，将各个图像块输入语义分割子模块，得到各个图像块的图像块分割结果(如图5中图像块1分割结果～图像块n分割结果)，此时由于输入图像不带分割标签，则针对该部分的输入图像不计算任何分割损失。图5中，实线箭头为有标注数据训练流，虚线箭头为未标注数据训练流。圆角框代表输入、输出或中间结果等数据，方角框为操作模块。
104.本可选实现方式提供的计算图像分割网络的总体损失值的方法，在图像样本为不带分割标签的图像时，通过判别模块区分当前输入图像分割网络的图像样本与其他图像样本的分割标签在形状上的差异，确定分割网络的总体损失值，为不带分割标签的图像样本提供了一种计算网络的总体损失值的可选方式，保证了图像分割模型的训练的可靠性。
105.本实施例中，在选取图像样本时可能会同时选取了带分割标签的图像和不带分割标签的图像，图像分割网络对该带分割标签的图像和该不带分割标签的图像同时进行不同处理，在本实施例的一些可选实现方式中，图像样本可以包括：带分割标签的第一图像和不带分割标签的第二图像，判别模块包括：分割判别子模块和形状判别子模块；上述计算图像分割网络的总体损失值包括：基于第一图像，计算分割模块的总体分割损失；基于第一图像的分割结果和第一图像，计算分割判别子模块的分割判别损失；基于第一图像的分割结果，计算形状判别子模块的第一形状判别损失；基于第二图像的分割结果，计算形状判别子模块的第二形状判别损失；基于第一图像的总体分割损失、分割判别损失以及第一形状判别损失、第二形状判别损失，计算得到总体损失值。
106.如图6所示，在训练过程中，无论输入图像(第一图像和第二图像)有无标签，都先经过分割模块，获得第一图像和第二图像分割结果；此时第一图像有分割标签，则此处计算
分割模块的损失为有监督的分割损失-整体分割损失。然后，第一图像对应分割结果与其他数据组对之后分别输入至分割判别子模块和形状判别子模块，第二图像分割结果会输入至形状判别子模块判别器。
107.本实施例中，分割判别子模块和形状判别子模块可以是生成式对抗网络中的判别器，两者的相同点是判别器都是多层全连接网络构成的。两者的不同点是两个判别器的输入不同，分割判别子模块输入的是原图和分割结果的组合，形状判别子模块输入的是单张分割结果。两种判别器的构成网络结构可以是相同的，模型学习过程中会学到不同的参数。
108.第一图像分割结果和对应的原始图像组成第一输入对输入到分割判别子模块中，同时第一图像中的分割标签和第一图像的原始图像组成第二输入对输入至分割判别子模块中，由分割判别子模块判断输入的两个输入对的内容是否是原图和真实的对应分割标签；同时，第一图像分割结果还会输入至形状判别子模块，从输入样本集的标注数据池中任意抽取一个任意分割标签(一般与第一图像的分割标签不同)，也输入至形状判别子模块，由该形状判别子模块判断输入分割结果是否为真实的。针对第一图像，判别模块有两个判别损失可用来监督网络训练：一是分割判别子模块的分割判别损失；二是形状判别子模块的第一形状判别损失。
109.本实施例中，第二图像的分割结果只需输入至形状判别子模块，类似地，从标注数据池中任意抽取一个分割标签，也输入至形状判别子模块，由形状判别子模块判断输入是否为真实分割标签。对于第二图像，判别模块有一个损失可监督网络训练，该损失为形状判别子模块的第二形状判别损失。其中损失函数可为计算机视觉任务中任意的分割损失和对抗生成任务中任意的判别损失函数，此处不再赘述。
110.图像分割网络在训练过程中的损失函数可以如式(1)所示：
111.l
total
＝l
sup
+l
gan
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
112.在式(1)中，l
sup
为分割模块涉及的有分割标签的有监督训练损失—总体分割损失，即
[0113][0114]
其中，式(2)中，为整体分割损失，λ为权衡完整分割效果损失和分块分割效果损失的权重，分割模块对第一图像的每个图像块分割结果均计算一个分割损失，得到图像块分割损失值组，即式(1)中l
gan
主要为图像分割网络中判别模块构成的损失，即
[0115][0116]
针对有分割标签的第一图像，分割判别损失的计算方法如下：
[0117][0118]
其中，式(4)中，m为当前批里面的样本数量，i为当前样本序号，xi为当前样本属于原始图像和对应的分割标签对，即标签为1；为当前样本属于原始图像和预测分割结果对，即标签为0。
[0119]
对于有分割标签的第一图像、和无分割标签的第二图像，图像分割网络在训练中对第一图像的第一形状判别损失和第二图像的第二形状判别损失一起计算，如式(5)所示：
[0120][0121]
其中，ai为当前样本属于真实的某数据分割结果，即标签为1；为当前样本属于预测分割结果，即标签为0。
[0122]
训练过程中，可以先使用有分割标签的第一图像预训练分割模块，获得该分割模块初始参数；随后，开始迭代更新分割模块和判别模块的参数：固定分割模块的参数，迭代k(k为大于1的自然数)次更新分割判别子模块和形状判别子模块的参数，使l
total
最大化，即能区分真实和生成两种情况；完成k次迭代后，固定分割判别子模块和形状判别子模块的参数，更新t(t为大于1的自然数)次分割模块参数，使l
total
最小化；之后重复上述两类更新操作。k和t可视训练情况控制。此外，本发明提出的图像分割网络在训练分割判别子模块和形状判别子模块中的一个判别器时，也可分别更新，此时需要固定分割判别子模块和形状判别子模块中的另一个判别器的参数，并且固定分割模块参数。
[0123]
本实施例提供的图像分割模型生成方法，针对传统技术中，很难获取大量的标注数据，在此情况下采用监督式训练方法会因训练数据量少导致模型效果不佳的情况，本公开可以仅利用少量标注数据实现图像分割模型的训练；针对传统技术中，基于深度学习的分割方法在分割目标和背景区域对比度低的情况下，极易产生不完整的分割结果，即目标被模型判别为背景区域的情况，本公开对分割结果的形状和分布进行约束，提高了模型的识别效果。
[0124]
本可选实现方式提供的总损失值计算方法，针对有分割标签的数据，同步使用分割任务中常见的损失函数(分割模块的损失函数)对分割结果进行监督，且设计分割判别子模块和形状判别子模块对分割结果分布进行判别；针对无分割标签数据，只利用形状判别子模块对分割结果形状判别过程的损失函数进行监督。从而，利用对抗策略实现对比度低的图像的完整分割。此外，在分块分割结果和完整分割结果后均使用有监督的损失计算，充分利用标注数据对网络学习过程进行深度监督。
[0125]
本可选实现方式提供的计算图像分割网络的总体损失值的方法，在图像样本包括：带分割标签的第一图像和不带分割标签的第二图像时，针对第一图像计算分割模型对比损失、分割判别子模块的分割判别损失以及第一形状判别损失；针对第二图像计算第二形状判别损失，将总体分割损失、分割判别损失、第一形状判别损失、第二形状判别损失计算总体损失值，从而提高了总体损失值计算的准确性。
[0126]
继续参见图7，作为对上述图1所示方法的实现，本技术提供了一种图像分割装置的一个实施例。该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0127]
如图7所示，本实施例的图像分割装置700可以包括：图像获取单元701，被配置成获取待分割图像。结果得到单元702，被配置成将待分割图像输入预训练完成的图像分割模型中进行分块和级联，得到待分割图像中目标的分割结果。
[0128]
可以理解的是，该装置700中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置700及其
中包含的单元，在此不再赘述。
[0129]
在本实施例的一些可选的实现方式中，上述结果得到单元进一步被配置成：将待分割图像输入图像分割模型；图像分割模型将待分割图像进行分块裁剪，得到多个图像块；提取各个图像块的图像语义特征，得到各个图像块的分割结果；将所有图像块的分割结果进行级联后编码，得到分割特征；对待分割图像进行编码，得到图像特征；对分割特征和图像特征进行级联后解码，得到待分割图像中目标的分割结果。
[0130]
在本实施例的一些可选实现方式中，待分割图像包括光学相干图像，分割结果包括：光学相干图像中目标器官的轮廓。
[0131]
在本实施例的一些可选实现方式中，待分割图像包括：遥感图像或卫星图像；分割结果包括：遥感图像或卫星图像中目标区域的轮廓。
[0132]
在本实施例的一些可选实现方式中，待分割图像包括：自动驾驶道路图像；分割结果包括：自动驾驶道路图像中的道路目标的轮廓。
[0133]
进一步参考图8，作为对上述各图所示方法的实现，本公开提供了图像分割模型生成装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。
[0134]
如图8所示，本实施例提供的图像分割模型生成装置800包括：样本获取单元801，网络获取单元802，选取单元803，级联单元804，判别单元805，计算单元806，模型得到单元807。其中，上述样本获取单元801，可以被配置成获取预置的图像样本集。上述网络获取单元802，可以被配置成获取预先构建的图像分割网络，图像分割网络包括：分割模块和判别模块。上述选取单元803，可以被配置成从图像样本集中选取图像样本。上述级联单元804，可以被配置成将图像样本输入分割模块进行分块分割后再与图像样本进行特征级联，得到对应图像样本的分割结果。上述判别单元805，可以被配置成将分割结果和图像样本同时输入判别模块，得到判别结果。上述计算单元806，可以被配置成计算图像分割网络的总体损失值。上述模型得到单元807，可以被配置成基于总体损失值，得到对应分割模块的图像分割模型。
[0135]
在本实施例中，图像分割模型生成装置800中：样本获取单元801，网络获取单元802，选取单元803，级联单元804，判别单元805，计算单元806，模型得到单元807的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104、步骤105、步骤106、步骤107的相关说明，在此不再赘述。
[0136]
在本实施例的一些可选的实现方式中，上述级联单元804进一步被配置成：对图像样本进行分块裁剪，得到多个图像块；提取各个图像块的图像语义特征，得到各个图像块的分割结果；将所有图像块的分割结果进行级联后编码，得到分割特征；对图像样本进行编码，得到原图特征；对分割特征和原图特征进行级联后解码，得到图像样本的分割结果。
[0137]
在本实施例的一些可选的实现方式中，上述图像样本为带分割标签的图像，上述计算单元806包括：第一计算模块(图中未示出)、第二计算模块(图中未示出)、总体计算模块(图中未示出)。其中，上述第一计算模块，可以被配置成计算分割模块的总体分割损失。上述第二计算模块，可以被配置成基于分割结果、图像样本，计算判别模块的总体判别损失。上述总体计算模块，可以被配置成基于总体分割损失和总体判别损失，计算得到总体损失值。
[0138]
在本实施例的一些可选的实现方式中，上述第一计算模块进一步被配置成：基于分割结果，计算图像样本的整体分割损失；基于图像样本中各个图像块，计算各个图像块的分体分割损失；基于整体分割损失以及所有图像块的分体分割损失，计算分割模块的总体分割损失。
[0139]
在本实施例的一些可选的实现方式中，上述判别模块包括：分割判别子模块和形状判别子模块；上述第二计算模块进一步被配置成：基于图像样本和分割结果组成的第一输入对、图像样本和图像样本的分割标签组成的第二输入对，计算第一输入对在分割判别子模块的分割判别损失；基于分割结果以及图像样本的分割标签之外的标签，计算分割结果在形状判别子模块的形状判别损失；基于分割判别损失和形状判别损失，计算得到总体判别损失。
[0140]
在本实施例的一些可选的实现方式中，上述图像样本为不带分割标签的图像，上述计算单元806进一步配置成：根据总体对比学习损失，计算图像分割模型损失值；基于分割结果、图像样本，计算判别模块的形状判别损失；将形状判别损失作为总体损失值。
[0141]
在本实施例的一些可选的实现方式中，上述图像样本包括：带分割标签的第一图像和不带分割标签的第二图像；上述判别模块包括：分割判别子模块和形状判别子模块；上述计算单元806进一步被配置成：基于第一图像，计算分割模块的总体分割损失；基于第一图像的分割结果和第一图像，计算分割判别子模块的分割判别损失；基于第一图像的分割结果，计算形状判别子模块的第一形状判别损失；基于第二图像的分割结果，计算形状判别子模块的第二形状判别损失；基于第一图像的总体分割损失、分割判别损失以及第一形状判别损失、第二形状判别损失，计算得到总体损失值。
[0142]
本公开的实施例提供的图像分割模型生成装置，首先，样本获取单元801获取预置的图像样本集；其次，网络获取单元802获取预先构建的图像分割网络，图像分割网络包括：分割模块和判别模块；再次，选取单元803从图像样本集中选取图像样本；从次，级联单元804将图像样本输入分割模块进行分块分割后再与图像样本进行特征级联，得到对应图像样本的分割结果；然后，判别单元805将分割结果和图像样本同时输入判别模块，得到判别结果；计算单元806计算图像分割网络的总体损失值；模型得到单元807基于总体损失值，得到对应分割模块的图像分割模型。由此，先分块分割图像再融合成完整的分割结果，可将图像剪裁为若干小尺寸图像进行分割，缓解输入图像直接降采样导致的细节丢失问题。训练过程中，使用生成对抗网络中的判别思想，对现有的分割结果进行判别，充分利用对抗策略实现了半监督训练过程，无需生成伪标签，提高了模型训练速度。
[0143]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0144]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0145]
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限
制本文中描述的和/或者要求的本公开的实现。
[0146]
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
[0147]
设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0148]
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像分割模型生成方法、图像分割方法。例如，在一些实施例中，图像分割模型生成方法、图像分割方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的图像分割模型生成方法、图像分割方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像分割模型生成方法、图像分割方法。
[0149]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0150]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程图像分割模型生成装置、图像分割装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0151]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合
适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0152]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0153]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0154]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
[0155]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0156]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。