基于半监督学习的图像分割方法及相关设备与流程

本技术涉及人工智能，尤其涉及一种基于半监督学习的图像分割方法、装置、电子设备及存储介质。

背景技术：

1、图像分割是人工智能领域内基本的任务之一，在数字医疗、智慧城市等众多领域中都有广泛应用，在全监督下的图像分割需要大量的人力物力对所有图像进行像素级别的人工标注，然而，半监督学习的图像分割仅需要使用少量人工标注的图像和大量未标注的图像即可实现图像分割，在实际应用中可以大量减少由图像标注带来的人力和资金的消耗。

2、目前，半监督学习的图像分割通常先利用标注后的图像训练分割网络，再将未标注的图像输入该分割网络生成伪标签，然后将带有伪标签的图像加入训练，得到训练完毕的分割网络。然而，少量数据训练得到的分割网络并不能准确的为未标注图像生成伪标签，同时，由于标注图片和未标注的图片之间可能存在很大差距，导致伪标签的准确性较低，进而导致图像分割的精度不高。

技术实现思路

1、鉴于以上内容，有必要提出一种基于半监督学习的图像分割方法及相关设备，以解决如何提高伪标签的准确性，进而提高图像分割的精度这一技术问题，其中，相关设备包括基于半监督学习的图像分割装置、电子设备及存储介质。

2、本技术提供基于半监督学习的图像分割方法，所述方法包括：

3、采集带标签数据的标签图像作为第一图像集，采集不带标签数据的无标签图像作为第二图像集，所述标签数据包括所述标签图像中各像素点的像素种类；

4、基于所述第一图像集训练图像分割网络得到第一分割网络，并将所述第二图像集中的无标签图像输入所述第一分割网络以获取每一个无标签图像的第一伪标签；

5、基于所述第一伪标签进行投票以获取对应的无标签图像在各像素种类上的投票图，所述投票图包括所述无标签图像中各像素点处该投票图对应的像素种类的投票结果；

6、基于所述第一伪标签计算对应的无标签图像中各像素点的可信度；

7、基于所述可信度和所述投票图更新所述第一伪标签以获取每一个无标签图像的第二伪标签；

8、基于所述第一图像集和带有第二伪标签的第二图像集训练所述第一分割网络以获取第二分割网络，所述第二分割网络的输入为待分割图像，输出为所述待分割图像的分割结果。

9、在一些实施例中，所述第一伪标签包括所述无标签图像中各像素点的第一概率向量，所述第一概率向量包括像素点属于每一个像素种类的第一概率。

10、在一些实施例中，所述基于所述第一伪标签进行投票以获取对应的无标签图像在各像素种类上的投票图包括：

11、将任意一个第一伪标签中的任意一个像素点作为目标像素点；

12、在所述目标像素点的邻域范围内进行投票以获取所述目标像素点处各像素种类的投票结果，所述投票结果满足关系式：

13、

14、其中，roi(x，y)为所述目标像素点(x，y)的邻域范围，n为所有像素种类的数量，α(i，n)为投票系数，表示roi(x，y)内像素点(x*，y*)的第一概率向量中属于像素种类i的第一概率，num(roi(x，y))表示roi(x，y)中所有像素点的数量，为所述目标像素点(x，y)处像素种类n的投票结果，所述投票系数满足关系式：

15、遍历所述第一伪标签中所有像素点以获取每一个像素点处各像素种类的投票结果；

16、从所有像素点处选取相同像素种类的投票结果以构建所述第一伪标签对应的无标签图像在各像素种类上的投票图。

17、在一些实施例中，所述基于所述第一伪标签计算对应的无标签图像中各像素点的可信度包括：

18、将任意一个第一伪标签中的任意一个像素点作为目标像素点；

19、基于所述目标像素点的第一概率向量计算所述目标像素点的可信度，所述可信度满足关系式：

20、

21、其中，n为所有像素种类的数量，为所述目标像素点(x，y)的第一概率向量中属于像素种类i的第一概率，conf(x，y)为所述目标像素点(x，y)的可信度，取值范围为[0，1]；

22、遍历所述第一伪标签中所有像素点以获取对应的无标签图像中各像素点的可信度。

23、在一些实施例中，所述基于所述可信度和所述投票图更新所述第一伪标签以获取每一个无标签图像的第二伪标签包括：

24、对于每一个无标签图像，从所有像素种类的投票图中选取待更新像素点的投票结果作为投票结果集合，所述待更新像素点为所述无标签图像中任意一个像素点；

25、从所述无标签图像的第一伪标签中选取所述待更新像素点的第一概率向量；

26、基于所述待更新像素点的可信度和所述投票结果集合更新所述第一概率向量以获取所述待更新像素点的第二概率向量，所述第二概率向量包括所述待更新像素点属于各像素种类的第二概率，所述第二概率满足关系式：

27、

28、其中，conf(x′，y′)为所述待更新像素点(x′，y′)的可信度，为所述第一概率向量中属于像素种类i的第一概率，ti(x′，y′)为所述投票结果集合中像素种类i的投票结果，为所述待更新像素点(x′，y′)属于像素种类i的第二概率；

29、遍历所述无标签图像中所有像素点以获取每一个像素点的第二概率向量，并将所有像素点的第二概率向量作为所述无标签图像的第二伪标签。

30、在一些实施例中，所述基于所述第一图像集和带有第二伪标签的第二图像集训练所述第一分割网络以获取第二分割网络包括：

31、从所述第一图像集和带有第二伪标签的第二图像集中不放回的随机挑选预设数量的训练图像作为一个训练批次，所述训练图像包括标签图像和无标签图像；

32、将所述训练批次中的训练图像输入所述第一分割网络以获取每一张训练图像中各像素点的分割结果；

33、基于所述像素点的分割结果计算代价函数的数值；

34、依据梯度下降法更新所述第一分割网络以降低所述代价函数的数值；

35、不断从所述第一图像集和带有第二伪标签的第二图像集中获取新的训练批次，更新所述第一分割网络，直到所述代价函数的数值小于预设阈值时停止，得到第二分割网络。

36、在一些实施例中，所述代价函数满足关系式：

37、

38、其中，q1和q2分别代表所述第一图像集和所述第二图像集，n1和n2分别表示所述训练批次中的训练图像属于所述第一图像集和所述第二图像集的数量，w和h为所述训练图像的宽高尺寸，pu(x，y)和pv(x，y)分别表示所述训练批次中训练图像u和训练图像v在像素点(x，y)的分割结果，表示训练图像u的标签数据中像素点(x，y)的像素种类，表示训练图像v的第二伪标签中像素点(x，y)的第二概率向量，表示计算pu(x，y)和的交叉熵损失函数，表示计算pv(x，y)和的kl散度，loss为所述代价函数的数值。

39、本技术实施例还提供一种基于半监督学习的图像分割装置，所述装置包括：

40、采集单元，用于采集带标签数据的标签图像作为第一图像集，采集不带标签数据的无标签图像作为第二图像集，所述标签数据包括所述标签图像中各像素点的像素种类；

41、获取单元，用于基于所述第一图像集训练图像分割网络得到第一分割网络，并将所述第二图像集中的无标签图像输入所述第一分割网络以获取每一个无标签图像的第一伪标签；

42、投票单元，用于基于所述第一伪标签进行投票以获取对应的无标签图像在各像素种类上的投票图，所述投票图包括所述无标签图像中各像素点处该投票图对应的像素种类的投票结果；

43、计算单元，用于基于所述第一伪标签计算对应的无标签图像中各像素点的可信度；

44、更新单元，用于基于所述可信度和所述投票图更新所述第一伪标签以获取每一个无标签图像的第二伪标签；

45、训练单元，用于基于所述第一图像集和带有第二伪标签的第二图像集训练所述第一分割网络以获取第二分割网络，所述第二分割网络的输入为待分割图像，输出为所述待分割图像的分割结果。

46、本技术实施例还提供一种电子设备，所述电子设备包括：

47、存储器，存储至少一个指令；

48、处理器，执行所述存储器中存储的指令以实现所述的基于半监督学习的图像分割方法。

49、本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于半监督学习的图像分割方法。

50、综上，本技术在第一伪标签的基础上，计算第一伪标签中每个像素点的可信度以评估各像素点的准确性，同时，在第一伪标签中感知像素点邻域范围内的局部信息得到每个像素点的投票结果，进一步，基于投票结果对第一伪标签中可信度较小的像素点施加较大的扰动，对第一伪标签中可信度较大的像素点施加较小的扰动，从而实现第一伪标签的更新，提高伪标签的准确性，最后，利用更新后的伪标签对第一分割网络进行第二次训练，进而提高了图像分割的精度。