一种面向稀疏性目标的弱监督图像分割方法

本发明涉及机器视觉，具体为一种面向稀疏性目标的弱监督图像分割方法。

背景技术：

1、随着人工智能在各行各业的应用，科技将我们的生活变得越来越方便。机器视觉系统，作为机器与真实世界进行交互的媒介，在人工智能的发展中越来越受到研究人员的重视。随着计算机显卡等硬件系统的发展，深度学习在计算能力提高的情况下迅速发展。基于深度学习的算法在计算机视觉的分类、检测、分割等很多领域都获得了很好的效果，推进了智能时代的步伐。目前，较为成熟的深度学习算法大多数都是监督式的，监督式的深度学习算法依赖于标注数据集，然而数据集的标注是非常耗时、成本较高的，并且在一些真实场景下是难以做到的。因此，弱监督和无监督的深度学习方法越来越受到关注。

2、弱监督的图像分割算法由于不需要大量的人工标定成本，越来越受到研究人员的重视。但也正是缺少了标记，弱监督的分割算法能够获得的真实信息也更少。为了能够给弱监督分割方法输入更多的信息，很多情况下会人工生成带有标记的训练数据，或使用先验信息指导算法的训练。这种利用数据本身特性的弱监督图像分割算法获得的信息更多，引起了很多相关研究人员的关注。

3、实际场景中，如图1所示为mvtecad中的部分工业场景下图像分割示例。目标区域具有未知性和稀有性的特征。稀有性体现真实场景中无法大量获得带有标记的样本，未知性则体现在训练数据集无法包含所有情况的数据。也正是这两个特性，使得监督式算法模型使用较为困难，需要大量数据作为支撑。虽然目标区域具体的先验难以获得，但是一般化的先验信息也可以用于指导模型训练。

4、稀疏性的目标区域广泛存在于工业领域中，工业场景下背景区域一般较为固定，可以将背景区域作为训练的标签，基于此，基于生成模型的弱监督图像分割非常适合，即在训练阶段学习背景区域的分布，通过对背景图片进行重建，完成图像分割。基于生成模型的弱监督图像分割方案为了提高模型的重构特性，会人工生成目标区域，合成带有标记的训练样本。但是人工生成的目标区域和真实的目标区域本身具有差异，因此训练出的模型会产生过拟合现象，过拟合会导致目标区域也被重构，无法分辨目标区域和背景区域。在这样的背景下使用生成模型完成弱监督图像分割是值得研究的问题。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种面向稀疏性目标的弱监督图像分割方法，通过判别子网络衡量目标区域与背景区域的距离，增强模型的鲁棒性，减少过拟合现象；同时针对目标区域的稀疏性先验，设计了稀疏性损失函数作为正则项，进一步减少模型训练过程中的过拟合现象。技术方案如下：

2、一种面向稀疏性目标的弱监督图像分割方法，采用基于生成模型的稀疏区域分割算法，所述算法包括生成子网络和判别子网络；

3、生成子网络采用gan的架构，用于完成图像重构；通过生成损失函数描述生成子网络在训练过程中的优化目标，生成损失函数包括生成器损失函数和判别器损失函数；

4、判别子网络与生成子网络一起训练，为生成子网络提供判别信息的同时，通过对比重构图像与原始图像的特征，完成对目标区域的像素级分割；通过判别损失函数描述判别子网络在训练过程中的优化目标，判别损失函数分包含稀疏性损失函数和分割损失函数；

5、处理步骤如下：

6、步骤1：样本合成

7、采用模拟目标区域的方式，生成偏离背景分布的目标区域，人工合成带有标签的样本，从而获得带有标签的训练样本；

8、步骤2：图像重构和判别输出

9、图形重构：完成对输入图片的重构，对背景区域的学习；

10、判别输出：通过对比重构图片和输入图片的特征信息，学习重构空间与原始空间之间的差异，完成输出目标区域像素级分割结果。

11、进一步的，所述步骤1具体包括：

12、步骤1.1：以背景图片和随机图片集为样本合成的基础，将随机图片中的区域看作偏离背景区域的目标区域；

13、步骤1.2：使用柏林噪声发生器生成各种类型的目标区域，构建目标区域掩码图；

14、步骤1.3：从随机图片集中选择一张图片，分离出对应掩码图的区域，作为合成样本的目标区域i；

15、步骤1.4：将人工生成的目标区域与背景图片进行融合，得到带有标签的训练样本ia，ia表示为：

16、ia＝β⊙ib+(1-β)⊙i

17、其中，β为融合中的不透明参数，⊙为元素乘操作，ib为背景图片；

18、步骤1.5：对背景图片进行数据集增强，得到背景图片、合成图片和目标区域掩码图一一对应的训练数据集。

19、更进一步的，所述生成子网络采用的skip-gan的生成器采用编码解码器的结构，首先使用编码器对输入进行特征提取，将特征映射到隐藏空间中，得到隐变量z；随后解码器使用转置卷积的操作对隐变量进行上采样，最终输出与输入大小相同的重构图片；且生成子网络只将编码器的最后一层与解码器进行特征融合；

20、所述判别子网络使用深度残差网络resnet对输入进行下采样，提取输入图片特征；对底层特征进行上采样，在不断上采样的过程中进行特征融合，通过分析不同尺度的特征信息，完成对目标区域的分割。

21、更进一步的，所述深度残差网络resnet包括一个卷积单元和四个残差单元；每个下采样模块都是由多个卷积层和残差模块组合而成，用于提取输入图像的高级特征；每经过一个残差单元，特征图的分辨率缩小2倍，根据输入图片尺寸，最后一层输出特征图尺寸为2x2upsample，包括了一个通道叠加的卷积操作和一个转置卷积上采样操作。

22、更进一步的，所述生成损失函数具体包括：

23、1)生成器损失函数

24、生成器优化的主目标为生成与输入图像类似的图像，次目标为与判别器形成对抗，在对抗的过程中提高生成性能；具体如下：

25、用均方误差损失来衡量两个图像的相似程度，均方误差损失函数为：

26、

27、其中，pi为生成器生成图像的预测值，为生成图像的真值，n为像素点数；

28、用图像质量损失函数ssim衡量重建图像和原始图像相似性，ssim损失函数为：

29、

30、其中，μx和μy分别为图像x和图像y的平均亮度，c1为亮度常数；σx和σy分别为图像x和图像y中像素值的标准差，σxy为图像x和图像y之间的协方差，c2为对比度常数；

31、则重建误差损失函数为：

32、

33、其中，x为输入图像，为重建图像。

34、用均方误差描述隐空间变量的误差损失函数llat：

35、

36、其中，z为原始图像对应的隐变量，为重构图像对应的隐变量；

37、用对抗损失函数ladv增加重构图像在判别器中的可信度，与判别器形成对抗，如下式

38、所示：

39、

40、其中，f(x)为原始图像在判别器最后一层输出的特征向量，为重构图像在判别器最后一层输出的特征向量；

41、则生成器总体的损失函数lgen表示为：

42、lgen＝λconlcon+λlatllat+λadvladv

43、其中，λcon、λlat和λadv分别为重建误差损失函数lcon、误差损失函数llat和对抗损失函数ladv的权重；

44、2)判别器损失函数

45、用二分类交叉熵损失函数定义判别器损失函数，如下式所示：

46、

47、其中，t为输入图片的真实标签，为判别器输出标签

48、更进一步的，所述判别损失函数具体包括：

49、1)稀疏性损失函数

50、稀疏性损失函数利用目标区域的稀疏性先验作为优化目标，指导判别子网络的学习；判别子网络的输出掩码图，对图像中所有的像素点进行分类，属于目标区域的像素值会被赋值为1，背景区域的像素值会被赋值为0，并将输出中属于目标区域的像素点视为激活状态，反之视为抑制状态；根据目标区域的稀疏性先验特征，将输出掩码图的平均激活度做为稀疏性参数ρ，则：

51、

52、其中，mij为输出掩码图中第i行第j列的像素值；n和k分别表示掩码图的行数和列数；

53、则稀疏性损失函数lxs定义为：

54、

55、其中，m为判别子网络输出的掩码图；

56、2)分割损失函数

57、分割损失函数用于描述判别子网络的分割性能，优化输出掩码图与真值图之间的差距；引入焦点损失函数：

58、

59、其中，y为预测值，为真实值，α为平衡系数，γ为聚焦参数；

60、则分割损失函数的定义为：

61、

62、其中，为图像中第i行第j列的像素点分割输出掩码图的和真实值；

63、结合稀疏性损失函数lxs和分割损失函数lseg，判别子网络最终的损失函数被定义为：

64、ljudge＝λseglseg+lxs

65、其中，λseg为一个超参数，用于平衡两部分损失函数。

66、更进一步的，模型训练时依次轮流训练生成器和判别器，即固定判别器，训练生成器；固定生成器，训练判别器；

67、训练流程为：

68、s1：使用柏林噪声和随机图像集人工合成带有标记的训练样本，即重建图像

69、

70、s2：初始化生成子网络和判别子网络的网络参数，设定迭代总次数u，设定当前迭代次数u＝0；

71、s3：若u<u，则执行以下步骤s4-s10；

72、s4：将人工合成的样本中，原始图片送入生成器g中进行重构；

73、s5：将重构图像和原始图片送入判别器d中，计算d的损失函数ldis；

74、s6：使用adam优化器更新判别器d参数；

75、s7：将人工合成的样本中，原始图片送入生成器g中进行重构，计算重建损失函数lcon；

76、s8：将重构图像与原始图片进行通道叠加，送入判别子网络；

77、s9：根据子模块的输出，分别计算重建误差损失函数lcon误差损失函数llat、对抗损失函数ladv和判别子网络最终的损失函数ljudge；

78、s10：使用adam优化器更新生成器g和判别子网络参数；

79、s11：直至达到迭代总次数，结束训练。

80、本发明的有益效果是：

81、1)本发明的ssbg算法结构上采用gan和ae结合的方式，包括生成子网路和判别子网络两个部分，在训练阶段生成子网络学习背景图片的分布，将输入图像进行重构，判别子网络学习对比重构图片和输入图片的特征，从中分割出目标区域。在测试阶段，目标区域不会被生成模型重构，判别子网络会将重构图片和输入图片差别较大的区域认为是目标区域。并使用ssim损失函数，提高重建子网络的重建性能。

82、2)本发明的ssbg算法使用柏林噪声生成稀疏性目标区域，通过图片融合构成训练数据集，不需要进行人工标定即可获得像素级标签。

83、3)本发明在损失函数方面，针对稀疏性特性设计了基于kl散度的稀疏性损失函数，作为正则项，限制了分割输出的掩码图激活度，限制了目标区域的面积，为模型提供了目标区域的先验信息，减少了模型的过拟合，提升了模型的泛化性和分割精度。