基于图像分割网络UNet和对抗生成网络GAN进行分割结果优化的训练方法与流程

本发明涉及图像处理，具体为基于图像分割网络unet和对抗生成网络gan进行分割结果优化的训练方法。

背景技术：

1、医学图像是疾病诊断的重要依据，传统的医学图像分割通常由医学专家手动完成，耗时长，分割精确度要求高且受主观和环境等多种因素影响，非常依赖医生的经验，随着日益增加的阅片量，出现了结合深度学习方法的自动分割方法，来缓解医生的图像分割压力。

2、随着图像处理技术的发展，半监督学习框架能够直接从有限的带标签数据和大量的未带标签数据中学习，得到高质量的分割结果，当前半监督医学图像分割方法可以分为三类：对抗性学习方法、一致性正则化方法和协同训练方法，对抗性学习方法利用鉴别器对齐嵌入空间中已标记和未标记数据的分布，需要数据满足分布假设，而很多对抗性学习模型难以训练。

3、且现有分割网络模型在完成训练的过程中，需要较大的训练集，而为了保证训练的效果，训练集需要由相关的医学专家手动制作，所以对于图像分割处理的精度不佳，影响图像处理准确性，故而提出基于图像分割网络unet和对抗生成网络gan进行分割结果优化的训练方法来解决上述问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了基于图像分割网络unet和对抗生成网络gan进行分割结果优化的训练方法，具备提高图像处理精度等优点，解决了图像处理精度不佳的问题。

3、(二)技术方案

4、为实现上述提高图像处理精度目的，本发明提供如下技术方案：基于图像分割网络unet和对抗生成网络gan进行分割结果优化的训练方法，包括以下步骤：

5、s1、unet网络生成器:(1)unet网络生成器unet网络是一种语义分割卷积神经网络，区别于一般卷积神经网络，unet网络加入上采样同时进行反卷积，得到基于像素点级的分割图像，且网络对训练数据量要求较小，所以图像输入unet网络后，采用一定的卷积核对其卷积，提升图像深度并提取图像特征，之后进行池化操作，用于减小图像面积并压缩图像；

6、(2)对图像进行4层卷积池化后，进行图像全连接，与传统卷积神经网络的1×1不同，unet网络保留了最小图像特征，因图像分割结果需要与输入图像相匹配，进行最小图像面积扩充，将图像通过反卷积操作进行上采样，并将上方相同层次的图像合并，保留图像原始特征，再使用一定的卷积核进行图像卷积，提取图像特征，各层操作类似，在最后一层输出分割图像；

7、(3)通过采用unet结构作为网络生成器，将医学图像采用3×3的卷积核进行卷积，并使用drop-out优化运算，提升图像精度，在池化过程中采用2×2的滑窗，并选取滑窗内最大值，进行最大池化，在上采样中对图像采用2×2的卷积核进行反卷积操作，再加入3×3的卷积核进行图像卷积，使用交叉熵函数作为损失函数：

8、

9、s2、对抗网络gan生成：首先给出原始gan的目标函数(损失函数)，损失函数如公式：

10、

11、其中，g代表生成器，d代表判别器，x代表真实数据，pdata代表真实数据概率密度分布，z代表了随机输入数据，该数据是随机高斯噪声；

12、s3、对抗网络gan生成：将生成器输出图像和标签图像分别作为输入，使用适应输入图像的卷积核对图像进行卷积，减小图像面积，提取图像特征，采用全连接卷积分别求出生成器分割图像和分割标签图像对应的判别器值，并使用交叉熵计算判别器网络损失值，并采用aadm方法进行网络学习优化，通过在四层卷积网络中选择步长为2，长宽为4×4的卷积核生成对抗网络中，判别器将生成图像的分割结果判别为假的能力不断提升，同时生成器不断优化以拟合标签图像使得判别器将其判别为真，二者在训练过程中不断博弈，形成对抗，经过网络训练，生成器图像分割结果精度提升，能够在测试与实际使用中获得精确的图像分割结果；

13、s4、由于医学图像堆叠的问题，通过摆脱基于图像特征的传统分割方法，利用unet像素点级图像分割方法的优点，结合生成对抗网络的优化方法，解决分割图像中存在的边缘缺失问题，提升图像分割精确性，在生成对抗网络的生成器与判别器构建中，通过使用unet作为生成器，将分割标签图像与生成器分割结果图像，在判别网络进行判别，并根据前述方法进行判别器模型优化，生成器输出在判别器中判别为真实值，表现了生成器网络的有效性，采用交叉熵的形式，获得lossud(z)用于模型优化，判别器网络中提取了生成器分割结果与分割标签图像特征，根据特征图像计算二者差别，有助于整体模型梯度优化，提取判别器网络最后一层大小为32×32的图像，计算分割标签图像和生成器分割结果图像对应数据的交叉熵lossdc(z)，模型损失函数为lossud(z)，对模型损失采用adam方法进行模型优化；

14、s5、因采集图像中存在皮带等不相关元素，对影像图片进行裁剪，使用65张影像图片作为训练集，每个样本大小为512×512像素，由于工业现场存在灰尘等影响因素因此需要先对图像进行图像去噪，直方图均衡等图像预处理，采用人工对医学图像进行2像素宽度的边缘标定，在gan–unet网络训练过程中，对预处理后的图像采取翻转等形式扩充训练集多样性，每个训练队列使用16个样例，进行最大50000次迭代训练，对整体网络采用0.0005学习率，为了减少网络过拟合采用0.4的丢弃率，并使用adam梯度下降法进行网络训练，训练时间为20～24h。

15、优选的，所述步骤s1中损失函数的输入图像大小为mn，g(χij)为unet网络对图像的分割结果，为对应的正确分割结果。

16、优选的，所述步骤s2的由公式可以看出，从判别器d的角度来看，判别器d希望尽可能区分真实样本x和虚假样本g(z)，因此d(x)必须尽可能大而d(g(z))则尽可能小，即v(d，g)整体的值尽可能大。

17、优选的，所述步骤s2公式生成器g的角度来看，生成器g希望自己生成的虚假数据g(z)尽可能骗过判别器d，使d(g(z))尽可能大，即v(d，g)整体的值尽可能小，gan的两个模块在训练相互对抗，最后达到全局最优。

18、优选的，所述步骤s4在生成器与判别器进行对抗学习的过程中，计算出判别器损失函数、特征损失函数、unet损失函数，基于判别器与生成器模型的对抗更新形成整个网络的更新，最终在训练结束的生成器中得到最终分割图像，对分割后的图像采用中值滤波的方法除去部分多余棱线，使图像得到平滑。

19、(三)有益效果

20、与现有技术相比，本发明提供了基于图像分割网络unet和对抗生成网络gan进行分割结果优化的训练方法，具备以下有益效果：

21、该基于图像分割网络unet和对抗生成网络gan进行分割结果优化的训练方法，通过采用gan–unet相结合的分割训练方法，本方法有效减少了因医学图像分割错误，获得正确的影像图片边缘，提升了医学图像分割精度，并能够对影像图片区域准确识别，针对图片存在的重叠、自相似性等问题，因此相较于传统分水岭分割方法，使用像素级的图像分割方法，根据医学图像中语义较少，加入生成对抗方法，构建生成器与判别器，优化网络训练，减少了图像中的边缘未闭合、过分割、欠分割等问题，提高图像分割处理的准确性。