基于双鉴别器生成对抗网络的肺部毛玻璃结节影像生成方法与流程

1.本发明属于基于计算机视觉的智能医疗技术领域，具体涉及基于双鉴别器生成对抗网络d2gan模型的肺部毛玻璃结节影像生成方法。


背景技术：

2.肺癌(lc)是世界上第二常见的癌症，也是癌症死亡的第一大原因。随着医疗技术的进步，特别是免疫疗法等治疗方式的出现，肺癌死亡率正在下降，但仍处于较高水平。其中一个主要原因是，只有16％的患者在早期被诊断为肺癌。肺癌患者的五年生存率为5-20％，而局限性肺癌患者的五年生存率为56％。随着低剂量计算机体层摄影术临床应用的普及，毛玻璃结节(ggo)的筛查率正逐步增加。ggo具有发展为恶性肿瘤的潜在风险，其中一部分ggo被认为是一种惰性的肺腺癌亚型。然而，由于ggo的异质性，医学影像学对其良恶性的诊断仍然存在困难。此外，对人工智能领域，需要大样本进行训练，而筛查人群中仅检测到2.7％-4.4％的ggo病变，由于数据不足，建立深度学习或机器学习模型仍面临巨大挑战。
3.幸运的是，随着计算机技术的发展。越来越多的任务可以通过计算机算法来解决。特别是卷积神经网络(cnn)利用了计算机的特征提取能力和巨大的计算能力。深度学习正迅速成为医学图像分析的关键工具。然而，深度学习方法存在着明显的不足，尤其是在医学领域，这就是对海量标记数据的需求。由于医学影像中的注释价格昂贵、患者数据的隐私性以及获取“边缘病例”数据的困难，大多数医学数据集都是不充分和不平衡的。例如，在lidc-idri数据集的标记数据中，ggo为6％。
4.传统的数据扩增方法包含随机裁剪、反转、强度偏移等方法。但是传统的图像数据扩增的方法，往往适用于正常场景下的rgb图片。由于医学影像的特殊性，尤其是ct影像中的像素强度与组织的类别呈明显的相关关系，使用传统的数据扩增方法并没有从本质上增加数据量，且生成维度较局限，无法满足深度学习模型建立的要求，距离临床应用也相距甚远。生成性对抗网络(generativedisposativenetworks，gans)及其扩展开辟了许多令人兴奋的方法来解决众所周知且具有挑战性的医学图像分析问题，如医学图像去噪、重建、分割、数据模拟、检测或分类。此外，通过生成模型以前所未有的逼真度合成图像，医疗领域标记数据的长期匮乏状况将得到缓解。因此可以使用gans方法来扩充少见的毛玻璃结节数据集，进而提升深度学习的分类与检测能力，同时具备临床应用潜力，例如使用生成的无隐私化虚拟数据集对医生进行培训和测试，提升其诊断能力。


技术实现要素：

5.为了解决以上问题本发明设计了一种使用了双鉴别器的生成对抗网络的毛玻璃结节生成方法。
6.本发明采用的技术方案是，基于双鉴别器生成对抗网络的肺部毛玻璃结节影像生成方法，包括以下步骤：
7.步骤s1，将原始ct图像经过数据预处理，获得训练集；
8.步骤s2，构建双鉴别器生成对抗网络模型；
9.步骤s3，利用步骤s1中获得的训练集对双鉴别器生成对抗网络模型进行训练；
10.步骤s4，采用步骤s3训练好的模型对输入图像进行处理。
11.所述数据预处理包括以下步骤：
12.步骤a1，使用种子填充算法和连接的组件从组织和背景中裁剪肺部；
13.步骤a2，将ct影像图片数据标准化为0-1区间；
14.标准化公式为：
[0015][0016]
其中x为图像中的像素点像素值，x
min
为图像像素点中的最小像素值，x
max
为图像像素点中的最大像素值，y为归一化后像素值。
[0017]
步骤a3，从结节所在的位置抹除结节，并将其保存为训练集。
[0018]
所述双鉴别器生成对抗网络模型包括一个生成器和两个鉴别器，所述生成器由卷积层，参数校正线性单元，批归一化层和双曲正切激活函数组成；所述鉴别器由卷积层，漏整流线性单元，批归一化层组成。
[0019]
所述对双鉴别器生成对抗网络模型进行训练时，将原始图像作为目标图像，结节清除图像作为输入图像。
[0020]
该架构下在训练过程种一共有三个角色参与，生成器，鉴别器d1和鉴别器d2，分别用来判断整个图像与包含结节的区域是否足够真实。训练过程由以下函数指导。
[0021]
l
d2srgan
＝(l
ssim
+l
adversarial
)
wholeimage
+(l
ssim
+l
adversarial
)
roi image
[0022]
其中，l
ssim
表示生成图像与目标图像的纹理相似度，l
adversarial
表示鉴别器认为目标图像为非真实数据的概率，l
d2srgan
表示网络生成模型模型与目标的整体损失值，wholeimage表示全图损失值，roiimage表示目标区域损失值。
[0023]
本发明的作用与效果如下：
[0024]
根据本发明所涉及的基于双鉴别器生成对抗网络模型的肺部毛玻璃结节影像生成方法。
[0025]
因为使用了双鉴别器分别对结节区域与完整图像同时进行监督，可以使生成他目标图像不仅在毛玻璃状结节处生成丰富的细节，并且可以完好的保持原图像丰富的信息，使得生成图像更加真实，应用范围更广，图像质量更高。不仅如此，本发明能够通过双鉴别器生成对抗网络模型可以从肺部ct影像中不限量的生成纹理丰富的仿真毛玻璃状结节，相较于传统数据扩增方法，该方法能够扩大样本空间，在真实结节潜在形态范围内生成模拟结节而非简单的模仿或复制。可以对后续的ct影像中毛玻璃结节检测、分割任务中提供大量的训练数据，起到了扩充训练集和数据增强的作用，可以有效的缓解ct影像中毛玻璃结节数据量不足的问题。
附图说明
[0026]
图1是本发明的实例中双鉴别器生成对抗网络的结构示意图；
[0027]
图2是本发明的实例中双鉴别器生成对抗网络的训练过程示意图；
[0028]
图3是本发明的实例中生成的毛玻璃状结节示意图；
[0029]
图4是本发明的实例中步骤流程图；
[0030]
图5是本发明的实例中预处理步骤流程图。
具体实施方式
[0031]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明一种基于双鉴别器生成对抗网络模型的肺部毛玻璃结节影像生成方法作具体阐述。
[0032]
《实施例》
[0033]
图1是本发明的实例中双鉴别器生成对抗网络的结构示意图。
[0034]
如图1所示，双鉴别器生成对抗网络包含一个生成器和两个鉴别器，生成器由卷积层(conv),参数校正线性单元(prelu)，批归一化层(bn)和双曲正切激活函数(tanh)组成。
[0035]
生成器头部由一个3*3卷积层和prelu激活函数组成，然后由5个残差模块对特征进行提取，获取高维度特征。
[0036]
残差模块的组成由2个3*3卷积层，2个bn(批归一化层)，一个prelu激活函数组成。
[0037]
通过残差模块提取特征后，在模型尾部首先由3*3卷积对特征进行分析，然后使用批归一化对特征进行归一化，之后再由3*3卷积继续提取特征，然后通过prelu激活函数进行激活，最后再通过3*3卷积和tanh激活函数输出最终生成的模型结果。
[0038]
prelu函数公式为：
[0039][0040]
其中x为输入激活函数的值，a为赋予x的系数。prelu可以用来防止神经网络训练过程中的梯度消失与梯度爆炸。
[0041]
bn层的全程为批归一化层，它可以在一定程度上减少模型过拟合的程度，使模型更容易训练。
[0042]
tanh激活函数公式为：
[0043][0044]
tanh对模式输出进行约束，使模型的输出保持在0-1区间范围内。
[0045]
生成器的ct图像输入尺寸为512
×
512，并且在毛玻璃结节存在的位置生成了掩膜遮挡。(见图2)。生成器中的模块对输入图片进行推理与计算，并输出与输入尺寸相同的生成图像。
[0046]
鉴别器由卷积层(conv)，漏整流线性单元(leaky relu)，批归一化层(bn)组成。生成的图像经过鉴别器中的模块进行推理和计算得到输入图像为真实图像的概率，若概率大于0.5则表示鉴别器认为该图像为真实图像，生成图像与真实图像几乎一致。
[0047]
输入图片被送入鉴别器后，由3*3卷积提取特征，然后使用leakly relu进行激活。
[0048]
然后由多个卷积模块对特征进行分析与提取获得高维特征。
[0049]
卷积模块由3*3卷积，bn层和leakly relu组成。最后输出模型的预测类别为真或者假。
[0050]
全局鉴别器由7个卷积模块组成，局部鉴别器由于输入尺寸较小，由5个卷积模块
组成。
[0051]
leakly relu的公式为
[0052][0053]
其中x为输入激活函数的值，a为赋予x的系数。leakly relu可以用来防止神经网络训练过程中的梯度消失与梯度爆炸。
[0054]
模型训练过程：
[0055]
模型训练过程首先由生成器将输入即没有结节的图片生成结节。然后将生成图片拆分成两张图片，一张是完整生成图片，一张是生成结节处的切片图片。将这两张图片分别送入全局鉴别器和局部鉴别器进行判断并计算损失函数。然后通过反向传播方法对生成器进行优化。
[0056]
然后再锁定生成器，对辨别器进行优化。
[0057]
通过以上方法，经过100轮的训练，生成器和鉴别器都可以达到较高的性能即生成器可以生成足够真实的结节，鉴别器可以较好的分辨真实与虚假结节。
[0058]
图4是本发明的实例中步骤流程图。如图5所示，本实施例提供的双鉴别器的生成对抗网络的毛玻璃结节生成方法包括如下步骤：
[0059]
步骤s1,将原始ct图像经过数据预处理。
[0060]
步骤s2,训练双鉴别器生成对抗网络模型。
[0061]
图5是本发明的实例中预处理步骤流程图。如图5所示，实例中的预处理步骤如下：
[0062]
步骤a1，使用种子填充算法根据区域内的一个已知象素点(种子点)出发，找到区域内其他同类象素点的组织从组织和背景中裁剪肺部。
[0063]
步骤a2，将ct影像图片数据标准化为0-1区间。
[0064]
步骤a3，从结节所在的位置抹除结节，并将其保存为训练集。
[0065]
本实例使用的数据集：
[0066]
本实施例共从肺图像数据库联盟和图像数据库资源倡议(lidc-idri)数据库[10]中选择216组ct图像对。该数据库中的四位放射科医生将结节分为五个级别：1-毛玻璃结节、2-中间、3-部分实体、4-中间、5-实体。选择1-2级结节进行研究。
[0067]
实施例的作用与效果
[0068]
根据本发明所涉及的基于双鉴别器生成对抗网络的肺部毛玻璃结节影像生成方法。传统的生成对抗网络因为其函数空间较大，并且损失函数只针对于全局特征，因此无法保证在生成图片的局部征仍然拥有足够的细节与稳定性。并且，单一的鉴别器容易使模型陷入模式崩塌的结果，导致模型只能生成样式单一的图片。这就大大降低了生成对抗网络在应用中的潜力。为了解决以上问题本发明使用了双鉴别器分别对结节区域与完整图像同时进行监督，相较于普通对抗生成网络来说，两个不同的鉴别器可以分别对全局特征和局部细节特征进行较好的监督与把控，这样可以使生成的目标图像不仅在毛玻璃状结节处生成丰富的细节，并且可以完好的保持原图像丰富的信息，使得生成图像更加真实，应用范围更广，图像质量更高。而且，两个鉴别器会使网络不容易陷入模式崩塌的情况，使模型具有更大的样本生成空间，生成图像的类型更加丰富，样式多元，可以更好的对数据集进行扩充。不仅如此，本发明能够通过从肺部ct影像中不限量的生成纹理丰富的仿真毛玻璃状结
节，相较于传统数据扩增方法，该方法能够扩大样本空间，在真实结节潜在形态范围内生成模拟结节而非简单的模仿或复制。可以对后续的ct影像中毛玻璃结节检测、分割任务中提供大量的训练数据，起到了扩充训练集和数据增强的作用，可以有效的缓解ct影像中毛玻璃结节数据量不足的问题。
[0069]
此外，本实例使用包含全局和局部损失，可用使生成器在生成图像过程中，在保留输入图片信息的同时，提升生成结节处纹理细节的效果。
[0070]
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。