用于断层成像的基于生成对抗网络的无损图像压缩模型的制作方法

本发明涉及高分辨率计算机断层摄影，具体来说，涉及用于断层成像的基于生成对抗网络的无损图像压缩模型。

背景技术：

1、信息技术取得的进步允许收集和存储大规模高分辨率计算机断层扫描(ct)图像，这为采用最近开发的基于深度学习神经网络的方法来辅助医疗诊断铺平了道路。ct图像的质量对于成功开发基于深度学习神经网络算法来诊断肝癌至关重要。切片厚度小于或等于1mm的薄ct图像用于诊断，而切片厚度大于或等于5mm的厚ct图像用于在图像存档和通信系统(pacs)中长期存储，以节省存储空间，尽管它们是从薄切片中获得的。这不可避免地导致显著的信息损失，尤其是沿着空间方向，即z轴。因此，pacs中采用的存储方案导致体绘制的质量差。在图1中，与图1d至1f的薄ct图像相比，当观察图1a至图1c的ct厚体积图像时，可以观察到明显的失真或混叠。在图1b和图1e中示出了从左到右的视图，在图1c和图1f中示出了从前到后的视图。在pacs中保存ct图像时，红框中的区域清楚地表示从薄切片到厚切片的失真或混叠。

2、为了减轻失真和混叠问题，研究人员提出了几种实现虚拟ct切片生成的方法，其中包括dong等人(2014)；[2]bae等人(2018)；[14]isola等人(2017)；[17]kudo等人(2019)。例如，[8]dong等人(2014)提出srcnn用于实现单幅图像的超分辨率生成。srcnn首先放大低分辨率图像以获得与基准真实高分辨率图像相同大小的插值图像，然后从插值图像和基准真实图像中学习非线性映射。受到resnet[12]he等人(2016)的启发，[2]bae等人(2018)提出了一种基于全残差cnn的2.5d图像生成模型，以减少切片厚度对ct扫描诊断的影响。图像到图像转换的成功[14]isola等人(2017)通过将厚和薄ct图像视为两个域，鼓励研究人员从相应的厚ct图像中生成薄ct图像。受生成对抗网络(gan)([10]goodfellow等人(2014))学习数据分布的强大能力的启发，[17]kudo等人(2019)提出了一种超分辨率模型来合成虚拟薄ct切片间隔。尽管这些方法在生成质量方面已经获得了理想的性能，但是它们仍然受到一些限制。首先，这些方法需要成对的厚和薄ct图像，这在真实世界的场景中可能是无法获取的。第二，这些方法在沿z轴方向的精细修复方面仍然表现不佳。第三，在[17]kudo等人(2019)；[14]isola等人(2017)中的超分辨率生成模型具有复杂网络架构，该复杂网络架构具有两个鉴别器或两个gan，这需要足够多样的ct扫描来实现令人满意的性能。

3、gan([10]goodfellow等人(2014))由于其生成高质量图像的惊人能力，引起了具有各种背景的研究人员的广泛关注。如[35]yi等人(2019)中所述，gan已成功用于医学图像分析，其中任务范围从图像重建[31]wolterink等人(2017)；[5][6]chen等人(2018)；[30]wang等人(2018)、医学图像合成[9]frid-adar等人(2018)；[[38]zhang等人(2018)；[15]jin等人(2018)、分段[32]xue等人(2018)；[37]zhang等人(2017)；[33]yang等人(2017)、分类[27]ren等人(2018)；[21]madani等人(2018)到检测[5]chen and konukoglu(2018)；[28]schlegl等人(2017)。医学图像合成可以分为无条件合成、跨模态合成和条件合成。无条件合成是最简单的图像生成方案。它只将随机噪声馈入gan的生成器，其包括([26]radford等人(2015)),wgan([1]arjovsky等人(2017))和pggan([16]karras等人(2018))。dcgan和wgan都支持高达256x 256的超分辨率生成，pggan可以生成分辨率为512x 512或1024x 1024的图像。在相邻医学图像之间的变化很小的假设下，利用上述三种gan模型，可以容易地从随机噪声中获得逼真的超分辨率。

4、[9]frid-adar等人(2018)采用三个独立的生成器来合成具有特定类别特异性肝脏病变(即囊肿、转移瘤和血管瘤)的ct图像。已经证实，将真实的和合成的ct图像与皮肤损伤相结合可以提高分类性能。此外，[25]qin等人(2020)利用gan来生成皮肤损伤作为数据增强，以提高皮肤癌诊断的性能。关于跨模态医学图像合成，该目标的典型框架是基于pix2pix([14]isola等人(2017)))或cyclegan([39]zhu等人(2017))，其中医学图像的两种模态被视为源域和目标域。例如，maspero等人(2018)提出了一种基于pix2pix的骨盆mr图像合成ct生成方法。[34]yang等人(2020)提出了一种无监督的mr-to-ct合成模型，将结构化约束引入到cyclegan中。[36]ying等人(2019)提出x2ct-gan从两个正交的x射线生成ct图像，这允许从2d输入合成体积扫描。存在实现其他种类的跨模态转换的研究成果，例如从ct到pet([4]ben-cohen等人(2019))、从mri到pet([24]pan等人(2018))、从高光谱组织学到h&e([3])bayramoglu等人(2017)等。尽管这些跨模态合成方法已经获得了显著的性能，但是它们通常涉及两个方向的转换，并且图像分辨率不增也不降。通过对分割图、纹理、位置等施加约束的条件合成在不常见的条件下生成图像。例如，在合成肺部ct/mr图像时，肺结节应触及肺部边界([15]jin等人(2018))。[11]guibas等人(2017)使用两个gan由视网膜眼底图像生成分割掩模，并由生成的掩模生成照片级逼真图像。文章[23]mok和chung(2019)使用cgan来合成更多样化的脑部mr图像，其中病变以病变分割掩模为条件。除了这些应用，研究人员还试图从厚的ct切片中生成薄的ct切片。文章[2]bae等人(2018)提出了一种全残差卷积网络来实现2.5d超分辨率生成，其中亚像素混洗(sub-pixel shuffle)被设计用于创建高分辨率图像。文章[11]kudo等人(2019)提出了一个基于cgan的模型来生成薄片，该模型有两个鉴别器，分别用于鉴别真实的薄片和厚切片，以及虚拟的薄片和厚切片。虽然通过将厚切片和薄切片视为源域和目标域，也可以使用pix2pxi或cyclegan实现厚切片到薄切片的生成，但这两种方法都涉及双向转换，这是不必要的。此外，[20]liu等人(2020)提出了一种多流渐进上采样方案，用于由厚ct图像合成薄ct图像，其中多流负责学习肺内外区域。

技术实现思路

1、为了克服现有技术的缺点，本发明使用端到端厚到薄切片生成框架用于ct成像。具体地，其实现了从厚断层生成高质量的薄断层图像，并从压缩的低质量图像恢复接近原始的放射图像，这使得能够增强定量分析，进而有可能提高其诊断能力。该框架由三部分构成，即生成器、特征提取器和鉴别器。生成器负责从压缩的断层图像生成高质量的薄切片图像，以欺骗鉴别器。鉴别器负责鉴别真实的未压缩薄切片图像和合成薄切片图像，进而促使生成器合成更高质量的薄切片图像。为了提高生成质量，通过组合逐像素重建损失、内容损失和深度估计损失来重新设计生成器的损失函数。这些术语鼓励生成器在包括像素级别的精细细节的不同级别尽可能真实地合成薄切面图像，其中局部结构保留全局语义信息。同时，系统受益于生成器和鉴别器之间的对抗机制，使得合成的薄切片图像质量越来越好，越来越接近真实的薄切片图像。

2、在这三项中，像素重建损失使得能够保留精细细节，同时导致图像模糊。内容损失使得能够保留高级语义信息。深度估计损失用于在像素级和语义级上量化真实的厚切片图像和生成的厚切片图像之间的差异。通过使用生成器和鉴别器之间的对抗博弈，本发明能够产生高质量的无损断层图像。

3、在实施本发明时，通过在图像配准之后最大化多个连续薄切片图像(例如，五个连续薄切片图像)的逐像素强度来获得第一厚切片ct图像。第二，将获得的厚ct图像馈送到生成器以合成薄ct图像。生成器包括三个阶段：阶段1由适于学习高级语义特征的三个卷积层构成，阶段2由适于学习鉴别特征的九个连续残差块构成，阶段3由负责恢复精细细节的三个去卷积层构成。第三，将真实和合成的薄ct图像馈送到鉴别器中，以将真实切片与合成切片或假切片鉴别开，并且鉴别器的输出为生成器提供网络参数的有效梯度更新。因此，生成器的图像生成质量能力逐步提高，这反过来又通过它们之间的对抗博弈提高了鉴别器的鉴别能力。第四，引入特征提取器来加强合成薄ct图像的尽可能接近真实薄ct的特征的特征，以便减少不希望的模糊生成。特征提取器的主干基于vgg16([29]simonyan和zisserman(2015))，而其可以很容易地更改为其他网络，如resnet([12]he等人(2016))或densenet([13]huang等人(2017))、xception([7]chollet(2017),等人)。为了验证本发明的有效性，在收集的1390个肝脏ct扫描上进行实验。三个广泛使用的指标(即，mse、psnr和ssim)用于评估合成薄ct图像的质量。结果表明，本发明实现了57.10的mse、30.98的psnr和0.934的ssim。此外，根据dice系数来比较合成和真实薄ct图像的病变分割(其中病变分割模型在真实薄ct图像上训练)并且发现它们是等效的。

4、本发明的主要特征可以总结如下：

5、1.一种用于ct成像的端到端厚到薄切片生成模型，该模型具有简单的网络架构，仅涉及单向变换，对训练病例数量的要求也有所降低；

6、2.特征提取器，其具有灵活的网络主干，以在语义级上加强合成的薄ct图像的尽可能地接近真实ct图像的特征的特征，减少可能由逐像素重建引起的不期望的模糊生成；

7、3.已经进行了实验来从两个方面验证本发明的有效性：图像生成质量和肝脏病变分割。