一种基于改进SRGAN的肺部CT图像超分辨率方法

一种基于改进srgan的肺部ct图像超分辨率方法
技术领域
1.本发明涉及计算机视觉技术领域，更具体的说是涉及一种基于改进srgan的肺部ct图像超分辨率方法。


背景技术：

2.根据世界卫生组织发表的globocan2020癌症报告显示，肺癌发病率为11.4％，仅次于乳腺癌(发病率为11.7％)，而肺癌的死亡率为18％，居于最高。以此可见，肺部癌症是全球发病率极高且死亡率最高的一种疾病。对于肺部疾病早期的诊断和治疗能够提高至少30％的肺癌生存率。医学肺部ct图像是医生对于病人病情的分析和诊断的重要资料。由于肺部疾病的初期症状并不明显，高分辨率的肺部ct图像能够提高诊断的准确性，对于病情的早期诊断有着重要意义。但是医学ct图像包括肺部ct图像在成像的过程中，受到医学设备的成像分辨率、图像获取时间、患者所能承受的放射剂量等各种因素的限制，获得的图像分辨率有限。低分辨率的ct图像带来的问题是图像质量差导致详细信息丢失，严重干扰医学诊断。因此，提高ct图像的质量，加快重建速度，对诊断具有特别重要的意义。目前，提高医学ct图像分辨率常用的方法有以下3种：
3.1、提高传感器的像素数量或者增加传感器的感光面积，但是这种方法往往会带来更严重的散射噪声和增大成像设备的尺寸。
4.2、改变成像设备的扫描方式，该方法对医疗器械的精度要求高，且会增加辐射剂量。
5.3、超分辨率重建技术。图像分辨率是指图像中像素的数量，可以直接反映图像中包含的信息，图像分辨率越高，图像的外观越清晰，单位面积内包含的细节越多，可以从图像中获得更多的信息。图像超分辨率(super resolution，sr)是指由一幅低分辨率(low resolution，lr)图像或图像序列恢复出高分辨率(high resolution，hr)图像，sr重建是计算机视觉领域由来已久的研究热点，尤其在医学图像的sr重建领域有着重要的应用。
6.在不改变设备硬件条件和放射剂量的条件下，利用超分辨率技术提升肺部ct图像的分辨率，更好地辅助医护人员的临床诊断，在医学图像的sr重建领域有着重要的意义。随着深度学习(deep learning)的迅速发展，基于生成对抗网络(generative adversarial network,gan)的超分辨率取得视觉上更可靠的效果，但是针对医学ct图像仍然存在以下几个问题：(1)医学ct图像数据集相对较小，采集难度较大，训练样本少导致精度不高，传统的数据增强方法(翻转，平移等)虽然能从一定程度上增加数据量，但是都存在效果不佳或者误差较大的问题；(2)现有超分辨率方法(srcnn、srgan、esrgan等)大都基于自然图像，由于自然图像本身就含有大量丰富的信息，而医学ct图像本身含有的信息单一且少量，因此这类方法并不能直接用于医学图像；(3)现有专门针对医学ct图像超分辨率的方法较少，尤其是针对肺部ct图像的超分辨率的研究较少，而且大多以残差网络作为主干网网络，残差网模型比较大，训练时间较长，同时不会带来视觉感知质量的提升。因此，急需一种能够解决上述问题的医学肺部ct图像超分辨率方法。


技术实现要素：

7.有鉴于此，本发明提供了一种基于改进srgan的肺部ct图像超分辨率方法，可以在生成的超分图像中保留更多地原始和细节信息，将生成对抗网络gan与肺部ct图像的超分辨率需求相结合，生成视觉感知质量较高的肺部ct超分图像。
8.为了实现上述目的，本发明提供如下技术方案：
9.一种基于改进srgan的肺部ct图像超分辨率方法，包括以下步骤：
10.s1、构建低分辨率-高分辨率图像对，对肺部ct图像进行预处理，构建数据集；
11.s2、设计一种多尺度的残差块ms_resb替换srgan中的原残差块；
12.s3、设计基于charbonnier损失的感知损失函数；
13.s4、搭建基于多尺度残差块的肺部ct图像生成式对抗网络；
14.s5、通过s1构建的数据集对s4中搭建的基于多尺度残差块的肺部图像生成式对抗网络进行训练；
15.s6、通过s5中训练得到的网络模型对低分辨率图像进行超分辨率。
16.优选的，所述s1中构建低分辨率-高分辨率图像对具体为：将肺部ct图像分为训练集和测试集，对所述训练集中的图像进行降采样算法处理，得到低分辨率图像i
lr
，所述低分辨率图像与原训练集中的真实高分辨率图像i
hr
构成低分辨率-高分辨率图像对。
17.优选的，所述s2中设计的多尺度残差块包括2个1*1卷积层和6个3*3卷积层，1*1卷积层用于降低参数量，3*3卷积层用于提取图像特征。
18.优选的，所述s4中的基于多尺度残差块的肺部ct图像生成式对抗网络包括生成器gnet和判别器dnet，所述生成器gnet包括：3个卷积块、5个多尺度残差块，1个上采样模块；其中第一生成器卷积块用于图像的浅层特征提取，5个多尺度残差块和第二生成器卷积块用于图像的高层特征的提取，上采样模块用于将特征图尺寸恢复至目标超分辨率图像的大小，第3个卷积块用于超分辨率图像重建；所述判别器dnet包括8个判别器卷积块、2个全连接层、2个激活函数；8个判别器卷积块分别包括一个激活函数，其中第二、四、六、八判别器卷积块的步长为2，其作用是减少特征图的尺寸同时降低计算量，第一、三、五、七判别器卷积块步长为1；第一全连接层的维度为1024，第二全连接层的维度为1；最后一层激活函数采用sigmoid激活函数，其余激活函数全部选择gelu作为激活函数。
19.优选的，所述s5具体为：
20.s51、初始化生成器gnet、判别器dnet和优化器；
21.s52、输入低分辨率图像i
lr
至生成器gnet中，生成高分辨率图像i
sr
；
22.s53、分别将高分辨率图像i
sr
和真实高分辨率图像i
hr
输入判别器dnet中，判定输入图像为真实高分辨率图像i
hr
的概率值；
23.s54、计算判别器dnet的损失，将判别器损失向输入侧进行反向传播，同时根据判别器损失计算判别器dnet的梯度值；
24.s55、计算生成器gnet的损失，将生成器损失向输入侧进行反向传播，同时根据生成器损失计算生成器gnet的梯度值；
25.s56、依次更新判别器dnet和生成器gnet的参数，所述参数为偏置和权重。
26.优选的，所述s56之后还包括：s57、通过所述测试集对s56的基于多尺度残差块的肺部ct图像生成式对抗网络进行测试。
27.优选的，所述s54中的判别器dnet损失函数为：
[0028][0029]
所述s55中生成器gnet的损失函数为：
[0030]
gnet_loss＝cbn_loss+α
·
adv_loss+β
·
vgg_loss
[0031]
式中，cbn_loss表示charbonnier损失，adv_loss表示对抗损失，vgg_loss表示vgg损失，α和β是生成器损失中对抗损失和vgg损失的权重参数；cbn_loss计算方法如下所示：
[0032][0033]
式中，ε＝1
×
10-6
；
[0034]
adv_loss的计算公式如下所示：
[0035][0036]
式中，表示一个参数为θg的生成器网络，θg＝{w
1:l
；b
1:l
}表示网络中每一层的参数，表示一个参数为θg的判别器网络，θd＝{w
1:l
；b
1:l
}表示该网络中每一层的参数；
[0037]
vgg损失的计算方式为：将高分辨率图像i
sr
和真实高分辨率图像i
hr
分别输入vgg19网络的得到i
sr
特征图和i
hr
特征图，计算这两个特征图之间的欧氏距离得到vgg损失，具体如下表示：
[0038][0039]
式中，w
i,j
和h
i,j
表示vgg网络中特征图的宽和高，x取值范围为[1,w
i,j
]，y取值范围为[1,h
i,j
]，表示输入图像经过vgg19网络中第i个最大池化层之后的第j个卷积层(激活函数之后)后输出的特征图。
[0040]
优选的，所述s51中的优化器为adam优化算法，初始化学习率lr为1
×
10-3
，动量参数[β1，β2]＝[0.9，0.999]。
[0041]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于改进srgan的肺部ct图像超分辨率方法，具有以下有益效果：
[0042]
1.针对医学图像样本量较少的问题，本发明设计的多尺度残差块ms_resb可以提取图像多粒度特征，包括不同级别的全局和局部特征，以便在生成的超分图像中保留更多地原始和细节信息，有助于构造更逼真的超分图像；
[0043]
2.本发明的生成器网络gnet中的跳连结构，将浅层特征(包括边缘、纹理等)依次传递到网络中的每一层，很好地传递和保持了图像的细节信息，有助于恢复出噪声更少的超分图像；
[0044]
3.本发明的多尺度残差块ms_resb移除了bn层，只有卷积层，可以在降低模型复杂度的情况下提升性能，同时可以改善超分结果过于平滑的问题；
[0045]
4.本发明中设计的基于charbonnier损失的感知损失函数，可以更好地处理异常值，提升性能，解决了原损失函数导致超分图像过于平滑，缺少高频细节，生成的超分图像
视觉真实感缺乏的问题。
附图说明
[0046]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0047]
图1为本发明的流程图；
[0048]
图2为本发明的多尺度残差块示意图；
[0049]
图3为本发明的生成器gnet示意图；
[0050]
图4为本发明的判别器dnet示意图。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
本发明实施例公开了一种基于改进srgan的肺部ct图像超分辨率方法，如图1所示，包括以下步骤：
[0053]
一种基于改进srgan的肺部ct图像超分辨率方法，如图1所示，包括以下步骤：
[0054]
s1、构建低分辨率-高分辨率图像对，对肺部ct图像进行预处理，构建数据集；
[0055]
s2、设计一种多尺度的残差块ms_resb(multi-scale resblock)替换srgan中的原残差块；
[0056]
s3、设计基于charbonnier损失的感知损失函数；
[0057]
s4、搭建基于多尺度残差块的肺部ct图像生成式对抗网络；
[0058]
s5、通过s1构建的数据集对s4中搭建的基于多尺度残差块的肺部图像生成式对抗网络进行训练；
[0059]
s6、通过s5中训练得到的网络模型对低分辨率图像进行超分辨率。
[0060]
在本发明的另一个实施例中，s1中构建低分辨率-高分辨率图像对具体为：将肺部ct图像分为训练集和测试集，对训练集中的图像进行降采样算法处理，得到低分辨率图像i
lr
，低分辨率图像与原训练集中的真实高分辨率图像i
hr
构成低分辨率-高分辨率图像对。
[0061]
在本发明的另一个实施例中，如图2所示，s2中设计的多尺度残差块包括2个1*1卷积层和6个3*3卷积层，1*1卷积层用于降低参数量，3*3卷积层用于提取图像特征，残差块中只包含卷积操作，不包含其他操作如归一化等。
[0062]
在本发明的另一个实施例中，s4中的基于多尺度残差块的肺部ct图像生成式对抗网络包括生成器gnet和判别器dnet，生成器gnet包括：3个生成器卷积块、5个多尺度残差块，1个上采样模块；其中第一生成器卷积块用于图像的浅层特征提取，5个多尺度残差块和第二生成器卷积块用于图像的高层特征的提取，上采样模块用于将特征图尺寸恢复至目标超分辨率图像的大小，第3个卷积块用于超分辨率图像重建；如图3所示，图像经过第一个卷
积块提取浅层特征，之后经过5个多尺度残差块和第二生成器卷积块提取高层特征，在经过上采样模块后尺寸被恢复至目标超分辨率图像的大小，最后经过第三生成器卷积块完成分辨率图像重建。其中，5个多尺度残差块、第二生成器卷积块、上采样模块构成跳连结构skip connection，将浅层特征(包括边缘、纹理等)依次传递到网络中的每一层，很好地传递和保持了图像的细节信息，有助于恢复出噪声更少的超分图像。
[0063]
判别器dnet包括8个判别器卷积块、2个全连接层、2个激活函数；如图4所示，8个判别器卷积块分别包括一个激活函数，其中第二、四、六、八判别器卷积块的步长为2，其作用是减少特征图的尺寸同时降低计算量，第一、三、五、七判别器卷积块步长为1；第一全连接层的维度为1024，第二全连接层的维度为1；最后一层激活函数采用sigmoid激活函数，其余激活函数全部选择gelu作为激活函数。
[0064]
在本发明的另一个实施例中，s5具体为：
[0065]
s51、初始化生成器gnet、判别器dnet和优化器；
[0066]
s52、输入低分辨率图像i
lr
至生成器gnet中，生成高分辨率图像i
sr
；
[0067]
s53、分别将高分辨率图像i
sr
和真实高分辨率图像i
hr
输入判别器dnet中，判定输入图像为真实高分辨率图像i
hr
的概率值；
[0068]
s54、计算判别器dnet的损失，将判别器损失向输入侧进行反向传播，同时根据判别器损失计算判别器dnet的梯度值；
[0069]
s55、计算生成器gnet的损失，将生成器损失向输入侧进行反向传播，同时根据生成器损失计算生成器gnet的梯度值；
[0070]
s56、依次更新判别器dnet和生成器gnet的参数，参数为偏置和权重。
[0071]
在本发明的另一个实施例中，s54中的判别器dnet损失函数为：
[0072][0073]
s55中生成器gnet的损失函数为：
[0074]
gnet_loss＝cbn_loss+α
·
adv_loss+β
·
vgg_loss
[0075]
式中，cbn_loss表示charbonnier损失，adv_loss表示对抗损失，vgg_loss表示vgg损失，α和β是生成器损失中对抗损失和vgg损失的权重参数。cbn_loss计算方法如下所示：
[0076][0077]
式中，ε＝1
×
10-6
；
[0078]
adv_loss的计算公式如下所示：
[0079][0080]
式中，表示一个参数为θg的生成器网络，θg＝{w
1:l
；b
1:l
}表示网络中每一层的参数，表示一个参数为θg的判别器网络，θd＝{w
1:l
；b
1:l
}表示该网络中每一层的参数；
[0081]
vgg损失的计算方式为：将高分辨率图像i
sr
和真实高分辨率图像i
hr
分别输入vgg19网络的得到i
sr
特征图和i
hr
特征图，计算这两个特征图之间的欧氏距离得到vgg损失；
[0082][0083]
式中，w
i,j
和h
i,j
表示vgg网络中特征图的宽和高，x取值范围为[1,w
i,j
]，y取值范围为[1,h
i,j
]，表示输入图像经过vgg19后输出的一个特征图。进一步的，表示输入图像经过vgg19网络中由第i个最大池化层之后的第j个卷积层(激活函数之后)后输出的特征图。
[0084]
在本发明的另一个实施例中，s51中的优化器为adam优化算法，初始化学习率lr为1
×
10-3
，动量参数[β1，β2]＝[0.9，0.999]。
[0085]
在本发明的另一个实施例中，s56之后还包括：s57、通过测试集对s56的基于多尺度残差块的肺部ct图像生成式对抗网络进行测试，具体的：
[0086]
采用美国的肿瘤基因组图谱(tcga)数据库中的tcga-luad肺癌肺部ct数据集作为数据集1以及美国国家卫生研究院(nih)临床中心最新公开发布的肺部ct图像数据集deeplesion作为数据集2。从tcga-luad肺癌肺部ct数据集中随机挑选了418张肺部ct图像作为训练集，随机选了52张作为测试集，从deeplesion中随机挑选了470张肺部ct图像作为训练集，随机选了30张作为测试集。测试中，batchsize设置为4，从单张图像中随机截取大小为256
×
256的图像区域进行训练，使用adam优化算法，初始学习率为10-3，训练epoch为50。本实施例在上采样因子为4时进行了实验，同时选择峰值信噪比psnr(peak signal to noise ratio，单位是db，数值越大表示失真越小)和结构相似性ssim(structural similarity，值越大，表示图像失真越小)两个评价指标，对本发明算法性能进行了客观质量的评估。
[0087]
测试结果(scale＝4)如表1和表2所示。其中，
×
表示未使用该部分，√表示使用该部分；最优的结果使用粗体显示；表1是在数据集1上测试结果比较，表2是在数据集2上测试结果的比较。通过表1第1行和第3行数据可以看出，重构的基于charboniner的感知损失是非常有效的，不管是psnr和ssim的最优值还是50个epoch的平均值，使用本发明的感知损失函数训练的网络都取得了最好的效果。表1第2行和第3行的结果可以得出，在其他实验条件相同的情况下，最优psnr、ssim和50次epoch的平均值均为最优，说明使用本发明提出的多尺度的残差块ms_resb的效果要优于原来srgan网络中的残差块。表2是在数据集2上的结果比较，分析方法同表1，从表2中可以看出，本发明重构的损失函数和设计的残差块ms_resb使得网络在在最优psnr、ssim和平均psnr/ssim三个指标上都达到了最优。综上，表1和2的结果充分说明本发明提出的残差块ms_resb和基于charbonnier的感知损失的作用和效果，基于二者构建的肺部ct图像超分辨率网络的超分结果失真小，细节更丰富，更接近于真实图像。实验从客观质量上有效地说明了本发明方法有助于构造更逼真、细节更丰富的高分辨率肺部ct图像。
[0088]
表1在数据集1上的结果比较(scale＝4)
[0089]
[0090]
表2在数据集2上的结果比较(scale＝4)
[0091][0092]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0093]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。