基于REMU-Net的肺结节CT图像分割算法

基于remu-net的肺结节ct图像分割算法
技术领域：
1.本发明属于深度学习医学影像分割技术领域，具体涉及一种基于remu-net的肺结节ct图像分割算法。
2.背景领域：
3.肺癌的发病率和死亡率很高。通过ct对肺部结节进行早期筛查可以降低20％的肺癌死亡率。然而，肺结节在ct图像上看起来很小，其形态、亮度和其他特征与肺实质中的血管和其他组织相似，使得视觉检查不足以区分它们。目前，肺结节的分割可以通过计算机视觉技术来解决，但分割结果不佳将直接影响医生下一步的诊断。因此，如何提高肺结节的分割精度，将是值得研究的问题。
4.许多研究者利用深度学习技术解决上述问题，近年来，u-net在医学图像分割中表现出优异的性能，但在分割肺部结节时，它不能准确地分割尺寸较小的结节。为了使其更准确地分割ct图像中的肺部结节，基于u-net提出了remu-net。首先，将最先进的resnet变体resnest作为u-net的主干，并在resnest的split-attention块中引入空间注意模块，使网络能够提取更多样、更有效的特征。其次，在u-net中引入了基于空洞空间金字塔池化模块(aspp)的特征增强模块，利用它来获得更丰富的语义信息。最后，用多尺度的跳过连接取代u-net的跳过连接，克服了解码器子网只能接受同尺度特征信息的限制。


技术实现要素：

5.为提高分割小尺寸肺结节的准确性，本发明提供一种基于remu-net的肺结节ct图像分割算法，提高了肺结节分割方面的性能并且减少了漏判和假阳性的概率，为了达到上述目的，包括以下步骤：
6.1.基于remu-net的肺结节ct图像分割算法，其特征在于：所述方法具体过程为：
7.步骤1.制作肺结节ct图像数据集，并通过数据预处理程序划分出不同比例的训练集、测试集和验证集；
8.步骤2.用步骤一中划分得到的训练集对网络模型进行训练，将肺结节ct图像输入到改进的resnest块进行特征提取，共经过14个改进的resnest块，获得深层特征；
9.步骤3.将获得的深层特征送入改进的空洞空间金字塔模块，主要将空洞空间金字塔模块输出的特征与原输入特征1:1合并，从而在保留了原深层特征外获得了多尺度信息；
10.步骤4.利用多尺度跳跃连接融合各解码器子网的特征，接着将步骤三获得的特征上采样，与融合后的特征合并，接着通过两个3*3卷积层获得新的特征，接着重复上述操作三次，最后使得输出的特征图与输入尺寸相同，即输出的特征图为肺结节ct图像分割预测分割结果；
11.步骤5.利用验证集对模型的超参数进行调整，确定最佳超参数后，利用测试集对模型的分割性能进行评估；
12.优选的，本发明基于remu-net的肺结节ct图像分割算法，使用resnest-sam块作为主干网络，增加了网络获得特征的多样性和有效性，提高了网络的鲁棒性及分割性能。
13.优选的，步骤一中，使用收集到的医学图像数据集，并由专业医生对肺结节进行标注，随后利用预处理程序，对ct图像进行肺实质提取以及感兴趣区域划分等，制作成网络的输入数据。
14.优选的，步骤二中，在resnest块的split-attention块中引入空间注意模块形成resnest-sam块，使用resnest-sam块作为网络的主干网络，增加了网络获得特征的多样性和有效性，提高了网络的鲁棒性及分割性能。
15.优选的，步骤三中，在aspp上添加了短连接，并作为网络的编码器及解码器的过度模块，获得网络深层特征丰富的语义信息，提高了网络肺结节的辩别能力。
16.优选的，步骤四中，使用多尺度跳跃连接代替跳跃连接，使得解码器子网获得了多尺度特征。在多尺度信息融合的过程中，仅对其他尺度的特征进行通道数的调整，保证了在不损失同尺度信息的情况下，获得了其他尺度的信息。获得了目标的上下文信息，大幅度的提高了肺结节的分割性能。
17.本发明有益效果：
18.本发明采用改进的resnest作为主干特征提取网络，提高了模型的鲁棒性以及提取特征的有效性。
19.本发明提出的基于aspp的特征增强模块作为网络编码器和解码器的过渡结构，充分获得了深层特征的语义信息，提高了网络辩别肺结节的能力以及分割的准确性。
20.本发明用多尺度的跳过连接取代u-net的跳过连接，克服了解码器子网只能接受同尺度特征信息的限制，获得了多尺度信息，提高了分割的准确性。
附图说明：
21.图1为本发明的流程图；
22.图2为remu-net结构图；
23.图3a为resnest-sam结构图；
24.图3b为改进的split-attention结构图；
25.图3c为空间注意力结构图；
26.图4为改进的aspp结构图；
27.图5为利用多尺度跳跃连接形成解码器子网x
de3
过程的示意图。
具体实施方式
28.具体实施方式一：结合图1和图2说明本实施方式，本实施方式一种基于remu-net的肺结节ct图像分割算法具体过程为：
29.步骤1.收集数据，进行肺实质提取以及感兴趣区域划分，随后按7∶2∶1划分为训练集，验证集和测试集；
30.步骤2.利用改进的resnest进行特征提取；
31.步骤3.送入改进的aspp模块进行提取；
32.步骤4.利用多尺度跳跃连接融合特征后进行解码操作；
33.步骤5.利用训练集训练模型，验证集调整模型的超参数，测试集测试模型的分割性能，主要评价指标包含准确率(acc),平均交并比(miou)，骰子系数(dice)，召回率
(recall)，精确率(precision)。
34.具体实施方式二：本实施方式与具体实施方式一不同的是:所述步骤二中，resnest是resnet的一个变体，它在同一层中使用多个卷积核分支分别提取特征，使网络可以提取更多不同的特征，并引入split-attention块。在split-attention块中使用了通道的注意力模块，对通道给予不同的权重以提取有效的特征，如图3a所示的resnest-sam将通道分为两个大组，每个大组中包含三个小组。
35.在分割小目标时，空间信息更为重要，如图3b所示在split-attention块的通道注意模块之后增加了一个如图3c所示的空间注意里模块，以实现通道注意模块和空间注意模块的串联，这一改进使网络在学习过程中有了更明确目标。
36.具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤三中，对aspp进行改进形成增强模块，以便在分割肺结节时考虑周围环境。增强模块主要是在aspp上增加短连接如图4所示。aspp可以通过改变扩张卷积的扩张率来获得多尺度背景信息。肺结节的目标很小，当扩张率大时，获得的有效信息较少。为了弥补这一不足，将aspp提取的特征与原始特征串联起来，随后通过1*1卷积整合信息。此时，新提取的特征不仅保留了原有的特征信息，而且还具有丰富的上下文信息。通过实验验证，在扩张率为3、5和7的情况下，结果最好。
37.具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤四中利用多尺度跳跃连接更换了u-net的跳跃连接，具体构造过程以构建解码层x
de3
的特征图为例，示意图如图5所示，其中x
dei
表示第i个解码器子网，x
eni
表示第i个编码器子网。首先将x
en1
、x
en2
、x
en4
串联起来，传递浅层和深层的语义信息，在串联之前，采用3*3卷积和去卷积的方式统一其特征图的分辨率和通道数。通道数是指同一比例尺下编码器的通道数，从图中可以看出，通道数统一为256。x
en1
、x
en2
、x
en4
串联得到x
c1
，并对信息进行整合，采用1*1cbr方式调整通道数，然后将特征图与x
en3
串联得到x
c2
。最终融合的特征图与两组3*3的cr串联，得到x
de3
。利用该方法，减少了同尺度特征信息损失的同时获得了其他尺度均衡的信息。
38.实验表明，remu-net在lidc-idri数据集上的dice评分为84.76％。该网络比大多数其他现有的u-net改进网络具有更好的分割性能。本发明的基于remu-net的肺结节分割算法实现了高效、准确的肺结节分割，尤其是对小尺寸结节的分割性能极佳。它为医生的下一步诊断提供了强有力的支持。