基于深度学习的肺癌CT图像亚型分类方法

基于深度学习的肺癌ct图像亚型分类方法
技术领域
1.本发明涉及医学图像分类技术领域，特别是涉及一种基于深度学习的肺癌ct图像亚型分类方法。


背景技术：

2.目前中国各类癌症的发病率和死亡率居各种疾病之首，其中又以肺癌的发病率和死亡率均居各种恶性肿瘤之首，主要分为小细胞肺癌和非小细胞肺癌，非小细胞肺癌(nsclc)的两个主要亚型是肺鳞癌(scc)和肺腺癌(adc)，分别占20％和40％。因此，肺癌的准确分类是个体化治疗和系统治疗决策的第一步，也是至关重要的一步。到目前为止，在常规临床实践中，术后活检和病理组织切片是确定肺癌亚型的主要方法。这两种方法都属于侵入性诊断方法，肺结节穿刺活检伴随的感染、出血和气胸等一系列风险、组织获取的有限性以及病理确诊的耗时性导致的治疗推迟是临床普遍存在的问题。总而言之，发展非侵入性方法来对肺癌亚型进行分类可以帮助医生更好地做出治疗决策。此外，他们还可以为那些无法获得足够组织进行组织病理学检查的患者提供其他方法来了解结果。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于深度学习的肺癌ct图像亚型分类方法。
4.为了实现本发明的上述目的，本发明提供了一种基于深度学习的肺癌ct图像亚型分类方法，包括以下步骤：
5.s1，预处理：采集ct图像原始数据信息并进行预处理，得到增强后的数据集，并将预处理之后的ct图像数据划分为测试集和训练集；
6.s2，构建模型：构建改进的3d-lungnet网络模型，用于对预处理后的图像进行特征提取；所述改进的3d-lungnet网络模型是基于三维卷积网络3d-lungnet，并借鉴了resnet中的跳接方法。该网络能有效地从输入ct图像中提取信息，并能进行端到端的有效训练。
7.s3，训练模型：将训练集输入到所述改进的3d-lungnet网络模型中进行训练，得到训练好的ct图像分类模型；
8.s4，测试集输入模型：将所述测试集输入到所述ct图像分类模型中，得到ct图像分类结果。
9.进一步地，所述ct图像原始数据为在手术前或任何化疗前获得且包含结节位置信息。
10.进一步地，所述预处理包括：
11.将ct图像重采样为统一规格，3d图像块的线性尺寸调整为每像素1mm；然后归一化到[-1，1]的范围，并进行数据增广。
[0012]
每张ct图像由多个3d图像块组成。
[0013]
数据增广包括裁剪感兴趣的区域、旋转、平移等数据增广方式。
[0014]
进一步地，所述改进的3d-lungnet网络模型包括：输入模块、特征提取模块以及分类模块，输入模块的数据输出端与特征提取模块的数据输入端相连，特征提取模块的数据输出端与分类模块的数据输入端相连；
[0015]
输入模块：输入d
×d×
d像素的3d图像块；
[0016]
特征提取模块：通过各个层级网络提取输入图像的特征；
[0017]
分类模块：根据提取的特征对待测图像进行分类，得到预测分类结果；具体包括：通过全局平均池化gap，从完全连接层dense输出三个概率值，分别对应于肺鳞癌、肺腺癌和小细胞癌，概率最大的类别为分类结果。
[0018]
进一步地，所述特征提取模块包括：
[0019]
s-a，通过批量归一化层bn和一个卷积网络用于提取包含局部细节的特征；
[0020]
卷积网络具有提升对局部细节的特征提取能力，使用四个卷积层代替普通卷积核，在降低退化现象的同时实现局部特征增强。
[0021]
所述卷积网络有4层，卷积核分别为d
×d×
d、1
×d×
d、d
×1×
d和d
×d×
1，每个卷积核的滤波器数量为64。
[0022]
s-b，进入积木模块，用于计算图像坐标、纹理等全局特征信息的核心结构；
[0023]
s-c，通过批量归一化层bn和激活函数层relu，relu的作用是增加线性特征的非线性，避免过拟合。
[0024]
进一步地，所述卷积网络使用d
×d×
d、1
×d×
d、d
×1×
d和d
×d×
1的卷积核来滑动提取特征，并在四个分支的卷积后进行batch normalization操作得到每各分支的输出，将各层输出相加得到丰富的特征空间：
[0025][0026]
其中y为最后输出结果；
[0027]
y1、y2、y3、y4分别为四个分支的卷积结果；
[0028]
i为输入数据；
[0029]
w1、w2、w3、w4分别表示各分支在融合计算时的权重；
[0030]
η1、η2、η3、η4分别表示各分支归一化的标准差；
[0031]
kd×d×d表示尺寸为d
×d×
d的卷积核；
[0032]
k1×d×d表示尺寸为1
×d×
d的卷积核；
[0033]
kd×1×d表示尺寸为d
×1×
d的卷积核；
[0034]
kd×d×1表示尺寸为d
×d×
1的卷积核；
[0035]
c表示为各分支输出融合后的偏置量；
[0036]
为加运算。
[0037]
进一步地，所述积木模块由六个单独的构造块组成，数据从第一个构造块进入，然后依次通过之后的构造块；
[0038]
第一个构造块的卷积步长为1，这是为了保持特征图，之后每个构造块结构的步长为2，这代表了可以减少特征图的下采样。最终输出的图像大小为2*2*2；
[0039]
其中每个构造块中都有过滤器，前四个构造块的过滤器数量为32，其余构造块的过滤器数量设置为64。过滤器越多对图像特征的计算能力更强，但对算力要求也更高，因此在兼顾两者的情况下，将前四个设置为32。
[0040]
进一步地，所述构造块由第一残差块与第二残差块模块构成；
[0041]
第一残差块的输入端与卷积层相连，卷积层的输出端与第一残差块的输出端相连，再通过加运算，把经过第一残差块的数据与经过所述卷积层的数据进行整合；
[0042]
将整合后的数据输入第二残差块，
[0043]
第二残差块的输出端与第二残差块的输入端相连，再通过加运算，把经过第二残差块的数据与未经过第二残差块的数据进行整合，得到最终输出结果；
[0044]
其中第一残差块由卷积层、归一化层、激活函数层、dropout层组成；
[0045]
第二残差块由归一化层、激活函数层、卷积层组成。
[0046]
构造块中的卷积是采用单一尺寸的卷积核。
[0047]
进一步地，所述训练模型包括：如果某一类肺癌亚型超过另外两类肺癌亚型之和，则在每次迭代中以1:1:1的比例对三种肺癌亚型的数据进行采样，以保证训练的合理性。
[0048]
进一步地，所述s3还包括使用交叉熵作为损失函数对模型优化，损失函数如下：
[0049][0050]
其中y为中间指示变量；
[0051]
n为样本数量；
[0052]
yj表示第j个样本的损失函数；
[0053]yji
表示第j个样本与第i种类别比对的结果；
[0054]
m为分类任务的类别数；
[0055]qji
表示样本j属于类别i的概率。
[0056]
综上所述，由于采用了上述技术方案，本发明能够充分利用医学图像与自然图像之间的内在联系进行特征迁移，提高了网络层的特征提取效率和图像分类准确率，并减少了训练过程中的冗余计算量。还提高ct图像的分类准确率及分类精确率，有效改善了ct图像的诊断效果。
[0057]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0058]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0059]
图1是本发明改进的3d-lungnet网络模型结构示意图。
[0060]
图2是本发明单个构造块的结构示意图。
[0061]
图3是本发明使用图像标签及分类结果。
具体实施方式
[0062]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终
相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0063]
计算机断层扫描(ct)是肺癌预后的主要诊断影像手段。近年来使用深度学习网络和ct图像的放射组学来分类和区分肺结节的研究迅速增长，本研究开发了一种自动和非侵入性分类模型(3d-lungnet)，用于区分三种肺癌亚型(肺鳞癌scc、肺腺癌adc和小细胞肺癌sclc)，助力肺肿瘤病理类型的鉴别。
[0064]
为了克服现有肺癌亚型分类技术数据集单一、多分类任务精度不足的问题，本发明提出了一种基于深度学习的肺癌亚型分类系统和方法，以三维卷积神经网络为骨干框架，结合深度学习网络跳接方法，来提取不同类型肺肿瘤之间的关系，通过这种相互关系加强单个结节的本质表征，使系统可以充分提取医学图像中包含的信息，可获得更高的分类精度。
[0065]
分类系统包括：
[0066]
预处理模块：用于对采集ct图像进行预处理，得到增强后的数据集；
[0067]
训练模块：将增强后的数据集输入改进的3d-lungnet网络模型，得到训练后的改进的3d-lungnet网络模型；
[0068]
优化模块：采用损失函数对所述网络模型进行优化；
[0069]
分类模块：用于对待检测的肺癌ct图像进行分类。
[0070]
为了实现上述目的，本发明提出一种基于深度学习的肺癌ct图像亚型分类方法，包括以下步骤：
[0071]
s1，预处理：采集ct图像原始数据信息并进行预处理，得到增强后的数据集，并将预处理之后的ct图像数据划分为测试集和训练集；
[0072]
s2，构建模型：构建改进的3d-lungnet网络模型，所述改进的3d-lungnet网络模型是基于三维卷积网络3d-lungnet，并借鉴了resnet中的跳接方法。该网络能有效地从输入ct图像中提取信息，并能进行端到端的有效训练。
[0073]
s3，训练模型：将训练集输入到所述改进的3d-lungnet网络模型中进行训练，得到训练好的ct图像分类模型；
[0074]
s4，测试集输入模型：将所述测试集输入到所述ct图像分类模型中，得到ct图像分类结果。
[0075]
本发明以已有的深度学习网络为基础，以三维卷积神经网络为骨干框架，结合深度学习网络跳接方法，来提取不同类型肺肿瘤之间的关系，实现了比传统深度卷积神经网络分类更优的分类系统。其中采用三维卷积神经网络因其符合ct图像的三维特点，且与二维网络相比，能提取到更多空间信息等图像特征。
[0076]
本分类系统通过网络结构间相互关系加强单个结节的本质表征，使系统可以充分提取医学图像中包含的信息，可获得更高的分类精度。整个网络可以进行端到端的培训。在肺癌ct图像亚型分类任务中，我们提出的方法优于以往研究，兼顾数据多样性和分类精准度。以往研究多采用放射组学方法，分类对象多为非小细胞肺癌；另外一组基于三种肺肿瘤的研究，最后结果无法区分scc和sclc。而我们提出的方法包含了非小细胞肺癌(adc、scc)和小细胞肺癌(sclc)两种类型。
[0077]
因此本发明提出的基于深度学习的肺癌亚型分类方法可以为临床工作流程中指
导三种肺癌的个体化和精准化治疗提供广阔的前景。
[0078]
具体实施例如下：
[0079]
s1，预处理步骤：采集ct图像原始数据信息并进行预处理，得到增强后的数据集，并将预处理之后的ct图像数据划分为测试集和训练集；
[0080]
s1-1，从胸部ct数据中提取64mm
×
64mm
×
64mm的3d片，包含结节位置信息[x，y，z]。所有ct图像均在手术前或任何化疗前获得。ct图像是由一定数目由黑到白不同灰度的像素按矩阵排列所构成，本发明采用以矩阵形式表示的ct图像作为原始数据。
[0081]
s1-2，从本发明对以矩阵形式表示的ct图像原始数据进行预处理，即将ct图像重采样为统一规格，3d图像块的线性尺寸调整为每像素1mm(64像素
×
64像素
×
64像素)，然后归一化到[-1，1]的范围。并进行数据增广，得到增广后的数据集，所述数据增广包括裁剪感兴趣的区域、旋转、平移等数据增广方式，构成该数据集的每一个样本称为ct三维数据。
[0082]
s1-3，将经过数据增加处理的多种类别的样本集合均拆分为训练集、验证集和测试集，并按照0.7：0.15：0.15的比例进行划分。
[0083]
s2，构建模型：由于数据量有限，为了更有效地提取特征特征，网络模型的设计应该更深且相对狭窄。单层卷积的网络层数不足和卷积核数量过多可能会导致拟合结果不佳或无法拟合。对于普通的卷积神经网络cnn，随着网络的深入，梯度会不断衰减，可能导致分类失败。res-net中的构建块结构包含一个残差分支和一个快捷分支，其中添加了跳转连接操作以传输底层信息以充分训练网络。这种创新方法在多个二维图像分类项目中显示出强大的分类能力。改进的3d-lungnet就是受此启发，具体的网络结构如图1所示。
[0084]
s2-1，输入一个64
×
64
×
64像素的3d图像块，通过由两个批量归一化层bn和一个具有64个卷积内核的卷积网络组成的模块。批量归一化具有消除梯度消失、加速收敛、避免过拟合的功能。
[0085]
s2-2，批量归一化bn后，进入积木模块building block。模块由六个单独的构造块block组成。s表示卷积步长的数量，第一个构造块的卷积步长为1，这是为了保持特征图，之后每个构造块结构的步长为2，这代表了可以减少特征图的下采样。最终输出的图像大小为2*2*2。f表示过滤器的数量，每个构造块block中都有过滤器，前四个构造块的f设置为32，其余构造块的f设置为64。数据从第一个block进入，逐步计算。过滤器越多对图像特征的计算能力更强，但对算力要求也更高，因此在兼顾两者的情况下，将前四个设置为32。
[0086]
s2-3，在这些步骤之后，模块由批量归一化层bn和激活函数层relu组成。relu的作用是增加线性特征的非线性，避免过拟合。
[0087]
然后通过全局平均池化gap，从完全连接层dense输出三个概率值，分别对应于肺鳞癌(scc)、肺腺癌(adc)和小细胞癌。概率最大的类别为分类结果。
[0088]
其中，单个构造块的结构如图2所示，包括2个残差块(residual block)，从一系列bn层输入特征图后，batchnorm将relu层和卷积层组合起来输出特征图。dropout层在单个构建块中的作用是通过将特征图中的元素随机设置为零来缓解过度拟合。即使图像中的某些像素是噪声值，也不会影响对图像内容的判断。此外，对于单个block，还应用了上面提到的跳转连接操作，可以添加特征图的特征值。
[0089]
卷积网络采用四个平行层组成，分别使用d
×d×
d、1
×d×
d、d
×1×
d和d
×d×
1的卷积核来滑动提取特征，并在四个分支的卷积后进行batch normalization操作得到每各
分支的输出，将各层输出相加得到丰富特征空间。由卷积的可加性可知：如果m个大小兼容的3d核k在同一输入l上以相同的步长操作，并产生相同分辨率的输出，假设这些输出相加的结果为y，那么可以将相应位置上的核相加，得到一个可以产生相同输出y的等价核k。
[0090][0091]
k1、k2...km表示不同尺寸的卷积核。
[0092]
以d取3为例，详细计算过程如下：
[0093]
数据输入模型归一化处理后，卷积核各个分支输出为：
[0094][0095][0096][0097][0098]
其中y1为第一个卷积核分支的输出；
[0099]
y2为第一个卷积核分支的输出；
[0100]
y3为第一个卷积核分支的输出；
[0101]
y4为第一个卷积核分支的输出；
[0102]
i为输入数据；
[0103]
y为各卷积核分支的输出；
[0104]
μ表示归一化处理时各分支的均值；
[0105]
η表示归一化处理时各分支的标准差；
[0106]
w为各分支融合计算时的权重；
[0107]
λ为各分支归一化处理中的偏置量；
[0108]
根据卷积可加性得，输出之和为：
[0109][0110]
其中c表示为各分支输出融合后的偏置量，为常量；所述融合计算指将四个分支计算的结果合并，继续向后运算。
[0111][0112]
因此卷积核可等价为：
[0113][0114]
其中k表示卷集合，相当于把上述四个分支(k1 k2 k3 k4)用一个式子表示。
[0115]
在优化过程中，采用“adam”优化算法，学习率为0.01，衰减率为0.5，第一个构建块的dropout为0.5，其次为0.28，训练80个epoch后模型拟合。
[0116]
最后，计算roc的auc、f1分数和准确度，以评估模型的性能。上述方法帮助深度网络从之前的网络中获取特征值，从而获得更好的分类结果。
[0117]
模型的输出是三个亚型的概率，最终的预测是概率最高的类型。与深度学习中最常用的技术不同，我们采用了一种新的策略，只需要数据的坐标，而不是使用各种主流框架的内置数据增强功能。该方法的改进有效地提高了模型的性能，加快了模型的训练过程。
[0118]
s3，训练步骤：
[0119]
将所述训练集输入到改进的3d-lungnet网络模型中进行训练，得到训练好的ct图像分类模型；
[0120]
根据对病变位置ct图像类别的研究，通过对传统3d-lungnet网络的主要节点进行特征可视化。通过特征可视化，设定在大多数通道中的特征出现无法正常识别出患病位置的纹理轮廓时，确定该层之后的网络层对ct图像低层次特征的提取敏感度低，通过该方法，最终确定迁移的网络深度，这为网络超参数的调整提供依据。
[0121]
在实际训练过程中，如果某一类超过另外两类之和，则在每次迭代中以1:1:1的比例对三种亚型的数据进行采样，以保证训练的合理性。
[0122]
在具体实施中由于腺癌adc超过了肺鳞癌scc小细胞肺癌和小细胞癌的数量之和，我们在每次迭代中以1:1:1的比例对三种亚型的数据进行采样。当scc或小细胞癌中没有残留数据时，我们从之前的数据集中随机选择等量的数据进行训练，以减少数据集不平衡的影响。
[0123]
本发明根据医学图像与自然图像在纹理、边缘等低层次特征具有的共通性，使用在样本数据集上预训练的网络进行低层次特征迁移学习，缓解带标签ct样本的不足。
[0124]
损失函数及评价指标：
[0125]
本文所构建模型使用交叉熵作为损失函数，其计算公式为：
[0126][0127]
其中m为分类任务的类别数；
[0128]
y为中间指示变量；
[0129]
如果当前分类样本的结果与y的类别相同，则给y
ji
赋值为1；若不相同则赋为0，这样可以计算整体的损失函数。q
ji
为当前样本预测j为类别i的概率。
[0130]
实验的评价指标为准确率(accuracy)，即正确预测的样本个数所占的比例，计算公式为
[0131][0132]
测试/验证步骤：
[0133]
经过训练和验证，所有的测试数据集将被送入3d-lungnet和全连接网络进行测试。我们使用准确度(acc)来衡量和评估两种分类模型的性能。根据每个模型的测试数据集计算受试者操作特征曲线分析(roc)以及相应的曲线下面积(auc)。此外，采用“加权平均数f1”来减少不平衡数据。“加权平均数f1”是f1的变形，公式如下：
[0134][0135][0136]
使用图像标签及分类结果，如图3所示，像标签即根据医生的诊断结果，对不同类型(正常或多种病变类别ct图像)分别存放在不同两个文件夹，通过python即可自动为图像打上对应标签，比对得到分类准确率,分类精度,敏感度,特异性。
[0137]
最终结果3d-lungnet的准确度为0.716，roc曲线下面积(auc)达到0.840。
[0138]
综上，本发明首先对ct原始图像数据进行数据增强、图像处理等一系列预处理，充分利用医学图像与自然图像之间的内在联系进行特征迁移，提高了网络层的特征提取效率和图像分类准确率，并减少了训练过程中的冗余计算量。最后用改进的网络进行调整和分类，得到了拟合较好的ct图像分类模型。本发明能够在有限的训练样本情况下提高ct图像的分类准确率及分类精确率，有效改善了ct图像的诊断效果。
[0139]
在以往的肺癌计算机辅助亚型分类研究中，大多侧重于非小肺癌的分类、良恶性鉴别以及肺结节的分类和分类。我们在保证分类多样性的同时，使用75％的数据集来训练模型，15％作为独立的验证集，保留另外15％的全部数据来测试模型的性能。因此，验证集和测试集中的数据不参与训练过程，使分类模型的能力更加可行和可靠。总之，结果表明，无创分类方法可以为临床工作流程中指导三种肺癌的个体化和精准化治疗提供广阔的前景。
[0140]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。