一种基于深度卷积神经网络的CT肺结节检测方法与流程

本发明涉及一种针对ct图像的肺结节检测方法，尤其涉及一种基于深度卷积神经网络的ct肺结节检测方法。

背景技术：

肺癌是全球癌症相关死亡的主要原因，利用ct扫描对高风险人群进行检查是一种有效的发现早期肺癌的手段，而这样的人群数量庞大，影像科医师的工作量急剧增大，因此计算机辅助诊断就扮演了非常重要的角色。

当前，在ct图像里利用计算机辅助检测肺结节领域，基于传统的统计机器学习方法已经进行了大量研究工作，并取得了一定成果。检测步骤通常分为两步，第一步是推荐候选结节，检测出肺部ct图像中可能存在结节的区域，第二步是筛除假阳性结节，对第一步中检测得到的区域进行识别，判断其中的怀疑目标是否为结节，尽量减少假阳性结节，另外还可以判断结节是否发生癌变等。然而，基于传统统计机器学习的方法，在图像中提取预先定义的纹理形态特征，如面积、有效直径、梯度等，这些特征不足以来准确地表示结节的，导致检测出的假阳性肺结节数量仍然很多。

近年来，深度学习吸引了大量的研究兴趣，在众多领域取得了传统方法无法企及的成果。同样地，在医学图像分析领域中深度学习也被证明是最为有效的手段，目前主流的计算机辅助检测系统均是使用了深度学习的方法。olafronneberger等人于2015年提出了“u-net:convolutionalnetworksforbiomedicalimagesegmentation”，该方法提出了一种基于卷积神经网络的医学图像分割方法，该方法应用在了多种医学图像分割任务上，如血管分割、细胞分割，均取得了不错效果。在肺结节检测方法方面，setio等人于2016年提出了“pulmonarynoduledetectioninctimages:falsepositivereductionusingmulti-viewconvolutionalnetworks”，该方法将传统的方法与深度学习方法相结合，在推荐候选结节仍采用传统的方法，在筛除假阳性结节时设计了一种多视角的二维卷积神经网络，取得了不错的检测效果。qi等人于2016年提出了“multi-levelcontextual3dcnnsforfalsepositivereductioninpulmonarynoduledetection”，该方法提出了一种三维卷积神经网络来筛除假阳性结节，降低假阳性肺结节检出率。与二维卷积神经网络相比，三维的卷积神经神经网络能捕捉更多的空间信息，能提取更丰富的图像特征，一定程度上降低了假阳性肺结节的检出率。然而，该方法设计网络结构较浅，只有三层卷积层，需要训练多个尺度的网络模型进行融合。且该方法仍采用传统方法来推荐候选结节，未能充分利用深度学习的优势。本发明为进一步提高计算机辅助检测ct肺结节方法的准确性和鲁棒性，提出了一种基于深度卷积神经网络的方法来在ct图像中检测肺结节。

技术实现要素：

本发明所关注的技术问题为：如何利用计算机在ct图像中自动、高效、准确地检测肺结节。

为解决上述技术问题，本发明提供了一种利用深度卷积神经网络来检测ct中肺结节的方法，它在推荐候选结节和筛除假阳性结节时均采用了深度学习的方法，充分发挥了深度学习方法的优势，并能在保证假阳性结节检出率更低的同时，保证对结节有较高的查全率。它具体包括以下步骤：

(1)对ct图像预处理，使全部ct图像像素间隔统一，图像对比度统一；

(2)训练二维卷积神经网络u-net，预测肺结节分割图像，基于肺结节分割图像推荐候选结节；

(3)训练三维深度残差神经网络resnet3d，预测肺结节的真假阳性概率，筛除假阳性结节。

其中，步骤(1)对ct图像预处理

不同仪器不同环境采集得到的ct图像在像素间隔(即相邻两像素点间的实际距离)，图像对比度方面有很大的不同。本步骤通过三维线性插值、数值归一化的手段预处理ct图像，来得到各方面一致的ct体数据。这使得后续检测的步骤中ct图像的空间信息和强度信息保持一致，并保证了后续机器学习步骤能提取到有用的特征，获得更好的效果；

其具体方法为：

1)统一像素间隔

首先统计全部ct图像的像素间隔信息，结节的直径信息，制定统一的像素间隔，然后通过三维线性插值的方式来对原始ct图像进行缩放操作，使得所有ct图像的像素间隔统一；

2)统一ct图像对比度

计算第i幅ct图像的均值为meani，标准差为stdi；通过对ct图像中每个像素的像素值ixyz按如下式(1)进行归一化，从而统一ct图像的对比度；

ixyz＝(ixyz-meani)/stdi(1)。

步骤(2)中具体为：先生成推荐候选结节步骤训练样本的标准分割图像作为标签，对二维卷积神经网络u-net进行训练，获得二维卷积神经网络u-net的网络模型。再根据二维卷积神经网络u-net的网络模型对测试样本进行预测获得肺结节分割图像，对肺结节分割图像进行二值化处理，区分像素是背景还是结节，对二值化分割图像采用形态学腐蚀操作降低噪声，并计算结节像素的三维连通区域的重心坐标，即为推荐的候选肺结节的中心，合并三维空间欧氏距离小于3cm的肺结节中心，避免同一肺结节的重复检测。

步骤(3)具体采用如下方法：

1)数据准备与预处理

对筛除假阳性结节步骤的训练样本先采用步骤(2)的方法获得推荐候选结节后，根据推荐的结节中心将上述训练样本和所有测试样本均复制出ct图像的三维图像块，对训练样本根据专业医师在这些训练样本原始图像中标注的肺结节位置，对每一个三维图像块进行标注，区分真阳性结节及假阳性肺结节；对真阳性结节样本进行扩展；

2)网络结构构建

构建三维深度残差神经网络结构resnet3d，该结构中采用三维卷积层、三维残差块、三维池化层；

3)网络模型训练

基于所构建的三维深度残差神经网络结构resnet3d来训练真假阳性结节的分类器，得到三维深度残差神经网络resnet3d的网络模型；

4)肺部结节预测

使用训练得到的网络模型预测测试样本的真假阳性结节概率，根据预先设定的概率阈值区分真假阳性结节，记录真阳性结节的位置坐标，从而得到每个ct图像中肺结节检测结果。

上述步骤(3)的具体方案中，进一步的，步骤1)中对真阳性结节样本进行扩展可以采用随机对原样本的三维图像块作若干次的平移、缩放和水平旋转操作，得到若干个新的三维图像块，即新的真阳性结节图像块扩充训练数据。

进一步的，步骤2)中所述的三维池化层中可以采用p&c(pooling+cropping)池化层，所述的p&c池化层是指同时对上一层的输出进行池化(pooling)与裁切(cropping)操作，并将池化与裁切操作的结果在通道维上连接起来，作为下一层的输入；所述的池化操作是指将输入降采样为原来1/8大小的最大池化，所述的裁切操作是在输入的特征图中截取出正中间的1/8部分。

进一步的，步骤3)中网络模型训练可以基于随机梯度下降算法，并可先采用随机梯度下降算法进行预训练，再采用在线动态选择困难样本训练的优化策略，即每次迭代有n个样本，迭代前首先用当前网络测试n个样本的损失，将其排序，取出损失最大的k个样本，将这k个样本损失函数向后传播更新网络的权值。

进一步的，步骤4)中在样本预测中可以对测试样本作若干次平移、缩放和水平旋转的扩展操作，对每次扩展得到的样本均进行预测，将所有扩展样本的预测结果的算术平均值作为最终样本的预测结果。本发明具有以下有益效果：

(1)提供了一套利用深度卷积神经网络来检测ct中肺结节的方法，能使计算机更高效准确地辅助在ct图像中检测肺结节；

(2)提供了一种p&c(pooling+cropping)的新型池化层结构，其中pooling操作获取特征图中的全局信息，而cropping操作获取特征图中的中央结节信息。生成的不同尺度的特征图能有助于捕捉多尺度肺结节的特征，得到更准确的检测效果。同时该结构使得不同尺度的结节之间共享了之前的所有卷积计算，相比背景技术中提到的qi等人提出的方法，分开处理多尺度数据，训练多个模型，具有更高的效率。

(3)提供了一种在线动态选择困难样本训练的优化策略，动态排除了大部分较易区分的样本，大大加快了网络训练的效率。同时，使得较难分类的样本得到了充分的训练，提升了模型的预测能力。

(4)从方法性质上讲，由于本发明完全采用了深度学习的方法，所涉及的深度学习网络结构能从大量的ct图像中自动学习图像特征，对医疗大数据有更强的适应能力，可以得到更准确的检测效果。

附图说明

图1是本发明所提供方法的流程图；

图2是本发明推荐候选结节中深度二维卷积神经网络u-net的网络结构示意图；

图3是本发明筛除假阳性结节中深度三维卷积神经网络resnet3d的网络结构示意图；

图4是本发明实施实例的肺结节检测结果(froc曲线)示意图；

图5是setio等人方法公开的肺结节检测结果(froc曲线)示意图；

图6是qi等人方法公开的肺结节检测结果(froc曲线)示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围：

本发明具体实验中所用的数据来自于lidc/idri数据库，包含888个患者的ct图像，共包含1086个结节。该数据是4位有经验的胸部放射科医师在对该患者的ct图像进行两次图像标注而得的，第一次是盲标，第二次是参考其他医师修正结果。但是，这888个ct图像是由不同仪器采集得到的，ct图像的像素间隔不同，且变化范围较大，z轴维度的像素间隔范围为0.45-2.50mm，x、y轴维度的像素间隔范围为0.46-0.97mm。同时，这些ct图像的hu范围及对比度也不同。

如图1所示为本发明所提供的基于深度卷积神经网络的ct肺结节检测方法的处理流程图。包括如下步骤：

1.ct图像预处理

本步骤通过预处理不同仪器不同环境采集得到的ct图像，来得到各方面一致的ct体数据，使得后续检测的步骤中的机器学习方法能获得更好的效果，具体包括如下子步骤：

1.1、统一像素间隔

首先统计全部ct图像的像素间隔信息，结节的直径信息，制定统一的像素间隔，使其与原图像不至相差过远，同时保证在任何维度上结节均有合适的像素长度范围。然后通过三维线性插值的方式来对原始ct图像进行缩放操作，来使得所有ct图像的像素间隔统一。这样可以避免结节的空间信息不一致，在网络的正向传播过程当中，避免结节的特征信息产生模糊，影响后续步骤的准确性。本发明具体实验中所采用的像素间隔：x、y维度为0.75mm，z维度为1.25mm。

1.2、统一ct图像对比度

计算第i幅ct图像的均值为meani，标准差为stdi。通过对ct图像中每个像素的像素值ixyz按如下式(1)进行归一化，从而统一ct图像的对比度。这样可以避免结节的信号强度不一致，影响到结节的特征信息的提取。

ixyz＝(ixyz-meani)/stdi(1)

2.推荐候选结节

本步骤基于如图2中所示的u-net二维卷积神经网络，训练u-net二维卷积神经网络，预测肺结节分割图像，基于肺结节分割图像推荐候选结节；具体包括如下子步骤：

2.1、生成训练样本的标准分割图像

对于推荐候选结节步骤训练样本，将其按z轴划分为横断面二维图像，第z层每个像素的像素值ixy，z按公式(2)计算，其中pxyz该像素坐标，为该ct图像中标注的第n个结节的像素坐标，rn为该结节半径。

2.2、训练u-net网络

采用01afronneberger等人提出的二维卷积神经网络网络结构u-net，该网络结构如图2所示，在本发明具体实验中在每层卷积层后加入了dropout层来减轻过拟合。并直接采用随机梯度下降的优化策略、交叉验证的训练方式来训练获得其网络模型，并预测ct体数据中的每层肺结节分割图像。

2.3、提取候选结节中心

首先，根据二维卷积神经网络u-net的网络模型对测试样本进行预测获得肺结节分割图像，对肺结节分割图像进行二值化处理，0表示该像素是背景，1表示该像素属于结节。接着，对二值化分割图像采用形态学腐蚀的操作降低噪声，并计算每个像素值为1的三维连通区域的重心坐标，即为推荐的候选肺结节的中心。最后，合并三维空间距离太近(通常可以设定三维空间欧氏距离小于3cm)的肺结节中心，避免同一肺结节的重复检测。

3.筛除假阳性结节

推荐的候选结节中的假阳性结节较多，本步骤采用三维深度残差神经网络resnet3d的方式来获取肺结节的特征，进而筛除假阳性结节。具体包括如下子步骤：

3.1、数据准备与预处理

对筛除假阳性结节步骤的训练样本采用步骤2中推荐的结节中心，根据推荐的结节中心将上述训练样本和所有测试样本均复制出ct图像的三维图像块(图像patch)，本发明具体实验中采用的图像块大小为44x44x28像素。对训练样本而言，根据专业医师在原始图像中标注的肺结节位置，来对每一个三维图像块进行标注，1表示真阳性结节，0表示假阳性肺结节。为了使得训练数据中正负样本均衡，且为了能获得更好的分类效果，扩展真阳性结节样本数据，即随机对原样本的三维图像块作若干次微小的平移、缩放和水平旋转操作，得到若干个新的三维图像块，即新的真阳性结节图像块扩充训练数据。

3.2、网络结构构建

构建如图3所示的三维深度残差神经网络结构resnet3d来筛选假阳性结节，该结构中采用了三维的卷积层，相比普通二维的卷积能获取更加丰富的空间信息，网络可以提取出更加具有代表性的特征。该结构借鉴了现有的二维残差网络的思想，设计了三维残差块，深度残差网络相比通常的卷积神经网络往往具有更好的数据表达能力。该结构中设计了独特的p&c(pooling+cropping)池化层以融合多尺度的信息，即同时对上一层的输出进行池化(pooling)与裁切(cropping)操作，把池化操作的结果和裁切操作的结果在通道维上连接起来，作为下一层的输入。池化操作是将输入降采样为原来1/8大小的最大池化，裁切操作是在输入的特征图中截取出正中间的1/8部分。由于三维卷积神经网络对计算资源要求较高，综合考虑实验数据与计算资源中，本实例中设置两层池化层之间的三维残差块个数n＝3，采用了27层三维深度残差神经网络。

3.3、网络模型训练

基于3.2中所构建的三维深度残差神经网络结构resnet3d来训练真假阳性结节的分类器，得到三维深度残差神经网络resnet3d的网络模型。网络训练基于随机梯度下降算法，在随机梯度下降算法的基础上，采用取在线动态选择困难样本训练的优化策略，即每次迭代有n个样本，迭代前首先用当前网络测试n个样本的损失，将其排序，取出损失最大的k个样本，将这k个样本损失函数向后传播更新网络的权值。

这种优化策略会一定程度上增加网络的训练难度，为保证网络收敛正常，可以进一步采用一种预训练技巧，即先直接采用随机梯度下降算法训练网络，此时网络的收敛速度是较快的，在一定迭代次数后，继续采用上述优化策略训练该网络，此时网络会更易训练，收敛能够得到保证。

3.4、肺部结节预测

使用3.3中训练得到的网络模型预测测试样本的真假阳性结节概率，根据预先设定的概率阈值区分真假阳性结节，记录真阳性结节的位置坐标，从而得到每个ct中肺结节检测结果。为了获得更为鲁棒的预测结果，进一步在样本预测中也采用了一个优化方法，即对测试样本作若干次微小的平移、缩放和水平旋转扩展操作，对每次扩展得到的样本均进行预测，最终该样本的预测结果为所有扩展样本的预测结果的算术平均值。这种方法可以有效地减小网络过拟合对结果的影响，与融合多个相同网络的模型的结果相仿，这两种方法均可以提升最终预测结果的准确性，然而扩展测试数据与多次测试所花费的时间远小于训练多个模型所花费的时间，因而多次测试的优化方法具有更高的可实践性。

本发明实施实例的froc(自由接受者操作特性曲线)曲线示意图如图4所示，可以看出，相对于setio等人采用多视角的二维卷积神经网络的方法与qi等人采用浅层三维卷积神经网络的方法来改进筛除假阳性结节步骤所获得的结果(如图5、图6，二者均是采用与本发明相同的数据集进行的，具体参见背景技术部分的相应文献)，采用本发明的方法显然能得到更准确的检测效果。