基于肺部CT序列的肺结节自动检测方法及系统与流程

本发明属于医疗图像分割领域，涉及一种基于肺部ct序列的肺结节自动检测方法及系统。

背景技术：

肺癌是一种致死率高且发病频率高的疾病。肺癌的生存率与首次确诊时的疾病阶段高度相关。由于早期肺癌多无明显症状，导致肺癌临床确诊时往往已达中晚期，不仅治疗费用高，而且治疗效果不理想。因此，对肺癌的早期检测和早期诊断是非常必要的。肺癌早期多表现为结节，因此肺结节的检测与诊断对肺癌的早期发现具有十分重要的意义。ct具有很高的组织分辨率，是肺结节的检测和诊断的理想工具。随着ct分辨率的不断提高，肺结节以及肺癌的检测与诊断率不断提高。然而，由于ct图像数量巨大，通常一个病人的肺部ct序列达到几百张，而且肺部组织结构复杂，结节形状大小各异，医生通过查看ct图像进行肺结节诊断工作强度巨大，而且长时间的阅片很容易导致医生疲劳，进而造成漏诊和误诊。

为了降低放射科医师的工作强度，辅助放射科医生进行评价和诊断，降低肺结节漏诊、误诊，提高肺结节的检出率以及检出的精确性，利用ct图像进行肺结节的自动检测是必要的。

当前，利用ct图像进行肺结节自动检测已经进行了大量的研究工作。肺结节检测通常包括两部分内容，即候选结节的提取和去假阳。传统的肺结节检测，候选结节提取主要有基于阈值的方法、基于形态学的方法、基于模板匹配的方法等。在提取完候选结节后，去假阳时，大部分传统方法都是根据当前候选结节，人工提取出当前结节的特征，最后根据特征值训练分类器，利用训练好的分类器对候选结节进行去假阳。常用的分类器有马尔可夫随机场、贝叶斯分类器、支持向量机(svm)等。由于人体肺部结构复杂，且结节形态各异，导致传统方法在候选结节提取时的检出率、以及去假阳时的准确性效果并不理想。

近年来，深度学习技术取得了巨大进步，尤其在图像处理领域，其效果远超其它相关技术。目前大量深度学习算法已经应用于医学图像处理领域。在基于ct图像的肺结节检测方面，也有相关研究采用了深度学习技术。

setio等人于2016年提出了“pulmonarynoduledetectioninctimages:falsepositivereductionusingmulti-viewconvolutionalnetworks”，该方法提出了一种多视角的二维卷积神经网络，分别从候选结节体数据的不同方向选取patch，因此更多的利用了数据的空间信息，取得了不错的检测效果。qi等人于2016年提出了“multi-levelcontextual3dcnnsforfalsepositivereductioninpulmonarynoduledetection”，该方法采用了三个三维卷积神经网络联合进行去假阳。与二维卷积神经网络相比，三维的卷积神经网络能捕捉更多的空间信息，而且训练的三个三维卷积网络有利于判定不同尺度的结节，此方法较好的降低了假阳性肺结节的检出率。以上两种方法在去假阳性结节方面都取得了不错的效果，但是都是采用传统方法来选取候选结节，而利用深度学习的方法来选取候选结节会有更好的效果。

olafronneberger等人于2015年提出了“u-net:convolutionalnetworksforbiomedicalimagesegmentation”，该方法实现了一种全卷积神经网络，应用于多种医学图像分割任务上，如细胞分割等，均取得了不错效果。相似的，有人将其应用于候选肺结节推荐来代替传统方法。但是此方法是一种二维卷积网络，不能很好的利用ct数据丰富的三维空间信息。

olafronneberger等人于2016年，在u-net的基础上，提出了“3d-unet:learningdensevolumetricsegmentationfromsparseannotation”，该方法与之前的u-net相似，但是该方法实现了三维全卷积网络，并且采用了带权重的损失函数来保证只学习标记的特征。由于该方法采用了三维的全卷积网络，很好的利用了空间信息，但是，该方法构造的三维全卷积网络结构比较简单，简单的网络结构限制了其更好的学习复杂空间信息的能力。

在医疗图像分割领域，u-net在很多2d图像分割任务上都取得了很好的效果。u-net是全卷积网络的一种更极致的实现。全卷积网络是把经典的分类卷积网络全连接层修改为卷积层，并且去掉了最后的分类层，然后采用反卷积，将已经压缩了的图像尺寸恢复为输入时的图像大小。在进行反卷积时，同时联合低层相应尺寸的输出信息，这样，网络能较好的保留低层的像素位置信息，同时又能得到高层图像的语义信息，综合两者，能很好的进行像素级别的类别的预测，即可以用来进行图像的语义分割。全卷积网络的网络结构如图1所示。

全卷积网络中，尝试了三种情况恢复输入图像的尺寸：1)直接对压缩的图像进行32倍上采样2)先进行2倍上采样，然后与低层信息融合，然后进行16倍上采样3)先进行2倍上采样，与低层信息融合后，再进行2倍上采样，再与低层信息融合，然后进行8倍上采样。如图1中三条上采样虚线所示。论文中结果显示进行了两次信息融合后，对图像分割的效果更准确。由此可以推断，进行信息融合越多，结果可能越准确。在u-net网络中，每进行一次上采样时，都与对应的下采样过程中对应的卷积层进行融合，直到输出图像的分割结果，u-net的网络结构如图2所示。可见u-net只是一个更极致的全卷积网络，下采样过程结束后，每进行一个2x2的上采样，都与下采样中对应层进行融合，直到最终输出语义分割后的图像。可见，u-net这样实现的全卷积网络更多的结合了低层的信息，这样对像素具体位置的分类会更加准确。u-net网络的网络结构如图2所示。

由于u-net对图像分割有很好的效果，有研究开始用u-net进行选取候选结节。但是u-net是二维的卷积网络，并不能很好的利用ct数据丰富的三维空间信息。残差网络是kaiminghe等人于2015年在”deepresiduallearningforimagerecognition”中提出的。残差网络为每一个模块增加了一个shortcut，shortcut将模块的输入与输出连接到了一起，由于shortcut的引入，梯度信号更容易回到更早的层，所以它能起到很好的训练优化的效果。

当前应用深度学习技术进行肺部ct序列的肺结节自动检测，一种技术方案是采用传统方法获得候选结节，并通过深度学习方法进行假阳的筛选。这种方案在获得候选结节时，并没有采用深度学习技术，获取候选结节时的检出率相比深度学习技术更低，而且候选结节的范围也过大，造成去假阳难度更大。另一种技术方案，利用u-net网络来获取候选结节，并且利用卷积网络进行假阳检测。因为u-net是2d的卷积网络，并没有很好的利用ct序列的空间信息，这导致其在获取候选结节时检出率并不理想。并且，如果只是简单将u-net的2d卷积网络扩展为3d卷积网络，虽然更好的利用了空间信息，但是在图像空间复杂度高的情况下，简单的3d卷积网络获取候选结节时，由于难以学习到空间中的复杂信息，获取候选结节的检出率依然不理想。

技术实现要素：

为了能够解决提高网络拟合能力和候选结节检出率的问题，本发明提出一种基于肺部ct序列的肺结节自动检测方法，使用一种带有残差结构和特征映射结构的3d全卷积网络获来取候选结节，并采用多模型融合的3d卷积网络进行去假阳。

一种基于肺部ct序列的肺结节自动检测方法，包括：

s1.数据预处理；

s2.使用全卷积网络筛选候选结节；

s3.使用图像处理方法将概率图变化为结节中心点坐标以及半径；

s4.使用多模型融合的3d卷积网络检测，得到最终判定的结节坐标以及对应半径集合。

进一步的，对全卷积网络检测得到的概率图进行二值化，并利用膨胀操作形成闭合区域，闭合区域的坐标以及半径即待选结节坐标及半径。

进一步的，所述步骤s4中的检测步骤为：对于返回的中心点的坐标，针对ct原始数据进行切块，通过图像变换，分别变换出不同规模间隔的三个数据块，将三个数据块分别送给三个模型进行检测，只要有一个模型结果预测为真，则当前待选结节为真结节。

进一步的，步骤s2中对于全卷积网络训练的步骤包括：ct数据预处理、网络训练。

进一步的，ct数据预处理步骤如下：ct数据像素间隔的统一、肺实质切割、数据切块、数据增强四方面：

ct数据像素间隔的统一：利用线性插值、将不同ct图像的像素间隔进行统一；

肺实质切割：单独将肺切割出来作为检测的目标；

数据切块：将肺部ct数据进行切割；

数据增强：切数据块时，使标注结节随机出现在体数据块的任意位置，通过旋转切块时的角度，使结节在体数据内的相对角度也进行变化。

进一步的，全卷积网络的结构包括收缩阶段与扩张阶段，其中收缩阶段中，每个卷积块包括两个相同的卷积层，每层使用relu做为激活函数，两个卷积层后跟着窗口大小为2x2的最大池化层，每经过一个卷积块，图像的边长缩小1/2，图像的原始输入大小为64x64x64，经过了四个卷积块后，图像的尺寸变为8x8x8，结构最底部的通道为512的卷积块只包含两个卷积层，不包含池化层，在扩张阶段，每个卷积块先包含一个窗口为2x2的上采样，然后是两个相同的卷积层，最后将收缩阶段对应的卷积层输出经过特征映射后，与当前扩张阶段的卷积层进行连接，经过扩张阶段的4个卷积块后，图像已经由压缩后的8x8x8大小，恢复为64x64x64的大小，每个卷积块都包含了从块开始指向块结束的shortcut连接；其训练方法是：全卷积网络的训练过程是将训练数据经过预处理后，直接送给所述全卷积网络的结构模型进行训练，当模型在验证集上的精度超过30个epoch并不再提高时，训练停止，得到的最优模型用来进行候选结节提取。

进一步的，步骤s4中对于多模型融合的3d卷积网络训练的步骤如下：3d卷积网络训练数据集准备、多模型融合的3d卷积网络的训练

进一步的，利用训练好的全卷积网络对已有ct数据集进行预测，得到ct序列中的候选结节坐标，以候选结节坐标为中心点，切割大小为32x32x32mm的数据块，此数据块即为训练3d卷积网络的数据，同时，将候选结节坐标偏离中心点1至3个像素来取数据块进行数据增强。

进一步的，多模型融合的3d卷积网络的训练：多模型融合的3d卷积网络结构：整个模型包含四个卷积块与一个全连接层，第一个卷积块卷积核数量为64,窗口为3x3x3，之后的每个卷积块卷积核数递增，分别为128、256和512，窗口不变，都是3x3x3，每个卷积块包含两个卷积层与一个最大池化层，第一个卷积块的最大池化层窗口大小为1x2x2，剩余的卷积块中池化层窗口大小为2x2x2，此处第一个池化层窗口z轴尺寸为1；训练模型时，根据肺ct序列规则化时，z轴间距的目标规则化值的不同分别训练模型，z轴间距取值分别为0.5、1、2.5、x、y轴的间距都固定为1，用三种间距的数据体训练模型，三种间距分别为0.5x1x1mm、1x1x1mm和2.5x1x1mm，根据这三种情况分别训练三个模型，每个模型输入数据块的大小为32x32x32，将模型应用于去假阳时，将待检测数据块z轴间距分别调整为0.5、1、2.5,然后三种情况分别检测，当有一个结果是阳性时，将其判定为阳性。

一种基于肺部ct序列的肺结节自动检测系统，存储有多条指令，所述指令适于处理器加载并执行：

s1.数据预处理；

s2.使用全卷积网络筛选候选结节；

s3.使用图像处理方法将概率图变化为结节中心点坐标以及半径；

s4.使用多模型融合的3d卷积网络检测，得到最终判定的结节坐标以及对应半径集合。

有益效果：本方法提出的3d全卷积网络，更好的利用了肺部ct的空间信息，而且，残差结构与特征映射结构的引入，增强了3d全卷积网络的拟合能力，在获取候选结节时有很高的检出率，同时，获取到的候选结节规模也相对较小，降低了去假阳阶段的难度。此外，本方法采用的多模型融合的3d卷积网络进行去假阳，达到了很好的效果。

附图说明

图1是现有全卷积网络的网络结构图；

图2是现有u-net网络的网络结构图；

图3是本发明全卷积网络结构图；

图4是3d卷积网络结构图。

具体实施方式

一种基于肺部ct序列的肺结节自动检测方法，该检测方法具有候选结节获取、去假阳两个阶段，分别需要训练全卷积网络和多模型融合3d卷积网络，并用训练后的模型进行检测。

即该检测方法包括：

s1.数据预处理；

s2.使用全卷积网络筛选候选结节；

s3.使用图像处理方法将概率图变化为结节中心点坐标以及半径；

s4.使用多模型融合的3d卷积网络检测，得到最终判定的结节坐标以及对应半径集合。

其中：步骤s2涉及使用全卷积网络筛选候选结节，而该步骤中使用的全卷积网络，需要对其训练以实现检测，全卷积网络训练包括ct数据预处理、全卷积网络训练两个步骤：

其中：

s2.1.ct数据预处理：在ct数据送入全卷积网络进行训练时，需要进行适当的预处理，基于预处理后的数据进行预测和训练，可以使模型更容易学到识别目标的本质特征，识别的准确率会更高；可以使学习到的模型泛化能力更强；可以使模型训练与检测过程速度更快。预处理主要包括ct数据像素间隔的统一、肺实质切割、数据切块、数据增强四方面。

ct数据像素间隔的统一：由于采集设备、采集过程的不同，ct图像像素间隔有很大不同，需要利用线性插值、将不同ct图像的像素间隔进行统一，例如可以将间隔统一为1x1x1mm。

肺实质切割：待检测的目标肺结节在肺的内部，对肺外部的区域进行检测不但浪费计算资源，而且人体胸腔内结构复杂，如果把所有数据直接输入神经网络进行预测会要求神经网络有更强的描述能力，因此单独将肺切割出来作为检测的目标是必要的。

数据切块：通常一个人的肺部ct序列从几十张到几百张不等，每张图像的大小通常为512x512大小。将这么大的数据送入神经网络进行预测，对计算设备的缓存要求很大，通常的计算设备很难满足这样的要求。此外，由于很多结节的大小都在5x5x5甚至更小，在一个巨大的体数据中检测这么小的目标难度更大。所以需要将肺部ct数据进行切割，如切割为64x64x64的大小，这样既能降低对计算设备缓存的要求，而且能够提升肺结节的检出率。

数据增强：对数据进行切块，训练全卷积网络。切数据块时，使标注结节随机出现在体数据块的任意位置。而且，通过旋转切块时的角度，使结节在体数据内的相对角度也进行变化。通过这样的数据增强的方式，使切块后的训练数据规模增大。

s2.2.全卷积网络训练：本发明提出的全卷积网络结构如图3所示。同u-net类似，也包括收缩阶段与扩张阶段。其中收缩阶段中，每个卷积块包括两个相同的卷积层，每层使用relu做为激活函数，两个卷积层后跟着窗口大小为2x2的最大池化层。每经过一个卷积块，图像的边长缩小1/2。图像的原始输入大小为64x64x64，经过了四个卷积块后，图像的尺寸变为8x8x8。结构最底部的通道为512的卷积块只包含两个卷积层，不包含池化层。在扩张阶段，每个卷积块先包含一个窗口为2x2的上采样，然后是两个相同的卷积层，最后将收缩阶段对应的卷积层输出经过特征映射后，与当前扩张阶段的卷积层进行连接。经过了扩张阶段的4个卷积块后，图像已经由压缩后的8x8x8大小，恢复为64x64x64的大小。此外，每个卷积块都包含了从块开始指向块结束的shortcut连接，即残差结构。

全卷积网络的训练过程是将训练数据经过预处理后，直接送给模型进行训练，当模型在验证集上的精度超过30个epoch不再提高时，训练停止。此时得到的最优模型用来进行候选结节提取。

其中步骤s4述及使用多模型融合的3d卷积网络检测，而该步骤中使用的多模型融合的3d卷积网络，需要对其训练以实现检测，多模型融合的3d卷积网络训练包括训练数据集准备、3d卷积网络训练两个步骤。

s4.1.3d卷积网络训练数据集准备：利用训练好的全卷积网络对已有ct数据集进行预测，得到ct序列中的候选结节坐标，以候选结节坐标为中心点，切割大小为32x32x32mm的数据块，此数据块即为训练3d卷积网络的数据。同时，可以将候选结节坐标偏离中心点1至3个像素来取数据块进行数据增强。

s4.2.多模型融合的3d卷积网络的训练：多模型融合的3d卷积网络结构如图4所示。采用的是用同一个网络结构，从多视角训练多个模型的策略。整个模型包含四个卷积块与一个全连接层。第一个卷积块卷积核数量为64,窗口为3x3x3，之后的每个卷积块卷积核数递增，分别为128、256和512，窗口不变，都是3x3x3。每个卷积块包含两个卷积层与一个最大池化层，第一个卷积块的最大池化层窗口大小为1x2x2，剩余的卷积块中池化层窗口大小为2x2x2，此处第一个池化层窗口z轴尺寸为1，减缓了z轴信息损失的速度，有利于更好的利用空间信息，进而提升分类的准确性。

训练模型时，根据肺ct序列规则化时，z轴间距的目标规则化值的不同分别训练模型，z轴间距取值分别为0.5、1、2.5。x、y轴的间距都固定为1。即用三种间距的数据体训练模型，三种间距分别为0.5x1x1mm、1x1x1mm和2.5x1x1mm。

根据这三种情况分别训练三个模型。每个模型输入数据块的大小为32x32x32。将模型应用于去假阳时，将待检测数据块z轴间距分别调整为0.5、1、2.5,然后三种情况分别检测，当有一个结果是阳性时，将其判定为阳性。

检测阶段步骤如下：

1)数据预处理

接收到肺部ct数据后，需要进行预处理，处理方式与训练阶段相似，即依次进行肺ct数据像素间隔统一、肺实质分割、数据切块。将切好的数据块送给训练好的全卷积网络模型进行候选结节选取。

2)利用全卷积网络进行候选结节筛选

将预处理后的数据块送入全卷积网络进行检测，此时得到的是针对数据块内像素进行分类的概率图。

3)利用图像处理方法将概率图变化为结节中心点坐标以及半径

对全卷积网络检测得到的概率图进行二值化，并利用膨胀操作形成闭合区域，闭合区域的坐标以及半径即待选结节坐标及半径。

4)利用训练好的多模型融合的3d卷积网络检测

利用步骤3)中返回的中心点的坐标，针对ct原始数据进行切块，通过图像变换，分别变换出规模为0.5x1x1mm、1x1x1mm、2.5x1x1mm三种间隔的数据块，将三个数据块分别送给三个模型进行检测，只要有一个模型结果预测为真，则当前待选结节为真结节。

5)获取步骤4的输出结果，得到最终判定的结节坐标以及对应半径集合，检测结束。

本发明用带有残差结构和特征映射结构的3d全卷积网络获取候选结节，残差结构可以使神经网络更易训练、更易学习到更好的解；特征映射结构可以压缩特征空间的维数，使得神经网络模型更节省缓存资源，同时，特征映射结构更近一步的抽象图像的特征，使得网络学习的图像特征更准确。因此，使用此网络模型获取候选结节有更高的检出率，并且候选结节池的规模也相对较小，降低了去假阳的难度。而针对去假阳，本发明采用基于多视角的多模型融合方法。分别根据ct图像的z轴间距为0.5mm、1mm、2.5mm训练三个模型，由于ct序列的z轴间距变化大，按z轴间距分别训练模型可以尽量避免图像缩小，进而避免缩小图像带来的信息损失。因此，此多模型融合的方法去假阳达到了很好的效果。

针对肺部ct序列进行肺结节自动检测，通常由候选结节获取和去假阳两步来完成。然而，由于肺部结构复杂，且肺结节形态、大小各异，这给候选结节的提取和去假阳都带来了很大难度。本发明用带有残差结构和特征映射结构的3d全卷积网络获取候选结节，并采用基于多视角的多模型融合方法去假阳。本发明提出的基于3维深度神经网络的多模型ct肺结节检测方法具有很高的检出率和准确率。

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。