一种肺结节分类方法及其装置与流程

本发明涉及肺部ct影像分类筛选
技术领域：
，特别是一种肺结节分类方法及其装置。
背景技术：
：全球癌症统计数据显示，肺癌占每年1410万新癌症病例的约13％和癌症相关死亡病例的19.5％。患有晚期iv期肺癌的患者的5年生存率低于5％，但如果在原发肿瘤较小且在其扩散之前进行早期诊断，则生存率至少为60％。因此，早期肺癌分类提供了最佳的治愈机会。国家肺部筛查试验表明，通过早期疾病鉴定，用ct进行筛查可减少20％的肺癌死亡率。胸部ct上的“肺部斑点”被定义为肺结节，它可以是良性或恶性的。大多数肺癌产生于小的恶性结节。放射科医生通常逐层阅读恶性结节的胸部ct扫描，这种方法需要高度的技巧和注意力，并且耗时、昂贵并且易于使操作者产生偏见。尽管已经采用计算机辅助诊断系统(cad)来帮助放射科医师阅读胸部ct扫描，但胸部ct上良恶性结节的自动识别仍然存在问题，原因至少有两个：结节形状和纹理变化范围大，恶性结节和良性结节具有相似的视觉特征，造成肺结节描绘困难。现行的临床方法对于肺部结节的分类多是利用ct机来获得整个肺部的平面灰度断层影像即ct影像，再通过专业的医疗人员人工完成肺部结节的分类工作，筛选出肺部结节影像。这样的传统方法多存在工作量大、耗时长、易出错遗漏等问题，筛选的结果也多依赖于医疗人员个人的专业技术水平。技术实现要素：为解决上述问题，本发明实施例的目的在于提供一种肺结节分类方法及其装置，将正则化极限学习机(l1－l2－elm)结合到深度卷积神经网络中，大大提高肺结节良恶性判定的准确性。本发明解决其问题所采用的技术方案是：一种肺结节分类方法，包括以下步骤：图像预处理：输入基础ct肺结节图像，提取感兴趣区域，并进行归一化处理；构建深度卷积神经网络：第一层为第一卷积层，使用32个3x3的卷积核，对预处理后的基础肺结节ct图像以步长为2做卷积，输出特征图大小为32x32x32；第二层为第一池化层，对第一卷积层输入到第一池化层的数据以步长为2、非重叠的做2×2的最大池化操作，输出特征图大小为32x16x16；第三层为第二卷积层，使用64个3x3的卷积核，对第一池化层处理后的数据以步长为2做卷积，输出特征图大小为64x8x8；第四层为第二池化层，对第二卷积层输入到第二池化层的数据以步长为2、非重叠的做2×2的最大池化操作，输出特征图大小为64x4x4；第五层为第三卷积层，使用128个3x3的卷积核，对第二池化层处理后的数据以步长为2做卷积并进行全零填充，输出特征图大小为128x4x4；第六层为全连接层，每个神经元与第三卷积层输出的数据进行全连接，将特征映射转换为一维向量；第七层为正则化极限学习机，全连接层的输出作为正则化极限学习机的输入，分类得到输出值；训练深度卷积神经网络：输入图像预处理后的基础肺结节ct图像；在不调用正则化极限学习机的情况下对输入的预处理后的基础肺结节ct图像进行反复训练并验证结果精度，在训练过程中调整深度卷积神经网络第一层至第六层的参数；当结果精度到达预设精度值，在基础肺结节ct图像依次经过深度卷积神经网络的第一层至第六层后，调用正则化极限学习机对全连接层的输出进行训练；当结果精度到达目标精度值，得到已训练的深度卷积神经网络；判定结果：输入待分类的肺结节ct图像进行预处理，并进入已训练的深度卷积神经网络中得到输出值，比较输出值与判定阈值，若输出值大于预设的判定阈值，则判定为恶性肺结节，否则为良性肺结节。进一步，所述图像预处理具体步骤包括：提取基础ct肺结节图像的包含肺结节的感兴趣区域，并将基础ct肺结节图像归一化到相同尺寸。进一步，所述正则化极限学习机的模型表示为：其中，(xi，ti)为输入的n个任意不同的样本；g(x)为激活函数，βj表示第j个隐含节点权重矢量，wj表示第j个隐藏层节点和输入层之间的权重矢量，bj表示第j个隐藏层节点的阈值的偏差。在求解过程中加入l1范数和l2范数，其二乘解表示为：通过对公式进行求1偏导数并令结果为零，可以求解得到：其中h表示隐藏层输出矩阵，t表示样本标签矩阵；通过以上计算得到正则化极限学习机的参数。进一步，所述调用正则化极限学习机对全连接层的输出进行训练包括以下步骤：随机分配输入权重wj和隐藏层偏差bj到正则化极限学习机；计算隐藏层输出矩阵h；得到输出权重向量β；分类肺结节良恶性。一种肺结节分类装置，用于执行上述的肺结节分类方法，包括输入模块、预处理模块、网络构建模块、网络训练模块、结果判定模块和输出模块；所述输入模块用于输入基础肺结节ct图像和待分类的肺结节ct图像；所述预处理模块用于对基础肺结节ct图像和待分类的肺结节ct图像提取感兴趣区域以及进行归一化处理；所述网络构建模块用于构建深度卷积神经网络；所述网络训练模块用于训练构建好的深度卷积神经网络；所述结果判定模块用于比较深度卷积神经网络的输出值与判定阈值来判定肺结节的良恶性；所述输出模块用于输出肺结节的良恶性结果；所述深度卷积神经网络包括卷积模块、子采样模块和分类模块，所述分类模块为正则化极限学习机。进一步，所述卷积模块包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层和第三卷积层；子采样模块包括全连接层。本发明的有益效果是：将正则化极限学习机(l1－l2－elm)结合到深度卷积神经网络中形成cnn－l1－l2－elm的新网络模型，由深度卷积神经网络提供统一的特征提取－分类框架，免于麻烦的手工特征提取过程，同时正则化极限学习机提升了图像的分类能力；既能自动提取到肺结节具有表达能力的深层特征，又能对提取的特征进行准确、快速的分类，大大提高肺结节良恶性判定的准确性。附图说明下面结合附图和实例对本发明作进一步说明。图1是本发明的深度卷积神经网络的结构图；图2是本发明的一种肺结节分类方法的基础流程图；图3是本发明的一种肺结节分类装置的结构图；图4是本发明的训练深度卷积神经网络步骤的流程图。具体实施方式参照图1和图2，本发明实施例的一个方面提供了，一种肺结节分类方法，具体包括以下步骤：s100、图像预处理：输入基础ct肺结节图像，提取感兴趣区域，并进行归一化处理。由于肺结节ct图像在获取时，不可避免的会产生设备成像的误差和干扰，如图像灰度不均匀、个体差异明显等情况，所以要对图像进行归一化处理。由于裁剪前基础ct肺结节感兴趣区域图像大小不一，不能直接用于训练，需对图像进行归一化相同尺寸。s200、构建深度卷积神经网络：第一层为第一卷积层110，使用32个3x3的卷积核，对图像预处理后的基础肺结节ct图像以步长为2做卷积，输出特征图大小为32x32x32；第二层为第一池化层120，对第一卷积层输入到第一池化层的数据以步长为2、非重叠的做2×2的最大池化操作，输出特征图大小为32x16x16；第三层为第二卷积层130，使用64个3x3的卷积核，对第一池化层处理后的数据以步长为2做卷积，输出特征图大小为64x8x8；第四层为第二池化层140，对第二卷积层输入到第二池化层的数据以步长为2、非重叠的做2×2的最大池化操作，输出特征图大小为64x4x4；第五层为第三卷积层150，使用128个3x3的卷积核，对第二池化层处理后的数据以步长为2做卷积并进行全零填充，输出特征图大小为128x4x4；；第六层为全连接层210，每个神经元与第三卷积层150输出的数据进行全连接，将特征映射转换为一维向量；第七层为正则化极限学习机310，全连接层210的输出作为正则化极限学习机310的输入，分类得到输出值。第一层至第五层作为深度卷积神经网络的卷积模块100。卷积模块100的主要目的是提取局部特征，卷积运算可以增强原始信号并降低噪声。此外，每个特征图中每个卷积核的权重是共享的，这不仅减少了网络的自由参数，而且降低了相关图层的复杂性。卷积运算的输出包含多个特征映射，整个特征映射中的每个神经元连接前一层的局部区域。第六层的全连接层210为子采样模块200。全连接层210的每一个神经元结点都与上一层的所有结点全连接，用来把卷积模块100提取到的特征综合起来。利用局部相关性原理，子采样模块200将特征映射转换为一维向量，不仅消除了非极大值，减少了前一层的计算量，而且提高了网络的容错能力，并提供了额外的鲁棒性。第七层的正则化极限学习机310，随机分配输入权重和隐藏层偏差，然后结合训练数据集确定单隐层前馈神经网络的输出权重。具体为，在训练时，正则化极限学习机310被随机分配输入权重wi和隐藏层偏差bi；之后计算隐藏层输出矩阵h；然后得到输出权重向量β；最后根据上述训练过程对新数据集进行分类。参照图4，s300、训练深度卷积神经网络：输入图像预处理后的基础ct肺结节图像；在不调用正则化极限学习机310的情况下对输入的经图像预处理后的基础肺结节ct图像进行反复训练并验证结果精度，在训练过程中调整深度卷积神经网络第一层至第六层的参数；当结果精度到达预设精度值，调用正则化极限学习机310对全连接层210的输出进行训练；当结果精度到达目标精度值，得到已训练的深度卷积神经网络。在不调用正则化极限学习机310的情况下对输入的经图像预处理后的基础肺结节ct图像进行训练并在训练过程中调整深度卷积神经网络第一层至第六层的参数具体如下：深度卷积神经网络第一层至第六层为cnn网络结构；在cnn前向传播时，第l层的输出表示为：xl＝f(ul),ul＝wlxl-1+bl；其中，f(·)表示激活函数，采用relu函数，称为修正线性单元，作用是增强深度卷积神经网络的非线性结构，它将卷积后得到的肺结节ct图像的特征图中的负数值变成0，正数值不变。另外，第n个肺结节ct图像样本的误差表示为：在反向传播时，反向传播的误差是每个神经元偏置的敏感度，表示为：反向传播过程中第l层的灵敏度表示为：δl＝(wl+1)tδl+1*f'(ul)；输出层神经元敏感度的表示方程为：δl＝f'(ul)*(yn-tn)；最后，对于每个神经元使用δ规则更新权重。对于第l层，每个权值的偏导数是输入与灵敏度之间的乘积。然后通过负学习率相乘求偏导数，更新第l层神经元权重，表示为：基于上述方法，为了更新权重值，首先获得l+1层的灵敏度δl+1；然后乘以第l层神经元节点输入的权重和激活函数的导数，得到了第l层的灵敏度δl；最后，更新第l层上每个神经元的权重。卷积模块100的下一层是子采样模块200，需要在子采样模块200的灵敏度图上进行上采样。在子采样模块200中，对于一个映射设置相同的权重β，梯度公式如下：然后计算每个映射的灵敏度，然后计算偏置梯度：最后，利用bp算法计算权重梯度。其中，在卷积模块100的卷积层中，卷积层提供了从图像的低层次表示到高级语义理解的非线性映射。wij表示第j个特征图中第i层的权值，先被随机初始化，然后用bp算法进行训练。ηj表示在第i层的第j个特征图中一个位置(m，n)单位值，即卷积层中第j个特征映射的输出值，表示为：式中，表示卷积运算。对于卷积模块100的池化层，子采样模块200的每个特征映射都是通过在卷积模块100中池化层的相应特征映射上执行的最大池化操作得到的。最大池化操作后第i层的第j个特征图中(m，n)位置处的单位值表示为：池化层的最大池化操作在较大的局部区域上生成位置不变性，并对输入特征映射进行下采样。池化层的目的是分类生成的特征图的最大响应同时减少特征图的分辨率，还提供了内置的小变化和失真的不变性。当结果精度到达预设精度值，调用正则化极限学习机310对输入的经图像预处理后的基础肺结节ct图像进行训练具体如下：对于n个任意不同的基础肺结节ct图像样本(xi，ti)，i＝1,2，...，n，其中xi＝[xi1，xi2..，xin]t，ti＝[ti1，ti2..，tim]t，正则化极限学习机310的模型可表示为：其中，g(x)为激活函数，βj表示第j个隐含节点权重矢量，wj表示第j个隐藏层节点和输入层之间的权重矢量，bj表示第j个隐藏层节点的阈值。对正则化极限学习机310的最小范数最小二乘解为：其中，h表示隐藏层输出矩阵，t为ti的矩阵形式；通过求偏导数并令结果为零，得到结果：正则化极限学习机310被随机分配输入权重wi和隐层偏差bi；之后计算隐藏层输出矩阵h；然后得到输出权重向量β；最后对肺结节良恶性进行分类。正则化极限学习机310对由特征映射转换的一维向量进行分类；只更新输出权值，而输入权值和隐藏层偏差是随机设置的。因此，将随机生成输入参数，并在训练过程中计算出输出权值。整个训练过程没有迭代操作，提高了深度卷积神经网络的泛化能力。在调用正则化极限学习机310时，首先计算隐藏层权重，然后缓存β矩阵，同时验证深度卷积神经网络的精度；当精度达到0.7时，停止训练过程并计算β矩阵的平均值，随后即可对待分类的肺结节ct图像进行判定。s400、判定结果：输入待分类的肺结节ct图像进行图像预处理，并进入已训练的深度卷积神经网络中得到输出值，比较输出值与判定阈值，若输出值大于预设的判定阈值，则判定为恶性肺结节，否则为良性肺结节；其中预设的判定阈值为0.7。参照图1和图3，根据上述的基于cnn－l1－l2－elm模型的肺结节分类方法，本发明实施例的另一方面，提供了一种肺结节分类装置，包括输入模块410、预处理模块420、网络构建模块430、网络训练模块440、结果判定模块450和输出模块460；所述输入模块410用于输入基础肺结节ct图像和待分类的肺结节ct图像；所述预处理模块420用于对基础肺结节ct图像和待分类的肺结节ct图像提取感兴趣区域以及进行归一化处理；所述网络构建模块430用于构建基于cnn－l1－l2－elm模型的深度卷积神经网络；所述网络训练模块440用于训练构建好的深度卷积神经网络；所述结果判定模块450用于比较深度卷积神经网络的输出值与判定阈值来判定肺结节的良恶性；所述输出模块460用于输出肺结节的良恶性结果；所述深度卷积神经网络包括卷积模块100、子采样模块200和分类模块300，所述分类模块300为正则化极限学习机310。所述正则化极限学习机310的模型表示为：所述卷积模块100包括：第一层为第一卷积层110，使用32个3x3的卷积核，对图像预处理后的基础肺结节ct图像以步长为2做卷积，输出特征图大小为32x32x32；第二层为第一池化层120，对第一卷积层输入到第一池化层的数据以步长为2、非重叠的做2×2的最大池化操作，输出特征图大小为32x16x16；第三层为第二卷积层130，使用64个3x3的卷积核，对第一池化层处理后的数据以步长为2做卷积，输出特征图大小为64x8x8；第四层为第二池化层140，对第二卷积层输入到第二池化层的数据以步长为2、非重叠的做2×2的最大池化操作，输出特征图大小为64x4x4；第五层为第三卷积层150，使用128个3x3的卷积核，对第二池化层处理后的数据以步长为2做卷积并进行全零填充，输出特征图大小为128x4x4；；所述子采样模块200包括：第六层为全连接层210，每个神经元与第三卷积层150输出的数据进行全连接，将特征映射转换为一维向量。待分类的肺结节ct图像输入到输入模块410，然后进入预处理模块420进行预处理，接着进入已训练的深度卷积神经网络中得到输出值，结果判定模块450比较输出值与判定阈值，若输出值大于预设的判定阈值，则调用正则化极限学习机去分类输出结果；其中预设的判定阈值为0.7。该基于cnn－l1－l2－elm模型的肺结节分类装置构建了一个全新结构的深度卷积神经网络，将正则化极限学习机310结合到深度卷积神经网络中，由深度卷积神经网络提供统一的特征提取－分类框架，免于麻烦的手工特征提取过程；既能自动提取到肺结节具有表达能力的深层特征，又能对提取的特征进行准确、快速的分类，大大提高肺结节良恶性判定的准确性。表1是本发明与7个对比方法的技术性能对比表。如表1所示，此处统计了分类结果的正确性、敏感性和特异性。在这三方面，相比其他方法，本方法均有优势，其中尤以正确性高达92.87％，大大提高了肺结节分类的准确性。方法正确率敏感性特异性对比方法1(auto-encodersandcnns)77.52％--对比方法2(stochasticsequencers)84.49％--对比方法3(3dglcmfeature+svm)85.38％70.20％92.80％对比方法4(multi-cropcnn)87.14％77.00％93.00％对比方法5(tmmewithresnet-50)91.01％83.83％94.56％对比方法6(3dcnn)91.26％--对比方法7(mv-kbc)91.60％86.52％94.00％本方法92.87％87.15％94.45％表1以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。当前第1页12