一种基于二维卷积神经网络的肺结节分割方法与流程

本发明属于图像分割技术领域，更具体地，涉及一种基于二维卷积神经网络的肺结节分割方法。

背景技术：

肺结节是肺癌的前兆，但有肺结节也不一定是癌症，即肺结节信息属于中间结果。对肺结节的精确分割是基于ct图像的早期肺癌计算机辅助诊断的关键步骤，能否从ct图像中精确地分割出肺结节，最终会影响到计算机辅助诊断系统的性能。

现有技术中，肺结节分割方法主要包括：基于形态学和区域生长的方法，然而，鲁棒性存在问题，尤其是对与肺壁粘连型肺结节的分割。基于深度学习的方法，如wang等人于2017年提出的基于多视图深层卷积神经网络肺结节分割方法，该方法包含了三个cnn分支，分别对应轴状面，冠状面和矢状面，同时以多尺度的图像块作为输入，以捕获有效的肺结节特征。然而，该方法虽然获得了不错的分割效果，但其无法很好地适应尺寸较小的肺结节，同时该网络架构较为复杂，训练十分缓慢，并且容易出现过拟合的现象。

上述现有技术均不能很好地适应肺结节的异质性，特别是对尺寸较小的肺结节的分割。

技术实现要素：

针对现有技术的缺陷，本发明的目的在于解决现有技术均不能很好地适应肺结节的异质性，特别是对尺寸较小的肺结节的分割的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于二维卷积神经网络的肺结节分割方法，该方法包括以下步骤：

s1.基于加权采样策略对ct图像中的肺结节正负样本进行采样，得到两种不同尺度的图像块；

s2.根据采样获得的图像块训练二维卷积神经网络模型，得到训练好的二维卷积神经网络模型；

s3.使用训练好的二维卷积神经网络模型，对待分割样本的每一层轴状面图像中的每个体素进行预测，得到肺结节分割结果。

具体地，该方法还包括步骤s4.剔除肺结节分割结果中的噪声区域。

具体地，步骤s1具体包括以下子步骤：

s101.对于每个样本，提取肺结节的边缘体素，其中，所述样本是指包含一个肺结节的区域；

s102.对于每个样本，根据肺结节类中每个体素到肺结节的边缘体素的最小距离，计算肺结节类中每个体素的采样权重；根据非肺结节类中的每个体素的灰度值与其到肺结节的边缘体素的最小距离，计算非肺结节类中的每个体素的采样权重，其中，肺结节类表示属于肺结节的体素的集合，非肺结节类表示不属于肺结节的体素的集合；

s103.对于每个样本，基于肺结节边缘体素的数量m，设置采样点个数为2m；

s104.对于每个样本，根据肺结节类的体素的采样权重和非肺结节类的体素的采样权重，加权采样所述样本，得到m个肺结节类的体素采样点和m个非肺结节类的体素采样点；

s105.对于每个样本，以上述肺结节类的体素采样点和非肺结节类的体素采样点为中心，从所述ct图像中裁剪出大尺度和小尺度的两种不同尺度的图像块。

具体地，肺结节类的体素采样权重计算公式如下：

其中，pwk表示肺结节类中第k个体素的采样权重；n表示肺结节类；e表示属于肺结节边缘的体素集合；d(k,t)表示n中第k个体素与e中第t个体素之间的欧氏距离；

非肺结节类的体素采样权重计算公式如下：

其中，bwp表示非肺结节类第p个体素的采样权重；nn表示非肺结节类；d(p,t)表示nn中第p个体素与e中第t个体素之间的欧氏距离，ip表示非肺结节类中第p个体素的灰度值。

具体地，所述二维卷积神经网络模型为基于残差块的双分支级联网络，其包含：第一双分支网络和第二双分支网络；

将大尺度的图像块送入第一双分支网络，将其输出的图像块与小尺度的图像块拼接在一起，送入第二双分支网络，以获取当前图像块的多尺度和多视图特征；第二双分支网络的输出进行平均池化后，再与包含两个神经元的全连接层相连，得到当前图像块中心处的体素属于肺结节的概率。

具体地，第一双分支网络和第二双分支网络结构相同，均由四种不同类型的残差块组构成，其包含两个不同感受野的分支：较小感受野对应的分支提取局部的纹理信息，较大感受野对应的分支提取丰富的上下文信息。

具体地，较小感受野对应的分支是由参数相同的三个残差块堆叠构成的第一残差块组和一个与第一残差块组参数不同的残差块堆叠构成，较大感受野对应的分支是由六个参数相同的残差块堆叠构成的第二残差块组构成，拼接这两个分支的特征映射图，并发送到由九个参数相同的残差块堆叠构成的第三残差块组中，以进行高级语义特征的提取。

具体地，所述残差块是一种首端和末端是1x1卷积，中间是3x3卷积的瓶颈结构。

具体地，步骤s4中根据以下两个条件剔除孤立的噪声区域：

(1)如果起始层出现噪声，选择距离人工标注边缘框中心最近的连通区域作为当前所处理层的肺结节的掩码，其他连通区域均为需剔除的噪声区域，其中，将有人工标注边缘框的一层作为起始层；

(2)当其他层中出现噪声，选择当前层与上一层肺结节掩码重叠率最大的连通区域，作为当前所处理层的肺结节掩码，其他的连通区域均为需剔除的噪声区域；

如果当前层与其上一层的重叠率为0或者当前层没有任何连通区域，则去噪完成。

第二方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的肺结节分割方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

1.本发明采用基于边缘的加权采样策略来处理不平衡的训练标签，在计算非肺结节类的体素的采样权重时，由于在与肺壁粘连型肺结节的周围存在与其灰度相同但属于肺壁组织的体素，这类样本是难以区分的，故将其周围的非肺结节组织(如肺壁和血管等组织)所对应的灰度值也考虑进去，对其赋予较大的采样权重，以使网络可以挖掘出除灰度特征以外的特征，更好地适应肺结节的异质性；以肺结节边缘体素为基准，从而实现对不同直径大小的肺结节的充分地采样。

2.本发明采用的二维卷积神经网络模型是基于残差块的双分支级联网络，其可提取肺结节局部的纹理信息和更丰富的上下文信息；同时通过对含有多个视图的两种不同尺度的图像块进行级联，来提取肺结节的多尺度和多视图特征，从而实现对直径较小的小型肺结节的分割。

附图说明

图1为本发明实施例提供的一种基于二维卷积神经网络的肺结节分割方法流程图；

图2为本发明实施例提供的基于残差块的双分支级联网络结构示意图；

图3为本发明实施例提供的双分支网络结构示意图；

图4为本发明实施例提供的残差块结构示意图；

图5为本发明实施例提供的剔除肺结节分割结果中的噪声区域过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的整体构思为：通过级联方式获取ct图像中不同肺结节的多视图和多尺度特征，使用基于残差块的双分支网络提取肺结节的局部细节特征和其周围丰富的上下文信息。此外，本发明还使用基于边缘的加权采样策略促进模型训练，以尽可能提高模型的泛化能力。

如图1所示，一种基于二维卷积神经网络的肺结节分割方法，该方法包括以下步骤：

s1.基于加权采样策略对ct图像中的肺结节正负样本进行采样，得到两种不同尺度的图像块；

s2.根据采样获得的图像块训练二维卷积神经网络模型，得到训练好的二维卷积神经网络模型；

s3.使用训练好的二维卷积神经网络模型，对待分割样本的每一层轴状面图像中的每个体素进行预测，得到肺结节分割结果。

步骤s1.基于加权采样策略对ct图像中的肺结节正负样本进行采样，得到两种不同尺度的图像块。

s101.对于每个样本，提取肺结节的边缘体素，其中，所述样本是指包含一个肺结节的区域。

本发明使用的数据集来自肺图像数据库联盟和图像数据库资源计划(lidc)的公开数据集。训练样本中，属于肺结节的体素标记为1，不属于肺结节的体素标记为0。从ct图像对应的掩码中获取肺结节的边缘体素，属于肺结节边缘的体素集合记为e。

样本指包含肺结节的一个矩形区域。使用基于边缘的加权采样策略从ct图像中提取正负样本(图像块的中心体素属于肺结节的样本视为正样本，否则即为负样本)，以解决正负样本不平衡问题。

s102.对于每个样本，根据肺结节类中每个体素到肺结节的边缘体素的最小距离，计算肺结节类中每个体素的采样权重；根据非肺结节类中的每个体素的灰度值与其到肺结节的边缘体素的最小距离，计算非肺结节类中的每个体素的采样权重，其中，肺结节类表示属于肺结节的体素的集合，非肺结节类表示不属于肺结节的体素的集合。

由于肺结节边缘通常包含更多的文理信息，故在基于体素进行采样时，本发明会以更大的概率对肺结节边缘的体素进行采样。同理，对于背景也是如此，即距离肺结节边缘越近的背景体素其对应的采样权重也应越大，但不同的是，本发明会将背景对应的灰度也考虑进去，这主要是因为，在与肺壁粘连型肺结节边缘的周围存在与其灰度相同但属于肺壁组织的体素，这类样本是难以区分的，故本发明对其赋予较大的采样权重，以使网络可以挖掘出除灰度特征以外的特征。

肺结节类的体素采样权重计算公式如下：

其中，pwk表示肺结节类中第k个体素的采样权重；n表示肺结节类；e表示属于肺结节边缘的体素集合；d(k,t)表示n中第k个体素与e中第t个体素之间的欧氏距离；

非肺结节类的体素采样权重计算公式如下：

其中，bwp表示非肺结节类第p个体素的采样权重；nn表示非肺结节类；d(p,t)表示nn中第p个体素与e中第t个体素之间的欧氏距离，ip表示非肺结节类中第p个体素的灰度值。

s103.对于每个样本，基于肺结节边缘体素的数量m，设置采样点个数为2m。

为了对不同尺寸大小的肺结节进行充分地采样，本发明以肺结节边缘体素的个数为基准，来确定每个肺结节的采样规模。在本发明的实施例中，本发明将肺结节类的采样点个数设置为肺结节边缘体素个数的两倍。为了平衡训练标签，非肺结节类的采样点个数与肺结节类的采样点个数保持一致，均为m个采样点。

s104.对于每个样本，根据肺结节类的体素的采样权重和非肺结节类的体素的采样权重，加权采样所述样本，得到m个肺结节类的体素采样点和m个非肺结节类的体素采样点。

s105.对于每个样本，以上述肺结节类的体素采样点和非肺结节类的体素采样点为中心，从所述ct图像中裁剪出大尺度和小尺度的两种不同尺度的图像块。

肺结节的尺寸一般为3-30mm，尺寸小于10mm的肺结节一般视为小结节。从训练样本裁剪出两种不同尺寸的图像块。经分析，大尺度设为65*65*3，小尺度设为35*35*3，实验结果显示，对不同尺寸肺结节的分割均有较好的效果。

步骤s2.根据采样获得的图像块训练二维卷积神经网络模型，得到训练好的二维卷积神经网络模型。

本发明使用的二维卷积神经网络模型是基于残差块的双分支级联网络。如图2所示，基于残差块的双分支级联网络模型包含两个双分支网络——双分支网络1和双分支网络2。首先将大尺度的图像块(3×65×65)送入双分支网络1，将其输出的图像块(5×35×35)与小尺度的图像块(3×35×35)拼接在一起，送入双分支网络2，以获取肺结节的多尺度和多视图特征；双分支网络2的输出(5×5×5)进行平均池化(池化核大小5×5)后，再与包含两个神经元的全连接层相连，得到该体素属于肺结节的概率。

两个双分支网络均由四种不同类型的残差块组构成，其包含两个不同感受野的分支。较小感受野对应的分支提取局部的纹理信息，较大感受野对应的分支提取更丰富的上下文信息。拼接这两个分支的特征映射图，并发送到最后一个残差块组中，以进行高级语义特征的提取。如图3所示，较小感受野(7×7)对应的分支是由三个残差块堆叠构成的残差块组resblock_a和一个单独的残差块resblock_b构成，较大感受野(13×13)对应的分支是由六个残差块堆叠构成的残差块组resblock_c构成，拼接这两个分支的特征映射图，并发送到由九个残差块堆叠构成的残差块组resblock_d中，以进行高级语义特征的提取。其中，残差块组resblock_a经过池化1后，输入至残差块resblock_b，残差块resblock_b经过池化2后，与残差块组resblock_c的输出拼接。在本发明的实施例中，图3中池化1和池化2均采用最大池化，它们的池化核大小分别为4×4和2×2，步长均为1，填充方式为“valid”。

上述四个残差块组的构建单元——残差块，均由三个卷积层构成。如图4所示，残差块是一种首端和末端是1x1卷积，中间是3x3卷积的瓶颈结构。相比传统的残差结构，其可以在减少网络参数的同时增加网络深度。本发明使用这种首端和末端是1x1卷积(用来削减和恢复维度)，中间是3x3卷积的瓶颈结构，替换原始的残差结构，这样既可以减少网络参数，又可以增加网络深度。在本发明的实施例中，resblock_a、resblock_b、resblock_c和resblock_d的(m,n)值分别为(32，64)、(64，64)、(80，160)和(10，5)，m为残差块中首端卷积层和中间卷积层的卷积核个数，n为残差块中末端卷积层的卷积核个数。

在对上述采样获得的样本进行训练之前，为了进一步加快模型的收敛速度，本发明需要对每种尺度的图像块进行归一化。基于归一化的两种尺度的图像块，训练基于残差块的双分支级联网络模型。

使用上述构建的二维卷积神经网络，训练基于体素的二分类器，以获得用于分割肺结节的网络模型。网络模型的训练是基于随机梯度下降算法进行的。为了使模型可以缓慢地逼近最优解，训练时学习率会缓慢地降低。此外，在训练过程中，为了避免过拟合，本发明采用早停的训练策略。在本发明的实施例中，随机梯度下降算法的若干参数设置是：初始学习率为0.001，之后每隔五代降低十个百分点，动量设为0.9。此外，早停训练策略能够容忍的性能没有提升而继续训练的代数为10。

步骤s3.使用训练好的二维卷积神经网络模型，对待分割样本的每一层轴状面图像中的每个体素进行预测，得到肺结节分割结果。

s301.用户手动选出待检测样本中肺结节所在的局部区域。

用户人工标注边缘框的一层为起始层。然后系统会将此局部区域映射到其他层，以便模型可以在用户标注的局部区域中进行预测。

s302.使用训练好的基于残差块的双分支级联网络模型，对待分割样本的每一层轴状面图像中的每个体素进行预测，得到肺结节分割结果。

根据预先设定好的阈值将体素划分为两类，大于阈值为肺结节，否则为非肺结节，从而得到肺结节的初始掩码图像。概率阈值优选为0.5。轴状面(axialplane)作为解剖术语，表示以身高方向为法线的横切面。

为了优化分割效果，所述肺结节分割方法还可以包括步骤s4.剔除肺结节分割结果中的噪声区域。

在得到肺结节的初始分割掩码后，需要剔除孤立的微小区域的噪声体素，以获得更加精确的分割掩码。本发明根据以下两个条件剔除孤立的噪声区域：

(1)如果起始层出现噪声，选择距离人工标注边缘框中心最近的连通区域作为当前所处理层的肺结节的掩码，其他连通区域均为需剔除的噪声区域，其中，将有人工标注边缘框的一层作为起始层；

(2)当其他层中出现噪声，选择当前层与上一层肺结节掩码重叠率最大的连通区域，作为当前所处理层的肺结节掩码，其他的连通区域均为需剔除的噪声区域；

如果当前层与其上一层的重叠率为0或者当前层没有任何连通区域，则去噪完成。

当前层与上一层肺结节掩码重叠率o的计算公式如下：

o＝v(cm∩pm)/v(cm∪pm)

其中，cm、pm分别表示当前层的预测掩码，v(·)表示体素个数。

如图5所示，根据这两个剔除条件，由于孤立区域r2与上一层的重叠率o2小于区域r1与上一层的重叠率o1，故r2对应的孤立区域会被当作噪声剔除。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。