基于改进U-net的直肠CT图像肿瘤分割方法与流程

本发明属于医疗图像分割领域，特别是一种基于改进u-net的直肠ct图像肿瘤分割方法。

背景技术：

直肠癌是我国常见的恶性肿瘤之一，其发病人数和每年致死人数均排名第5位，且发病率和死亡率逐年上升。经调查研究显示采取合理的影像学技术分割出肿瘤区域非常重要，便于为后期临床治疗提供重要参考依据。传统影像学技术依赖于医生对影像的研判阅读，所需的时间长，工作量大，同时具有极强的经验与前沿技术依赖性，难以满足快速、批量的临床诊断需求。因此寻求一种能精准分割直肠肿瘤区域的方法，并以此来提高医生诊断的效率和准确率，具有重大社会意义。

近年来以卷积神经网络为代表的深度学习作为一种新的机器学习模型，由于其无需手工提取特征及准确率高的特点，开始被应用于直肠肿瘤分割任务。文献“deeplearningforfully-automatedlocalizationandsegmentationofrectalcanceronmultiparametricmr”利用cnn对直肠mri图像所有像素点进行分类，取得了不错的分割效果，但该方法逐像素分类，相邻像素点的相似度非常高，导致计算过程中有非常多的冗余耗时。文献“fullyconvolutionalnetworks(fcns)-basedsegmentationmethodforcolorectaltumorsont2-weightedmagneticresonanceimages”利用全卷积神经网络对直肠肿瘤区域进行分割，效率与准确率相比之前都有所提升，但容易出现假阳性误诊，整体准确率依旧不高。

技术实现要素：

本发明的目的在于提供一种基于改进u-net的直肠ct图像肿瘤分割方法。

实现本发明目的的技术解决方案为：一种基于改进u-net的直肠ct图像肿瘤分割方法，包括以下步骤：

步骤1、利用图像形态学方法，从直肠ct图像中将直肠区域截取出来，将截取的图像数据进行预处理，得到数据集；

步骤2、利用基于随机弹性形变的数据扩充技术，对数据集进行扩充；

步骤3、利用扩充的数据集训练yolov3神经网络，从而对直肠区域进行检测，判断ct图像中是否存在肿瘤区域；

步骤4、根据attention机制和残差学习结构优化原有的u-net分割模型，进而获得改进的u-net模型；

步骤5、根据yolov3网络的检测结果，将包含肿瘤区域的ct图像送入改进的u-net模型中进行训练，从而分割出直肠肿瘤区域的形状。

本发明与现有技术相比，其显著优点为：(1)从ct图像中提取出直肠区域，减小了处理的区域，降低了分割难度，并且减小了计算量，降低算法运行时间，提高了分割效率；(2)数据扩充操作能得到更多和原数据独立同分布或近似独立同分布的数据，使深度学习网络可以学习到更多关于训练数据的不变性特征，从而提高分割系统对原始数据集的信息利用率；(3)加入yolov3检测网络，显著降低了直肠肿瘤区域的假阳性误诊率；(4)在u-net分割网络中加入了attention机制，使u-net网络在训练过程中能对特征进行加权操作，从而抑制不相关区域的响应，使网络能够更专注于要分割的肿瘤区域，其次引入了残差学习思想，能够增加网络深度，提升网络的表达能力，配合1×1的卷积层可以增强网络的非线性，使得网络能够更加准确的表达出每一个像素点的信息，提升分割性能。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明分割方法整体流程图。

图2是本发明直肠肿瘤区域提取示意图。

图3是本发明中darknet-53网络的结构示意图。

图4是本发明中yolov3检测网络的结构示意图。

图5是本发明中u-net网络的结构示意图。

图6是本发明中attention机制的结构示意图。

图7是本发明中残差网络的结构示意图。

图8是本发明中改进后的u-net网络的结构示意图。

具体实施方式

如图1所示，本发明一种基于改进u-net的直肠ct图像肿瘤分割方法，包括以下步骤：

步骤1、利用图像形态学方法，从直肠ct图像中将直肠区域截取出来，将截取的图像进行预处理，得到数据集；

步骤2、利用基于随机弹性形变的数据扩充技术，对数据集进行扩充；

步骤3、利用得到的数据集训练yolov3神经网络，从而对直肠区域进行检测，判断ct图像中是否存在肿瘤区域；

步骤4、根据attention机制和残差学习结构优化原有的u-net分割模型，进而获得改进的u-net模型；

步骤5、根据yolov3网络的检测结果，将包含肿瘤区域的ct图像送入改进的u-net模型中进行训练，从而具体分割出直肠肿瘤区域的形状。

进一步地，步骤1所述的ct图像中直肠区域的提取方法，具体如下：

步骤1.1：将切片的直肠ct图像进行二值化处理；

步骤1.2：对二值化后的切片图像进行膨胀处理，以获得较为完整的轮廓；

步骤1.3：找到轮廓的最大外接矩形，并获得其中心坐标，根据该中心坐标来截取直肠区域；

步骤1.4：对截取的直肠区域进行高斯滤波处理，提高图像信噪比，并利用labelme软件对相应图片进行标注，从而制作成数据集。

进一步地，步骤2所述利用基于随机弹性形变的数据扩充技术扩充直肠ct图像数据集，具体为：

步骤2.1：将输入图像划分为n×n网格，对非图像边缘的网格点进行随机位移，位移矢量从像素标准差的高斯分布中采样；

步骤2.2：利用双三次插值计算其他像素位移，在网格上产生平滑形变，从而扩充图像数据集。

进一步地，步骤3所述利用得到的数据集训练yolov3神经网络，对直肠区域进行检测，判断ct图像中是否存在肿瘤区域，具体为：

步骤3.1：将图像数据集输入darknet-53网络中，利用卷积层和残差层提取图像特征；

步骤3.2：构造三个不同尺度的检测器，并利用得到的多层特征图，在三个尺度上分别进行预测，从而判断ct图像中是否存在肿瘤区域。

进一步地，步骤4所述根据attention机制和残差学习结构优化原有的u-net分割模型，获得改进的u-net模型，进而具体分割出直肠肿瘤区域的形状，具体为：

步骤4.1：将包含肿瘤区域的直肠ct图像数据集输入u-net网络中，利用其中的收缩网络和扩张网络分别提取用于分割的浅层和用于定位的深层特征；

步骤4.2：根据attention机制对各特征进行重要性筛选，即赋予权重，从而改进原u-net网络结构，获得的特征输出为：

att^l＝ψ^t(σ1(ψ^tx^l+ψ^tg))(1)

式中，att^l为特征输出，ψ^t为1×1卷积，σ1为relu激活函数，x^l为特征输入，g为门控输入，上标l对应第l层网络，上标t为矩阵转置，各特征的权重为：

α^l＝σ3(σ2(att^l))(2)

式中，α^l为各特征的权重，σ3为重采样函数，σ2为sigmoid激活函数，att^l为特征输出；

步骤4.3：根据残差学习结构对原u-net网络各层输出进行跳跃连接，从而改进原u-net网络结构，获得的残差输出为：

h(y)＝f(y)+y(3)

式中，h(y)为残差输出，f(y)为卷积输出，y为单个神经网络单元的输入；

步骤4.4：根据得到的特征图，对图像中的所有像素点进行二分类操作，确定直肠肿瘤区域和非直肠肿瘤区域。

下面结合实施例和附图对本发明进行详细说明。

实施例

结合图1，一种改进u-net的直肠ct图像肿瘤分割方法，包括以下步骤：

步骤1：利用图像形态学方法，从直肠ct图像中将直肠区域截取出来，将截取的图像进行预处理，得到数据集，具体如下：

步骤1.1：将切片的直肠ct图像进行二值化处理；

步骤1.2：对二值化后的切片图像进行膨胀处理，以获得较为完整的轮廓；

步骤1.3：找到轮廓的最大外接矩形，并获得其中心坐标，根据该中心坐标来截取直肠区域；

步骤1.4：对截取的直肠区域进行高斯滤波处理，提高图像信噪比，直肠肿瘤区域提取示意图如图2所示，并利用labelme软件对相应图片进行标注，从而制作成数据集。

步骤2：利用基于随机弹性形变的数据扩充技术，对数据集进行扩充，具体如下：

步骤2.1：将输入图像划分为n×n网格，对非图像边缘的网格点进行随机位移，位移矢量从像素标准差的高斯分布中采样；

步骤2.2：利用双三次插值计算其他像素位移，在网格上产生平滑形变，从而扩充图像数据集。

步骤3：利用得到的数据集训练yolov3神经网络，从而对直肠区域进行检测，判断ct图像中是否存在肿瘤区域，具体如下：

步骤3.1：将图像数据集输入darknet-53网络中，利用卷积层和残差层提取图像特征，具体如下：

利用darknet-53分类网络对3通道的416×416图像提取多层特征，其中darknet-53网络的结构示意图如图3所示，主要是由3×3与1×1的卷积层以及残差层交替组合而来。

步骤3.2：构造三个不同尺度的检测器，并利用得到的多层特征图，在三个尺度上分别进行预测，从而判断ct图像中是否存在肿瘤区域，具体如下：

构造三个检测器，在三个尺度上分别进行预测，三个尺度分别是13×13、26×26、52×52，13×13特征图的感受野较大，检测器用于检测中大目标，而后两个尺度26×26、52×52能够找到早期特征映射中的上采样特征和更细粒度的特征，分别用于提取中等目标和更小的目标。yolov3检测网络的结构示意图如图4所示。

步骤4：根据attention机制和残差学习结构优化原有的u-net分割模型，进而获得改进的u-net模型，具体如下：

步骤4.1：将包含肿瘤区域的直肠ct图像数据集输入u-net网络中，利用其中的收缩网络和扩张网络分别提取用于分割的浅层和用于定位的深层特征，具体如下：

原u-net网络的结构示意图如图5所示，总共有23个卷积层，在左侧的收缩网络中包含4次下采样操作，每一次下采样操作包含两个3×3的卷积操作和一个2×2的池化操作，这样可以使得图像的大小减半，特征数量增加一倍。在右侧的扩张网络中包含4次上采样操作，每一次的上采样只包含两个3×3的卷积操作，这样就将图像放大为原来的两倍，也就是恢复成原始输入图像的大小，并且特征数会减半。在收缩路径和扩张路径之间使用裁剪和复制通道，将收缩路径的低层特征图裁减并复制到扩张路径和对应的高层特征图进行融合。

步骤4.2：根据attention机制对各特征进行重要性筛选，即赋予权重，从而改进原u-net网络结构，具体如下：

attention机制的结构示意图如图6所示，首先对x^l和g进行1×1卷积，其次对两者输出逐点相加并通过relu函数激活，接着对输出进行1×1卷积并利用sigmoid函数激活，最后对激活值进行重采样得到权重α^l，将权重α^l和输入x^l相乘即得加权后的特征值。获得的特征输出为：

att^l＝ψ^t(σ1(ψ^tx^l+ψ^tg))(1)

式中，att^l为特征输出，ψ^t为1×1卷积，σ1为relu激活函数，x^l为特征输入，g为门控输入，上标l对应第l层网络，上标t为矩阵转置，各特征的权重为：

α^l＝σ3(σ2(att^l))(2)

式中，α^l为各特征的权重，σ3为重采样函数，σ2为sigmoid激活函数，att^l为特征输出；

步骤4.3：根据残差学习结构对原u-net网络各层输出进行跳跃连接，从而改进原u-net网络结构，具体如下：

残差网络的结构示意图如图7所示，残差网络通过拟合残差的方式建立了一个恒等映射，将深层网络学习转换为浅层网络学习问题，将问题进行了一定的简化，获得的残差输出为：

h(y)＝f(y)+y(3)

式中，h(y)为残差输出，f(y)为卷积输出，y为单个神经网络单元的输入；

步骤4.4：根据得到的特征图，对图像中的所有像素点进行二分类操作，确定直肠肿瘤区域和非直肠肿瘤区域。

步骤5：根据yolov3网络的检测结果，将包含肿瘤区域的ct图像送入改进的u-net模型中进行训练，从而具体分割出直肠肿瘤区域的形状，具体如下：

改进后的u-net网络的结构示意图如图8所示，与原u-net网络结构的主要差别在于：首先对卷积层输出进行批归一化，使得训练深层网络模型更加容易和稳定，在实验中可以有效减少训练失败的次数；其次引入了残差结构，能够增加网络深度，提升网络的表达能力，配合1×1的卷积层可以增强网络的非线性，使得网络能够更加准确的表达出每一个像素点的信息；最后是在网络中加入了attention机制，使u-net网络在训练过程中能对特征进行加权操作，从而抑制不相关区域的响应，使网络能够更专注于要分割的肿瘤区域。

综上所述，本发明针对直肠ct图像肿瘤分割这一具体任务，主要借鉴attention机制和残差学习思想改进了传统的u-net分割网络，在进行直肠肿瘤区域的分割任务时，能够减少假阳性误诊率，取得更高的精度。