一种基于卷积神经网络的腹部CT图像肝肿瘤病变分割方法与流程

【技术领域】本发明涉及一种针对患者腹部ct中肝部肿瘤病变的基于卷积神经网络的病变分割方法。

背景技术：
肝脏是人体新陈代谢，维持生命的重要器官，同时肝脏也是人体腹部中重量最大的实质性器官。近年来，由于不良饮食习惯及不规律作息等因素，越来越多的人患有肝脏疾病。同时，肝脏是原发性或继发性肿瘤的高风险器官，肝肿瘤恶性度高，死亡率高。who的发布的数据显示，2018年有78万人死于肝癌，我国部分地区也属于世界上肝癌高发地区之一；国家癌症中心发布的最新全国癌症报告显示，2015年全国肝癌新发病例约为37万，发病率为26.92/十万，位居2015年恶性肿瘤发病率第四位，2015年全国肝癌死亡率为23.69/十万，位居恶性肿瘤死亡第二位。从上述数据及统计可以看出，肝癌正严重威胁人类的生命健康。

深度学习算法是指根据先验知识从有限的观测数据中学习一般性规律，并将这些规律应用到待观测的样本上并给出预测结果的算法，其具有强大的数据分析及学习能力。近年来，随着算力和数据的增长，深度学习在过去7年中得到了巨大发展。同时，因为该领域生成海量的数据，使得医疗行业从深度学习中受益良多，其中自然语言处理主要涉及电子健康档案数据，强化学习方面主要讨论机器人辅助手术，通过深度学习方法进行基因组学相关研究，以及计算机视觉方面集中关注了医疗图像处理，尤其是在本次新型冠状病毒疫情当中，阿里达摩研究院将计算机视觉技术应用于新冠肺炎ct影像辅助诊断当中，在不到20秒的诊断时间内识别准确率高达96％，一定程度上减少了影像科医生的工作量，而本项目正是希望将计算机视觉领域的研究应用到肝肿瘤ct诊断中。

卷积神经网络在图像处理方面具有显著效果，因而被广泛的应用于医疗成像中，litjensg.等在其调查的2012-2017年医疗影像处理相关领域的文章中，大多数性能优异的网络几乎都采用了卷积神经网络。在图像分类问题上，大多人科研人员采用两种策略，第一，用已经训练好的网络进行特征提取，第二，在医学数据上对基于自然图像训练的模型进行微调：antony等同时运用两种方法对膝关节炎症图像进行分类，在前一种方法中取得了57.6％的准确率，在后一种方法中取得了53.4％的准确率。brosch等用dbn和sae对阿尔兹海默症患者的mri影像进行了分类，取得了较好的成果。总而言之，在医学图像的分类问题中，cnn依然是最被广泛使用的网络，其在某些医学图像分类问题上堪比“人类专家”。在目标及病灶分类问题中，对兴趣目标或病灶区域进行检测是临床诊断中最重要也是医生劳动最密集的部分，由于给影像进行标注的时间成本过高，yanxu等创新性的使用了mil框架与监督/非监督特征学习方法进行训练，以应对标注成本过高这一问题，但在目标检测问题中，给数据进行标注的负担同样是一个非常需要考虑的问题，hwangandkim等采用了弱监督训练来检测胸部x光片中的结节和乳腺病变。器官与子结构分割方面，2015年ronneberger等提出了医学图像分割问题中最著名的u-net，这一结构在2015年的emsegmentationchallenge中获得了最优表现(warpingerror＝0.000353)，iek等的工作表明一个完整的三维分割可以通过从相同的体积中给u-net一些2d注释切片来实现，milletari等提出基于u-net结构的三维卷积网络v-net，drozdzal等研究了在常规u-net中使用。

resnet以及longskip-connection的效果。病灶分割问题结合了目标检测和器官与子结构分割在深度学习算法中的一些挑战，如通常需要全局信息和局部信息来执行精确的分割，因此需要使用具有不同尺度或非均匀采样的多流网络，如kamnitsa等和ghafoorian等人的工作，wangc等使用了类似于u-net中的由相同下采样和上采样路径的结构，但去掉了u-net中的skip-connection，brosch等使用了类似于u-net的结构，但他们仅仅在第一个最后一个卷积层之间用了skipconnection同时使用了3d卷积，在病灶分割问题中，另一个挑战是类不平衡问题，因为图像中大多数像素或体素并非是病灶，在这个二分类问题中两个种类的样本数据数量悬殊，使得模型难以训练，brosch等调整了损失函数的计算规则，定义损失函数为敏感性和特异性的加权组合，并对特异性赋予更大权重，使其对数据的不平衡性不敏感，而kamnitsas等litjens等，pereira等则通过对病灶样本进行数据增强来平衡数据集。

技术实现要素：

对于肝部肿瘤病变出现位置、形状、尺寸高度随机的特点，目前在医学图像处理领域比较常用的办法是使用u-net进行分割，u-net能较好的采用各个尺度的特征，充分考虑到病灶形状、位置、尺寸不固定的特点，从而达到较好的效果。本发明提供了一种改进u-net的神经网络，在u-net中添加segse模块与recombination模块，提高网络的分割效果。

为了实现对腹部ct中的肝肿瘤病变进行更精确的分割，本发明提出的卷积神经网络结构如下：

(1)基于原有2du-net结构，将2d卷积改为3d卷积。

(2)用带segse模块和recombination模块的卷积层代替原有网络的降采样卷积层。

(3)网络的非线性激活单元选用relu6函数，对输出的最大幅度进行限制，有效的限制了梯度爆炸的问题。

本发明的技术方案：

步骤1：数据离线预处理，将每个训练数据对应的ct影像和医生的分割结果读入显存中。由于ct扫描文件每个像素点的灰度值差异较大(如背景设被设置为最低值)，所以需要对读进来的ct扫描文件进行阈值截断。

步骤2：数据在线预处理。为了防止网络过拟合，对经过步骤1离线预处理后的数据进行随机翻转，随机旋转，随机剪裁，随机噪声处理。

步骤3：设计3du-net的降采样模块，将卷积层，bn层，segse层，recombination层级联，该模块是3du-net中降采样的基本模块。

步骤4：设计3du-net的反卷积模块，采用三次样条插值的办法进行反卷积。

步骤5：将步骤3步骤4中设计好的模块组合设置参数，构建完整的3du-net卷积神经网络。

步骤6：将步骤2中的数据集送进网络中进行训练。

步骤7：在像素级标签的测试集上验证步骤6中训练好的卷积神经网络，并输出分割结果。

【本发明的优点和积极效果】

本发明提出的基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法相对于传统ct图像分割方法有以下优点：

(1)本发明针对肝肿瘤ct影像的分割方法，提出一种深度学习卷积神经网络，网络内部包括3d卷积模块，segse空洞卷积模块，recombination特征图扩充模块。可以有效地实现对ct图像中的肝肿瘤进行有效分割，减少了医生标注的时间。

(2)带有segse模块和recombination模块的3d卷积提升了特征图数，并且不局限于传统卷积，提高了网络的分割精度和泛化能力。

【附图说明】

图1为本发明提出的腹部ct图像肝肿瘤分割算法示意图

图2为本发明提出的算法使用的框架

【具体实施方式】

以下将对基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法的流程进行详细阐述：

(1)ct数据在该项目中的存储形式为.nii文件，首先将每个训练数据对应的ct影像和医生的分割结果读人显存中。由于ct扫描文件每个像素点的灰度值差异较大(如背景设被设置为最低值)，需要对读进来的ct扫描文件进行阈值截断。

(2)根据医生的分割结果中对肝脏的标签找到包含肝脏数据的ct切片，将不包含肝脏数据的ct切片去除。在去掉不包含肝脏数据的ct数据中有一部分数据会因为采样时z轴方向过于稀疏而导致剩余的slice数过少，需要将所有切割之后的肝脏数据沿z轴向两侧扩张20个slice。

(3)对所有肝脏数据进行重采样，将所有的肝脏数据的输出物理间隔设置为(1.25，1.25，5.0)，同时对ct扫描结果和医生的分割结果采取不同的插值方式：对于ct扫描结果，采用双线性插值；对于医生的分割结果采用最近邻插值。

(4)经过以上三步骤之后将处理好的数据保存，作为fixed_data。

(5)对fixed_data作随机仿射变换，概率为0.15，生成fixed_data_0；对fixed_dat_0随机切块，切成的大小为(192，192，16)的体积块；对fixed_data_1增加高斯噪声，概率为0.15，标准差为0.01，生成fix_data_1；对fixed_data_1作随机翻转，在三个维度上均有0.5的概率变为镜像数据。

(6)设计包含segse模块和recombination模块的3du-net神经网络结构。其中涉及到的降采样模块举例如下：

其中涉及到的上采样模块举例如下：

将以上涉及到的降采样和上采样模块组合成通道数为1，[16，32，48，64，96]，的3d-unet，并采用跨层链接的办法将降采样和上采样部分具有相同尺寸的特征图进行融合。

(7)训练过程的其他设计：采用adam优化器，初始学习率设为0.001，迭代epoch设为100，每批次训练8个样本，同时设计早停规则，当模型效果在验证集上的错误连续10次迭代不再降低，则停止训练过程，结束训练来防止过拟合。

(8)推断过程采用滑动窗口的方法，对一个ct样本切割成许多长宽高体素相等的立方体，送进网络进行逐立方体推断，对于重合体素部分采用高斯平均的办法计算最终概率。

(9)本发明提出在像素级标签的测试集上验证模型的效果，并输出分割结果，测试集包括nii图像和对应的像素级标签，采用医学影像处理中常用的dice系数作为衡量分割精度的指标，公式如下：

其中g代表真实标签，p代表预测结果。

本发明设计的网络相比经典3du-net网络分割出来的dice系数略有提高，说明了本发明的有效性。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。