一种基于卷积神经网络的肝脏肿瘤分割方法及系统与流程
本发明涉及医学图像处理领域，特别是涉及一种基于卷积神经网络的肝脏肿瘤分割方法及系统。
背景技术：
肝癌是致死率较高的一种恶性肿瘤，早发现早治疗将显著提高肝癌患者的生存率。相关文献表明，晚期肝癌五年相对存活率仅为18％，而早期诊断为肝癌的五年相对存活率增加到70％。通常，早期的肝癌以ct(计算机断层扫描)扫描位于肝脏表面或内部的肿瘤形式表现出来。对于计算机辅助肝病的诊断，准确的肝肿瘤分割是必不可少的先决步骤，但是，由于ct扫描时会出现大量图像切片，因此在短时间内对ct扫描进行诊断性读取对于放射科医生而言是巨大的工作量，并且容易发生错误。因此，开发实时的全自动肝肿瘤分割算法对于临床诊断是非常必要的。
在计算机断层扫描(ct)中进行肝肿瘤分割是一项非常具有挑战性的任务。首先，人的肿瘤大小、形状和位置各不相同。其次，肿瘤与周围正常肝组织之间的界限是模糊的，有些肿瘤可能与其他器官和血管相邻。此外，肿瘤外观的巨大多样性和密度不均匀也使得肝肿瘤分割成为一项艰巨的任务。为了准确高效地分割出肝脏肿瘤，目前主流的方法可以分为两大类，基于传统机器学习方法和基于深度学习方法。在传统方法中，有人提出了一种基于随机特征子空间集的极限学习机，用于肝脏肿瘤的检测和分割。还有一些人提出基于体素的方法可用于肝肿瘤分割。有人提出了一种结合水平集方法和监督像素分类的肝肿瘤分割方法。然而，这些方法依赖于手动产生功能并且表达能力有限，这使得难以处理多尺度大规模ct图像。
近年来，随着深层卷积神经网络在计算机视觉中的成功应用，深层卷积网络也被广泛用于医学图像处理中。有人提出了一种3d多尺度卷积神经网络用于肝脏分割，类似于3du-net的结构，但是该方法因为使用3d卷积，存在着更高的计算成本和内存消耗，并且会产生很多冗余运算。有人提出了一种用于肝肿瘤分割的注意混合连接体系结构，该结构结合了软和硬注意机制以及长跳和短跳连接，虽然会存在较多的参数，但是也取得了不错的效果。有人同时使用了u-net的远程连接和resnet的短距离残余连接。使用130个lits训练数据集对模型进行了训练，在70次测试ct扫描中进行评估时，该模型的平均dice得分为0.67，具有不错的效果。为了提高准确性，许多人使用类似层叠的网络来分割肿瘤。有部分学者提出了一种基于两个网络的训练方法，第一个fcn训练肝脏，然后以第一个网络的肝脏分割结果作为输入，用于第二个fcn网络的肿瘤训练。尽管可以提高准确性，但是两个网络的结构存在生成的计算量很大，操作繁琐，运算速度较慢的问题。
技术实现要素：
本发明的目的是提供一种基于卷积神经网络的肝脏肿瘤分割方法及系统，以提高肿瘤分割的准确度。
为实现上述目的，本发明提供了如下方案：
一种基于卷积神经网络的肝脏肿瘤分割方法，包括：
构建u型结构编码器/解码器网络；所述u型结构编码器/解码器网络包括收缩路径和扩展路径；
在所述u型结构编码器/解码器网络的下采样和上采样的卷积层中均添加残差块，形成跳跃连接结构；
将权重注意力机制模块添加至所述u型结构编码器/解码器网络的下采样中，与所述跳跃连接结构结合，形成卷积神经网络模型；
采用数据训练集对所述卷积神经网络模型进行训练，得到训练好的卷积神经网络模型；
将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图。
可选的，所述残差块的公式为：
xl+1＝xl+f(xl+wl)
其中，xl+1为第l+1层卷积层的卷积结果，xl为第l层卷积层的卷积结果，wl为第l层卷积层的权重，f(xl+wl)为残差部分。
可选的，所述将权重注意力机制模块添加至所述u型结构编码器/解码器网络的下采样中，与所述跳跃连接结构结合，形成卷积神经网络模型，具体包括：
确定所述权重注意力机制模块的squeeze单元；所述squeeze单元用于采用全局平均池化方法将同一个通道上卷积层输出的特征图编码为全局特征，得到所述通道的全局特征；
确定所述权重注意力机制模块的excitation单元，所述excitation单元用于生成每个通道的权重；
确定所述权重注意力机制模块的scale单元，所述scale单元用于将所述通道的权重添加至所述u型结构编码器/解码器网络中对应的网络层，形成卷积神经网络模型。
可选的，所述卷积神经网络模型下采样的最后一层池化层包括两组并联的卷积层，所述两组并联的卷积层对应的卷积核不同；所述两组并联的卷积层的输出经过特征融合后输入所述卷积神经网络模型上采样。
可选的，所述将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图，具体包括：
对所述待分割的肝脏图像进行预处理，得到预处理图像；
将所述预处理图像输入训练好的卷积神经网络模型中；
采用所述卷积神经网络模型依次进行卷积运算、上采样和下采样操作，利用sigmoid激活函数对每个像素进行预测，得到所述肝脏分割结果图和所述肿瘤分割结果图。
可选的，所述将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图，之后还包括：
对所述肿瘤分割结果图与所述肝脏分割结果图的相同位置进行像素比较；
将同一位置处，所述肿瘤分割结果图中与所述肝脏分割结果图像素不一致的像素置零，得到后处理后的肿瘤分割结果图。
本发明还提供一种基于卷积神经网络的肝脏肿瘤分割系统，包括：
u型结构编码器/解码器网络构建模块，用于构建u型结构编码器/解码器网络；所述u型结构编码器/解码器网络包括收缩路径和扩展路径；
残差块添加模块，用于在所述u型结构编码器/解码器网络的下采样和上采样的卷积层中均添加残差块，形成跳跃连接结构；
卷积神经网络模型生成模块，用于将权重注意力机制模块添加至所述u型结构编码器/解码器网络的下采样中，与所述跳跃连接结构结合，形成卷积神经网络模型；
网络训练模块，用于采用数据训练集对所述卷积神经网络模型进行训练，得到训练好的卷积神经网络模型；
肝脏肿瘤分割模块，用于将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图。
可选的，所述卷积神经网络模型生成模块，具体包括：
squeeze单元确定子模块，用于确定所述权重注意力机制模块的squeeze单元；所述squeeze单元用于采用全局平均池化方法将同一个通道上卷积层输出的特征图编码为全局特征，得到所述通道的全局特征；
excitation单元确定子模块，用于确定所述权重注意力机制模块的excitation单元，所述excitation单元用于生成每个通道的权重；
scale单元确定子模块，用于确定所述权重注意力机制模块的scale单元，所述scale单元用于将所述通道的权重添加至所述u型结构编码器/解码器网络中对应的网络层，形成卷积神经网络模型。
可选的，所述肝脏肿瘤分割模块，具体包括：
预处理子模块，用于对所述待分割的肝脏图像进行预处理，得到预处理图像；
输入子模块，用于将所述预处理图像输入训练好的卷积神经网络模型中；
预测子模块，用于采用所述卷积神经网络模型依次进行卷积运算、上采样和下采样操作，利用sigmoid激活函数对每个像素进行预测，得到所述肝脏分割结果图和所述肿瘤分割结果图。
可选的，还包括：
像素比较模块，用于将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图之后，对所述肿瘤分割结果图与所述肝脏分割结果图的相同位置进行像素比较；
肿瘤分割结果图后处理模块，用于将同一位置处，所述肿瘤分割结果图中与所述肝脏分割结果图像素不一致的像素置零，得到后处理后的肿瘤分割结果图。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明在卷积神经网络模型中整合了注意机制和跳跃连接，整体过程操作简单，易于实现，且具有较高的分割准确率。而且，sequeeze单元和excitation单元的注意机制被引入到u-net中，以显式地建模特征通道之间的相互依赖性，利用此重要性来推广有用的功能，并删除对当前任务无用的功能，大大提高了网络性能，增强了算法的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于卷积神经网络的肝脏肿瘤分割方法的流程示意图；
图2为本发明基于残差块的跳跃连接结构示意图；
图3为本发明基于squeeze单元和excitation单元的网络结构示意图；
图4为本发明卷积神经网络的整体结构示意图；
图5为本发明卷积神经网络训练的流程示意图；
图6为本发明预处理的流程示意图；
图7为本发明肝脏肿瘤分割结果对比图；
图8为本发明基于卷积神经网络的肝脏肿瘤分割系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于卷积神经网络的肝脏肿瘤分割方法的流程示意图。如图1所示，本发明基于卷积神经网络的肝脏肿瘤分割方法包括以下步骤：
步骤100：构建u型结构编码器/解码器网络。所述u型结构编码器/解码器网络与u-net网络的结构类似，由一个收缩路径和一个扩展路径组成。收缩路径遵循卷积网络的典型架构，由三个3×3卷积的重复应用组成，每个卷积后跟一个relu和一个2×2最大合并运算，步长为2，用于下采样。在每个下采样步骤中，将特征通道的数量增加一倍，分别为32，64，128，256，512。扩展路径中的每个步骤都包括对特征图进行上采样，然后进行2×2卷积，以将特征通道的数量减半，并与收缩路径中相应的特征图进行级联，再加上三个3×3卷积，每个卷积后跟一个relu。u型结构编码器/解码器网络最后的激活函数使用sigmoid。
步骤200：在u型结构编码器/解码器网络的下采样和上采样的卷积层中均添加残差块，形成跳跃连接结构。如图2所示，在u型网络基础上添加残差块，残差块的公式如下：
xl+1＝xl+f(xl+wl)
其中，xl+1为第l+1层卷积层的卷积结果，xl为第l层卷积层的卷积结果，wl为第l层卷积层的权重，f(xl+wl)为残差部分。将这种残差块分别添加在u型网络的下采样和上采样的五个尺度卷积中，形成跳跃连接结构。
步骤300：将权重注意力机制模块添加至u型结构编码器/解码器网络的下采样中，与跳跃连接结构结合，形成卷积神经网络模型。本发明将权重注意力机制模块(se模块)添加到u型结构编码器/解码器网络下采样的五个尺度中，和跳跃连接结构结合在一起。如图3所示，具体过程如下：
首先，确定所述权重注意力机制模块的squeeze单元。squeeze单元用于对卷积得到的特征图进行squeeze操作，squeeze操作是将一个通道上整体空间特征编码为一个全局特征，采用全局平均池化来实现，得到通道的全局特征。公式如下：
其中公式(3)是正常的卷积运算。公式中，*表示卷积；vc表示卷积核，
然后，确定所述权重注意力机制模块的excitation单元。excitation单元的excitation操作是一个类似于循环神经网络中门的机制，通过参数来为每个特征通道生成权重，其中参数被学习用来显式地建模特征通道间的相关性，目的是学习各个通道间的关系，公式如下：
s＝fex(zc,w)＝σ(g(zc,w))＝σ(w2σ(w1zc))(5)
其中s为生成的权重，σ表示非线性激活函数relu，w1和w2参数的范围均为c/r*c，c表示通道数目，r为缩放参数，本发明中r＝16，缩放参数是为了减少通道个数从而降低计算量。公式中w1zc为全连接层操作。又因为zc的维度是11c，所以w1zc就是11c/r；然后再经过一个relu层，输出的维度不变；然后再和w2相乘，和w2相乘也是一个全连接层的过程，最后再经过sigmoid函数，得到s。
最后，确定所述权重注意力机制模块的scale单元。scale单元的scale操作是为了将生成的权重加到每层网络特征中去，操作公式为：
fscale(uc,sc)＝sc*uc(6)
其中，uc表示是一个二维矩阵，sc表示权重，sc为一个数，因此公式(6)相当于把uc矩阵中的每个值都乘以sc，即将公式(5)得到的权重分配至卷积层。
本发明的se模块是在通道维度上做注意力监督操作，这种注意力机制让模型可以更加关注信息量最大的通道特征，而抑制那些不重要的通道特征。如图4所示，将se模块添加到下采样的五个尺度卷积，并将卷积神经网络下采样的最后一层池化层改成两组并联卷积的形式，不同大小的卷积核拥有不同的感受野，大的卷积核可以了解更多的信息。将两组并联的网络分别使用不同的卷积核进行卷积运算，然后再进行特征融合，融合后再进行上采样，上采样的五个尺度中依然添加跳跃连接残差块。
步骤400：采用数据训练集对卷积神经网络模型进行训练，得到训练好的卷积神经网络模型。如图5所示，训练过程如下：
步骤1，对现有数据集进行预处理。如图6所示，首先对以nii格式存储的肝脏ct数据集进行格式转换，因为本发明是处理二维图像的，因此首先将三维的ct图像沿着切片信息分解成二维png图像格式。
然后，为了减少由不同的ct扫描仪引起的差异，对所有肝脏ct图像进行标准化，采用线性归一化方法：
lnorm＝(l-lmin)(lmax-lmin)
其中l是训练的ct图像；lnorm是归一化的图像；lmin是图像的最小强度值；lmax是图像的最大强度值。同时采用直方图均衡化来增强对比度，增加肿瘤部分与非肿瘤部分之间的色差。
最后，进行数据增强。由于各个ct图像大小不一，所以将所有归一化处理后的png图像统一裁剪成304*304大小，在统一尺寸的前提下更大可能地缩小了正负样本的比例。之后对所有的裁剪后的图像进行适当的翻转和镜像操作，将训练集图像增长两倍左右，用于增强数据集。
步骤2，采用预处理后的数据集对卷积神经网络进行训练。
步骤2.1，选取步骤1中任意一张经过预处理后的图像img1和其对应的标签图像记作label1，标签图像就是图像img1所对应的真实肿瘤分割结果，大小相同均为304*304，训练数据中每个输入图像均对应一个正确的label。
将img1以数组形式输入到卷积神经网络中，输入图像img1经过五层下采样和五层上采样共计27层卷积，四个下采样和四个上采样操作，最后经过sigmoid激活函数对图像的每个像素进行二分类判断，输出的每个像素的值就是网络所预测出的结果，也就是损失函数中的y′。
输出的结果为一张高和宽与原图相同的特征图，记作logits1，将label1和logits1代入到损失函数中进行逐像素计算，得到损失loss1。
语义分割网络损失函数采用focusloss，此损失函数提出就是为了解决二分类问题上正负样本不均衡的问题。公式如下：
其中y′是激活函数的输出，因此在0-1之间。focus损失函数首先在原始基础上增加一个系数γ(γ>0)可以减少容易分类的样本的损失，本发明中γ为2。另外，添加平衡因子σ以平衡正样本和负样本的不均匀性，本发明σ为0.25，这意味着正样本小于负样本，因为负样本易于划分。
再通过反向传播算法计算在卷积和池化运算过程中产生的参数来降低损失函数，因为损失函数越小意味着预测结果越接近于真实结果，反向传播计算所产生的参数就是网络的权重，记为w。
步骤2.2，将所有经过步骤1预处理过的n张输入图像输入到卷积神经网络中，重复步骤2.1的操作，不断地降低损失，更新权重。等到损失稳定的降低在固定数值后停止训练，得到最后权重w。将训练好的肝脏和肿瘤权重w添加到卷积神经网络中，便得到训练好的卷积神经网络。
步骤500：将待分割的肝脏图像输入训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图。首先，采用训练过程中步骤1的方式对待分割的肝脏图像进行预处理；然后，将预处理过的肝脏肿瘤图像输入到训练好的卷积神经网络，经过27次卷积运算以及四次下采样和四次上采样，最后通过sigmoid对每个像素进行预测，生成肝脏分割结果图和肿瘤分割结果图。
得到肝脏分割结果图和肿瘤分割结果图之后，为了清除肿瘤分割部分中的非肝脏误分部分，提高分割结果的准确度，本发明进一步对所述肿瘤分割结果图与所述肝脏分割结果图的相同位置进行像素比较。然后将同一位置处，所述肿瘤分割结果图中与所述肝脏分割结果图像素不一致的像素置零，保留一致的像素，得到后处理后的肿瘤分割结果图。
图7为本发明肝脏肿瘤分割结果对比图。如图7所示，图中第一列是输入训练的图像(图7中(a)部分和(d)部分)，第二列是本发明的分割结果(图7中(b)部分和(e)部分)，第三列是医生手动分割结果(图7中(c)部分和(f)部分)，由此可以看出本发明基于卷积神经网络的肝脏肿瘤分割方法的分割准确度高。
图8为本发明基于卷积神经网络的肝脏肿瘤分割系统的结构示意图。如图8所示，本发明基于卷积神经网络的肝脏肿瘤分割系统包括以下结构：
u型结构编码器/解码器网络构建模块801，用于构建u型结构编码器/解码器网络；所述u型结构编码器/解码器网络包括收缩路径和扩展路径。
残差块添加模块802，用于在所述u型结构编码器/解码器网络的下采样和上采样的卷积层中均添加残差块，形成跳跃连接结构。
卷积神经网络模型生成模块803，用于将权重注意力机制模块添加至所述u型结构编码器/解码器网络的下采样中，与所述跳跃连接结构结合，形成卷积神经网络模型。
网络训练模块804，用于采用数据训练集对所述卷积神经网络模型进行训练，得到训练好的卷积神经网络模型。
肝脏肿瘤分割模块805，用于将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图。
作为另一实施例，本发明基于卷积神经网络的肝脏肿瘤分割系统中，所述卷积神经网络模型生成模块803，具体包括：
squeeze单元确定子模块，用于确定所述权重注意力机制模块的squeeze单元；所述squeeze单元用于采用全局平均池化方法将同一个通道上卷积层输出的特征图编码为全局特征，得到所述通道的全局特征。
excitation单元确定子模块，用于确定所述权重注意力机制模块的excitation单元，所述excitation单元用于生成每个通道的权重。
scale单元确定子模块，用于确定所述权重注意力机制模块的scale单元，所述scale单元用于将所述通道的权重添加至所述u型结构编码器/解码器网络中对应的网络层，形成卷积神经网络模型。
作为另一实施例，本发明基于卷积神经网络的肝脏肿瘤分割系统中，所述肝脏肿瘤分割模块805，具体包括：
预处理子模块，用于对所述待分割的肝脏图像进行预处理，得到预处理图像。
输入子模块，用于将所述预处理图像输入训练好的卷积神经网络模型中。
预测子模块，用于采用所述卷积神经网络模型依次进行卷积运算、上采样和下采样操作，利用sigmoid激活函数对每个像素进行预测，得到所述肝脏分割结果图和所述肿瘤分割结果图。
作为另一实施例，本发明基于卷积神经网络的肝脏肿瘤分割系统还包括：
像素比较模块，用于将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图之后，对所述肿瘤分割结果图与所述肝脏分割结果图的相同位置进行像素比较。
肿瘤分割结果图后处理模块，用于将同一位置处，所述肿瘤分割结果图中与所述肝脏分割结果图像素不一致的像素置零，得到后处理后的肿瘤分割结果图。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！