一种基于深度学习的结直肠癌病灶区域轻量级分割方法

1.本发明涉及图像识别技术领域，尤其是一种基于深度学习的结直肠癌病灶区域轻量级分割方法。


背景技术：

2.对于结直肠癌的诊断和治疗已经成为重要的研究问题。医学图像分割的目的是将医学图像中感兴趣的目标区域分割出来，为疾病诊断与治疗提供更可靠的依据。近年来，依靠深度神经网络强大的特征学习能力，深度学习在多种医学图像分割问题中获得了成功的应用。ronneberger等提出的u-net是一种最为常用的医学分割网络模型，具有编码器-解码器的结构，其中编码器旨在捕获更高级的语义特征并逐渐减少特征图的空间维度，解码器则用于恢复对象细节和空间维度。为了进一步提高u-net的性能，许多学者将学习能力更强的simonyan等提出的vggnet、he等提出的resnet和huang等提出的densenet等网络结构融入u-net框架中。例如，guo等将vgg模块作为u-net的编码器，在结直肠息肉分割任务中获得了较高的分割精度；abedalla等将在imagenet上预训练过的resnet作为编码器部分，在胸部x射线图像气胸分割问题中取得了很好的效果；li等基于densenet模型设计编码器，提高了肝脏和肝肿瘤分割的精度。此外，很多学者也将注意力机制引入u-net网络，旨在选择出对当前任务更关键的特征。例如，oktay等在u-net框架下添加门注意力模块，在腹部ct多标签分割问题中得到了很好的应用。
3.上述方法设计了不同的网络结构用于医学图像分割，然而这些网络算法存在着一些局限性：1、在取得较好分割效果的同时，模型参数量也在大幅上涨，耗费的硬件资源和时间较多；2、网络在病灶的细节分割上存在些许不足，不能够充分学习图像的全局特征和局部特征，从而导致不能很好的分割病灶区域，对于病灶区域的细节分割容易出现漏判，且网络的模型参数量不能够很好控制。


技术实现要素：

4.本发明提出一种基于深度学习的结直肠癌病灶区域轻量级分割方法，能取得较为优异的分割效果，而且能够在模型轻量化和性能之间取得较好的平衡。
5.本发明采用以下技术方案。
6.一种基于深度学习的结直肠癌病灶区域轻量级分割方法，包括以下步骤；
7.步骤s1、数据处理：对获得的腹部图像进行数据预处理和数据增强操作；
8.步骤s2、网络搭建与训练：所述网络为基于语境引导网络搭建的神经网络，在语境引导块中加入高效金字塔通道注意力模块，采用残差思想与语境引导块提取的局部特征结合，进行神经网络训练；
9.步骤s3、预测分割：向神经网络输入测试数据，读取训练时保存好的模型权重并执行预测分割，将输出的图像病灶区域预测分割结果与神经网络的label进行对比评价。
10.在步骤s1中，腹部图像为腹部mri数据图像数据集，并把数据集按所需比例划分为
训练集和测试集，所述数据预处理用于提升步骤s3输出的病灶分割精度，其方法为：对图像进行归一化后，利用高斯拉普拉斯滤波器增强腹部图像的边缘纹理表达，再将原图像与滤波后的图像相结合，同时扩大算子的高斯平滑分量以减少叠加后的噪声分量；其中高斯拉普拉斯滤波器的公式如下：
[0011][0012]
其中σ是高斯标准差，log(x,y)是高斯拉普拉斯滤波器滤波后的像素点，x,y分别是水平像素和垂直像素值，e为自然常数。
[0013]
数据集按3:2的比例划分为训练集和测试集。
[0014]
步骤s2中，网络模型为高效金字塔语境引导网络模型，即轻量性的语境引导网络模型，并在此基础上引入深度可分离卷积以整体改进模型并在轻量性和高性能之间取得平衡，在神经网络的编码模块中加入高效金字塔通道注意力模块以学习图像中的多尺度全局特征，并采用残差思想与语境引导块提取的局部特征相结合，学习丰富图像中的高级和低级语义特征。
[0015]
所述网络模型为具有三个下采样部分的epcg-net模型，在第一个下采样部分只叠加三个标准卷积层进行特征的初步提取，在第二部分和第三部分中将m和n个epcg块进行叠加，以分别将特征图下采样到输入图像；
[0016]
对于第二部分和第三部分来说，第一层的输入是通过组合前一部分的第一和最后一块来获得，以使得图像特征得到重用激励，并减少了梯度消失的可能；
[0017]
最后，使用1
×
1卷积层和线性插值上采样来产生分割预测，具体为；特征提取的epcg块的空洞卷积采用深度可分离卷积以进一步减少参数的数量，消除了跨通道的计算成本，也避免了网络性能的过度下降；所述注意力机制采用分组卷积以减少参数量。
[0018]
所述epcg模块中，首先采用1
×
1的卷积操作，然后将卷积操作后的向量分别送入3
×
3的卷积和3
×
3的空洞深度可分离卷积，接着将普通卷积和空洞深度可分离卷积的两个张量进行通道叠加，随后对合并的张量进行batchnorm批归一化，在归一化输出后加入prelu激活函数；
[0019]
所述3
×
3的普通卷积用于提取局部特征，3
×
3的空洞深度可分离卷积用于提取局部上下文特征，通过空洞深度可分离卷积的空洞率提高，来逐渐提高提取的上下文特征范围，以利用深度可分离卷积减少深度卷积引起的性能下降，同时避免过多地增加参数量，取得参数量和性能的一个平衡；
[0020]
通过prelu函数激活使网络具有非线性映射学习能力，具体为将激活后的张量通过高效金字塔通道注意力模块epca，以缓解梯度消失并增强网络性能，采用残差的方法将处理后的张量与初始输入张量进行相加。
[0021]
所述epca模块以通道注意力机制允许网络有选择地对每个通道的重要性进行加权，以帮助网络更好的学习需要的特征，具体为：设x∈rc×h×w表示输入特征图，其中c、h、w分别表示其通道数、高度和宽度；设置由压缩和激励两部分组成的se块，分别用于编码全局信息和自适应地重新分配通道关系权重；通过使用全局平均池化来生成通道级描述，该全局平均池化将全局空间信息嵌入到通道描述中；全局平均池化运算符可以通过以下公式表
示：
[0022][0023]
se模块中第c个通道的关注权重可以表示为：
[0024]
wc＝σ(w1δ(w0(gc)))
ꢀꢀꢀ
公式三；
[0025]
其中，符号δ表示特定线性单元relu运算，和表示两个全连接(fc)层；通过两个全连接层以更有效地组合通道之间的线性信息，并有助于高、低通道维度信息的交互；符号σ表示激励函数，使用sigmoid函数；通过使用激励函数在通道交互后为通道分配权重以更有效地提取信息；以上所述的生成通道关注度的过程称为seweight模块；
[0026]
epca模块结构中，在高效金字塔拆分注意力模块epsa中，输入图像特征时，先将通道进行平均划分，然后把切分好的特征张量送入分组卷积；
[0027]
为防止提取不同尺度特征所包含信息量不足且不能充分发挥注意力机制，引出epca注意力模块，具体为：首先进入分组卷积模块gconv将输入张量并行进行不同尺度的组卷积操作得到多尺度特征fi(i＝0,1,2,3)，旨在提取不同尺度的特征，每个尺度的卷积组数根据卷积核大小递增，以减少不同尺度卷积带来的参数量以提高网络效率；而后将多尺度特征在通道上重新连接得到重构特征张量f；通过seweight模块提取多尺度特征张量的通道关注度权重来构建跨维交互，利用softmax运算重新校准相应通道的关注权重得到attweight，从而建立了通道依赖关系，将逐元素乘积的运算应用于重新校准的权重和对应的特征映射；最后得到更丰富的多尺度特征信息的重构特征图作为输出out；fi、f、attweight、out之间的关系如以下公式所示：
[0028]
f＝cat([f1,
…
,fi])i＝1,2,3,4
ꢀꢀꢀ
公式四；
[0029][0030]
attweightcat＝([attweight1,
…
,attweighti])i＝0,1,2,3
ꢀꢀꢀ
公式六；
[0031][0032]
所述gconv模块结构中，输入图像特征时分别采用3
×
3、5
×
5、7
×
7、9
×
9四个不同卷积核进行卷积，每个卷积过后的特征通道递减为通道，以每个卷积核产生不同的空间感受野，以并行卷积同时处理多尺度张量信息；引入分组卷积以减小卷积参数量；
[0033]
分组卷积过后将多尺度特征进行通道叠加，形成和模块输入大小一致的重组多尺度特征张量；分组卷积对应的组数与卷积核大小的关系为：
[0034][0035]
其中，g为分组的组数，k为对应的卷积核大小。
[0036]
本发明提出的方法能够取得较为优异的分割效果，而且能够在模型轻量化和性能之间取得一个较好的平衡，具体为：
[0037]
优点1：
[0038]
引入多尺度注意力机制，能够更加关注多尺度特征，从而避免病灶细节的漏判。
[0039]
优点2：
[0040]
利用轻量级网络的思想，降低网络的参数量。在降低网络的参数量同时，采取一些措施来避免网络轻量化导致的性能过度下降。
[0041]
优点3：
[0042]
在网络轻量化和性能之间取得了较好的平衡，于医学临床诊断分割应用和将来部署在移动设备上具有一定的指导意义。
附图说明
[0043]
下面结合附图和具体实施方式对本发明进一步详细的说明：
[0044]
附图1是本发明所述方法的流程示意图；
[0045]
附图2是图像数据集内图像经预处理的滤波处理后的前后对比示意图(图中(a)为处理前，(b)为处理后)；
[0046]
附图3是神经网络模型的训练总体框架示意图；
[0047]
附图4是epcg模块的结构示意图；
[0048]
附图5是epca模块的结构示意图；
[0049]
附图6是gconv模块的结构示意图；
[0050]
附图7是针对图像数据集进行测试时不同技术方案的对比示意图(本发明是epcg-net方案)；
[0051]
附图8是与图7对应的测试实验的评价指标结果示意图(本发明是epcg-net方案)。
具体实施方式
[0052]
如图所示，一种基于深度学习的结直肠癌病灶区域轻量级分割方法，包括以下步骤；
[0053]
步骤s1、数据处理：对获得的腹部图像进行数据预处理和数据增强操作；
[0054]
步骤s2、网络搭建与训练：所述网络为基于语境引导网络搭建的神经网络，在语境引导块中加入高效金字塔通道注意力模块，采用残差思想与语境引导块提取的局部特征结合，进行神经网络训练；
[0055]
步骤s3、预测分割：向神经网络输入测试数据，读取训练时保存好的模型权重并执行预测分割，将输出的图像病灶区域预测分割结果与神经网络的label进行对比评价。
[0056]
如图2所示，在步骤s1中，腹部图像为腹部mri数据图像数据集，并把数据集按所需比例划分为训练集和测试集，所述数据预处理用于提升步骤s3输出的病灶分割精度，其方法为：对图像进行归一化后，利用高斯拉普拉斯滤波器增强腹部图像的边缘纹理表达，再将原图像与滤波后的图像相结合，同时扩大算子的高斯平滑分量以减少叠加后的噪声分量；其中高斯拉普拉斯滤波器的公式如下：
[0057][0058]
其中σ是高斯标准差，log(x,y)是高斯拉普拉斯滤波器滤波后的像素点，x,y分别是水平像素和垂直像素值，e为自然常数。
[0059]
数据集按3:2的比例划分为训练集和测试集。
[0060]
步骤s2中，网络模型为高效金字塔语境引导网络模型，即轻量性的语境引导网络模型，并在此基础上引入深度可分离卷积以整体改进模型并在轻量性和高性能之间取得平衡，在神经网络的编码模块中加入高效金字塔通道注意力模块以学习图像中的多尺度全局特征，并采用残差思想与语境引导块提取的局部特征相结合，学习丰富图像中的高级和低级语义特征。
[0061]
如图3所示，所述网络模型为具有三个下采样部分的epcg-net模型，在第一个下采样部分只叠加三个标准卷积层进行特征的初步提取，在第二部分和第三部分中将m和n个epcg块进行叠加，以分别将特征图下采样到输入图像；对于第二部分和第三部分来说，第一层的输入是通过组合前一部分的第一和最后一块来获得，以使得图像特征得到重用激励，并减少了梯度消失的可能；
[0062]
最后，使用1
×
1卷积层和线性插值上采样来产生分割预测，具体为；特征提取的epcg块的空洞卷积采用深度可分离卷积以进一步减少参数的数量，消除了跨通道的计算成本，也避免了网络性能的过度下降；所述注意力机制采用分组卷积以减少参数量。
[0063]
如图4所示，所述epcg模块中，首先采用1
×
1的卷积操作，然后将卷积操作后的向量分别送入3
×
3的卷积和3
×
3的空洞深度可分离卷积，接着将普通卷积和空洞深度可分离卷积的两个张量进行通道叠加，随后对合并的张量进行batchnorm批归一化，在归一化输出后加入prelu激活函数；
[0064]
所述3
×
3的普通卷积用于提取局部特征，3
×
3的空洞深度可分离卷积用于提取局部上下文特征，通过空洞深度可分离卷积的空洞率提高，来逐渐提高提取的上下文特征范围，以利用深度可分离卷积减少深度卷积引起的性能下降，同时避免过多地增加参数量，取得参数量和性能的一个平衡；
[0065]
通过prelu函数激活使网络具有非线性映射学习能力，具体为将激活后的张量通过高效金字塔通道注意力模块epca，以缓解梯度消失并增强网络性能，采用残差的方法将处理后的张量与初始输入张量进行相加。
[0066]
如图5所示，所述epca模块以通道注意力机制允许网络有选择地对每个通道的重要性进行加权，以帮助网络更好的学习需要的特征，具体为：设x∈rc×h×w表示输入特征图，其中c、h、w分别表示其通道数、高度和宽度；设置由压缩和激励两部分组成的se块，分别用于编码全局信息和自适应地重新分配通道关系权重；通过使用全局平均池化来生成通道级描述，该全局平均池化将全局空间信息嵌入到通道描述中；全局平均池化运算符可以通过以下公式表示：
[0067]
[0068]
se模块中第c个通道的关注权重可以表示为：
[0069]
wc＝σ(w1δ(w0(gc)))
ꢀꢀꢀ
公式三；
[0070]
其中，符号δ表示特定线性单元relu运算，和表示两个全连接(fc)层；通过两个全连接层以更有效地组合通道之间的线性信息，并有助于高、低通道维度信息的交互；符号σ表示激励函数，使用sigmoid函数；通过使用激励函数在通道交互后为通道分配权重以更有效地提取信息；以上所述的生成通道关注度的过程称为seweight模块；
[0071]
epca模块结构中，在高效金字塔拆分注意力模块epsa中，输入图像特征时，先将通道进行平均划分，然后把切分好的特征张量送入分组卷积；
[0072]
为防止提取不同尺度特征所包含信息量不足且不能充分发挥注意力机制，引出epca注意力模块，具体为：首先进入分组卷积模块gconv将输入张量并行进行不同尺度的组卷积操作得到多尺度特征fi(i＝0,1,2,3)，旨在提取不同尺度的特征，每个尺度的卷积组数根据卷积核大小递增，以减少不同尺度卷积带来的参数量以提高网络效率；而后将多尺度特征在通道上重新连接得到重构特征张量f；通过seweight模块提取多尺度特征张量的通道关注度权重来构建跨维交互，利用softmax运算重新校准相应通道的关注权重得到attweight，从而建立了通道依赖关系，将逐元素乘积的运算应用于重新校准的权重和对应的特征映射；最后得到更丰富的多尺度特征信息的重构特征图作为输出out；fi、f、attweight、out之间的关系如以下公式所示：
[0073]
f＝cat([f1,
…
,fi])i＝1,2,3,4
ꢀꢀꢀ
公式四；
[0074][0075]
attweightcat＝([attweight1,
…
,attweighti])i＝0,1,2,3
ꢀꢀꢀ
公式六；
[0076][0077]
如图6所示，所述gconv模块结构中，输入图像特征时分别采用3
×
3、5
×
5、7
×
7、9
×
9四个不同卷积核进行卷积，每个卷积过后的特征通道递减为通道，以每个卷积核产生不同的空间感受野，以并行卷积同时处理多尺度张量信息；引入分组卷积以减小卷积参数量；
[0078]
分组卷积过后将多尺度特征进行通道叠加，形成和模块输入大小一致的重组多尺度特征张量；分组卷积对应的组数与卷积核大小的关系为：
[0079][0080]
其中，g为分组的组数，k为对应的卷积核大小。
[0081]
如图7、图8所示，为进一步验证epcg-net的有效性，将epcg-net与目前经典分割网络u-net及其变体进行性能对比。同样是在腹部图像的数据集上进行，为了方便比较，对网络进行了定量分析和定性分析。
[0082]
图8的表格给出了实验的评价指标结果，可以看到epcg-net取得了与attu-net相当的性能，但是模型参数量和浮点数大小却远远小于attu-net；与基础u-net相比，epcg-net的模型参数量和浮点数大小也大幅减小。与u-net、resu-net和denseu-net相比，dice分别提高了6.9％、3.9％和0.3％，miou分别提高了7.8％、4.2％和0.6％。在acc、sen和spe三个指标上，epcg-net与其余网络相比也具有较大的优势。同时可以看到，当epcg-net取m3n21的时候，由于网络复杂度变高、深度出现了过深的情况导致网络性能出现了下降。
[0083]
在数据集上的定性分割结果如图7所示，可以看到cg-net因为缺失多尺度金字塔注意力机制等结构在分割上出现了一定漏判，而u-net及其变体出现了一定程度的误判。同样的可以看出epcg-net取m3n21的时候由于网络复杂度过大等原因在分割视觉效果上也出现了下降。定性分割结果与定量指标结果指向一致，epcg-net的分割结果能较好地描述真实的金标准。
[0084]
综上所述，本发明提出的方法能够取得较为优异的分割效果，而且能够在模型轻量化和性能之间取得一个较好的平衡。