基于空洞卷积和多尺度融合的黑色素瘤分割方法与流程

[0001]
本发明涉及皮肤癌黑色素瘤的分割方法


背景技术：

[0002]
黑色素瘤是最危险的皮肤病之一。通过早期研究发现，最致病的黑色素瘤的5年生存率可高达99％；但是，延迟诊断会导致生存率下降至23％。皮肤镜检查是用皮肤镜检查皮肤病变的手段，通常用来诊断黑色素瘤。但是，即使是专业的皮肤科医生，手动检查皮肤镜图像是一项容易出错和耗时的工作。
[0003]
因此，有必要开发一种协助皮肤科医生准确地分割黑色素瘤的计算支持系统。由于黑色素瘤存在不同的大小，形状和纹理，这项任务仍然具有挑战性。而且，一些皮肤镜图像可能包含干扰物，例如头发，标尺标记和颜色校准。卷积神经网络被大量用来解决语义分割任务。其中，u-net广泛应用于医学图像分割，采用编码器(下采样)和解码器(上采样)结构，用跳跃连接将低级纹理特征和对应的高级语义特征整合在一起。由于浅层特征未经过处理，直接和深层特征整合在一起，会导致信息冗余，进而影响分割精度结果。
[0004]
由于黑色素瘤区域存在边界模糊、形状各异，对于一般的分割网络难以精确分割出黑色素瘤。医学图像中大范围像素之间可能具有很强的联系，然而一般的分割网络通常采用固定大小的卷积核对图像进行下采样，这样导致网络只能捕获到局部的上下文信息。关于提出的空洞空间卷积池化金字塔(aspp)在下采样之后也只能提取到部分的上下文信息，无法产生紧密的多尺度特征。


技术实现要素：

[0005]
本发明要克服现有技术的上述缺点，提供一种基于空洞卷积和多尺度融合的黑色素瘤分割方法。
[0006]
本发明为了应对皮肤镜图像中存在的干扰导致神经网络无法获得较好分割精度，对传统u-net中的下采样结构和简单跳跃连接做相应的改变，有效地扩大感受野以及抑制浅层特征和深层特征直接融合带来的噪声，提供一种基于空洞卷积和多尺度融合的黑色素瘤分割方法。
[0007]
为使本发明的目的、技术方案和优点更加清晰，下面就对本发明的技术方案作进一步描述。基于空洞卷积和多尺度融合的黑色素瘤分割方法，包括以下步骤：
[0008]
步骤1)预处理医学图像；
[0009]
对采集到的皮肤镜图像的数据按照7：1：2划分为训练集，验证集和测试集，对用于网络训练的训练集图像做数据增广处理；
[0010]
步骤2)构建具有灵活感受野的多尺度聚合网络模型；
[0011]
2.1构建通道注意空洞卷积模块用于特征提取；
[0012]
以通道注意空洞卷积层代替u-net中的编码层，将步骤1)中的皮肤镜图像作为输入，输出提取到的特征图featuremap为后续网络提供输入；每一层都使用三个平行的空洞
卷积提取特征，每个空洞卷积的扩张率都不同；然后对提取到的特征图进行全局平均池化操作，通过考虑每个通道及其k个邻居通道，捕获跨通道交互信息，为特征图的每个通道重新分配权重，然后将三个特征图相加得到这一层的输出特征图；浅层通常学习到简单的纹理信息，随着层数越深，将捕获到复杂的抽象信息；
[0013]
2.2构建聚合交互模块，即aim；
[0014]
聚合交互模块的提出是为了弥补编码层和对应的解码层的特征图之间的语义差距，抑制跳跃连接可能引起的噪声；u-net中将两者直接聚合，由于两者之间的语义信息相差较大，会产生信息冗余的噪声，因此会影响最终的分割结果；aim从相邻的编码层接收特征图，通过一个3*3的卷积层降低特征的通道数以减少计算量，接着再用卷积层获得多尺度信息聚合成最终的特征图；
[0015]
2.3构建解码层；
[0016]
解码层将编码层得到的特征图进行上采样操作，然后与聚合交互模块输出的特征图进行系数相加，经过两次3*3的卷积层操作后得到输出特征图；在最后一解码层后接一个1*1的卷积层以及sigmoid函数处理得到最终的分割结果；
[0017]
步骤3)将训练集数据输入模型中进行训练；
[0018]
将步骤1)中的处理好的训练集输入到步骤2)中构建好的网络模型中，采用随机初始化和adam优化方法；设置初始化学习率、动量、迭代次数，根据设置好的训练策略进行训练。首先将输入的训练集进行数据增广处理然后进行训练，然后将验证集在训练后的网络模型上得到验证结果，之后按梯度更新一次，重复这样的步骤直到达到迭代次数；
[0019]
步骤4)皮肤镜图像病灶区域分割；
[0020]
将测试集数据输入步骤3)中训练好的预测模型中，得到分割结果，根据评价指标说明本发明能够辅助分割皮肤镜图像；
[0021]
本发明提出了一种基于空洞卷积和多尺度融合的黑色素瘤分割方法。通过三个平行的空洞卷积相加，且为每个空洞卷积产生的特征图分配不同的权重达到灵活扩大感受野的效果；通过对相邻下采样层得到的特征信息进行融合，抑制跳跃连接中信息冗余造成的噪声干扰。提高对大小差异大的黑色素瘤区域的适应性，提升对黑色素瘤分割的精确度。
[0022]
本发明具有以下优点：
[0023]
本发明提出具有灵活感受野的多尺度聚合网络用于分割黑色素瘤，其中通道注意空洞卷积模块可以根据图像特征自适应的扩大感受野，获取更加紧密的上下文信息，缓解固定感受野引起的特征不充分问题；聚合交互模块可以将编码层输出的特征与相邻编码层的特征进行聚合，获得多尺度信息，并且降低了编码层和对应的解码层之间的语义差距，抑制跳跃连接结构引起的信息冗余噪声。
附图说明
[0024]
图1是实现本发明方法的系统的整体网络框架结构示意。
[0025]
图2是实现本发明方法的系统的网络中通道注意空洞卷积模块示意图。
[0026]
图3是实现本发明方法的系统的网络中通道关注模块示意图。
[0027]
图4是实现本发明方法的系统的网络中聚合交互模块示意图。
具体实施方式
[0028]
以下结合附图对本发明做进一步说明：
[0029]
本发明的基于空洞卷积和多尺度融合的黑色素瘤分割方法，包括以下步骤：
[0030]
步骤1)预处理医学图像；
[0031]
对采集到的皮肤镜图像的数据按照7：1：2划分为训练集，验证集和测试集，并将图像像素大小设置为128*128；对用于网络训练的训练集图像做数据增广处理，在-30
°
至30
°
范围随机旋转，随机水平翻转和随机缩放至原图0.8和1.2倍之间；
[0032]
步骤2)构建具有灵活感受野的多尺度聚合网络模型；
[0033]
2.1构建通道注意空洞卷积模块用于特征提取；
[0034]
以通道注意空洞卷积层代替u-net中的编码层，将步骤1)中的皮肤镜图像作为输入，输出提取到的特征图featuremap为后续网络提供输入；每一层都使用三个平行的空洞卷积提取特征，每个空洞卷积的扩张率都不同；然后对提取到的特征图进行全局平均池化操作，通过考虑每个通道及其k个邻居通道，捕获跨通道交互信息，为特征图的每个通道重新分配权重，然后将三个特征图相加得到这一层的输出特征图；浅层通常学习到简单的纹理信息，随着层数越深，将捕获到复杂的抽象信息；
[0035]
下采样共采用5个通道注意空洞卷积层，每层使用三个平行的空洞卷积的卷积核大小均为3*3，扩张率分别设置为1、2、3，步长stride＝1，填充padding与各自的扩张率相同，池化pooling操作均采用2*2最大池化；输入128*128*3的图片，同时经过64个卷积核的三个空洞卷积得到三个通道数为64的特征图featuremap，之后经过通道关注模块全局平均池化操作得到1*1*c大小的向量，然后采用卷积核大小为3的1*1卷积获得跨通道信息，之后用sigmoid函数激活，与原先特征图系数相乘为每个通道分配各自的权重，最后相加得到128*128*64的特征图，采用一个pooling操作作为下一层编码层的输入；重复这样的五次操作，编码层分别得到通道数为64、128、256、512、1024的特征图；模块可以描述为：
[0036][0037]
其中d表示空洞卷积，k表示扩张率，c表示通道关注模块，f表示输入的特征；
[0038]
2.2构建聚合交互模块，即aim；
[0039]
聚合交互模块的提出是为了弥补编码层和对应的解码层的特征图之间的语义差距，抑制跳跃连接可能引起的噪声；u-net中将两者直接聚合，由于两者之间的语义信息相差较大，会产生信息冗余的噪声，因此会影响最终的分割结果；aim从相邻的编码层接收特征图f
i-1
、f
i
、f
i+1
，通过一个3*3的卷积层降低特征的通道数以减少计算量；接着每一分支b采用池化或插值操作缩放至相邻分支特征图大小，每个分支融合采用系数相加；最后，所有分支被整合到一个卷积层中，为了训练更容易优化，输出加入了残差模块；整个模块过程可以写成：
[0040][0041][0042]
其中i和m分别表示残差映射和分支合并，b
i
表示i分支的操作，f表示输入的特征；
[0043]
2.3构建解码层；
[0044]
解码层将编码层得到的特征图进行上采样操作，然后与聚合交互模块输出的特征图进行系数相加，经过两次3*3的卷积层操作后得到输出特征图；在最后一解码层后接一个1*1的卷积层以及sigmoid函数处理得到最终的分割结果；sigmoid函数定义如下：
[0045][0046]
步骤3)将训练集数据输入模型中进行训练；
[0047]
将步骤1)中的处理好的训练集输入到步骤2)中构建好的网络模型中，采用随机初始化和adam优化方法；设置初始化学习率、动量、迭代次数，根据设置好的训练策略进行训练；首先将输入的训练集进行数据增广处理然后进行训练，然后将验证集在训练后的网络模型上得到验证结果，之后按梯度更新一次，重复这样的步骤直到达到迭代次数；
[0048]
批次大小为12，epoch为80，初始学习率为0.0001，动量为0.9；对训练得到的prediction与groundtruth采用tverskyloss+consistency-enhancedloss进行训练，损失函数可以写成：
[0049][0050][0051]
l
total
＝l
tver
(p，g，α，β)+l
cel
(p，g)
ꢀꢀꢀ
(7)
[0052]
其中α设置为0.3，β设置为0.7，p和g分别表示预测图和标定好的标准图；
[0053]
步骤4)皮肤镜图像病灶区域分割；
[0054]
将测试集数据输入步骤3)中训练好的预测模型中，得到分割结果，由评估指标评价分割结果好坏，包括精确度(ac)，骰子系数(di)，雅卡尔指标(ja)，灵敏度(se)，评估指标计算方式如下：
[0055][0056][0057]
其中，tp为真阳性，tn为真阴性，fp为假阳性，fn为假阴性；根据评价指标说明本发明能够辅助分割皮肤镜图像。
[0058]
本发明提出的通道注意空洞卷积模块可以根据图像特征自适应的扩大感受野，获取更加紧密的上下文信息，缓解固定感受野引起的特征不充分问题；聚合交互模块可以将编码层输出的特征与相邻编码层的特征进行聚合，获得多尺度信息，并且降低了编码层和对应的解码层之间的语义差距，抑制直接聚合引起的噪声。本发明能够分割精确的皮肤镜图像，起到辅助作用。