一种基于多尺度残差编解码网络的图像分割方法及系统

1.本发明属于人工智能或深度学习技术领域，具体涉及一种基于多尺度残差编解码网络的图像分割方法及系统。


背景技术：

2.皮肤病是最常见的疾病之一，其中皮肤癌的致死率非常之高。例如，黑色素瘤的五年生存率不足15％。皮肤镜作为一种非介入式的成像工具，广泛的被用于辅助筛查和诊断皮肤病变。然而人工筛查皮肤病图片是一项费时费力且易受主观影响的工作。为了解决上述问题，计算机辅助诊断技术被引入临床医生的日常诊断中，以帮助临床医生高效的筛查和诊断皮肤病变。在皮肤病辅助诊断中，一个关键的步骤就是准确的定位病变的边界，即皮肤病变分割。病变分割的准确率会影响整个辅助诊断系统的准确率。因此，科研工作者投入了巨大的精力设计自动的皮肤病变分割算法，其中包括了经典的机器学习算法和当前流行的深度学习算法。
3.经典机器学习算法主要包括：聚类算法，阈值算法，可变性轮廓模型，和区域生长算法。这些算法严重依赖手工特征和精细的后处理方法，导致其在复杂的应用场景中性能较差。另一方面，深度学习方法能够自动的学习高维特征而无需人工干涉，且准确率超过了经典的机器学习算法，因此它在皮肤病分割领域占据了主导地位。编解码结构是最流行的图像分割框架。在编解码网络架构中，编码器通常用来提取图像的特征，而解码器将提取到的特征重建至输出的图像尺寸，并输出最终的分割结果。在本发明中，我们对比我们所设计的ms red和多种知名的分割网络，包括了：fcn，u-net，u-net++，attu-net，deeplabv3+，denseaspp，ca-net，do-net，ce-net。
4.fcn：它将传统cnn中的全连接层转化成一个个的卷积层，使该网络可以适应任意尺寸的输入。后续的深度学习分割算法大多基于fcn构建而成。
5.u-net：结合fcn架构和跳跃连接的思想，ronneberger等人设计了著名的u-net网络，在医学图像分割领域取得了大量的成功。
6.u-net++：在u-net的基础上，将u-net编解码不同层均连接起来，使网络可以自动的学习不同层的特征的重要性。
7.attu-net：将注意力机制引入u-net结构中，强化网络对于有用特征的学习能力，抑制网络对于无效特征的学习。
8.deeplabv3+：基于aspp结构构建的编解码网络，aspp表示带孔的空间金字塔池化模块，可以在不增加运算量的情况下，获得多尺度的特征。
9.denseaspp：为了得到更好的边界分割结果，denseaspp使用密集连接的aspp模块，使不同尺度的特征有效融合，在特征传递过程中，保留更多的细节信息。
10.ca-net：其中包含三个注意力机制模块,包括了空间注意力，通道注意力及尺度注意力，该网络可以用很少的参数量提供较好的分割性能。
11.do-net：结合aspp和lstm模块，模拟多尺度特征之间的关联关系，有效的提取特征
的上下文信息。
12.ce-net：结合inception-resnet-v2模块和aspp模块，生成感受野更大的多尺度特征。现有的基于深度学习的皮肤病变分割算法主要有两个缺点：(1)算法模型的参数量巨大，在计算资源受限的情况下无法使用；(2)对于尺寸变化大，形状不规则，对比度不明显(病变区域和背景的对比不明显)，边界模糊的病变分割结果不理想。
13.导致以上两个缺点的原因在于：(a)上述对比方法中的特征提取器没能提到丰富的多尺度的特征，导致对于尺寸变化大，形状不规则的病变分割效果不佳；传统的卷积层仅能提到某一个固定尺寸的特征，而aspp模块通常提取四个尺度的特征。(b)上述对比方法未能有效的融合编解码阶段不同层之间的多尺度特征，未能充分的融合特征的上下文信息，导致对于前景和背景对比不明显，边界模糊的病变分割效果不佳。


技术实现要素：

14.为了解决现有技术中存在的问题，本发明提供一种基于多尺度残差编解码网络的图像分割方法及系统：提出一种多尺度残差编解码网络(ms red)，该网络具有参数量少且分割准确的优点；ms red的参数量仅有3.8m，可以在运算资源受限的情况下使用，ms red分割效果良好，尤其是对于尺寸变化大，形状不规则，对比度不明显，边界模糊的病变的分割效果明显优于同类方法。
15.为了实现上述目的，本发明采用的技术方案是：一种基于多尺度残差编解码网络的图像分割方法，包括以下步骤：对皮肤病变图像进行预处理；
16.对所述预处理后的图像进行数据增强，得到更多的图像数据，即输入特征图像；
17.基于多尺度残差编解码网络对所述输入特征图像进行特征提取、编码特征融合以及解码特征融合；其中，多尺度残差编解码网络基于cs2-net，采用多尺度特征提取模块m2f2代替cs2-net中的卷积模块，用多尺度残差编码特征融合模块msr-efm整合网络编码阶段不同层之间的多尺度上下文信息，用多尺度残差解码特征融合模块msr-dfm整合网络解码阶段不同层之间的多尺度上下文信息；
18.多尺度特征提取模块m2f2中设置四条支路，每条支路中设置卷积层、多尺度特征提取单元以及特征拆分拼接单元，每条支路将输入特征图进行卷积以及多尺度特征提取后，分别得到对应的特征图，再过特征拼接单元将特征图进行拼接后得到需要提取的多尺度特征图；编码阶段不同层的多尺度特征图作为多尺度残差编码特征融合模块msr-efm的输入；
19.多尺度残差编码特征融合模块msr-efm中设置卷积单元、池化单元以及权重分配单元，卷积单元用于改变多尺度特征图的通道数量，池化单元用于缩小特征图的尺寸，权重分配单元用于分别赋予不同层特征图像权重；
20.多尺度残差解码特征融合模块msr-dfm中设置上采样单元、卷积单元、池化单元和多层感知机；上采样单元用于将解码阶段不同层的特征图统一至最终输出所需的尺寸，卷积单元用于捕获特征图的局部信息并改变特征图的通道数量；池化单元和多层感知机用于提炼特征图的空间信息，以得到特征图的空间注意力，对拼接后的特征f进行最大值池化、平均池化及soft池化，得到其空间注意力特征，然后再对其进行通道注意力操作，得到通道注意力后的特征，再对该特征进行sigmoid激活操作，得到最终的分割结果。
21.多尺度特征提取模块m2f2将输入特征图的通道数通过卷积改变至输出特征图所需的通道数，将所得到的特征图记为f1；将输入特征图的通道数通过卷积降低至1/4，再提取多尺度特征，将所得到的特征图记为f2；将输入特征图的通道数通过卷积降低至1/8，然后提取多尺度特征，将所得到的特征图记为f3；将输入特征图的通道通过卷积层数降至1/8，然后再进行卷积后提取多尺度特征，将所得到的特征图记为f4；将特征图f2、f3和f 4
拼接起来记为f
234
，，将特征图f
234
通道数变为和输出特征相同的通道数记为f
123
；m2f2最终的输出特征图f1+f
123
。
22.多尺度残差编码特征融合模块msr-efm中，首先通过卷积单元和池化单元将网络编码阶段不同层的特征图像重采样至同一尺寸，得到重采样后的特征图像，同时分别赋予各层权重，得到有效融合后的多尺度编码特征。
23.多尺度残差解码特征融合模块msr-dfm中，首先通过双线性差值的上采样方式将不同层的特征图像重采样至同一尺寸，再进行卷积处理，将卷积处理后得到的特征图沿卷积通道维度拼接，得到拼接后的特征f。
24.皮肤病变图像进行预处理时，将获取的原始皮肤病变图像处理，得到尺寸为预设像素的图像，作为神经网络的输入。
25.数据增强时将预处理得到的图像进行随机旋转-20度至20度、水平翻转、垂直翻转以及随机裁剪四种随机操作，得到更多的训练数据。
26.另一方面，本发明还提供一种基于多尺度残差编解码网络的皮肤病变图像分割系统，包括图像数据处理模块以及特征编解码网络模块；
27.图像数据处理模块用于对图像预处理并进行数据增强，得到更多的训练数据；
28.所述特征编解码网络模块基于多尺度残差编解码网络对所述输入特征图进行特征提取、编码特征融合以及解码特征融合；其中，多尺度残差编解码网络基于cs2-net，采用多尺度特征提取模块m2f2代替cs2-net中的卷积模块，用多尺度残差编码特征融合模块msr-efm整合网络编码阶段不同层之间的多尺度上下文信息，用多尺度残差解码特征融合模块msr-dfm整合网络解码阶段不同层之间的多尺度上下文信息；
29.多尺度特征提取模块m2f2中设置四条支路，每条支路中设置卷积层、多尺度特征提取单元以及特征拆分拼接单元，每条支路将输入特征图进行卷积以及多尺度特征提取后，分别得到对应的特征图，再过特征拼接单元将特征图进行拼接后得到需要提取的多尺度特征图；编码阶段不同层的多尺度特征图作为多尺度残差编码特征融合模块msr-efm的输入；
30.多尺度残差编码特征融合模块msr-efm中设置卷积单元、池化单元以及权重分配单元，卷积单元用于改变多尺度特征图的通道数量，池化单元用于缩小特征图的尺寸，权重分配单元用于分别赋予不同层特征图像权重；
31.多尺度残差解码特征融合模块msr-dfm中设置上采样单元、卷积单元、池化单元和多层感知机；上采样单元用于将解码阶段不同层的特征图统一至最终输出所需的尺寸，卷积单元用于捕获特征图的局部信息并改变特征图的通道数量；池化单元和多层感知机用于提炼特征图的空间信息，以得到特征图的空间注意力，对拼接后的特征f进行最大值池化、平均池化及soft池化，得到其空间注意力特征，然后再对其进行通道注意力操作，得到通道注意力后的特征，再对该特征进行sigmoid激活操作，得到最终的分割结果。
32.另外，本发明提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现本发明所述基于多尺度残差编解码网络的图像分割方法。
33.一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于多尺度残差编解码网络的图像分割方法。
34.与现有技术相比，本发明至少具有以下有益效果：
35.本发明所设计的皮肤病变分割网络ms red参数量少，仅有3.8m，可以在计算资源受限的情况下使用；
36.本发明所设计的皮肤病变分割网络ms red分割效果更好，尤其是对于形状不规则，对于形状不规则，尺度变化大，对比度不明显，边界模糊的病变有良好的分割结果；
37.本发明所设计的ms red网络，不仅在临床皮肤病诊断中有巨大的应用潜力。另外，ms red网络亦可应用与其他图像分割领域。
38.进一步的，本发明的m2f2可以用比传统卷积少得多的参数量提取到13种不同尺度的特征，得益于m2f2的这一优势，，本发明基于m2f2所设计的网络ms red具有更少的参数量和更强的学习能力。
附图说明
39.图1为多尺度残差编解码网络ms red的网络结构图。
40.图2为多尺度特征提取模块m2f2。
41.图3为多尺度残差编码特征融合模块msr-efm。
42.图4为多尺度残差解码特征融合模块msr-dfm。
43.图5为不同网络的分割效果图。
具体实施方式
44.下面结合附图对本发明进行详细阐述。
45.本发明提供一种皮肤病变分割网络：多尺度残差编解码网络(ms red)。从所用数据；网络设置；分割结果的评价标准；ms red网络的结构；处理结果，五个方面详细的阐述本发明。
46.(1)所用数据
47.本发明使用两个公开的皮肤病分割数据集(isic2018，ph2)验证所设计的分割网络ms red。isic2018，是由international skin imaging collaboration(isic)在2018年所公开的大型皮肤镜图像，其中包含了2594张rgb图像，已经成为皮肤病分割算法评价的基准数据集。在发明中将原始图像重采样至224
×
320尺寸，并将其按照70％、20％和10％分为训练集、测试集和验证集。
48.ph2是一个小数据集，仅包含200张皮肤镜图像。本发明将原始图像重采样至224
×
320尺寸，使用80张图片作为训练集，20张作为验证集，100张作为测试集。
49.训练数据包括原始数据和相应的ground truth标注：0表示背景，1表示病变区域。
50.(2)实验设置
51.本发明基于pytorch库实现，在一块显存为11g的nvidia 2080ti显卡上运行，使用adam作为优化器，学习率下降策略选择cosineannealingwarmrestarts(t0＝10,tmult＝2)。初始学习率设置为0.001，weight dacay设置为0.00005。所有的网络均训练250个epochs，选择在验证集上jaccard index指标最高的模型作为最终的模型，在测试集上测试其性能；isic2018和ph2数据集上，均采用数据增强策略以防止过拟合。数据增强策略包括四种随机操作：随机旋转-20度至20度，水平翻转，垂直翻转，以及随机裁剪。为了得到各个网络可靠的性能，使用五折交叉验证的方式，取五次实验的平均结果作为最终的性能。
52.(3)评价指标
53.使用jaccard index(ji)、accuracy(acc)、recall和precision四个指标来评价不同方法的性能。
[0054][0055][0056][0057][0058]
其中，tp，tn，fp，fn分别为真阳性，真阴性，假阳性，假阴性。
[0059]
(4)ms red的网络结构
[0060]
图1为一种多尺度残差编解码网络ms red的网络结构图，本发明所述ms red网络基于cs2-net设计而成，在cs2-net的基础上，使用多尺度特征提取模块m2f2代替传统的卷积操作；在编码阶段设计多尺度残差编码特征融合模块msr-efm，在解码阶段设计多尺度残差解码特征融合模块msr-dfm；msr-efm和msr-dfm能自适应的融合编码解码阶段的多尺度上下文特征，在特征的传递过程中，保留更多的细节信息，提供更准确的分割结果。参考图2和图3，其中创新之处在于：(1)在e2,e3,e4,e5和d4,d3,d2,d1中，采用重新设计的多尺度特征提取模块m2f2代替传统的卷积模块，以提取丰富的多尺度特征信息；(2)在编码阶段设计多尺度残差编码特征融合模块msr-efm，在解码阶段设计多尺度残差解码特征融合模块msr-dfm。
[0061]
一种多尺度特征提取模块m2f2如图2所示，其中in_c表示卷积输入的通道数，out_c表示卷积输出的通道数，kernel size表示卷积核的尺寸。conv(rate)表示膨胀卷积的填充率。如图2所示，m2f2具有四条支路，从上往下依次称为支路1，支路2，支路3，支路4。在支路1上，使用一个1
×
1的卷积，将输入特征图的通道数改变至输出特征图所需的通道数，将所得到的特征图记为f1；在支路2上，首先使用一个1
×
1的卷积，将输入特征图的通道数降低至1/4，以减少后续运算的参数量，然后再使用一个填充率为1的splitb模块提取多尺度特征，将所得到的特征图记为f2。splitb模块由膨胀卷积、通道拆分和通道合并技术组成，可以用较少的运算量提取丰富的多尺度特征；在支路3上，首先使用一个1
×
1的卷积，将输入特征图的通道数降低至1/8，然后使用一个3
×
3的卷积，最后使用一个填充率为3的splitb模块提取多尺度特征，将所得到的特征图记为f3；在支路4上，首先使用一个1
×
1的
卷积，将输入特征图的通道数降至1/8，然后再使用两个串联的3
×
3卷积，最后使用一个填充率为5的splitb模块提取多尺度特征，将所得到的特征图记为f4；将支路2，支路3，支路4经过splitb模块之后所得到的特征拼接起来，记为f
234
，经过一个1
×
1的卷积，将其通道数变为和输出特征相同的通道数，记为f
123
；m2f2最终的输出为f1+f
123
。
[0062]
m2f2具有两个优势：一是参数量少；二是能够提取丰富的多尺度特征。相较于传统的卷积操作，m2f2的参数量仅为传统卷积的八分之一；相较于现有的多尺度特征提取模块，比如inception模块和aspp模块，m2f2能够提取到更为丰富的多尺度特征。通常来说，具有四条通道的inception模块和aspp模块能够提取到四种不同尺寸的特征，而本发明的m2f2可以提取到13种不同尺度的特征，得益于m2f2的这两个优势，本发明基于m2f2所设计的网络ms red具有更少的参数量和更强的学习能力。
[0063]
多尺度残差编码特征融合模块msr-efm如图3所示，包括卷积核尺寸为3、步长为2的卷积单元和步长的2的池化单元。在该模块中，卷积单元用于改变特征图的通道数量，并将特征图的尺寸缩小一倍；池化单元用于将特征图的尺寸缩小一倍。
[0064]
多尺度残差编码特征融合模块msr-efm能够自适应的融合ms red网络编码阶段不同层的多尺度特征，有效的融合网络的上下文信息。为了能够有效的融合网络编码阶段不同层的特征，首先需要将这些特征图统一至同一尺寸。如图3所示，e1层中的特征图尺寸为32
×
224
×
320，e2层中的特征图尺寸为64
×
112
×
160，e3层中的特征图尺寸为128
×
56
×
80，e4层中的特征图尺寸为256
×
28
×
40。本发明首先通过步长为2的卷积和步长为2的池化单元将e1,e2,e3重采样至e4的尺寸，即256
×
28
×
40。给予重采样后的e1,e2,e3和e4分别对应不同的权重w1,w2,w3,和w4，使得网络可以自适应的学习不同层的特征的重要程度，有效的融合不同层的特征，为后续的任务提供更加有价值的特征信息。
[0065]
多尺度残差解码特征融合模块msr-dfm如图4所示，多尺度残差解码特征融合模块msr-dfm能够自适应的融合ms red网络解码阶段不同层的多尺度特征，有效的融合网络的上下文信息，提供更加准确的分割结果。msr-dfm模块包括上采样单元，卷积单元，池化单元和多层感知机；上采样单元用于将解码阶段不同层的特征图统一至最终输出所需的尺寸，即224
×
320；卷积单元用于捕获特征图的局部信息并改变特征图的通道数量；池化单元和多层感知机用于提炼特征图的空间信息，以得到特征图的空间注意力。
[0066]
为了能够有效的融合网络解码阶段不同层的特征，首先需要将这些特征图统一至同一尺寸，一种多尺度残差解码特征融合模块msr-dfm如图4所示，d4层中的特征图尺寸为256
×
28
×
40，d3层中的特征图尺寸为128
×
56
×
80，d2层中的特征图尺寸为64
×
112
×
160，d1层中的特征图尺寸为32
×
224
×
320。首先通过双线性差值的上采样方式将d4，d3，d2重采样至d1的尺寸，即32
×
224
×
320。然后使用卷积核尺寸为3*3，输出通道数为4的卷积操作，将重采样后的d4,d3,d2和d1统一转变为4
×
224
×
320的特征图；将所述特征图沿着通道维度拼接，组成16
×
224
×
320的特征图，记为f。
[0067]
对拼接后的特征图f进行最大值池化、平均池化及soft池化操作，得到其空间注意力特征，然后再对其进行通道注意力操作，得到通道注意力后的特征图，再对该特征图进行sigmoid激活操作，得到最终的输出结果。输出结果是尺寸为224
×
320的图片，表示分割的结果。图3所示一种多尺度残差编码特征融合模块msr-efm中，其中，stride表示卷积和池化中的步长。
[0068]
(5)实验结果，表1和表2中分别展示了不同的模型在isic2018数据集和ph2数据集上的性能。从中可以看出，参数量最小的模型是ca-net，但是其分割指标和所设计的ms red有较大的差距。除了ca-net之外，本发明模型比对比方法的参数量都少的多，且性能比其他方法所得结果更优。
[0069]
值得注意的是，ph2是一个很小的数据集，仅有200例数据，且本发明使用了80例数据作为训练集，100例数据作为测试集。在此种情况下，ms red仍有良好的表现。
[0070]
实验结果证明了，ms red是一个参数量少，性能良好，对训练数据依赖小的网络。对比其他方法，ms red有明显的优势。
[0071]
表1不同模型在isic2018数据集上的性能，加粗表示对比方法中最好的结果
[0072][0073]
表2不同模型在ph2数据集上的性能，加粗表示对比方法中最好的结果
[0074][0075][0076]
图5展示了不同的网络在isic2018和ph2上的分割效果图，前四行表示不同网络在isic2018数据集上的分割效果图，后四行表示不同网络在ph2数据集上的分割效果图，从图中可以看出，ms red的分割结果明显优于对比方法，尤其是对于形状不规则，尺度变化大，对比不明显，边界模糊的病变。
[0077]
本发明还提供一种基于多尺度残差编解码网络的皮肤病变图像分割系统，包括图像数据处理模块以及特征编解码网络模块；
[0078]
图像数据处理模块用于对图像预处理并进行数据增强，得到更多的训练数据；
[0079]
所述特征编解码网络模块基于多尺度残差编解码网络对所述输入特征图像进行
特征提取、编码特征融合以及解码特征融合；其中，多尺度残差编解码网络基于cs2-net，采用多尺度特征提取模块m2f2代替cs2-net中的卷积模块，用多尺度残差编码特征融合模块msr-efm整合网络编码阶段不同层之间的多尺度上下文信息，用多尺度残差解码特征融合模块msr-dfm整合网络解码阶段不同层之间的多尺度上下文信息；
[0080]
多尺度特征提取模块m2f2中设置四条支路，每条支路中设置卷积层、多尺度特征提取单元以及特征拆分拼接单元，每条支路将输入特征图进行卷积以及多尺度特征提取后，分别得到对应的特征图，再过特征拼接单元将特征图进行拼接后得到需要提取的多尺度特征图；编码阶段不同层的多尺度特征图作为多尺度残差编码特征融合模块msr-efm的输入；
[0081]
多尺度残差编码特征融合模块msr-efm中设置卷积单元、池化单元以及权重分配单元，卷积单元用于改变多尺度特征图的通道数量，池化单元用于缩小特征图的尺寸，权重分配单元用于分别赋予不同层特征图像权重；
[0082]
多尺度残差解码特征融合模块msr-dfm中设置上采样单元、卷积单元、池化单元和多层感知机；上采样单元用于将解码阶段不同层的特征图统一至最终输出所需的尺寸，卷积单元用于捕获特征图的局部信息并改变特征图的通道数量；池化单元和多层感知机用于提炼特征图的空间信息，以得到特征图的空间注意力，对拼接后的特征f进行最大值池化、平均池化及soft池化，得到其空间注意力特征，然后再对其进行通道注意力操作，得到通道注意力后的特征，再对该特征进行sigmoid激活操作，得到最终的分割结果。
[0083]
另外，本发明还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述基于多尺度残差编解码网络的图像分割方法。
[0084]
另一方面，本发明提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于多尺度残差编解码网络的图像分割方法。
[0085]
所述计算机设备可以采用笔记本电脑、桌面型计算机或工作站。
[0086]
处理器可以是中央处理器(cpu)、数字信号处理器(dsp)、专用集成电路(asic)或现成可编程门阵列(fpga)。
[0087]
对于本发明所述存储器，可以是笔记本电脑、桌面型计算机或工作站的内部存储单元，如内存、硬盘；也可以采用外部存储单元，如移动硬盘、闪存卡。
[0088]
计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、固态硬盘(ssd，solid state drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(reram,resistance random access memory)和动态随机存取存储器(dram，dynamic random access memory)。