一种基于MLP和CNN的视盘视杯分割方法

一种基于mlp和cnn的视盘视杯分割方法
技术领域
1.本发明属于医学图像分割技术领域，具体涉及一种轻量化的基于mlp和cnn融合分割方法。


背景技术：

2.青光眼(glaucoma)作为一种不可逆的慢性神经退行性疾病，是世界上三大致盲疾病之一。由于青光眼造成的视神经损伤和视力损失无法逆转，青光眼的早期筛查和诊断对于保持视力有着至关重要的作用。有经验的眼科医生在早期筛查和临床诊断阶段主要通过彩色眼底图像视杯与视盘的直径比，即杯盘比(cup to disk ratio，cdr)等指标来进行评估。一般而言，杯盘比与患青光眼的概率成正比。然而，手动划分od和oc是一项耗时的任务，并且需要经验丰富的专家亲自操作，成本较高。因此，借助计算机算法辅助划分od和oc成为研究热点。目前主流的分割方法主要包括传统方法，基于卷积的深度学习方法以及基于transformer的深度学习方法。
3.其中，传统的od和oc分割的研究都是基于手工特征，如颜色、纹理、对比度和梯度等手工特征。虽然经典的方法在视盘视杯分割任务种取得了一定的成功。但传统方法存在精度低下的问题，不能满足工业应用的要求；
4.基于卷积的深度学习方法在自然图像分割和医学图像分割方面取得了很大的成就，其具有精度高与泛化性强的优点。如zhao等人在u-net的编码器和解码器之间添加了一个注意力门，以专注于目标区域。但上述方法都会受到感受野的限制，无法充分考虑到全局信息；
5.基于transformer的深度学习方法可以考虑到图像的全局特征，这有助于提高网络的精度。如junde wu等人将每个单一的低级特征与多尺度特征相关联，然后使用分割特征与诊断特征进行交互建模，在od、oc分割任务与青光眼筛查中取得了很好的成绩。但上述方法复杂度高，推理速度慢，对硬件要求高，不能满足工业应用领域的实时性要求。


技术实现要素：

6.本发明的目的是为解决上述现有技术中存在的精度低、推理速度慢的问题，提供一种推理速度更快的基于mlp和cnn的视盘视杯分割方法。
7.为实现上述目的，本发明所采用的技术方案是：一种基于mlp和cnn的视盘视杯分割方法，其中：包括以下步骤：
8.(1)使用卷积模块和se-block初步提取图像特征，输出通道数为32的特征图；
9.卷积模块由一次3x3卷积操作，一次batchnormal操作以及一个h-swish激活函数组成，主要用于特征提取。其中，一次卷积操作可以保证高效的推理速度。h-swish具有无上界、有下界、平滑、非单调的特性，还可以避免计算复杂的sigmod函数，在深层模型上具有很大优势。轻量化的se-block通道注意力模块，不仅可以提升特征图质量，还不会增加网络的复杂度。
10.(2)第二三阶段：卷积模块+sr-mlp模块提升特征质量；
11.先使用卷积模块进一步提取特征。随后使用sr-mlp模块来标记特征图以提升特征图质量。sr-mlp模块以mlp为主干，拥有比全卷积网络更快的速度，具体为：第一步：将特征图平均分为5组进行平移：右上2单位；右上1单位；不移动；左下1单位；左下2单位，之后将各组超出部分裁剪并合并为一个特征图。将该特征图依次输入mlp和dw-conv，其中mlp将通道数放大四倍以获得更丰富的特征，而dw-conv用于对特征图的位置信息进行编码。第二步：将特征图平均分为5组进行平移：左下2单位；左下1单位；不移动；右上1单位；右下2单位，之后将各组超出部分裁剪并合并为一个特征图。将该特征图依次输入mlp和dw-conv，其中mlp将通道数缩小四倍。第三步：将当前特征图与第一次平移后的特征图进行残差连接，可以融合相邻的特征信息并防止深层网络中的性能下降。最后，输出通道数为64的特征图。详见公式(1)(2)(3)；
12.x
shift
＝shift
w，h
(x)
ꢀꢀꢀꢀ
(1)
13.x
stage1
＝dwconv(mlp(x
shift
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
14.x
output
＝dwconv(mlp(shift
w，h
(x
stage1
)))+x
shift
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
15.其中x表示特征图，shift
w，h
()表示平移拆分函数，dwconv表示dw-conv操作，mlp表示多层感知机。
16.(3)第四五阶段：卷积模块+s-mlp模块提升特征质量；
17.先使用卷积模块进一步提取特征。随后使用s-mlp模块来标记特征图以提升特征图质量。由于深层特征中包含了足够宽泛的信息，且考虑到下游的设计，因此使用速度更快的s-mlp模块，具体为：第一步：将特征图平均分为5组进行平移：右上2单位；右上1单位；不移动；左下1单位；左下2单位，之后将各组超出部分裁剪并合并为一个特征图。将该特征图依次输入mlp和dw-conv，其中mlp将通道数放大四倍。再进行第二步：将该特征图依次输入mlp和dw-conv，其中mlp将通道数缩小四倍。第三步：将当前特征图与第一次平移后的特征图进行残差连接，可以防止深层网络中的性能下降。最后，输出通道数为96的特征图。
18.详见公式(4)(5)(6)；
19.x
shift
＝shift
w，h
(x)
ꢀꢀꢀꢀ
(4)
20.x
stage1
＝dwconv(mlp(x
shift
))
ꢀꢀꢀꢀ
(5)
21.x
output
＝dwconv(mlp(x
stage1
))+x
shift
ꢀꢀꢀꢀ
(6)
22.其中x表示特征图，shift
w，h
()表示平移拆分函数，dwconv表示dw-conv操作，mlp表示多层感知机。
23.(4)第六阶段：使用金字塔平均池化来扩大感受野；
24.将二三阶段特征图上采样至相同的尺寸后进行残差连接得到x1，四五阶段特征图上采样至相同的尺寸后进行残差链接得到x2。随后将x1和x2连接起来，然后使用金字塔平均池化来进一步扩大特征图的感受野。其中平均池化的尺寸分别为1，2，3，6。较大尺寸的平均池化可以达到扩大感受野的目的，而较小的平均池化可以补充大尺寸平均池化丢失的细节信息。最终，输出通道数为64的特征图。
25.(5)第七阶段：上采样后与第一阶段输出的特征图进行跨层连接，恢复丢失细节，输出通道数为32的特征图；
26.(6)第八阶段：上采样至原始尺寸，经由1
×
1卷积输出最终预测结果。
27.本方案具有良好的可操作性和可移植性，可在较小的样本集中训练出优秀的精度，且分割精度高、模型复杂度低、推理速度快，可大幅降低硬件成本。
附图说明
28.图1是本发明一种基于mlp和cnn的视盘视杯分割方法的流程图。
29.图2是本发明rb-mlp的流程图。
30.图3是本发明r-mlp的流程图。
具体实施方式
31.如图1至图3所示，本实施例所述一种基于mlp和cnn的视盘视杯分割方法，其中：包括以下步骤：
32.(1)第一阶段：使用卷积模块和se-block初步提取图像特征，输出通道数为32的特征图；
33.(2)第二三阶段：先使用卷积模块进一步提取特征。随后进行第一次特征标记：将特征图平均分为5组进行平移：右上2单位；右上1单位；不移动；左下1单位；左下2单位，之后将各组超出部分裁剪并合并为一个特征图。将该特征图依次输入mlp和dw-conv，其中mlp将通道数放大四倍。再进行第二次特征标记操作：将特征图平均分为5组进行平移：左下2单位；左下1单位；不移动；右上1单位；右下2单位，之后将各组超出部分裁剪并合并为一个特征图。将该特征图依次输入mlp和dw-conv，其中mlp将通道数缩小四倍。最后，将当前特征图与第一次平移后的特征图进行残差连接，输出通道数为64的特征图。详见公式(1)(2)(3)；
34.x
shift
＝shift
w，h
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
35.x
stage1
＝dwconv(mlp(x
shift
))
ꢀꢀꢀꢀ
(2)
36.x
output
＝dwconv(mlp(shift
w，h
(x
stage1
)))+x
shift
ꢀꢀꢀꢀ
(3)
37.其中x表示特征图，shift
w，h
()表示平移拆分函数，dwconv表示dw-conv操作，mlp表示多层感知机。
38.(3)第四五阶段：先使用卷积模块进一步提取特征。随后进行第一次特征标记：将特征图平均分为5组进行平移：右上2单位；右上1单位；不移动；左下1单位；左下2单位，之后将各组超出部分裁剪并合并为一个特征图。将该特征图依次输入mlp和dw-conv，其中mlp将通道数放大四倍。再进行第二次特征标记操作：将该特征图依次输入mlp和dw-conv，其中mlp将通道数缩小四倍。最后，将当前特征图与第一次平移后的特征图进行残差连接，输出通道数为96的特征图。详见公式(4)(5)(6)；
39.x
shift
＝shift
w，h
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
40.x
stage1
＝dwconv(mlp(x
shift
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
41.x
output
＝dwconv(mlp(x
stage1
))+x
shift
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
42.其中x表示特征图，shift
w，h
()表示平移拆分函数，dwconv表示dw-conv操作，mlp表示多层感知机。
43.(4)第六阶段：将二三阶段特征图上采样至相同的尺寸后进行残差连接得到x1，四五阶段特征图上采样至相同的尺寸后进行残差链接得到x2。随后将x1和x2连接起来，经过尺寸为1、2、3、6的金字塔平均池化输出通道数为64的特征图；
44.(5)第七阶段：上采样后与第一阶段输出的特征图进行跨层连接，恢复丢失细节，输出通道数为32的特征图；
45.(6)第八阶段：上采样至原始尺寸，经由1
×
1卷积输出最终预测结果。
46.其中，卷积模块由一次3x3卷积操作，一次batchnormal操作以及一个h-swish激活函数组成。