眼底医学影像中脉络膜萎缩的分割方法

本发明涉及医学影像处理技术领域，具体涉及一种眼底医学影像中脉络膜萎缩的分割方法。

背景技术：

医学影像，是指为了医疗或医学研究目的，对人体或人体某部分以非侵入方式取得内部组织器官影像的技术与处理过程，根据其实现步骤不同，医学影像包括医学成像技术和医学处理技术，借助医学影像技术，医疗人员可以更清晰地了解人体特定的组织器官状况进而给出更为精准和合理的诊疗方案。而医学图像分割是现代医学影像处理中的关键技术，它是正常组织和病变组织的三维重建、定量分析等后续操作的基础。

深度学习图像分割方法是在多个公共数据集的多种场景图像中精确地分割出多种分割目标，其具有高准确度和高泛化性的优点，鉴于深度学习图像分割方法的上述优点，fcn(全卷积网络，fullconvolutionalnetwork)u-net分割网络等深度学习的图像语义分割方法被得以广泛应用。全卷积网络fcn由于具有出色的特征提取能力被应用于图像分割，u-net采用跳跃连接和编解码结构大大提高了医学图像分割的性能，其他分割网络大多在fcn和u-net网络的基础上加以改进，例如，psp-net(金字塔分割网络，pyramidsceneparsingnetwork)，ce-net(上下文编码器网络,contextencodernetwork)和cpf-net(contextpyramidfusionnetwork,上下文金字塔融合网络)。pspnet提出的金字塔池化模块，可对特征图采用不同尺寸的池化操作，来获取多尺度的特征,ce-net采用多个不同感受野的卷积分支来提高模型获取多尺度信息的能力,cpf-net提出尺度感知金字塔融合，同样使用不同膨胀率的膨胀卷积，然后对不同尺度特征进行两两融合。

病理性近视引起的并发症是视力障碍和失明的主要原因，而脉络膜萎缩是病理性近视的最早病理改变之一。脉络膜萎缩的自动分割对于早期诊断有重要意义。但是由于以下原因，眼底图像中的脉络膜萎缩分割是一项艰巨的任务：脉络膜萎缩的形状和区域具有多样性，不同程度病理性近视的脉络膜萎缩的发生区域、形状及面积差异大，早期病理性近视往往是与高度近视相似的伴视盘脉络膜萎缩，而随着病理性近视程度的加深，会产生弥漫性脉络膜视网膜萎缩、斑块状脉络膜视网膜萎缩以及黄斑萎缩等，其发生区域、形状及面积差异变化极大。

而的现有的医学图像分割方法，例如psp-net、ce-net和cpf-net等，多采用膨胀卷积或金字塔池化模块，分割网络采用膨胀卷积，虽然可以得到大分辨率特征图，但同时也提高了内存占用和计算量，而金字塔池化模块使用并行的多尺度池化，最后将每一个支路的特征上采样后与原特征图合并得到多尺度特征，但由于金字塔池化模块采用正方形的池化模板，难以提高形状细长的目标的分割性能。因此，现有的医学图像分割方法存在对不同形状特征提取能力不足以及分割效率低等问题，无法满足眼底医学影像中脉络膜萎缩的分割需求。

技术实现要素：

本发明要解决的技术问题是提供一种眼底医学影像中脉络膜萎缩的分割方法，利于提升其对不同形状特征的提取能力，且能够提升对医学影像中脉络膜萎缩的分割效率。

为了解决上述技术问题，本发明提供的技术方案如下：

一种眼底医学影像中脉络膜萎缩分割方法，包括以下步骤：

s1)构建基于u-net网络的级联多尺度信息交互融合网络；

所述u-net网络包括编码网络和解码网络，所述编码网络包括多个特征编码模块，所述解码网络包括多个特征解码模块，所述编码网络采用残差网络，所述特征解码模块用于将上采样特征图和相应特征编码模块输出的特征图进行拼接；

构建所述级联多尺度信息交互融合网络时，在所述编码网络和解码网络之间设置级联多尺度信息交互融合模块，所述级联多尺度信息交互融合模块用于从编码网络输出的特征图中获取多个尺度特征图并将获取的多个尺度特征图进行拼接融合形成多尺度融合特征图，以及对编码网络输出的特征图进行条形池化处理获得条形特征图，并将多尺度融合特征图、条形特征图以及从编码网络输出的特征图进行拼接后输出至编码网络；

s2)将待处理的眼底医学影像输入至所述级联多尺度信息交互融合网络中进行脉络膜萎缩的分割。

在其中一个实施方式中，所述步骤s1中)，所述级联多尺度信息交互融合模块从编码网络输出的特征图中获取多个尺度特征图，并将获取的多个尺度特征图进行拼接融合形成多尺度融合特征图的方法为：对编码网络输出的特征图进行多次不同大小的池化处理，每次池化获得一个尺度特征图，再对每个尺度特征图经过转换处理，直至每个尺度特征图的尺寸规格均保持相同，然后将尺寸规格均保持相同的所有尺度特征图进行拼接融合形成多尺度融合特征图。

在其中一个实施方式中，将尺寸规格均保持相同的所有尺度特征图进行拼接融合时，是将尺寸规格均保持相同的所有尺度特征图按照通道维度进行拼接，拼接后，再依次进行卷积、批归一化和relu激活函数处理而实现融合。

在其中一个实施方式中，所述步骤s1)中，对编码网络输出的特征图进行条形池化处理获得条形特征图的方法为：对编码网络输出的特征图进行横向条形池化得到横向条形特征图，以及对编码网络输出的特征图进行纵向条形池化得到纵向条形特征图，再将横向条形特征图和纵向条形特征图进行相加并进行relu激活函数处理后，得到所述条形特征图。

在其中一个实施方式中，横向条形特征图和纵向条形特征图进行相加之前，还对横向条形特征图依次进行一维卷积、批归一化和上采样处理，以及对纵向条形特征图依次进行一维卷积、批归一化和上采样处理。

在其中一个实施方式中，所述步骤s1)中，所述特征解码模块用于将上采样特征图和相应特征编码模块输出的特征图进行拼接后，还将拼接后的特征图依次进行卷积、批归一化和relu激活函数处理。

在其中一个实施方式中，所述残差网络采用resnet34网络。

本发明具有以下有益效果：本发明的眼底医学影像中脉络膜萎缩的分割方法，能够对具有形状和尺度多样的复杂结构目标的特征进行充分提取，提升了其对不同形状特征的提取能力，更适用于眼底医学影像中脉络膜萎缩的分割，提升了眼底医学影像中脉络膜萎缩的分割质量和分割效率。

附图说明

图1是本发明的眼底医学影像中脉络膜萎缩的分割方法的结构示意图；

图2是图1中特征解码模块的结构示意图；

图3是图1中级联多尺度信息交互融合模块-cmsi模块的结构示意图；

图4是图3中cmsi模块中第一处理支路的结构示意图；

图5是图3中cmsi模块中第二处理支路的结构示意图；

图6是不同分割网络对眼底医学影像中脉络膜萎分割结果对比图；

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1-图2所示，图1中表示上采样，图2中表示拼接。本实施例公开了一种眼底医学影像中脉络膜萎缩的分割方法，其特征在于，包括以下步骤：

s1)构建基于u-net网络的级联多尺度信息交互融合网络；

所述u-net网络包括编码网络和解码网络，所述编码网络包括多个特征编码模块，所述解码网络包括多个特征解码模块，所述特征编码模块和所述特征解码模块相对应，所述编码网络采用残差网络(resnet，residualnetwork)，以有效地获取输入图像的特征图，避免梯度消失，提高网络的收敛速率；特征解码模块用于将上采样特征图和相应特征编码模块输出的特征图进行拼接，以有效重建高分辨率特征图；

构建所述级联多尺度信息交互融合网络时，在编码网络和解码网络之间设置级联多尺度信息交互融合模块-cmsi模块，cmsi模块用于从编码网络输出的特征图中获取多个尺度特征图并将获取的多个尺度特征图进行拼接融合形成多尺度融合特征图，以及对编码网络输出的特征图进行条形池化处理获得条形特征图，并将多尺度融合特征图、条形特征图以及从编码网络输出的特征图进行拼接后输出至编码网络；

也即，如图3所示，cmsi模块包括第一处理支路和第二处理支路，第一处理支路用于从编码网络输出的特征图中获取多尺度特征并将多尺度特征进行拼接融合形成多尺度融合特征图，该方式使用级联的池化和卷积，将各个尺度的信息通过特征拼接的方式交互融合，以捕获丰富的多尺度特征；第二处理支路用于对编码网络输出的特征图进行条形池化处理获得条形特征图，以获取更多的特征信息，建立长距离特征之间的联系。

s2)将待处理的眼底医学影像输入至级联多尺度信息交互融合网络中进行脉络膜萎缩的分割。

上述结构中，级联多尺度信息交互融合模块-cmsi模块通过多尺度和多形状的池化能够高效地捕获多尺度信息，增大卷积的感受野。

在其中一个实施方式中，如图4所示，步骤s1中)，级联多尺度信息交互融合模块(cmsi模块)从编码网络输出的特征图中获取多个尺度特征图，并将获取的多个尺度特征图进行拼接融合形成多尺度融合特征图的方法为：对编码网络输出的特征图进行多次不同大小的池化处理，每次池化获得一个尺度特征图，再对每个尺度特征图经过转换处理，直至每个尺度特征图的尺寸规格均保持相同，然后将尺寸规格均保持相同的所有尺度特征图进行拼接融合形成多尺度融合特征图。

在其中一个实施方式中，将尺寸规格均保持相同的所有尺度特征图进行拼接融合时，是将尺寸规格均保持相同的所有尺度特征图按照通道维度进行拼接，拼接后，再依次进行卷积、批归一化和relu激活函数处理而实现融合。

例如，cmsi模块从编码网络输出的特征图中获取多个尺度特征图，并将获取的多个尺度特征图进行拼接融合形成多尺度融合特征图时：cmsi模块对编码网络输出的特征图先进行不同大小的自适应池化得到四个尺度的特征图，大小分别为10×10，6×6，3×3，1×1，然后对每个尺度的特征图进行若干次池化、3×3卷积、批归一化和relu激活，直到每个尺度的特征图大小变为1×1，通道数皆为原特征图的1/4。其中，对1×1大小的特征图使用的卷积核大小也为1×1。不同的尺度特征图的融合过程中按通道维度拼接，然后经过3×3卷积、批归一化和relu激活。

在其中一个实施方式中，如图5所示，步骤s1)中，对编码网络输出的特征图进行条形池化处理获得条形特征图的方法为：对编码网络输出的特征图进行横向条形池化得到横向条形特征图，以及对编码网络输出的特征图进行纵向条形池化得到纵向条形特征图，再将横向条形特征图和纵向条形特征图进行相加并进行relu激活函数处理后，得到最终的条形特征图。通过上述横向条形池化和纵向条形池化相结合，能够捕获更多的特征信息，不易出现信息丢失，利于提升最终的图像分割精度。

进一步地，横向条形特征图和纵向条形特征图进行相加之前，还对横向条形特征图依次进行一维卷积、批归一化和上采样处理，以及对纵向条形特征图依次进行一维卷积、批归一化和上采样处理。

例如，cmsi模块对编码网络输出的特征图进行条形池化处理获得条形特征图时：对编码网络输出的特征图分别进行横向条形池化和纵向条形池化，分别得到两个条形特征图，即横向条形特征图和纵向条形特征图，对这两个条形特征图分别经过一维卷积、批归一化和上采样后将二者相加，最后使用relu激活函数，有效建立长距离特征之间的联系。其中，两个一维卷积的卷积核大小为1×3和3×1，输出通道数皆为原特征图的1/4。最后，cmsi模块将第一处理支路获取的多尺度融合特征图、第二处理支路获取的条形特征图以及cmsi模块的输入特征图拼接后经过一次1×1卷积，得到cmsi模块的输出特征图，输出特征图大小、通道数均与其输入特征图相同。

在其中一个实施方式中，步骤s1)中，特征解码模块用于将上采样特征图和相应特征编码模块输出的特征图进行拼接后，还将拼接后的特征图依次进行卷积、批归一化和relu激活函数处理，最后将经上述处理后的特征图输出。可以理解的，特征解码模块输出的特征图的大小与通道数与相应的特征编码模块输出的特征图相同。

在其中一个实施方式中，残差网络(resnet)采用resnet34网络，以更好地保证收敛速率和计算效率。例如，resnet34包括5个阶段，第一个阶段包括步长为2的一个7×7卷积、批归一化和relu激活，后4个阶段分别包含3、4、6、3个残差模块。每个阶段开始下采样一次，通道数增大一倍。resnet34共下采样5次，输出通道数分别为64、64、128、256、512。

进一步地，resnet34网络为去除其平均池化层和全连接层后的网络，以简化计算，提高计算效率。

在其中一个实施方式中，对特征解码模块的输出特征图进行上采用时采用双线性插值采样方法。

为了验证本实施例的分割方法的有效性和实用性，本发明采用400张眼底彩色图像用来对设计的网络进行训练和测试，通过对比多个网络和消融实验的分割效果对本方法进行了验证：

采用400张眼底彩色图像作为数据集，其包括161张正常图像、26张高度近视图像和213张病理性近视图像。为减少训练时间和显存占用，我们将图片下采样到448×448，为了增加训练数据的多样性以及防止模型过拟合，使用随机左右和上下翻转、随机亮度、随机对比度、随机高斯模糊作为在线数据扩增。在对比实验和消融实验中，均采用四折交叉验证；

为了客观评估本实施例的分割方法的性能，采用了dice系数、交并比(iou)、准确度(acc)、灵敏度(sens)和特异性(spec)共5个评价指标。

将本实施例的级联多尺度信息交互融合网络记为cmsi-net，将采用resnet34作为编码网络的u-net网络作为cmsi-net的基本网络，记为baseline，将本实施例的cmsi模块中的第二处理支路(条形池化处理支路)加入baseline，记为“baseline+cmsi支路2”。将本实施例的级联多尺度信息交互融合网络记为cmsi-net与现有的u-net、attention-unet、ce-net(contextencodernetwork，上下文编码网络)、cpf-net(contextpyramidfusionnetwork,上下文金字塔融合网络)进行了性能的比较，比较结果参阅表1，表1为本实施例的cmsi-net与其他分割网络的对比结果表；

表1本实施例的cmsi-net网络与其他分割网络的对比结果表

由表1可知，在对比实验中，本实施例提出的cmsi-net相较于其他分割网络，取得了更好的性能指标，其dice系数、交并比和灵敏度都得以显著提高，其dice系数比u-net高出4.16％，也表明本实施例提出的cmsi模块能够很好地弥补u-net网络上下文信息获取能力不足的缺点。此外，单独在baseline中加入cmsi模块中的支路2，也即“baseline+cmsi支路2”的性能相较于其他网络也可得到了提升。

另外，参阅图6，图6展示了不同分割网络的分割可视化结果对比情况，由图6可知，本实施例提出的cmsi-net对萎缩区域的形状和大小的差异适应性能较好，较好地抑制了假阳和假阴现象，对于不同形态和大小的萎缩病变均得到了最佳的分割效果，其对多形态多尺度病变特征的提取能力得到了增强。

综上，本实施例的眼底医学影像中脉络膜萎缩的分割方法，在现有的u-net分割网络模型上进行了改进，通过引入级联多尺度信息交互融合模块，克服了现有分割网络对多尺度特征提取能力不足、对不同形状的特征提取信息不够完善的问题，提升了分割网络有效提取和融合全局多尺度上下文信息的能力，能够对具有形状和尺度多样的复杂结构目标的特征进行充分提取，提升了其对不同形状特征的提取能力，更适用于眼底医学影像中脉络膜萎缩的分割，提升了眼底医学影像中脉络膜萎缩的分割质量，且计算量和内存需求小，提升了分割效率。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。