一种基于频域分级的眼底图像血管分割方法与流程

本发明涉及机器学习和医学图像处理领域，具体涉及一种基于频域分级的眼底图像血管分割方法。

背景技术：

临床研究表明，眼底病变时视网膜血管的形态结构容易发生病理性改变，具体表现为血管长度、宽度、角度的变化以及血管的增生。对眼底图像进行血管分割将有助于疾病的筛查、诊断和分析，然而目前血管分割大多采用人工方式，不仅需要丰富的临床经验，还将消耗医生大量的时间和精力。

视网膜血管的网络结构为树状型，分枝较多，且分枝结构中细小血管和背景对比度很小，轮廓边界十分模糊，这就使得细小血管的分割非常困难。近年来，学者们提出了许多方法，包括采用高斯匹配滤波方法结合阈值对视网膜图像进行处理；基于概率的追踪方法结合图像局部灰度级信息以及血管连通特性对视网膜血管图像进行检测。还有研究提出了一种基于深度学习与传统方法相结合的视网膜血管分割方法，将全卷积网络末端与浅层信息的血管概率图进行了融合，进而得到所期望的视网膜血管分割图，但由于分割过程没有充分考虑图像空域与频域之间的关联性，试图通过卷积神经网络的深度扩展来处理全频段数据，不仅将显著降低网络的计算能力，而且会导致分割后的结果不够精细，空间一致性很难得到保持。因此以上方法能够提取大部分视网膜血管，然而对于对比度较低的眼底图像，尤其是细小血管的分割任务，通常不能达到令人满意的分割效果。

技术实现要素：

为解决上述存在的问题，本发明提出了一种基于频域分级的眼底图像血管分割方法。该方法考虑视网膜血管在对比度上的显著差异，改变了将原始眼底图像直接输入到卷积神经网络的传统模式，而是首先对眼底图像进行频域分级，分别提取出图像的全局轮廓信息和局部细节信息，然后针对性地构建独立的多路径卷积神经网络，实现视网膜血管的提取和融合，获得分割图。本发明对眼底图像进行空频域转换，利用滤波器分别提取眼底图像的低频和高频信息，再将低频和高频信息反变换到空域，分别输入到所构建的多路径卷积神经网络中进行特征提取，最后融合特征图得到分割图。具体包含以下步骤：

步骤1：眼底图像的频域分级处理

首先将原始眼底图像f(x,y)通过傅里叶变换转换到频域f(u,v)，然后分别通过高斯低通滤波器和高斯高通滤波器，获得眼底图像的低频和高频成分，最后利用傅立叶反变换对眼底图像的低频和高频信息进行处理，获得眼底图像的频域分级结果，分别为低频信息所对应的f1(x,y)，高频信息所对应的f2(x,y)；

步骤2：构建低维特征提取卷积网络，利用低频成分描述眼底图像的全局轮廓特性，有助于背景与目标血管的分离，提升预测血管边界信息的准确性；该网络分为左右两个路径，整个网络包含8个残差块，2个下采样，2个上采样和4个卷积层；其中，每一个残差块包含两个3×3的空洞卷积层，每两个残差块与一个下采样或一个上采样组成1个block，共4个block；对于每一个block输出的结果通过relu函数进行激活，随后再进行规范化处理；左边路径通过2个block提取眼底图像血管分布的整体特征；右边2个block用于精确定位，其中左边路径通过的每个block为两个残差块和一个下采样的组合，其中右边路径通过的每个block为两个残差块和一个上采样的组合；将步骤1得到的低频图像f1(x,y)输入到所构建的低维特征提取卷积网络中，得到特征图fl；

步骤3：构建高维特征提取卷积网络，利用高频成分描述眼底图像的细节特性，例如亮度变化剧烈的区域；该网络同样分为左右两个路径，整个网络包含14个残差块，4次下采样，4次上采样和3个卷积层；其中，每一个残差块包含两个3×3的空洞卷积层，每两个残差块与一个下采样或上采样组成一个block，共6个block，在左、右路径交接处的1个block包含两个残差块、一个下采样和一个上采样；对于每一个block输出的结果通过relu函数进行激活，随后再进行规范化处理；左边路径通过3个block捕获眼底图像血管轮廓信息；右边路径通过3个block与左边对称路径进行融合操作，融合操作即合并特征图通道数，以补全丢失的血管边界信息，将进一步锐化眼底图像血管分布的细节特征，得到更为清晰的血管边界；其中左边路径通过的每个block为两个残差块和一个下采样的组合，其中右边路径通过的每个block为两个残差块和一个上采样的组合；将步骤1得到的高频图像f2(x,y)输入到所构建的高维特征提取卷积网络中，得到特征图fh；

步骤4：利用通道数相加将两组特征图fl和fh合并，经过1×1-32卷积核得到高低维融合的特征图f′，然后利用1×1-1的卷积核将特征图f′转变为单通道特征图f″，再经过relu函数激活后获得原始图像f(x,y)所对应血管分割结果的输出像素值，并与相应的已知血管分割标签以平方差进行损失运算，对所有训练图像的损失运算结果进行累加，结果记为loss，并采用梯度下降法分别训练高、低维特征提取卷积网络；当损失值loss满足收敛条件后，结束训练；

步骤5：高、低维特征提取卷积网络训练结束后，将未知标签的眼底图像按步骤1～4进行处理，获得其所对应的单通道特征图f″，经过relu函数激活后，即为眼底图像的血管分割结果。

本发明具有以下优点：

(1)本发明改变了传统方法对于眼底图像的全频段处理模式，避免了卷积神经网络深度扩展对网络计算能力的影响。利用分频处理的思想，分别获取了眼底图像的低频和高频信息，然后有针对性地设计低维和高维特征提取卷积网络。

(2)构建低维和高维特征提取卷积网络，分别经过多路径的卷积、上采样和下采样操作，提取眼底图像的整体和细节特征，最后利用卷积核对高低维特征图进行融合，得到精确的血管分割结果。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明的眼底图像血管分割网络结构示意图；

图2为本发明的眼底图像血管分割流程图。

具体实施方式

下面结合附图来说明本发明的具体实施过程，附图1为本发明的眼底图像血管分割网络结构示意图，附图2为本发明的眼底图像血管分割流程图。

步骤1：眼底图像的频域分级处理。首先将原始图像进行预处理，将其进行傅里叶变换转换到频域，如式(1)所示：

m，n分别表示图像大小的行和列；f(x,y)表示输入图像；x,y分别表示空域横、纵坐标；f(u,v)表示傅里叶变换后的频域值；u,v分别表示频域横、纵坐标。然后将f(x,y)分别通过高斯低通滤波器(glpf)和高斯高通滤波器(ghpf)，glpf和ghpf的传递函数分别为h1(u,v)和h2(u,v)，如式(2)和(3)所示：

其中d(u,v)表示距傅里叶变换中心原点的距离，d0是截止频率。将式(2)和(3)分别乘以式(1)得到眼底图像的低频成分g1(u,v)和高频成分g2(u,v)。对g1(u,v)和g2(u,v)分别进行傅里叶反变换，得到滤波后的低频图像f1(x,y)和高频图像f2(x,y)，如式(4)所示：

步骤2：构建低维特征提取卷积网络。考虑到低频图像主要反映眼底图像的全局轮廓信息，具有低维度特征的属性，且低频图像对整体信息的把握可以在一定程度上提升检测精度。因此将步骤1中得到的低频图像f1(x,y)输入到所构建的低维特征提取卷积网络中，如附图1实线框中所示，该网络由4个卷积层和4个block构成。左边路径2个block，每个block包含两个残差块和一个下采样，主要用于提取眼底图像血管分布的整体特征；右边路径2个block，每个block包含两个残差块和一个上采样，主要用于眼底图像血管的精确定位。其中下采样采用2×2最大池化操作，上采样采用双线性内插值法。具体步骤如下：

①：图像f1(x,y)经1×1-32卷积核后经过左边第一个block时，其中每个残差块包含64个卷积核，将图像转换成64维特征图f1，如式(5)所示：

f1＝res2(pool(conv(f1(x,y))))(5)

其中conv表示卷积操作；pool表示池化操作，采用2×2最大池化方法，下同；

res2表示2次残差块操作，下同。

②：将f1经过relu函数激活，然后进行规范化处理，经过左边第2个block，其中包含128个卷积核，得到特征图f2，如式(6)所示：

f2＝res2(pool(norm(relu(f1))))(6)

其中relu表示激活函数，下同；norm表示规范化处理，下同。

③：将f2经过1×1×256的卷积核后的特征图经过右边路径第1个block得到特征图f3，如式(7)所示：

f3＝unsampling(res2(conv(f2)))(7)

其中unsampling表示上采样操作，采用双线性内插值法，下同。

④：将f3经过右边路径第2个block得到低频图像的最终特征图fl，如式(8)所示：

fl＝unsampling(res2(norm(relu(f3))))(8)

步骤3：构建高维特征提取卷积网络。考虑到高频图像主要反映图像的轮廓细节，是在低频信息上对图像内容的进一步强化。针对高频图像的特点，构建的网络更关注细节问题，主要捕获不同层的细节特征。因此将步骤1中得到的高频图像f2(x,y)，输入到所构建的高频特征提取卷积网络中，如附图1虚线框中所示，该高频特征提取卷积网络包括3个卷积层，7个block。其左右两边各3个block，每个block包含两个残差块和一个下采样或上采样；在左、右路径交接处有1个block包含两个残差块、一个下采样和一个上采样。该网络所包含的卷积层与低维特征提取卷积网络中的卷积层权值共享。具体步骤如下：

①：图像经过1×1-32卷积核后通过左边路径3个block，每个block为两个残差块和一个下采样组合，得到特征图f3′，如式(9)所示：

fi′＝res2(pool(norm(relu(f′i-1))))(9)

其中i＝1,2,3表示左边路径block的个数，f0′如式(10)所示：

f0′＝conv(f2(x,y))(10)

②：将f3′经过左右路径交接处的block，该block为一个下采样、两个残差块和一个上采样组合，得到特征图f′4，如式(11)所示：

f′4＝unsampling(res2(pool(norm(relu(f3′)))))(11)

③：将f4′经过右边路径3个block，每个block为两个残差块和一个上采样组合，同时在每一个上采样的过程中通过与左边对称路径的特征图合并通道数，然后再对合并后的特征图进行操作，弥补了在池化过程中所丢失的空间信息，加强了眼底图像血管的细节特征，将得到更为清晰的特征图fh，如式(12)所示：

其中j＝4,5,6且fj′表示经过第j个block的特征图；copy(f′7-j)+fj′表示特征图fj′与左边对称路径的特征图合并通道数。

步骤4：将步骤2和步骤3中得到的特征图fl和fh进行合并，即对应通道数相加，并采用1×1-32卷积核确定图像所对应的特征图f′，利用1×1-1的卷积核将f′转变为单通道特征图f″，经过relu函数激活后，获得原始图像f(x,y)所对应血管分割结果的输出像素值，并与相应的已知血管分割标签以平方差进行损失运算，对所有训练图像的损失运算结果进行累加，记为loss，如式(13)所示：

其中n为训练图像的样本数，m、n为训练图像的长宽尺寸，为第i个训练图像对应血管分割结果在(j,k)位置的输出像素值，为相应的已知血管分割标签值。最后对loss值进行反向传播，利用梯度下降法分别更新高、低维特征提取卷积网络中的权值和偏置，当loss值小于阈值ε时即训练结束，ε可设置为训练图像样本像素总数的1～3％，即获得训练后的网络模型。

步骤5：低、高维特征提取卷积网络训练结束后，将未知标签的眼底图像按步骤1～4进行处理，获得其所对应的单通道特征图f″，经过relu函数激活后，即为眼底图像的血管分割结果。