一种眼底图像血管分割方法与流程

本发明涉及图像分割方法，特别涉及一种眼底图像血管分割方法。

背景技术：

眼底图像分析是医生在眼底疾病诊断过程中的重要一环，其不仅与眼部疾病相关，而且还能反映出其他疾病和脏器血管的情况[1]。故眼底图像的变化，在一定程度上暗示着身体内器官的状态发生了变化。如高血压病人的视网膜血管可能出现动脉硬化的情况，糖尿病病人眼底可能出现微动脉血管瘤等病灶区域[2]，这就在一定程度上反映了全身血管的改变状况，医生可据此来分析、判断疾病的严重程度。在眼底图像的分析过程中，需要对血管进行精细的分割，而由于眼底图像可能存在出血点、渗出物以及病灶区域，其血管自身存在中心线反射和低对比度的微细血管等问题，使得眼底图像的血管精细化分割一直都是国内外研究的热点问题。

近年来，在眼底图像血管分割领域，国内外学者通过传统图像处理算法与监督做出了一系列的成果。在传统图像处理算法研究中，涌现出了一批新算法，如匹配滤波器[3]、基于模板的眼底血管分割算法[4]等，该类算法的优点是无需训练样本，根据眼底图像的纹理、颜色等特征进行分割可解释性更强，但其精度较低，细小血管分割的准确率较低。而监督方法主要通过提取特征，并将特征送入分类器来实现血管的分割。目前大部分监督算法是通过人工手动提取特征，如ricci[5]等采用长度固定但方向变化的两个正交线检测器来统计位于血管段上的平均灰度值，并将提取的特征向量送入到支持向量机(supportvectormachine，svm)中进行血管分割。

有人提出一种基于决策树的监督算法，通过使用梯度向量场、形态学处理、线特征和gabor响应等4种方法提取特征向量，并送入决策树中进行分类。与传统图像处理方法相比，监督方法的分割效果有所提高。但是，人工提取特征依赖于先验知识[7]，并且特征设计存在局限性。为了解决人工特征的局限性，有学者通过设计深度学习网络模型自动提取血管特征并进行分类。

另外，将眼底血管分割看成是一个边界检测问题，通过将全卷积神经网络和全连接条件随机场(conditionalrandomfield，crf)相结合，对血管进行分割。orlando等提出一种特殊的crf模型来对血管进行分割，crf能够学习图像在结构上的一致性，但crf的感受野有限无法抽取全局语义信息。liskowski等提出使用卷积神经网络对眼底血管进行分割，将血管分割问题看成是二分类问题，并且提出许多网络的变体并结合结构化预测的方法，使其可以同时对多个像素点进行分类。监督算法试图寻找输入与输出之间的映射函数[11]，通过使用专家手动分割的标准图像来训练模型。

但是，目前提出的基于卷积神经网络的血管分割模型仍然不能很好地识别出细小血管，且分割结果中存在噪声。

技术实现要素：

本发明要解决的技术问题是提供一种眼底图像血管分割方法，能够对输入的图像在卷积层中采取双线性差值进行上采样，将上采样后的图像，通过普通卷积提取局部精细化特征；随后进行采用卷积与最大池化的操作进行下采样并提取其抽象特征，在同一尺度上对这种结构进行稠密连接，加强了高维特征与低维特征的信息融合，从而更好地实现对微细血管的分割；实现对网络的优化并进一步提高网络的泛化能力。

为了解决上述技术问题，本发明的技术方案为：

一种眼底图像血管分割方法，包括：

(a)以滑动窗口的形式在原图中采样，来对眼底数据进行扩充，并以窗口中的图片做训练，窗口中包含了中心像素点邻域的上下文信息；

(b)对输入的图像在卷积层中采取双线性差值进行上采样，将上采样后的图像，通过普通卷积提取局部精细化特征，通过全局卷积与膨胀卷积来提取大尺度下的全局特征并采用步长为2的卷积层将尺度缩放；

(c)随后进行采用卷积与最大池化的操作进行下采样并提取其抽象特征，在同一尺度上对这种结构进行稠密连接；

(d)通过在结构块中每个卷积层之前加入批量归一化函数和激活函数，实现对微细血管的分割。

优选地，所述眼底图像血管分割方法基于像素级的语义分割网络实现，其中所述语义分割网络由收缩路径和扩张路径组成，其中收缩路径通过下采样操作逐渐减少图像的空间维度，而扩张路径通过上采样操作逐步修复物体的细节和空间维度。

优选地，在步骤(a)中的采样包括以下步骤：

(a1)进行超细特征抽取，即进行1次上采样，将输入进网络的图片尺寸放大为原来的2倍；

(a2)在此基础上进行特征提取并通过步长为2的卷积核缩放至原输入尺寸，

(a3)经过2次下采样、2次上采样，且将收缩路径和扩张路径进行跳跃连接。

优选地，在步骤(b)中特征提取采用串联的具有不同膨胀率与卷积核大小的迭代卷积层进行特征提取，这两层迭代卷积层的膨胀率分别为2和3，卷积核大小分别为(3×3)和(5×5)。

采用上述技术方案，本发明的有益效果在于：

提出了血管分割网络(语义分割网络vesselsegnet，vsnet)，从细粒度分割的角度，提高微细血管的分割精度。以滑动窗口的形式在原图中采样，来对眼底数据进行扩充，并以窗口中的图片做训练，窗口中包含了中心像素点邻域的上下文信息；

其次，对输入的图像在卷积层中采取双线性差值进行上采样，将上采样后的图像，通过普通卷积提取局部精细化特征；

随后进行采用卷积与最大池化的操作进行下采样并提取其抽象特征，在同一尺度上对这种结构进行稠密连接，加强了高维特征与低维特征的信息融合，从而更好地实现对微细血管的分割；

实现对网络的优化并进一步提高网络的泛化能力。

附图说明

图1是本发明方法中的全局卷积结构图；

图2是本发明方法中的膨胀卷积结构图；

图3是本发明方法中的语义分割网络示意图；

图4是本发明方法中的基于语义分割网络的眼底图像分割方法和目前的方法的分割效果区别示意。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种眼底图像血管分割方法，其中所述眼底图像血管分割方法中的图像数据来源于眼底图像数据库：drive和stare。目前在眼底血管分割领域发表的论文多采用这些公开的数据库来验证算法的性能。其中drive眼底图像数据库是专门为了对比血管分割算法效果而建立的，该库中的眼底图像均来自于糖尿病眼底病变筛查组织。drive数据库中共有40幅分辨率为565像素×584像素的眼底图像，图像为jpeg格式。本研究将stare中的全部数据与drive数据库中的训练集共同作为vsnet模型的训练集，将drive数据库中的测试集作为模型的测试集进行实验，其中训练集中包含原始图像、专家手动分割的标准血管图像，各部分均40幅图像用于网络训练。测试集各部分均包含20幅图像，用于对网络的性能进行评估，采用随机伽马变换、随机旋转、随机高斯模糊和随机噪声的形式进行原始数据的扩充。为进一步提高细粒度分割的性能，本研究采用滑动窗口采样来进行网络训练。将扩充后训练集中的图像采用48*48的滑动窗口，以5为步长进行连续采样，从训练集中提取的图像块总数均为330000。

所述眼底图像血管分割方法基于像素级的语义分割网络实现，其中所述语义分割网络由收缩路径和扩张路径组成，其中收缩路径通过下采样操作逐渐减少图像的空间维度，而扩张路径通过上采样操作逐步修复物体的细节和空间维度。

所述语义分割网络由收缩路径和扩张路径组成，其中收缩路径通过下采样操作逐渐减少图像的空间维度，而扩张路径通过上采样操作逐步修复物体的细节和空间维度。其网络结构首先采用sfconv的结构进行超细特征抽取，即进行1次上采样，将输入进网络的图片尺寸放大为原来的2倍，在此基础上采用gcn与idcn进行特征提取并通过步长为2的卷积核缩放至原输入尺寸，之后经过2次下采样、2次上采样，且将收缩路径和扩张路径进行跳跃连接。

如图1所示，全局卷积gcn的结构，其采用了两路卷积并行拼接的方案，其中一路的卷积核是(1×n)和(n×1)的形式，另一路的卷积核是(n×1)和(1×n)的形式，这种设计思路能够在不增加大量参数的前提下，充分扩张感受野。在本文中经过大量实验验证，n＝8时效果最好。

如图2所示，膨胀卷积idcnn的结构，采用了不同的膨胀率，来扩张卷积核中的孔洞从而在不增加参数量的前提下，增加卷积核感受野，本文采用了串联的具有不同膨胀率与卷积核大小的idcnn进行特征提取，这两层idcnn的膨胀率分别为2和3，卷积核大小分别为(3×3)和(5×5)，从而避免了孔洞效应所带来的特征损失。

若对图像块进行多次下采样和上采样操作，将会导致血管特征的位置信息和具体细节丢失严重，故本文仅2次上采样与下采样来避免特征的细节丢失。

为了充分利用网络中各卷积层提取的特征信息，本研究采用跳跃连接的方式，即将同尺度的特征图进行拼接融合，以减少特征的损失，再融合之后的特征图进行卷积以提高特征的利用率。最后使用(1×1)的卷积核对图像块进行特征提取，可以有效减少训练的参数并加快推理速度。

全卷积神经网络训练的本质是学习图像块间的规律[15]。由于每批训练的图像小块都是随机选取的，那么网络就需要每次去学习不同的分布，这样会导致训练速度变慢。同时，为了利用激活函数的非线性特性，数据之间的分布范围不能过大。在激活函数和卷积层之前加入了批量归一化函数(bn)，将每批训练的图像块做归一化处理。

如图3所示的语义分割网络示意图，其中，每个的条形框对应一个多通道特征图；绿色的条形框为复制的特征图；箭头表示进行不同的操作。语义分割网络vesselsegnet包含收缩路径和扩张路径两部分，收缩、扩张路径各包含2个结构块并且相互对称。收缩路径中结构块是通过步长为2的池化操作相连接，因此第2个结构块中输入图像的大小为前一个结构块的一半。扩张路径中的结构块之间通过上采样操作相连接，由于扩张路径与收缩路径对称，因此图像块的大小和卷积核的数量均与收缩路径相对应。每一个结构块均由2个3×3的卷积层组成，将结构块中每个卷积层的输出均作为其后面所有卷积层的输入，并通过跳跃连接的方式分别进行计算最后叠加作为该结构块的输出。在每次进行卷积操作之前使用relu激活函数和批量归一化层来进一步优化网络。由于语义分割网络vesselsegnet为端到端的网络结构，因此将网络提取的特征送入sigmoid分类器后，可以直接输出分割后的血管概率图。

如图4所示，通过上述内容，与灵敏度目前最好的方法相比大约提升了3％。在drive眼底图像数据库上得到的血管分割效果如下图所示，图中第1行图像是取自drive数据库中的眼底图像，第2行是专家手工分割的血管图，第3行是本发明提出vesselsegnet网络分割的血管概率图。可以看出，vesselsegnet网络可以准确地分割出血管结构，并且微细血管的分割上表现出色。

根据上述内容，本发明提出了一种眼底图像血管分割方法，包括：

(a)以滑动窗口的形式在原图中采样，来对眼底数据进行扩充，并以窗口中的图片做训练，窗口中包含了中心像素点邻域的上下文信息；

(b)对输入的图像在卷积层中采取双线性差值进行上采样，将上采样后的图像，通过普通卷积提取局部精细化特征，通过全局卷积与膨胀卷积来提取大尺度下的全局特征并采用步长为2的卷积层将尺度缩放；

(c)随后进行采用卷积与最大池化的操作进行下采样并提取其抽象特征，在同一尺度上对这种结构进行稠密连接；

(d)通过在结构块中每个卷积层之前加入批量归一化函数和激活函数，实现对微细血管的分割。

所述眼底图像血管分割方法基于像素级的语义分割网络实现，其中所述语义分割网络由收缩路径和扩张路径组成，其中收缩路径通过下采样操作逐渐减少图像的空间维度，而扩张路径通过上采样操作逐步修复物体的细节和空间维度。

具体地，在步骤(a)中的采样包括以下步骤：

(a1)进行超细特征抽取，即进行1次上采样，将输入进网络的图片尺寸放大为原来的2倍；

(a2)在此基础上进行特征提取并通过步长为2的卷积核缩放至原输入尺寸，

(a3)经过2次下采样、2次上采样，且将收缩路径和扩张路径进行跳跃连接。

优选地，在步骤(b)中特征提取采用串联的具有不同膨胀率与卷积核大小的迭代卷积层进行特征提取，这两层迭代卷积层的膨胀率分别为2和3，卷积核大小分别为(3×3)和(5×5)。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。