本发明属于图像处理领域，具体涉及的是一种基于距离调制损失的迭代式眼底图像血管分割方法。
背景技术：
：带有交互方式的自动化眼底图像血管分割技术能够为眼科医生后续测量视网膜内血管情况提供快捷的服务，帮助医生高效地评估潜在的糖尿病、高血压、动脉血管硬化等疾病情况。目前国内外有大量针对眼底图像血管分割的算法和技术，主要包括两大类技术：无监督训练的分割方法和有监督训练的分割方法。无监督训练的分割方法中最具有代表性的是基于匹配滤波器的(MatchedFilters)方法，该方法通过统计分析得到眼底图像血管横截面的灰度特征近似一个倒置的高斯函数，因此通过设计具有方向性的倒置高斯函数，再与眼底灰度图像卷积得到最大响应的分布图，最终对该分布图进行阈值分割得到血管分割图像。此方法依赖于血管横截面的统计信息，无法对血管中心带有反射的情况进行表征，并且对尺度敏感，无法获得较好的血管分割效果。随着近年来深度学习技术的快速发展，利用深度神经网络来对眼底图像血管进行分割成为有监督训练的分割方法中最普遍的方式。该方法利用不同层次的卷积单元来替代原先复杂的特征工程，统一了特征学习和模型学习过程，提升了血管分割的效果。但是现有的深度学习方法只是单纯地把眼底图像血管分割问题转化为了一个二分类问题，并没有针对血管结构进行进一步的约束，同时如果网络输出的结果不理想时，也无法进一步利用学习的模型改进分割结果。技术实现要素：本发明针对彩色眼底图像中的视网膜血管分割问题，结合血管像素点和非血管像素点的分布特性以及深度神经网络对血管结构的建模能力，提出一种基于距离调制损失的迭代式眼底图像血管分割方法，提高了眼底图像血管分割的精度和鲁棒性，为后续眼底图像的处理提供了帮助。本发明是通过以下技术方案来实现的。一种基于距离调制损失的迭代式眼底图像血管分割方法，采取以下步骤：步骤S0，采集彩色眼底图像形成原始图像；步骤S1，对原始图像进行规范化处理，得到标准化后的原始图像，作为训练图像和测试图像；步骤S2，针对训练图像，迭代训练基于距离调制损失的稠密卷积神经网络，得到最终的稠密卷积神经网络模型；步骤S3，针对测试图像，利用稠密卷积神经网络模型迭代式分割血管，生成最终的血管分割结果。优选地，步骤S0中，采集彩色眼底图像形成原始图像是指利用彩色数码眼底相机拍摄眼底进行眼底图像采集。优选地，所述步骤S1对原始图像进行规范化处理包括：步骤S1.1，统一视场的直径大小，即取原始图像中间(1/2)高度的位置估计原始图像视场直径的大小，对沿着原始图像宽度方向上每个像素点的RGB通道的数值求和，再对每个像素点进行二值化处理：Bp＝Ip＞ThFOV其中，Ip为每个像素点RGB通道的数值之和，ThFOV为视场定位的阈值，取值为所有Ip均值的0.1倍，接着统计所有Bp取值为1的个数，得到的数值即是对原始图像视场直径的估计，然后依据估计的视场直径对原始图像进行等比例的缩放，缩放比例的计算为：其中，Dst＝540为设定的标准视场直径大小，D为估计的视场直径大小。当r＜1时表示需要缩小原始图像，当r＞1时表示需要放大原始图像；步骤S1.2，对缩放后的原始图像进行亮度和对比度规范化，即先对缩放后的原始图像进行高斯滤波，得到滤波后的背景图像：Imgback＝Gσ*Img其中，Img为缩放后的原始图像，Gσ为高斯滤波器模板，σ取值为Dst/60，操作符*表示卷积操作，Imgback为高斯滤波后的背景图像；再依据得到的背景图像对缩放后的原始图像进行亮度和对比度处理：Imgnorm＝α(Img-Imgback)+γ其中，α＝4为对比度调节因子，γ＝128为亮度调节因子，Imgnorm为标准化后的原始图像，其RGB三个通道的取值均限制在[0,255]整数范围内，对取值小于0的值截止为0，大于255的值截止为255。优选地，所述步骤S2迭代训练基于距离调制损失的稠密卷积神经网络包括：步骤S2.1，针对训练图像的血管标记图构造血管标记距离图，即先对血管标记图进行二值图像的距离变换，得到非血管像素点到血管像素点的欧式距离图Mnonves，再对血管标记图取反并进行二值图像的距离变化，得到血管像素点到非血管像素点的欧式距离图Mves，合并两个距离图得到最终的血管标记距离图Mdist：Mdist＝Mves-Mnonves其中，Mdist中的正值表示血管像素点，并且值越大表示像素点越靠近血管中心线，Mdist中的负值表示非血管像素点，并且值越小表示像素点越远离血管；步骤S2.2，对训练图像进行随机采样，每张训练图像上随机选取9500个像素大小为48×48的图像块，并选取它们对应的血管标记图和血管标记距离图Mdist中的位置区域组成训练样本集；步骤S2.3，对训练样本集中的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始的概率值为0.5，表示迭代训练前对每个像素点是否属于血管的无偏差估计；步骤S2.4，利用OlafRonneberger于2015年提出的U型网络和GaoHuang于2016年提出的稠密卷积模块，构造稠密卷积神经网络用于生成图像块的血管概率图，每个稠密卷积模块包含5个卷积层，每个卷积层包含12个3×3的卷积核，填充和步长均为1，该稠密卷积神经网络的输入为48×48像素大小的包含RGB和血管概率的4通道图像块，输出为48×48像素大小的包含血管和非血管两类概率的2通道图像块，具体的参数如下：层名称层类型输入层核大小输出形状(高×宽×通道数)Conv0卷积层Input3×348×48×32Db1稠密卷积模块Conv03×348×48×92Conv1卷积层Db11×148×48×92Mp1MaxpoolingConv12×224×24×92Db2稠密卷积模块Mp13×324×24×152Conv2卷积层Db21×124×24×152Mp2MaxpoolingConv22×212×12×152Db3稠密卷积模块Mp23×312×12×212Conv3卷积层Db31×112×12×212Mp3MaxpoolingConv32×26×6×212Db4稠密卷积模块Mp33×36×6×272Up1上采样层Db42×212×12×60Db5稠密卷积模块[Up1,Db3]3×312×12×332Up2上采样层Db52×224×24×60Db6稠密卷积模块[Up2,Db2]3×324×24×272Up3上采样层Db62×248×48×60Db7稠密卷积模块[Up3,Db1]3×348×48×212Conv4卷积层Db71×148×48×2OutputSoftmaxConv4无48×48×2其中，Softmax层使得每个图像块中同一像素点的血管和非血管两类概率之和为1，选取血管类别的通道即是图像块的血管概率图；步骤S2.5，对训练样本集中每个图像块的像素点定义距离调制损失，根据对应血管标记图中的标记：-若该像素点标记为血管像素点，则距离调制损失定义为：Lossves＝-Mdist(q)AlogP其中，q为该像素点在训练图像中的位置，P为该像素点的血管概率值，A为血管像素点的距离调制因子，取值为0.5，从而对于靠近血管中心线的血管像素点给予更高的权重；-若该像素点标记为非血管像素点，则距离调制损失定义为：Lossnonves＝-|Mdist(q)|Blog(1-P)由于非血管像素点在血管标记距离图中为负值，需要取绝对值运算，B为非血管像素点的距离调制因子，取值为0.2，从而对于远离血管的非血管像素点给予更高的权重；步骤S2.6，基于定义的距离调制损失，多次迭代训练构建的稠密卷积神经网络，具体的步骤如下：步骤S2.6.1，选取训练样本集中的十分之一作为验证集，用于监控训练效果；步骤S2.6.2，在输入稠密卷积神经网络前，对训练样本集中图像块增加的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；步骤S2.6.3，每次训练周期采用DiederikKingma于2014年提出的Adam优化算法更新稠密卷积神经网络的参数，学习率取值为10-5，每批次数量取32个图像块；步骤S2.6.4，重复步骤S2.6.3直到验证集上的距离调制损失不再下降，判断延迟设置为10个训练周期；步骤S2.6.5，选取距离调制损失最小时的稠密卷积神经网络参数作为当前最佳的网络参数，对训练样本集中的每个图像块生成血管概率图，然后将每个图像块的血管概率通道替换为当前生成的血管概率图；步骤S2.6.6，重复步骤S2.6.2-步骤S2.6.5，直到满足终止条件，终止条件设置为达到指定的迭代次数或者验证集上的距离调制损失不再下降，结束迭代训练后得到最终的稠密卷积神经网络模型。优选地，所述步骤S3利用训练好的稠密卷积神经网络迭代式分割血管包括：步骤S3.1，采用滑动窗口的方式在测试图像上有序提取像素大小为48×48的图像块，滑动步长设置为5个像素大小，对于边界处不足48个像素点的区域进行RGB通道的填充，使该区域刚好达到48个像素点以完成一个图像块的提取，填充值为128；步骤S3.2，对提取的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始概率值设置为0.5，表示对血管和非血管两类的无偏差估计；步骤S3.3，在输入稠密卷积神经网络模型前，对所有提取的图像块中的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；步骤S3.4，利用训练得到的稠密卷积神经网络模型，获得所有图像块对应的血管概率图，按照步骤S3.1中滑动窗口提取图像块时的位置信息，将所有图像块的血管概率图拼接成对应的测试图像的血管预测图，在拼接过程中，对重叠部分取均值，同时去掉填充的部分；步骤S3.5，用步骤S3.4中获得的图像块的血管概率图替换步骤S3.2中对应图像块的血管概率通道；步骤S3.6，重复步骤S3.3-步骤S3.5直到满足终止条件，终止条件设置为达到训练过程中使用的最大迭代次数、参与交互的人员对当前血管预测图的结果表示满意或者依据血管预测图生成的血管分割结果达到稳定状态，迭代终止后依据血管预测图生成最终的血管分割结果。本发明通过设计距离调制损失来提升血管中心线的重要性同时抑制远离血管的离散假阳性血管像素点，并且通过设计迭代式分割方式使稠密卷积神经网络能够进一步学习潜在的血管结构同时为交互操作提供了接口。与现有技术相比，本发明具有如下有益效果：对彩色数码眼底相机拍摄的眼底图像能够自动化地分割其视网膜血管，并且分割结果符合血管的分布特性，设计的迭代过程为通过交互的方式提升分割效果提供了进一步的空间，为后续医生对眼底血管的诊断提供了便利。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：图1为本发明基于距离调制损失的迭代式眼底图像血管分割方法的流程图。图2(a)为本发明实施例中训练图像G通道分量。图2(b)为本发明实施例中训练图像规范化处理后的G通道分量。图2(c)为本发明实施例中训练图像的血管标记图。图2(d)为本发明实施例中训练图像的血管标记距离图归一化显示。图3(a)为本发明实施例中的稠密卷积模块示意图。图3(b)为本发明实施例中的稠密卷积神经网络示意图。图4(a)为本发明实施例中测试图像规范化处理后的G通道分量。图4(b)为本发明实施例中测试图像第1次迭代输出的血管预测图。图4(c)为本发明实施例中测试图像第2次迭代输出的血管预测图。图4(d)为本发明实施例中测试图像第3次迭代输出的血管预测图。图4(e)为本发明实施例中测试图像第4次迭代输出的血管预测图。图4(f)为本发明实施例中测试图像最终的血管分割结果。具体实施方式下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。实施例本实施例所使用的眼底图像来自公开的数据集，采用的硬件设备为GPU工作站，包括IntelXeonCPUE5-2620和GeForceGTX1080GPU，如图2a所示为训练图像的G通道分量。(1)对原始图像(即眼底图像)进行规范化处理由于不同来源的眼底图像存在图像分辨率大小、亮度和对比度不一致的情况，因此需要在输入分割模型(即稠密卷积神经网络模型)前进行规范化，以保证分割算法的稳定性。具体实施步骤如下：1)统一视场的直径大小，即取原始图像中间1/2高度的位置来估计原始图像视场的大小，对沿着原始图像宽度方向上每个像素点的RGB通道的数值求和，再对每个像素点进行二值化处理：Bp＝Ip＞ThFOV其中，Ip为每个像素点RGB通道的数值之和，ThFOV为视场定位的阈值，取值为所有Ip均值的0.1倍，接着统计所有Bp取值为1的个数，得到的数值即是对原始图像视场直径的估计，然后依据估计的视场直径对原始图像进行等比例的缩放，缩放比例的计算为：其中，Dst＝540为设定的标准视场直径大小，D为估计的视场直径大小。当r＜1时表示需要缩小原始图像，当r＞1时表示需要放大原始图像；2)对缩放后的原始图像进行亮度和对比度规范化，即先对缩放后的原始图像进行高斯滤波，得到滤波后的背景图像：Imgback＝Gσ*Img其中，Img为缩放后的原始图像，Gσ为高斯滤波器模板，σ取值为Dst/60，操作符*表示卷积操作，Imgback为高斯滤波后的背景图像；再依据得到的背景图像对缩放后的原始图像进行亮度和对比度处理：Imgnorm＝α(Img-Imgback)+γ其中，α＝4为对比度调节因子，γ＝128为亮度调节因子，Imgnorm为标准化后的原始图像，其RGB三个通道的取值均限制在[0,255]整数范围内，对取值小于0的值截止为0，大于255的值截止为255。如图2b所示为Imgnorm的G通道分量。(2)迭代训练基于距离调制损失的稠密卷积神经网络通过距离变换表征血管和非血管像素点的分布特性可以使神经网络侧重主要的血管结构，而迭代式的训练过程可以在测试时为算法提供友好的交互接口。具体实施步骤如下：1)针对训练图像的血管标记图构造血管标记距离图，先对血管标记图进行二值图像的距离变换，得到非血管像素点到血管像素点的欧式距离图Mnonves，再对血管标记图取反并进行二值图像的距离变化，得到血管像素点到非血管像素点的欧式距离图Mves，合并两个距离图得到最终的血管标记距离图Mdist：Mdist＝Mves-Mnonves其中，Mdist中的正值表示血管像素点，并且值越大表示像素点越靠近血管中心线，Mdist中的负值表示非血管像素点，并且值越小表示像素点越远离血管；2)对规范化后的训练图像进行随机采样，每张训练图像上随机选取9500个像素大小为48×48的图像块，并选取它们对应的血管标记图和血管标记距离图Mdist中的位置区域组成训练样本集；3)对训练样本集中的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始的概率值为0.5，表示迭代训练前对每个像素点是否属于血管的无偏差估计；4)利用OlafRonneberger于2015年提出的U型网络和GaoHuang于2016年提出的稠密卷积模块，构造稠密卷积神经网络用于生成图像块的血管概率图，每个稠密卷积模块包含5个卷积层，每个卷积层包含12个3×3的卷积核，填充和步长均为1，如图3a所示为稠密卷积模块的示意图，该神经网络的输入为48×48像素大小的包含RGB和血管概率的4通道图像块，输出为48×48像素大小的包含血管和非血管两类概率的2通道图像块，如图3b所示为稠密卷积神经网络的示意图，具体的参数如下：其中，Softmax层使得每个图像块中同一像素点的血管和非血管两类概率之和为1，选取血管类别的通道即是图像块的血管概率图；5)对训练样本集中每个图像块的像素点定义距离调制损失，根据对应的血管标记图中的标记：-若该像素点标记为血管像素点，则距离调制损失定义为：Lossves＝-Mdist(q)AlogP其中，q为该像素点在训练图像中的位置，P为该像素点的血管概率值，A为血管像素点的距离调制因子，取值为0.5，从而对于靠近血管中心线的血管像素点给予更高的权重；-若该像素点标记为非血管像素点，则距离调制损失定义为：Lossnonves＝-|Mdist(q)|Blog(1-P)由于非血管像素点在血管标记距离图中为负值，需要取绝对值运算，B为非血管像素点的距离调制因子，取值为0.2，从而对于远离血管的非血管像素点给予更高的权重；6)基于定义的距离调制损失，多次迭代训练构建的稠密卷积神经网络，具体的步骤如下：a)选取训练样本集中的十分之一作为验证集，用于监控训练效果；b)在输入稠密卷积神经网络前，对训练样本集中图像块增加的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；c)每次训练周期采用DiederikKingma于2014年提出的Adam优化算法更新稠密卷积神经网络的参数，学习率取值为10-5，每批次数量取32个图像块；d)重复步骤c直到验证集上的距离调制损失不再下降，判断延迟设置为10个训练周期；e)选取距离调制损失最小时的稠密卷积神经网络参数作为当前最佳的网络参数，对训练样本集中的每个图像块生成血管概率图，然后将每个图像块的血管概率通道替换为当前生成的血管概率图；f)重复步骤b-e直到满足终止条件，终止条件设置为验证集上的距离调制损失不再下降，结束迭代训练后得到最终的稠密卷积神经网络模型。(3)利用训练好的稠密卷积神经网络迭代式分割血管得到训练好的稠密卷积神经网络模型，便可以将此模型应用于不同彩色眼底相机采集的眼底图像，具体实施步骤如下：1)根据所述步骤(1)中的原始图像的规范化处理，对测试图像进行规范化处理，如图4a所示为测试图像规范化处理后的G通道分量；2)采用滑动窗口的方式在规范化后的测试图像上有序提取像素大小为48×48的图像块，滑动步长设置为5个像素大小，对于边界处不足48个像素点的区域进行RGB通道的填充，使该区域刚好达到48个像素点以完成一个图像块的提取，填充值为128；3)对提取的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始概率值设置为0.5，表示对血管和非血管两类的无偏差估计；4)在输入稠密卷积神经网络前，对所有提取的图像块中的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；5)利用训练得到的稠密卷积神经网络模型，获得所有图像块对应的血管概率图，按照步骤2)中滑动窗口提取图像块时的位置信息，将所有图像块的血管概率图拼接成对应的测试眼底图像的血管预测图，在拼接过程中，重叠部分取均值，同时去掉填充的部分；6)用步骤5)中获得的图像块的血管概率图替换步骤3)中对应图像块的血管概率通道；7)重复步骤4)-6)直到满足终止条件，终止条件设置为参与交互的人员对当前血管预测图的结果表示满意，如图4b、c、d、e所示为多次迭代测试图像的血管预测图，迭代终止后依据血管预测图生成最终的血管分割结果，如图4f所示。经本发明分割出的血管准确度高，并且能够通过迭代的方式持续提升分割效果，为后续医生的观测诊断提供便利。本实施例提供的基于距离调制损失的迭代式眼底图像血管分割方法，能处理不同采集情况下的彩色眼底图像，能够为眼科医生提供交互式的血管分割体验，对血管检测更具鲁棒性，为后续的辅助诊断提供可靠保障。以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。当前第1页1 2 3