一种U-Net与自适应PCNN相结合的视网膜血管分割方法与流程

本发明一种u-net与自适应pcnn相结合的视网膜血管分割方法，用于视网膜血管的精准分割。
背景技术：
：糖尿病、心脑血管以及各种眼科疾病的发病率随着人们生活水平不断提升在不断增加，人们身体健康受到严重威胁。而视网膜血管的形态变化与这些疾病的发生有着密切联系，能在一定程度上反映发病情况。但由于视网膜血管的特殊性，采集和手动分割成本高昂，数据集稀少，目前视网膜图像中的血管分割存在诸多难点：1)、眼底图像中血管与背景之间的对比度低。由于采集设备和采集环境的影响如光照不均等因素，噪声干扰严重，加之人生理变化对血管的影响，造成对比度低、图片质量差的情况；2)、血管自身结构特征复杂。视网膜血管的长宽、曲折度、形状不一，呈树状分布，使得分割具有一定的困难。目前大多数分割方法所得到的血管图像都存在断裂血管与误判，而且难以将微小型血管完整分割出来，从而导致分割效果不佳。所以，设计一种视网膜血管的精准分割方案显得尤为重要。传统视网膜血管分割方法中常用的方法是基于匹配滤波的方法。文献[1]中国专利“视网膜血管图像的分割方法”(申请号：201611185885.2)跟据血管特征基本符合高斯分布的特点，将视网膜血管与高斯分布函数进行不同方向的匹配滤波，然后对响应结果进行阈值化，选取响应最大的匹配滤波结果作为血管输出，最终提取出视网膜血管图像。文献[2]中国专利“一种基于区域增长pcnn的视网膜血管分割方法”(申请号：201910013381.x)也分别使用二维高斯滤波和二维gabor滤波进行不同方向的匹配滤波，然后融合两者结果，使用区域增长pcnn分割血管。该类方法对图像中病变部位的特征不敏感，因此会造成误判。而且预处理过程不足，处理后的图片质量仍然不高。所以该方法虽能较为完整分割出粗血管，但缺失微小型血管信息。深度学习技术迅猛发展，在医学图像处理领域表现出巨大的优势。众多研究者将深度学习技术应用到眼底图像中的分割任务。文献[3]中国专利“基于深度学习与传统方法相结合的视网膜血管分割方法”(申请号：201611228597.0)将数据集图像分别进行clahe和高斯匹配滤波之后，输入fcn-hned网络提取视网膜血管，最后将得到的两个血管概率图加权平均。文献[4]中国专利“给予深度学习的眼底图像视网膜血管分割方法及系统”(申请号：201610844032.9)将图片预处理之后，训练并使用深度卷积神经网络进行图像分割，再使用随机森林分类器进行像素分类，然后融合卷积神经网络与随机森林分类器的两个结果，得到最终分割结果。这些方法都有一些缺点。视网膜血管图像数据集图片质量差别大、数量不足，使用一般神经网络模型容易导致分割结果质量差、过拟合等问题，无法满足医护人员的需求。在深度学习领域中，有着众多网络模型，其中，文献[5]olafronneberger,philippfischer,thomasbrox.u-net:convolutionalnetworksforbiomedicalimagesegmentation.miccai,2015:234-241.记载的技术方案中，神经网络对于数据集稀少的医学图像处理比较友好，展现了巨大优势。因此研究人员使用其实现视网膜血管分割。文献[6]中国专利“结合多尺度特征卷积神经网络视网膜血管图像分割方法”(申请号：201810635753.8)先将图片预处理，构建多尺度特征分割网络，将空间金字塔空洞卷积引入u-net神经网络，进行视网膜血管分割。文献[7]中国专利“对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质”(申请号：201910009415.8)使用一种稠密连接的u-net神经网络提取视网膜血管图像，先将原始图片灰度化以及白化增强图片，然后将稠密连接引入u-net神经网络，提高泛化能力，再分割血管图像。然而，这些方法得的特征图像为灰度图像，都采用硬阈值方法直接进行分割，对于接近0或者1的像素分类非常准确，但是有些血管像素灰度值小于0.5，而且0.5灰度左右血管可能与背景混淆，造成误分类，产生噪点，降低分割精度，如图1(a)、图1(b)、图1(c)、图1(d)、图1(e)所示，其中：图1(a)为专家标注图。图1(b)为u-net输出结果图。图1(c)中，红色为u-net硬阈值分割，0.5灰度以下被误分背景的血管；图1(d)中，蓝色为u-net硬阈值分割，0.5灰度以上误分为血管的背景。图1(e)为图1(c)、图1(d)误分类像素直方图，红色为血管被分类为背景像素直方图，蓝色为背景被分类为血管像素直方图。脉冲耦合神经网络即pcnn是在eckhorn提出的猫视觉皮层模型的基础上进行了一种拓展，模仿了生物视觉复杂系统，属于第三代神经网络。与传统神经网络不同，pcnn神经元之间有乘性耦合和动态脉冲阈值特性，使得pcnn适用于图像分割。文献[8]中国专利“基于自适应pcnn的眼底图像血管自动检测方法”(申请号：201210458362.6)首先采用clahe和二维高斯匹配滤波器进行预处理，然后以像素的拉普拉斯能量作为连接系数，结合最大类间方差与pcnn对眼底图像进行血管分割。文献[9]中国专利“一种基于pcnn的视网膜血管图像分割方法及系统”(申请号：201710145321.4)提出一种基于pcnn的视网膜血管分割方法，先提取绿色通道进行clahe和高斯匹配滤波，然后将clahe处理图像与高斯匹配滤波图像相减、取反，再将带有快连接机制的pcnn与种子区域生长相结合，提取眼底血管。但是由于预处理过程不足，导致预处理后眼底图像中血管与背景对比度低，后续pcnn处理困难，分割结果存在大量断裂血管，准确度不高。总之，只使用u-net神经网络或者pcnn网络，分割结果都不如人意。只使用u-net模型分割血管，因其后处理使用硬阈值分割，导致中间灰度即血管与背景灰度级交叉处的像素混淆，导致分类出错，降低准确度。只使用pcnn神经网络，但其预处理效果不佳，增强之后图片质量仍然良莠不齐，噪声干扰严重，对比度差。即使pcnn具有乘性耦合和动态脉冲阈值特性，分割结果依旧不尽人意。技术实现要素：本发明将u-net与pcnn相结合，相互补充优缺点，提出一种u-net与自适应pcnn相结合的视网膜血管分割方法，该方法一方面针对数据集图片质量参差不齐，对比度低，难以满足后续处理要求的情况，改进u-net模型，提出了一种基于改进后的u-net二次迭代式眼底血管图像增强方法。通过这种增强，可以显著抑制背景，凸显血管区域，削弱噪声干扰，增加图片对比度，从而提升数据集图片质量。由于u-net是一种深层卷积神经网络，因此有着很强的泛化能力；该方法另一方面针对u-net输出经硬阈值分割后，眼底微小血管易于丢失和缺损的情况，提出了一种基于自适应pcnn的眼底血管图像分割方法。通过使用otsu算法估计出的准确参数，然后将u-net二次迭代增强输出结果，送入自适应pcnn，实现完整眼底血管的有效分割。本发明采取的技术方案为：一种u-net与自适应pcnn相结合的视网膜血管分割方法，首先原始彩色眼底图像进行预处理；接着使用预处理之后的数据集对深度学习模型进行训练、增强；然后使用改进的u-net模型进行二次增强，先将一次增强结果与原彩色图像相融合、灰度化和clahe处理，再将图片输入改进的u-net模型增强图片质量，因为第一次u-net增强图片后，图片质量仍有缺陷，一些位于昏暗区域或噪声严重区域的微小型血管难以分辨，将图片再次输入u-net，整体性提高图片质量；otsu算法得到目标与背景分割阈值，使用公式得到相关自适应参数，再使用pcnn进行血管分割。一种u-net与自适应pcnn相结合的视网膜血管分割方法，包括以下步骤：步骤1：对实验中所选用的眼底图像数据库做数据增广；步骤2：数据集图片进行灰度化处理；步骤3：数据集图片进行clahe处理，加大视网膜血管与背景之间的对比度；步骤4：图像分块；步骤5：u-net神经网络模型的搭建、训练以及图片增强；步骤6：自适应pcnn神经网络模型的搭建；步骤7：使用自适应pcnn进行血管分割。本发明一种u-net与自适应pcnn相结合的视网膜血管分割方法，技术效果如下：1：本发明针对当前数据集图片对比度低、噪声干扰强、质量差的情况，提出了一种血管图像增强方法，该方法使用u-net网络模型进行血管图像预处理，增强图片质量。将经过一次改进u-net模型增强之后的数据集图像与原始彩色图像融合，再进行clahe均衡化处理，然后输入已训练好的改进u-net模型。经过二次图像增强处理比之前更加适合pcnn分割，难以肉眼识别的微小型血管显现出来，肉眼可识别的血管进一步得到了加强,如图9所示。2：本发明针对当前算法分割精度不足，难以完整分割微小型血管，对于u-net使用硬阈值分割血管，导致灰度值位于0.5左右像素易误分类的问题，使用自适应pcnn对预处理图像进行视网膜血管分割。将pcnn分割结果对应二次增强图0.7以上像素置1,0.3以下像素置0，只让0.3-0.7之间像素进行pcnn分割。再使用otsu算法计算阈值，得到pcnn相关参数，再进行pcnn分割。这样专门针对0.3-0.7之间像素分割出了微小型血管，既够保留微小型血管的信息，也能减少错误分类的像素数量。附图说明图1(a)为标签图；图1(b)为原始u-net分割图像；图1(c)为误分类示意图一，红色为u-net硬阈值分割，0.5灰度以下被误分背景的血管；图1(d)为误分类示意图二，蓝色为u-net硬阈值分割，0.5灰度以上误分为血管的背景；图1(e)为图1(c)、图1(d)误分类像素直方图。图2为drive数据集增广图；图3(a)为clahe处理前灰度图；图3(b)为clahe处理后图。图4为测试集图像分块图。图5为u-net网络结构图。图6为下采样分解图；图7为上采样分解图；图8为图像增强过程图。图9(a)为第一次u-net增强图；图9(b)为第二次u-net增强图。图10为pcnn结构图。图11为0.3-0.7灰度图像。图12(a)为u-net与本发明分割结果对比图(u-net+硬阈值分割结果)；图12(b)为u-net与本发明分割结果对比图(改进u-net+硬阈值分割结果)；图12(c)为u-net与本发明分割结果对比图(两次改进u-net+硬阈值分割结果)；图12(d)为u-net与本发明分割结果对比图(两次改进u-net+pcnn分割结果)。图13为四种分割结果对比图。具体实施方式本发明将u-net与pcnn相结合，相互补充优缺点，提出一种u-net与自适应pcnn相结合的视网膜血管分割方法，其主要流程是：首先原始彩色眼底图像进行预处理；接着使用预处理之后的数据集对深度学习模型进行训练、增强；然后使用改进的u-net模型进行二次增强，先将一次增强结果与原彩色图像相融合、灰度化和clahe处理，再将图片输入改进的u-net模型增强图片质量，因为第一次u-net增强图片后，图片质量仍有缺陷，一些位于昏暗区域或噪声严重区域的微小型血管难以分辨，将图片再次输入u-net，整体性提高图片质量；otsu算法得到目标与背景分割阈值，使用公式得到相关自适应参数，再使用pcnn进行血管分割。本发明包括以下步骤：步骤1：对实验中所选用的眼底图像数据库做数据增广；步骤2：数据集图片进行灰度化处理；所有图片按比例提取红绿蓝三通道图像x＝0.299r+0.587g+0.114b，即灰度化处理，如图3(a)所示；步骤3：数据集图片进行clahe处理，加大视网膜血管与背景之间的对比度；步骤4：图像分块；步骤5：u-net神经网络模型的搭建、训练以及图片增强；步骤6：自适应pcnn神经网络模型的搭建；步骤7：使用自适应pcnn进行血管分割。进一步的，所述步骤1具体为：步骤1.1：将drive、stare和chase_db1三个数据集中的每一幅图片进行水平翻转；步骤1.2：数据集图片进行垂直翻转；步骤1.3：数据集图片再进行gamma变换。数据经过增广之后，数据集中的每一幅图片扩充为四幅，共有352幅图片用作模型的训练、测试和图片增强。进一步的，所述步骤4具体为：步骤4.1：训练集图片的分块是在图片中随机选取48×48大小的图片；步骤4.2：测试集图片分块是在图像中每隔5个像素取一个图像块，将图像分成重叠的48×48图像块，在边缘以补充0灰度级像素的方式防止像素数量不足的问题出现，分块如图4所示。进一步的，所述步骤5具体为：步骤5.1：本发明针对数据集图片质量参差不齐的问题，搭建u-net模型作为预处理神经网络，提升图片质量。u-net是一个具有u型对称结构的全卷积神经网络，图5为u-net网络模型示意图。左半部分为下采样部分，右半部分为上采样部分。下采样单元由卷积层、批标准化层、激活层、正则化层、最大池化层组成，如图6所示，在网络的训练中能够对输入图像进行路径收缩从而捕捉到全局信息。每经过一次下采样单元，输出图像缩小到输入图像的1/4。激活函数是目前深度学习常用的leaky-relu函数。该函数是在relu函数基础上演变而来的，相比于relu函数而言，leaky-relu函数给所有的负值赋予了一个较小的非零斜率，使得负轴的信息不会完全丢失。上采样单元由上采样层、卷积层、批标准化层、激活层、正则化层组成，如图7所示。每经过一次上采样单元，输出图像扩大到输入图像的4倍。再经过卷积层二维卷积，批标准化层拉伸卷积层输出到正态分布。leaky-relu函数进行非线性映射，正则化层以一定概率丢弃神经元激活值。输出层激活函数为softmax函数。表1隐层参数表下采样层特征图大小上采样层特征图大小卷积核大小layer_148×48layer_16×63×3layer_224×24layer_212×123×3layer_312×12layer_324×243×3layer_46×6layer_448×483×3相比于原始u-net模型，本发明有一些改进：其一，本发明上、下采样单元各有4层，都是3次横向卷积，而一般的u-net模型使用的是2次横向卷积，这样增加了u-net网络的深度，3次横向卷积可以提取出更多的细节信息，能保存微小型血管。其二，本发明使用批标准化层将激活函数的输入强制拉到标准正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，避免深度学习经常出现的梯度弥散问题，加快网络收敛速度。其三，本发明使用了正则化层。它的作用是让卷积层神经元以一定概率丢弃激活值，减少各层节点之间的作用，防止模型过拟合的现象出现。批标准化层和正则化层一同使用，加快了模型训练速度，增强了模型泛化能力和鲁棒性。步骤5.2：在模型训练阶段，每一轮训练时我们选取训练集中90％的数据用于训练，将剩余10％的数据用作验证。模型中使用交叉熵代价函数计算误差，然后使用随机梯度下降的方式来最小化代价，然后反向传播更新权重和偏置。步骤5.3：将初步处理过的测试集图片输入训练好的改进u-net模型，进行第一次增强；步骤5.4：初次增强图片进行第二次增强，图8为图像增强过程图。首先，将初次增强结果与原图绿色通道融合及灰度化，其公式如下：x＝0.299*r+0.587*(0.99*g+0.01*gray)+0.114*b(1)再进行第二次clahe处理。然后将处理过的图像再次输入改进u-net模型，进行二次增强。此次图片增强无需再训练模型，直接使用。图9(a)、图9(b)为经过两次u-net增强结果对比，二次增强图片进一步增加图像中的微小型血管信息，使输出图像中血管与背景的对比度加大，削弱了噪声干扰。这样使用两轮u-net模型增强图片质量，比一般图像预处理操作效果更好，能极大减轻后续pcnn分割血管的难度。最后将u-net模型输出结果重组为原始图像大小的增强图像。进一步的，所述步骤6具体为：本发明针对灰度图像的二值分割，构建了自适应pcnn。pcnn是eckhorn根据哺乳动物视觉皮层模型提出的，属于第三代神经网络。pcnn的构成如图10所示。pcnn模型由接受域、调制域、脉冲产生域组成。接受域由连接输入和反馈输入组成；调制域主要是产生内部活动项；脉冲产生域由阈值调节器、脉冲发生器组成。当内部活动项大于动态门限时，神经元点火，＝1。pcnn的数学表达式为：l[n]＝∑klwijklykl[n-1](2)u[n]＝f[n](1+βl[n])(3)其中，为连接输入，为内部活动项，为反馈输入，为脉冲输出，为动态阈值，为连接权重，β为连接强度系数，αθ为阈值衰减因子，vθ为数值调整系数，为迭代次数。自适应pcnn将图像分成多块，使用otsu方法计算各个图块目标背景分割阈值t，再使用公式(6)(7)计算初始点火阈值θ0和连接系数β，θ0＝m0+k1*σ0(6)其中，θ0为pcnn初始点火阈值，t为目标背景分割阈值，m0为目标像素均值，σ0为目标像素方差，k1、k2为常数系数，通常k1∈[1,2]，k2∈[0,1]。进一步的，所述步骤7具体为：步骤7.1：将二次增强得到的灰度图像分割成多块m×n的不重叠图块；步骤7.2：只保留图块中0.3-0.7的像素值，其他像素值归0，如图11所示。本发明针对硬阈值分割导致0.5灰度附近像素类别混淆的情况专门分割0.3-0.7之间像素。而且血管图像中0灰度级像素太多，这也会干扰otsu算法得到最佳阈值。步骤7.3：各图块将0灰度级像素除去，再使用otsu计算各自目标背景分割阈值t，再计算初始点火阈值θ0、初始连接系数β；步骤7.4：将处理之后图块输入到pcnn步骤7.5：使用初始点火阈值和连接系数以及公式(2)-(5)进行迭代分割；步骤7.6：迭代结束后，将pcnn分割结果重组为原始图像大小；步骤7.7：将分割图像中对应于二次增强图像中0.7以上像素位置的像素置为1,0.3以下的置为0。本发明提供了一种基于u-net与自适应pcnn的视网膜血管分割方法，其结构如图5、图10所示。(一)：该方法使用改进的u-net模型作为预处理神经网络模型，两次增强视网膜血管，其结构如图5所示。具体方法为：1)初次血管增强。将原始图片灰度化、clahe以及分块处理。搭建改进u-net网络模型，每个循环单元使用三次横向卷积，引入批标准化层和正则化层防止梯度弥散和过拟合，加快训练速度，再训练u-net模型，然后使用其完成第一次血管增强；2)二次血管增强。将经过一次改进u-net模型增强之后的数据集图像与原始彩色图像融合，再进行clahe均衡化处理，然后输入已训练好的改进u-net模型。使用u-net模型进行两次血管增强，增加了血管与背景的对比度，使得即使是在昏暗区域肉眼不可见的微小型血管都能清晰可见，得到细节信息更多的灰度图像,如图9所示。(二)：该方法将u-net与自适应pcnn相结合，提出一种视网膜血管分割方法。先使用改进的u-net模型增强图片质量，再进行自适应pcnn分割血管。自适应pcnn只允许0.3-0.7之间像素进入pcnn进行分割，因为在0.3-0.7以外范围的像素其分类正确的概率很高，而在这之间的像素容易混淆类别，所以要专门针对其进行分割。再利用otsu算法以及公式计算pcnn相关参数，进行pcnn分割。最后将分割结果对应于0.7以上像素置1,0.3以下像素置0，提取微小型血管信息。图12(a)～图12(d)为四种分割方法以数据集其中一张图像为例的对比。图13为四种分割方法在数据集的平均表现。从对比可以看出，相比于传统u-net网络结合硬阈值的分割方法而言，本发明提出的改进的u-net，两次u-net增强处理以及两次u-net增强与pcnn相结合的方法，明显能够提升分割结果的各项指标。当前第1页12