一种基于改进UNET的数字视网膜图像分割方法与流程

本发明涉及医疗图像处理，特别是一种基于改进unet的数字视网膜图像分割方法。

背景技术：

1、视网膜图像在眼科疾病的诊断和治疗中扮演着重要的角色。通过对视网膜图像的分析，医生可以诊断出多种眼部疾病，如糖尿病视网膜病变、青光眼、黄斑变性等。因此，精确的视网膜图像分割对于疾病的早期诊断和治疗计划的制定至关重要。眼底视网膜血管图像分割作为现代眼科中的非入侵性诊断方法，已经是计算机辅助诊断视网膜疾病的重要组成部分。这一任务面临多种挑战，包括图像的质量、光照条件的变化、视网膜结构之间的对比度差异较小，以及病变区域的不规则性等，人工分割的过程十分繁琐且容易出错，这在临床应用时海量的数据面前是不可行的，因此眼底图像中的血管分割技术一直以来都是图像分析领域的难点和热点，迫切需要一种自动分割视网膜血管的算法。

2、传统的视网膜图像分割方法主要包括基于阈值的方法、区域生长方法、边缘检测方法等。这些方法依赖于手工设计的特征和启发式规则，因此在处理复杂和多变的视网膜图像时，效果可能不理想。近年来，深度学习技术，特别是卷积神经网络(cnn)，已经在视网膜图像分割任务中取得了显著的进展，许多深度学习模型已被应用到眼底图像血管分割中，如fcn，unet，u2net，unet++，gans(生成对抗网络)等。但目前方法仍存在以下局限性：

3、(1)数据依赖性强：深度学习模型的性能在很大程度上依赖于大量的标记数据。在眼底图像血管分割的任务中，获取大量的高质量、标记精确的训练数据非常困难和耗时。

4、(2)泛化能力有限：现有的模型可能在特定数据集上表现良好，但当应用于不同的设备采集的图像或不同患者群体时，其性能可能会显著下降。

5、(3)计算资源要求高：当前广泛应用的视网膜图像分割模型，往往过于复杂，需要强大的计算资源进行训练和推理，这可能限制了它们在资源受限的环境中的应用。

6、(4)小血管的分割困难：现有的血管分割算法往往在分割大血管时表现较好，但在识别和分割小血管结构时仍面临挑战，细节处的分割对于疾病的早期诊断非常关键。

7、(5)对噪声和伪影敏感：尽管深度学习模型在图像分割任务中取得了进展，但它们仍然对图像中的模糊，噪声，不均匀照明敏感，这可能导致分割性能下降。

8、而在申请号为202011308230.6的中国发明公开了基于改进unet++的视网膜血管图像分割方法，该基于改进unet++的视网膜血管图像分割方法选取了深度监督网络unet++作为图像分割网络模型，提升特征的使用效率；引入mulitres特征提取模块，改善低对比度环境下细小血管的特征学习效果，通过协调图像在不同尺度下学习到的特征，进一步提升网络的泛化能力和网络结构的表达能力，并在特征提取后加上senet通道注意力模块进行挤压和激励操作，从而增强特征提取阶段的感受野，提高目标相关特征通道的权重，该现有技术专利通过引入mulitres特征提取模块和senet通道注意力模块改进unet++模型，较高的网络复杂度可能会导致训练和推理的时间和计算资源消耗增加，限制了方法的实际应用；

9、在申请号为201910731986.2的中国发明公开了一种基于frangi增强和注意力机制unet的眼底图像血管分割方法，此发明，准确率高，泛化能力强，能够在不同类型的眼底图像中获得精准的血管分割结果。通过使用frangi增强算法，提高了血管的对比度，增加了血管之间的连续性和完整性，较大程度上提高血管分割的精度，但该专利基于unet引入了frangi增强方法和注意力机制来提取眼底图像中的血管信息，对图像噪声、光照条件和尺度因子的选择比较敏感，且依赖大量的标注数据，受数据质量影响严重，在小样本数据集上表现较差。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于改进unet的数字视网膜图像分割方法，具备可对医疗数据集进行增强，方式包括但不限于调整色彩饱和度，随机改变对比度、翻转、裁剪等，提升模型抗光学畸变和抗几何畸变能力；构建unet网络，实现细粒度的图像特征提取，引入lsknet模块，动态调整模型感受野，充分挖掘并利用目标的背景信息，对于微小目标更加敏感，较传统图像分割模型准确性提高，对微小目标物体的分割结果质量更好，达到更高的识别精度和分割效果；在图像质量和尺度因子选择上具有更好的鲁棒性和灵活性，泛化能力强，可有效应用于小样本医疗数据集；同时，实现轻量化模型，以更低的复杂度达到更优性能。且测试后证明本方案能够在数字视网膜图像分割任务中取得较高的性能，模型鲁棒性增强，具有实际应用价值和工程化部署的优势。

2、为了实现上述目的，本发明一方面的实施例提供一种基于改进unet的数字视网膜图像分割方法，包括以下步骤，

3、步骤s1：数据集获取；

4、步骤s2：数据增强，通过图像处理技术来扩充数据集，提升数据多样性，增强模型在真实医疗应用场景不同环境下的适应能力及鲁棒性；

5、步骤s3：构建unet网络，将编码器和解码器相结合，并采用拼接方式，捕捉不同尺度的特征信息，实现精确高效的图像分割；

6、步骤s4：添加lsknet模块，对原始unet图像分割网络的扩展补充；

7、步骤s5：网络训练，原始unet算法作为对比算法，样本输入尺寸设为565*584大小；

8、步骤s6：若原始样本图片的大小不满足要求，进行放缩、拉伸以及边界填充，并将基础epoch设为200，实时判断是否收敛；

9、步骤s7：若模型提前收敛则停止训练。

10、由上述任一方案优选的是，所述步骤s1中视网膜图像的特征为血管分布、动脉和静脉的区分，每幅图像在数据集中都有对应的手动标注血管和视网膜中的凹陷区域的标签图像。

11、由上述任一方案优选的是，所述步骤s2中随机调整图像数据的色彩和饱和度值增强模型的抗光学失真能力，通过采用随机缩放、裁剪、平移、剪切来增强模型的抗几何畸变能力。

12、由上述任一方案优选的是，所述步骤s3中unet模型的编码器部分利用下采样和卷积神经网络来提取图像的高级特征，解码器部分通过上采样和卷积操作逐渐恢复图像的分辨率，并通过跳跃连接将编码器的特征与相应的解码器层进行连接。

13、由上述任一方案优选的是，所述步骤s3中的收缩路径由两个3×3的卷积层(relu)和一个2×2的maxpooling层组成一个下采样模块，对原始输入进行4次下采样，下采样的每一步特征通道数都增加一倍，所述步骤s3中的扩张路径由一个上采样的卷积层、特征拼接concat和两个3×3的卷积层(relu)构成一个上采样模块，共进行4次上采样操作，每次减少一半通道数，特征拼接实现挑层连接，将底层的位置信息与深层的语义信息相融合，保留更多维度的信息，以形成更厚的特征，在最后一层中使用1×1卷积将64个通道映射到预期的类别种类数，其损失函数由softmax激活函数，带权重的交叉熵损失函数和权重计算函数组成，模型首先使用softmax操作得到每个类的置信度，然后使用带边界权重的交叉熵来衡量预测值和真实标签之间的差距。

14、由上述任一方案优选的是，所述softmax激活函数对每个像素点的输入特征和权重进行非线性叠加，在经过softmax处理后，每个像素点的输出值的数量与标签中的类别数相等，softmax将每个像素点的输出值转换为和为1的正值概率分布，进而得到每个像素点中每个类别的置信度，其公式为：

15、

16、带权重的交叉熵损失函数用于衡量两个概率分布的差异。其公式为：

17、

18、式中p表示softmax处理结果值；l表示数据集手动标注的真实标签；pl(x)(x)表示x在对应label类别中输出的激活值；w表示像素添加的权重。

19、权重计算函数可计算权重，通过权重调整视网膜图像中特定区域的重要性，在计算损失时，增加了视网膜神经边缘区域的损失权重，促使网络对视网膜此类区域给予更多关注。其公式为：

20、

21、其中wc(x)是用于补偿训练数据集中每个类别像素的不同频率的ground truth分割；d1是距离边界的最近长度；d2是距离边界的第二近长度。

22、由上述任一方案优选的是，所述步骤s4在原始unet模型的基础上增加一个lsknet模块，模块由一连串的大内核卷积和一个空间内核选择机制组成，以动态调整特征提取骨干的感受野，提升关注检测目标最相关空间背景区域，捕捉更多与检测到的目标物体相关的上下文信息。

23、由上述任一方案优选的是，所述步骤5中本方法使用图像分割模型图像分割模型的损失函数和dice系数在训练过程中快速收敛。

24、与现有技术相比，本发明所具有的优点和有益效果为：

25、该基于改进unet的数字视网膜图像分割方法，可对医疗数据集进行增强，方式包括但不限于调整色彩饱和度，随机改变对比度、翻转、裁剪等，提升模型抗光学畸变和抗几何畸变能力；构建unet网络，实现细粒度的图像特征提取，引入lsknet模块，动态调整模型感受野，充分挖掘并利用目标的背景信息，对于微小目标更加敏感，较传统图像分割模型准确性提高，对微小目标物体的分割结果质量更好，达到更高的识别精度和分割效果；在图像质量和尺度因子选择上具有更好的鲁棒性和灵活性，泛化能力强，可有效应用于小样本医疗数据集；同时，实现轻量化模型，以更低的复杂度达到更优性能。且测试后证明本方案能够在数字视网膜图像分割任务中取得较高的性能，模型鲁棒性增强，具有实际应用价值和工程化部署的优势。