一种眼底图像中视盘图像的分割方法

1.本发明涉及医学图像分割技术领域，尤其涉及一种眼底图像中视盘图像的分割方法。


背景技术：

2.医学图像分割是计算机辅助诊断中一项基础的任务，其目的在于从像素级别准确识别分割出器官区域、组织区域、病变区域、肿瘤区域等，准确的分割结果是一些疾病的诊断和治疗的重要依据，其中，准确的视盘和视杯图像分割结果是临床筛查和诊断青光眼的主要标准之一，而基于视盘图像的眼底血管图像分割结果及其几何形态参数是研究阿尔兹海默症等神经退行性疾病的重要参数。因此，对眼底图像中的视盘图像进行精确分割，对临床医学诊断和研究有重大意义。随着人工智能算法的提升，基于深度学习的图像分割方法可以利用训练样本学习彩色眼底图像的特征进行端到端的图像分割。深度学习的一个基本假设是数据样本之间的数据分布是独立同分布的，也就是说，训练样本和测试样本之间的数据分布应该尽可能相似，这样模型的泛化性能才有可能达到理想状态。然而在实际应用中，不同的采集设备和采集模式会使眼底图像在分辨率、尺寸、对比度、清晰度等方面表现出比较大的差异，我们把数据集之间的这种差异性称为数据域迁移。
3.通常的，基于深度学习的图像分割网络只在某一个数据集上进行训练，并能在相应的测试集上取得很好的推理性能，而不是针对所有的数据集都能有特别好的泛化性能。因为上述数据域迁移现象的存在，特别是在待分割图像与训练所用的数据集图像的差异比较明显，或者待分割图像对比度不好的情况时，图像分割网络的推理能力急剧下降，致使图像分割网络无法得到有效的分割结果。另外，患者眼底的病态区域的区域特征（例如亮度特征）与视盘图像的区域特征极度相似，这也会干扰图像分割网络的推理能力，使其将这些病态区域也错误地分割为视盘区域，这对后续的参数计算和相关区域的提取都是非常不利的。


技术实现要素：

4.（一）要解决的技术问题鉴于现有技术的上述缺点、不足，本发明提供一种眼底图像中视盘图像的分割方法，其解决了现有的图像分割网络在存在数据域迁移现象时推理性能下降，及对存在病态区域的眼底图像的分割精度较低的技术问题。
5.（二）技术方案为了达到上述目的，本发明采用的主要技术方案包括：本发明实施例提供一种眼底图像中视盘图像的分割方法，包括：s1、对于待分割的眼底图像，基于生成对抗网络进行数据质量增强处理，获得数据质量增强的眼底图像；s2、基于第一图像分割网络对数据质量增强的眼底图像进行初次图像分割，获得
包含至少一个连通域的第一二值图，所述连通域用于标示视盘图像的位置信息；s3、基于第一二值图中每个连通域的位置信息，将待分割的眼底图像中与连通域对应的区域进行裁剪，获得一副或多副第一待选图像，第一待选图像中的至少一幅图像中包含完整的视盘图像；对所述第一待选图像按照第二预设尺寸进行重采样处理，获得与第一待选图像对应的第二待选图像；基于图像分类网络，根据是否包含完整的视盘图像对第二待选图像进行分类，基于分类结果，将包含完整的视盘图像的第二待选图像对应的第一待选图像作为母视盘图像；s4、基于第二图像分割网络对母视盘图像进行二次图像分割，基于二次图像分割的结果，从母视盘图像中提取得到精细视盘图像；其中，预先训练所述生成对抗网络所使用的训练数据包括原始风格数据集和目标风格数据集，所述原始风格数据集为第一公开数据集中获取并经过预处理得到的图像集，所述目标风格数据集为从第二公开数据集中获取并经过预处理得到的图像集；预先训练所述第一图像分割网络所使用的训练数据为从第二公开数据集中获取并经过预处理得到的图像集。
6.本发明实施例提出的分割方法，首先在s1中基于生成对抗网络对待分割的眼底图像进行数据质量增强，使待分割图像的数据风格向类似第二公开数据集的数据风格迁移，而s2中的第一图像分割网络为基于第二公开数据集中获取的图像训练得到的，因而对具有相同数据风格的上述数据质量增强的眼底图像具有较好的推理能力，从而削弱待分割的眼底图像中存在的数据域迁移现象对第一图像分割网络的影响，提高本分割方法跨数据风格的泛化性能，进而提高本分割方法的鲁棒性。
7.此外，本发明实施例提出的分割方法，基于s2中的第一图像分割网络得到第一二值图。理论上，第一二值图中的连通域应当只标示出视盘图像的位置信息，但由于现有图像分割网络对视盘图像和病态图像的区分能力较差，因而上述连通域可能也标示出了病态图像的位置信息。因此，在s3中，首先裁剪得到每个连通域对应的小尺寸的第一待选图像，所述第一待选图像有的包含视盘图像，有的包含病态区域图像。对所述第一待选图像进行重采样处理，获得与第一待选图像对应的第二待选图像，以统一输入图像分类网络的图像的尺寸，降低图像尺寸不统一对图像分类网络推理性能的影响，再使用图像分类网络根据是否包含完整视盘图像对第二待选图像进行分类，基于分类结果，将包含完整的视盘图像的第二待选图像对应的第一待选图像作为母视盘图像，所述母视盘图像的尺寸远小于待分割的眼底图像，从而缩小了第二图像分割网络需要进行推理分析的区域，排除病态区域对第二图像分割网络的干扰，然后在s4中将上述母视盘图像输入第二图像分割网络进行精细分割，达到提高本分割方法的分割精度的目的。
8.上述s1~s4的步骤中，s2基于s1克服待分割的眼底图像中存在的数据域迁移现象，找到可能存在视盘图像的区域，s3基于s2找到的可能存在视盘图像的区域进行裁剪、重采样和分类，找到包含完整视盘图像的小尺寸母视盘图像，然后再送入第二图像分割网络进行二次图像分割，得到精细视盘图像。上述s1~s4环环相扣，对存在数据域迁移现象，特别是存在病态区域的眼底图像仍然能够产生较好的推理性能，从而保证本分割方法的泛化性能和分割精度，使本分割方法具有较好的鲁棒性。
9.可选地，在s4中，所述第二图像分割网络为预先搭建的、且经过第一预先训练过程
得到的具有适配的权重参数的w形分割网络，所述w形分割网络包括下采样支路、第一上采样支路和第二上采样支路，所述下采样支路用于获取母视盘图像至少一个维度的特征图，所述第一上采样支路用于提取所述至少一个维度的特征图中的边界信息，所述第二上采样支路用于提取所述至少一个维度的特征图中的区域信息，并与从对应维度提取的边界信息融合，获得二次图像分割的结果。
10.可选地，所述w形分割网络包括15个处理模块，其中，顺序连接的第1~4处理模块为下采样支路，顺序连接的第5~9处理模块为第一上采样支路，顺序连接的第10~15处理模块为第二上采样支路；且第4处理模块的输出端分别连接第5处理模块的输入端和第10处理模块的输入端；其中，第1~4处理模块均为下采样模块；第5处理模块为dac模块；第6处理模块为rmp模块；第7处理模块为上采样模块；第8处理模块为上采样模块，且第8处理模块的输入端通过跳跃连接模块与第3处理模块和第7处理模块的输出端连接；第9处理模块为上采样模块，且第9处理模块的输入端通过跳跃连接模块与第2处理模块和第8处理模块的输出端连接；第10处理模块为dac模块；第11处理模块为rmp模块；第12处理模块为上采样模块，且第12处理模块的输入端通过跳跃连接模块与第6处理模块和第11处理模块的输出端连接；第13处理模块为上采样模块，且第13处理模块的输入端分别通过跳跃连接模块与第12处理模块、第3处理模块和第7处理模块的输出端连接；第14处理模块为上采样模块，且第14处理模块的输入端分别通过跳跃连接模块与第13处理模块、第2处理模块和第8处理模块的输出端连接；第15处理模块为上采样模块，且第15处理模块的输入端分别通过跳跃连接模块与第14处理模块、第1处理模块和第9处理模块的输出端连接，第15处理模块用于输出二次图像分割的结果。
11.可选地，所述第一预先训练过程包括：获取第一训练数据，基于第一训练数据，对于第一上采样支路采用基于边界的损失函数、对于第二上采样支路采用基于区域的损失函数，对待训练的w形分割网络进行训练，得到具有适配的权重参数的w形分割网络；所述第一训练数据包括多幅包含视盘图像的第一图像，每幅所述第一图像包括用于标示该第一图像上的视盘图像所在区域的标注信息。
12.可选地，所述对于第一上采样支路采用基于边界的损失函数、对于第二上采样支路采用基于区域的损失函数，对待训练的w形分割网络进行训练包括：在第9处理模块的输出端连接一个上采样模块，用于输出一幅经第一上采样支路处理后得到的边界分割结果；
将第一训练数据中的第一图像输入待训练的w形分割网络中，获得边界分割结果和二次图像分割的结果；基于所述边界分割结果与该第一图像包含的标注信息，根据基于边界的损失函数计算边界损失；基于所述二次图像分割的结果与该第一图像包含的标注信息，根据基于区域的损失函数计算区域损失；基于所述边界损失和区域损失进行加权运算，获得整体损失，基于整体损失调整w形分割网络的权重参数，得到具有适配的权重参数的w形分割网络；所述基于边界的损失函数为：式中，bl为边界损失，g表示第一图像中标注信息对应的区域，表示所述边界分割结果中的正向结果在q点的值，所述根据公式（2）得到，所述公式（2）为式中，表示q点到标注信息对应的区域边缘的最短距离。
13.可选地，所述s1还包括，在将待分割的眼底图像输入生成对抗网络之前，对待分割的眼底图像进行去背景处理；所述去背景处理包括：将待去背景处理的图像转换成灰度图像；基于阈值法，将灰度图像中灰度值大于5的像素点的灰度值更新为255，将灰度值小于5的像素点的灰度值更新为0，得到第二二值图；基于第二二值图中的最大的连通域的区域信息，提取待去背景处理的图像中对应区域的中间图像，对中间图像按照第一预设尺寸进行重采样，得到完成去背景处理的图像。
14.可选地，所述第一公开数据集为idrid数据集，第二公开数据集为refuge数据集；在s1中，所述生成对抗网络为经过第二预先训练过程得到的具有适配的权重参数的cycle-gan网络；所述第二预先训练过程包括：获取第二训练数据，基于第二训练数据对待训练的cycle-gan网络进行训练，得到具有适配的权重参数的cycle-gan网络；所述第二训练数据包括原始风格数据集和目标风格数据集，其中，所述原始风格数据集包括从idrid数据集中获取并进行去背景处理得到的多幅图像；所述目标风格数据集包括从refuge数据集的validation数据集中获取并进行去背景处理得到的多幅图像。
15.可选地，在s2中，所述第一图像分割网络为经过第三预先训练过程得到的具有适配的权重参数的u-net网络；所述第三预先训练过程包括：获取第三训练数据，基于第三训练数据对待训练的u-net网络进行训练，得到具有适配的权重参数的u-net网络；所述获取第三训练数据包括：分别从refuge数据集的train数据集和validation数据集中获取多幅原始图像，所述原始图像中包含用于标示视盘图像区域的标注信息；对原始图像进行数据扩充处理得到原始训练数据；对原始训练数据中的图像进行去背景处
理，得到第三训练数据；所述数据扩充处理包括图像旋转处理、图像色彩随机变换处理、图像添加随机噪声处理中的至少一种。
16.可选地，在s3中，所述基于第一二值图中每个连通域的位置信息，将待分割的眼底图像中与连通域对应的区域进行裁剪，获得一副或多副第一待选图像包括：对于第一二值图中的每个连通域，计算连通域的几何中心；对于待分割的眼底图像，以所述几何中心在待分割的眼底图像中对应的位置为中心、以待分割的眼底图像短边边长的2/5为边长，确定第一方形目标区域，基于所述第一方形目标区域对待分割的眼底图像进行裁剪，得到一副或多副第一待选图像。
17.可选地，在s3中，所述图像分类网络为经过第四预先训练过程得到的具有适配的权重参数的resnet50网络；所述第四预先训练过程包括：获取第四训练数据，基于第四训练数据对待训练的resnet50网络进行训练，得到具有适配的权重参数的resnet50网络；所述第四训练数据包括正例集和负例集，所述获取第四训练数据包括：对原始训练数据中的图像进行裁剪处理，将完成裁剪处理的图像中包含完整视盘图像的图像作为正例集，将完成裁剪处理的图像中，既部分包含视盘图像又部分包含非视盘图像的图像、或完全不包含视盘的图像作为负例集；所述裁剪处理包括：将待裁剪处理的图像缩放变换至尺寸为128像素
×
128像素的图像，使用32像素
×
32像素的裁剪框，以8像素为步长在所述128像素
×
128像素的图像上滑动，确定多个裁剪区域，将所述裁剪区域通过逆缩放变换映射至待裁剪处理的图像上并进行裁剪，获得多个子图像，对所述子图像按照第二预设尺寸进行重采样处理，得到完成裁剪处理的图像。
18.（三）有益效果在本发明实施例中，首先在s1中基于生成对抗网络对待分割的眼底图像进行数据质量增强，使待分割图像的数据风格向类似第二公开数据集的数据风格迁移，而s2中的第一图像分割网络为基于第二公开数据集中获取的图像训练得到的，因而对具有相同数据风格的上述数据质量增强的眼底图像具有较好的推理能力，从而削弱待分割的眼底图像中存在的数据域迁移现象对第一图像分割网络的影响，提高本分割方法跨数据风格的泛化性能，进而提高本分割方法的鲁棒性。
19.本发明实施例提出的分割方法，还基于步骤s2和步骤s3对可能存在视盘图像的区域进行裁剪、重采样和分类，得到小尺寸的包含完整视盘图像的母视盘图像，然后再在s4中将上述母视盘图像输入第二图像分割网络进行精细分割，从而排除病态区域的干扰，有效提高本分割方法的分割精度。
20.上述s1~s4中，s2基于s1克服待分割的眼底图像中存在的数据域迁移现象，找到可能存在视盘图像的区域，s3基于s2找到的可能存在视盘图像的区域进行裁剪、重采样和分类，找到确定包含视盘图像的母视盘图像，然后再送入第二图像分割网络进行二次图像分割，得到精细视盘图像。上述s1~s4环环相扣，对存在数据域迁移现象，特别是存在病态区域的眼底图像仍然能够产生较好的推理性能，从而保证本分割方法的泛化性能和分割精度，使本分割方法具有较好的鲁棒性。
21.此外，本发明实施例的分割方法，还提出一种用于精细分割的w形分割网络，该网络的第一上采样支路提取下采样支路中多个维度的特征图中的边界信息，第二上采样支路提取下采样支路中多个维度特征图中的区域信息，并与从相同维度提取的边界信息融合，从而获得边缘更为清晰光滑的视盘图像，进一步提高本分割方法的分割精度。
附图说明
22.图1为实施例中提供的一种眼底图像中视盘图像的分割方法的流程示意图；图2为实施例中cycle-gan网络的模型框架示意图；图3为实施例中w形分割网络的模型框架示意图。
具体实施方式
23.为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
24.实施例一如图1所示，本实施例提供一种眼底图像中视盘图像的分割方法，用于从眼底图像中提取出视盘图像，本实施例的方法可在任一计算机设备上实现，本实施例的方法包括：s1、对于待分割的眼底图像，基于生成对抗网络进行数据质量增强处理，获得数据质量增强的眼底图像。
25.本步骤中的生成对抗网络用于将待分割的眼底图像的数据风格进行迁移，以便提高步骤s2中第一图像分割网络的推理性能，但同时不能使眼底图像的整体结构发生太大变化而使图像失真，较佳地，所述生成对抗网络可选用cycle-gan网络（循环生成对抗网络）。
26.如图2所示的cycle-gan网络的模型框架示意图，cycle-gan网络具有两个生成器ga、gb，以及两个判别器da、db；其中，生成器ga用于将原始风格数据集中的具有原始数据风格的真a域图像生成为具有目标数据风格的假b域图像，生成器gb用于将该假b域图像重新生成为具有原始数据风格的假a域图像，判别器da用于判断生成器ga生成的假b域图像是否为真实的目标风格数据集中的图像，判别器db用于判断生成器gb生成的假a域图像是否为真实的原始风格数据集中的图像；将上述过程进行迭代，随着迭代的进行，两个判别器对真实图像的判别能力越来越强，两个生成器生成的图像质量也会越来越好，会混淆两个判别器的判定，这样对抗迭代，便可以达到对待分割的眼底图像的数据风格进行迁移的目的。
27.s2、基于第一图像分割网络对数据质量增强的眼底图像进行初次图像分割，获得包含至少一个连通域的第一二值图，所述连通域用于标示视盘图像的位置信息。
28.理论上，上述第一二值图中的连通域应当只有1个，且该连通域和视盘图像的位置相对应，但由于患者眼底的病态区域的特征与视盘图像的特征极度相似，因而第一图像分割网络对视盘图像和病态图像的区分能力较差，使得第一二值图中的连通域的个数不小于一个，多出的连通域标示出了病态图像的位置信息。因而需要下述步骤s3进行裁剪处理和分类处理，得到包含完整视盘图像的母视盘图像。
29.需要说明的是，本步骤的第一图像分割网络实质上是为后继的第二图像分割网络
提供一个粗略的分割结果，因而不必追求良好的分割性能，但是需要具有极强的鲁棒性，能够对不同质量的图像进行提取，较佳地，上述第一图像分割网络可选用简洁但具有较好鲁棒性的u-net网络。
30.s3、基于第一二值图中每个连通域的位置信息，将待分割的眼底图像中与连通域对应的区域进行裁剪，获得一副或多副第一待选图像，第一待选图像中的至少一幅图像中包含完整的视盘图像；对所述第一待选图像按照第二预设尺寸进行重采样处理，获得与第一待选图像对应的第二待选图像；基于图像分类网络，根据是否包含完整的视盘图像对第二待选图像进行分类，基于分类结果，将包含完整的视盘图像的第二待选图像对应的第一待选图像作为母视盘图像。
31.需要说明的是，由于上述步骤s2中所述的第一二值图中存在不止一个连通域的原因，在本步骤中裁剪获得的一副或多副小尺寸的第一待选图像中，至少有一幅图像中包含完整的视盘图像，其他第一待选图像中则包含有病态区域图像。此时对所述第一待选图像进行重采样处理，获得与第一待选图像对应的第二待选图像，以统一输入图像分类网络的图像的尺寸，降低图像尺寸不统一对图像分类网络推理性能的影响，再利用图像分类网络，根据是否包含完整视盘图像对第二待选图像进行分类，将包含完整的视盘图像的第二待选图像对应的第一待选图像作为母视盘图像，用于步骤s4中进行二次图像分割。
32.上述步骤s2和步骤s3的结合，能够提前将待分割的眼底图像中的一些病态区域排除掉，再输入步骤s4中的第二图像分割网络进行二次图像分割，降低病态区域对第二图像分割网络的干扰，从而提高本分割方法的分割精度。
33.较佳地，上述图像分类网络可选用resnet50网络，resnet50网络包括多个跨层连接的残差网络单元，能够对视盘区域的特征和病态区域的特征进行较好的区分，从而从第二待选图像中准确地识别出包含完整视盘图像的图像。
34.s4、基于第二图像分割网络对母视盘图像进行二次图像分割，基于二次图像分割的结果，从母视盘图像中提取得到精细视盘图像。
35.不失一般性地，本实施例中每个步骤所用的神经网络均为经过预先训练得到的，其中，各个神经网络进行预先训练过程中所使用的训练数据会影响本分割方法的泛化性能，因此，本分割方法对各个神经网络所使用的训练数据进行下述设置：预先训练所述生成对抗网络所使用的训练数据包括原始风格数据集和目标风格数据集，所述原始风格数据集为第一公开数据集中获取并经过预处理得到的图像集，所述目标风格数据集为从第二公开数据集中获取并经过预处理得到的图像集；预先训练所述第一图像分割网络所使用的训练数据为从第二公开数据集中获取并经过预处理得到的图像集。
36.基于上述对生成对抗网络和第一图像分割网络所使用的训练数据的设置方式，s1中基于生成对抗网络对待分割的眼底图像进行数据质量增强，使待分割图像的数据风格向类似第二公开数据集的数据风格迁移，而后继步骤s2中的第一图像分割网络为基于第二公开数据集中获取的图像训练得到的，因而对具有相同数据风格的上述数据质量增强的眼底图像具有较好的推理能力，从而削弱待分割的眼底图像中存在的数据域迁移现象对本分割方法的影响，提高本分割方法跨数据风格的泛化性能，进而提高本分割方法的鲁棒性。
37.上述s1~s4的步骤中，s2基于s1克服待分割的眼底图像中存在的数据域迁移现象，
找到可能存在视盘图像的区域，s3基于s2找到的可能存在视盘图像的区域进行裁剪、重采样和分类，找到包含完整视盘图像的小尺寸母视盘图像，然后再送入第二图像分割网络进行二次图像分割，得到精细视盘图像。上述s1~s4环环相扣，对存在数据域迁移现象，特别是存在病态区域的眼底图像仍然能够产生较好的推理性能，从而保证本分割方法的泛化性能和分割精度，使本分割方法具有较好的鲁棒性。
38.实施例二在实施例一的步骤s4中，上述用于二次图像分割的第二图像分割网络的推理性能直接影响本分割方法的最终的分割精度，因此，本实施例的分割方法中提供一种具有较佳分割精度的w形分割网络，以便获取边缘更为清晰光滑的视盘图像。
39.所述w形分割网络包括下采样支路、第一上采样支路和第二上采样支路，所述下采样支路用于获取母视盘图像至少一个维度的特征图，所述第一上采样支路用于提取所述至少一个维度的特征图中的边界信息，所述第二上采样支路用于提取所述至少一个维度的特征图中的区域信息，并与从相同维度提取的边界信息融合，获得二次图像分割的结果。
40.如图3所示，在本实施例的一种较佳的实施方案中，所述w形分割网络包括15个处理模块，其中，顺序连接的第1~4处理模块为下采样支路，顺序连接的第5~9处理模块为第一上采样支路，顺序连接的第10~15处理模块为第二上采样支路；且第4处理模块的输出端分别连接第5处理模块的输入端和第10处理模块的输入端；其中，第1~4处理模块均为下采样模块；第5处理模块为dac模块；第6处理模块为rmp模块；第7处理模块为上采样模块；第8处理模块为上采样模块，且第8处理模块的输入端通过跳跃连接模块与第3处理模块和第7处理模块的输出端连接；第9处理模块为上采样模块，且第9处理模块的输入端通过跳跃连接模块与第2处理模块和第8处理模块的输出端连接；第10处理模块为dac模块；第11处理模块为rmp模块；第12处理模块为上采样模块，且第12处理模块的输入端通过跳跃连接模块与第6处理模块和第11处理模块的输出端连接；第13处理模块为上采样模块，且第13处理模块的输入端分别通过跳跃连接模块与第12处理模块、第3处理模块和第7处理模块的输出端连接；第14处理模块为上采样模块，且第14处理模块的输入端分别通过跳跃连接模块与第13处理模块、第2处理模块和第8处理模块的输出端连接；第15处理模块为上采样模块，且第15处理模块的输入端分别通过跳跃连接模块与第14处理模块、第1处理模块和第9处理模块的输出端连接，第15处理模块用于输出二次图像分割的结果。
41.此外，为了方便对于第一上采样支路采用基于边界的损失函数对待训练的w形分割网络进行训练，还在第9处理模块的输出端连接了一个上采样模块，用于输出经第一上采
样支路处理后得到的边界分割结果。
42.在上述具有15个处理模块的w形分割网络中，上述下采样模块、dac模块（dense atrous convolution module，稠密连接的空洞卷积模块）、rmp模块（residual multi-kernel pooling，残差多尺度池化模块）、上采样模块、跳跃连接模块的具体结构和连接方式均采用现有技术实现。特别的，上述用于输出边界分割结果的上采样模块的输出端设置有一个softmax层，用于输出经第一上采样支路处理后得到的边界分割结果；第15处理模块的上采样模块的输出端也设置有一个softmax层，用于输出w形分割网络的二次图像分割的结果；第1处理模块所用的下采样模块用于接收输入的图像并生成多通道的特征图，一般为一个卷积模块。
43.在上述具有15个处理模块的w形分割网络中，第一上采样支路中的每个上采样模块提取到的包含边界特征的特征图都被通过跳跃连接模块传送到了第二上采样支路，与第二上采样支路本身提取的包含区域特征的特征图一起输入至对应的上采样模块中，实现视盘图像边界特征和区域特征的融合，从而使w形分割网络的分割结果中的视盘图像区域的边缘更为清晰光滑，进而提高本分割方法的分割精度。
44.需要说明的，上述dac模块有4个级联分支，在每一个分支上，空洞卷积的比例逐渐增加，每个分支的卷积核感受野分别为3、7、9、19。最后在每个分支中，使用一个1
×
1的卷积进行特征通道整理。这样的结构，若使用大的空洞比例，可以在几乎不增加计算量的前提下提高网络的感受野，使得提取的特征更加全面；若使用较小的空洞率的卷积可以提取更加细微的目标。通过结合不同空洞率的卷积，dac模块能够提取不同大小物体的特征。另外，上述rmp模块主要依赖多个有效的视场形成的感受野来检测不同大小的目标，感受野的大小大致决定了使用多少上下文信息的多少。一般地，最大池化操作只使用单个池化内核，而rmp模块使用4种不同大小的池化操作（2
×
2、3
×
3、5
×
5和6
×
6）提取全局上下文信息。本分割方法提供的具有15个处理模块的w形分割网络中，其第一上采样支路和第二上采样支路在对高维特征图进行上采样处理之前，首先通过dac模块和rmp模块来提取高维特征图中不同大小物体的特征和全局上下文信息，能够较好地解决医学图像中物体尺寸差距过大而造成空间信息丢失的问题，使w形分割网络具有更好的推理性能。
45.基于w形分割网络分别提取视盘图像的边界特征和区域特征进行融合的的设计思想，在对上述w形分割网络进行预先的训练时，应当对于第一上采样支路采用基于边界的损失函数、对于第二上采样支路采用基于区域的损失函数，对待训练的w形分割网络进行训练，以便使经过训练得到的具有适配权重参数的w形分割网络能够较好地提取和融合视盘图像的边界特征和区域特征，获得边缘更为清晰光滑的视盘图像，进一步提高本分割方法的分割精度。
46.上述对于第一上采样支路采用基于边界的损失函数、对于第二上采样支路采用基于区域的损失函数，对待训练的w形分割网络进行训练的过程可参照实施例三中记录的步骤进行。
47.实施例三为了更好地理解上述实施例一和实施例二中对各个神经网络的训练过程，本实施例分别结合步骤s1~s4中具体的神经网络进行进行详细说明。
48.本实施例的分割方法提供了实施例一和实施例二中步骤s1~s4涉及的神经网络的
预先训练过程。
49.在本实施例中，所述第一公开数据集为idrid数据集，所述第二公开数据集为refuge数据集。除了第二训练数据和第三训练数据中图像的来源需要有严格的对应关系外，第一训练数据和第四训练数据中图像的来源则可根据实际需求进行选择，其可与第三训练数据的来源相同，也可不同，在本实施例中，为了简化第一训练数据和第四训练数据的获取过程，选择了与第三训练数据相同的来源。即，第二训练数据中原始风格数据集中的图像来源为idrid数据集，第二训练数据中目标风格数据集、第一训练数据集、第三训练数据和第四训练数据中的图像来源均为refuge数据集。
50.对于s2~s4中涉及的神经网络的预先训练过程，其所使用的训练数据均为基于下述获取原始训练数据的过程获得的原始训练数据得到的。
51.所述获取原始训练数据的过程包括：分别从refuge数据集的train数据集和validation数据集中获取多幅原始图像，所述原始图像中包含用于标示视盘图像区域的标注信息；对原始图像进行数据扩充处理，得到原始训练数据。所述数据扩充处理包括图像旋转处理、图像色彩随机变换处理、添加随机噪声处理中的至少一种。需要说明的是，所述数据扩充处理包括对原始图像的处理和/或对该原始图像的标注信息的处理，且对标注信息的处理方式与该标注信息对应的原始图像的处理方式相对应，以保证经过数据扩充处理的图像和该图像的标注信息依然是对应的。具体地，上述图像旋转处理包括对原始图像及其标注信息进行的相同角度的旋转处理；上述图像色彩随机变换处理和添加随机噪声处理则可只对原始图像进行相应处理操作，标注信息保持不变。
52.步骤s1~s4涉及的神经网络的预先训练过程如下：s1中涉及的生成对抗网络为经过第二预先训练过程得到的具有适配的权重参数的cycle-gan网络。
53.所述第二预先训练过程包括：获取第二训练数据，基于第二训练数据对待训练的cycle-gan网络进行训练，得到具有适配的权重参数的cycle-gan网络；所述第二训练数据包括原始风格数据集和目标风格数据集，有时，原始风格数据集也被称为a域数据集或x域数据集，目标风格数据集也被称为b域数据集或y域数据集。
54.其中，所述原始风格数据集包括从idrid数据集中获取并进行去背景处理得到的多幅图像；所述目标风格数据集包括从refuge数据集的validation数据集中获取并进行去背景处理得到的多幅图像。
55.所述去背景处理包括：将待去背景处理的图像转换成灰度图像；基于阈值法，将灰度图像中灰度值大于5的像素点的灰度值更新为255，将灰度值小于5的像素点的灰度值更新为0，得到第二二值图；基于第二二值图中的最大的连通域的区域信息，提取待去背景处理的图像中对应区域的中间图像，对中间图像按照第一预设尺寸进行重采样，得到完成去背景处理的图像。所述去背景处理用于去除idrid数据集和refuge数据集的validation数据集中的图像上的背景、病人信息等干扰。具体地，所述第一预设尺寸可为256像素
×
256像素。
56.需要说明的是，所述idrid数据集中的图像整体质量较差，图像清晰度较低，对比度偏低；而refuge数据集的validation数据集中的图像整体质量较好，图像分辨率较高，且视盘轮廓清晰。因而，基于idrid数据集得到的原始风格数据集，其整体数据风格也偏向低
清晰度和低对比度；基于refuge数据集的validation数据集得到的目标风格数据集，其整体数据风格偏向高清晰度和高对比度。基于上述原始风格数据集和目标风格数据集训练得到的cycle-gan网络，在对待分割的眼底图像进行数据质量增强处理的过程中，不但能够将待分割的眼底图像的数据风格向目标数据风格迁移，而且能够实现图像质量的提升，从而进一步提高s2步骤中u-net网络的分割精度。
57.s2中涉及的第一图像分割网络为经过第三预先训练过程得到的具有适配的权重参数的u-net网络；所述第三预先训练过程包括：获取第三训练数据，基于第三训练数据对待训练的u-net网络进行训练，得到具有适配的权重参数的u-net网络。所述第三训练数据包括对原始训练数据中的图像进行去背景处理得到的多幅图像。
58.s3中涉及的图像分类网络为经过第四预先训练过程得到的具有适配的权重参数的resnet50网络。
59.所述第四预先训练过程包括：获取第四训练数据，基于第四训练数据对待训练的resnet50网络进行训练，得到具有适配的权重参数的resnet50网络；所述第四训练数据包括正例集和负例集，所述获取第四训练数据包括：对原始训练数据中的图像进行裁剪处理，将完成裁剪处理的图像中包含完整视盘图像的图像作为正例集，将完成裁剪处理的图像中既部分包含视盘图像、又部分包含非视盘图像的图像作为负例集；所述裁剪处理包括：将待裁剪处理的图像缩放变换至尺寸为128像素
×
128像素的图像，使用32像素
×
32像素的裁剪框，以8像素为步长在所述128像素
×
128像素的图像上滑动，确定多个裁剪区域，将所述裁剪区域通过逆缩放变换映射至待裁剪处理的图像上并进行裁剪，获得多个子图像，对所述子图像按照第二预设尺寸进行重采样处理，得到完成裁剪处理的图像。具体地，所述第二预设尺寸可为224像素
×
224像素。上述将待裁剪处理的图像缩放至128像素
×
128像素，确定多个裁剪区域后再通过逆缩放变换映射至待裁剪处理的图像上进行裁剪的处理方法，能够减少裁剪处理的运算量。
60.上述第二预设尺寸即为第四训练数据中的图像的尺寸；在后继利用基于第四训练数据训练得到的图像分类网络对第二待选图像进行分类时，为了保证图像分类网络对第二待选图像的推理性能，对第一待选图像进行了按照第二预设尺寸进行的重采样处理，使得第二待选图像的尺寸与第四训练数据中的图像尺寸保持一致，避免训练图像和待分类图像尺寸不同造成数据域迁移现象，对图像分类网络推理性能产生不良影响。
61.s4中涉及的第二图像分割网络为经过第一预先训练过程得到的、具有适配的权重参数的、具有15个处理模块的w形分割网络。
62.所述第一预先训练过程包括：获取第一训练数据，基于第一训练数据，对于第一上采样支路采用基于边界的损失函数、对于第二上采样支路采用基于区域的损失函数，对待训练的w形分割网络进行训练，得到具有适配的权重参数的w形分割网络。
63.具体地，上述获取第一训练数据包括：基于原始训练数据中包含的图像，以该图像中包含的标注信息的几何中心为中心、以该图像短边边长的2/5为边长确定第二方形目标区域，基于所述第二方形目标区域对该图像进行裁剪，裁剪得到的多幅第一图像形成第一
训练数据。此处的第二方形目标区域是为了得到包含完整视盘图像的第一图像，基于refuge数据集中的图像尺寸和视盘尺寸，上述以该图像短边边长的2/5为边长确定的方形区域足以包含完整的视盘图像。
64.具体地，上述对于第一上采样支路采用基于边界的损失函数、对于第二上采样支路采用基于区域的损失函数，对待训练的w形分割网络进行训练包括：在第9处理模块的输出端连接一个上采样模块，用于输出一幅经第一上采样支路处理后得到的边界分割结果；将第一训练数据中的第一图像输入待训练的w形分割网络中，获得边界分割结果和二次图像分割的结果；基于所述边界分割结果与该第一图像包含的标注信息，根据基于边界的损失函数计算边界损失；基于所述二次图像分割的结果与该第一图像包含的标注信息，根据基于区域的损失函数计算区域损失；基于所述边界损失和区域损失进行加权运算，获得整体损失，基于整体损失调整w形分割网络的权重参数，得到具有适配的权重参数的w形分割网络；所述基于边界的损失函数为：式中，bl为边界损失，g表示第一图像中标注信息对应的区域，表示所述边界分割结果中的正向结果在q点的值，所述根据公式（2）得到，所述公式（2）为式中，表示q点到标注信息对应的区域边缘的最短距离。
65.此外，上述基于区域的损失函数采用现有技术，此处不做赘述。
66.实施例四基于上述实施例三中对各个神经网络的训练过程得到的具有适配的权重参数的神经网络，本实施例结合具体的步骤对本发明的分割方法进行说明。
67.本实施例提供一种眼底图像中视盘图像的分割方法，用于从一幅待分割的眼底图像中提取视盘图像，所述分割方法包括下述步骤：a1、获待分割的眼底图像。
68.a2、对待分割的眼底图像进行去背景处理。
69.a3、将完成去背景处理的眼底图像输入具有适配的权重参数的cycle-gan网络，得到数据质量增强的眼底图像。
70.a4、将数据质量增强的眼底图像输入具有适配的权重参数的u-net网络，得到第一二值图，所述第一二值图包含有至少一个连通域。
71.a5、基于第一二值图，计算第一二值图中每个连通域的几何中心。
72.a6、对于待分割的眼底图像，以所述几何中心在待分割的眼底图像中对应的位置为中心、以待分割的眼底图像短边边长的2/5为边长，确定第一方形目标区域，基于所述第一方形目标区域对待分割的眼底图像进行裁剪，获得一副或多副第一待选图像，对第一待
选图像按照224像素
×
224像素的尺寸进行重采样处理，获得与第一待选图像对应的第二待选图像。
73.a7、将第二待选图像输入具有适配的权重参数的resnet50网络进行分类，根据分类结果，将包含完整的视盘图像的第二待选图像对应的第一待选图像作为母视盘图像。
74.a8、将母视盘图像输入具有适配的权重参数的w形分割网络进行二次图像分割，得到二次图像分割的结果。
75.a9、基于二次图像分割的结果，从母视盘图像的对应区域中提取得到精细视盘图像。
76.需要说明的是，上述二次图像分割的结果一般为一幅标示视盘图像所在区域的第三二值图，根据第三二值图中标示出的视盘图像所在的区域，从母视盘图像的对应区域中提取即可得到精细视盘图像。
77.由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
78.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
79.本发明是参照根据本发明实施例的方法、设备（系统）和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。
80.应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
81.此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
82.尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
83.显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。