一种视网膜眼底图像分割方法及装置与流程

本发明涉及人工智能、糖尿病视网膜诊断领域，特别是指一种视网膜眼底图像分割方法及装置。
背景技术：
：由于视网膜眼底血管是唯一能以非创伤方式直接观察的血管，由视网膜眼底图像分割所获得的血管等信息是糖尿病性视网膜病变诊断的重要指标，然而人工分割视网膜眼底图像费时费力。若采用深度学习的方法，又需要大量的标注数据才可完成，若标注样本量少，会导致视网膜眼底图像血管与视盘分割准确度较差。但是眼底血管的宽度为1个像素到20个像素不等，而且还有血管交叉、分支和中心线反射的存在，人工标注非常困难，需要专业的眼科专家才可完成，标注代价极大。技术实现要素：本发明要解决的技术问题是提供一种视网膜眼底图像分割方法及装置，以解决现有技术所存在的基于少量标注样本的深度学习方法，会导致视网膜眼底图像血管与视盘分割准确度较差的问题。为解决上述技术问题，本发明实施例提供一种视网膜眼底图像分割方法，包括：获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；构建u型全卷积神经网络；将随机剪裁分块后的训练集图像和相应的标注图输入到构建的u型全卷积神经网络中，对所述u型全卷积神经网络进行训练；利用训练好的u型全卷积神经网络对视网膜眼底图像进行分割。进一步地，在对获取的训练集图像和相应的标注图进行一致的随机裁剪分块之前，所述方法还包括：对获取的训练集图像进行预处理，其中，预处理包括：灰度图转换，图像归一化，限制对比度自适应直方图均衡化和伽马校正。进一步地，所述u型全卷积神经网络，包括：数据层、与所述数据层相连的第一卷积层，与所述第一卷积层相连的第一激活层，与所述第一激活层相连的第二卷积层，与所述第二卷积层相连的第二激活层，与所述第二激活层相连的第一池化层，与所述第一池化层相连的第三卷积层，与所述第三卷积层相连的第三激活层，与所述第三激活层相连的第四卷积层，与所述第四卷积层相连的第四激活层，与所述第四激活层相连的第二池化层，与所述第二池化层相连的的第五卷积层，与所述第五卷积层相连的第五激活层，与所述第五激活层相连的第六卷积层，与所述第六卷积层相连的第六激活层，与所述第六激活层相连的第一反卷积层，与所述第一反卷积层相连的的第七卷积层，与所述第七卷积层相连的第七激活层，与所述第七激活层相连的第八卷积层，与所述第八卷积层相连的第八激活层，与所述第八激活层相连的第二反卷积层，与所述第二反卷积层相连的的第九卷积层，与所述第九卷积层相连的第九激活层，与所述第九激活层相连的第十卷积层，与所述第十卷积层相连的第十激活层，与所述第十激活层相连的第十一卷积层，与所述第十一卷积层相连的第十一激活层，与所述第十一激活层相连的分类器。进一步地，所述u型全卷积神经网络是一个左右对称的结构，左半边为收缩路径，右半边为扩张路径。进一步地，收缩路径中的卷积神经网络结构是一种重复结构，每次重复中都有两个卷积层、两个激活层和一个池化层；在收缩路径中，随着卷积和池化操作，特征通道数量逐渐增加，特征图的大小逐渐减小。进一步地，在扩张路径中，每次反卷积后，将特征通道数量减半，特征图的大小加倍。进一步地，反卷积过后，将反卷积的结果与收缩路径中对应的具有相同大小和相同数量的特征通道的特征图进行拼接。进一步地，所述方法还包括：获取测试集图像，其中，所述图像为视网膜眼底图像；对获取的测试集进行预处理；对预处理后的测试集图像进行有重叠的分块；利用训练好的u型全卷积神经网络对分块后的图像逐个进行图像分割，得到每个分块的分割结果；对分块后的分割结果进行重新拼接得到原图的分割结果。进一步地，在重叠分块下，每个像素点的分割类别由多个图像块决定，对该像素点的所有概率结果取平均作为该像素点的最终分割结果，其中，分割结果包含的分割类别为：血管或视盘。本发明实施例还提供一种视网膜眼底图像分割装置，包括：获取模块，用于获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；分块模块，用于对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；构建模块，用于构建u型全卷积神经网络；训练模块，用于将随机剪裁分块后的训练集图像和相应的标注图输入到构建的u型全卷积神经网络中，对所述u型全卷积神经网络进行训练；分割模块，用于利用训练好的u型全卷积神经网络对视网膜眼底图像进行分割。本发明的上述技术方案的有益效果如下：上述方案中，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；对获取的训练集图像和相应的标注图进行一致的随机裁剪分块，达到数据扩增的目的；构建u型全卷积神经网络；将随机剪裁分块后的训练集图像和相应的标注图输入到构建的u型全卷积神经网络中，对所述u型全卷积神经网络进行训练；利用训练好的u型全卷积神经网络对视网膜眼底图像进行分割；这样，通过训练集图像和相应的标注图进行一致的随机裁剪分块，能够达到数据扩增的目的，解决视网膜眼底图像标注样本不足的问题，从而使得在只有少量标注样本的情况下，也能实现视网膜眼底图像血管与视盘的自动、高效、准确分割。附图说明图1为本发明实施例提供的视网膜眼底图像分割方法的训练阶段工作流程示意图；图2为本发明实施例提供的图像随机裁剪分块流程示意图；图3为本发明实施例提供的u型全卷积神经网络的结构示意图；图4为本发明实施例提供的视网膜眼底图像分割方法的测试阶段工作流程示意图；图5为本发明实施例提供的在测试集上的工作特征(roc)曲线示意图；图6为本发明实施例提供的视网膜眼底图像分割装置的结构示意图。具体实施方式为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本发明针对现有的基于少量标注样本的深度学习方法，会导致视网膜眼底图像血管与视盘分割准确度较差的问题，提供一种视网膜眼底图像分割方法及装置。实施例一如图1所示，本发明实施例提供的视网膜眼底图像分割方法，包括：s101，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；s102，对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；s103，构建u型全卷积神经网络；s104，将随机剪裁分块后的训练集图像和相应的标注图输入到构建的u型全卷积神经网络中，对所述u型全卷积神经网络进行训练；s105，利用训练好的u型全卷积神经网络对视网膜眼底图像进行分割。本发明实施例所述的视网膜眼底图像分割方法，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；对获取的训练集图像和相应的标注图进行一致的随机裁剪分块，达到数据扩增的目的；构建u型全卷积神经网络；将随机剪裁分块后的训练集图像和相应的标注图输入到构建的u型全卷积神经网络中，对所述u型全卷积神经网络进行训练；利用训练好的u型全卷积神经网络对视网膜眼底图像进行分割；这样，通过训练集图像和相应的标注图进行一致的随机裁剪分块，能够达到数据扩增的目的，解决视网膜眼底图像标注样本不足的问题，从而使得在只有少量标注样本的情况下，也能实现视网膜眼底图像血管与视盘的自动、高效、准确分割。本发明实施例提出了一种基于少量标注样本的对视网膜眼底图像进行血管与视盘的自动分割的方法，且分割效率高、分割准确度高，便于医生对于视网膜眼底图像病灶处的判断，达到现代智能辅助诊疗的目的。本发明实施例提供的所述视网膜眼底图像分割方法可以广泛应用在糖尿病视网膜诊断领域，满足糖尿病性视网膜病变诊断的临床需求，为糖尿病视网膜图像的病理诊断提供了强大的理论和技术支持。为了更好地理解本发明实施例提供的基于少量标注样本的视网膜眼底图像分割方法，对其进行详细说明，具体可以包括以下步骤：s101，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像。本实施例中，训练集图像和相应的标注图可以来自drive数据集，每一张标注图都是由数个权威医师共同手工标注的，其中清晰地标注了视网膜眼底图像中血管的分布情况，已将血管与视盘明显的区分开来；标注图可信度高，所分割图像清晰。本实施例中，在对获取的训练集图像和相应的标注图进行一致的随机裁剪分块(s102)之前，所述方法还包括：对获取的训练集图像进行预处理，其中，预处理过程依次为：灰度图转换，图像归一化，限制对比度自适应直方图均衡化和伽马校正。本实施例中，预处理的目的是增强血管与背景的对比度，有利于后续进行图像分割。s102，对获取的训练集图像和相应的标注图进行一致的随机裁剪分块。本实施例中，针对视网膜眼底图像标注样本较少的问题进行数据扩增，对预处理后的训练集图像和相应的标注图进行一致的随机裁剪分块。例如，假设训练集图像原始大小为565*584，设置分块的大小为48*48。本实施例对每张训练集图像随机分块采样出95000张图片，同时对每张训练集图像对应的标注图也做一致的分块采样处理。本实施例中，如图2所示，随机裁剪分块的步骤为：首先设定分块采样的大小为48*48；然后选取去掉图像四周24(即二分之一分块大小)个像素大小的范围，在该范围内随机选取一个像素点，以该点作为中心点提取48*48大小的分块图像；接着再次随机选取像素点作为中心点，继续提取分块图像，直到达到所需分块数量。在本实施例中，对每张训练集图片随机提取95000张图片。同时对对应的标注图也做一致的剪裁分块处理。s103，构建u型全卷积神经网络。本实施例中，所述u型全卷积神经网络包括：数据层、与所述数据层相连的第一卷积层，与所述第一卷积层相连的第一激活层，与所述第一激活层相连的第二卷积层，与所述第二卷积层相连的第二激活层，与所述第二激活层相连的第一池化层，与所述第一池化层相连的第三卷积层，与所述第三卷积层相连的第三激活层，与所述第三激活层相连的第四卷积层，与所述第四卷积层相连的第四激活层，与所述第四激活层相连的第二池化层，与所述第二池化层相连的的第五卷积层，与所述第五卷积层相连的第五激活层，与所述第五激活层相连的第六卷积层，与所述第六卷积层相连的第六激活层，与所述第六激活层相连的第一反卷积层，与所述第一反卷积层相连的的第七卷积层，与所述第七卷积层相连的第七激活层，与所述第七激活层相连的第八卷积层，与所述第八卷积层相连的第八激活层，与所述第八激活层相连的第二反卷积层，与所述第二反卷积层相连的的第九卷积层，与所述第九卷积层相连的第九激活层，与所述第九激活层相连的第十卷积层，与所述第十卷积层相连的第十激活层，与所述第十激活层相连的第十一卷积层，与所述第十一卷积层相连的第十一激活层，与所述第十一激活层相连的分类器(softmax)，其中，u型全卷积神经网络结构信息如表1所示。表1u型全卷积神经网络结构信息表层名称类型输入尺寸输出尺寸核大小核个数步长0数据层数据层1×48×481×48×48---1第一卷积层卷积层1×48×4832×48×483×33212第一激活层激活层32×48×4832×48×48---3第二卷积层卷积层32×48×4832×48×483×33214第二激活层激活层32×48×4832×48×48---5第一池化层池化层32×48×4832×24×242×2-26第三卷积层卷积层32×24×2464×24×243×36417第三激活层激活层64×24×2464×24×24---8第四卷积层卷积层64×24×2464×24×243×36419第四激活层激活层64×24×2464×24×24---10第二池化层池化层64×24×2464×12×122×2-211第五卷积层卷积层64×12×12128×12×123×3128112第五激活层激活层128×12×12128×12×12---13第六卷积层卷积层128×12×12128×12×123×3128114第六激活层激活层128×12×12128×12×12---15第一反卷积层反卷积层128×12×1264×24×242×264116第七卷积层卷积层128×24×2464×24×243×364117第七激活层激活层64×24×2464×24×24---18第八卷积层卷积层64×24×2464×24×243×364119第八激活层激活层64×24×2464×24×24---20第二反卷积层反卷积层64×24×2432×48×482×232121第九卷积层卷积层64×48×4832×48×483×332122第九激活层激活层32×48×4832×48×48---23第十卷积层卷积层32×48×4832×48×483×332124第十激活层激活层32×48×4832×48×48---25第十一卷积层卷积层32×48×482×48×481×12126第十一激活层激活层2×48×482×48×48---27分类器softmax2×48×482×48×48---如表1所示，所述u型全卷积神经网络主要包含卷积层、激活层、池化层和反卷积层；其中，所述u型全卷积神经网络一共有11个卷积层，每个卷积层后面都紧跟一个relu激活函数；卷积层用于提取图像的线性特征；激活层用于对卷积层输出的线性特征进行处理，产生非线性变换；池化层用于进一步减少网络训练参数及模型的过拟合程度；反卷积层，用于对图像进行上采样来还原图像大小和信息，以便最后得到与原图像素点相对应的分割结果图。如图3所示，从整体上看，u型全卷积神经网络是一个左右对称的结构，左半边为收缩路径(contractingpath)，右半边为扩张路径(expansivepath)。本实施例中，收缩路径包括：第一卷积层、第一激活层、第二卷积层、第二激活层、第一池化层、第三卷积层、第三激活层、第四卷积层、第四激活层和第二池化层、第五卷积层、第五激活层；扩张路径包括：第六卷积层、第六激活层、第一反卷积层、第七卷积层、第七激活层、第八卷积层、第八激活层、第二反卷积层、第九卷积层、第九激活层、第十卷积层、第十激活层。本实施例中，在收缩路径中，随着卷积和池化操作，特征通道数量逐渐增加，特征图的大小逐渐减小。收缩路径中的卷积神经网络结构是一种重复结构，每次重复中都有两个卷积层、两个激活层和一个池化层，目的是为了提取到更为准确的特征。本实施例中，在扩张路径中，每次反卷积后，都会将特征通道数量减半，特征图的大小加倍。本实施例中，如图3所示，反卷积过后，将反卷积的结果与收缩路径中对应的具有相同大小和相同数量的特征通道的特征图进行拼接；这样就可以使卷积层基于这些信息获得更多的上下文信息，使得分割结果更加精确。本实施例中，所述u型全卷积神经网络中的最后一个卷积层的卷积核大小为1×1，卷积核个数为2，目的是为了将64通道的特征图转换为深度为2的结果，最后将结果送入softmax分类器进行分类，即是分为血管还是视盘。s104，将随机剪裁分块后的训练集图像和相应的标注图输入到构建的u型全卷积神经网络中，对所述u型全卷积神经网络进行训练。本实施例中，将随机剪裁分块后的训练集图像和相应的标注图输入到构建的u型全卷积神经网络中，利用小批量梯度下降法对所述u型全卷积神经网络进行训练，得到训练好的u型全卷积神经网络。本实施例中，s101-s104是训练阶段，用于得到训练好的u型全卷积神经网络。s105，利用训练好的u型全卷积神经网络对视网膜眼底图像进行分割。本实施例中，可以从drive数据集获取测试集图像来测试本实施例提供的视网膜眼底图像分割方法的有效性，如图4所示，具体可以包括以下步骤：a1，获取测试集图像，其中，所述图像为视网膜眼底图像；a2，对获取的测试集进行预处理，预处理操作依次为灰度图转换、图像归一化、限制对比度自适应直方图均衡化和伽马校正；a3，对预处理后的测试集图像进行有重叠的分块；本实施例中，对测试集图像进行重叠分块，能够避免对图像块边缘分割时易出现条纹的问题。本实施例中，设置分块的大小为48*48(与训练集随机分块的大小一致),分块的步长在高和宽上均为5个像素点，然后对图像进行分块。a4，利用训练好的u型全卷积神经网络对分块后的图像逐个进行图像分割，得到每个分块的分割结果。a5，对分块后的分割结果进行重新拼接得到原图的分割结果。本实施例中，由于是重叠分块，每个像素点被多个图像块覆盖，因此每个像素点的分割类别将会由多个图像块决定。本实施例中，在分块大小为48*48，步长为5的情况下，每个像素点的分割类别由多个图像块决定，最后对该像素点的所有概率结果取平均作为该像素点的最终分割结果，其中，分割结果包含的分割类别为：血管或视盘。本实施例中，在测试集上的工作特征(roc)曲线如图5所示，图5中横轴为假正率(fpr)、纵轴为真正率(tpr)。图5中的线为工作特征(roc)曲线，auc值为roc曲线下的面积，auc越接近1.0，检测方法真实性越高。对视网膜眼底图像分割方法的测试结果如表2所示：表2测试结果实施例二本发明还提供一种视网膜眼底图像分割装置的具体实施方式，由于本发明提供的视网膜眼底图像分割装置与前述视网膜眼底图像分割方法的具体实施方式相对应，该视网膜眼底图像分割装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述视网膜眼底图像分割方法具体实施方式中的解释说明，也适用于本发明提供的视网膜眼底图像分割装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。如图6所示，本发明实施例还提供一种视网膜眼底图像分割装置，包括：获取模块11，用于获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；分块模块12，用于对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；构建模块13，用于构建u型全卷积神经网络；训练模块14，用于将随机剪裁分块后的训练集图像和相应的标注图输入到构建的u型全卷积神经网络中，对所述u型全卷积神经网络进行训练；分割模块15，用于利用训练好的u型全卷积神经网络对视网膜眼底图像进行分割。本发明实施例所述的视网膜眼底图像分割装置，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；对获取的训练集图像和相应的标注图进行一致的随机裁剪分块，达到数据扩增的目的；构建u型全卷积神经网络；将随机剪裁分块后的训练集图像和相应的标注图输入到构建的u型全卷积神经网络中，对所述u型全卷积神经网络进行训练；利用训练好的u型全卷积神经网络对视网膜眼底图像进行分割；这样，通过训练集图像和相应的标注图进行一致的随机裁剪分块，能够达到数据扩增的目的，解决视网膜眼底图像标注样本不足的问题，从而使得在只有少量标注样本的情况下，也能实现视网膜眼底图像血管与视盘的自动、高效、准确分割。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。以上所述是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。当前第1页1 2 3