一种基于生成对抗机制的眼底影像杯盘分割方法与流程

本发明涉及眼部医学影像检测领域，更具体地，涉及一种基于生成对抗机制的眼底影像杯盘分割方法。

背景技术：

青光眼是视神经逐渐受损的一种慢性眼部疾病，是排在白内障后的第二大失明致因，杯盘比是国内外检测青光眼最为常用的一种检测方法，相比于视野缺损、眼压等测量方法，杯盘比的计算较为稳定，而用于杯盘比检测的载体一般为眼底图和oct等眼底影像，可以保存并用于医疗大数据的整理与分析。

利用计算机技术分析和处理数字图像，以检测与分割出眼底影像的视盘和视杯，其结果作为辅助意见供诊断医师参考，通常采用数字图像处理技术的形状匹配方法和主动轮廓方法等检测眼底影像的颜色、形状、纹理等特征，或采用机器学习方法从特定数据集中提取有代表性的特征，从而分割得到视盘与视杯。目前一般采用以下三种方法：

1.形状匹配方法。由于视盘和视杯呈现圆形或椭圆形的特点，在早期对视盘视杯的研究中，一般采用基于形状的方法对视盘和视杯进行分割。有利用圆形霍夫变换方法分割出视盘，利用梯度矢量流模型提高分割的准确性，也有利用椭圆霍夫变换方法拟合椭圆形的视盘与视杯区域。但是这种方法对形状和灰度值的敏感性较强，对于出现病灶区域的图像，或者形变、灰度值相差较大的图像，这种方法对视盘与视杯的检测与分割效果不理想。

2.主动轮廓方法。主动轮廓模型（activecontourmodel）也称snake模型，是一条描绘图像中感兴趣区域边缘的闭合曲线，用来表示目标轮廓。由于这种方法是受到亮度、纹理等特征的能量驱动来拟合目标轮廓，比形状匹配方法更具有鲁棒性，许多研究者对此模型提出了多种分割方法，并广泛应用在视盘与视杯的研究中，如基于局部信息的cv图像分割模型、基于椭圆形约束的多相主动轮廓模型、梯度矢量场（gvf）snake模型。许多研究者提出在擦除血管的基础上再利用主动轮廓方法精确提取视盘和视杯。但是主动轮廓方法的性能很大程度上决定于视盘与视杯边缘的初始化条件，且检测用时较长。

3.机器学习或深度学习方法。机器学习在特定的数据集中提取有代表性的特征，并且需要人工手动提取特征。而深度学习方法自动提取眼底影像的特征，且特征数量庞大，如cnn、u-net。但是现有机器学习和深度学习方法的分割模型训练时间长。

综上所述，现有视盘与视杯分割的计算机辅助技术仍然不能同时满足青光眼检测对高准确率和低运算时间的需求，也不能在不同成像技术的眼底影像上实现对视盘与视杯的分割。

技术实现要素：

本发明的目的是解决上述一个或多个缺陷，设计一种基于生成对抗机制的眼底影像杯盘分割方法。

为实现以上发明目的，采用的技术方案是：

一种基于生成对抗机制的眼底影像杯盘分割方法，包括以下步骤：

s1：对原图像进行数据增强操作，通过旋转变换和定位裁剪、对比度增强，增加眼底影像图的数量和提取目标图像缩小特征提取的范围、增强视盘和视杯的特征对比度；

s2：通过u-net网络自动提取视盘与视杯的特征，通过大量数据增强处理后的视盘图像分别训练出视盘分割模型与视杯分割模型，利用收缩路径中的卷积、批标准化、池化和下采样交替缩小视盘图像尺寸，提取出越来越多的视盘与视杯特征；当特征数量达到指定的数量时，利用扩展路径的上采样、卷积、激活、批标准化逐步恢复图像原本尺寸，并与收缩路径中同层次的图像特征进行融合产生新的特征，进而提炼得到最终的二分类或多分类分割图像，同时生成一个视盘分割模型或视杯分割模型；

s3：建立判别器网络分别对视盘预测分割图像与视杯预测分割图像进行判别，判别器通过卷积、批标准化、激活层的交替操作对预测图像进行新的特征提取，提取出多种特征，最终根据特征对输入图像进行真假判别，专家标签图像判别为1，而u-net生成器的分割结果判别为0；

s4：将生成对抗机制应用到u-net分割网络中，形成生成对抗网络，s2生成的分割图像与专家标签图像进行交叉熵损失计算；s2得到的预测分割图像和专家标签图像分别经过s3进行判别，对其结果做损失计算并求两者平均值，进而通过优化器优化得到性能越来越好的判别器；由专家标签图像经由优化后的判别器生成新的预测图像计算得到均方差损失，与u-net得到的交叉熵损失相加，进而通过优化器优化u-net网络。不断输入新的视盘图像，在前一张视盘图像训练得到的网络结果上继续优化u-net网络与判别器网络，通过u-net网络与判别器网络的迭代进行，不断提高视盘分割与视杯分割的重叠准确率，加快模型的收敛速度，减少训练时间。

优选的是，所述步骤s1包括以下步骤：

s1.1：对眼底影像图进行重设大小和归一化，得到一个统一小尺寸的眼底影像图；

s1.2：对小尺寸的眼底影像图进行旋转操作，以n°进行旋转，得到旋转后的眼底影像图；

s1.3：对旋转后的眼底影像采取定位的操作，提取绿色通道灰度图，对其进行像素值的垂直投影和水平投影得到两个方向的最大值位置，定义为视盘中心位置；

s1.4：以256*256像素大小的窗口对以视盘中心点为中心进行裁剪，得到视盘图像，若裁剪的对象为单通道眼底影像图，则得到单通道视盘图像，若裁剪的对象为多通道彩色眼底影像图，则得到多通道彩色视盘图像；

s1.5：对视盘图像进行对比度增强处理，若视盘图像为单通道灰度图，则直接进行对比度增强处理；若视盘图像为多通道图像，则先分离出多个通道，分别对各个通道灰度图进行对比度增强处理，再合成回多通道彩色图像，其中a、b、c指的是不同通道，如rgb通道指的是r、g、b通道，hsv通道指的是h、s、v通道。

优选的是，步骤s1.5所述对比度增强处理为对比度有限自适应直方图均衡化（clahe）。

与现有技术相比，本发明的有益效果是：

1）提高了低对比度图像的检测，通过对比度增强处理，提高视盘或视杯与背景图像的对比度，有效增强视盘与视杯的特征；

2）提高了视盘或视杯分割的准确率，通过所改造的u-net网络训练分割模型，有效提高视盘与视杯检测的准确率；

3）加快了分割模型的训练时间与稳定分割模型，通过引入生成对抗机制，以u-net作为生成器和一个作为对抗的判别器组成的生成对抗网络，明显加快了网络的训练时间，并保持了模型的稳定性。

附图说明

图1为基于生成对抗机制的眼底影像杯盘分割方法流程图；

图2为眼底影像杯盘分割方法中的数据增强具体流程图；

图3为u-net分割网络的框架图；

图4为判别器网络的框架图；

图5为眼底影像杯盘分割方法中的生成对抗机制具体流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

一种基于生成对抗机制的眼底影像杯盘分割方法，请参考图1，包括以下步骤：

s1：对原图像进行数据增强操作，通过旋转变换和定位裁剪、对比度增强，增加眼底影像图的数量和提取目标图像缩小特征提取的范围、增强视盘和视杯的特征对比度；

s2：通过u-net网络自动提取视盘与视杯的特征，通过大量数据增强处理后的视盘图像分别训练出视盘分割模型与视杯分割模型，利用收缩路径中的卷积、批标准化、池化和下采样交替缩小视盘图像尺寸，提取出越来越多的视盘与视杯特征；当特征数量达到指定的数量时，利用扩展路径的上采样、卷积、激活、批标准化逐步恢复图像原本尺寸，并与收缩路径中同层次的图像特征进行融合产生新的特征，进而提炼得到最终的二分类或多分类分割图像，同时生成一个视盘分割模型或视杯分割模型，如图3所示；

s3：建立判别器网络分别对视盘预测分割图像或视杯预测分割图像进行判别，判别器通过卷积、批标准化、激活层的交替操作对预测图像进行新的特征提取，提取出多种特征，最终根据特征对输入图像进行真假判别，专家标签图像判别为1，而u-net生成器的分割结果判别为0，如图4所示；

s4：将生成对抗机制应用到u-net分割网络中，形成生成对抗网络，s2生成的分割图像与专家标签图像进行交叉熵损失计算；s2得到的预测分割图像和专家标签图像分别经过s3进行判别，对其结果做损失计算并求两者平均值，进而通过优化器优化得到性能越来越好的判别器；由专家标签图像经由优化后的判别器生成新的预测图像计算得到均方差损失，与u-net得到的交叉熵损失相加，进而通过优化器优化u-net网络。不断输入新的视盘图像，在前一张视盘图像训练得到的网络结果上继续优化u-net网络与判别器网络，通过u-net网络与判别器网络的迭代进行，不断提高视盘分割与视杯分割的重叠准确率，加快模型的收敛速度，减少训练时间，如图5所示。

本实施例中，请参考图2，步骤s1包括以下步骤：

s1.1：对眼底影像图进行重设大小和归一化，得到一个统一小尺寸的眼底影像图；

s1.2：对小尺寸的眼底影像图进行旋转操作，以n°进行旋转，得到旋转后的眼底影像图；

s1.3：对旋转后的眼底影像采取定位的操作，提取绿色通道灰度图，对其进行像素值的垂直投影和水平投影得到两个方向的最大值位置，定义为视盘中心位置；

s1.4：以256*256像素大小的窗口对以视盘中心点为中心进行裁剪，得到视盘图像，若裁剪的对象为单通道眼底影像图，则得到单通道视盘图像，若裁剪的对象为多通道彩色眼底影像图，则得到多通道彩色视盘图像；

s1.5：对视盘图像进行对比度增强处理，若视盘图像为单通道灰度图，则直接进行对比度增强处理；若视盘图像为多通道图像，则先分离出多个通道，分别对各个通道灰度图进行对比度增强处理，再合成回多通道彩色图像，其中a、b、c指的是不同通道，如rgb通道指的是r、g、b通道，hsv通道指的是h、s、v通道。

本实施例中，步骤s1.5所述对比度增强处理为对比度有限自适应直方图均衡化（clahe）。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。