一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法

1.本发明涉及医学领域的视网膜光学相干层析图像的病变诊断领域，特别涉及一种基于生成对抗网络的视网膜oct图像病变智能检测与定位方法。


背景技术：

2.世界卫生组织最近对全球视力损害影响范围和原因做了详细的调研，报告里提到所有视力损害中有80％是可以被预防或治愈的。眼部疾病有很多种，其中部分重大疾病能够致盲，比如年龄相关性黄斑病变、糖尿病黄斑水肿等。年龄相关性黄斑病变(age-related macular degeneration，amd)是世界上第三大最常见的致盲原因，据估计，2020年全球有1.96亿人患有amd，2040年将增加到2.88亿人。因此，眼部疾病的早发现、早诊断、早治疗对防止重大疾病的发生及提高疾病的治疗效果起着至关重要的作用。
3.光学相干层析成像技术(optical coherencetomography,oct)是一种新型生物医学成像技术，为近些年来兴起的光学成像技术，其成像分辨率高、速度快，具备非接触、非侵入、无损伤、操作简单等优点。otc技术填补了在毫米成像深度和微米成像分辨率尺度上生物医学成像领域的空白。因此，oct技术已作为诊断视网膜疾病的临床标准，而且oct技术结合内窥镜技术已成为临床上心血管及肠胃疾病诊断的重要工具。
4.目前医学获得的视网膜oct图像都由医生肉眼观察进行病变检测与定位，增加了医生的工作量，不利用大规模推广。因此，如何研究一种对视网膜oct图像进行精准的病变检测与定位的方法至关重要。


技术实现要素：

5.本发明的目的是为了解决现有的视网膜oct图像只能单纯由医生肉眼诊断的问题，提出了一种基于生成对抗网络的视网膜光学相干层析图像病变检测方法，能够对oct图像的病变区域进行精准定位。
6.本发明为实现上述目的采用如下技术方案：一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，具体过程为：
7.步骤s1：收集视网膜oct图像，并进行分类、图像预处理制作数据集。
8.步骤s11：收集已公开的视网膜oct图像，其中包括正常(normal)、年龄相关性黄斑病变(amd)、糖尿病黄斑水肿(dme)。其中年龄相关性黄斑病变与糖尿病黄斑水肿属于病变类别，将oct图像分为正常、病变两类。
9.步骤s12：对oct图像进行随机裁剪产生大小相同的patch，本发明采用了新的图像裁剪方式，即对每一张图像随机裁剪成多个大小为64
×
64的patch，每张图像可能会生成多个patch。
10.步骤s13：对训练集进行数据增强操作，主要包括随机翻转、灰度变换等，同时在图像送入网络前进行数值范围归一化。
11.步骤s2：基于生成对抗网络搭建oct图像病变检测模型，该模型分为两路，具体包括正常生成器generator1、异常生成器generator2和判别器，具体步骤包括：
12.步骤s21：构建正常生成器generator1，其作用为接收正常图像输入并且编码成隐空间向量，之后解码重建为正常图。具体结构为编码器-解码器，其中编码器与解码器之间采用了跳跃连接(skip-connection)。
13.步骤s22：构建异常生成器generator2，其作用为接收部分异常图像输入并且编码成隐空间向量，之后解码重建为异常图。具体结构与正常生成器相同，编码器与解码器之间也采用了跟正常生成器相同的跳跃连接(skip-connection)。
14.步骤s23：构建判别器，其作为生成对抗网络的组成部分，能够帮助生成器生成更为真实的图像。判别器接收真实图像与生成器生成的图像，之后输出对应的特征图，通过计算特征图差异作为损失函数来对网络进行对抗训练。
15.步骤s3：根据步骤s2不同组件的输出构建损失函数，之后对网络进行多次迭代训练获得最终的病变检测模型。
16.步骤s31：本发明设计的oct图像病变检测模型分为正常路与异常路，其中每一路的输出都用于构建重建损失与对抗损失。
17.步骤s311：重建损失代表输入的真实图像x与生成器输出的重建图像g(x)的差异，其能够帮助生成器重建出高质量的图像，其计算方式如下，其中x为输入图像的真实图像，g(x)为重建图像：
18.l
con
＝||x-g(x)||119.步骤s312：对抗损失是生成对抗网络能够正常工作的保证，其可以制约生成器生成贴近于现实的真实图像，其计算方式如下，其中d(x)为真实图像经过判别器的特征输出，d(g(x))为重建图像经过判别器的特征输出：
20.l
adv
＝||d(x)-d(g(x))||221.步骤s313：本发明构造的基于生成对抗网络的oct图像病变检测模型最终总的损失函数由重建损失与对抗损失加权组成，其计算方式如下：
22.l
total
＝λl
con
+l
adv
23.步骤s32：搭建完检测模型以后，需要对模型进行训练。本发明提出了一种新的两步训练方式，即先训练正常生成器，再训练异常生成器，具体包括以下步骤：
24.步骤s321：网络训练的第一步是初始化参数，网络所有层都采用零均值的正态分布初始化。
25.步骤s322：其次，对网络进行两步训练。首先冻住异常生成器，保证异常生成器参数不进行更新，之后使用大量正常oct图像对正常生成器和判别器进行训练，计算重建损失与对抗损失，并反向传播优化网络参数。
26.步骤s323：其次，冻住正常生成器，保证正常生成器参数不进行更新，之后使用极少量病变oct图像对异常生成器和判别器进行训练，计算重建损失与对抗损失，并反向传播优化网络参数。这一步的训练既优化了判别器，提升判别器判别真假能力的同时能够训练一路异常生成器。
27.步骤s33：重复步骤s32，对网络进行多次调参与迭代训练后，得到最优的网络模型。
28.步骤s4：待预测图输入病变检测网络，通过正常生成器生成重建图像g1(x)，通过异常生成器生成重建图像g2(x)，之后分别输入判别器计算病变分数。病变分数由正常分数和异常分数组成，具体包括以下步骤：
29.步骤s41：首先计算正常分数，其代表输入图像是否为正常图像，正常分数由图像经过正常生成器与判别器计算得到，具体计算方法如下：
30.s
nomal
＝||x-g1(x)||1+α
·
||d(x)-d(g1(x))||231.其中，x为待预测图像，g1(x)为经过正常生成器的重建图像，d(x)为待预测图像经过判别器后的特征输出，为待优化参数。
32.步骤s42：其次计算异常分数，其代表输入图像是否为异常图像，该分数越大代表输入图像拥有病变的可能性越高，异常分数由图像经过异常生成器与判别器计算得到，具体计算方法如下：
33.s
abnormal
＝β
·
||x-g2(x)||1+||d(x)-d(g2(x))||234.其中，g2(x)为经过异常生成器的重建图像，为待优化参数。
35.步骤s43：病变分数由正常分数与异常分数共同组成，其代表输入图像带有病变的可能性，计算方式如下：
36.s＝s
normal-η
·sabnormal
37.本发明采用的参数η＝0.3，当病变分数大于提前设定的阈值时，则判断oct图像有病变，之后对该图像进行病变定位。
38.步骤s5：将模型预测为病变的oct图像输入病变检测模型，生成病变热图，能够定位到oct图像上的病变区域；
39.步骤s51：将模型预测为病变的图像输入正常生成器中得到重建图像，计算输入图像与创建图像的l1距离，将图像保存为residual图像。
40.步骤s52：对residual图像进行归一化，转变成为灰度图像，之后计算热图，高亮显示病变区域。
41.步骤s6：将病变热图发送给医生，帮助医生第一时间定位oct图像中的病变区域，并且依靠临床经验做出诊断。
42.有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
43.1.本发明设计了一种医学领域的视网膜光学相干层析图像(oct)的病变智能检测与定位方法，该方法检测准确率高、能够精准定位病变区域，其解决了现阶段只能通过医生肉眼观察oct图像来进行病变诊断与定位的问题。
44.2.本方法以生成对抗网络结构为核心，利用生成对抗网络能够生成特定分布的图像的特性，能够实现对oct图像的病变区域的精确定位，同时创新性地采用热图的形式展示结果，将热图发送给医生，能够迅速帮助医生定位到病变区域并快速做出诊断。
45.3.对比于目前大多数的oct图像病变检测算法，本发明采用的数据集均无需标注，这大大减少了数据集的收集成本，同时只需要小部分病变图像即可训练出病变检测模型，解决了oct图像难以获得、标注成本大的难题。
附图说明
46.图1是本发明的算法流程图。
47.图2是本发明的网络结构图。
48.图3是正常/异常生成器的网络结构图。
具体实施方式
49.下面结合附图和具体的实施方式对本发明作进一步说明。
50.如图1-3所示，本发明应用于医学领域的视网膜oct疾病诊断，提供了一种基于双路生成对抗网络的视网膜oct图像病变检测方法，能够帮助眼科医生迅速对oct图像进行疾病诊断与定位。包括以下步骤：
51.步骤s1：收集视网膜oct图像，并进行分类、图像预处理制作数据集。
52.步骤s11：收集已公开的视网膜oct图像，其中包括正常、年龄相关性黄斑病变(amd)、糖尿病黄斑水肿(dme)。其中年龄相关性黄斑病变与糖尿病黄斑水肿属于病变类别，将oct图像分为正常、病变两类，本发明设计的病变检测模型只需要极少量的病变图像进行训练。
53.步骤s12：对oct图像进行随机裁剪产生大小相同的patch，具体来说，针对每一张oct图像，其尺寸可能并不相同，为了使网络的输入统一规范，本发明采用了新的图像裁剪方式，即对每一张图像随机裁剪成多个大小为64
×
64的patch，每张图像可能会生成多个patch，这些patch将作为输入网络的训练集。
54.步骤s13：对训练集进行数据增强操作，主要包括随机翻转、灰度变换等，同时在图像送入网络前进行数值范围归一化，加快网络前向传播速度，将图像像素值从[0,255]归一化到[-1,1]。
[0055]
步骤s2：基于生成对抗网络搭建oct图像病变检测模型，该模型分为两路，具体包括正常生成器generator1、异常生成器generator2和判别器，具体步骤包括：
[0056]
步骤s21：构建正常生成器generator1，其作用为接收正常图像输入并且编码成隐空间向量，之后解码重建为正常图。具体结构为编码器-解码器，其中编码器与解码器之间采用了跳跃连接(skip-connection)。
[0057]
步骤s211：基于全卷积网络构建编码器将正常图像编码成隐空间向量。编码器共有五层，卷积核数量分别为64,128,256,512,512。其中每一层输出都经过leakyrelu激活函数。
[0058]
步骤s212：基于反卷积构建解码器，能够完成正常图像的重建。解码器共有五层，卷积核数量分别为512,256,128,64,3。其中每一层输出都经过relu激活函数，最后一层经过tanh生成图像。
[0059]
步骤s213：建立跳跃连接(skip-connection)。跳跃连接是指将编码器中的某一个卷积层的输出直接拼接到解码器的输入中，其能够提供输入图像的原始特征。具体地，将编码器的第四层的输出与解码器的第五层输出进行拼接，送入到解码器的第四层。
[0060]
步骤s22：构建异常生成器generator2，其作用为接收部分异常图像输入并且编码成隐空间向量，之后解码重建为异常图。具体结构与正常生成器相同，编码器与解码器之间也采用了跟正常生成器相同的跳跃连接(skip-connection)。
[0061]
步骤s23：构建判别器，其作为生成对抗网络的组成部分，能够帮助生成器生成更为真实的图像。判别器接收真实图像与生成器生成的图像，之后输出对应的特征图，通过计
[0079]
经过多次实验验证，本发明最终采用参数α＝0.8为最优参数。
[0080]
步骤s42：其次计算异常分数，其代表输入图像是否为异常图像，该分数越大代表输入图像拥有病变的可能性越高，异常分数由图像经过异常生成器与判别器计算得到，具体计算方法如下：
[0081]sabnormal
＝β
·
||x-g2(x)||1+||d(x)-d(g2(x))||2[0082]
经过多次实验验证，本发明最终采用参数β＝0.5为最优参数。
[0083]
步骤s43：病变分数由正常分数与异常分数共同组成，其代表输入图像带有病变的可能性，计算方式如下：
[0084]
s＝s
n。rmal-η
·sabnormal
[0085]
本发明采用的η＝0.3，当病变分数大于提前设定的阈值时，则判断oct图像有病变，之后对该图像进行病变定位。
[0086]
步骤s5：将模型预测为病变的图像输入病变检测模型，快速定位到oct图像上的病变区域。本发明采用热图的形式展示病变定位结果，即有病变的地方颜色较深，具体步骤如下：
[0087]
步骤s51：将模型预测为病变的图像输入正常生成器中得到重建图像，计算输入图像与创建图像的l1距离，将图像保存为residual图像。
[0088]
步骤s52：对residual图像进行归一化，将数值范围调整到[0,1]，之后根据residual图像的通道数对其进行处理，转变成为灰度图像。
[0089]
步骤s53：对处理后的residual图像应用opencv中的伪彩色applycolormap()函数，获得热图，该热图能够高亮显示病变区域。
[0090]
步骤s6：将病变热图发送给医生，帮助医生第一时间定位oct图像中的病变区域，并且依靠临床经验做出诊断。
[0091]
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。