一种基于递归神经网络的眼底萎缩弧区域变化预测方法

本发明涉及一种基于递归神经网络的眼底萎缩弧区域变化预测方法，属于图像处理。

背景技术：

1、眼底视盘萎缩弧是一种反应视网膜层和视网膜色素上皮萎缩的临床发现，其与儿童青少年近视、青光眼视网膜脱落和密集型白内障高度相关，因此视盘萎缩弧可以作为上述眼病的生物标志物。根据世界卫生组织的研究报告显示，我国近视患者人数多达6亿，青少年近视率居世界第一，儿童青少年中高度近视比例呈上升趋势。目前已有研究表明，视盘萎缩弧的面积与近视程度呈现正相关，因此若能预测未来视盘萎缩弧的变化，则可以实施干预以防止近视的快速发展。

2、现有针对于视盘萎缩弧预测的研究，主要是预测未来是否会出现视盘萎缩弧。而当前研究主要是进行分类操作，并不能细化到像素级别的预测。现有的预测方法主要利用前一时刻的特征来预测当前时刻的结果，对于历史时刻的特征并不能够充分的利用。若能充分利用历史检查的眼底图像预测出未来的视盘萎缩弧，并与已有眼底图像的萎缩弧分割结果对比，根据萎缩弧面积和宽度的变化能够做到早发现、早干预、早治疗，对于近视防控具有十分重要的意义。

技术实现思路

1、针对于现有视盘萎缩弧预测方法只进行分类而不能细化到像素级预测，且不能充分利用历史数据特征的问题，本发明的主要目的是通过提出一种基于递归神经网络的眼底萎缩弧区域变化预测方法，采用卷积长短期记忆递归神经网络,并在网络中加入了注意力机制,来提升对眼底萎缩弧区域变化的预测准确度，从而有针对性地辅助近视预测和防控。

2、本发明的目的是通过以下技术方案实现的：

3、本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，本方法在进行预测网络训练前进行配准操作，排除不同时刻图像采集角度和分辨率的影响，能够进行不同时刻萎缩弧面积的比较，提升预测的准确性；采用特征提取器输出的特征作为输入，网络训练时加入对于输入特征和输出特征的相似性约束，解决预测时序序列输入数据缺失的问题，降低数据带来的影响；通过在预测网络中加入注意力机制，充分利用历史输入特征，保持输入时间因果性，进一步提升网络预测性能；采用萎缩弧区域预测模型，实现萎缩弧未来区域像素级预测，提升对眼底萎缩弧区域变化的预测准确度，有针对性地辅助近视预测和防控。

4、本发明公开了一种基于递归神经网络的眼底萎缩弧区域变化预测方法，包括以下步骤：

5、步骤1：对历史图像进行配准操作，构建数据集并提取感兴趣区域；

6、步骤1.1、对于同一病人同只眼睛历年拍摄的眼底图像，以初始检查图像为基准，进行配准操作，输出配准后的图像，保证同一病人同只眼睛历年眼底图像的视盘位置与血管分布逐像素对应。

7、步骤1.2、构建训练集、验证集和测试集，其中数据集为多组病人单眼历年临床采集的视网膜眼底图像序列。对于训练集和验证集，除了包含临床图像还包括医生进行的视盘和萎缩弧的标注，测试集数据无需医生进行标注。

8、步骤1.3、截取以视盘为中心的感兴趣区域，具体步骤如下：

9、步骤1.3.1、采用步骤1.2构建的训练集和验证集，以图片为单位进行视盘和萎缩弧区域分割模型的训练与验证，其中训练时只采用训练集，根据验证集上结果选取验证集上损失最小的模型作为最终采用的分割模型。

10、步骤1.3.2、利用步骤1.3.1中得到的模型对于所有图像进行视盘和萎缩弧区域分割。

11、步骤1.3.3、以病人单眼为组，将分割的视盘结果取并集，计算最小外切圆，得到圆心和半径。

12、步骤1.3.4、根据步骤1.3.3得到的圆心和半径截取感兴趣区域，其中感兴趣区域的中心为圆心，边长为p倍半径的矩形，若截取的区域超出图像尺寸则进行补零操作。

13、步骤1.4、将截取的图像尺寸变换到指定大小，缩放后图片的大小为h1*w1，由于后续网络训练时需要输入图像大小相同，因此将图像进行缩放操作。

14、步骤1.5、对步骤1.4得到的图片按照步骤1.2的数据集分组对图像进行分组得到后续使用的数据集。

15、步骤2：采用步骤1得到的训练集和验证集，以图片为单位进行视盘和萎缩弧区域分割模型的训练与验证，根据验证集上的结果，选取验证集上损失最低的模型作为最终采用的分割模型。

16、步骤3：根据步骤2得到的分割模型，构建萎缩弧区域预测模型，并采用步骤1的数据集进行训练；

17、步骤3.1、将步骤2得到的分割模型去除最后的卷积层作为特征提取器，特征提取器输入为图像。

18、步骤3.2、构建时序预测网络中的基本模块；

19、基本模块结构为卷积长短期记忆递归单元，如(1)所示：

20、

21、t表示时刻；x为基本模块的输入；h为隐藏状态；c为记忆单元状态；tan()和σ()表示不同的激活函数；其中σ为sigmoid函数；*表示卷积操作；°表示哈达玛积；w为模型参数，通过网络学习得到。

22、步骤3.3、构建注意力模块，充分利用历史时刻的信息；

23、对于t＝1时不进行任何处理。对于t≠1的时刻，将时刻t看作查询时刻，前t-1个时刻均为历史时刻。首先将查询的特征分别经过两个卷积层，从而获得两个特征，将其称为和再将历史时刻特征分别经过两个卷积层，将两个卷积层的输出分别沿着时间维度进行级联，得到的特征称为和然后进行维度变换，将kq变换成km变换成vm变换成通过将km中每个时空位置与kq的每个空间位置进行比较以进行相似性匹配。然后使用softmax加权求和来检索vm，得到的特征fout维度变换回再与vq进行级联得到最终输出特征。

24、步骤3.4、构建时序预测网络的模块组合；

25、模块组合由q个基本模块，q/2-1个下采样和q/2-1个上采样层和一个注意力模块组成。其中前q/2个模块间通过下采样层连接，后q/2个模块间通过上采样层连接，第q/2个模块的输出通过注意力模块处理后输出的结果再输入到第q/2+1个模块。对于后q/2个模块，其隐藏状态和记忆单元状态为上一时刻的状态和当前时刻前面对应模块输出的隐藏状态和记忆单元状态相加构成。其中q为偶数。

26、步骤3.5、构建空间时序预测模型；

27、空间时序预测模型由t个模块组合构成，其中t表示序列组中历史时刻数，t个模块组合中的参数共享。对于时刻1，前一时刻的隐藏状态和记忆单元状态均置为零。对于其他时刻，前一时刻的隐藏状态和记忆单元状态的输出为当前时刻的输入。对于第一层基本模块，输入为步骤3.1输出的特征。对于其他层模块，输入为前一层输出经过下采样或上采样或注意力模块输出的特征图。

28、步骤3.6、构建分割端口；

29、分割端口由一个卷积层和一个softmax激活层组成。分割端口的输入包含步骤3.1的输出特征和步骤3.5中最后一层基本模块输出的隐藏状态，输出视盘和萎缩弧的分割结果。

30、步骤3.7、训练萎缩弧区域预测模型；

31、网络采用步骤1得到的数据集进行训练，使用的损失函数由交叉熵损失，前景的dice损失和均方误差损失组成。

32、交叉熵损失表示为表示，如(2)所示：

33、

34、此时为分割端口输出的视盘和萎缩弧预测结果，y为其对应的医生标注真值，n为图像数量，cls为类别数量(包含背景)。

35、dice损失表示为如(3)所示：

36、

37、此时y，n,cls定义与之前相同，∈为一个趋近于0的数，在计算dice损失时，不考虑背景，只计算视盘和萎缩弧。

38、均方误差表示为如(4)所示：

39、

40、为特征提取器输出的特征除去t＝1时刻，为空间时序预测模型最后一层基本模块输出的隐藏状态特征，n为输出的特征数量。

41、最终构建的损失函数如(5)所示：

42、

43、验证集上损失最小的模型选取为最终采用的预测模型。

44、步骤4：应用步骤3得到的模型，对实际临床数据进行预测，提升对眼底萎缩弧区域未来变化的预测准确度，优化近视防控及治疗方案；

45、步骤4.1、将临床数据进行配准和提取感兴趣区域操作，临床数据可以存在输入数据某一时刻的缺失。

46、步骤4.2、将处理后的数据输入步骤3得到的预测模型，输出未来的预测结果和当前时刻的视盘和萎缩弧分割结果，计算各个时刻的萎缩弧面积。对于存在输入数据缺失的情况，缺失时刻采用上一时刻的输出特征作为缺失时刻的输入。

47、步骤4.3、将预测出未来时刻的萎缩弧面积与历史时刻的萎缩弧分割面积变化按照时间顺序绘成折线图，有针对性地辅助近视预测和防控。

48、有益效果：

49、一种基于递归神经网络的眼底萎缩弧区域变化预测方法，与现有眼底萎缩弧预测网络相比，具有如下有益效果：

50、1、本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，采用特征提取器输出的特征作为输入，网络训练时加入对于输入特征和输出特征的相似性约束，能够解决预测时序序列输入数据缺失的问题，降低数据带来的影响。

51、2、本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，通过在预测网络中加入注意力机制，充分利用历史输入特征，保持输入时间因果性，进一步提升网络预测性能。

52、3、本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，在进行预测网络训练前进行配准操作，排除不同时刻图像采集角度和分辨率的影响，能够进行不同时刻萎缩弧面积的比较，提升对萎缩弧区域变化预测的准确性。

53、4、本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，采用萎缩弧区域预测模型，既能够预测出未来时刻的视盘和萎缩弧区域，也能够对历史各时刻的输入进行视盘和萎缩弧区域的分割，将历史时刻和未来时刻的萎缩弧面积预测结果绘制成折线图，更利于医生通过萎缩弧增长趋势，有针对性地辅助近视预测和防控。